CN112183476A - 一种障碍检测方法、装置、电子设备以及存储介质 - Google Patents

一种障碍检测方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112183476A
CN112183476A CN202011172403.6A CN202011172403A CN112183476A CN 112183476 A CN112183476 A CN 112183476A CN 202011172403 A CN202011172403 A CN 202011172403A CN 112183476 A CN112183476 A CN 112183476A
Authority
CN
China
Prior art keywords
image
detected
position information
specific object
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011172403.6A
Other languages
English (en)
Other versions
CN112183476B (zh
Inventor
张展鹏
成慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202011172403.6A priority Critical patent/CN112183476B/zh
Publication of CN112183476A publication Critical patent/CN112183476A/zh
Priority to PCT/CN2021/085927 priority patent/WO2022088611A1/zh
Priority to JP2021562323A priority patent/JP2023503747A/ja
Priority to KR1020217034499A priority patent/KR20220060500A/ko
Application granted granted Critical
Publication of CN112183476B publication Critical patent/CN112183476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本申请公开了一种障碍检测方法、装置、电子设备以及计算机可读存储介质，该障碍检测方法包括：获取待检测图像；将待检测图像进行物体检测，获取待检测图像中物体的位置信息；将待检测图像进行语义分割，获取待检测图像中地面区域的位置信息；基于物体的位置信息以及地面区域的位置信息获取障碍区域。上述方案，能够对环境进行障碍物分析。

Description

一种障碍检测方法、装置、电子设备以及存储介质
技术领域
本申请涉及路径规划技术领域，特别是涉及一种障碍检测方法、装置、电子设备以及存储介质。
背景技术
近年来，随着移动机器人的快速发展，如何进行障碍物检测和避让是体现机器人智能化水平的重要标准，良好的避障功能是移动机器人安全行走的重要保障，而如何进行良好的避障就涉及到对机器人的路径规划。
机器人导航领域的路径规划是指：首先告知机器人行走的起始点和目标点，然后在存在障碍物的室内环境中根据已知地图信息规划出一条合理的路径供机器人行走。其中，合理的路径应当至少满足以下条件：路径是从起始点到达目标点的相对较短的路径；该路径能够极大程度的避开在已知地图中的障碍物。
现有的导航方案对障碍物分析方案中，存在无法描述障碍物形状不固定的情况、以及对白墙场景适应性不好的问题，导致无法获取准确度高的障碍区域。
发明内容
本申请至少提供一种障碍检测方法、装置、电子设备以及计算机可读存储介质。
本申请第一方面提供了一种障碍检测方法，所述障碍检测方法包括：
获取待检测图像；
将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息；
将所述待检测图像进行语义分割，获取所述待检测图像中地面区域的位置信息；
基于所述物体的位置信息以及所述地面区域的位置信息获取障碍区域。
因此，能够有效地对环境进行障碍物分析。
在一些实施例中，所述获取待检测图像的步骤，包括：
获取相机的标定参数，其中，所述标定参数包括畸变参数；
获取所述待检测图像，并基于所述畸变参数对所述待检测图像进行矫正。
因此，对待检测图像进行预处理，通过畸变参数矫正待检测图像，有利于提高路径规划的准确性。
在一些实施例中，所述将所述待检测图像进行语义分割，获取所述待检测图像中地面区域的位置信息的步骤，包括：
将所述待检测图像输入第一深度神经网络，获取所述待检测图像中所有像素点的语义标签，其中，所述语义标签包括地面标签和背景标签；
基于所述变换参数将所述待检测图像中所述地面标签对应的像素点变换为在所述相机坐标系的地面区域，以获取所述地面在所述相机坐标系的位置信息。
因此，通过第一深度神经网络的语义标签将待检测图像中的地面区域和背景区域区分开，进一步将待检测图像的信息通过变换参数投影到相机坐标系，有利于体现地面区域、背景区域与相机的距离关系。
在一些实施例中，所述标定参数还包括变换参数，所述待检测图像中物体包括非特定物体；所述将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息的步骤，还包括：
将所述待检测图像输入第二深度神经网络，获取所述待检测图像中非特定物体的轮廓框；
基于所述变换参数将所述非特定物体的轮廓框变换为在所述相机坐标系的轮廓框，以获取所述非特定物体在所述相机坐标系的位置信息。
因此，通过第二深度神经网络对待检测图像中的非特定物体进行语义分割，以标定非特定物体的轮廓框，通过轮廓框表示非特定物体的形状，有利于在路径规划中紧贴非特定物体得到实用性高的规划路径。
在一些实施例中，所述待检测图像中物体包括特定物体；所述将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息的步骤，包括：
将所述待检测图像输入第三深度神经网络，获取所述待检测图像中特定物体的图像位置信息；
基于所述变换参数将所述物体的图像位置信息变换为所述特定物体在所述相机坐标系的位置信息。
因此，通过第三深度神经网络对待检测图像中的特定物体进行物体检测，得到特定物体的位置信息。
在一些实施例中，所述将所述待检测图像输入第三深度神经网络，获取所述待检测图像中特定物体的图像位置信息的步骤，包括：
将所述待检测图像输入所述第三深度神经网络，获取所述待检测图像中特定物体的包围框；
基于所述包围框的对角坐标计算所述特定物体的图像位置信息。
因此，提供通过包围框的对角坐标计算特定物体的位置信息的计算方法。
在一些实施例中，所述障碍检测方法还包括：
基于所述物体的位置信息以及所述地面的位置信息形成当前规划地图，其中，所述当前规划地图包括可行驶区域，以及包括所述物体的障碍区域；
基于所述当前规划地图的可行驶区域获取规划路径。
因此，通过地面的位置信息获得行驶区域，再通过物体的位置信息获得行驶区域中的障碍区域，从而生成当前规划地图，用于进行路径规划。
在一些实施例中，响应于所述待检测图像中物体包括非特定物体的情况，所述障碍区域包括所述非特定物体在所述相机坐标系的轮廓框所对应的区域；和/或，
响应于所述待检测图像中物体包括特定物体的情况，所述障碍检测方法还包括：
获取所述特定物体的类别信息，
根据所述特定物体的位置信息和类别信息生成所述特定物体在相机坐标系的物体框；
其中，所述障碍区域包括所述特定物体在所述相机坐标系的物体框所对应的区域。
因此，提出一种形成障碍区域的方法，有利于根据物体框快速生成行驶区域中的障碍区域；而对于特定物体，考虑特定物体的类别信息能够使障碍检测装置决定是否需要紧贴特定物体进行路径规划，有利于提高规划路径的实用性。
本申请第二方面提供了一种障碍检测装置，所述障碍检测装置包括：
相机模块，用于获取待检测图像；
物体检测模块，用于将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息；
语义分割模块，用于将所述待检测图像进行语义分割，获取所述待检测图像中地面区域的位置信息；
障碍检测模块，用于基于所述物体的位置信息以及所述地面区域的位置信息获取障碍区域以及避开所述障碍区域的规划路径。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的障碍检测方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的障碍检测方法。
上述方案，障碍检测装置获取待检测图像；将待检测图像进行物体检测，获取待检测图像中物体的位置信息；将待检测图像进行语义分割，获取待检测图像中地面区域的位置信息；基于物体的位置信息以及地面区域的位置信息获取障碍区域。上述方案，能够对环境进行障碍物分析。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请提供的障碍检测方法一实施例的流程示意图；
图2是图1所示障碍检测方法中步骤S11一实施例的流程示意图；
图3是本申请提供的包括物体框的待检测图像的框架示意图；
图4是图1所示障碍检测方法中步骤S12一实施例的流程示意图；
图5是图1所示障碍检测方法中步骤S12另一实施例的流程示意图；
图6是图1所示障碍检测方法中步骤S13一实施例的流程示意图；
图7是本申请提供的障碍检测装置一实施例的框架示意图；
图8是本申请提供的电子设备一实施例的框架示意图；
图9是本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
扫地机器人是家庭智能终端重要的一环，智能化的扫地机器人需要对自身的位置进行定位的同时，还需要感知周边的物体信息以进行路径规划，避开障碍物，例如鞋子、椅子脚、袜子等，实现高效的清扫过程。因此，障碍物检测分析是智能扫地机路径规划中重要的技术组成部分。
因此，针对扫地机器人场景下的障碍物分析存在的问题，本申请提出一种可以应用于家居场所扫地机器人实现的障碍检测方法。在一些可能的实施方法，本申请提出的障碍检测方法也可以应用于其他机器人，如清洁机器人、割草机器人、户外送货机器人等，在此不再赘述。
请参阅图1，图1是本申请提供的障碍检测方法一实施例的流程示意图。本申请的障碍检测方法的执行主体可以是一种障碍检测装置，例如，障碍检测方法可以由终端设备或服务器或其它处理设备执行，其中，障碍检测装置可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无线电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该障碍检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，本公开实施例的障碍检测方法可以包括以下步骤：
步骤S11：获取待检测图像。
本公开实施例中，障碍检测装置获取机器人所处环境的待检测图像。待检测图像可以由机器人上搭载的相机模块获取，相机模块具体可以为单目RGB相机。相机模型固定在机器人的固定位置，一般设置在机器人运行方向的正面位置，能够获取到机器人前行方向上的环境图像，即相机视野需要覆盖地面以及需要分析的可能存在的障碍物。
在获取待检测图像的过程中，障碍检测装置还可以对待检测图像进行预处理，以提高待检测图像的精确度，具体预处理过程请参阅图2，图2是图1所示障碍检测方法中步骤S11一实施例的流程示意图。如图2所示，具体包括以下步骤：
步骤S21：获取相机的标定参数，其中，标定参数包括畸变参数。
在本公开实施例中，在固定相机模块在机器人上的位置后，障碍检测装置需要对相机进行标定。具体地，障碍检测装置可以通过张正友标定法标定相机模块的内参和外参。其中，内参可以包括但不限于相机的焦距以及畸变参数，外参可以包括但不限于相机的单应矩阵。畸变参数具体包括切向畸变和径向畸变，径向畸变发生在相机坐标系转图像物理坐标系的过程中，切向畸变发生在相机制作过程，由于感光元件平面与透镜平面不平行。单应矩阵为图像物理坐标系与相机坐标系之间投影映射的变换关系。
在一些可能的实施方式中，还可以通过其他标定法标定相机模块的内参和外参，例如孟胡的平面标定方法、以及吴毅红的平行圆标定方法等。
步骤S22：获取待检测图像，并基于畸变参数对待检测图像进行矫正。
在本公开实施例中，切向畸变和径向畸变会导致相机模块采集的待检测图像发生部分变形。因此，障碍检测装置获取待检测图像后，需要基于畸变参数对待检测图像进行校正，以减少相机模块本身由于切向畸变和径向畸变导致的图像畸变的影响，有利于提高后续路径规划的准确性。
步骤S12：将待检测图像进行物体检测，获取待检测图像中物体的位置信息。
在本公开实施例中，障碍检测装置对待检测图像进行物体检测，获取待检测图像中物体的位置信息。对于机器人而言，待检测图像中的物体即障碍物；通过物体的位置信息，障碍检测装置可以生成有效的障碍区域。
具体地，从形状的角度区分，本公开实施例的物体可以区分为特定物体和非特定物体。其中，特定物体是由工作人员提前预设的具有相对固定形状的物体，例如拖鞋、纸团、易拉罐等；非特定物体是形状多变的物体，例如桌子腿、电线等。
对于特定物体，障碍检测装置可以直接通过物体检测模块进行检测，具体检测过程请参阅图4，图4是图1所示障碍检测方法中步骤S12一实施例的流程示意图。如图4所示，具体包括以下步骤：
步骤S31：将待检测图像输入第三深度神经网络，获取待检测图像中特定物体的图像位置信息。
在本公开实施例中，物体检测模块包括一个第三深度神经网络和一个几何投影模块。第三深度神经网络输入的是基于标定的畸变参数矫正后的待检测图像，输出的是包含特定物体的图像位置信息的待检测图像。其中，特定物体的图像位置信息通过图3中的物体框体现。
具体地，第三深度神经网络预先对本公开实施例中的特定物体进行训练，第三深度神经网络可以识别出特定物体的位置和类别，通过物体框的形式体现。物体框可以由围绕特定物体的包围框以及语义标识组成，语义标识即标明对应包围框中的特定物体的类别。
步骤S32：基于变换参数将物体的图像位置信息变换为特定物体在相机坐标系的位置信息。
在本公开实施例中，障碍检测装置基于变换参数将物体的图像位置信息变换为特定物体在相机坐标系的位置信息，并通过包围框的方式体现。其中，变换参数为标定的相机模块的外参，包括但不限于相机的单应矩阵。具体地，障碍检测装置通过几何投影模块以包围框的左上角坐标和右下角坐标之间的中点位置，或者右上角坐标和左下角坐标之间的重点位置作为特定物体在图像中的位置，然后结合预先标定好的单应矩阵计算出特定物体相对相机的位置。
进一步地，在得到特定物体在相机坐标系的包围框后，障碍检测装置将特定物体的类别信息标注在包围框上，以形成图3所示的特定物体的物体框。在后续的路径规划过程中，考虑特定物体的类别信息有利于规划出更加贴近真实生活，具有较高实用性的规划路径。例如，当特定物体属于鞋子等不会影响到机器人的物体时，规划路径可以紧贴特定物体进行规划；当特定物体属于台灯、电热器等较危险的物体时，规划路径可以与特定物体保持一定距离进行规划，防止机器人运行过程中引发危险。
对于非特定物体，障碍检测装置可以通过语义分割的方式进行检测，值得说明的是，通过语义分割方式检测非特定物体的过程，可以是通过上述的物体检测模块进行检测，也可以是通过另一语义分割模块进行检测，具体检测过程请参阅图5，图5是图1所示障碍检测方法中步骤S12另一实施例的流程示意图。如图5所示，具体包括以下步骤：
步骤S41：将待检测图像输入第二深度神经网络，获取所述待检测图像中非特定物体的轮廓框。
在本公开实施例中，第二深度神经网络输入的是基于标定的畸变参数矫正后的待检测图像，输出的是包含非特定物体的图像位置信息的待检测图像。其中，非特定物体的图像位置信息通过围绕非特定物体的轮廓框体现。
步骤S42：基于变换参数将非特定物体的轮廓框变换为在相机坐标系的轮廓框，以获取所述非特定物体在相机坐标系的位置信息。
在本公开实施例中，障碍检测装置基于单应矩阵将非特定物体的图像位置信息变换为非特定物体在相机坐标系的位置信息，并通过轮廓框的方式体现。
上述第三深度神经网络只能输出特定物体的物体框，其中，物体框为包围特定物体的矩形框；第二深度神经网络的识别原理是：对非特定物体的边缘点进行识别，然后将若干个边缘点进行组合连接，从而形成一条闭合的边缘线，即围绕非特定物体的轮廓框。相较于特定物体的矩形物体框，非特定物体的轮廓框能够更好地体现物体的具体形状信息，有利于机器人的运行路径能够紧贴非特定物体进行规划，以提高机器人规划路径的实用性。
步骤S13：将待检测图像进行语义分割，获取待检测图像中地面区域的位置信息。
在本公开实施例中，障碍检测装置通过语义分割模块对待检测图像进行地面检测。其中，本步骤的语义分割模块与上述检测非特定物体的语义分割模块可以为同一模块，也可以为不同模块。
语义分割模块输入的是基于标定的畸变参数矫正后的待检测图像，输出的是待检测图像中标记为地面的若干像素点，以及若干像素点组成的地面区域。
对待检测图像进行地面与背景的语义分割具体操作过程请参阅图6，图6是图1所示障碍检测方法中步骤S13一实施例的流程示意图。如图6所示，具体包括以下步骤：
步骤S51：将待检测图像输入第一深度神经网络，获取待检测图像中所有像素点的语义标签，其中，语义标签包括地面标签和背景标签。
在本公开实施例中，语义分割模块包括一个全卷积的第一深度神经网络和一个几何投影模块。第一深度神经络输入的是基于标定的畸变参数矫正后的待检测图像，输出的是待检测图像中每一个像素点的语义标签。
需要说明的是，语义分割模块同样可以用于分割出非特定物体的轮廓框，即上述第二深度神经网络与本步骤的第一深度神经网络可以为同一深度神经网络，在此不再赘述。
具体地，语义标签具体包括地面标签和背景标签。当某一像素点识别为地面像素点时，语义标签标记为1；当某一像素点识别为背景像素点时，语义标签标记为0。
步骤S52：基于变换参数将待检测图像中地面标签对应的像素点变换为在相机坐标系的地面区域，以获取地面在相机坐标系的位置信息。
在本公开实施例中，障碍检测装置基于单应矩阵将每个语义标签为1的地面像素点从图像空间投影到相机空间，获取地面像素点在相机坐标系的位置信息。然后，障碍检测装置将投影后的地面像素点组合成为相机坐标系的地面区域，其余区域为背景区域。其中，地面区域为机器人的行驶区域。
步骤S14：基于物体的位置信息以及地面的位置信息获取障碍区域以及避开障碍区域的规划路径。
在本公开实施例中，障碍检测装置通过融合模块获取上述地面信息和物体信息。融合模块输入信息包括：(1)语义分割模块获取的信息，即相对于相机，当前区域中属于地面的区域以及非特定物体的位置和形状；(2)物体检测模块获取的信息，即相对于相机，运行前方特定物体的位置和类别。
由于上述地面信息和物体信息均属于相机空间中的信息，障碍检测装置可以根据上述地面信息和物体信息形成当前规划地图，其中，当前规划地图可以为二维地图或三维地图。
当前规划地图包括可行驶区域和物体的障碍区域。障碍区域是根据物体的位置信息所生成的区域，可行驶区域在为地面区域中除去障碍区域的部分区域。具体的，当待检测图像中包括非特定物体时，非特定物体在相机坐标系的轮廓框所围成的区域可认为非特定物体的所在，因此该区域即为障碍区域(或障碍区域的一部分)；当待检测图像中包括特定物体时，可通过上述的第三深度神经网络(或其它方式)获取到特定物体的类别信息，然后根据特定物体的位置信息和类别信息生成该特定物体在相机坐标系的物体框，而特定物体在相机坐标系的物体框所围成的区域可认为特定物体的所在，因此该区域即为障碍区域(或障碍区域的一部分)。值得说明的是，对于不同的特定物体，其所对应的物体框大小可能会存在区别，这是考虑到不同的特定物体对于机器人的影响不同，因此会对应不同大小的物体框以便机器人规划出更精确的路径；例如当特定物体属于鞋子等不会影响到机器人的物体时，物体框的尺寸较小，也即障碍区域较小，规划路径可以紧贴特定物体进行规划；当特定物体属于台灯、电热器等较危险的物体时，物体框的尺寸较大，也即障碍区域较大，规划路径可以与特定物体保持一定距离进行规划，防止机器人运行过程中引发危险。在后续的路径规划过程中，考虑特定物体的类别信息有利于规划出更加贴近真实生活，具有较高实用性的规划路径。
通过排除障碍区域，障碍检测装置可以得到行驶区域中机器人的可行驶区域，然后将可行驶区域输入轨迹规划模块。障碍检测装置通过轨迹规划模块输入终点信息，获取避开障碍区域的规划路径。
上述方案，障碍检测装置获取待检测图像；将待检测图像进行物体检测，获取待检测图像中物体的位置信息；将待检测图像进行语义分割，获取待检测图像中地面的位置信息；基于物体的位置信息以及地面区域的位置信息获取障碍区域。上述方案中，障碍检测装置通过对待检测图像进行物体检测以及语义分割，能够自动识别并标注出待检测图像中的地面区域和物体位置，其中，地面区域为机器人的行驶区域，而检测出的物体位置出现在行驶区域中，即可分析出该物体为障碍物，从而能够有效地对环境进行障碍物分析，并进一步根据分析结果进行路径规划。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图7，图7是本申请提供的障碍检测装置一实施例的框架示意图。障碍检测装置70包括：
相机模块71，用于获取待检测图像。
物体检测模块72，用于将待检测图像进行物体检测，获取待检测图像中物体的位置信息。
语义分割模块73，用于将待检测图像进行语义分割，获取待检测图像中地面区域的位置信息。
障碍检测模块74，用于基于物体的位置信息以及地面区域的位置信息获取障碍区域。
请参阅图8，图8是本申请提供的电子设备一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一障碍检测方法实施例中的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一障碍检测方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
请参阅图9，图9是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一障碍检测方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种障碍检测方法，其特征在于，所述障碍检测方法包括：
获取待检测图像；
将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息；
将所述待检测图像进行语义分割，获取所述待检测图像中地面区域的位置信息；
基于所述物体的位置信息以及所述地面区域的位置信息获取障碍区域。
2.根据权利要求1所述的障碍检测方法，其特征在于，
所述获取待检测图像的步骤，包括：
获取相机的标定参数，其中，所述标定参数包括畸变参数；
获取所述待检测图像，并基于所述畸变参数对所述待检测图像进行矫正。
3.根据权利要求2所述的障碍检测方法，其特征在于，
所述将所述待检测图像进行语义分割，获取所述待检测图像中地面区域的位置信息的步骤，包括：
将所述待检测图像输入第一深度神经网络，获取所述待检测图像中所有像素点的语义标签，其中，所述语义标签包括地面标签和背景标签；
基于所述变换参数将所述待检测图像中所述地面标签对应的像素点变换为在所述相机坐标系的地面区域，以获取所述地面区域在所述相机坐标系的位置信息。
4.根据权利要求2或3所述的障碍检测方法，其特征在于，所述标定参数还包括变换参数，所述待检测图像中物体包括非特定物体；
所述将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息的步骤，还包括：
将所述待检测图像输入第二深度神经网络，获取所述待检测图像中非特定物体的轮廓框；
基于所述变换参数将所述非特定物体的轮廓框变换为在所述相机坐标系的轮廓框，以获取所述非特定物体在所述相机坐标系的位置信息。
5.根据权利要求2至4任一项所述的障碍检测方法，其特征在于，所述待检测图像中物体包括特定物体；
所述将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息的步骤，包括：
将所述待检测图像输入第三深度神经网络，获取所述待检测图像中特定物体的图像位置信息；
基于所述变换参数将所述物体的图像位置信息变换为所述特定物体在所述相机坐标系的位置信息。
6.根据权利要求5所述的障碍检测方法，其特征在于，
所述将所述待检测图像输入第三深度神经网络，获取所述待检测图像中特定物体的图像位置信息的步骤，包括：
将所述待检测图像输入所述第三深度神经网络，获取所述待检测图像中特定物体的包围框；
基于所述包围框的对角坐标计算所述特定物体的图像位置信息。
7.根据权利要求1至6中任一项所述的障碍检测方法，其特征在于，
所述障碍检测方法还包括：
基于所述物体的位置信息以及所述地面的位置信息形成当前规划地图，其中，所述当前规划地图包括可行驶区域，以及包括所述物体的障碍区域；
基于所述当前规划地图的可行驶区域获取规划路径。
8.根据权利要求7所述的障碍检测方法，其特征在于，
响应于所述待检测图像中物体包括非特定物体的情况，所述障碍区域包括所述非特定物体在所述相机坐标系的轮廓框所对应的区域；和/或，
响应于所述待检测图像中物体包括特定物体的情况，所述障碍检测方法还包括：
获取所述特定物体的类别信息，
根据所述特定物体的位置信息和类别信息生成所述特定物体在相机坐标系的物体框；
其中，所述障碍区域包括所述特定物体在所述相机坐标系的物体框所对应的区域。
9.一种障碍检测装置，其特征在于，所述障碍检测装置包括：
相机模块，用于获取待检测图像；
物体检测模块，用于将所述待检测图像进行物体检测，获取所述待检测图像中物体的位置信息；
语义分割模块，用于将所述待检测图像进行语义分割，获取所述待检测图像中地面区域的位置信息；
障碍检测模块，用于基于所述物体的位置信息以及所述地面区域的位置信息获取障碍区域。
10.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的障碍检测方法。
11.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的障碍检测方法。
CN202011172403.6A 2020-10-28 2020-10-28 一种障碍检测方法、装置、电子设备以及存储介质 Active CN112183476B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011172403.6A CN112183476B (zh) 2020-10-28 2020-10-28 一种障碍检测方法、装置、电子设备以及存储介质
PCT/CN2021/085927 WO2022088611A1 (zh) 2020-10-28 2021-04-08 障碍检测方法、装置、电子设备、存储介质及计算机程序
JP2021562323A JP2023503747A (ja) 2020-10-28 2021-04-08 障害検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
KR1020217034499A KR20220060500A (ko) 2020-10-28 2021-04-08 장애 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011172403.6A CN112183476B (zh) 2020-10-28 2020-10-28 一种障碍检测方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112183476A true CN112183476A (zh) 2021-01-05
CN112183476B CN112183476B (zh) 2022-12-23

Family

ID=73923531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011172403.6A Active CN112183476B (zh) 2020-10-28 2020-10-28 一种障碍检测方法、装置、电子设备以及存储介质

Country Status (4)

Country Link
JP (1) JP2023503747A (zh)
KR (1) KR20220060500A (zh)
CN (1) CN112183476B (zh)
WO (1) WO2022088611A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711263A (zh) * 2021-01-19 2021-04-27 未来机器人（深圳）有限公司 仓储自动导引车避障方法、装置、计算机设备和存储介质
CN112966658A (zh) * 2021-03-30 2021-06-15 深圳市优必选科技股份有限公司 机器人导航方法、装置、终端设备及计算机可读存储介质
CN113158779A (zh) * 2021-03-09 2021-07-23 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
WO2022088611A1 (zh) * 2020-10-28 2022-05-05 深圳市商汤科技有限公司 障碍检测方法、装置、电子设备、存储介质及计算机程序
CN113158779B (zh) * 2021-03-09 2024-06-07 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376109B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134034A (ja) * 2009-12-24 2011-07-07 Kyocera Corp 障害物検出装置
CN105115490A (zh) * 2015-07-16 2015-12-02 深圳前海达闼科技有限公司 一种确定室内可活动区域的方法及装置
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置
CN110974088A (zh) * 2019-11-29 2020-04-10 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质
CN111126251A (zh) * 2019-12-20 2020-05-08 深圳市商汤科技有限公司 图像处理方法、装置、设备和存储介质
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101690511B1 (ko) * 2015-09-14 2016-12-28 주식회사 서연전자 자율 주행 차량의 제어 시스템 및 그 제어 방법
CN112183476B (zh) * 2020-10-28 2022-12-23 深圳市商汤科技有限公司 一种障碍检测方法、装置、电子设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134034A (ja) * 2009-12-24 2011-07-07 Kyocera Corp 障害物検出装置
CN105115490A (zh) * 2015-07-16 2015-12-02 深圳前海达闼科技有限公司 一种确定室内可活动区域的方法及装置
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置
CN110974088A (zh) * 2019-11-29 2020-04-10 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质
CN111126251A (zh) * 2019-12-20 2020-05-08 深圳市商汤科技有限公司 图像处理方法、装置、设备和存储介质
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵静等: "基于双目视觉移动机器人的路径规划和避障研究", 《计算机工程与设计》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088611A1 (zh) * 2020-10-28 2022-05-05 深圳市商汤科技有限公司 障碍检测方法、装置、电子设备、存储介质及计算机程序
CN112711263A (zh) * 2021-01-19 2021-04-27 未来机器人（深圳）有限公司 仓储自动导引车避障方法、装置、计算机设备和存储介质
CN113158779A (zh) * 2021-03-09 2021-07-23 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
WO2022188333A1 (zh) * 2021-03-09 2022-09-15 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
CN113158779B (zh) * 2021-03-09 2024-06-07 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
CN112966658A (zh) * 2021-03-30 2021-06-15 深圳市优必选科技股份有限公司 机器人导航方法、装置、终端设备及计算机可读存储介质
WO2022205841A1 (zh) * 2021-03-30 2022-10-06 深圳市优必选科技股份有限公司 机器人导航方法、装置、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112183476B (zh) 2022-12-23
JP2023503747A (ja) 2023-02-01
WO2022088611A1 (zh) 2022-05-05
KR20220060500A (ko) 2022-05-11

Similar Documents

Publication Publication Date Title
CN112183476B (zh) 一种障碍检测方法、装置、电子设备以及存储介质
US11422261B2 (en) Robot relocalization method and apparatus and robot using the same
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
WO2020102944A1 (zh) 点云处理方法、设备及存储介质
Zhong et al. Design and recognition of artificial landmarks for reliable indoor self-localization of mobile robots
CN110766758B (zh) 标定方法、装置、系统及存储装置
Gupta et al. Cullnet: Calibrated and pose aware confidence scores for object pose estimation
Huang et al. A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN115655262B (zh) 基于深度学习感知的多层级语义地图构建方法和装置
KR102233260B1 (ko) 정밀 지도 업데이트 장치 및 방법
CN111964680B (zh) 一种巡检机器人的实时定位方法
CN112907672B (zh) 一种机器人的避让方法、装置、电子设备及存储介质
CN112037249A (zh) 一种对摄像装置影像中物体进行跟踪的方法及装置
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN112884841B (zh) 一种基于语义目标的双目视觉定位方法
CN115147333A (zh) 一种目标检测方法及装置
CN111950428A (zh) 目标障碍物识别方法、装置及运载工具
JP2018073308A (ja) 認識装置、プログラム
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
Zhang et al. Dijkstra model for stereo-vision based road detection: a non-parametric method
KR20220144456A (ko) Svm 원 영상을 기반으로 근접 주행 환경을 인식하는 방법 및 시스템
CN114463663A (zh) 一种人员身高的计算方法、装置、电子设备及存储介质
Meger et al. Mobile 3D object detection in clutter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039148

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant