CN114639159A - 移动行人检测方法、电子设备及机器人 - Google Patents

移动行人检测方法、电子设备及机器人 Download PDF

Info

Publication number
CN114639159A
CN114639159A CN202011380284.3A CN202011380284A CN114639159A CN 114639159 A CN114639159 A CN 114639159A CN 202011380284 A CN202011380284 A CN 202011380284A CN 114639159 A CN114639159 A CN 114639159A
Authority
CN
China
Prior art keywords
outputting
image
depth
height
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011380284.3A
Other languages
English (en)
Inventor
黄寅
张涛
郭璁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202011380284.3A priority Critical patent/CN114639159A/zh
Priority to PCT/CN2021/133933 priority patent/WO2022111682A1/zh
Publication of CN114639159A publication Critical patent/CN114639159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种移动行人检测方法、电子设备及机器人，移动行人检测方法包括：连续获取多帧的深度图像；对所述深度图像进行预处理，输出预处理深度图；将所述预处理深度图转换成三维点云；将所述三维点云向地面投影，分别生成高度投影图和强度投影图，将所述高度投影图基于第一阈值范围进行分割生成高度掩码图像，将所述强度投影图进行阈值分割生成强度掩码图像；将所述高度掩码图像和所述强度掩码图像进行“与”操作，输出合成的二值掩码图像；对所述二值掩码图像进行连通域分析，输出若干行人候选框。根据本发明提供的移动行人检测方法、电子设备及机器人，可快速检测出移动的行人，简化了运算从而大幅降低了运算资源消耗。

Description

移动行人检测方法、电子设备及机器人
技术领域
本发明涉及互联网技术领域，特别涉及一种移动行人检测方法、电子设备及机器人。
背景技术
移动机器人在特定的场景中移动，以自主执行配送、引导、巡查、消毒等任务。上述场景包括餐厅、酒店、写字楼、医院等等。在这些场景中，机器人移动过程中，周围通常有行人通过。然而，机器人在移动过程中，如何准确检测行人，以便及时避开行人，仍然是急需解决的问题。
发明内容
本发明有鉴于上述的现有状况而完成的，其目的在于提供一种移动行人检测方法、电子设备及机器人，可准确识别行人。
为了实现上述目的，本发明实施方式提供如下技术方案：
本发明提供一种移动行人检测方法，所述方法包括：
连续获取多帧的深度图像；
对所述深度图像进行预处理，输出预处理深度图；
将所述预处理深度图转换成三维点云；
将所述三维点云向地面投影，分别生成高度投影图和强度投影图，将所述高度投影图基于第一阈值范围进行分割生成高度掩码图像，将所述强度投影图进行阈值分割生成强度掩码图像；
将所述高度掩码图像和所述强度掩码图像进行“与”操作，输出合成的二值掩码图像；
对所述二值掩码图像进行连通域分析，输出若干行人候选框。
其中，所述对所述二值掩码图像进行连通域分析，输出若干行人候选框的步骤之后，还包括；
将对每一帧所述深度图像进行处理，输出连续帧的所述行人候选框，将所述连续帧的所述行人候选框进行最邻近匹配，建立所述连续帧的所述行人候选框的对应关系；
以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度。
其中，所述以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度的步骤，具体包括：
以所述行人候选框为目标进行跟踪，若成功跟踪的帧数超过第二阈值，则输出所述目标的位置及速度。
其中，所述对所述深度图像进行预处理，输出预处理深度图的步骤，具体包括：
对输入的所述深度图像进行二值化处理，输出深度掩码；
将所述深度掩码进行形态学运算，输出运算深度掩码；
将所述运算深度掩码与输入的所述深度图像进行逻辑“与”运算，输出所述预处理深度图。
其中，生成所述高度掩码图像的步骤，具体包括：
将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的最大高度作为栅格的值，得到所述高度投影图；
对所述高度投影图进行阈值分割，将所述栅格的值为所述第一阈值范围内的所述栅格的像素置为255，其它像素置为0，得到所述高度掩码图像。
其中，生成所述强度掩码图像的步骤，具体包括：
将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的数量作为栅格的值，得到所述强度投影图；
对所述强度投影图使用动态阈值的方法进行所述阈值分割，将所述阈值超过特定值的所述栅格的像素置为255，其它像素置为0，得到所述强度掩码图像。
其中，所述对所述二值掩码图像进行连通域分析，输出若干行人候选框的步骤，具体包括：
将宽度大于第一宽度范围的所述连通域进行分割成若干个介于所述第一宽度范围内的新连通域，将宽度小于所述第一宽度范围的所述连通域删除；
根据所述高度投影图，计算所述新连通域对应的最大高度，结合所述最大高度和所述新连通域的宽度计算得到最小正接矩形。
本发明还提供一种电子设备，包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
本发明还提供一种机器人，应用如上所述的移动行人检测方法。
其中，所述机器人上设置有深度相机，所述深度相机用于获取所述深度图像。
根据本发明所提供的移动行人检测方法、电子设备及机器人，仅对深度图像处理，无需RGB图像，对环境光照无要求的前提下，可快速检测出移动的行人，简化了运算从而大幅降低了运算资源消耗。
附图说明
图1示出了本发明所涉及的移动行人检测方法的流程示意图；
图2示出了本发明所涉及的移动行人检测方法的实施方式的流程示意图；
图3示出了本发明所涉及的移动行人检测方法的实施方式的流程示意图。
具体实施方式
以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
如图1所示，本发明实施方式涉及一种移动行人检测方法，包括：
101、连续获取多帧的深度图像；
102、对所述深度图像进行预处理，输出预处理深度图；
103、将所述预处理深度图转换成三维点云；
104、将所述三维点云向地面投影，分别生成高度投影图和强度投影图，将所述高度投影图基于第一阈值范围进行分割生成高度掩码图像，将所述强度投影图进行阈值分割生成强度掩码图像；
105、将所述高度掩码图像和所述强度掩码图像进行“与”操作，输出合成的二值掩码图像；
106、对所述二值掩码图像进行连通域分析，输出若干行人候选框。
在这种情况下，本发明涉及的移动行人检测方法，仅对深度图像处理，无需RGB图像，对环境光照无要求的前提下，可快速检测出移动的行人，简化了运算从而大幅降低了运算资源消耗。
在本实施方式中，深度图像通过深度相机获取。深度相机可以是双目相机也可以是结构光相机，本发明实施方式不做限定。
如图2所示，在本实施方式中，步骤106之后，还包括；
107、将对每一帧所述深度图像进行处理，输出连续帧的所述行人候选框，将所述连续帧的所述行人候选框进行最邻近匹配，建立所述连续帧的所述行人候选框的对应关系；
108、以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度。
由此，通过对连续帧行人候选框进行匹配，以便于进一步计算出行人的位置及移动速度，从而可以对行人的运动轨迹进行预测，以便使机器人及时避让行人，优化机器人的移动路径。
具体而言，步骤107中，对每一帧所述深度图像进行处理的方法为重复步骤102至步骤106。
在本实施方式中，步骤108具体包括：
以所述行人候选框为目标进行跟踪，若成功跟踪的帧数超过第二阈值，则输出所述目标的位置及速度。
在这种情况下，由于非移动物体无法在特定连续帧中成功追踪，可排除非移动物体造成的干扰，提升了对行人检测的准确性。
在本实施方式中，第二阈值可以是特定的帧数。
在一些示例中，可以选取所述行人候选框中距离机器人最近的点作为基点，使用卡尔曼滤波方法对所述基点进行跟踪。
在本实施方式中，优选地，深度相机以30帧/秒获取深度图像。由此，可以克服个体移动速度不同对目标位置及速度计算结果造成的影响，提升计算的准确性。
如图3所示，在本实施方式中，步骤102具体包括：
1021、对输入的所述深度图像进行二值化处理，输出深度掩码；
1022、将所述深度掩码进行形态学运算，输出运算深度掩码；
1023、将所述运算深度掩码与输入的所述深度图像进行逻辑“与”运算，输出所述预处理深度图。
由此，消除了输入的深度图像中的噪声，如拖影，提升后续对高度投影图和强度投影图进行分割的准确性。
在本实施方式中，对输入的所述深度图像进行二值化处理的步骤，具体包括：
将一定深度范围内的位置设置为1，其它设置为0。
在本实施方式中，所述将所述预处理深度图转换成三维点云，具体包括：
结合所述深度相机的内外参数，将所述预处理深度图转换成所述三维点云。
在本实施方式中，生成所述高度掩码图像的步骤，具体包括：
将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的最大高度作为栅格的值，得到所述高度投影图；
对所述高度投影图进行阈值分割，将所述栅格的值为所述第一阈值范围内的所述栅格的像素置为255，其它像素置为0，得到所述高度掩码图像。
在本实施方式中，所述第一阈值范围可以为1～2米。由此，将行人的潜在存在区域分割出来。
在本实施方式中，生成所述强度掩码图像的步骤，具体包括：
将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的数量作为栅格的值，得到所述强度投影图；
对所述强度投影图使用动态阈值的方法进行所述阈值分割，将所述阈值超过特定值的所述栅格的像素置为255，其它像素置为0，得到所述强度掩码图像。
由此，利用点云的强度由近至远而有强变弱的特点，将行人的潜在存在区域分割出来。
在本实施方式中，步骤106，具体包括：
将宽度大于第一宽度范围的所述连通域进行分割成若干个介于所述第一宽度范围内的新连通域，将宽度小于所述第一宽度范围的所述连通域删除；
根据所述高度投影图，计算所述新连通域对应的最大高度，结合所述最大高度和所述新连通域的宽度计算得到最小正接矩形。
在本实施方式中，第一宽度范围可以根据人体通常的宽度范围确定。由此，利用人体宽度特征，排除不相干的连通域，并将较大宽度的连通域分割成若干符合人体宽度的新连通域，并结合高度投影图计算得到新连通域对应的最小正接矩形，即为行人候选框。
本发明实施方式还涉及一种电子设备，包括：处理器和存储介质。所述存储介质存储有计算机程序。所述计算机程序被所述处理器运行时执行如上一所述的步骤。关于移动行人检测方法的具体步骤，在此不做赘述。
本发明实施方式还涉及一种机器人。所述机器人应用如上所述的移动行人检测方法。关于移动行人检测方法的具体步骤，在此不做赘述。
在本实施方式中，所述机器人上设置有深度相机。所述深度相机用于获取所述深度图像。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同更换和改进等，均应包含在该技术方案的保护范围之内。

Claims (10)

1.一种移动行人检测方法，其特征在于，所述方法包括：
连续获取多帧的深度图像；
对所述深度图像进行预处理，输出预处理深度图；
将所述预处理深度图转换成三维点云；
将所述三维点云向地面投影，分别生成高度投影图和强度投影图，将所述高度投影图基于第一阈值范围进行分割生成高度掩码图像，将所述强度投影图进行阈值分割生成强度掩码图像；
将所述高度掩码图像和所述强度掩码图像进行“与”操作，输出合成的二值掩码图像；
对所述二值掩码图像进行连通域分析，输出若干行人候选框。
2.如权利要求1所述的移动行人检测方法，其特征在于，所述对所述二值掩码图像进行连通域分析，输出若干行人候选框的步骤之后，还包括；
将对每一帧所述深度图像进行处理，输出连续帧的所述行人候选框，将所述连续帧的所述行人候选框进行最邻近匹配，建立所述连续帧的所述行人候选框的对应关系；
以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度。
3.如权利要求2所述的移动行人检测方法，其特征在于，所述以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度的步骤，具体包括：
以所述行人候选框为目标进行跟踪，若成功跟踪的帧数超过第二阈值，则输出所述目标的位置及速度。
4.如权利要求1所述的移动行人检测方法，其特征在于，所述对所述深度图像进行预处理，输出预处理深度图的步骤，具体包括：
对输入的所述深度图像进行二值化处理，输出深度掩码；
将所述深度掩码进行形态学运算，输出运算深度掩码；
将所述运算深度掩码与输入的所述深度图像进行逻辑“与”运算，输出所述预处理深度图。
5.如权利要求1所述的移动行人检测方法，其特征在于，生成所述高度掩码图像的步骤，具体包括：
将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的最大高度作为栅格的值，得到所述高度投影图；
对所述高度投影图进行阈值分割，将所述栅格的值为所述第一阈值范围内的所述栅格的像素置为255，其它像素置为0，得到所述高度掩码图像。
6.如权利要求1所述的移动行人检测方法，其特征在于，生成所述强度掩码图像的步骤，具体包括：
将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的数量作为栅格的值，得到所述强度投影图；
对所述强度投影图使用动态阈值的方法进行所述阈值分割，将所述阈值超过特定值的所述栅格的像素置为255，其它像素置为0，得到所述强度掩码图像。
7.如权利要求1所述的移动行人检测方法，其特征在于，所述对所述二值掩码图像进行连通域分析，输出若干行人候选框的步骤，具体包括：
将宽度大于第一宽度范围的所述连通域进行分割成若干个介于所述第一宽度范围内的新连通域，将宽度小于所述第一宽度范围的所述连通域删除；
根据所述高度投影图，计算所述新连通域对应的最大高度，结合所述最大高度和所述新连通域的宽度计算得到所述行人候选框。
8.一种电子设备，其特征在于，包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至7任一项所述的步骤。
9.一种机器人，其特征在于，应用如权利要求1-7任一项所述的移动行人检测方法。
10.如权利要求9所述的机器人，其特征在于，所述机器人上设置有深度相机，所述深度相机用于获取所述深度图像。
CN202011380284.3A 2020-11-30 2020-11-30 移动行人检测方法、电子设备及机器人 Pending CN114639159A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011380284.3A CN114639159A (zh) 2020-11-30 2020-11-30 移动行人检测方法、电子设备及机器人
PCT/CN2021/133933 WO2022111682A1 (zh) 2020-11-30 2021-11-29 移动行人检测方法、电子设备及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011380284.3A CN114639159A (zh) 2020-11-30 2020-11-30 移动行人检测方法、电子设备及机器人

Publications (1)

Publication Number Publication Date
CN114639159A true CN114639159A (zh) 2022-06-17

Family

ID=81754001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011380284.3A Pending CN114639159A (zh) 2020-11-30 2020-11-30 移动行人检测方法、电子设备及机器人

Country Status (2)

Country Link
CN (1) CN114639159A (zh)
WO (1) WO2022111682A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482308B (zh) * 2022-11-04 2023-04-28 平安银行股份有限公司 图像处理方法、计算机设备及存储介质
CN115713787B (zh) * 2023-01-10 2023-07-04 深圳市鸿逸达科技有限公司 一种行人检测方法、计算机设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4060159B2 (ja) * 2002-01-18 2008-03-12 本田技研工業株式会社 車両周辺監視装置
CN106296721B (zh) * 2015-05-14 2019-01-25 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN105760846B (zh) * 2016-03-01 2019-02-15 北京正安维视科技股份有限公司 基于深度数据的目标检测与定位方法及系统
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
KR20200132468A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
CN111144213B (zh) * 2019-11-26 2023-08-18 北京华捷艾米科技有限公司 一种对象检测方法和相关设备
CN112001298B (zh) * 2020-08-20 2021-09-21 佳都科技集团股份有限公司 行人检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022111682A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
US10769480B2 (en) Object detection method and system
Teoh et al. Symmetry-based monocular vehicle detection system
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
EP2956891B1 (en) Segmenting objects in multimedia data
US10867211B2 (en) Method for processing a stream of video images
JP4157620B2 (ja) 移動物体検出装置及びその方法
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
US10916019B2 (en) Moving object detection in image frames based on optical flow maps
KR20130030220A (ko) 고속 장애물 검출
CN113490965A (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN112270745B (zh) 一种图像生成方法、装置、设备以及存储介质
JP2021082316A5 (zh)
TWI514327B (zh) 目標偵測與追蹤方法及系統
Li et al. Road markings extraction based on threshold segmentation
KR20210129043A (ko) 이벤트 기반 센서로부터의 정보를 처리하는 방법
KR20130072073A (ko) 영상 윤곽선 추출 장치 및 방법
CN114639159A (zh) 移动行人检测方法、电子设备及机器人
Rao et al. Object tracking system using approximate median filter, Kalman filter and dynamic template matching
KR20170032033A (ko) 전경 추출 방법 및 장치
KR20210099450A (ko) 딥러닝을 이용한 원거리 소형 드론 탐지 방법
TWI729587B (zh) 物件定位系統及方法
Miller et al. Person tracking in UAV video
CN113628202A (zh) 一种确定方法、清洁机器人和计算机存储介质
Fang et al. 1-D barcode localization in complex background
Fucen et al. The object recognition and adaptive threshold selection in the vision system for landing an unmanned aerial vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination