CN111783580A - 基于人腿检测的行人识别方法 - Google Patents

基于人腿检测的行人识别方法 Download PDF

Info

Publication number
CN111783580A
CN111783580A CN202010568501.5A CN202010568501A CN111783580A CN 111783580 A CN111783580 A CN 111783580A CN 202010568501 A CN202010568501 A CN 202010568501A CN 111783580 A CN111783580 A CN 111783580A
Authority
CN
China
Prior art keywords
image
point cloud
cloud data
detection
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010568501.5A
Other languages
English (en)
Other versions
CN111783580B (zh
Inventor
于兴虎
李湛
张东升
孙敬颋
高会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Intelligent Equipment Research Institute Co ltd
Original Assignee
Ningbo Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Intelligent Equipment Research Institute Co ltd filed Critical Ningbo Intelligent Equipment Research Institute Co ltd
Priority to CN202010568501.5A priority Critical patent/CN111783580B/zh
Publication of CN111783580A publication Critical patent/CN111783580A/zh
Application granted granted Critical
Publication of CN111783580B publication Critical patent/CN111783580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

基于人腿检测的行人识别方法，涉及视觉识别技术领域。本发明是为了解决现有对于行人的腿部识别方法使用环境受限、操作繁琐、干扰因素较多，最终导致识别结果误差大的问题。本发明所述的基于人腿检测的行人识别方法采集并分离当前视野下的RGBD图像，分别对彩色图像进行灰度处理和边缘提取，将深度图像、灰度图像和轮廓图像共同作为一个三维度的图像输入到检测网络中、并获得检测结果，将检测网络获得的检测结果、深度图像和图像采集参数结合，对点云数据进行采样，将采样后的点云数据输入到PointNet分割网络中，获得点云数据的标签，根据点云数据的标签筛选出人腿点云数据，完成行人的识别。

Description

基于人腿检测的行人识别方法
技术领域
本发明属于视觉识别技术领域，尤其涉及行人识别技术。
背景技术
利用计算机视觉的先进技术对目标对象进行实时检测的相关研究变得越来越热门。对目标进行实时地检测在智慧交通、安防、军事、手术医疗等众多领域有着广泛的应用。自主移动机器人能够通过装配传感器获取环境信息，对相应的环境状况做出决策和策略。在室内移动无人车平台中，移动机器人的环境感知能力是尤为重要的。利用深度相机可以较高频率的获取RGBD信息，移动机器人可以利用获得的数据进行周围环境的感知。由于可以获取D通道数据，也就是深度信息，所以移动机器人可以进行三维环境感知。目前已经有很多相关的技术方案实现对环境中的行人识别，一般是基于行人轮廓、脸部、或者肢体等结合的方式进行识别。基于行人脸部的识别一般采用基于Harr特征的人脸识别，或者是通过深度学习的方式完成。但是在行人背对移动机器人的时候，人脸识别就会失效，无法达到行人识别的目的，这极大限制了移动机器人的使用范围。
对于自身搭载深度相机的低地面移动机器人来讲，在更多情况下，无法获取完整的室内环境信息，它只能够获取较低高度的环境信息。所以对于很多通过获取完整环境信息来进行行人识别的方法将不再适用在这样的移动机器人平台。但是，低地面移动机器人能够较完整的获取到距离地面较近的环境信息，这些信息更多的会包含行人的腿部数据。因此，现有技术中常用RGBD数据实现对行人的识别及定位功能，其过程如下：
RGBD数据处理：将RGB(彩色)数据和D(深度)数据结合，合成点云数据，对点云数据使用体素滤波器，减少点云的数量。
地面检测：设置初始地平面系数，并且使用基于RANSAC的最小二乘法检测点云中的地平面。然后更新地平面系数，其被认为是下一帧处的地平面估计的初始条件。
点云聚类：将分析限制在地平面上方130厘米内的点云并且应用基于欧几里德距离的聚类。
HOG&SVM：给定获得的3D聚类，聚类的边界框被投影到RGB图像。基于所获得的图像块，计算其HOG描述符。然后将得到的描述符发送到预先训练的SVM分类器，返回集群的HOG信心。当计算的Hog置信度大于阈值时，群集被分类为行人，否则它被分类为非行人。
上述方法的识别过程是先将深度图转换为点云数据；对点云数据进行滤波，分割，聚类操作，再将聚类结果的轮廓映射回二维图像中，对二维图像轮廓中的图像提取HOG特征描述子，最后将描述子放到SVM里面进行分类，得到行人点云。但是，这种方法存在以下缺陷：
1、需要二维和三维图像的两次转换操作，过程麻烦；
2、对于过聚类或子聚类问题的解决方式不够具有普遍性；
3、需要假定行人的裤子是纯色的，对使用场景具有限制；
4、需要进行地面检测过程，如果地面不平整则提取效果会很差；
5、大量的初始点云数据参与聚类运算，效率低下。
综上所述，现有对于行人的腿部识别方法使用环境受限、操作繁琐、干扰因素较多。
发明内容
本发明是为了解决现有对于行人的腿部识别方法使用环境受限、操作繁琐、干扰因素较多，最终导致识别结果误差大的问题，现提供基于人腿检测的行人识别方法。
基于人腿检测的行人识别方法，包括以下步骤：
S1：采集并分离当前视野下的RGBD图像，获得彩色图像和深度图像；
S2：分别对彩色图像进行灰度处理和边缘提取，获得灰度图像和轮廓图像；
S3：将深度图像、灰度图像和轮廓图像共同作为一个三维度的图像输入到检测网络中、并获得检测结果，所述检测结果为深度图像坐标系中图像左上角和右下角的坐标；
S4：将检测网络获得的检测结果、深度图像和图像采集参数结合，获得回归框内所包含的点云数据，所述点云数据包括当前视野中行人的人腿数据和行人所在环境数据；
S5：对点云数据进行采样、使得采样后的点云数据大小为1024至512*424；
S6：将采样后的点云数据输入到PointNet分割网络中，获得点云数据的标签，根据点云数据的标签筛选出人腿点云数据，完成行人的识别。
上述S1中利用移动机器人上搭载的深度摄像头采集当前视野下的RGBD图像；对当前视野下的RGBD图像进行通道分离，获得彩色图像和深度图像；所述彩色图像的分辨率为1920*1080，所述深度图像的分辨率为512*424。
上述S3中检测网络中包括卷积层和池化层。
上述S4中图像采集参数为，包括：深度相机和RGB相机的内参矩阵。
上述S5中利用随机采样器对点云数据进行采样，采样后的点云数据大小为1024。
本发明的有益效果如下：
1、本发明只涉及到一次二维图像到三维点云的转换，转换次数少，更加简洁；
2、本发明在输入到检测网络中的图像上做了调整，将深度图像、灰度图像和轮廓图像结合，能够更快速准确的检测出视野中的人腿；
3、本发明不需要地面部分的点云数据的提取过程，直接可以对视野中的人腿进行识别；
4、本发明使用深度学习做检测过程，特别是在三维点云的梳理上使用了PointNet的点云分割网络，网络的分割效率高；
5、本发明使用环境更加具有普遍性，方案对环境的适应性更强；
6、本发明能够控制输入到网络中的点云数据量，处理时间在理论上不会存在波动的情况。
综上所述，本发明在目标检测的输入数据上做了优化，将原三通道的RGB图像代替为灰度图像、轮廓图像和深度图像，使得网络的注意力更加偏向于物体的边缘部分，更加有利于检测，保证了行人检测的实时性，鲁棒性。
附图说明
图1为基于人腿检测的行人识别方法的流程图；
图2为本发明的网络结构示意图。
具体实施方式
具体实施方式一：参照图1和图2具体说明本实施方式，本实施方式所述的基于人腿检测的行人识别方法，包括以下步骤：
S1：利用移动机器人上搭载的深度摄像头采集当前视野下的RGBD(彩色与深度)图像，对当前视野下的RGBD图像进行通道分离，获得彩色图像(RGB信息)和深度图像(D信息)，所述彩色图像的分辨率为1920*1080，所述深度图像的分辨率为512*424。
S2：分别对彩色图像进行灰度处理和边缘提取，获得灰度图像和轮廓图像。
S3：将深度图像、灰度图像和轮廓图像共同作为一个三维度的图像输入到检测网络中、并获得检测结果，所述检测结果为深度图像坐标系中图像左上角和右下角的坐标，所述检测网络中仅包括卷积层和池化层。
S4：将检测网络获得的检测结果、深度图像和摄像头的内部参数结合，获得回归框内所包含的点云数据，所述点云数据包括当前视野中行人的人腿数据和行人所在环境数据，所述摄像头的内部参数包括：深度相机和RGB相机的内参矩阵。
S5：利用随机采样器对点云数据进行采样、使得采样后的点云数据大小为1024至512*424，本实施方式中优选1024。
S6：将采样后的点云数据输入到PointNet分割网络中，获得点云数据的标签，根据点云数据的标签筛选出人腿点云数据，完成行人的识别。
在现有技术所采用的检测方法中，需要先将二维图像转换为三维点云，将三维点云上的检测结果映射回二维图像中；然后将二维图像的检测结果返回给三维点云。这其中涉及到两次数据格式的转换。本实施方式只涉及到一次二维图像到三维点云的转换，转换次数少，更加简洁。
本实施方式不直接对RGB信息进行使用，因为相较于视野中纹理(也就是颜色等)信息的使用，轮廓等信息是对检测提供更大帮助的信息。本实施方式所要分割的人腿更多的时候是处在环境的边缘，所以本实施方式在输入到检测网络中的图像上做了调整：将三通道的RGB信息转换为灰度图像、轮廓图像和D通道的深度图像，这三类信息的结合能够更快速准确的检测出视野中的人腿。
在地面部分点云数据的识别与提取时，现有技术需要对点云数据中的地面部分进行识别并提取地面部分的点云数据。本实施方式中不需要对地面部分的点云数据进行提取，而是直接能够对视野中的人腿进行识别。
现有技术所使用的三维点云的算法大多是使用体素滤波、欧式聚类或随机采样一致性等涉及到统计类的数学方法，该类方法在计算过程上比较繁琐，计算所消耗的时间较多。本实施方式使用深度学习作为检测过程，特别是在三维点云的梳理上使用了PointNet的点云分割网络，网络的分割效率高。
现有技术的方案需要对使用环境进行一些初始假设，例如行人的腿大概在130厘米，行人的裤子基本为纯色，行人需要站在地面上等。本实施方式无需此类前提假设，使用环境更加具有普遍性，方案对环境的适应性更强。
现有技术中需要对数量庞大的点云数据进行处理，点云的数据量不确定，技术方案的执行时间存在着不确定性。本实施方式能够控制输入到网络中的点云数据量，处理时间在理论上不会存在波动的情况。

Claims (7)

1.基于人腿检测的行人识别方法，其特征在于，
S1：采集并分离当前视野下的RGBD图像，获得彩色图像和深度图像；
S2：分别对彩色图像进行灰度处理和边缘提取，获得灰度图像和轮廓图像；
S3：将深度图像、灰度图像和轮廓图像共同作为一个三维度的图像输入到检测网络中、并获得检测结果，所述检测结果为深度图像坐标系中图像左上角和右下角的坐标；
S4：将检测网络获得的检测结果、深度图像和图像采集参数结合，获得回归框内所包含的点云数据，所述点云数据包括当前视野中行人的人腿数据和行人所在环境数据；
S5：对点云数据进行采样、使得采样后的点云数据大小为1024至512*424；
S6：将采样后的点云数据输入到PointNet分割网络中，获得点云数据的标签，根据点云数据的标签筛选出人腿点云数据，完成行人的识别。
2.根据权利要求1所述的基于人腿检测的行人识别方法，其特征在于，S1中利用移动机器人上搭载的深度摄像头采集当前视野下的RGBD图像。
3.根据权利要求1所述的基于人腿检测的行人识别方法，其特征在于，S1中对当前视野下的RGBD图像进行通道分离，获得彩色图像和深度图像。
4.根据权利要求1、2或3所述的基于人腿检测的行人识别方法，其特征在于，S1中，所述彩色图像的分辨率为1920*1080，所述深度图像的分辨率为512*424。
5.根据权利要求1所述的基于人腿检测的行人识别方法，其特征在于，S3中，所述检测网络中包括卷积层和池化层。
6.根据权利要求2所述的基于人腿检测的行人识别方法，其特征在于，S4中，所述图像采集参数为摄像头的内部参数，包括：深度相机和RGB相机的内参矩阵。
7.根据权利要求1所述的基于人腿检测的行人识别方法，其特征在于，S5中，利用随机采样器对点云数据进行采样，采样后的点云数据大小为1024。
CN202010568501.5A 2020-06-19 2020-06-19 基于人腿检测的行人识别方法 Active CN111783580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010568501.5A CN111783580B (zh) 2020-06-19 2020-06-19 基于人腿检测的行人识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568501.5A CN111783580B (zh) 2020-06-19 2020-06-19 基于人腿检测的行人识别方法

Publications (2)

Publication Number Publication Date
CN111783580A true CN111783580A (zh) 2020-10-16
CN111783580B CN111783580B (zh) 2022-11-15

Family

ID=72756939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568501.5A Active CN111783580B (zh) 2020-06-19 2020-06-19 基于人腿检测的行人识别方法

Country Status (1)

Country Link
CN (1) CN111783580B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310887A (zh) * 2021-12-28 2022-04-12 深圳中智永浩机器人有限公司 3d人腿识别方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法
CN111079713A (zh) * 2019-12-31 2020-04-28 帷幄匠心科技（杭州）有限公司 一种提取行人颜色特征的方法及终端设备
CN114310887A (zh) * 2021-12-28 2022-04-12 深圳中智永浩机器人有限公司 3d人腿识别方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法
CN111079713A (zh) * 2019-12-31 2020-04-28 帷幄匠心科技（杭州）有限公司 一种提取行人颜色特征的方法及终端设备
CN114310887A (zh) * 2021-12-28 2022-04-12 深圳中智永浩机器人有限公司 3d人腿识别方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREJ JERTEC 等: "On using PointNet Architecture for Human Body Segmentation", 《2019 11TH INTERNATIONAL SYMPOSIUM ON IMAGE AND SIGNAL PROCESSING AND ANALYSIS (ISPA)》 *
钟昌勇等: "基于RGB-D信息的行人实时跟踪方法研究", 《工业控制计算机》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310887A (zh) * 2021-12-28 2022-04-12 深圳中智永浩机器人有限公司 3d人腿识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111783580B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN110070570B (zh) 一种基于深度信息的障碍物检测系统及方法
CN108090435B (zh) 一种可停车区域识别方法、系统及介质
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
WO2017084204A1 (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN104463877B (zh) 一种基于雷达影像与电子海图信息的岸线配准方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测系统
Wang et al. An overview of 3d object detection
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN113537049B (zh) 地面点云数据处理方法、装置、终端设备及存储介质
CN116309607B (zh) 基于机器视觉的船艇式智能水上救援平台
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN111241979B (zh) 一种基于图像特征标定的实时障碍物检测方法
CN110675442B (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN115166717A (zh) 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
JP2002282210A (ja) 視線検出方法及びその装置
CN111783580B (zh) 基于人腿检测的行人识别方法
CN114310887A (zh) 3d人腿识别方法、装置、计算机设备及存储介质
Lee et al. Hand gesture recognition using orientation histogram
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant