CN114612929A - 基于信息融合的人体跟踪方法、系统及可读存储介质 - Google Patents
基于信息融合的人体跟踪方法、系统及可读存储介质 Download PDFInfo
- Publication number
- CN114612929A CN114612929A CN202011461582.5A CN202011461582A CN114612929A CN 114612929 A CN114612929 A CN 114612929A CN 202011461582 A CN202011461582 A CN 202011461582A CN 114612929 A CN114612929 A CN 114612929A
- Authority
- CN
- China
- Prior art keywords
- laser
- human body
- information fusion
- module
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于物联网技术领域，提供了基于信息融合的人体跟踪方法、系统及可读存储介质，包括：S1.基于2D激光的人腿部检测；S2.基于3D相机的人体检测；S3.基于所述2D激光和所述3D相机的检测结果进行融合；S4.对融合后的检测结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪。本技术方案通过对2D激光图像的检测结果与3D相机图像的检测结果进行信息融合，扩大了机器人的感知范围的同时在主要感知区域提高了感知精度和鲁棒性，更有利于机器人通过视觉信号实现人体跟踪。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及基于信息融合的人体跟踪方法、系统及可读存储介质。
背景技术
在现有的目标跟踪技术中，当前主流的框架有两类：直接进行跟踪和基于检测-跟踪的两者模式。直接跟踪方法的优势在于通常跟踪过程中耗费的计算资源较低，因此可以实现较高的跟踪帧率；基于检测-跟踪的方法需要在每帧图像上都进行目标检测，然后进行数据关联，其需要的计算资源相对较多，但被跟踪的目标不容易丢失，且丢失后也可能再次恢复跟踪。但目前单纯使用相机图像实现追踪时视野较窄，而激光图像追踪又会导致图像检测结果准确性较低。
发明内容
有鉴于此，本发明实施例提供了基于信息融合的人体跟踪方法、系统及可读存储介质，以解决现有技术中不能将保证视野的同时提高检测结果准确性的问题。
本发明实施例的第一方面提供了基于信息融合的人体跟踪方法，包括以下步骤：
S1.基于2D激光的人腿部检测；
S2.基于3D相机的人体检测；
S3.基于所述2D激光和所述3D相机的检测结果进行融合；
S4.采用粒子滤波框架对融合后的检测结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪；
所述步骤S1包括以下具体步骤；
S11.对采集到的2D激光图像中的激光点序进行分割得到激光线段；
S12.提取所述激光线段的分类特征；
S13.基于所述分类特征，采用随机森林模型对所述激光线段进行分类，得到所述2D激光图像中人腿的位置。
本发明实施例的第二方面提供了一种基于信息融合的人体跟踪系统，包括：
2D激光传感器模块，用于发射2D激光并采集2D激光图像用于人腿部检测；
3D相加模块，用于采集3D图像数据用于的人体检测；
信息融合模块，分别于所述2D激光传感器模块和所述3D相机模块连接，基于所述2D激光传感器模块和所述3D相机模块的检测结果进行信息融合；
跟踪模块，与所述信息融合模块连接，采用粒子滤波框架对信息融合模块提供的融合结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪。
所述2D激光传感器模块包括：
激光图像聚类子模块，对采集到的2D激光图像中的激光点序进行分割得到激光线段；
特征提取子模块，与所述激光图像聚类子模块连接，提取所述激光线段的分类特征；
分类子模块，与所述特征提取子模块连接，基于所述分类特征，采用随机森林模型对所述激光线段进行分类，得到所述2D激光图像中人腿的位置。
本发明实施例的第三方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现如所述基于信息融合的人体跟踪方法的步骤。
通过对2D激光图像的检测结果与3D相机图像的检测结果进行信息融合，扩大了机器人的感知范围的同时在主要感知区域提高了感知精度和鲁棒性，更有利于机器人通过视觉信号实现人体跟踪。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的2D激光图像数据；
图2是本申请实施例一提供的YOLO算法的网络结构示意图；
图3是本申请实施例一提供的2D激光人腿检测算法框架示意图；
图4是本申请实施例一提供的传感器融合与跟踪示意图；
图5是本发明实施例一提供的主要方法流程框图；
图6是本发明实施例二提供的主要功能模块框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
参见图1-5，本发明实施例一提供的一种基于信息融合的人体跟踪方法，如图5所示，包括以下步骤：
S1.基于2D激光的人腿部检测；
S2.基于3D相机的人体检测；
S3.基于所述2D激光和所述3D相机的检测结果进行融合；
S4.采用粒子滤波框架对融合后的检测结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪；
所述步骤S1包括以下具体步骤；
S11.对采集到的2D激光图像中的激光点序进行分割得到激光线段；
如图1所示，其为采用安装在机器人上的2D激光器扫描得到的结果。其中蓝色线是由激光点组成。
S12.提取所述激光线段的分类特征。
S13.基于所述分类特征，采用随机森林模型对所述激光线段进行分类，得到所述2D激光图像中人腿的位置。
如图3所示，整体算法首先要对激光获取得到的数据进行聚类，即将其激光点序按照顺时针或者逆时针顺序在激光图像的180度半圆形中构成图像。进一步基于欧氏距离进行分割，将其分成若干个激光线段。然后对每个激光线段提取相应的特征，这些特征基本是对激光线段几何上与统计学上的特征抽象。在得到13维的特征之后使用事先训练好的模型对线段的类别进行分类。这里的13维特征是对激光点序线段提取的若干几何特征，包括激光点的个数、激光点的外接矩等信息。最后对这些分类特征进行置信度打分，得分较高的线段区域为人腿的位置。
其中，图3是使用2D激光进行人体检测的算法流程示意图。在得到2D激光器采集的激光数据后，对其进行聚类分割，即将其按照线段进行划分。然后对每段线段提取特征，包括激光点的个数、激光点的外接矩阵等共计13维特征。最后采用随机森林对特征进行训练与分类。
作为一种优选的实施例，所述步骤S13中的随机森林模型为根据采集到的多个激光图像通过人工标注为模板完成机器训练后的随机森林分类器。
优选的，所述步骤S13中，所述随机森林模型对所述分类特征进行置信度打分，得分较高的所述分类特征所对应的线段区域为2D激光图像中人腿的位置。
优选的，所述步骤S12中的分类特征包括：激光点的个数，激光点的外接距等信息。
优选的，所述步骤S2包括以下步骤：
S21.通过3D相机采集3D图像数据；
S22.采用YOLO算法对所述3D图像数据上的人体区域进行定位。
优选的，所述步骤S22中的YOLO算法为以多个3D图像数据进行人工标注为模板，完成机器训练的图像识别分类器。
如图2所示，在具体实施中，基于3D相机的人体检测部分，算法采用了经典的YOLO算法实现，可以在图像上将人体的区域定位出来。有很多可以实现相同功能的方案，只是YOLO算法在精度和速度的平衡上做的非常好。此部分主要在数据上进行了重新的采集与标注，并基于已有的预训练模型进行模型的调优工作。为了能更好的提升计算的速度，采用了YOLO的Tiny版来实现，即整个网络结构在图2的基础上进一步的删除一些网络层，减小计算资源来实现。
优选的，所述步骤S3包括以下步骤：
S31.以2D激光传感器的视角为基础视角；
S32.在所述2D激光传感器的视角中叠加3D相机的视角；
S33.在视角重合区域以所述3D相机为主要权重，在视角非重合区域以所述2D激光传感器的视角为主要权重。
如图4所示，图中体现了3D相机和2D激光传感器的感知范围以及相互的弥补的功能示意。3D相机的感知范围大约在水平视角60°左右，而2D激光传感器的水平视角在180°。两种传感器重合的区域，在进行融合时3D相机提供的权重会更重一些，以提高检测的准确性。在超过3D相机的感受野范围之后，以激光检测得到的人腿为准，可以有效的提升识别范围。
如图6所示，本发明实施例二提供的一种基于信息融合的人体跟踪系统，包括：
2D激光传感器模块，用于发射2D激光并采集2D激光图像用于人腿部检测；
3D相加模块，用于采集3D图像数据用于的人体检测；
信息融合模块，分别于所述2D激光传感器模块和所述3D相机模块连接，基于所述2D激光传感器模块和所述3D相机模块的检测结果进行信息融合；
跟踪模块，与所述信息融合模块连接，采用粒子滤波框架对信息融合模块提供的融合结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪。
所述2D激光传感器模块包括：
激光图像聚类子模块，对采集到的2D激光图像中的激光点序进行分割得到激光线段；
特征提取子模块，与所述激光图像聚类子模块连接，提取所述激光线段的分类特征；
分类子模块，与所述特征提取子模块连接，基于所述分类特征，采用随机森林模型对所述激光线段进行分类，得到所述2D激光图像中人腿的位置。
其中在跟踪模块进行跟踪的过程中，行人重识别算法部分的设计采用了相对简单的卷积神经网络来实现。主要利用卷积神经网络的特征提取功能。相比于分类任务不同，在行人重识别算法中更希望所得到的特征具有更好的特异性。在行人重识别算法与运动模型两者来看，通常情况下会对行人重识别的权重更为看重特异性，对于跳变式的情况具有较好的抑制作用。而运动模型的实际作用为限定目标的活动范围。
作为一种优选的实施例，所述3D相加模块包括：
3D相机子模块，用于采集3D图像数据；
人体定位子模块，与所述3D相机子模块连接，采用YOLO算法对所述3D图像数据上的人体区域进行定位。
本发明实施例三提供的一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述方法的步骤。
上述技术方案的技术效果在于：
结合了两种不同的传感器进行融合以保证更为广阔的感知范围以及鲁棒的检测效果。
采用随机森林模型的模式分类方法进行激光特征的提取，而不是人工设计的几何特征，学习得到的特征具有更好的鲁棒性与适应性。
使用行人重识别算法进行外观特征特异性的表述，相比传统的纹理和颜色的直接特征提取，具有更好的同类判别能力。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于信息融合的人体跟踪方法，其特征在于，包括以下步骤：
S1.基于2D激光的人腿部检测；
S2.基于3D相机的人体检测；
S3.基于所述2D激光和所述3D相机的检测结果进行融合；
S4.采用粒子滤波框架对融合后的检测结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪；
所述步骤S1包括以下具体步骤；
S11.对采集到的2D激光图像中的激光点序进行分割得到激光线段；
S12.提取所述激光线段的分类特征；
S13.基于所述分类特征，采用随机森林模型对所述激光线段进行分类，得到所述2D激光图像中人腿的位置。
2.如权利要求1所述的基于信息融合的人体跟踪方法，其特征在于，所述步骤S13中的随机森林模型为根据采集到的多个激光图像通过人工标注为模板完成机器训练后的随机森林分类器。
3.如权利要求2所述的基于信息融合的人体跟踪方法，其特征在于，所述步骤S13中，所述随机森林模型对所述分类特征进行置信度打分，得分较高的所述分类特征所对应的线段区域为2D激光图像中人腿的位置。
4.如权利要求3所述的基于信息融合的人体跟踪方法，其特征在于，所述步骤S12中的分类特征包括：激光点的个数，激光点的外接距等信息。
5.如权利要求1所述的基于信息融合的人体跟踪方法，其特征在于，所述步骤S2包括以下步骤：
S21.通过3D相机采集3D图像数据；
S22.采用YOLO算法对所述3D图像数据上的人体区域进行定位。
6.如权利要求5所述的基于信息融合的人体跟踪方法，其特征在于，所述步骤S22中的YOLO算法为以多个3D图像数据进行人工标注为模板，完成机器训练的图像识别分类器。
7.如权利要求1所述的基于信息融合的人体跟踪方法，其特征在于，所述步骤S3包括以下步骤：
S31.以2D激光传感器的视角为基础视角；
S32.在所述2D激光传感器的视角中叠加3D相机的视角；
S33.在视角重合区域以所述3D相机为主要权重，在视角非重合区域以所述2D激光传感器的视角为主要权重。
8.一种基于信息融合的人体跟踪系统，其特征在于，包括：
2D激光传感器模块，用于发射2D激光并采集2D激光图像用于人腿部检测；
3D相加模块，用于采集3D图像数据用于的人体检测；
信息融合模块，分别于所述2D激光传感器模块和所述3D相机模块连接，基于所述2D激光传感器模块和所述3D相机模块的检测结果进行信息融合；
跟踪模块，与所述信息融合模块连接，采用粒子滤波框架对信息融合模块提供的融合结果进行外观特征和运行信息的描述，通过行人重识别算法实现人体跟踪。
所述2D激光传感器模块包括：
激光图像聚类子模块，对采集到的2D激光图像中的激光点序进行分割得到激光线段；
特征提取子模块，与所述激光图像聚类子模块连接，提取所述激光线段的分类特征；
分类子模块，与所述特征提取子模块连接，基于所述分类特征，采用随机森林模型对所述激光线段进行分类，得到所述2D激光图像中人腿的位置。
9.如权利要求8所述的基于信息融合的人体跟踪系统，其特征在于，所述3D相加模块包括：
3D相机子模块，用于采集3D图像数据；
人体定位子模块，与所述3D相机子模块连接，采用YOLO算法对所述3D图像数据上的人体区域进行定位。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011461582.5A CN114612929A (zh) | 2020-12-08 | 2020-12-08 | 基于信息融合的人体跟踪方法、系统及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011461582.5A CN114612929A (zh) | 2020-12-08 | 2020-12-08 | 基于信息融合的人体跟踪方法、系统及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114612929A true CN114612929A (zh) | 2022-06-10 |
Family
ID=81856443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011461582.5A Pending CN114612929A (zh) | 2020-12-08 | 2020-12-08 | 基于信息融合的人体跟踪方法、系统及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612929A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220350342A1 (en) * | 2021-04-25 | 2022-11-03 | Ubtech North America Research And Development Center Corp | Moving target following method, robot and computer-readable storage medium |
-
2020
- 2020-12-08 CN CN202011461582.5A patent/CN114612929A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220350342A1 (en) * | 2021-04-25 | 2022-11-03 | Ubtech North America Research And Development Center Corp | Moving target following method, robot and computer-readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gurghian et al. | Deeplanes: End-to-end lane position estimation using deep neural networksa | |
| Chen et al. | Survey of pedestrian action recognition techniques for autonomous driving | |
| Kumar et al. | Review of lane detection and tracking algorithms in advanced driver assistance system | |
| Yuan et al. | Robust lane detection for complicated road environment based on normal map | |
| CN103295016B (zh) | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 | |
| CN110135249B (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN110555412B (zh) | 基于rgb和点云相结合的端到端人体姿态识别方法 | |
| US20210125338A1 (en) | Method and apparatus for computer vision | |
| CN108205658A (zh) | 基于单双目视觉融合的障碍物检测预警系统 | |
| CN107808376B (zh) | 一种基于深度学习的举手检测方法 | |
| JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
| CN110008913A (zh) | 基于姿态估计与视点机制融合的行人再识别方法 | |
| Espinosa et al. | Motorcycle detection and classification in urban Scenarios using a model based on Faster R-CNN | |
| CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
| CN111563452A (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN110119726A (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| Fang et al. | 3d bounding box estimation for autonomous vehicles by cascaded geometric constraints and depurated 2d detections using 3d results | |
| Wang et al. | An overview of 3d object detection | |
| Yang et al. | Single shot multibox detector with kalman filter for online pedestrian detection in video | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Zhao et al. | Review of human gesture recognition based on computer vision technology | |
| Islam et al. | MVS‐SLAM: Enhanced multiview geometry for improved semantic RGBD SLAM in dynamic environment | |
| Chen et al. | Occlusion and multi-scale pedestrian detection A review | |
| Wang et al. | Hand posture recognition from disparity cost map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |