CN113506318A - 一种车载边缘场景下的三维目标感知方法 - Google Patents

一种车载边缘场景下的三维目标感知方法 Download PDF

Info

Publication number
CN113506318A
CN113506318A CN202110782866.2A CN202110782866A CN113506318A CN 113506318 A CN113506318 A CN 113506318A CN 202110782866 A CN202110782866 A CN 202110782866A CN 113506318 A CN113506318 A CN 113506318A
Authority
CN
China
Prior art keywords
point cloud
point
frame
points
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110782866.2A
Other languages
English (en)
Other versions
CN113506318B (zh
Inventor
黄泽茵
钟卓柔
余荣
谭北海
黄梓欣
李贺
全芷莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110782866.2A priority Critical patent/CN113506318B/zh
Publication of CN113506318A publication Critical patent/CN113506318A/zh
Application granted granted Critical
Publication of CN113506318B publication Critical patent/CN113506318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种车载边缘场景下的三维目标感知方法，利用点云投影和二维图像融合，实现了车载系统下的三维目标感知与跟踪；本方法在并行计算的算法优化下，对点云图像数据进行滤波和分割操作，然后进行点云分类和特征值提取，再结合二维图像，将点云投影至二维图像上聚类，最终结合前后帧相关数据进行信息点的匹配、目标的联系，达到匹配跟踪的效果。该方法同时解决了如何通过激光雷达和摄像机返回图像结合进行目标识别以及部署在较小的终端设备上的问题，将本发明的方法应用在车载设备上后，取得了精准识别跟踪效果，有较高的泛化性和实时性。

Description

一种车载边缘场景下的三维目标感知方法
技术领域
本发明涉及智能识别和多传感器融合的车载领域，具体涉及一种车载边缘场景下的三维目标感知方法。
背景技术
近年来，随着汽车保有量的不断增长，许多城市的道路承载能力已达到满负荷，交通安全、出行效率、节能减排日益突出，车辆的智能化和网络化通常被认为是解决上述交通问题的重要途径。
随着人工智能与计算机视觉的发展日趋成熟，在车联网架构的感知层或传感器上的许多实际应用中，目标检测和目标跟踪等的视觉任务需求剧增。同时，无人驾驶领域中多模态数据融合的目标检测技术的研究兴起，为了实现高精度的目标检测，主要需要考虑两方面内容，一是车载传感器稳定性，二是单一模态数据提取的缺陷。针对第一方面，目前主要采用单目，双目和多线激光雷达进行三维目标检测。随着激光雷达工业的不断发展，其成本也在不断降低。针对第二方面，近年来不断有针对多模态的目标检测方法被提出。目前与本发明最相似的实现方案是基于传统融合理论的点云融合方法，在传统方法领域，主要利用卡尔曼滤波、贝叶斯滤波等方法。
但现有的点云感知方法在点云聚类上存在以下问题：
1.点云聚类常常依赖于人为设计的特征和经验规则，如设置一些阈值、表面法线等。以点云聚类中常用的欧几里得聚类方法为例，该方法主要是基于KD树实现的，在调用欧几里得聚类方法时需要人为设定KD树的近邻搜索半径，以及一个聚类的点数目范围。这就导致在复杂车载环境下该聚类方法可能失效，泛化性差。
2.传统的点云感知方法需要多阶段的处理流程，可能产生复合型错误，即聚类和分类没有建立在一定前后联系基础上，目标信息缺失。同时，多阶段的处理流程耗时较长，三维目标检测实时性较差，难以适应自动驾驶等速度需求高的场景，决策的快速性及准确性较差。
发明内容
本发明的目的是提供一种车载边缘场景下的三维目标感知方法，用以解决现有的传统点云感知方法泛化性差，目标信息易缺失的问题，提高检测实时性及跟踪精度。
为了实现上述任务，本发明采用以下技术方案：
一种车载边缘场景下的三维目标感知方法，包括以下步骤：
通过车载激光雷达和摄像机采集实时路况信息获得点云数据和二维图像，同时对车载激光雷达、摄像机进行标定；
对点云数据进行滤波分割，并分割点云地面，然后将点云投影到所述二维图像上进行融合，其中二维图像像素点通过如下公式变换：
Figure BDA0003157788850000021
Figure BDA0003157788850000022
其中，μ为像素坐标系的横坐标、γ为像素坐标系的纵坐标、cx为横向平移量、cy为纵向平移量、Xw、Yw、Zw分别为世界坐标系的坐标、R为世界坐标系旋转参数、t为世界坐标系平移参数、K为摄像机内参矩阵、T为摄像机外参矩阵，fx＝αf，fy＝βf，α为水平方向缩放倍数，β为竖直方向缩放倍数，f为摄像机焦距；
利用神经网络对融合后的二维图像进行目标检测和物体分类，并得到对应物体的边界框，通过判断边界框内是否存在点云进而对物体进行聚类划分，如果边界框的ROI区域内存在点云点则将其中的点归为一类，从而获取不同目标的三维点云图像；
对二维图像进行特征点检测，首先确定在二维图像的灰度图像上移动窗口所造成的灰度值的变化量：
Figure BDA0003157788850000023
其中，假设一个窗口的中心位于灰度图像为(x，y)的位置，该位置的像素灰度值为I(x，y)，u、v分别表示窗口向x和y方向移动的位移，ω(x，y)为位置(x，y)的窗口函数，表示窗口内各像素的权重；
通过最大化E(u,v)得到图像中的角点位置，对上式进行泰勒展开得到：
Figure BDA0003157788850000031
其中矩阵M表示为：
Figure BDA0003157788850000032
Ix和Iy分别代表灰度图像中x方向和y方向上的梯度，灰度值变化的大小则取决于矩阵M；引入角点响应函数计算：
R＝min(λ1,λ2)
其中，λ1,λ2为矩阵M的特征值，用较小的特征值作为R，设定阈值，当R大于阈值的像素就是角点，即为特征点；
以特征点为中心，构造不同半径的同心圆，并在每个圆中的特征点获取等距采样点共N个；将两对采样点组合在一起构成采样点对；在采样点对中区分长距离对和短距离对，长距离对用于确定方向，而短距离对用于构建描述符的强度比较；
使用短距离对构建采样点描述符，对于每个短距离对，它取采样点的平滑强度，并检查该短距离对中第一个点的平滑强度是否大于第二个点的平滑强度：如果是的话则在描述符的对应位写1，否则写0；
计算前后帧二维图像中所有描述符间的距离，返回最小值以建立映射关系，视为两者匹配，将匹配的描述符对应的采样点作为关键点，从而实现目标跟踪的效果；通过计算前一帧二维图像中的一个采样点的描述符与后一帧二维图像中的所有采样点的描述符的距离并返回最接近的一个，从而实现前一帧、后一帧二维图像中关键点匹配的目的；
根据前后帧匹配的关键点，如果前一帧二维图像有关键点落在其边界框的ROI区域内则对后一帧二维图像中其匹配的关键点进行判断是否也是在其边界框的ROI区域内，如果是，则认为前一帧、后一帧二维图像的边界框匹配；再根据获取对应边界框的ROI区域内的点云，得到前后两帧点云的匹配跟踪，实现三维跟踪的功能。
进一步地，所述对点云数据进行滤波分割，包括：
沿每个维度设置体素大小来调整采样大小，位于体素范围内的一组点云数据被分配给该体素，并在统计上合并为一个输出点，从而在输入点云数据上创建一个3D体素网格，然后将每个体素内的点都用该体素内点集的质心来近似。
进一步地，所述分割点云地面，包括：
借助RANSAC算法分割地面和非地面物体，该算法的最大迭代次数设置如下：
Figure BDA0003157788850000041
其中，K为最大迭代次数，p为算法跑k次的成功率，ω为随机抽取一个点是内群点的概率，n为选择的点云数据的个数。
进一步地，构建多个物体检测信息结构体—BoundingBox结构体，用来保存边界框和点云的映射关系，包括一张图片中检测到的一个边界框信息和对应的ROI区域内的点云信息，将它们保存在边界框向量中；所述边界框结构体中存储的信息包括：边界框ID标识、ROI区域信息、目标检测类别ID、ROI区域的点云点。
进一步地，构建目标跟踪关键帧结构体—DataFrame结构体，用于进一步确定前后两帧图像和点云的相对关系；关键帧结构体包含：当前帧二维图像、当前帧关键点、图像的特征点描述符、前后帧关键点描述符的匹配结果、目标检测结果的边界框集合、前后帧边界框匹配结果。
与现有技术相比，本发明具有以下技术特点：
1.本发明提出云融合的三维目标检测方法，主要是利用二维图像的目标检测技术获取目标物体在图像中的关键区域，并通过点云图像投影二维图像的方式得到对应目标物体的点云簇，从而实现三维目标的聚类划分。在对物体聚类的同时，网络获取对应检测物体的分类信息，解决了聚类分类流程导致的环境信息丢失问题，提高了聚类方法的泛化性。
2.本发明对目标进行跟踪估计，利用前后帧关键点信息对比，保存相关联的目标点云并映射，实现实时三维跟踪的效果。该方法能够加强对移动目标的感知能力，在目标相互遮挡的情况下仍保持精准地匹配跟踪，最终实现三维目标跟踪检测的目的。
3.本发明方法提高了云处理的实时性及快速性。基于并行计算和点云处理库的点云分割算法，将常规的云处理方式换成支持多并发任务的并行计算方式，解决了传统目标感知算法耗时长的缺陷，点云处理时间降低了4.1倍，实现并提高了三维目标感知的实时性，可适用于自动驾驶仿真等速度需求高的场景。
附图说明
图1为本发明方法的流程示意图。
具体实施方式
本发明提供一种车载边缘场景下的三维目标感知方法，利用点云投影和二维图像融合，实现了车载系统下的三维目标感知与跟踪。本方法在并行计算的算法优化下，对点云图像数据进行滤波和分割操作，然后进行点云分类和特征值提取，再结合二维图像，将点云投影至二维图像上聚类，最终结合前后帧相关数据进行信息点的匹配、目标的联系，达到匹配跟踪的效果。该方法同时解决了如何通过激光雷达和摄像机返回图像结合进行目标识别以及部署在较小的终端设备上的问题，将本发明的方法应用在车载设备上后，取得了精准识别跟踪效果，有较高的泛化性和实时性。
如图1所示，本发明的一种车载边缘场景下的三维目标感知方法，包括以下步骤：
步骤1，激光雷达-摄像机的信息采集与标定
通过车载激光雷达和摄像机采集实时路况信息获得点云数据和二维图像，同时对车载激光雷达、摄像机进行标定。
在本步骤中，车载激光雷达获取的丰富的三维信息为点云数据，摄像机传输的信息为二维图像，点云数据与二维图像是本系统的输入；雷达、摄像机的标定属于现有技术，在此不赘述。
步骤2，点云数据的滤波分割
步骤2.1，对点云数据进行滤波，通过点云滤波可以将点云数据中的异常无效点过滤分离出来。
本发明通过沿每个维度设置体素大小来调整采样大小，位于体素范围内的一组点云数据被分配给该体素，并在统计上合并为一个输出点，从而在输入点云数据上创建一个3D体素网格，然后将每个体素内的点都用该体素内点集的质心来近似。
滤波后的点云数据的形状特征与空间结构信息与原始点云差不多，没有丢失主要信息的同时，减少了后续点云特征提取和点云配对的计算量。
步骤2.2，分割点云地面
本发明借助RANSAC算法分割地面和非地面物体，主要通过点云分割函数RansacSegmentPlane()实现，将原始点云数据、最大迭代次数以及距离容忍度等参数传入函数，寻找点云中在道路平面的内联点inliners和提取点云中的物体outliers，对步骤2.1滤波分割后的点云数据进行地面、非地面分离，改善地面点对于地面以上的目标的点云聚类的效果。为了保证RANSAC分割的精度，选择一个合适的经验值作为迭代次数，迭代的次数越多RANSAC分割的效果也更好；最大迭代次数公式如下：
Figure BDA0003157788850000061
其中，K为最大迭代次数，p为算法跑k次的成功率，ω为随机抽取一个点是内群点的概率，n为选择的点云数据的个数。
步骤3，点云投影到二维图像进行融合
将步骤2处理后的点云数据投影至步骤1的二维图像上，考虑到摄像机移动会导致坐标系和方向的变化，采用了以世界坐标系为基准保证其绝对不变性。
本发明根据相机的成像原理和移动特点推导出二维图像的像素点通过如下公式变换：
Figure BDA0003157788850000062
Figure BDA0003157788850000063
其中，μ为像素坐标系的横坐标、γ为像素坐标系的纵坐标、cx为横向平移量、cy为纵向平移量、Xw、Yw、Zw分别为世界坐标系的坐标、R为世界坐标系旋转参数、t为世界坐标系平移参数、K为摄像机内参矩阵、T为摄像机外参矩阵，fx＝αf，fy＝βf，α为水平方向缩放倍数，β为竖直方向缩放倍数，f为摄像机焦距。
在KITTI数据集中的calib文件中会提供相关内参和外参的校准文件，在calib_velo_to_cam.txt提供点云数据到相机图片的外参标定参数，而内参标定矩阵的参数则保存在calib_cam_to_cam.txt文件中；结合calib文件配置参数我们就可以将激光点云投影到图片中。
步骤4，点云图像聚类
在完成激光点云投影后，利用YOLOv3对步骤3融合后的二维图像进行目标检测和物体分类，并得到对应物体的bounding boxes(即边界框，包含目标物体的检测框)，通过判断bounding boxes内是否存在点云进而对物体进行聚类划分，如果bounding boxes的ROI区域(即感兴趣区域，需要进一步处理的区域)内存在点云点则将其中的点归为一类，从而获取不同目标的三维点云图像。
步骤5，提取匹配关键点描述符
至此我们已经获取了ROI区域内的三维点云图像，可以通过聚类的三维点云点准确地识别出画面中的目标，接下来考虑如何进行目标跟踪。
由于目标物体及周围的环境会变化，为了保证目标检测在前后帧图像上是通用的，需要将关键特征点及其周围的像素作为一个描述符，进行前后帧图像匹配进而对目标物体进行图像跟踪；这一步对图像的关键特征点描述符进行提取。
步骤5.1，对步骤3的二维图像进行特征点检测
由于一个图像中区分度比较高的特征片段是角点区域，需要确定哪些窗口会引起较大的灰度值变化。窗口在各个方向上移动(u,v)所造成的像素灰度值的变化量公式可以表示为：
Figure BDA0003157788850000071
其中，假设一个窗口的中心位于灰度图像为(x,y)的位置，该位置的像素灰度值为I(x,y)，u、v分别表示窗口向x和y方向移动的位移，ω(x,y)为位置(x,y)的窗口函数，表示窗口内各像素的权重。
位于角点处的E(u,v)会非常大，可以通过最大化E(u,v)得到图像中的角点位置，对上式进行泰勒展开最终可得到：
Figure BDA0003157788850000081
其中矩阵M表示为：
Figure BDA0003157788850000082
Ix和Iy分别代表图像中x方向和y方向上的梯度。灰度值变化的大小则取决于矩阵M。这里我们引入角点响应函数计算：
R＝min(λ1,λ2)
λ1,λ2为矩阵M的特征值，角点的稳定性和矩阵M的较小特征值有关，于是直接用较小的那个特征值作为R，给定阈值，当R大于阈值的像素就是角点，即为特征点。
步骤5.2，接下来需要为特征点赋予描述符
以特征点为中心，构造不同半径的同心圆，并在每个圆上获取一定数量的等距采样点(所有采样点都包括特征点，共N个)。考虑存在N个采样点，因此将两对采样点组合在一起共计N(N-1)/2种组合，所有组的组合称为采样点对。在采样点对中会区分长距离对和短距离对(通过设定距离阈值来区分长距离对和短距离对)，长距离对用于确定方向，而短距离对用于构建描述符的强度比较。
本方法使用短距离对构建采样点描述符b，对于每个短距离对，它取采样点的平滑强度，并检查该对中第一个点的平滑强度
Figure BDA0003157788850000083
是否大于第二个点的平滑强度
Figure BDA0003157788850000084
如果是的话则在描述符的对应位写1，否则写0。
Figure BDA0003157788850000085
步骤5.3，匹配关键点描述符
计算前后帧二维图像中所有描述符间的距离，返回最小值以建立映射关系，视为两者匹配，将匹配的描述符对应的采样点作为关键点，从而实现目标跟踪的效果；通过计算前一帧二维图像中的一个采样点的描述符与后一帧二维图像中的所有采样点的描述符的距离并返回最接近的一个，从而实现前一帧、后一帧二维图像中关键点匹配的目的。
步骤6，三维目标跟踪
在步骤4点云图像聚类融合后构建多个物体检测信息结构体——BoundingBox结构体(如表1所示)，用来保存bounding box和点云的映射关系，包括一张图片中检测到的一个bounding box信息和对应的ROI区域内的点云信息，将它们保存在boundingBoxes向量中；所述BoundingBox结构体中存储的信息包括：Bounding Box ID标识、ROI区域信息、目标检测类别ID、ROI区域的点云点。
表1物体检测信息BoundingBox结构体
Figure BDA0003157788850000091
在步骤5特征点描述符匹配之后构建目标跟踪关键帧结构体——DataFrame结构体(如表2所示)，用于进一步确定前后两帧图像和点云的相对关系；关键帧结构体包含：当前帧二维图像、当前帧关键点、图像的特征点描述符、前后帧关键点描述符的匹配结果、目标检测结果的bounding boxes集合、前后帧bounding boxes匹配结果。
表2目标跟踪关键帧结构体
Figure BDA0003157788850000092
根据步骤5得到的前后帧匹配的关键点，如果前一帧二维图像有关键点落在其bounding box的ROI区域内则对后一帧二维图像中其匹配的关键点进行判断是否也是在其bounding box的ROI区域内，如果是，则认为前一帧、后一帧二维图像的bounding box匹配。通过这种方式，我们就可以实现前后两帧图像bounding box的匹配跟踪；再根据BoundingBox结构体获取对应bounding box的ROI区域内的点云，得到前后两帧点云的匹配跟踪，实现三维跟踪的功能。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (5)

1.一种车载边缘场景下的三维目标感知方法，其特征在于，包括以下步骤：
通过车载激光雷达和摄像机采集实时路况信息获得点云数据和二维图像，同时对车载激光雷达、摄像机进行标定；
对点云数据进行滤波分割，并分割点云地面，然后将点云投影到所述二维图像上进行融合，其中二维图像像素点通过如下公式变换：
Figure FDA0003157788840000011
Figure FDA0003157788840000012
其中，μ为像素坐标系的横坐标、γ为像素坐标系的纵坐标、cx为横向平移量、cy为纵向平移量、Xw、Yw、Zw分别为世界坐标系的坐标、R为世界坐标系旋转参数、t为世界坐标系平移参数、K为摄像机内参矩阵、T为摄像机外参矩阵，fx＝αf，fy＝βf，α为水平方向缩放倍数，β为竖直方向缩放倍数，f为摄像机焦距；
利用神经网络对融合后的二维图像进行目标检测和物体分类，并得到对应物体的边界框，通过判断边界框内是否存在点云进而对物体进行聚类划分，如果边界框的ROI区域内存在点云点则将其中的点归为一类，从而获取不同目标的三维点云图像；
对二维图像进行特征点检测，首先确定在二维图像的灰度图像上移动窗口所造成的灰度值的变化量：
Figure FDA0003157788840000013
其中，假设一个窗口的中心位于灰度图像为(x，y)的位置，该位置的像素灰度值为I(x，y)，u、v分别表示窗口向x和y方向移动的位移，ω(x，y)为位置(x，y)的窗口函数，表示窗口内各像素的权重；
通过最大化E(u，v)得到图像中的角点位置，对上式进行泰勒展开得到：
Figure FDA0003157788840000014
其中矩阵M表示为：
Figure FDA0003157788840000021
Ix和Iy分别代表灰度图像中x方向和y方向上的梯度，灰度值变化的大小则取决于矩阵M；引入角点响应函数计算：
R＝min(λ1，λ2)
其中，λ1，λ2为矩阵M的特征值，用较小的特征值作为R，设定阈值，当R大于阈值的像素就是角点，即为特征点；
以特征点为中心，构造不同半径的同心圆，并在每个圆中的特征点获取等距采样点共N个；将两对采样点组合在一起构成采样点对；在采样点对中区分长距离对和短距离对，长距离对用于确定方向，而短距离对用于构建描述符的强度比较；
使用短距离对构建采样点描述符，对于每个短距离对，它取采样点的平滑强度，并检查该短距离对中第一个点的平滑强度是否大于第二个点的平滑强度：如果是的话则在描述符的对应位写1，否则写0；
计算前后帧二维图像中所有描述符间的距离，返回最小值以建立映射关系，视为两者匹配，将匹配的描述符对应的采样点作为关键点，从而实现目标跟踪的效果；通过计算前一帧二维图像中的一个采样点的描述符与后一帧二维图像中的所有采样点的描述符的距离并返回最接近的一个，从而实现前一帧、后一帧二维图像中关键点匹配的目的；
根据前后帧匹配的关键点，如果前一帧二维图像有关键点落在其边界框的ROI区域内则对后一帧二维图像中其匹配的关键点进行判断是否也是在其边界框的ROI区域内，如果是，则认为前一帧、后一帧二维图像的边界框匹配；再根据获取对应边界框的ROI区域内的点云，得到前后两帧点云的匹配跟踪，实现三维跟踪的功能。
2.根据权利要求1所述的车载边缘场景下的三维目标感知方法，其特征在于，所述对点云数据进行滤波分割，包括：
沿每个维度设置体素大小来调整采样大小，位于体素范围内的一组点云数据被分配给该体素，并在统计上合并为一个输出点，从而在输入点云数据上创建一个3D体素网格，然后将每个体素内的点都用该体素内点集的质心来近似。
3.根据权利要求1所述的车载边缘场景下的三维目标感知方法，其特征在于，所述分割点云地面，包括：
借助RANSAC算法分割地面和非地面物体，该算法的最大迭代次数设置如下：
Figure FDA0003157788840000031
其中，K为最大迭代次数，p为算法跑k次的成功率，ω为随机抽取一个点是内群点的概率，n为选择的点云数据的个数。
4.根据权利要求1所述的车载边缘场景下的三维目标感知方法，其特征在于，构建多个物体检测信息结构体-BoundingBox结构体，用来保存边界框和点云的映射关系，包括一张图片中检测到的一个边界框信息和对应的ROI区域内的点云信息，将它们保存在边界框向量中；所述边界框结构体中存储的信息包括：边界框ID标识、ROI区域信息、目标检测类别ID、ROI区域的点云点。
5.根据权利要求1所述的车载边缘场景下的三维目标感知方法，其特征在于，构建目标跟踪关键帧结构体-DataFrame结构体，用于进一步确定前后两帧图像和点云的相对关系；关键帧结构体包含：当前帧二维图像、当前帧关键点、图像的特征点描述符、前后帧关键点描述符的匹配结果、目标检测结果的边界框集合、前后帧边界框匹配结果。
CN202110782866.2A 2021-07-12 2021-07-12 一种车载边缘场景下的三维目标感知方法 Active CN113506318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110782866.2A CN113506318B (zh) 2021-07-12 2021-07-12 一种车载边缘场景下的三维目标感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110782866.2A CN113506318B (zh) 2021-07-12 2021-07-12 一种车载边缘场景下的三维目标感知方法

Publications (2)

Publication Number Publication Date
CN113506318A true CN113506318A (zh) 2021-10-15
CN113506318B CN113506318B (zh) 2022-08-02

Family

ID=78012191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110782866.2A Active CN113506318B (zh) 2021-07-12 2021-07-12 一种车载边缘场景下的三维目标感知方法

Country Status (1)

Country Link
CN (1) CN113506318B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724298A (zh) * 2021-11-01 2021-11-30 深圳市城市交通规划设计研究中心股份有限公司 多点位感知融合方法及装置、计算机可读存储介质
CN114241298A (zh) * 2021-11-22 2022-03-25 腾晖科技建筑智能(深圳)有限公司 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN114863380A (zh) * 2022-07-05 2022-08-05 高德软件有限公司 车道线识别方法、装置及电子设备
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN117252992A (zh) * 2023-11-13 2023-12-19 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117541537A (zh) * 2023-10-16 2024-02-09 江苏星湖科技有限公司 基于全景点云融合技术的时空差异检测方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150269438A1 (en) * 2014-03-18 2015-09-24 Sri International Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics
US20180144458A1 (en) * 2016-11-21 2018-05-24 Seiko Epson Corporation Multiple Hypotheses Segmentation-Guided 3D Object Detection and Pose Estimation
US20200200912A1 (en) * 2018-12-19 2020-06-25 Andrew Chen Detection and tracking of road-side pole-shaped static objects from lidar point cloud data
CN111951305A (zh) * 2020-08-20 2020-11-17 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
KR102263152B1 (ko) * 2020-03-06 2021-06-09 주식회사 카르타 3차원 포인트 클라우드의 객체 탐지 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150269438A1 (en) * 2014-03-18 2015-09-24 Sri International Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics
US20180144458A1 (en) * 2016-11-21 2018-05-24 Seiko Epson Corporation Multiple Hypotheses Segmentation-Guided 3D Object Detection and Pose Estimation
US20200200912A1 (en) * 2018-12-19 2020-06-25 Andrew Chen Detection and tracking of road-side pole-shaped static objects from lidar point cloud data
KR102263152B1 (ko) * 2020-03-06 2021-06-09 주식회사 카르타 3차원 포인트 클라우드의 객체 탐지 방법 및 장치
CN111951305A (zh) * 2020-08-20 2020-11-17 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHO H ET.AL.: "Amulti-sensor fusion system for moving object detection and tracking in urban driving environments", 《2014 IEEE INTERNATIONAL》 *
LI L ET.AL.: "AnimprovedRANSACfor3Dpoint cloudplanesegmentation based on normal distribution transformation cells", 《REMOTE SENSING》 *
刘洋: "跨摄像头车辆再识别与追踪的研究与应用", 《中国优秀硕士学位论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724298A (zh) * 2021-11-01 2021-11-30 深圳市城市交通规划设计研究中心股份有限公司 多点位感知融合方法及装置、计算机可读存储介质
CN114241298A (zh) * 2021-11-22 2022-03-25 腾晖科技建筑智能(深圳)有限公司 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN114863380A (zh) * 2022-07-05 2022-08-05 高德软件有限公司 车道线识别方法、装置及电子设备
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN117541537A (zh) * 2023-10-16 2024-02-09 江苏星湖科技有限公司 基于全景点云融合技术的时空差异检测方法及其系统
CN117252992A (zh) * 2023-11-13 2023-12-19 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117252992B (zh) * 2023-11-13 2024-02-23 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备

Also Published As

Publication number Publication date
CN113506318B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
Wang et al. A point cloud-based robust road curb detection and tracking method
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
Wang et al. An overview of 3d object detection
CN115049700A (zh) 一种目标检测方法及装置
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN112270694B (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
Fan et al. A review of one-stage detection algorithms in autonomous driving
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
Juyal et al. Deep learning methods for object detection in autonomous vehicles
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN115861968A (zh) 一种基于实时点云数据的动态障碍物剔除方法
Delmerico et al. Building facade detection, segmentation, and parameter estimation for mobile robot stereo vision
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN114972423A (zh) 一种航拍视频运动目标检测方法及系统
CN113792593A (zh) 一种基于深度融合的水下近距离目标识别跟踪方法及系统
Liu et al. Vision-based environmental perception for autonomous driving
Zhang et al. Front vehicle detection based on multi-sensor fusion for autonomous vehicle
Gökçe et al. Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant