CN117218576A - 一种基于视频识别的毫米波雷达点云自动标注方法 - Google Patents
一种基于视频识别的毫米波雷达点云自动标注方法 Download PDFInfo
- Publication number
- CN117218576A CN117218576A CN202311121001.7A CN202311121001A CN117218576A CN 117218576 A CN117218576 A CN 117218576A CN 202311121001 A CN202311121001 A CN 202311121001A CN 117218576 A CN117218576 A CN 117218576A
- Authority
- CN
- China
- Prior art keywords
- radar
- target
- video
- point
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000002184 metal Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 235000014435 Mentha Nutrition 0.000 claims description 4
- 241001072983 Mentha Species 0.000 claims description 4
- 235000014569 mints Nutrition 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提出了一种基于视频识别的毫米波雷达点云自动标注方法，对雷达和相机进行空间的标定；采集雷达点云与对应的视频数据，同步雷达与视频的起始时间；从雷达与摄像头的同步起始点开始，每次选取两帧雷达数据，采用基于椭圆邻域改进的时序DBSCAN聚类算法，进行雷达目标的分割，获取雷达目标的密度核心点，将雷达目标的密度核心点转换到像素坐标系；将与雷达数据帧同步的视频帧输入到YOLOv7网络中，得到视频目标的语义标签、目标感兴趣区域以及目标中心像素点坐标；对雷达目标密度核心点像素坐标与视频目标中心像素坐标，进行基于目标感兴趣区域的目标关联，完成目标的关联和雷达点云的标注。本发明提高了点云分割的准确度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种毫米波雷达点云分割以及自动标注的方法。
背景技术
随着经济的快速发展，汽车、自行车等交通工具的数量急剧增长，交通场景变得越来越复杂，驾驶员在驾驶车辆的过程中由于感知能力有限，无法对驾驶环境有全方位的认识，尤其是在黑夜、雨雪等能见度不足的条件下，更容易引发交通事故。因此现代车辆集成了各种各样的传感器，用来对静态和动态道路环境因素进行建模和分析，增强驾驶员对驾驶环境的感知能力。目前常用的传感器有高清摄像头、激光雷达、毫米波雷达等。与摄像头和激光雷达传感器相比，毫米波雷达在探测距离和抗干扰能力方面更具优势，能够在不同亮度和天气条件下良好运行，即使在雾、雨、雪等恶劣天气下也能正常工作。此外，毫米波雷达可以通过信号处理准确提取目标的距离、速度和角度信息。
目前基于毫米波雷达的目标检测算法主要是深度学习算法，因此毫米波雷达的数据集制作就至关重要。但是由于毫米波雷达点云的稀疏性以及噪点的干扰，使得有用信息提取较为困难，无法通过轮廓直观的对点云进行分割和分类，因此毫米波雷达点云的数据集制作是基于雷达点云目标识别的众多难题之一。
雷达点云的分割效果对雷达点云的数据集质量有着决定性的作用，因此雷达点云的分割任务异常重要。Density Based Spatial Clustering ofApplications withNoise(DBSCAN)广泛应用于数据聚类和分割领域。Sun在视频分析中提出了一种基于DBSCAN的车辆计数方法。Lim提出了一种在汽车雷达系统中使用DBSCAN对检测到的目标进行聚类的方法。为了用汽车雷达系统检测行人，Wagner提出了DBSCAN算法的修改。DBSCAN是汽车雷达系统中最常用的数据分割算法。然而，由于点云分布的不均匀性，检测目标会出现点云“断裂”的问题，使得原始的DBSCAN算法在雷达点云的分割效果并不理想。
发明内容
本发明的目的在于提供一种基于视频识别的毫米波雷达点云自动标注方法，以适应不同形状的毫米波雷达目标，解决大体积雷达目标的点云断裂问题，提高雷达点云目标分割的准确度。
实现本发明目的的技术解决方案为：一种基于视频识别的毫米波雷达点云自动标注方法，包括雷达-相机空间标定、雷达与相机数据帧时间同步、雷达点云分割、视频目标识别、雷达-相机目标关联五个步骤，具体如下：
步骤一，对雷达和相机进行空间的标定，得到雷达与相机之间的坐标转换关系，为后续雷达目标的世界坐标转换到像素坐标以及雷达-相机目标关联做准备；
步骤二，采集雷达点云与对应的视频数据，同步雷达与视频的起始时间，设置采样时刻，以保证每一个采样时刻的数据都包含雷达和视频两种传感器的数据；
步骤三，从雷达与摄像头的同步起始点开始，每次选取两帧雷达数据，采用基于椭圆邻域改进的时序DBSCAN聚类算法，进行雷达目标的分割，获取雷达目标的密度核心点，将雷达目标的密度核心点转换到像素坐标系；
步骤四，将与雷达数据帧同步的视频帧输入到YOLOv7网络中，使用YOLOv7视频识别算法识别视频目标，得到视频目标的语义标签、目标感兴趣区域以及目标中心像素点坐标；
步骤五，对步骤三中的雷达目标密度核心点像素坐标与步骤四中的视频目标中心像素坐标，进行基于目标感兴趣区域的目标关联，完成目标的关联和雷达点云的标注。
进一步的，步骤一，对雷达和相机进行空间的标定，得到雷达与相机之间的坐标转换关系，具体方法如下：
步骤1.1，将雷达固定于支架距离地面3m处，相机固定于雷达上方10cm处，雷达于相机均正对前方与地面平行；
步骤1.2，在雷达与相机前面放置12个金属角反射器模拟雷达目标，分别获取其在像素坐标系下的坐标(u,v)以及其在世界坐标系下的位置(XW,YW,ZW)；
步骤1.3，根据DLT算法，世界坐标与像素坐标的转换关系如下：
其中未知参数l1到l12是世界坐标系与像素坐标系之间的关系系数，H为转移矩阵：
利用12个金属角反射器的像素坐标和世界坐标，可得到具体的转移矩阵H，完成雷达与相机的标定。
进一步的，步骤二，采集雷达点云与对应的视频数据，同步雷达与视频的起始时间，具体方法为：
步骤2.1，开启相机；
步骤2.2，雷达与相机开启过程存在时延τdelay，经过τdelay后开启雷达，完成雷达与相机的起始采集时间同步；
步骤2.3，由于雷达与视频的采样间隔不同，在完成起始时间同步后，以工作频率低的传感器为基准采样数据，保证每一个采样时刻都能包含雷达和相机两种传感器数据。
进一步的，步骤三，为了增加对小目标的识别准确度，从雷达与摄像头的同步起始点开始，每次选取两帧连续的雷达数据，其中每一帧的雷达数据包括雷达点云的世界坐标、点云的速度、点云所属的帧id信息，采用基于椭圆邻域改进的时序DBSCAN聚类算法，进行雷达目标的分割，获取雷达目标的密度核心点,即雷达目标中密度最大的点云对应的世界坐标，将雷达目标的密度核心点转换到像素坐标系，具体方法为：
步骤3.1，确定参数，包括椭圆邻域参数长轴εa、短轴εb、核心点数量阈值Minpts；
步骤3.2，以当前两帧雷达数据帧中的任意一个未分类的点云数据为中心点，计算任一雷达点与中心点之间的距离，公式为：
其中d表示当前两帧雷达数据中任意两点之间的距离，(x0,y0)为中心点的世界坐标、(x1,y1)分别为另一个雷达点的世界坐标，F1、F2分别表示两个雷达点所属的数据帧的id；
根据距离判断雷达点(x1,y1)是否在以中心点(x0,y0)为中心，长轴为εa、短轴为εb的椭圆邻域内；遍历两帧雷达数据中未被加入到数据簇中的点云，判断以中心点(x0,y0)为中心，长轴为εa、短轴为εb的椭圆邻域内点云数量是否达到阈值Minpts，如果满足条件，则以中心点为核心对象形成新的数据簇，并将椭圆邻域中的其他目标数据加入到数据簇中，否则，重新选择未被加入到数据簇中的点云进行判断；
步骤3.3，重复步骤3.2，直至所有的点云数据都判断完，完成初步聚类；
步骤3.4，针对步骤3.3中形成的每一个数据簇，执行下列操作：遍历数据簇中的每一个点云，计算当前点云的密度，即以当前点云为中心点，长轴为εa、短轴为εb的椭圆邻域内的点云数量，选取当前数据簇中椭圆邻域内点云数量最多的点作为密度核心点。
步骤3.5，对步骤3.3中的聚类结果，任选一簇作为起点，判断其与其余簇的密度核心点间是否满足下列条件：
其中vcur、xcur、ycur分别为当前簇密度核心点的速度、横向坐标、纵向坐标，vother、xother、yother分别为其余簇密度核心点的速度、横向坐标、纵向坐标，vthreshold、xthreshold、ythreshold分别为速度阈值，横向距离阈值，纵向距离阈值；
如若满足上述条件，则将两簇数据合并为一簇数据，并按照步骤3.4更新密度核心点，否则，重新选取新的数据簇判断是否满足上述条件；
步骤3.6，重复步骤3.5，直至所有数据簇均被访问完毕，完成二次聚类，而二次聚类得到的每一个数据簇都对应为一个雷达目标；
步骤3.7，使用步骤一中的坐标系转移矩阵H，将雷达目标的密度核心点转换到像素坐标系。
进一步的，步骤五，对步骤三中的雷达目标密度核心点像素坐标与步骤四中的视频目标中心像素坐标，进行基于目标感兴趣区域的目标关联，完成目标的关联和雷达点云的标注，具体方法为：
步骤5.1，选取一个雷达目标，选取一个视频目标，计算雷达目标密度核心点与视频目标中心像素点的距离以及ROI区域的交并比，进行基于目标感兴趣区域的目标关联，具体计算公式如下：
其中OR为雷达目标中心点，OC为视频目标中心点，SR为视频目标ROI的面积，SC为视频目标ROI的面积，τ1和τ2为关联度计算阈值，当雷达目标与视频目标的ROI中心点的距离小于τ1，且交并比大于τ2时，将对应的视频目标列为潜在的关联对象，将视频目标加入到当前雷达目标的候选关联队列中；
步骤5.2，重复步骤5.1，直至所有的视频目标遍历完成，选取候选列关联队列中与雷达目标有最大交并比的视频目标，将该视频目标的语义信息赋给雷达目标；
步骤5.3，重复步骤5.1～步骤5.2，直至所有的雷达目标均被赋予语义信息。至此完成了雷达点云的自动标注。
一种基于视频识别的毫米波雷达点云自动标注系统，实施所述的基于视频识别的毫米波雷达点云自动标注方法，实现毫米波雷达的点云自动标注。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实施所述的基于视频识别的毫米波雷达点云自动标注方法，实现毫米波雷达的点云自动标注。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实施所述的基于视频识别的毫米波雷达点云自动标注方法，实现毫米波雷达的点云自动标注。
本发明与现有的技术相比，其显著优点在于：1)通过使用基于椭圆邻域改进的时序DBSCAN算法，能够适应不同形状的毫米波雷达目标，提高目标分割的鲁棒性。2)同时在基于椭圆邻域改进的时序DBSCAN算法中，按照数据帧的时间顺序进行多帧雷达数据融合，能够利用噪声与时间的弱相关性以及雷达目标与时间的强相关性，在增加小目标的识别准确度的同时，减少多帧噪声堆叠造成的假目标的出现。3)通过增加速度和位置信息的约束进行二次聚类，能够解决大目标的点云断裂问题，提高点云分割的准确度。
附图说明
图1为DLT标定算法推导流程图
图2为基于椭圆邻域改进的时序DBSCAN聚类算法流程图。
图3为基于目标感兴趣区域的目标关联算法流程图。
图4雷达视频时间配准示意图。
图5为本发明提出的改进的DBSCAN算法对点云断裂情况的聚类效果图。
图6为使用原始DBSCAN聚类算法对点云的聚类效果图
图7为在雷达检测范围内视频目标的检测结果图。
图8为雷达目标与视频目标的关联结果图。
图9为本发明基于视频识别的毫米波雷达点云自动标注方法的流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于视频识别的毫米波雷达点云自动标注方法，使用基于椭圆邻域改进的时序DBSCAN聚类算法完成点云的分割，并利用视频识别算法完成雷达点云的标注，包括雷达-相机空间标定、雷达与相机数据帧时间同步、雷达点云分割、视频目标识别、雷达-相机目标关联五个步骤：
步骤一，系统在使用前要先对雷达和相机进行空间的标定，得到雷达与相机之间的坐标转换关系，为后续雷达目标的世界坐标转换到像素坐标以及雷达-相机目标关联做准备。
所述步骤一包含以下3个子步骤，如下：
(1)将雷达固定于支架距离地面3m处，相机固定于雷达上方10cm处，雷达于相机均正对前方与地面平行。
(2)在雷达与相机前面放置12个金属角反射器模拟雷达目标，分别获取其在像素坐标系下的坐标(u,v)以及其在世界坐标系下的位置(XW,YW,ZW)。
(3)根据DLT算法，坐标系的转换关系如图1所示，世界坐标与像素坐标的转换关系如下：
其中未知参数l1到l12是世界坐标系与像素坐标系之间的关系系数，H为转移矩阵：
(4)利用12个金属角反射器的像素坐标和世界坐标，可得到具体的转移矩阵H，完成雷达与相机的标定。
步骤二，采集雷达点云与对应的视频数据，同步雷达与视频的起始时间，设置采样时刻，以保证每一个采样时刻的数据都包含雷达和视频两种传感器的数据。
步骤二包含3个子步骤，如下：
(1)开启相机。
(2)雷达与相机开启过程存在时延τdelay，经过τdelay后开启雷达，完成雷达与相机的起始采集时间同步。
(3)由于雷达与视频的采样间隔不同，在完成起始时间同步后，以工作频率低的传感器为基准采样数据，保证每一个采样时刻都能包含雷达和相机两种传感器数据。
步骤三，为了增加对小目标的识别准确度，从雷达与摄像头的同步起始点开始，每次选取两帧连续的雷达数据，其中每一帧的雷达数据包括雷达点云的世界坐标、点云的速度、点云所属的帧id信息，采用基于椭圆邻域改进的时序DBSCAN聚类算法，进行雷达目标的分割，获取雷达目标的密度核心点,即雷达目标中密度最大的点云对应的世界坐标，将雷达目标的密度核心点转换到像素坐标系，基于椭圆邻域改进的时序DBSCAN聚类算法流程图如图2所示。
步骤三包含7个子步骤，如下：
(1)，确定参数，包括椭圆邻域参数长轴εa、短轴εb、核心点数量阈值Minpts；
(2)，以当前两帧雷达数据帧中的任意一个未分类的点云数据为中心点，计算任一雷达点与中心点之间的距离，公式为：
其中d表示当前两帧雷达数据中任意两点之间的距离，(x0,y0)为中心点的世界坐标、(x1,y1)分别为另一个雷达点的世界坐标，F1、F2分别表示两个雷达点所属的数据帧的id；
根据距离判断雷达点(x1,y1)是否在以中心点(x0,y0)为中心，长轴为εa、短轴为εb的椭圆邻域内；遍历两帧雷达数据中未被加入到数据簇中的点云，判断以中心点(x0,y0)为中心，长轴为εa、短轴为εb的椭圆邻域内点云数量是否达到阈值Minpts。如果满足条件，则以中心点为核心对象形成新的数据簇，并将椭圆邻域中的其他目标数据加入到数据簇中，否则，重新选择未被加入到数据簇中的点云进行判断；
(3)，重复步骤(2)，直至所有的点云数据都判断完，完成初步聚类；
(4)，针对步骤(3)中形成的每一个数据簇，执行下列操作：遍历数据簇中的每一个点云，计算当前点云的密度，即以当前点云为中心点，长轴为εa、短轴为εb的椭圆邻域内的点云数量，选取当前数据簇中椭圆邻域内点云数量最多的点作为密度核心点。
(5)，对步骤(4)中的聚类结果，任选一簇作为起点，判断其与其余簇的密度核心点间是否满足下列条件：
其中vcur、xcur、ycur分别为当前簇密度核心点的速度、横向坐标、纵向坐标，vother、xother、yother分别为其余簇密度核心点的速度、横向坐标、纵向坐标，vthreshold、xthreshold、ythreshold分别为速度阈值，横向距离阈值，纵向距离阈值；
如若满足上述条件，则将两簇数据合并为一簇数据，并按照步骤3.4更新密度核心点，否则，重新选取新的数据簇判断是否满足上述条件；
(6)，重复步骤(5)，直至所有数据簇均被访问完毕，完成二次聚类，而二次聚类得到的每一个数据簇都对应为一个雷达目标；
(7)，使用步骤一中的坐标系转移矩阵H，将雷达目标的密度核心点转换到像素坐标系。
步骤四，将与雷达数据帧同步的视频帧输入到YOLOv7网络中，使用YOLOv7视频识别算法识别视频目标，得到视频目标的语义标签、目标感兴趣区域以及目标中心像素点坐标。
步骤五，将步骤三中的雷达目标密度核心点像素坐标与步骤四中的视频目标中心像素坐标输入到基于目标感兴趣区域的目标关联算法中，完成目标的关联和雷达点云的标注。基于目标感兴趣区域的目标关联算法流程图如图3所示。
步骤五包含4个子步骤，如下：
(1)选取一个雷达目标。
(2)选取一个视频目标，计算雷达目标密度核心点与视频目标中心像素点的距离以及ROI区域的交并比，具体计算公式如下：
其中OR为雷达目标中心点，OC为视频目标中心点，SR为视频目标ROI的面积，SC为视频目标ROI的面积，τ1和τ2为关联度计算阈值。
当雷达目标与视频目标的ROI中心点的距离小于τ1，且交并比大于τ2时，将对应的视频目标列为潜在的关联对象，将视频目标加入到当前雷达目标的候选关联队列中，否则，重复步骤(2)。
(3)重复步骤(2)，直至所有的视频目标遍历完成，选取候选列关联队列中与雷达目标有最大交并比的视频目标，将该视频目标的语义信息赋给雷达目标。
(4)重复步骤(1)-(3)，直至所有的雷达目标均被赋予语义信息。至此完成了雷达点云的自动标注。
实施例
为了验证本发明方案的有效性，选取2023年4月8日G24沪蓉高速某段的历史数据，进行如下实验。
1)对雷达和相机进行空间的标定
在进行实验前首先对雷达-相机进行空间标定，本次实验使用12个金属角反射器模拟雷达目标，分别获取其在像素坐标系下的坐标以及其在世界坐标系下的位置。获得转移矩阵H如下：
2)同步雷达与视频的起始时间，设置采样时刻
在测试中雷达的采样频率为15Hz，视频的采样频率为30Hz，因此在选取同步的数据的时候，选择每一个雷达帧出现的时间采样数据即可保证每一个采样时刻都包含雷达和视频数据。雷达视频时间配准示意图如图4所示。
3)基于椭圆邻域改进的时序DBSCAN聚类算法对雷达目标进行分割，并将雷达目标的密度核心点转换到像素坐标系。
使用改进的DBSCAN算法对点云断裂情况的聚类效果如图5所示，可以看出改进的DBSCAN算法能够明显的改善点云“断裂”问题。图6为使用原始DBSCAN聚类算法对点云的聚类效果，对比视频与雷达点云的检测效果可以看出对于大型的公交车目标，原始的DBSCAN聚类算法将其分割为cluster7和cluster8两个目标，出现了点云“断裂”的情况。
4)使用YOLOv7视频识别算法识别视频目标，得到视频目标的语义标签、目标感兴趣区域以及目标中心像素点坐标
图7为在雷达检测范围内视频目标的检测结果，其中包含了目标的语义标签、目标感兴趣区域。
5)基于目标感兴趣区域的目标关联算法完成目标的关联和雷达点云的标注
通过计算雷达与视频目标感兴趣区域的交并比，完成了目标关联和自动标注工作。图8为将雷达目标的核心密度点映射到视频目标的关联结果图，其中在雷达检测范围内，视频目标与雷达目标ROI的交并比如下列矩阵所示：
矩阵中元素aij表示第i个视频目标与第j个雷达目标的感兴趣区域交并比，选取每一列最大的元素，其对应的视频目标即为雷达目标所关联的目标。
综上所述，本发明使用雷达与视频的联合标定以及YOLOv7视频检测算法对视频目标的识别，完成了毫米波雷达点云的自动标注，解决了人工标注误差较大、标注结果一致性差，同时还会消耗大量人力的问题。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于视频识别的毫米波雷达点云自动标注方法，其特征在于，包括雷达-相机空间标定、雷达与相机数据帧时间同步、雷达点云分割、视频目标识别、雷达-相机目标关联五个步骤，具体如下：
步骤一，对雷达和相机进行空间的标定，得到雷达与相机之间的坐标转换关系，为后续雷达目标的世界坐标转换到像素坐标以及雷达-相机目标关联做准备；
步骤二，采集雷达点云与对应的视频数据，同步雷达与视频的起始时间，设置采样时刻，以保证每一个采样时刻的数据都包含雷达和视频两种传感器的数据；
步骤三，从雷达与摄像头的同步起始点开始，每次选取两帧雷达数据，采用基于椭圆邻域改进的时序DBSCAN聚类算法，进行雷达目标的分割，获取雷达目标的密度核心点，将雷达目标的密度核心点转换到像素坐标系；
步骤四，将与雷达数据帧同步的视频帧输入到YOLOv7网络中，使用YOLOv7视频识别算法识别视频目标，得到视频目标的语义标签、目标感兴趣区域以及目标中心像素点坐标；
步骤五，对步骤三中的雷达目标密度核心点像素坐标与步骤四中的视频目标中心像素坐标，进行基于目标感兴趣区域的目标关联，完成目标的关联和雷达点云的标注。
2.根据权利要求1所述的基于视频识别的毫米波雷达点云自动标注方法，其特征在于，步骤一，对雷达和相机进行空间的标定，得到雷达与相机之间的坐标转换关系，具体方法如下：
步骤1.1，将雷达固定于支架距离地面3m处，相机固定于雷达上方10cm处，雷达于相机均正对前方与地面平行；
步骤1.2，在雷达与相机前面放置12个金属角反射器模拟雷达目标，分别获取其在像素坐标系下的坐标(u,v)以及其在世界坐标系下的位置(XW,YW,ZW)；
步骤1.3，根据DLT算法，世界坐标与像素坐标的转换关系如下：
其中未知参数l1到l12是世界坐标系与像素坐标系之间的关系系数，H为转移矩阵：
利用12个金属角反射器的像素坐标和世界坐标，可得到具体的转移矩阵H，完成雷达与相机的标定。
3.根据权利要求1所述的基于视频识别的毫米波雷达点云自动标注方法，其特征在于，步骤二，采集雷达点云与对应的视频数据，同步雷达与视频的起始时间，具体方法为：
步骤2.1，开启相机；
步骤2.2，雷达与相机开启过程存在时延τdelay，经过τdelay后开启雷达，完成雷达与相机的起始采集时间同步；
步骤2.3，由于雷达与视频的采样间隔不同，在完成起始时间同步后，以工作频率低的传感器为基准采样数据，保证每一个采样时刻都能包含雷达和相机两种传感器数据。
4.根据权利要求1所述的基于视频识别的毫米波雷达点云自动标注方法，其特征在于，步骤三，为了增加对小目标的识别准确度，从雷达与摄像头的同步起始点开始，每次选取两帧连续的雷达数据，其中每一帧的雷达数据包括雷达点云的世界坐标、点云的速度、点云所属的帧id信息，采用基于椭圆邻域改进的时序DBSCAN聚类算法，进行雷达目标的分割，获取雷达目标的密度核心点,即雷达目标中密度最大的点云对应的世界坐标，将雷达目标的密度核心点转换到像素坐标系，具体方法为：
步骤3.1，确定参数，包括椭圆邻域参数长轴εa、短轴εb、核心点数量阈值Minpts；
步骤3.2，以当前两帧雷达数据帧中的任意一个未分类的点云数据为中心点，计算任一雷达点与中心点之间的距离，公式为：
其中d表示当前两帧雷达数据中任意两点之间的距离，(x0,y0)为中心点的世界坐标、(x1,y1)分别为另一个雷达点的世界坐标，F1、F2分别表示两个雷达点所属的数据帧的id；
根据距离判断雷达点(x1,y1)是否在以中心点(x0,y0)为中心，长轴为εa、短轴为εb的椭圆邻域内；遍历两帧雷达数据中未被加入到数据簇中的点云，判断以中心点(x0,y0)为中心，长轴为εa、短轴为εb的椭圆邻域内点云数量是否达到阈值Minpts，如果满足条件，则以中心点为核心对象形成新的数据簇，并将椭圆邻域中的其他目标数据加入到数据簇中，否则，重新选择未被加入到数据簇中的点云进行判断；
步骤3.3，重复步骤3.2，直至所有的点云数据都判断完，完成初步聚类；
步骤3.4，针对步骤3.3中形成的每一个数据簇，执行下列操作：遍历数据簇中的每一个点云，计算当前点云的密度，即以当前点云为中心点，长轴为εa、短轴为εb的椭圆邻域内的点云数量，选取当前数据簇中椭圆邻域内点云数量最多的点作为密度核心点；
步骤3.5，对步骤3.3中的聚类结果，任选一簇作为起点，判断其与其余簇的密度核心点间是否满足下列条件：
其中vcur、xcur、ycur分别为当前簇密度核心点的速度、横向坐标、纵向坐标，vother、xother、yother分别为其余簇密度核心点的速度、横向坐标、纵向坐标，vthreshold、xthreshold、ythreshold分别为速度阈值，横向距离阈值，纵向距离阈值；
如若满足上述条件，则将两簇数据合并为一簇数据，并按照步骤3.4更新密度核心点，否则，重新选取新的数据簇判断是否满足上述条件；
步骤3.6，重复步骤3.5，直至所有数据簇均被访问完毕，完成二次聚类，而二次聚类得到的每一个数据簇都对应为一个雷达目标；
步骤3.7，使用步骤一中的坐标系转移矩阵H，将雷达目标的密度核心点转换到像素坐标系。
5.根据权利要求1所述的基于视频识别的毫米波雷达点云自动标注方法，其特征在于，步骤五，对步骤三中的雷达目标密度核心点像素坐标与步骤四中的视频目标中心像素坐标，进行基于目标感兴趣区域的目标关联，完成目标的关联和雷达点云的标注，具体方法为：
步骤5.1，选取一个雷达目标，选取一个视频目标，计算雷达目标密度核心点与视频目标中心像素点的距离以及ROI区域的交并比，进行基于目标感兴趣区域的目标关联，具体计算公式如下：
其中OR为雷达目标中心点，OC为视频目标中心点，SR为视频目标ROI的面积，SC为视频目标ROI的面积，τ1和τ2为关联度计算阈值，当雷达目标与视频目标的ROI中心点的距离小于τ1，且交并比大于τ2时，将对应的视频目标列为潜在的关联对象，将视频目标加入到当前雷达目标的候选关联队列中；
步骤5.2，重复步骤5.1，直至所有的视频目标遍历完成，选取候选列关联队列中与雷达目标有最大交并比的视频目标，将该视频目标的语义信息赋给雷达目标；
步骤5.3，重复步骤5.1～步骤5.2，直至所有的雷达目标均被赋予语义信息。至此完成了雷达点云的自动标注。
6.一种基于视频识别的毫米波雷达点云自动标注系统，其特征在于，实施权利要求1-5任一项所述的基于视频识别的毫米波雷达点云自动标注方法，实现毫米波雷达的点云自动标注。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实施权利要求1-5任一项所述的基于视频识别的毫米波雷达点云自动标注方法，实现毫米波雷达的点云自动标注。
8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实施权利要求1-5任一项所述的基于视频识别的毫米波雷达点云自动标注方法，实现毫米波雷达的点云自动标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311121001.7A CN117218576A (zh) | 2023-08-31 | 2023-08-31 | 一种基于视频识别的毫米波雷达点云自动标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311121001.7A CN117218576A (zh) | 2023-08-31 | 2023-08-31 | 一种基于视频识别的毫米波雷达点云自动标注方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218576A true CN117218576A (zh) | 2023-12-12 |
Family
ID=89047279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311121001.7A Pending CN117218576A (zh) | 2023-08-31 | 2023-08-31 | 一种基于视频识别的毫米波雷达点云自动标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218576A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
-
2023
- 2023-08-31 CN CN202311121001.7A patent/CN117218576A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
| CN117894015B (zh) * | 2024-03-15 | 2024-05-24 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532896B (zh) | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及系统 | |
| CN113379805B (zh) | 一种交通节点的多信息资源融合处理方法 | |
| CN103065151B (zh) | 一种基于深度信息的车辆识别方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN107591005B (zh) | 动静态检测相结合的停车区域管理方法、服务器及系统 | |
| CN103617412A (zh) | 实时车道线检测方法 | |
| CN112116031B (zh) | 基于路侧设备的目标融合方法、系统、车辆及存储介质 | |
| CN106951898B (zh) | 一种车辆候选区域推荐方法及系统、电子设备 | |
| CN108876805B (zh) | 一种端对端无监督场景可通行区域认知与理解方法 | |
| CN117218576A (zh) | 一种基于视频识别的毫米波雷达点云自动标注方法 | |
| CN116484971A (zh) | 车辆的自动驾驶感知自学习方法、装置及电子设备 | |
| CN111123262B (zh) | 自动驾驶3d建模方法、装置及系统 | |
| CN114782729A (zh) | 一种基于激光雷达与视觉融合的实时目标检测方法 | |
| CN112597839B (zh) | 基于车载毫米波雷达的道路边界检测方法 | |
| CN112130153A (zh) | 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 | |
| CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
| CN113281782A (zh) | 一种基于无人驾驶车的激光雷达雪点滤除方法 | |
| CN114693909A (zh) | 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备 | |
| CN114821526A (zh) | 基于4d毫米波雷达点云的障碍物三维边框检测方法 | |
| CN113029185A (zh) | 众包式高精度地图更新中道路标线变化检测方法及系统 | |
| CN105654084B (zh) | 基于激光器的车牌定位方法、装置及系统 | |
| CN114814827A (zh) | 基于4d毫米波雷达与视觉融合的行人分类方法及系统 | |
| CN108268866B (zh) | 一种车辆检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |