CN114578807A - 一种无人靶车雷视融合的主动目标检测与避障方法 - Google Patents
一种无人靶车雷视融合的主动目标检测与避障方法 Download PDFInfo
- Publication number
- CN114578807A CN114578807A CN202210005215.7A CN202210005215A CN114578807A CN 114578807 A CN114578807 A CN 114578807A CN 202210005215 A CN202210005215 A CN 202210005215A CN 114578807 A CN114578807 A CN 114578807A
- Authority
- CN
- China
- Prior art keywords
- target
- laser
- data
- radar
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000009304 pastoral farming Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开的无人靶车雷视融合的主动目标检测与避障方法，包括：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；获取单线激光雷达的激光数据、单目相机的视频数据并进行预处理；根据预处理后的激光数据进行激光目标提取得到激光目标集，对预处理的视频数据进行模式识别得到相机目标集；采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；基于新的融合目标数据集进行目标跟踪。本发明通过低成本的单线激光与单目相机，使用相机数据补偿单线激光盲区的融合方案，解决无人靶车的目标检测与避障。
Description
技术领域
本发明涉及无人靶车避障技术领域，具体涉及一种无人靶车雷视融合的主动目标检测与避障方法。
背景技术
移动射击战术训练是军队常见的训练科目，当前大多数部队会采用无人靶车进行射击训练。然而由于训练场地环境复杂，靶车在行进过程中会有与现场设备与参与人员发生碰撞的风险。
传统使用摄像头作为目标检测的传感器时，虽然其结构简单、成本低，但是容易受到光照环境和安装角度的影响，尤其是在运动环境中往往对于深度信息的处理存在偏差，导致在避障规划中存在误控的风险。
相对的在自动驾驶领域热门的多线激光雷达虽然不易受到环境影响，但是其使用成本较高，对比视觉图像来说分辨率低且对部分色段不敏感。对障碍目标不能起到很好的分类识别。例如，在识别行进轨迹上的草丛时，相机可以识别出此处为草丛，此时车辆决策可以正常通过而无需进行避障控制。而激光雷达却由于其分辨率较低，难以对草丛进行分类识别，此时车辆会进入避障规划，从而进行了不必要操作。
发明内容
发明目的：本发明目的在于针对现有技术的不足，综合从成本，效率和安全性等角度出发，提供一种无人靶车雷视融合的主动目标检测与避障方法，该方法同时使用单线激光雷达与单目相机两种传感器对环境目标进行检测与分类识别，将图像与空间点云数据进行融合处理，使用图像弥补单线激光盲区，以期望提高无人靶车在运动环境下主动目标检测与避障算法的鲁棒性。
技术方案：本发明所述无人靶车雷视融合的主动目标检测与避障方法，包括如下步骤：S1：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；S2：获取单线激光雷达的激光数据并进行预处理，获取单目相机的视频数据并进行预处理；S3：对预处理的激光数据进行激光目标提取获得激光目标集，对预处理的视频数据进行模式识别获取相机目标集；S4：采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；S5：基于融合目标数据集，对目标进行跟踪和预测，得到跟踪目标数据集；S6：建立全局地图，采用实时的跟踪目标数据集更新地图，分配目标等级并根据目标等级进行避障决策。
进一步完善上述技术方案，所述步骤S1包括：
S101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350°且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；
S102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系W，通过安装位置得出单线激光雷达外参数据L(R,t)以及单目相机外参数据C(R,t)，R、t分别代表旋转缩放矩阵和平移矩阵；
S103：内部参数标定时，单线激光雷达的标定采用两种规格的标定物体，在单线激光雷达的扫描平面选取移动标定物体，通过解析目标点云数据Cloudorig与标定物体的真实位置数据Cloudcalib，获取偏差补偿矩阵Lc；通过单目相机的内参标定获取相机内参矩阵Ck与畸变系数矩阵Cd；
S104：联合标定时，采用同一标定物体在单目相机的视场角与单线激光雷达的扫描平面中移动，当标定物体处在单线激光雷达的扫描平面中时，由单目相机的图像坐标以及单目相机在参考坐标系W中的坐标，得出标定物体相对参考坐标系W的坐标，通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换；
当标定物体不处在单线激光雷达扫描平面中时，将标定物体从单线激光雷达扫描平面F(x,y,z)按照纵向平移D(x,y,z)距离之后，标定物体在图像坐标下相对参考坐标系W的坐标为：[F(x,y,z)-D(x,y,z)]，再通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换。
进一步地，所述步骤S3中对激光数据进行预处理包括：
采用迭代最近点算法判断激光数据中前后帧的变化：
其中，R、t分别代表旋转缩放矩阵与平移矩阵，pt对应前一帧激光点云数据，ps对应当前帧的激光点云数据；i为激光点云中的激光点的个数；
所述步骤S3中对视频数据进行预处理包括：
采用SIFT算子提取视频数据中的图像关键点，通过图像关键点确定特征向量，根据视频数据中前后关键帧的特征向量进行两两比较找出相互匹配的特征点，建立帧间对应关系；
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中，L(x,y,z)为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)卷积运算。
进一步地，所述步骤S3中提取激光目标包括：采用无监督DBSCAN密度聚类算法，输入：D、预处理后的激光点云数据，ε、半径参数，MinPts、领域密度阈值；输出：激光点云密度簇的集合；基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来；
所述步骤S3中提取视觉数据包括：采用YOLOv4-tiny框架，选用提前打标好的靶场图片作为输入，生成的训练模型。
进一步地，所述步骤S3中基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来包括：
对于每一个点云簇，将其中每个点设为Pi＝＜xi,yi,zi＞，点云看作P1,P2,P3…Pn,N个点构成的数据集；
计算位置平均值：
构建协方差矩阵：
协方差矩阵为以下六个元素组成对称矩阵：
求解协方差矩阵的特征值λ1，λ2，λ3及对应的特征向量ξ1，ξ2，ξ3；
将每个特征向量进行正交标准化，得到正交矩阵Q=[ε′1 ε′2 ε′3]；
由QCQT得到对角阵
构建目标的包围轮廓：
进一步地，所述步骤S4采用相机目标集对激光目标集进行雷达盲区补偿，包括：同时遍历激光目标集与相机目标集，通过每个目标的空间坐标位置、轮廓大小、模式类别构成目标信息矩阵；当存在激光目标集中的某一个目标信息矩阵与相机目标集中的某一个目标信息矩阵的距离小于无人靶车的车速阈值时，判断该对目标为同一目标，其余目标为补偿目标。
进一步地，步骤S5包括为激光目标集与相机目标集中同一目标分配唯一ID，根据前后帧目标信息矩阵的距离匹配目标进行目标的跟踪与预测，若：
在上一帧中的N个目标中找到了当前帧检测到的目标，且符合预测阈值范围，说明目标被正常跟踪到；
在上一帧中的N个目标中没有找到当前帧检测到的目标，说明当前帧目标是这一帧中新出现的，将当前帧目标记录下来，用于下一帧目标的跟踪关联；
在上一帧中存在的某个目标，当前帧中没有检测到与之关联的目标，说明上一帧中存在某个目标在当前帧中消失，将该目标特殊记录下来；
对于特殊记录下来的目标，继续预测若干个周期，若在预测周期中出现且目标模式类似，则继续采用之前的目标ID进行跟踪和预测；若在预测周期中没有出现，且判定该目标消失。
进一步地，采用线性滤波器对匹配目标完成跟踪与预测，其关系表示为：
其中，
为当前帧目标数据估计值，
为前一帧目标数据估计值，
误差控制项为：
Q用来表示预测模型本身误差；
根据观测信息对预测值进行修正：
其中，
表示实际观察值与预估的观测值之间的残差，Kt为修正系数。
进一步地，还包括步骤S6、避障规划，建立以无人靶车为中心坐标系的代价地图，使用实时的跟踪目标数据集维护和更新地图，在地图上添加膨胀层，根据目标的类别，分配目标的安全等级并进行相应的避障决策控制：目标种类体积较小且定义为可碰撞特性时，判定目标的安全等级为高，决策控制为无人靶车不避障直接通过；目标种类为行人或定义具备不可碰撞特性时，判定目标的安全等级为低，决策控制为无人靶车进行避障。
有益效果：与现有技术相比，本发明的优点在于：相对于现有技术中采用深度相机或激光雷达进行信息采集，技术依赖性较高，本发明采用单线激光雷达数据与单目相机，并将两者数据进行充分融合，使两种传感器优势互补，解决了因为使用单一传感器目标检测准确性的不足，选取融合策略，硬件成本低且设备成熟，便于维护；涉及目标处理，数据融合，避障决策方向，流程设计完整；本发明在激光数据预处理中使用迭代最近点方法，匹配前后帧数据，在视频数据预处理中使用SIFT特征算子，处理关键帧，在激光目标提取时使用无监督的密度聚类算法提取目标；在视频目标提取时使用轻量级神经网络框架进行目标提取与模式识别；在数据融合时使用并交算法和线性滤波器，通过使用相机数据补偿单线激光盲区，保证融合目标的准确性；在避障决策时使用代价地图与D*规划保证避障决策的准确性，设计了针对不同目标的安全等级控制判断，提高无人靶车的控制效率。
附图说明
图1是本发明无人靶车雷视融合的主动目标检测与避障方法总流程；
图2是密度可达聚类算法示意图；
图3是YOLOV4-tiny网络结构。
具体实施方式
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示的无人靶车雷视融合的主动目标检测与避障方法，该方法通过在无人靶车上安装单线激光雷达与单目相机并进行对应的软件算法部署，其实现主要包括激光雷达与相机标定，数据预处理，激光目标提取，视觉网络模式识别，数据融合，目标跟踪，避障决策模块。
步骤S1、安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定，具体包括：
S101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350°且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；
S102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系W，通过安装位置得出激光雷达外参数据L(R,t)以及单目相机外参数据C(R,t)，R、t分别代表旋转缩放矩阵与平移矩阵；
S103：内部参数标定时，单线激光的标定会使用50cm厚度、50cm正方体规格与108mm厚度、50cm通用棋盘标定板两种规格的标定物体，在激光雷达扫描平面，分别选取1～80米范围内移动标定物体，通过解析目标点云数据Cloudorig与标定物体的真实位置数据CloudcaIib，获取偏差补偿矩阵Lc；相机内参标定，获取相机内参矩阵Ck与畸变系数矩阵Cd；
S104：联合标定过程，通过使用同一标定物体在相机视场角与激光扫描平面1～80米范围中移动，当标定物体处在激光雷达扫描平面中时，由相机图像坐标与相机坐标，即可得出标定物体的相对以车辆底盘中心坐标系为参考坐标系W的坐标，此时通过激光雷达转换激光内外参之后获得目标相对W的坐标，则有：
此时，可以推导图像坐标相对于激光雷达的转换。
当标定物体不处在激光雷达扫描平面中时的标定，通过将标定目标从扫描平面F(x,y,z)按照纵向平移D(x,y,z)距离之后，其在图像坐标下相对W的坐标，即为：
[F(x,y,z)-D(x,y,z)]。同理，可以推导图像坐标相对于激光雷达的转换。
步骤S2、分别对激光点云数据和视频流数据进行预处理，筛选去除发生畸变数据，筛选去除非连续前后帧数据；
作为上述方法的改进，在激光点云数据预处理阶段，采用迭代最近点算法(Iterative Closest Point)判断帧间变化。对于以无人靶车为刚体变换的情形，前后帧判断问题可以描述为：
这里Pt和Ps对应前一帧和当前帧的点云数据，得到的变换矩阵R和t与实际行使状态补偿后，即可判断激光点云的畸变情况。
在视频流预处理阶段，采用了SIFT算子进行筛选异常数据。通过SIFT算子提取图像关键点，之后通过关键点确定特征向量，最后通过前后关键帧的特征向量，进行两两比较找出相互匹配的特征点，建立帧间对应关系，从而达到预处理的目的。其过程可以描述如下：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
这里L(x,y,z)为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)卷积运算。
步骤S301、对预处理的激光数据进行激光目标提取获得激光目标集，具体包括：
在激光目标提取的过程中，使用无监督DBSCAN密度聚类算法，通过领域参数(ε,MinPts)从样本密度的角度考察样本之间的可连续性，并基于可连接样本不断拓展聚类簇以获得最终的聚类目标，即存在一个对象链P1,P2,P3…Pn，P1＝q，Pn＝p，对Pi属于D，Pi+1是从Pi关于ε和MinPts直接密度可达的，则对象p是从对象q关于ε和MinPts密度可达的。
伪代码：激光点云密度距簇
输入：
D：预处理后的点云数据
ε:：半径参数
MinPts：领域密度阈值
输出：基于密度的簇的集合
方法：
标记所有点集对象为unvisited
Do
随机选择一个unvisited点对象p
标记p为visited
If p的Dist-领域至少有MinPts个对象
创建一个新簇C，并把p添加到C
令N为p的ε-领域中的对象集合
For N中每个点p
If p是unvisited
标记p为visited
If p的ε-领域至少有MinPts个对象，把这些对象添加到N
如果p还不是任何簇的成员，把p添加到C
End For
输出C
Else标记p为噪声
Until没有标记为unvisited的对象
在得到激光点云密度簇的集合后，还需将目标边界通过主成分分析把包围轮廓计算出来；对于每一个点云簇，将每个点设Pi＝＜xi,yi,zi＞为，点云就看作P1,P2,P3…Pn,N个点构成的数据集。
首先需要计算位置平均值：
再构建协方差矩阵:
协方差由以下六个元素组成对称矩阵：
这里协方差矩阵表示x、y、x坐标值之间的相互关系，为了将所有的点集中均匀的沿着坐标分布，由|A-λE|＝0，求解特征值λ1，λ2，λ3，将求解的特征值回代进入(A-λE)＝0，求解出对应的特征向量ξ1，ξ2，ξ3。
将每个特征向量进行正交标准化，得到正交矩阵Q=[ε′1 ε′2 ε′3]
则由QCQT得到对角阵
以ε′1，ε′2，ε′3作为该对象自然轴对应的方向，可以算出顶点沿X、Y、Z三个方向最大和最小位置，根据这些最大和最小值即可以构建目标的包围轮廓。
边界盒的六个平面为：
此时，因为使用的是单线激光，在Z轴上可以忽略。
步骤S302、对预处理的视频数据进行模式识别获取相机目标集，考虑到车载控制器的处理性能，使用了YOLOv4-tiny框架，并且通过板载GPU进行加速，这里我们的模型已经生成，即选用提前打标好的靶场图片作为输入，训练出以供识别和分类的模型，生成的训练模型：包括训练车辆，士兵，灌木，训练障碍墩，石块，常见警示牌的分类结果。
YOLOv4-tiny结构是YOLOv4的精简版，属于轻量化模型，参数只有600万相当于原来的十分之一，这使得检测速度提升很大。整体网络结构共有38层，使用了3个残差单元，激活函数使用了LeakyReLU，目标的分类与回归改为使用两个特征层，合并有效特征层时使用了特征金字塔FPN网络。其同样使用了CSPnet结构，并对特征提取网络进行通道分割，将经过3X3卷积后输出的特征层通道划分为两部分，并取第二部分。在COCO数据集上得到了40.2％的AP50，371FPS，相较于其他版本的轻量化模型性能优势显著，结构参见图3。
本网络具有多任务，端到段，注意力机制和多尺度的特点。多任务即同时完成目标的分类与回归，实现参数共享，避免过拟合；端到端即模型接收图像数据后直接给出分类与回归的预测信息；注意力机制是重点关注目标区域特征进行详细处理，提高处理速度；多尺度的特点是将经过下采样和上采样的数据相互融合，其作用是能够分割出多种尺度大小的目标。在对模型进行训练时使用Mosaic数据增强，标签平滑，学习率余弦退火衰减等方法来提升模型的训练速度与检测精度。
在训练模型过程中：由于错误的标签会影响预测的结果。为了降低对训练样本标签的绝对信任，在训练时对分类标签的准确率进行适当调整。使用标签平滑(LabelSmoothing)对于二分类问题，把原始的标签是0、1，在平滑后则变为0.05、0.95。这样能够更有效的校准网络，使网络拥有更强的泛化性能，能有效避免过拟合，提升预测准确率。
当视频通过训练的模型对目标物进行模式识别分类之后，由图像上目标识别框的像素与目标分类结果，结合联合标定中图像相对激光的齐次变化，便可计算出目标物体相对位置信息。处理上：可以提取目标框的底边的中点看作成像点，减少狂选像素的误差值。
步骤S4、目标融合与补偿
由于单线激光只能扫射一层，本申请设计了一种使用相机目标进行融合与补偿的机制。当激光目标集与相机目标集都存在有目标时，根据位置与轮廓等信息进行IOU并交判断是否需要融合；当只激光目标集存在目标时的补偿；当只相机目标集存在目标时的补偿，最终生成新的融合数据集，以供目标追踪使用。
步骤S5、目标跟踪与预测
在得到新的融合目标数据集之后，这时实际已经得到了目标的类别(是行人、草木还是车辆)，目标的轮廓，目标的位置(相对于车辆的相对坐标系W)。
为了方便规划模块完成避障规划，建立了每个目标在前后帧的关系，并给激光目标集与相机目标集中同一目标分配唯一ID，使其能持续追踪这个目标。
对于目标的追踪与预测，使用了线性滤波器，则预测关系可以表示为：
这里，
分别视为状态转移矩阵，控制矩阵。考虑到噪声和其他不确定因素，其表示为：
这里噪声采用Noise～Guassian(0,σ)，而Q用来表示预测模型本身误差。预测的目标位置是根据前一个状态估计的，为了达到最优估计，还需要有更新组根据观测信息对预测值进行修正，其可以表示为：
这里
表示实际观察值与预估的观测值之间的残差，Kt为修正系数。
整个跟踪流程可以总结为：
1)在上一帧中的N个目标中找到了本次检测到的目标，且符合预测阈值范围，说明正常跟踪到了；
2)在上一帧中的N个目标中没有找到本次检测到的目标，说明这个目标是这一帧中新出现的，所以我们需要把它记录下来，用于下一次的跟踪关联；
3)在上一帧中存在某个目标，这一帧中并没有与之关联的目标，那么说明该目标可能从视野中消失了，我们需要将其特殊记录；
4)对于特殊记录的目标，继续预测一定周期，当超出这个周期后彻底释放，认为目标消失，如果在预测周期中出现且目标模式类似，则依然使用之前ID。
步骤S6、避障规划
本发明还给出了车辆避障规划的设计，建立了一张以无人靶车为中心坐标系的代价地图，使用实时的融合目标数据集维护和更新地图。在地图上添加膨胀层，来反映障碍在地图向周边的膨胀。轨迹由D*算法周期更新，最后根据位姿解算交由控制模块。
在避障决策中还根据目标的类别，定义目标的安全等级以决策车辆控制判断，以提高控制效率。例如：目标种类为体积较小的石块或者草木时，判定安全等级高，车辆可以不避障直接通过；目标种类为行人或者定义的不可碰撞设备时，判定安全等级较低，车辆进入避障决策。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。
Claims (9)
1.一种无人靶车雷视融合的主动目标检测与避障方法，其特征在于，包括如下步骤：
S1：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；
S2：获取单线激光雷达的激光数据并进行预处理，获取单目相机的视频数据并进行预处理；
S3：对预处理的激光数据进行激光目标提取得到激光目标集，对预处理的视频数据进行模式识别得到相机目标集；
S4：采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；
S5：基于融合目标数据集，进行目标的跟踪与预测。
2.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S1包括：
S101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350°且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；
S102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系W，通过安装位置得出单线激光雷达外参数据L(R,t)以及单目相机外参数据C(R,t)，R、t分别代表旋转缩放矩阵和平移矩阵；
S103：内部参数标定时，单线激光雷达的标定采用两种规格的标定物体，在单线激光雷达的扫描平面选取移动标定物体，通过解析目标点云数据Cloudorig与标定物体的真实位置数据Cloudcalib，获取偏差补偿矩阵Lc；通过单目相机的内参标定获取相机内参矩阵Ck与畸变系数矩阵Cd；
S104：联合标定时，采用同一标定物体在单目相机的视场角与单线激光雷达的扫描平面中移动，当标定物体处在单线激光雷达的扫描平面中时，由单目相机的图像坐标以及单目相机在参考坐标系W中的坐标，得出标定物体相对参考坐标系W的坐标，通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换；
当标定物体不处在单线激光雷达扫描平面中时，将标定物体从单线激光雷达扫描平面F(x，y，z)按照纵向平移D(x，y，z)距离之后，标定物体在图像坐标下相对参考坐标系W的坐标为：[F(x，y，z)-D(x，y，z)]，再通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换。
3.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S3中对激光数据进行预处理包括：
采用迭代最近点算法判断激光数据中前后帧的变化：
其中，R、t分别代表旋转缩放矩阵与平移矩阵，Pt对应前一帧激光点云数据，Ps对应当前帧的激光点云数据；i为激光点云中的激光点的个数；
所述步骤S3中对视频数据进行预处理包括：
采用SIFT算子提取视频数据中的图像关键点，通过图像关键点确定特征向量，根据视频数据中前后关键帧的特征向量进行两两比较找出相互匹配的特征点，建立帧间对应关系；
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，L(x，y，z)为原始图像I(x，y)与一个可变尺度的二维高斯函数G(x，y，σ)卷积运算。
4.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S3中提取激光目标包括：采用无监督DBSCAN密度聚类算法，输入：D、预处理后的激光点云数据，ε、半径参数，MinPts、领域密度阈值；输出：激光点云密度簇的集合；基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来；
所述步骤S3中提取视觉数据包括：采用YOLOv4-tiny框架，选用提前打标好的靶场图片作为输入，生成训练模型。
5.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S3中基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来包括：
对于每一个点云簇，将其中每个点设为Pi＝<xi，yi，zi>，点云看作P1，P2，P3...Pn，N个点构成的数据集；
计算位置平均值：
构建协方差矩阵：
协方差矩阵为以下六个元素组成对称矩阵：
求解协方差矩阵的特征值λ1，λ2，λ3及对应的特征向量ξ1，ξ2，ξ3；
将每个特征向量进行正交标准化，得到正交矩阵Q＝[ε′1 ε′2 ε′3]；
由QCQT得到对角阵
构建目标的包围轮廓：
6.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S4采用相机目标集对激光目标集进行雷达盲区补偿，包括：同时遍历激光目标集与相机目标集，通过每个目标的空间坐标位置、轮廓大小、模式类别构成目标信息矩阵；当存在激光目标集中的某一个目标信息矩阵与相机目标集中的某一个目标信息矩阵的距离小于无人靶车的车速阈值时，判断该对目标为同一目标，其余目标为补偿目标。
7.根据权利要求6所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：步骤S5包括为激光目标集与相机目标集中同一目标分配唯一ID，根据前后帧目标信息矩阵的距离匹配目标进行目标的跟踪与预测，若：
在上一帧中的N个目标中找到了当前帧检测到的目标，且符合预测阈值范围，说明目标被正常跟踪到；
在上一帧中的N个目标中没有找到当前帧检测到的目标，说明当前帧目标是这一帧中新出现的，将当前帧目标记录下来，用于下一帧目标的跟踪关联；
在上一帧中存在的某个目标，当前帧中没有检测到与之关联的目标，说明上一帧中存在某个目标在当前帧中消失，将该目标特殊记录下来；
对于特殊记录下来的目标，继续预测若干个周期，若在预测周期中出现且目标模式类似，则继续采用之前的目标ID进行跟踪和预测；若在预测周期中没有出现，且判定该目标消失。
8.根据权利要求7所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：采用线性滤波器对匹配目标完成跟踪与预测，其关系表示为：
其中，
为当前帧目标数据估计值，
为前一帧目标数据估计值，
误差控制项为：
Q用来表示预测模型本身误差；
根据观测信息对预测值进行修正：
其中，
表示实际观察值与预估的观测值之间的残差，Kt为修正系数。
9.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：还包括步骤S6、避障规划，建立以无人靶车为中心坐标系的代价地图，使用实时的跟踪目标数据集维护和更新地图，在地图上添加膨胀层，根据目标的类别，分配目标的安全等级并进行相应的避障决策控制：目标种类体积较小且定义为可碰撞特性时，判定目标的安全等级为高，决策控制为无人靶车不避障直接通过；目标种类为行人或定义具备不可碰撞特性时，判定目标的安全等级为低，决策控制为无人靶车进行避障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210005215.7A CN114578807B (zh) | 2022-01-05 | 2022-01-05 | 一种无人靶车雷视融合的主动目标检测与避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210005215.7A CN114578807B (zh) | 2022-01-05 | 2022-01-05 | 一种无人靶车雷视融合的主动目标检测与避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114578807A true CN114578807A (zh) | 2022-06-03 |
| CN114578807B CN114578807B (zh) | 2024-09-13 |
Family
ID=81769521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210005215.7A Active CN114578807B (zh) | 2022-01-05 | 2022-01-05 | 一种无人靶车雷视融合的主动目标检测与避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114578807B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998886A (zh) * | 2022-08-04 | 2022-09-02 | 智慧互通科技股份有限公司 | 基于雷视融合的车辆追踪方法以及装置 |
| CN115017467A (zh) * | 2022-08-08 | 2022-09-06 | 北京主线科技有限公司 | 一种跟车目标的补偿方法、装置及存储介质 |
| CN115343299A (zh) * | 2022-10-18 | 2022-11-15 | 山东大学 | 一种轻量化公路隧道集成检测系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN105976399A (zh) * | 2016-04-29 | 2016-09-28 | 北京航空航天大学 | 一种基于sift特征匹配的运动目标检测方法 |
| CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
| CN108256577A (zh) * | 2018-01-18 | 2018-07-06 | 东南大学 | 一种基于多线激光雷达的障碍物聚类方法 |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
| CN112622893A (zh) * | 2020-12-25 | 2021-04-09 | 北京理工大学前沿技术研究院 | 一种多传感器融合的靶车自动驾驶避障方法及系统 |
| CN113537316A (zh) * | 2021-06-30 | 2021-10-22 | 南京理工大学 | 一种基于4d毫米波雷达点云的车辆检测方法 |
-
2022
- 2022-01-05 CN CN202210005215.7A patent/CN114578807B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN105976399A (zh) * | 2016-04-29 | 2016-09-28 | 北京航空航天大学 | 一种基于sift特征匹配的运动目标检测方法 |
| CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
| CN108256577A (zh) * | 2018-01-18 | 2018-07-06 | 东南大学 | 一种基于多线激光雷达的障碍物聚类方法 |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
| CN112622893A (zh) * | 2020-12-25 | 2021-04-09 | 北京理工大学前沿技术研究院 | 一种多传感器融合的靶车自动驾驶避障方法及系统 |
| CN113537316A (zh) * | 2021-06-30 | 2021-10-22 | 南京理工大学 | 一种基于4d毫米波雷达点云的车辆检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JINYUE LIU: "Research of vision localization and measuring system for magnetic field distribution", 《2006 9TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION, ROBOTICS AND VISION (IEEE CAT. NO.06EX1361)》, 8 December 2006 (2006-12-08) * |
| 周保兴: "《三维激光扫描技术及其在变形监测中的应用》", 31 January 2018, 济南：山东大学出版社, pages: 114 - 116 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998886A (zh) * | 2022-08-04 | 2022-09-02 | 智慧互通科技股份有限公司 | 基于雷视融合的车辆追踪方法以及装置 |
| CN114998886B (zh) * | 2022-08-04 | 2022-10-28 | 智慧互通科技股份有限公司 | 基于雷视融合的车辆追踪方法以及装置 |
| CN115017467A (zh) * | 2022-08-08 | 2022-09-06 | 北京主线科技有限公司 | 一种跟车目标的补偿方法、装置及存储介质 |
| CN115017467B (zh) * | 2022-08-08 | 2022-11-15 | 北京主线科技有限公司 | 一种跟车目标的补偿方法、装置及存储介质 |
| CN115343299A (zh) * | 2022-10-18 | 2022-11-15 | 山东大学 | 一种轻量化公路隧道集成检测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114578807B (zh) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
| CN110244322B (zh) | 基于多源传感器的路面施工机器人环境感知系统及方法 | |
| CN111448478B (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
| CN114578807A (zh) | 一种无人靶车雷视融合的主动目标检测与避障方法 | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
| CN112505065B (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CN106529493B (zh) | 一种基于透视图的鲁棒性多车道线检测方法 | |
| Ma et al. | Simultaneous detection of lane and pavement boundaries using model-based multisensor fusion | |
| CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和系统 | |
| CN114902070A (zh) | 传感器退化检测和修复 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| US11080837B2 (en) | Architecture for improved machine learning operation | |
| CN107025657A (zh) | 一种基于视频图像的车辆行为轨迹检测方法 | |
| Saleem et al. | Steering angle prediction techniques for autonomous ground vehicles: a review | |
| CN110176022B (zh) | 一种基于视频检测的隧道全景监控系统及方法 | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN111461221A (zh) | 一种面向自动驾驶的多源传感器融合目标检测方法和系统 | |
| CN113593035A (zh) | 一种运动控制决策生成方法、装置、电子设备及存储介质 | |
| CN118279876B (zh) | 一种基于图像处理的清洁车自动避障方法及系统 | |
| CN113379738A (zh) | 一种基于图像的疫木检测与定位方法及系统 | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| CN110533692B (zh) | 一种面向无人机航拍视频中移动目标的自动跟踪方法 | |
| Zhao et al. | Environmental perception and sensor data fusion for unmanned ground vehicle | |
| CN118311955A (zh) | 无人机控制方法、终端、无人机及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |