CN117406234A - 基于单线激光雷达与视觉融合的目标测距和追踪的方法 - Google Patents
基于单线激光雷达与视觉融合的目标测距和追踪的方法 Download PDFInfo
- Publication number
- CN117406234A CN117406234A CN202311282127.2A CN202311282127A CN117406234A CN 117406234 A CN117406234 A CN 117406234A CN 202311282127 A CN202311282127 A CN 202311282127A CN 117406234 A CN117406234 A CN 117406234A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- image
- radar
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 19
- 238000001914 filtration Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提出了基于单线激光雷达与视觉融合的目标测距和追踪的方法，主要解决了传统多线激光雷达高成本、高功耗和对小型无人船不适应的问题。该方法通过融合单线激光雷达与视觉传感器的数据，结合预先标定的内外参数矩阵进行信息融合，利用KLT算法与卡尔曼滤波进行目标运动状态的预测和修正，从而实现对水面目标的精确测距和稳定追踪。本方法旨在满足小型无人船在复杂水面环境中对目标进行低成本、高精度和稳定的测距追踪需求，该方法远距离追踪效果更好，追踪效果更稳定，同时还可避免追踪目标被部分遮挡问题，通过内外参数矩阵的预先标定和信息融合，能够自动适应不同的环境和场景，从而提供持续、稳定的测距和追踪性能。
Description
技术领域：
本发明属于水面目标测距和追踪技术领域，特别是涉及基于单线激光雷达与视觉融合的目标测距和追踪的方法。
背景技术：
对于水面垃圾，传统清理方式就是通过人为驾驶救生筏。随着人工智能的普及以及算法的不断提升，越来越多的繁杂、危险的工作可以通过机器来代替完成，由此水面无人垃圾清理船应运而生，而水面无人垃圾清理船的关键技术就是对水面目标垃圾的识别以及跟踪；
水面目标的测距和追踪技术已经成为多个领域如海洋科学、船舶导航和渔业监测等的核心技术。传统的测距方法主要基于视觉传感技术，如单目或双目视觉系统，这些系统通常利用图像的特征点匹配或深度估计算法来估计目标的距离。然而，这些传统方法在处理远距离、复杂环境或部分遮挡的目标时会面临一些挑战。
中国发明专利CN202310234432.8，公开了一种多传感器融合的近岸无人船SLAM方法。该方法成功地将激光雷达惯性里程计(LIO)和视觉惯性里程计(VIO)紧密耦合，并巧妙地利用了水面和水岸线的语义信息来联合处理数据。此方法在某些场景中，如强反光的水面环境，确实提供了较高的鲁棒性和准确性。然而，该方法仍然存在一些局限性。首先，它在目标追踪和特征点识别方面仍然面临一些困难。其次，尽管其能够较好地处理近距离的测距和追踪，但在远距离和复杂环境中，其性能仍有待提高。
中国发明专利CN201810267075.4，公开了一种无人船的目标识别追踪系统及其工作方法。该系统结合了3D激光雷达、矢量水听器等技术来实现对水面和水下障碍物的扫描和避障。虽然这种方法在处理水下障碍物上有所突破，但它对于长距离测距和高精度追踪的需求仍然不能完全满足。
现有的目标追踪算法都只适用于摄像头可视距离范围内的追踪(一般摄像头的可视距离在2-4m)，对于远距离追踪效果不佳，在近年来，随着无人船技术的快速发展，实现精确的水面目标测距和追踪成为了研究的重要课题。为了提高测距和追踪的精度，传统方法往往依赖于高成本、高功耗的设备，如多线激光雷达。然而，这种方法不仅成本高昂，而且在某些情况下可能不适合小型无人船。
为了解决这些问题，市场上已经公开了基于单线激光雷达的方法，与多线激光雷达相比，单线激光雷达具有成本低、功耗少的优势，但是，单纯依赖单线激光雷达进行目标测距和追踪仍然存在一定的局限性，尤其是在复杂的水面环境中。
为了进一步提高测距和追踪的精度和稳定性，本发明将单线激光雷达与其他传感器，如视觉传感器，进行融合的方法。通过这种融合方法，可以充分利用每种传感器的优势，从而实现更为精确和稳定的目标测距和追踪，利用融合检测追踪算法，通过融合单线雷达的传感距离(一般雷达的传感距离在8-10m)，实现远距离目标追踪，并且由于本算法是通过追踪特征点，对于障碍物被部分遮盖时，也可以有效的追踪目标。
发明内容：
针对现有技术的不足，本发明提出了基于单线激光雷达与视觉的水面目标测距追踪方法，其核心是融合单线激光雷达与视觉传感器的数据，以实现对水面目标的精确测距和稳定追踪。该方法涵盖了以下几个关键步骤：单线激光雷达进行目标的初步三维空间定位、视觉传感器进行目标的二维图像获取、通过预先标定得到的内外参数矩阵进行信息融合，以及利用KLT算法与卡尔曼滤波进行目标运动状态的预测和修正。为了实现该方法，本发明提供基于单线激光雷达与视觉融合的目标测距和追踪的方法，该方法包含以下步骤：
S1：通过单线激光雷达进行目标的初步三维空间定位，获取目标相对于雷达的粗略距离和方向信息；
S2：利用视觉传感器进行目标的二维图像获取，并通过图像处理算法识别目标特征点；
S3：通过预先标定得到的内外参数矩阵，将单线激光雷达的三维空间信息与视觉传感器的二维图像信息进行融合；
S4：应用数据融合结果，在目标特征点上进行精确的距离测量和追踪，其中包括应用多模态数据融合算法和卡尔曼滤波器；
S5：输出目标在三维空间中的精确位置和运动状态。
作为本发明的一种优先技术方案，所述步骤S1中通过单线激光雷达进行目标的初步三维空间定位的特征在于：
T1：单线激光雷达采用的激光波长为905纳米，以确保在各种光照条件下的高测距精度；
T2：雷达的扫描角度范围设定为±30度，用于捕获目标在水平面上的方向信息；
T3：利用雷达获取的时间飞行数据，计算目标与雷达之间的粗略距离θ，通过小孔成像原理公式，计算目标在三维空间中的x和y的坐标，
其中相机上的点p(xc,yc,zc)在图像坐标成像的点是p`(x,y)，其中(u0,v0)为像素坐标系和物理成像坐标系原点位置的偏移量，(1/dx,1/dy)为偏导数；
T4：结合雷达平台的高度z，完成目标在三维空间x,y,z中的初步位置定位。
作为本发明的一种优先技术方案，所述步骤S2中二维图像获取具备以下特征：
P1：使用CMOS图像传感器，具有200万像素分辨率和60帧/秒的帧率，以实现高清晰度的目标图像捕获；
P2：图像传感器配置有自动曝光和自动白平衡功能，以适应不同光照条件下的目标图像获取；
P3：利用Harris角点检测算法进行目标特征点的提取，该算法能够有效识别目标图像中的角点作为特征点；
P4：结合图像中的特征点和雷达获取的初步三维空间定位信息，通过对极几何约束进行特征点匹配；
P5：将图像坐标系下的雷达坐标点转换为像素坐标系下的像素点，以实现数据融合和精确目标定位。
作为本发明的一种优先技术方案，所述步骤S3中二维图像信息进行融合包含以下步骤：
R1：通过棋盘格标定板作为标定对象，其中棋盘格由黑白相间的正方形组成，用于单线激光雷达和视觉传感器的联合标定；
R2：利用标定方法获取视觉传感器的内参数矩阵K和畸变系数D；
R3：同时获取单线激光雷达对标定板的距离数据，进一步利用最小二乘法求解雷达和视觉传感器之间的外参数矩阵T；
R4：结合内参数矩阵K、畸变系数D和外参数矩阵T，通过线性三角化方法进行数据融合；
R5：通过以下公式将雷达坐标系的点映射到相机坐标系下，进一步进行目标的定位和追踪
其中，[xc,yc,zc]w是映射后图像坐标系下的点，是相机内参矩阵，是雷达和相机联合标定的4*4的外参矩阵，[xp,yp,zp]w是雷达坐标系下的点。
作为本发明的一种优先技术方案，所述步骤S4中距离测量和追踪使用的是KLT算法，其包含以下步骤：
Y1：选择上一帧图像中的特征点集合，用于在下一帧图像中进行匹配；
Y2：利用视差(d1,d2)的变化，在以坐标(i,j)为中心的(n1×n2)的YOLO v5检测框内，从时间tk+1中寻找时间tk的匹配点，其中，n1，n2代表检测框的高度和宽度，i和j表示中心点的像素坐标；
Y3：采用欧式距离准则，评估两帧之间特征点的匹配程度，设Xp是上一帧图像f(xi,yi,tk)中的一个特征点，Xq为下一帧图像内的特征点，计算欧氏距离如下：
其中，N1和N1分别表示在两帧图像中考虑的区域的高度和宽度；
Y4:根据上述欧氏距离，估算两点间的位移：
其中，k1和k2分别为欧氏距离的阈值。
作为本发明的一种优先技术方案，所述步骤S4中卡尔曼滤波器主要用于预测目标的运动状态，其包含以下步骤：
U1：基于假设，认为运动目标以恒定的速度进行运动；
U2：构建目标的状态方程如下：
X(k+1)＝Φ(k)+GW(k)
其中，w(k)＝[wx，wy]T是均值为0互不相关的随机加速噪声，x(k+1)及y(k+1)是特征点在k+1时刻的坐标，及/>是特征点在k+1时刻的速度，T是采样间隔；
U3:根据上述状态方程，对特征点在k+1时刻的位置x(k+1)和y(k+1)及其速度和/>进行预测。
作为本发明的一种优先技术方案，所述卡尔曼滤波器还包括一种KLT算法的输出进行修正和优化的方法，具体步骤如下：
M1：设定观测方程如下：
Z(k+1)＝HX(k+1)+V(k+1)
其中，V(k+1)＝[vx(k+1)，vy(k+1)]T是均值为0互不相关的观测高斯白噪声；
M2：利用KLT算法提供的目标特征点信息，结合上述观测方程，应用卡尔曼滤波器对目标的运动状态进行估计；
M3：基于卡尔曼滤波器的估计结果，对KLT算法的输出进行修正，确保在连续的图像帧中对目标的跟踪更为稳定和准确。
与相关的现有技术相比，本申请提案相比现有技术，有以下主要技术优点：本发明的有益效果是：
成本效益：通过采用单线激光雷达代替传统的多线激光雷达，本发明显著降低了设备和维护的成本，使其更适合于广泛的应用，尤其是小型无人船。
高精度和稳定性：通过融合单线激光雷达和视觉传感器的数据，本发明提供了更高的测距和追踪精度。结合KLT算法和卡尔曼滤波，进一步增强了对目标的稳定追踪能力，特别是在复杂的水面环境中。
灵活性：本发明不仅适用于小型无人船，还可以轻松地扩展到其他平台或应用，如大型船舶或固定观测站。
实时性能：利用本发明的方法，可以实时地获取和处理数据，从而实现对水面目标的即时测距和追踪。
自适应性：通过内外参数矩阵的预先标定和信息融合，本发明能够自动适应不同的环境和场景，从而提供持续、稳定的测距和追踪性能。
附图说明：
图1是本发明提供的方法流程图；
图2是本发明提供的一种测距算法精准度对比图；
图3是本发明提供的一种卡尔曼滤波的特征点跟踪算法原理；
图4是本发明提供的一种追踪算法绝对误差对比图；
图5是本发明提供的一种前(左)后(右)帧追踪效果图。
具体实施方式：
以下结合附图和实施例，进一步说明本发明。但是，本发明可以以多种不同方式实现，并且不应被理解为限制于所示的实施例；反之，这些实施例为那些熟悉技术的人员提供了满足适用的法律要求的实施方式。
基于单线激光雷达与视觉融合的目标测距和追踪的方法，该方法包含以下步骤：
S1：通过单线激光雷达进行目标的初步三维空间定位，获取目标相对于雷达的粗略距离和方向信息；
通过单线激光雷达进行目标的初步三维空间定位的特征在于：
T1：单线激光雷达采用的激光波长为905纳米，以确保在各种光照条件下的高测距精度；
T2：雷达的扫描角度范围设定为±30度，用于捕获目标在水平面上的方向信息；
T3：利用雷达获取的时间飞行数据，计算目标与雷达之间的粗略距离θ，通过小孔成像原理公式，计算目标在三维空间中的x和y的坐标，
其中相机上的点p(xc,yc,zc)在图像坐标成像的点是p`(x,y)，其中(u0,v0)为像素坐标系和物理成像坐标系原点位置的偏移量，(1/dx,1/dy)为偏导数；
T4：结合雷达平台的高度z，完成目标在三维空间x,y,z中的初步位置定位。
S2：利用视觉传感器进行目标的二维图像获取，并通过图像处理算法识别目标特征点；
二维图像获取具备以下特征：
P1：使用CMOS图像传感器，具有200万像素分辨率和60帧/秒的帧率，以实现高清晰度的目标图像捕获；
P2：图像传感器配置有自动曝光和自动白平衡功能，以适应不同光照条件下的目标图像获取；
P3：利用Harris角点检测算法进行目标特征点的提取，该算法有效识别目标图像中的角点作为特征点；
P4：结合图像中的特征点和雷达获取的初步三维空间定位信息，通过对极几何约束进行特征点匹配；
P5：将图像坐标系下的雷达坐标点转换为像素坐标系下的像素点，以实现数据融合和精确目标定位。
S3：通过预先标定得到的内外参数矩阵，将单线激光雷达的三维空间信息与视觉传感器的二维图像信息进行融合；
二维图像信息进行融合包含以下步骤：
R1：通过棋盘格标定板作为标定对象，其中棋盘格由黑白相间的正方形组成，用于单线激光雷达和视觉传感器的联合标定；
R2：利用标定方法获取视觉传感器的内参数矩阵K和畸变系数D；
R3：同时获取单线激光雷达对标定板的距离数据，进一步利用最小二乘法求解雷达和视觉传感器之间的外参数矩阵T；
R4：结合内参数矩阵K、畸变系数D和外参数矩阵T，通过线性三角化方法进行数据融合；
R5：通过以下公式将雷达坐标系的点映射到相机坐标系下，进一步进行目标的定位和追踪；
其中，[xc,yc,zc]t是映射后图像坐标系下的点，是相机内参矩阵，是雷达和相机联合标定的4*4的外参矩阵，[xp,yp,zp]t是雷达坐标系下的点。
S4：应用数据融合结果，在目标特征点上进行精确的距离测量和追踪，其中包括应用多模态数据融合算法和卡尔曼滤波器；
距离测量和追踪使用的是KLT算法，其包含以下步骤：
Y1：选择上一帧图像中的特征点集合，用于在下一帧图像中进行匹配；
Y2：利用视差(d1,d2)的变化，在以坐标(i,j)为中心的(n1×n2)的YOLO v5检测框内，从时间tk+1中寻找时间tk的匹配点，其中，n1，n2代表检测框的高度和宽度，i和j表示中心点的像素坐标；
Y3：采用欧式距离准则，评估两帧之间特征点的匹配程度，设Xp是上一帧图像f(xi,yi,tk)中的一个特征点，Xq为下一帧图像内的特征点，计算欧氏距离如下：
其中，N1和N1分别表示在两帧图像中考虑的区域的高度和宽度；
Y4：根据上述欧氏距离，估算两点间的位移：
其中，k1和k2分别为欧氏距离的阈值。
卡尔曼滤波器主要用于预测目标的运动状态，其包含以下步骤：
U1：基于假设，认为运动目标以恒定的速度进行运动；
U2：构建目标的状态方程如下：
X(k+1)＝Φ(k)+GW(k)
其中，w(k)＝[wx，wy]T是均值为0互不相关的随机加速噪声，x(k+1)及u(k+1)是特征点在k+1时刻的坐标，/>及/>是特征点在k+1时刻的速度，T是采样间隔；
U3：根据上述状态方程，对特征点在k+1时刻的位置x(k+1)和y(k+1)及其速度和/>进行预测。
卡尔曼滤波器还包括一种KLT算法的输出进行修正和优化的方法，具体步骤如下：
M1：设定观测方程如下：
Z(k+1)＝HX(k+1)+V(k+1)
其中，V(k+1)＝[vx(k+1)，vy(k+1)]T是均值为0互不相关的观测高斯白噪声；
M2：利用KLT算法提供的目标特征点信息，结合上述观测方程，应用卡尔曼滤波器对目标的运动状态进行估计；
M3：基于卡尔曼滤波器的估计结果，对KLT算法的输出进行修正，确保在连续的图像帧中对目标的跟踪更为稳定和准确。
S5：输出目标在三维空间中的精确位置和运动状态。
实施例1：如图1所示，在一个具体的实施环境中，本发明基于ROS2系统构建了一个实验平台，该平台可以同时获取摄像头和单线激光雷达的数据。首先，激光雷达输出的原始数据被转换为点云数据。通过雷达和摄像头的联合标定，本发明获得了外参矩阵。接着，将点云数据映射到图像的像素坐标系中，形成一条水平的具有深度信息的直线。
为了实时检测水面上的目标，本发明采用了YOLO v5检测器，并对其输出结果进行了筛选，仅保留目标检测框内的特征点。接着，使用KLT特征点匹配算法计算了特征点的位移，并结合卡尔曼滤波追踪器预测和更新了状态点位置。这样，不仅实现了远距离的目标追踪，还有效地解决了目标部分遮挡导致的追踪问题。
为了验证本方法的有效性，本发明设计了一个实验，将测量距离从0-8m均匀划分为4段。本发明对比了单目测距、双目测距以及本发明提出的基于单线激光雷达和视觉融合的测距方法。实验结果表明，本方法在0-2m范围内的测距准确性与其他两种方法相当，但在2-8m范围内，本方法的测距准确性明显优于单目和双目测距方法。同时本发明还提供了一个测距算法的精准度对比图(如图3所示)和一个测距算法比较的表格(如表1所示)。
实施例2：为了验证本发明提出的使用KLT算法对前后帧目标框内的特征点进行匹配方法，通过卡尔曼滤波对匹配的特征点构建卡尔曼滤波方程，通过不断的预测和观测，不断地修正追踪结果，KLT结合卡尔曼滤波的特征点跟踪算法原理如图3，从视频中任意截取前后两帧图像，追踪检测结果如图5所示(图左为前一帧的追踪(Tracking effect of theprevious frame)，图右为后一帧的追踪(The latter frame tracks the effect))，为了验证追踪的稳定性，使用SIFT匹配算法得到对应同名点的坐标，以计算KLT结合卡尔曼滤波算法的坐标与只使用KLT算法所得坐标的平均距离作为误差衡量标准，如图4所示(其纵坐标为绝对误差d/像素，表示像素的绝对误差值，横坐标为n帧/frame，表示每一帧的情况)。2种类型的视频都利用前50帧图像进行对比，本发明算法的精度误差稳定在2个像素左右，是只使用KLT算法的精度误差的1/3，这是因为单线激光雷达自身所发射的点大约在250个左右，而映射后在检测框内的特征点会随着检测框的大小而变化，在较远距离，检测图像所生成的检测框比较小，所包含的特征点也就少，甚至没有，这就导致只使用KLT特征点匹配算法，无法精准匹配前后帧的特征点，而结合卡尔曼滤波算法之后，通过卡尔曼滤波算法进行观测和预测特征点，接着通过KLT算法进行匹配就可以实现较稳定的特征点跟踪。
本发明成功提出并验证了一种基于单线激光雷达和视觉融合的测距和追踪方法，相较于传统的测距方法，该方法在准确度上有所提升，达到了20％-10％的增长，同时追踪的稳定性也增加了约10％。这些优势在各项实验对比中都得到了明确的体现。
本发明提出了利用单线激光雷达点云数据与视觉相融合的检测方法，将单线激光雷达的2D点云通过位置变换映射到2D像素平面，实现相机原有的RGB图像与单线激光雷达的深度相融合，将单线雷达融合后的一条直线，通过YOLOv5神经网络训练后的权重对目标进行检测过滤除目标框以外的点，提取目标框内的特征点，利用KLT匹配算法对前后帧的特征点进行匹配，最后通过卡尔曼滤波不断修正候选框中的特征点，实现准确的远距离目标追踪，实验结果表明该方法远距离追踪效果更好，追踪效果更稳定，同时还可避免追踪目标被部分遮挡问题。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (7)
1.基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，该方法包含以下步骤：
S1：通过单线激光雷达进行目标的初步三维空间定位，获取目标相对于雷达的粗略距离和方向信息；
S2：利用视觉传感器进行目标的二维图像获取，并通过图像处理算法识别目标特征点；
S3：通过预先标定得到的内外参数矩阵，将单线激光雷达的三维空间信息与视觉传感器的二维图像信息进行融合；
S4：应用数据融合结果，在目标特征点上进行精确的距离测量和追踪，其中包括应用多模态数据融合算法和卡尔曼滤波器；
S5：输出目标在三维空间中的精确位置和运动状态。
2.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，所述S1中通过单线激光雷达进行目标的初步三维空间定位的特征在于：
T1：单线激光雷达采用的激光波长为905纳米，以确保在各种光照条件下的高测距精度；
T2：雷达的扫描角度范围设定为±30度，用于捕获目标在水平面上的方向信息；
T3：利用雷达获取的时间飞行数据，计算目标与雷达之间的粗略距离θ，通过小孔成像原理公式，计算目标在三维空间中的x和y的坐标，
其中相机上的点p(xc,yc,zc)在图像坐标成像的点是p`(x,y)，其中(u0,v0)为像素坐标系和物理成像坐标系原点位置的偏移量，(1/dx,1/dy)为偏导数；
T4：结合雷达平台的高度z，完成目标在三维空间x,y,z中的初步位置定位。
3.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，所述S2中二维图像获取具备以下特征：
P1：使用CMOS图像传感器，具有200万像素分辨率和60帧/秒的帧率，以实现高清晰度的目标图像捕获；
P2：图像传感器配置有自动曝光和自动白平衡功能，以适应不同光照条件下的目标图像获取；
P3：利用Harris角点检测算法进行目标特征点的提取，该算法有效识别目标图像中的角点作为特征点；
P4：结合图像中的特征点和雷达获取的初步三维空间定位信息，通过对极几何约束进行特征点匹配；
P5：将图像坐标系下的雷达坐标点转换为像素坐标系下的像素点，以实现数据融合和精确目标定位。
4.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，所述S3中二维图像信息进行融合包含以下步骤：
R1：通过棋盘格标定板作为标定对象，其中棋盘格由黑白相间的正方形组成，用于单线激光雷达和视觉传感器的联合标定；
R2：利用标定方法获取视觉传感器的内参数矩阵K和畸变系数D；
R3：同时获取单线激光雷达对标定板的距离数据，进一步利用最小二乘法求解雷达和视觉传感器之间的外参数矩阵T；
R4：结合内参数矩阵K、畸变系数D和外参数矩阵T，通过线性三角化方法进行数据融合；
R5：通过以下公式将雷达坐标系的点映射到相机坐标系下，进一步进行目标的定位和追踪；
其中，[xc,yc,zc]t是映射后图像坐标系下的点，是相机内参矩阵，是雷达和相机联合标定的4*4的外参矩阵，[xp,yp,zp]t是雷达坐标系下的点。
5.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，所述S4中距离测量和追踪使用的是KLT算法，其包含以下步骤：
Y1：选择上一帧图像中的特征点集合，用于在下一帧图像中进行匹配；
Y2：利用视差(d1,d2)的变化，在以坐标(i,j)为中心的(n1×n2)的YOLO v5检测框内，从时间tk+1中寻找时间tk的匹配点，其中，n1，n2代表检测框的高度和宽度，i和j表示中心点的像素坐标；
Y3：采用欧式距离准则，评估两帧之间特征点的匹配程度，设Xp是上一帧图像f(xi,yi,tk)中的一个特征点，Xq为下一帧图像内的特征点，计算欧氏距离如下：
其中，N1和N1分别表示在两帧图像中考虑的区域的高度和宽度；
Y4：根据上述欧氏距离，估算两点间的位移：
其中，k1和k2分别为欧氏距离的阈值。
6.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，所述S4中卡尔曼滤波器主要用于预测目标的运动状态，其包含以下步骤：
U1：基于假设，认为运动目标以恒定的速度进行运动；
U2：构建目标的状态方程如下：
X(k+1)＝Φ(k)+GW(k)
其中，w(k)＝[wx,wy]T是均值为0互不相关的随机加速噪声，x(k+1)及y(k+1)是特征点在k+1时刻的坐标，及/>是特征点在k+1时刻的速度，T是采样间隔；
U3：根据上述状态方程，对特征点在k+1时刻的位置x(k+1)和y(k+1)及其速度和/>进行预测。
7.根据权利要求6所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，所述卡尔曼滤波器还包括一种KLT算法的输出进行修正和优化的方法，具体步骤如下：
M1：设定观测方程如下：
Z(k+1)＝HX(k+1)+V(k+1)
其中，V(k+1)＝[vx(k+1),vy(k+1)]T是均值为0互不相关的观测高斯白噪声；
M2：利用KLT算法提供的目标特征点信息，结合上述观测方程，应用卡尔曼滤波器对目标的运动状态进行估计；
M3：基于卡尔曼滤波器的估计结果，对KLT算法的输出进行修正，确保在连续的图像帧中对目标的跟踪更为稳定和准确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311282127.2A CN117406234A (zh) | 2023-10-07 | 2023-10-07 | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311282127.2A CN117406234A (zh) | 2023-10-07 | 2023-10-07 | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117406234A true CN117406234A (zh) | 2024-01-16 |
Family
ID=89489958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311282127.2A Pending CN117406234A (zh) | 2023-10-07 | 2023-10-07 | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117406234A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117944059A (zh) * | 2024-03-27 | 2024-04-30 | 南京师范大学 | 基于视觉及雷达特征融合的轨迹规划方法 |
-
2023
- 2023-10-07 CN CN202311282127.2A patent/CN117406234A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117944059A (zh) * | 2024-03-27 | 2024-04-30 | 南京师范大学 | 基于视觉及雷达特征融合的轨迹规划方法 |
| CN117944059B (zh) * | 2024-03-27 | 2024-05-31 | 南京师范大学 | 基于视觉及雷达特征融合的轨迹规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109283538B (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
| CN106767399B (zh) | 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法 | |
| CN110807809B (zh) | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 | |
| CN112785702A (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| CN111435081B (zh) | 海面测量系统、海面测量方法以及存储介质 | |
| CN109961417A (zh) | 图像处理方法、装置及移动装置控制方法 | |
| Cvišić et al. | Recalibrating the KITTI dataset camera setup for improved odometry accuracy | |
| CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
| CN106033614A (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| Sorial et al. | Towards a real time obstacle detection system for unmanned surface vehicles | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与系统 | |
| CN117058236A (zh) | 一种基于多目视觉系统自切换的目标识别定位方法 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| Vaida et al. | Automatic extrinsic calibration of LIDAR and monocular camera images | |
| CN114442083A (zh) | 一种基于视觉与多源雷达的自适应加权数据融合方法 | |
| Wu et al. | Research progress of obstacle detection based on monocular vision | |
| CN117974766B (zh) | 基于时空依据的分布式双红外传感器多目标同一性判定方法 | |
| CN114677531B (zh) | 一种融合多模态信息的水面无人艇目标检测与定位方法 | |
| CN117784797B (zh) | 基于视觉图像和激光雷达的水下智能机器人导航避障方法 | |
| CN113239948B (zh) | 一种面向毫米波雷达与视频图像的数据融合方法及系统 | |
| Yang et al. | Research on Fusion Method of Lidar and Visual Image Based on Surface Vehicle | |
| CN111486820B (zh) | 测量系统、测量方法以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |