CN116736322B - 融合相机图像与机载激光雷达点云数据的速度预测方法 - Google Patents

融合相机图像与机载激光雷达点云数据的速度预测方法 Download PDF

Info

Publication number
CN116736322B
CN116736322B CN202311021084.2A CN202311021084A CN116736322B CN 116736322 B CN116736322 B CN 116736322B CN 202311021084 A CN202311021084 A CN 202311021084A CN 116736322 B CN116736322 B CN 116736322B
Authority
CN
China
Prior art keywords
distortion
point cloud
speed
laser radar
velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311021084.2A
Other languages
English (en)
Other versions
CN116736322A (zh
Inventor
杜立彬
贾璇
李正宝
柳泽政
高洁
马云鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202311021084.2A priority Critical patent/CN116736322B/zh
Publication of CN116736322A publication Critical patent/CN116736322A/zh
Application granted granted Critical
Publication of CN116736322B publication Critical patent/CN116736322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开融合相机图像与机载激光雷达点云数据的速度预测方法，属于激光雷达测量和电数字数据处理技术领域，用于点云数据的速度预测，包括进行数据预处理，对惯导系统、激光雷达、航空相机进行同步与校准，对传感器进行自运动校正，对采集探测数据进行图像校正，然后将自运动校正和图像校正结果进行测量关联；进行速度估计与目标跟踪，进行激光雷达点云优化，将优化后的点云导入至帧优化中，重新执行速度估计。本发明突破激光雷达角分辨率的限制，提升点云数据精度；纠正机载激光雷达扫描模式导致的畸变，弥补了其在切向方向速度估计的不足，提升了原本粗估的被测运动目标的速度精度。

Description

融合相机图像与机载激光雷达点云数据的速度预测方法
技术领域
本发明公开融合相机图像与机载激光雷达点云数据的速度预测方法，属于激光雷达测量和电数字数据处理技术领域。
背景技术
航空相机能高效率的采集数据，提供高角度分辨率的测量，且具有丰富的颜色纹理特征信息，但缺少深度信息，对于城市街道立面信息提取、高精地图生成等难以达到较高的测量精度，同时也会影响速度估计的精度。机载激光雷达能够快速、准确地获取目标物体的高精度三维激光点云数据，但获取的激光点云数据缺乏纹理信息，且受距离分辨率的限制，在测量速度时存在精度限制，也受角分辨率的限制，点云在切线方向的分辨率不足，点云切线对齐较为困难，影响速度估计的准确性测量。
激光雷达点云畸变通常分为自运动畸变和目标运动畸变。自运动畸变可以通过IMU简单纠正，但由于低成本IMU的噪声和漂移问题，常使用诸如同步定位和映射(SLAM)等先进的方法来提供更稳定精确的自运动信息。基于自运动的校正机制可以有效地校正静止场景中的点云，但不能校正运动物体；在畸变校正中，对运动物体的速度估计是必不可少的。
从航空相机拍摄的图像中可以估计运动物体的速度，然而，由于深度信息（目标物体各个点的三维坐标信息）不是直接获得的，目标深度和相关速度可能不准确，而激光雷达的点云跟踪方法可以提供物体的三维运动。激光雷达和航空相机分别提供极好的深度信息和角度分辨率，考虑与航空相机和激光雷达各自特性相关的几个能量项，通过对航空相机图像进行校正，试图校正由目标的运动引起的点云失真，从每个激光雷达点出发识别畸变，并通过最小化移动物体的总点云的空间分布来实现校正。
发明内容
本发明的目的在于公开融合相机图像与机载激光雷达点云数据的速度预测方法，解决现有技术中，航空相机测量缺少深度信息，而激光雷达测量角度分辨率差，导致点云数据速度预测不准的问题。
融合相机图像与机载激光雷达点云数据的速度预测方法，包括：
S1.进行数据预处理：
S1.1.对惯导系统、激光雷达、航空相机进行同步与校准；
S1.2.对传感器进行自运动校正，对传感器采集的探测数据进行图像校正，然后将自运动校正结果和图像校正结果进行测量关联；
S2.进行速度估计与目标跟踪；
S3.激光雷达点云优化，将优化后的点云导入至帧优化中，重新执行速度估计；
S1.1中的同步与校准包括：在全局坐标系中校正运动物体的畸变，去除自运动中的畸变，对所有传感器进行标定，包括对航空相机的外部标定以及激光雷达惯导系统的外部标定，将其转换为全局坐标，且时间同步在硬件级别执行；
S1.2中的自运动校正包括：
对于自运动，通过校正在单镜头帧到C帧开始时收集点云数据C0，惯导系统在当前帧的信息值为(RC0，CC0)，下一帧为信息值(RC1，CC1)，RC0表示C0时刻传感器组的全局旋转，CC0表示C0时刻传感器组的全局平移，在短时间内假设恒定速度运动来对每个激光雷达点进行变换；
对于全局坐标中时间戳为Cn的第n个自运动不失真的点Mn，根据自身坐标中原始激光雷达公式化为：
；
其中，；
式中，RCi表示Ci时刻传感器组的全局旋转，CCi表示Ci时刻传感器组的全局平移，表示传感器自身坐标；
Ci和C0之间的相对旋转和平移由插值得到：
，；
其中为旋转的大小，为旋转方向上的单位矢量，由罗德里格旋转公式得到：
；
式中，I表示单位矩阵；
使用激光雷达惯导系统估计自运动速度，去除自运动失真后，检测图像中的运动目标和相应的感兴趣区域边界框，通过边界框分割目标对应的点云，并与目标相关联；
S1.2中的图像校正包括：
S1.2.1.采用蔡司校正方法模型进行图像畸变校正的理想点坐标（x，y），公式如下：
；
式中k1和k2为径向畸变的畸变参数，r为畸变点到畸变中心的距离，(x'，y')为畸变点的坐标；
S1.2.2.对S1.2.1的公式进行处理得到：
；
其中r'为畸变半径，即到畸变中心距离为r的理想点将畸变到半径为r'的圆周上；
S1.2.3.若r1'和r1满足如下等式：
；
将以圆半径为r1的理想点畸变到半径为r1'的圆周上时，取理想空间圆上部分连续点，得到一条线段h1，h1上的点经畸变映射到半径为r1'的圆周，连接点得到一条畸变线段h1'；
若标定物中有4条间距为D的等间距线段，不考虑畸变这些线段将投影成等像素间距的线段h1，h2，h3和h4，图像畸变得到间距不等的畸变线段h1'，h2'，h3'和h4'；
设理想线段h2，h3和h4，到畸变中心的距离为r2，r3和r4，h2'，h3'和h4'畸变线段到畸变中心的距离为r2'，r3'和r4'，认为线段h2'，h3'和h4'到畸变中心的距离r2'，r3'和r4'等于为r1'与线段像素距离之和；
S1.2中的图像校正包括：
S1.2.4.令第i条畸变线段到第j条畸变线段间的距离为，则有：
；
S1.2.5.若标定物中等间距的线段不发生畸变，则将成像成等间距的线段，即两两线段间的距离之差是相等的：
；
S1.2.6.根据S1.2.2得到线段h1，h2，h3和h4的理想半径和畸变半径的关系式：
；
S1.2.7.根据S1.2.5和S1.2.6得到图像畸变距离和畸变参数之间的关系式：
；
S1.2中的图像校正包括
S1.2.8.设线段h1'和h2'的中点坐标分别为和，设畸变中心坐标为，根据距离公式：
；
计算出畸变中心坐标；
S1.2.9.若畸变图像中的点为，将畸变点的坐标代入蔡司校正方法模型，得到相对于畸变中心的理想点坐标，利用坐标间相对关系计算得到实际的理想点坐标：
；
通过上述公式将图像中的所有像素点进行计算得到其对应的理想点坐标，即实现图像的畸变校正，采用三次卷积法对其进行灰度插值处理，最终得到校正后的航空相机图像。
S1.2中的测量关联具体为航空相机图像数据求取运动目标切向速度，包括：
像素速度矢量的分布表示为二维高斯分布：
；
其中x代表某像素点，二维均值和像素速度矢量的协方差矩阵根据航空相机坐标系中的光流速度矢量集评估得出，在航空相机的相对坐标系中计算从到三维速度的投影，其中和是沿两个切向方向的速度：
；
d表示目标点云平均物深，fθ和fγ是相机沿两个切向方向的焦距。
S1.2中的测量关联包括：
通过对方程求微分将相对速度转换为三维全局坐标：
；
其中表示C0时刻传感器组的全局旋转和平移，表示传感器的自运动速度，表示像素点x0处的速度矢量，表示到三维速度的投影速度矢量；
在全局坐标系中计算三维速度的切向速度，三维速度分布的协方差表示为：
；
其中JB是与的函数关系的雅可比矩阵，表示航空相机三维速度。
S2包括：
估算每一帧的三维速度，激光雷达三维速度为，航空相机三维速度为，通过激光雷达点云计算出的目标径向速度为，通过激光雷达点云计算出的目标切向速度为，则速度分布公式为：
；
式中表示经过投影函数h分解的速度，投影函数h分解包括通过分解径向速度和通过分解切向速度，H是以速度v导出的投影函数h的雅可比矩阵，表示关于p的协方差矩阵；
在切向方向上，根据相机和激光雷达估计的速度的协方差进行融合，两个方向上的测量融合速度为：
；
；
式中表示使用协方差融合两个高斯函数：
；
；
式中K表示两个独立高斯函数之间的融合增益；
最后，由径向速度和切向速度合并求出，作为跟踪后端过程的输入测量值。
S3的激光点云优化包括：
S3.1.通过高斯分解方法进行单次回波的提取，波形由N个回波组成，波形数字化采样个数为n个，表示为N个高斯分量的叠加，分解为N个波形分量：
；
其中，是第k个高斯分量的参数，分别表示脉冲振幅、脉冲距离和脉冲半宽；Nb为原始波形的背景噪声；
波形分解中不断迭代进行最小二乘估算，直至找到每一个波形的最优化特征参数，最终完成全波形数据的分解，获得每个点云坐标以及其波形特征；
S3.2.对点云分布的全局方差进行最小化处理，忽略物体相对于传感器的旋转，最小化问题表述如下：
；
式中，σε和σξ表示体素集合或全局集合中的方差，，argmin是使得函数输出最小的变量点的集合，Q是由输入点云构造的体素网格集，表示三个投影正交基，表示在方向上三个正交方向的单位向量，是对应组中的未失真点云质心，∆t表示点Mn的采集时间与帧开始时间之间的差值；
表示输入点云构造的体素网格集的某个体素网格，表示坐标平方和；
S3.3.采用通用非线性优化库以找出最佳速度v的协方差：
；
式中：Ω表示集合中观测点的协方差，是v处的成本函数的雅可比行列式，表示的转置行列式。
相对比现有技术，本发明具有以下有益效果：
本发明提出采用航空相机图像数据来校正雷达点云数据，突破激光雷达角分辨率的限制，提升点云数据精度；采用航空相机拍摄的高分辨率图像对运动目标的切向速度进行估计，纠正机载激光雷达扫描模式导致的畸变，弥补了其在切向方向速度估计的不足，提升了原本粗估的被测运动目标的速度精度；获取高质量图像，从而获取运动目标精确的位置信息，为下一步速度估计奠定良好基础。
附图说明
图1是本发明的技术流程图；
图2是初始位置坐标；
图3是给定时间间隔下移动变换的坐标位置；
图4是步骤S1中使用的部分数据；
图5是建立动力学方程的运动方式示意图；
图6是图5中的运动方式描述的含义解释。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
融合相机图像与机载激光雷达点云数据的速度预测方法，包括：
S1.进行数据预处理：
S1.1.对惯导系统、激光雷达、航空相机进行同步与校准；
S1.2.对传感器进行自运动校正，对传感器采集的探测数据进行图像校正，然后将自运动校正结果和图像校正结果进行测量关联；
S2.进行速度估计与目标跟踪；
S3.激光雷达点云优化，将优化后的点云导入至帧优化中，重新执行速度估计；
S1.1中的同步与校准包括：在全局坐标系中校正运动物体的畸变，去除自运动中的畸变，对所有传感器进行标定，包括对航空相机的外部标定以及激光雷达惯导系统的外部标定，将其转换为全局坐标，且时间同步在硬件级别执行；
S1.2中的自运动校正包括：
对于自运动，通过校正在单镜头帧到C帧开始时收集点云数据C0，惯导系统在当前帧的信息值为(RC0，CC0)，下一帧为信息值(RC1，CC1)，RC0表示C0时刻传感器组的全局旋转，CC0表示C0时刻传感器组的全局平移，在短时间内假设恒定速度运动来对每个激光雷达点进行变换；
对于全局坐标中时间戳为Cn的第n个自运动不失真的点Mn，根据自身坐标中原始激光雷达公式化为：
；
其中，；
式中，RCi表示Ci时刻传感器组的全局旋转，CCi表示Ci时刻传感器组的全局平移，表示传感器自身坐标；
Ci和C0之间的相对旋转和平移由插值得到：
，；
其中为旋转的大小，为旋转方向上的单位矢量，由罗德里格旋转公式得到：
；
式中，I表示单位矩阵；
使用激光雷达惯导系统估计自运动速度，去除自运动失真后，检测图像中的运动目标和相应的感兴趣区域边界框，通过边界框分割目标对应的点云，并与目标相关联；
S1.2中的图像校正包括：
S1.2.1.采用蔡司校正方法模型进行图像畸变校正的理想点坐标（x，y），公式如下：
；
式中k1和k2为径向畸变的畸变参数，r为畸变点到畸变中心的距离，(x'，y')为畸变点的坐标；
S1.2.2.对S1.2.1的公式进行处理得到：
；
其中r'为畸变半径，即到畸变中心距离为r的理想点将畸变到半径为r'的圆周上；
S1.2.3.若r1'和r1满足如下等式：
；
将以圆半径为r1的理想点畸变到半径为r1'的圆周上时，取理想空间圆上部分连续点，得到一条线段h1，h1上的点经畸变映射到半径为r1'的圆周，连接点得到一条畸变线段h1'；
若标定物中有4条间距为D的等间距线段，不考虑畸变这些线段将投影成等像素间距的线段h1，h2，h3和h4，图像畸变得到间距不等的畸变线段h1'，h2'，h3'和h4'；
设理想线段h2，h3和h4，到畸变中心的距离为r2，r3和r4，h2'，h3'和h4'畸变线段到畸变中心的距离为r2'，r3'和r4'，认为线段h2'，h3'和h4'到畸变中心的距离r2'，r3'和r4'等于为r1'与线段像素距离之和；
S1.2中的图像校正包括：
S1.2.4.令第i条畸变线段到第j条畸变线段间的距离为，则有：
；
S1.2.5.若标定物中等间距的线段不发生畸变，则将成像成等间距的线段，即两两线段间的距离之差是相等的：
；
S1.2.6.根据S1.2.2得到线段h1，h2，h3和h4的理想半径和畸变半径的关系式：
；
S1.2.7.根据S1.2.5和S1.2.6得到图像畸变距离和畸变参数之间的关系式：
；
S1.2中的图像校正包括
S1.2.8.设线段h1'和h2'的中点坐标分别为和，设畸变中心坐标为，根据距离公式：
；
计算出畸变中心坐标；
S1.2.9.若畸变图像中的点为，将畸变点的坐标代入蔡司校正方法模型，得到相对于畸变中心的理想点坐标，利用坐标间相对关系计算得到实际的理想点坐标：
；
通过上述公式将图像中的所有像素点进行计算得到其对应的理想点坐标，即实现图像的畸变校正，采用三次卷积法对其进行灰度插值处理，最终得到校正后的航空相机图像。
S1.2中的测量关联具体为航空相机图像数据求取运动目标切向速度，包括：
像素速度矢量的分布表示为二维高斯分布：
；
其中x代表某像素点，二维均值和像素速度矢量的协方差矩阵根据航空相机坐标系中的光流速度矢量集评估得出，在航空相机的相对坐标系中计算从到三维速度的投影，其中和是沿两个切向方向的速度：
；
d表示目标点云平均物深，fθ和fγ是相机沿两个切向方向的焦距。
S1.2中的测量关联包括：
通过对方程求微分将相对速度转换为三维全局坐标：
；
其中表示C0时刻传感器组的全局旋转和平移，表示传感器的自运动速度，表示像素点x0处的速度矢量，表示到三维速度的投影速度矢量；
在全局坐标系中计算三维速度的切向速度，三维速度分布的协方差表示为：
；
其中JB是与的函数关系的雅可比矩阵，表示航空相机三维速度。
S2包括：
估算每一帧的三维速度，激光雷达三维速度为，航空相机三维速度为，通过激光雷达点云计算出的目标径向速度为，通过激光雷达点云计算出的目标切向速度为，则速度分布公式为：
；
式中表示经过投影函数h分解的速度，投影函数h分解包括通过分解径向速度和通过分解切向速度，H是以速度v导出的投影函数h的雅可比矩阵，表示关于p的协方差矩阵；
在切向方向上，根据相机和激光雷达估计的速度的协方差进行融合，两个方向上的测量融合速度为：
；
；
式中表示使用协方差融合两个高斯函数：
；
；
式中K表示两个独立高斯函数之间的融合增益；
最后，由径向速度和切向速度合并求出，作为跟踪后端过程的输入测量值。
S3的激光点云优化包括：
S3.1.通过高斯分解方法进行单次回波的提取，波形由N个回波组成，波形数字化采样个数为n个，表示为N个高斯分量的叠加，分解为N个波形分量：
；
其中，是第k个高斯分量的参数，分别表示脉冲振幅、脉冲距离和脉冲半宽；Nb为原始波形的背景噪声；
波形分解中不断迭代进行最小二乘估算，直至找到每一个波形的最优化特征参数，最终完成全波形数据的分解，获得每个点云坐标以及其波形特征；
S3.2.对点云分布的全局方差进行最小化处理，忽略物体相对于传感器的旋转，最小化问题表述如下：
；
式中，σε和σξ表示体素集合或全局集合中的方差，，argmin是使得函数输出最小的变量点的集合，Q是由输入点云构造的体素网格集，表示三个投影正交基，表示在方向上三个正交方向的单位向量，是对应组中的未失真点云质心，∆t表示点Mn的采集时间与帧开始时间之间的差值；
表示输入点云构造的体素网格集的某个体素网格，表示坐标平方和；
S3.3.采用通用非线性优化库以找出最佳速度v的协方差：
；
式中：Ω表示集合中观测点的协方差，是v处的成本函数的雅可比行列式，表示的转置行列式。
本发明实施的具体过程如图1，首先进行进行数据预处理，对惯导系统、激光雷达、航空相机进行同步与校准；对传感器进行自运动校正，对传感器采集的探测数据进行图像校正，然后将自运动校正结果和图像校正结果进行测量关联；然后分别通过帧优化和光流法，进行速度融合，并在目标跟踪中进行点云测量，结合高速分解得到点云数据，将点云导入至帧优化中，重新执行速度估计。
图2和图3为使用本发明将点云与图像数据进行校正、融合、匹配后得到的三维坐标，立体展示了需要探测的车辆的精确位置，并配准了该位置对应的时钟。因结合了图像数据与点云数据，清晰准确的展示出该位置下探测目标的高程信息和移动变化情况，图1为初始位置，图2为给定时间间隔（30min）下移动变换的坐标位置。采用全局最优化处理流程，逐帧对数据进行优化处理，使图像失真概率降到最低，达到预想的速度估计与目标跟踪目的。图4为使用的部分原始数据。
时间同步后，惯导系统与陀螺仪按时间序列排布如图所示，相应相机按此时间戳序列进行逐帧排布。通过高斯分解方法进行单次回波信号进行峰值提取，波形由N个回波组成，波形数字化采样个数为n个，表示为N个高斯分量的叠加，分解为N个波形分量，通过全局方差进行最小化处理和非线性优化，得到要求得的最高峰，可高效、快捷的找到回波信号提取分量。
对车辆进行动力学分析，建立运动学方程，如图5所示，其中具体含义如图6，车辆的运动可分解为沿其中心位置的线运动和绕其坐标轴的转动。设其在地面坐标系Oe中的任一位置矢量为,速度矢量为，在体坐标系Oe下的速度矢量为,水下物体在地面坐标系中的姿态角为。
由坐标系之间的变换关系有
；
角速度矢量为，姿态角速度矢量为，通过坐标矩阵变换可得姿态角速度矢量如下：
；
综上，车辆等移动物体运动方程为:
；
生成行驶轨迹位移x与对应的行驶时间t，根据速度定义公式可知图像坐标系速度为：
；
进行变换后得到目标物体世界坐标系下速度值：
；
其中ur为世界坐标系下目标物体长度，up为图像坐标系下目标物体长度。
本发明融合雷达与图像技术，可对于马路中多个车辆进行速度估计以及轨迹跟踪，系统运行时，在3条车道下多辆汽车经过时，系统对多个车辆的速度进行估计以及绘制出各自的轨迹，轨迹通过不同颜色的点集来表示，速度则以文字的形式表示，速度的单位是千米每小时。系统通过记录车辆速度的变化如加速、急刹车等，轨迹的变化如变道、转弯、掉头等，可以辅助交警人员对现场交通事故进行更加合理的分析。
综上，本发明方法在交通领域中，能够记录多个运动车辆的速度变化及其动态轨迹，进行交通流量的监测和分析，为车辆超速航行、过慢行驶、肇事逃逸等危险行为判别预警提供数据来源，从而更加全面地评估和预测城市交通状况，进而提高城市道路运输系统的效率和安全性。
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.融合相机图像与机载激光雷达点云数据的速度预测方法，其特征在于，包括：
S1.进行数据预处理：
S1.1.对惯导系统、激光雷达、航空相机进行同步与校准；
S1.2.对传感器进行自运动校正，对传感器采集的探测数据进行图像校正，然后将自运动校正结果和图像校正结果进行测量关联；
S2.进行速度估计与目标跟踪；
S3.激光雷达点云优化，将优化后的点云导入至帧优化中，重新执行速度估计；
S1.1中的同步与校准包括：在全局坐标系中校正运动物体的畸变，去除自运动中的畸变，对所有传感器进行标定，包括对航空相机的外部标定以及激光雷达惯导系统的外部标定，将其转换为全局坐标，且时间同步在硬件级别执行；
S1.2中的自运动校正包括：
对于自运动，通过校正在单镜头帧到C帧开始时收集点云数据C0，惯导系统在当前帧的信息值为(RC0，CC0)，下一帧为信息值(RC1，CC1)，RC0表示C0时刻传感器组的全局旋转，CC0表示C0时刻传感器组的全局平移，在短时间内假设恒定速度运动来对每个激光雷达点进行变换；
对于全局坐标中时间戳为Cn的第n个自运动不失真的点Mn，根据自身坐标中原始激光雷达公式化为：
；
其中，；
式中，RCi表示Ci时刻传感器组的全局旋转，CCi表示Ci时刻传感器组的全局平移，表示传感器自身坐标；
Ci和C0之间的相对旋转和平移由插值得到：
，；
其中为旋转的大小，为旋转方向上的单位矢量，由罗德里格旋转公式得到：
；
式中，I表示单位矩阵；
使用激光雷达惯导系统估计自运动速度，去除自运动失真后，检测图像中的运动目标和相应的感兴趣区域边界框，通过边界框分割目标对应的点云，并与目标相关联；
S1.2中的图像校正包括：
S1.2.1.采用蔡司校正方法模型进行图像畸变校正的理想点坐标（x，y），公式如下：
；
式中k1和k2为径向畸变的畸变参数，r为畸变点到畸变中心的距离，(x'，y')为畸变点的坐标；
S1.2.2.对S1.2.1的公式进行处理得到：
；
其中r'为畸变半径，即到畸变中心距离为r的理想点将畸变到半径为r'的圆周上；
S1.2.3.若r1'和r1满足如下等式：
；
将以圆半径为r1的理想点畸变到半径为r1'的圆周上时，取理想空间圆上部分连续点，得到一条线段h1，h1上的点经畸变映射到半径为r1'的圆周，连接点得到一条畸变线段h1'；
若标定物中有4条间距为D的等间距线段，不考虑畸变这些线段将投影成等像素间距的线段h1，h2，h3和h4，图像畸变得到间距不等的畸变线段h1'，h2'，h3'和h4'；
设理想线段h2，h3和h4，到畸变中心的距离为r2，r3和r4，h2'，h3'和h4'畸变线段到畸变中心的距离为r2'，r3'和r4'，认为线段h2'，h3'和h4'到畸变中心的距离r2'，r3'和r4'等于为r1'与线段像素距离之和；
S1.2中的图像校正包括：
S1.2.4.令第i条畸变线段到第j条畸变线段间的距离为，则有：
；
S1.2.5.若标定物中等间距的线段不发生畸变，则将成像成等间距的线段，即两两线段间的距离之差是相等的：
；
S1.2.6.根据S1.2.2得到线段h1，h2，h3和h4的理想半径和畸变半径的关系式：
；
S1.2.7.根据S1.2.5和S1.2.6得到图像畸变距离和畸变参数之间的关系式：
；
S1.2中的图像校正包括
S1.2.8.设线段h1'和h2'的中点坐标分别为和，设畸变中心坐标为，根据距离公式：
；
计算出畸变中心坐标；
S1.2.9.若畸变图像中的点为，将畸变点的坐标代入蔡司校正方法模型，得到相对于畸变中心的理想点坐标，利用坐标间相对关系计算得到实际的理想点坐标：
；
通过上述公式将图像中的所有像素点进行计算得到其对应的理想点坐标，即实现图像的畸变校正，采用三次卷积法对其进行灰度插值处理，最终得到校正后的航空相机图像。
2.根据权利要求1所述的融合相机图像与机载激光雷达点云数据的速度预测方法，其特征在于，S1.2中的测量关联具体为航空相机图像数据求取运动目标切向速度，包括：
像素速度矢量的分布表示为二维高斯分布：
；
其中x代表某像素点，二维均值和像素速度矢量的协方差矩阵根据航空相机坐标系中的光流速度矢量集评估得出，在航空相机的相对坐标系中计算从到三维速度的投影，其中和是沿两个切向方向的速度：
；
d表示目标点云平均物深，fθ和fγ是相机沿两个切向方向的焦距。
3.根据权利要求2所述的融合相机图像与机载激光雷达点云数据的速度预测方法，其特征在于，S1.2中的测量关联包括：
通过对方程求微分将相对速度转换为三维全局坐标：
；
其中表示C0时刻传感器组的全局旋转和平移，表示传感器的自运动速度，表示像素点x0处的速度矢量，表示到三维速度的投影速度矢量；
在全局坐标系中计算三维速度的切向速度，三维速度分布的协方差表示为：
；
其中JB是与的函数关系的雅可比矩阵，表示航空相机三维速度。
4.根据权利要求1所述的融合相机图像与机载激光雷达点云数据的速度预测方法，其特征在于，S2包括：
估算每一帧的三维速度，激光雷达三维速度为，航空相机三维速度为，通过激光雷达点云计算出的目标径向速度为，通过激光雷达点云计算出的目标切向速度为，则速度分布公式为：
；
式中表示经过投影函数h分解的速度，投影函数h分解包括通过分解径向速度和通过分解切向速度，H是以速度v导出的投影函数h的雅可比矩阵，表示关于p的协方差矩阵；
在切向方向上，根据相机和激光雷达估计的速度的协方差进行融合，两个方向上的测量融合速度为：
；
；
式中表示使用协方差融合两个高斯函数：
；
；
式中K表示两个独立高斯函数之间的融合增益；
最后，由径向速度和切向速度合并求出，作为跟踪后端过程的输入测量值。
5.根据权利要求1所述的融合相机图像与机载激光雷达点云数据的速度预测方法，其特征在于，S3的激光点云优化包括：
S3.1.通过高斯分解方法进行单次回波的提取，波形由N个回波组成，波形数字化采样个数为n个，表示为N个高斯分量的叠加，分解为N个波形分量：
；
其中，是第k个高斯分量的参数，分别表示脉冲振幅、脉冲距离和脉冲半宽；Nb为原始波形的背景噪声；
波形分解中不断迭代进行最小二乘估算，直至找到每一个波形的最优化特征参数，最终完成全波形数据的分解，获得每个点云坐标以及其波形特征；
S3.2.对点云分布的全局方差进行最小化处理，忽略物体相对于传感器的旋转，最小化问题表述如下：
；
式中，σε和σξ表示体素集合或全局集合中的方差，，argmin是使得函数输出最小的变量点的集合，Q是由输入点云构造的体素网格集，表示三个投影正交基，表示在方向上三个正交方向的单位向量，是对应组中的未失真点云质心，∆t表示点Mn的采集时间与帧开始时间之间的差值；
表示输入点云构造的体素网格集的某个体素网格，表示坐标平方和；
S3.3.采用通用非线性优化库以找出最佳速度v的协方差：
；
式中：Ω表示集合中观测点的协方差，是v处的成本函数的雅可比行列式，表示的转置行列式。
CN202311021084.2A 2023-08-15 2023-08-15 融合相机图像与机载激光雷达点云数据的速度预测方法 Active CN116736322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311021084.2A CN116736322B (zh) 2023-08-15 2023-08-15 融合相机图像与机载激光雷达点云数据的速度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311021084.2A CN116736322B (zh) 2023-08-15 2023-08-15 融合相机图像与机载激光雷达点云数据的速度预测方法

Publications (2)

Publication Number Publication Date
CN116736322A CN116736322A (zh) 2023-09-12
CN116736322B true CN116736322B (zh) 2023-10-20

Family

ID=87917257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311021084.2A Active CN116736322B (zh) 2023-08-15 2023-08-15 融合相机图像与机载激光雷达点云数据的速度预测方法

Country Status (1)

Country Link
CN (1) CN116736322B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135121B (zh) * 2024-05-06 2024-08-16 华南理工大学 一种水下目标稠密三维重建系统和方法
CN118603156B (zh) * 2024-08-08 2024-10-01 山东科技大学 一种基于多种算法结合的光纤光栅磨损测量方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975792A (zh) * 2019-04-24 2019-07-05 福州大学 基于多传感器融合矫正多线激光雷达点云运动畸变的方法
WO2020104423A1 (en) * 2018-11-20 2020-05-28 Volkswagen Aktiengesellschaft Method and apparatus for data fusion of lidar data and image data
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN113218435A (zh) * 2021-05-07 2021-08-06 复旦大学 一种多传感器时间同步方法
CN113945206A (zh) * 2020-07-16 2022-01-18 北京图森未来科技有限公司 一种基于多传感器融合的定位方法及装置
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、系统、电子设备及存储介质
CN114820984A (zh) * 2022-04-28 2022-07-29 盐城云启智造科技有限公司 一种基于激光雷达的三维重建方法及系统
CN115824170A (zh) * 2023-02-17 2023-03-21 山东科技大学 一种摄影测量与激光雷达融合测量海洋波浪的方法
CN116363611A (zh) * 2023-02-23 2023-06-30 烟台大学 一种多传感器决策级融合的车辆轨迹跟踪方法
CN116430403A (zh) * 2022-01-04 2023-07-14 航天图景（北京）科技有限公司 一种基于低空机载多传感器融合的实时态势感知系统与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3161616A1 (en) * 2019-11-13 2021-05-20 Youval Nehmadi Autonomous vehicle environmental perception software architecture
US11113584B2 (en) * 2020-02-04 2021-09-07 Nio Usa, Inc. Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020104423A1 (en) * 2018-11-20 2020-05-28 Volkswagen Aktiengesellschaft Method and apparatus for data fusion of lidar data and image data
CN109975792A (zh) * 2019-04-24 2019-07-05 福州大学 基于多传感器融合矫正多线激光雷达点云运动畸变的方法
CN113945206A (zh) * 2020-07-16 2022-01-18 北京图森未来科技有限公司 一种基于多传感器融合的定位方法及装置
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN113218435A (zh) * 2021-05-07 2021-08-06 复旦大学 一种多传感器时间同步方法
CN116430403A (zh) * 2022-01-04 2023-07-14 航天图景（北京）科技有限公司 一种基于低空机载多传感器融合的实时态势感知系统与方法
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、系统、电子设备及存储介质
CN114820984A (zh) * 2022-04-28 2022-07-29 盐城云启智造科技有限公司 一种基于激光雷达的三维重建方法及系统
CN115824170A (zh) * 2023-02-17 2023-03-21 山东科技大学 一种摄影测量与激光雷达融合测量海洋波浪的方法
CN116363611A (zh) * 2023-02-23 2023-06-30 烟台大学 一种多传感器决策级融合的车辆轨迹跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
chao chen et al..Development of a scanning micro-pulse lidar for aerosol and cloud detection. LIDAR REMOTE SENSING FOR ENVIRONMENTAL MONITORING XIV.2014,全文. *
Yang, Wen et al..Lidar With Velocity: Correcting Moving Objects Point Cloud Distortion From Oscillating Scanning Lidars by Fusion With Camera.IEEE ROBOTICS AND AUTOMATION LETTERS.2022,第7卷(第3期),全文. *
多传感器信息融合的自动驾驶车辆定位与速度估计;彭文正;敖银辉;黄晓涛;王鹏飞;;传感技术学报(08);全文 *
海洋牧场环境智能组网监测技术和装备现状与分析;杜立彬等;海洋信息;第35卷(第04期);全文 *
融合相机与激光雷达的目标检测、跟踪与预测;黄远宪等;武汉大学学报(信息科学版);全文 *

Also Published As

Publication number Publication date
CN116736322A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN116736322B (zh) 融合相机图像与机载激光雷达点云数据的速度预测方法
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN109085570A (zh) 基于数据融合的车辆检测跟踪算法
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CA2579898C (en) Method for the processing and representing of ground images obtained by synthetic aperture radar systems (sar)
CN102999759B (zh) 一种基于光流的车辆运动状态估计方法
CN110873570B (zh) 用于位置信息的定源、生成并且更新表示位置的地图的方法和装置
CN117836653A (zh) 一种基于车载定位装置的路侧毫米波雷达校准方法
CN112162297B (zh) 一种剔除激光点云地图中动态障碍伪迹的方法
Abuhadrous et al. Digitizing and 3D modeling of urban environments and roads using vehicle-borne laser scanner system
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
CN107632308A (zh) 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法
CN106197382B (zh) 一种车载单摄像头目标动态测距方法
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN117606497A (zh) 一种实时地图构建方法、系统及导盲眼镜
Pandey et al. Database of simulated inverse synthetic aperture radar images for short range automotive radar
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
Yan et al. SensorX2car: Sensors-to-car calibration for autonomous driving in road scenarios
CN114119763B (zh) 一种用于自动驾驶车辆的Lidar标定方法及装置
CN111538008A (zh) 变换矩阵确定方法、系统及装置
CN113240750A (zh) 三维空间信息测算方法及装置
CN105403886A (zh) 一种机载sar定标器图像位置自动提取方法
CN117635683A (zh) 一种基于多相机的小车室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant