CN115018929A - 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法 - Google Patents
一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法 Download PDFInfo
- Publication number
- CN115018929A CN115018929A CN202210612481.6A CN202210612481A CN115018929A CN 115018929 A CN115018929 A CN 115018929A CN 202210612481 A CN202210612481 A CN 202210612481A CN 115018929 A CN115018929 A CN 115018929A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- millimeter wave
- wave radar
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013531 bayesian neural network Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 102100028082 Tapasin Human genes 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 108010059434 tapasin Proteins 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法，首先对毫米波雷达进行空间标定，确定其所处的世界坐标；然后确定路侧摄像头的内外参数，根据坐标系连续变换的传递性，确定毫米波雷达坐标系与像素坐标系间的转换关系。采用脉冲信号对局域网内的传感器时间进行校正，同时根据数据置信度指标，基于简单线性插值与贝叶斯神经网络的方法对等效数据帧进行预测。该方法将像素坐标与图像坐标非规则排列时的情况考虑在内，极大地提高了目标位置在不同坐标系下的转换精度；同时根据数据需求不同，引入了等效数据帧的可靠度，完备了不同精度要求下的标定流程，为高速公路的精细化管控提供了决策依据。
Description
技术领域
本发明涉及一种多传感器时空标定方法，尤其涉及一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法。
背景技术
视频监控作为安防的重要组成部分，是物联网的主要前端设备。随着社会经济的快速发展，智能交通成为了视频监控市场中需求最大的领域之一，视频设备为交通安全提供了保障。然而道路交通环境的日益复杂，对道路交通管理的要求也越来越高，现有的高速公路管理手段已不能满足智能管理和多样化出行服务的需求。为实现高速公路精细化管控，迫切需要多源交通信息全息感知技术和高质量交通数据提取技术。
传感器的时间与空间标定是实现多源数据融合的基础，雷达信息和图像信息需要统一在同一时空维度中才能进行数据融合计算，通常以视觉系统为基准，将毫米波雷达坐标系下探测目标的二维平面点通过坐标系转换到摄像头对应的像素坐标系中可实现两者的空间同步。同时在实际的道路环境中，摄像头与毫米波雷达时钟源与数据采样周期不同，感知系统内诸如数据传输与曝光时间等过程都可能发生不可控制的时间延迟，需要将传感器不同时刻的数据信息转换至同一时刻生成等效信息完成时间标定。
发明内容
发明目的：本发明提出一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法，有效解决检测目标在多源路侧设备的时空不同步问题。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法，包括传感器空间标定与时间标定两个组成部分；在统一的参照系框架中对目标的信息进行融合和综合描述；
空间标定包括毫米波雷达坐标系，世界坐标系，摄像头坐标系，图像坐标系与像素坐标系之间的转换；各坐标系之间的转换关系，包括：
1)毫米波雷达坐标系与世界坐标系的转换；2)世界坐标系与摄像头坐标系的转换；
3)摄像头坐标系与图像坐标系的转换；4)图像坐标系与像素坐标系的转换；5)当图像存在畸变时，对图像进行畸变校正，包括：图像的径向畸变校正与切向畸变校正；
时间标定包括传感器的时间对齐与数据帧同步预测；
统一钟源与消除钟漂确保传感器初始时间对齐；通过滑动时间窗对前后数据帧索引，根据最终是否需要数据的置信度需求，应用插值与搭建贝叶斯神经网络的方式实现等效数据帧的预测。
进一步的，各坐标系之间的转换关系，具体为：
毫米波雷达坐标系与世界坐标系的转换关系，包括：毫米波雷达的空间标定，即二维平面坐标系的转换，由平移与旋转共同作用；
世界坐标系与摄像头坐标系的转换，包括：世界坐标系向摄像头坐标系的过渡是三维坐标的转换，不同坐标轴下的旋转对应不同的旋转矩阵，最终的旋转矩阵为三个旋转矩阵的点乘结果，该旋转矩阵与平移矩阵共同组成了摄像头空间标定的外参矩阵；
摄像头坐标系向图像坐标系的转换基于投影原理；
图像坐标系与像素坐标系的转换，包括：所述图像坐标系单位为mm，像素坐标系单位为pixel；所述图像坐标系原点位于成像平面中心，像素坐标系原点位于成像平面左上角；同时所述像素存在正规矩形状与非矩形状，即图像坐标系与像素坐标系存在夹角与普通非夹角两种情况；图像坐标系向像素坐标系的转换基于物理单位长度的转换与坐标系的平移；
摄像头坐标系与图像坐标系的转换，图像坐标系与像素坐标系的转换，转换过程中的所有代求参数组成摄像头空间标定的内参。
进一步的，时间对齐方法，通过脉冲发生器把时钟源统一，所有传感器都被这个脉冲触发，每次触发都校正一次自身的时钟，使各传感器的时间戳对齐。
进一步的，脉冲发生器校准时间戳，以GPS时钟为基准时钟源，使用传感器同步定时协议，将时间戳同步请求发送到摄像头与毫米波雷达，实现局域网环境中所有传感器的时间同步。
进一步的，传感器数据帧索引方法，相机与毫米波雷达的采样频率不同，对基准传感器数据采集时刻的时间窗范围内的其余传感器数据进行索引。
进一步的，传感器数据帧预测方法，根据预测精度要求对传感器等效数据帧进行预测，包括：
当预测精度要求或数据维数小于一定值时，采用线性插值的计算方法对索引到的数据进行组合；当预测精度要求不小于一定值或需要对等效数据做可靠性评价时，采用搭建贝叶斯神经网络的方法将概率建模与神经网络组合起来，得到含有置信度的等效数据。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明提出了面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法，同时将时间标定考虑了进来，且完备了图像坐标系与像素坐标系之间的转换关系，即不仅考虑了普通的无夹角条件下图像坐标系与像素坐标系之间的对应关系，同时还将图像坐标系与像素坐标系间存在夹角这种情况考虑在内，提高了路侧摄像头空间标定的精度，保障了车路协同领域感知与定位的可靠性。本方法根据数据可靠度不同，分别使用简单插值与贝叶斯神经网络的方法对传感器等效帧数据进行预测，完备了不同精度要求下的标定流程。
附图说明
图1是本发明的多传感器时空协同标定方法架构图；
图2是坐标系空间转换关系示意图；
图3是多源传感器时间标定组成图；
图4是毫米波雷达坐标系与世界坐标系相对转换关系示意图；
图5是世界坐标系与摄像头坐标系相对转换关系示意图；
图6是摄像头坐标系与图像坐标系相对转换关系示意图；
图7是无夹角下的图像坐标系与像素坐标系相对转换关系示意图；
图8是有夹角下的图像坐标系与像素坐标系相对转换关系示意图；
图9是路侧摄像头径向畸变与切向畸变示意图；
图10是路侧摄像头与毫米波雷达收发数据过程示意图；
图11是路侧摄像头与毫米波雷达不同数据采样频率表现示意图。
具体实施方式
为了清楚地论述本发明所设计的技术手段及要求，下面结合附图与具体实施方案对本发明进一步详细阐述：
本发明所述的面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法，空间标定步骤涉及毫米波雷达坐标系，世界坐标系，摄像头坐标系，图像坐标系与像素坐标系之间的转换。时间标定包括传感器的时间对齐与数据帧同步预测。图2描述了各坐标系之间的转换关系，包括：
1)毫米波雷达坐标系与世界坐标系的转换；
2)世界坐标系与摄像头坐标系的转换；
3)摄像头坐标系与图像坐标系的转换；
4)图像坐标系与像素坐标系的转换。
其中，摄像头坐标系到像素坐标系的转换属于摄像头内参标定部分，涉及透视变换与平移变换；摄像头坐标系与世界坐标系的转换属于摄像头外参标定部分，涉及刚体转换；毫米波雷达坐标系与世界坐标系的转换属于雷达标定部分，同样涉及刚体转换。同时，当图像存在畸变时，需要对图像进行畸变校正。
图3展示了摄像头与毫米波雷达协同的时间标定部分。统一钟源与消除钟漂确保传感器初始时间对齐；通过滑动时间窗对前后数据帧索引，根据最终是否需要数据的置信度需求，应用插值与搭建贝叶斯神经网络的方式实现等效数据帧的预测。
图4是本发明中关于毫米波雷达空间标定的示意图，具体指毫米波雷达坐标系与世界坐标系的转换过程。
毫米波雷达可以得到目标的x，y坐标信息，没有z方向坐标信息。因此，可以将毫米波雷达坐标系向世界坐标系的转换等价为二维平面坐标系的转换。设图4中Ow为世界坐标系原点，Om为毫米波雷达坐标系原点，L与d分别为两坐标系的横向偏移与纵向偏移，θ为两坐标系间横向夹角，P为现实世界中任意一点，则两坐标系的相互转换可以通过平移与旋转实现。具体转换关系由公式(1)表示：
公式(1)中的转换矩阵由两部分组成，由间距带来的平移矩阵与角度带来的旋转矩阵。在安装毫米波雷达时，应尽可能保证其水平角与横摆角为0，否则使得转换矩阵变得更加复杂。
图5是本发明中关于摄像头外参标定的示意图，具体指世界坐标系与摄像头坐标系的转换过程。Oc为摄像头坐标系原点，Ow为世界坐标系原点，R与T分别为旋转矩阵与平移矩阵，P为现实世界中任意一点。
相比图4中毫米波雷达坐标系与世界坐标系的二维平面转换，世界坐标系与摄像头坐标系间的转换属于三维空间转换，即坐标系三个方向均存在平移与旋转过程。当绕着不同坐标轴旋转时，得到相对应的旋转矩阵。
当绕Z轴旋转θ时，此过程与上述图3转换关系一致，如公式(2)所示：
当绕X轴旋转
时，旋转矩阵如公式(3)所示：
当绕Y轴旋转ω时，旋转矩阵如公式(4)所示：
将三个旋转矩阵相乘得最终的旋转矩阵，即R＝R1·R2·R3；
同时考虑平移矩阵，则得到世界坐标系到摄像头坐标系的转换关系，具体如公式(5)所示：
公式(5)中R为3×3的旋转矩阵，T为3×1的平移矩阵，将公式(5)用齐次坐标表示如公式(6)所示，M即为所求摄像头外参矩阵。
图6是本发明中关于摄像头坐标系与图像坐标系的转换关系示意图，主要基于投影原理。Oc为摄像头坐标系原点，8为图像坐标系原点，P为现实世界中任意一点，p为投影点，f为摄像头焦距。
根据透视投影原理，可以得到P与p的坐标关系式，如公式(7)所示：
将公式(7)整合为齐次坐标的矩阵形式，如公式(8)所示：
图7与图8分别是本发明中关于实际像素矩形排列与非矩形排列时的图像坐标系与像素坐标系的转换关系示意图。像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的单位是mm，属于物理单位；而像素坐标系的单位是pixel。图6像素坐标系原点Ouv位于图像成像平面的左上角，u轴和v轴分别平行于图像坐标系的x轴与y轴，图像坐标系原点8(u0,v0)位于成像平面中点，dx和dy分别表示每个像素在图像平面x和y方向上的物理尺寸。
根据图7所示几何关系，像素坐标系与图像坐标系转换关系如公式(9)所示：
转换为齐次坐标如公式(10)所示：
同理，当像素非矩形排列，即像素坐标系与图像坐标系存在夹角θ时(图8)，其转换关系如公式(11)所示：
转换为齐次坐标如公式(12)所示：
联立公式(6)，公式(8)，公式(10)，可得矩形条件下的像素坐标系与世界坐标系的转换关系如公式(13)所示：
可将公式(13)简化为含有摄像头内参与外参的表达式(14)，M1为此时摄像头内参矩阵，M2为外参矩阵。
同理，联立公式(6)，公式(8)与公式(12)，可得当像素坐标系与图像坐标系存在一定夹角时的像素坐标系与世界坐标系转换关系式(15)，M1为此时摄像头内参矩阵，M2为外参矩阵。
在分别得到毫米波雷达坐标系与世界坐标系、世界坐标系与像素坐标系之间的转换关系后，通过公式整合，可得像素坐标系与毫米波雷达坐标系的转换关系如公式(16)所示：
此外，当摄像头采集到的图像存在畸变时，需要通过标定获得相关畸变参数，利用畸变参数对相机模型获得的各图像坐标(x,y)进行非线性校正，使校正后的图像更加符合所要采集的空间图像。图9为径向畸变与切向畸变示意图，dr与dt分别为径向畸变与切向畸变。
径向畸变矫正可由公式(17)表示：
x2+y2＝r2,j1,k2,k3为径向畸变参数，x,y为理想的无畸变的坐标，xkr，ykr为引入径向畸变参数后的坐标。
切向畸变矫正可由公式(18)表示：
x2+y2＝r2,p1,p2为切向畸变参数，x,y为理想的无畸变的坐标，xkt，ykt为引入切向畸变参数后的坐标。
通过整合径向畸变校正与切向畸变校正，可以得到最终作用于真实图像后的校正公式(19)。
通过以上各坐标系的转换与图像的畸变校正，实现了检测目标在各传感器中的空间同步。下面通过附图和实施例，对本发明的多传感器时间标定技术方案做进一步的详细描述。
在实际道路环境中，各个传感器都是基于自己的时钟源，不同时钟源钟漂的存在使得各传感器的时间产生偏离。对于高速运动的车辆而言，瞬间的时间差异可能导致目标信息无法匹配。通过脉冲发生器把时钟源统一，所有传感器都被这个脉冲触发，每次触发都校正一次自己的时钟，这样就可以消除时钟源的累计误差，从而使得各传感器的时间戳对齐。由于GPS自带秒脉冲发生器，因此可以以GPS时钟为基准时钟源，使用TPSN传感器同步定时协议，将时间戳同步请求发送到相机与毫米波雷达，实现局域网环境中所有传感器的时间同步。
在硬件层面的时间对齐仅仅保证了时间差没有累计漂移，然而各个传感器的采样时刻与频率并不是相同的。触发延时、传输延时与曝光延时等的存在导致了同一时刻的数据帧无法匹配。图10分别展示了相机与毫米波雷达数据的收发过程。相机属于被动式数据接收，接收到的数据需要经过光、电信号的转换得到数字信号，同时数字信号经过DSP处理编码为相机支持的图像格式与视频格式；而毫米波雷达依靠发射电磁波的方式，属于主动接收探测目标信息。接收机通过对回波信号处理，将高频率的射频信号混频处理成中频信号；同时中频信号经过包络检波处理生成视频信号；最后信号处理机处理数字信号并将雷达探测的目标信息以可视化的方式显示到屏幕上。
图11展示了在同一时间坐标轴下，摄像头与毫米波雷达采样频率的差异。解决数据帧的同步问题由两个步骤组成：基于环境传感装置采集的道路环境数据，首先以权重赋值较高的传感器探测的时间点为基础，对剩余传感器在该时刻的前后两帧数据进行索引，具体索引方式为滑动时间窗的方法。设定初始阈值，对基准传感器时间窗范围内的其他传感器数据进行索引，索引到的数据应为经各传感器内部处理后显示的数据。当索引到了其他传感器在时间窗范围内的数据时，需要将这些数据进行组合得到该时刻的等效数据。
当时间标定精度要求不高时，采用线性插值的方法对前后帧的数据进行简单组合。假设时间窗范围内索引到的剩余传感器的前后帧数据分别为y1与y2，对应的时间戳分别为t1与t2，基准传感器的时间戳为tc(t1<tc<t2)，则该时刻非基准传感器的等效数据y可以由公式(20)所示。
相反当时间标定精度要求较高时，采用神经网络算法对数据进行组合，具体指基于环境传感装置采集的道路环境数据，通过赋予各传感器动态权重，对各传感器的数据进行可靠性评价。权重服从均值为u，方差为δ的高斯分布，且各传感器的权重服从不同的高斯分布。通过搭建贝叶斯神经网络(BNN)的方法，不仅将概率建模和神经网络结合起来，还可以得到等效信息的预测值与预测结果的置信度。假设BNN的网络权重参数为w，具体指各传感器感知数据的权重，p(w)是参数的先验分布，给定训练集D＝(X,Y)，X指除基准传感器外，剩余传感器的感知数据；Y指基准传感器的探测数据，则概率模型如下所示：
P(Y*|X*,D)＝∫P(Y*|X*,w)P(w|D)dw (21)
然而后验分布p(w,D)难以计算，因此利用变分的方法使用一组参数θ控制的分布q(w|θ)去逼近真正的后验分布p(w,D)。寻找θ的最优化问题可以通过最小化两个分布的KL散度实现，写成目标函数的形式：
F(D,θ)＝DKL[q(w|θ)||P(w)]-Eq(w|θ)[logP(D|w)] (22)
以上目标函数第一项描述了权重和先验的契合程度，第二项描述了对样本的拟合程度。根据蒙特卡罗方法，可将目标函数近似为：
其中w(i)为处理第i个数据点时的权重采样。使用小批梯度下降计算模型平均即可得到P(Y*|X*,D)。最终输出层得到包含置信度的等效数据，将等效信息与基准传感器信息组合实现数据帧的同步。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法，其特征在于：该方法包括传感器空间标定与时间标定两个组成部分；在统一的参照系框架中对目标的信息进行融合和综合描述；
空间标定包括毫米波雷达坐标系，世界坐标系，摄像头坐标系，图像坐标系与像素坐标系之间的转换；各坐标系之间的转换关系，包括：
1)毫米波雷达坐标系与世界坐标系的转换；2)世界坐标系与摄像头坐标系的转换；3)摄像头坐标系与图像坐标系的转换；4)图像坐标系与像素坐标系的转换；5)当图像存在畸变时，对图像进行畸变校正，包括：图像的径向畸变校正与切向畸变校正；
时间标定包括传感器的时间对齐与数据帧同步预测；
统一钟源与消除钟漂确保传感器初始时间对齐；通过滑动时间窗对前后数据帧索引，根据最终是否需要数据的置信度需求，应用插值与搭建贝叶斯神经网络的方式实现等效数据帧的预测。
2.根据权利要求1所述的多传感器时空协同标定方法，其特征在于：各坐标系之间的转换关系，具体为：
毫米波雷达坐标系与世界坐标系的转换关系，包括：毫米波雷达的空间标定，即二维平面坐标系的转换，由平移与旋转共同作用；
世界坐标系与摄像头坐标系的转换，包括：世界坐标系向摄像头坐标系的过渡是三维坐标的转换，不同坐标轴下的旋转对应不同的旋转矩阵，最终的旋转矩阵为三个旋转矩阵的点乘结果，该旋转矩阵与平移矩阵共同组成了摄像头空间标定的外参矩阵；
摄像头坐标系向图像坐标系的转换基于投影原理；
图像坐标系与像素坐标系的转换，包括：所述图像坐标系单位为mm，像素坐标系单位为pixel；所述图像坐标系原点位于成像平面中心，像素坐标系原点位于成像平面左上角；同时所述像素存在正规矩形状与非矩形状，即图像坐标系与像素坐标系存在夹角与普通非夹角两种情况；图像坐标系向像素坐标系的转换基于物理单位长度的转换与坐标系的平移；
摄像头坐标系与图像坐标系的转换，图像坐标系与像素坐标系的转换，转换过程中的所有代求参数组成摄像头空间标定的内参。
3.根据权利要求1所述的多传感器时空协同标定方法，其特征在于：时间对齐方法，通过脉冲发生器把时钟源统一，所有传感器都被这个脉冲触发，每次触发都校正一次自身的时钟，使各传感器的时间戳对齐。
4.根据权利要求3所述的多传感器时空协同标定方法，其特征在于：脉冲发生器校准时间戳，以GPS时钟为基准时钟源，使用传感器同步定时协议，将时间戳同步请求发送到摄像头与毫米波雷达，实现局域网环境中所有传感器的时间同步。
5.根据权利要求1-4任一所述的多传感器时空协同标定方法，其特征在于：传感器数据帧索引方法，相机与毫米波雷达的采样频率不同，对基准传感器数据采集时刻的时间窗范围内的其余传感器数据进行索引。
6.根据权利要求1-4任一所述的多传感器时空协同标定方法，其特征在于：传感器数据帧预测方法，根据预测精度要求对传感器等效数据帧进行预测，包括：
当预测精度要求或数据维数小于一定值时，采用线性插值的计算方法对索引到的数据进行组合；当预测精度要求不小于一定值或需要对等效数据做可靠性评价时，采用搭建贝叶斯神经网络的方法将概率建模与神经网络组合起来，得到含有置信度的等效数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210612481.6A CN115018929A (zh) | 2022-05-31 | 2022-05-31 | 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210612481.6A CN115018929A (zh) | 2022-05-31 | 2022-05-31 | 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115018929A true CN115018929A (zh) | 2022-09-06 |
Family
ID=83070863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210612481.6A Pending CN115018929A (zh) | 2022-05-31 | 2022-05-31 | 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018929A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116047440A (zh) * | 2023-03-29 | 2023-05-02 | 陕西欧卡电子智能科技有限公司 | 一种端到端的毫米波雷达与摄像头外参标定方法 |
| CN116106895A (zh) * | 2023-02-21 | 2023-05-12 | 郑州大学 | 基于视觉与无线感知融合的多点微动智能监测系统与方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383285A (zh) * | 2019-11-25 | 2020-07-07 | 的卢技术有限公司 | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 |
| CN113012237A (zh) * | 2021-03-31 | 2021-06-22 | 武汉大学 | 一种毫米波雷达与视频监控摄像头联合标定方法 |
| CN113156421A (zh) * | 2021-04-07 | 2021-07-23 | 南京邮电大学 | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 |
| US20220026547A1 (en) * | 2020-07-27 | 2022-01-27 | Tsinghua University | Automatic calibration method and system for spatial position of laser radar and camera sensor |
-
2022
- 2022-05-31 CN CN202210612481.6A patent/CN115018929A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383285A (zh) * | 2019-11-25 | 2020-07-07 | 的卢技术有限公司 | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 |
| US20220026547A1 (en) * | 2020-07-27 | 2022-01-27 | Tsinghua University | Automatic calibration method and system for spatial position of laser radar and camera sensor |
| CN113012237A (zh) * | 2021-03-31 | 2021-06-22 | 武汉大学 | 一种毫米波雷达与视频监控摄像头联合标定方法 |
| CN113156421A (zh) * | 2021-04-07 | 2021-07-23 | 南京邮电大学 | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116106895A (zh) * | 2023-02-21 | 2023-05-12 | 郑州大学 | 基于视觉与无线感知融合的多点微动智能监测系统与方法 |
| CN116106895B (zh) * | 2023-02-21 | 2024-01-26 | 郑州大学 | 基于视觉与无线感知融合的多点微动智能监测系统与方法 |
| CN116047440A (zh) * | 2023-03-29 | 2023-05-02 | 陕西欧卡电子智能科技有限公司 | 一种端到端的毫米波雷达与摄像头外参标定方法 |
| CN116047440B (zh) * | 2023-03-29 | 2023-06-09 | 陕西欧卡电子智能科技有限公司 | 一种端到端的毫米波雷达与摄像头外参标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115018929A (zh) | 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法 | |
| CN110363820B (zh) | 一种基于激光雷达、图像前融合的目标检测方法 | |
| CN110849367B (zh) | 基于融合uwb的视觉slam的室内定位与导航的方法 | |
| JP6484729B2 (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
| US20180284256A1 (en) | Information processing apparatus, information processing method and program | |
| CN113960545B (zh) | 基于对称几何构型约束的星载sar无场几何定标方法及其系统 | |
| JP2008034966A (ja) | 画像表示装置 | |
| CN109917419B (zh) | 一种基于激光雷达与图像的深度填充密集系统及方法 | |
| CN112485806B (zh) | 一种激光雷达和相机时间同步系统及方法 | |
| US20030086604A1 (en) | Three-dimensional database generating system and method for generating three-dimensional database | |
| CN113947134A (zh) | 一种复杂地形下多传感器配准融合系统及方法 | |
| US20180284257A1 (en) | Information processing apparatus, information processing method and program | |
| CN116166939A (zh) | 一种基于车路协同的数据预处理方法及系统 | |
| Zhu et al. | Measurement and ray-tracing simulation for millimeter-wave automotive radar | |
| CN111753901B (zh) | 一种数据融合方法、装置、系统及计算机设备 | |
| CN111538008A (zh) | 变换矩阵确定方法、系统及装置 | |
| CN116681776B (zh) | 一种双目相机的外参标定方法和系统 | |
| CN116684740A (zh) | 感知训练数据生成方法、装置、计算机设备和存储介质 | |
| CN114556157A (zh) | 同步装置、同步方法、同步程序 | |
| CN113671483B (zh) | 一种基于秒脉冲的星载复合数据融合方法 | |
| CN114779272A (zh) | 一种垂直约束增强的激光雷达里程计方法及装置 | |
| CN115167413A (zh) | 一种基于概率栅格的多源不确定性模型建立方法及系统 | |
| Yang et al. | ISAR Imaging for Non-cooperative Targets based on Sharpness Criterion under Low SNR | |
| Lei et al. | Wireless-Assisted Automatic Online Spatial Calibration based on 5G TSN for Sensor Fusion | |
| WO2024146585A1 (zh) | 一种实现车路协同系统多传感器时空快速标定的方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |