CN113012237A - 一种毫米波雷达与视频监控摄像头联合标定方法 - Google Patents

Abstract

本发明提出了一种毫米波雷达与视频监控摄像头联合标定方法。本发明利用视频检测技术能准确识别交通参与者类型，结合毫米波雷达检测技术能实时监测定位范围内目标的特点，二者技术取长补短。利用多传感器融合模型，建立准确的雷达坐标系、视频传感器坐标系、图像坐标系和像素坐标系之间的坐标转换矩阵，实现多传感器数据的空间融合。

Description

一种毫米波雷达与视频监控摄像头联合标定方法

技术领域

本发明属于交通路况监管领域，特别是涉及一种毫米波雷达与视频监控摄像头联合标定方法。

背景技术

交通路况监管主要通过视频传感器、地磁传感器等获取交通流数据，然后进行交通行为检测、提供交通管理决策支持，从而达到交通管控的目的。目前交通行为检测方法主要是基于视频的轨迹提取方法，易受天气状况、光照变化、动态背景场景等环境的影响。同样的，地磁和地传感线圈也有严重缺陷：施工安装困难，易失电，易被重型车轧故障，工作寿命短(1-3年)，后期维护难度和成本高，监控范围小等等。因此，目前市场上迫切需要一种兼具实时性、主动性、预测性的通路况监管的技术，将毫米波雷达与视频监控摄像头联合标定，雷达精准感知道路上的目标位置和运动情况，联动视频可视化，将雷达信息叠加至视频上，智能处理交通信息。

发明内容

为了解决上述技术问题，本发明提出了一种能将毫米波雷达和视频监控摄像头进行联合标定，从而使二者在空间上进行有效的融合的方法。毫米波雷达探测到区域内的目标运动情况时，得到其位置信息，并通过转换矩阵将其位置信息转换为视频图像帧上的ROI。

本发明提供的技术方案是一种毫米波雷达与视频监控摄像头联合标定方法，其特征在于：

步骤1：根据毫米波雷达坐标系与三维世界坐标系的关系，首先将毫米波雷达坐标系下的坐标即雷达探测到的目标在雷达坐标系下的坐标，转换到以监控摄像头为中心的世界坐标系下；

步骤2：根据旋转矩阵R与平移向量t两个矩阵的作用，将以摄像头为中心的世界坐标系下的坐标转换到视频传感器坐标系下；

步骤3：依据成像几何关系得出视频传感器坐标系与图像坐标系的转换关系，将视频传感器下的坐标转换到图像坐标系下；

步骤4：将图像坐标系下的坐标转换到像素坐标系中，最终将测得的数据转换到同一坐标系下，从而完成对目标某些特征的检测。

作为优选，所述步骤1具体为：

毫米波坐标系与雷达坐标系同属于一平面，为水平二维信息，毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，转换关系为：

其中，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α。

作为优选，所述步骤2具体为：

利用摄像机成像几何模型中的针孔模型进行演算，利用描述旋转关系的旋转矩阵R，与描述两坐标系原点间位置平移关系的平移向量t两坐标系间的互相转换。需要考虑视频传感器可能产生的畸变。若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X₁,Y₁,Z₁)与其的转换关系为：

其中，R为描述旋转关系的旋转矩阵，平移向量t描述两坐标系原点间位置平移关系，假设空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，在视频传感器坐标系中坐标为(X_1,Y₁,Z₁)。

作为优选，所述步骤3具体为：

依据成像几何关系得出视频传感器坐标系与图像坐标系的转换关系。若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O_cP₁和图像平面的交点。根据比例关系有：

矩阵形式为：

其中，空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O_cP₁和图像平面的交点。

作为优选，所述步骤4具体为：

考虑O₁的像素坐标和像素坐标系的中心产生偏离的情况以及两者间的位置关系，由于像素坐标系u、v轴与图像平面坐标系x、y轴平行，若图像平面坐标系原点O₁在像素坐标系的像素坐标为(u₀,v₀)，在图像平面坐标系中x轴方向与y轴方向上的物理长度为d₁,d₂，则两坐标系间转换关系为：

其中，图像平面坐标系原点O₁在像素坐标系的像素坐标为(u₀,v₀)，在图像平面坐标系中x轴方向与y轴方向上的物理长度为d₁,d₂。

综合考虑径向畸变和切向畸变，并进行校正，提出含有视频传感器畸变系数的校正公式：

其中，两个式子的第二项为径向畸变校正项，第三项为切向畸变校正项。k₁、k₂、p₁、p₂为视频传感器畸变系数，也属于视频传感器内部参数，利用张正友标定方法可求解出视频传感器内外参数。

同时求解出视频传感器的内外参数。

本发明方法具有以下显著效果：

现有视频检测技术能够较为准确地识别出交通参与者的类型，但其劣势在于对于目标的位置和速度检测精度较低。毫米波雷达检测技术能够实时检测和定位探测范围内的目标，较为准确地完成对车辆、行人的位置定位和速度检测，但缺点在于其无法很好地分辨交通参与者的类型。因此，将视频检测技术和毫米波雷达探测技术进行融合，取长补短，使系统获得更高的检测精确度。采用雷达+视频联动组合监测交通情况，克服了单一依靠视频的诸多弊病，极大提高了路况监测的可靠性和准确率；

车检器单路口组网采用改组网方式，雷达车检器+边缘计算单元独立组网(无线或有线连接)，在老路口安装时无需任何路面施工；

毫米波雷达和视频多传感器融合可以更好地解决单一传感器在信息获取时存在冗余和错误的情况，提高系统的稳健性和精确性。

附图说明

图1：是毫米波雷达与世界坐标系之间的关系，左图为毫米波雷达坐标系，右图为三维世界坐标系，D是毫米波安装位置与三维世界坐标系原点之间的距离。

图2：是视频传感器线性模型成像原理，从左至右分别为成像平面所处的视频传感器坐标系、镜头平面所处的图像平面坐标系、以及虚拟成像平面，左下为世界坐标系。

图3：是像素坐标系与图像坐标系之间的关系图。

图4：是雷达坐标系与视频传感器坐标系之间的关系图。

图5：本发明方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

下面结合图1至图5介绍本发明的具体实施方式。

毫米波雷达与视频传感器融合的主要思想为假设检验，分为两个步骤：假设产生与假设验证。假设产生：毫米波雷达数据处理模块检测到有效目标及其侧纵向相对距离等位置定位信息后，将在图像上确定包含该有效目标的图像区域位置。假设检验：在感兴趣图像区域内利用传感器机器视觉对区域进行验证，验证其是否为车辆图像，同时判定前方车辆的成像区域的大小与位置。基于此，雷达精准感知道路上的目标位置和运动情况，联动视频可视化，将雷达信息叠加至视频上，，进行毫米波雷达信息与摄像头信息的融合。

毫米波雷达与视频传感器数据空间融合中涉及到的坐标系包括：毫米波雷达坐标系、三维世界坐标系、视频传感器坐标系、图像平面坐标系以及像素坐标系。通过计算机视觉理论与摄像机成像原理，获得三维世界坐标系、视频传感器坐标系、图像平面坐标系和像素坐标系之间的转换关系；同时，计算视频传感器内外参数，可得所需转换矩阵的参数。依据毫米波雷达与机器视觉传感器安装的相对位置关系，将雷达二维坐标系转换至视频传感器坐标系。最终根据上述转换公式得到雷达坐标系与像素坐标系间的转换关系。

第一步，毫米波雷达坐标系和世界坐标系转换。

图1为毫米波雷达坐标系与三维世界坐标系的关系。距离、速度等车辆目标信息是毫米波雷达所探测的结果，与三维世界坐标系处于同一平面内，属于水平二维信息。假设毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，则毫米波雷达坐标系与世界坐标系之间的转换关系为：

其中，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α。

利用测距模型，基于三维信息相比于二维信息多对一的关系，根据车辆目标的三维信息基础反推演出车辆目标的二维信息。

根据摄像机成像几何模型中的线性模型，也叫针孔模型进行演算，成像过程如图2。

第二步，实现世界传感器坐标系和视频坐标系转换。

世界坐标系用于描述视频传感器及其他物品在实验环境中的安装位置。根据旋转矩阵R与平移向量t两个矩阵的作用实现两个坐标系之间的互相转换。若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X₁,Y₁,Z₁)与其的转换关系为：

其中，R为3×3正交单位矩阵，旋转矩阵，描述两坐标系间的旋转关系。t为三维平移向量，描述两坐标系原点间位置平移关系，A为4×4矩阵。

第三步，视频传感器坐标系与图像坐标系间的关系转换。

依据成像几何关系得出视频传感器坐标系与图像坐标系的转换关系。若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O_cP₁和图像平面的交点。根据比例关系有：

矩阵形式为：

空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O_cP₁和图像平面的交点。

第四步，图像平面坐标系与像素坐标系间的关系转换

像素坐标系中，图像的左上角O₀为原点，沿图像的上边沿与左边沿定义直角系u、v坐标轴，像素坐标(u,v)利用列数u与行数v描述像素在图像数组中的存储位置，但缺乏利用物理单位描述各像素间的物理位置关系。由于像素坐标系u、v轴与图像平面坐标系x、y轴平行，可建立以像素为单位的像素坐标系和以毫米为单位的图像平面坐标系之间的转换关系。两坐标系之间的位置关系如图3。

由于视频传感器制作与安装时可能会造成的误差，O₁的像素坐标和像素坐标系的中心会产生偏离。若图像平面坐标系原点O₀在像素坐标系的像素坐标为(u₀,v₀)，在图像平面坐标系中x轴方向与y轴方向上的物理长度为d₁,d₂，则两坐标系间转换关系为：

矩阵形式为：

逆运算为：

结合世界坐标系与视频传感器坐标系转换关系式、视频传感器坐标系与图像坐标系的转换关系式以及图像坐标系与像素坐标系转换关系式，可得世界坐标系中点P(X,Y,Z)与其投影点在像素坐标系中P₁(u,v)的转换关系：

其中，α₁＝f/d₁，α₂＝f/d₂,M为投影矩阵，矩阵M₂的值与参数α₁、α₂、u₀、v₀有关，取决于镜头、感光芯片位置等视频传感器自身结构，为视频传感器内部参数；矩阵M₁由旋转矩阵和平移向量构成，描述视频传感器在世界坐标中的方位，为视频传感器外部参数。

视频传感器畸变非线性模型

理想的针孔成像模型无法准确描述真实成像关系，考虑对实际成像时发生的畸变，需要对坐标进行非线性校正，综合考虑径向畸变和切向畸变的校正公式如下：

其中，两个式子的第二项为径向畸变校正项，第三项为切向畸变校正项。k₁、k₂、p₁、p₂为视频传感器畸变系数，也属于视频传感器内部参数，利用张正友标定方法可求解出视频传感器内外参数。

最后将视频传感器坐标转换为理想的图像平面坐标，再加入畸变偏移获得校正后图像平面坐标，然后完成至像素坐标的转换。

最终，完成毫米波雷达与视频监控摄像头的标定，雷达坐标系与视频传感器坐标系之间的关系图如图4，将毫米波雷达探测到的目标的坐标转换成视频图像帧中相应的ROI。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种毫米波雷达与视频监控摄像头联合标定方法，其特征在于：

步骤1：根据毫米波雷达坐标系与三维世界坐标系的关系，首先将毫米波雷达坐标系下的坐标即雷达探测到的目标在雷达坐标系下的坐标，转换到以监控摄像头为中心的世界坐标系下；

步骤2：根据旋转矩阵R与平移向量t两个矩阵的作用，将以摄像头为中心的世界坐标系下的坐标转换到视频传感器坐标系下；

步骤3：依据成像几何关系得出视频传感器坐标系与图像坐标系的转换关系，将视频传感器下的坐标转换到图像坐标系下；

步骤4：将图像坐标系下的坐标转换到像素坐标系中，最终将测得的数据转换到同一坐标系下，从而完成对目标某些特征的检测。

2.根据权利要求1所述的毫米波雷达与视频监控摄像头联合标定方法，其特征在于，

所述步骤1具体为：

毫米波坐标系与雷达坐标系同属于一平面，为水平二维信息，毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，转换关系为：

其中，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α。

3.根据权利要求1毫米波雷达与视频监控摄像头联合标定方法，其特征在于，

所述步骤2具体为：

利用摄像机成像几何模型中的针孔模型进行演算，利用描述旋转关系的旋转矩阵R，与描述两坐标系原点间位置平移关系的平移向量t两坐标系间的互相转换；需要考虑视频传感器可能产生的畸变；若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X_1,Y₁,Z₁)与其的转换关系为：

其中，R为描述旋转关系的旋转矩阵，平移向量t描述两坐标系原点间位置平移关系，假设空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，在视频传感器坐标系中坐标为(X_1,Y₁,Z₁)。

4.根据权利要求1毫米波雷达与视频监控摄像头联合标定方法，其特征在于，

所述步骤3具体为：

依据成像几何关系得出视频传感器坐标系与图像坐标系的转换关系；若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O_cP₁和图像平面的交点；根据比例关系有：

矩阵形式为：

其中，空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O_cP₁和图像平面的交点。

5.根据权利要求1毫米波雷达与视频监控摄像头联合标定方法，其特征在于，

所述步骤4具体为：

像素坐标系中，图像的左上角O₀为原点，沿图像的上边沿与左边沿定义直角系u、v坐标轴，像素坐标(u,v)利用列数u与行数v描述像素在图像数组中的存储位置，但缺乏利用物理单位描述各像素间的物理位置关系；由于像素坐标系u、v轴与图像平面坐标系x、y轴平行，可建立以像素为单位的像素坐标系和以毫米为单位的图像平面坐标系之间的转换关系；两坐标系之间的位置关系；

由于视频传感器制作与安装时可能会造成的误差，O₁的像素坐标和像素坐标系的中心会产生偏离；若图像平面坐标系原点O₀在像素坐标系的像素坐标为(u₀,v₀)，在图像平面坐标系中x轴方向与y轴方向上的物理长度为d₁,d₂，则两坐标系间转换关系为：

考虑O₁的像素坐标和像素坐标系的中心产生偏离的情况以及两者间的位置关系，由于像素坐标系u、v轴与图像平面坐标系x、y轴平行，若图像平面坐标系原点O₁在像素坐标系的像素坐标为(u₀,v₀)，在图像平面坐标系中x轴方向与y轴方向上的物理长度为d₁,d₂，则两坐标系间转换关系为：

其中，图像平面坐标系原点O₁在像素坐标系的像素坐标为(u₀,v₀)，在图像平面坐标系中x轴方向与y轴方向上的物理长度为d₁,d₂；

综合考虑径向畸变和切向畸变，并进行校正，提出含有视频传感器畸变系数的校正公式：

同时求解出视频传感器的内外参数。

Images