CN117784121A - 一种路侧传感器联合标定方法、系统及电子设备 - Google Patents

Abstract

本发明公开了一种路侧传感器联合标定方法、系统及电子设备，涉及计算机视觉技术领域，包括：计算模块读取输入模块输入的矩阵参数，并计算标定矩阵；数据采集模块采集路侧传感器输出的数据；选取与路侧传感器时间戳最接近的毫米波雷达目标点位置和相机图像作为匹配数据，计算模块根据标定矩阵计算毫米波雷达目标点位置投影到相机图像中的毫米波雷达目标点投影位置；将毫米波雷达目标点投影位置绘制在接收到的相机图像上，并将绘制有毫米波雷达目标点投影位置的图像输出到显示模块，并显示到显示器上，解决了目前在进行标定时，标定过程比较繁琐，效率较低，成本较高和传感器数据间的关联性较差的问题。

Description

一种路侧传感器联合标定方法、系统及电子设备

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种路侧传感器联合标定方法、系统及电子设备。

背景技术

当今智能交通系统日益成为城市管理和交通流畅度提升的关键领域，随着交通网络的不断扩张和车辆类型的多样化，单一传感器的应用已经难以满足对于交通状况全面准确的监测需求，往往需要多个传感器共同协作，才能对交通状况做出准确的判断。因此，路侧传感器的联合标定对于实现高效、智能的交通监测与控制具有重要意义。路侧传感器联合标定是指将路侧各传感器间的数据进行关联，共同标定出传感器间的外参。

在公开号为：CN114187365A的专利中，通过高精度RTK设备建立GPS到世界坐标系投影，并用RTK获取路面各测量点在世界坐标系的坐标，通过PnP算法估计相机外参；借助角反等反射目标通过SVD算法计算雷达外参，以此完成路侧传感器标定。该方法借助RTK设备将相机与毫米波雷达分别标定，没有在相机与毫米波雷达间建立联系。

在公开号为：CN116152356A的专利中，在移动小车上安装标定板和定位装置，路侧相机通过对图像进行目标识别确定标定板在图像中的位置，路侧雷达通过对标定板上粘贴的反光纸进行点云识别，确定标定板在雷达中的位置，然后与小车定位装置进行数据对齐，最后通过PnP求解出标定矩阵。该方法需要借助标定车和标定板进行标定，成本较高，且图像识别和点云识别需要较大算力。

在公开号为：CN116188817A的专利中，将路侧多传感器对于交通流的感知数据处理为多目标轨迹数据，采用图匹配方法在路侧多传感器采集到的多目标轨迹数据中对联网车辆轨迹进行识别，采用高斯-牛顿法求解路侧多传感器的标定参数。该方法需要配置一台联网车辆进行标定，成本较高，且计算过程需要计算车流轨迹，计算过程较为复杂。

在公开号为：CN112288825A的专利中，对路侧鱼眼相机采集的标志点的图像进行投影变换，得到枪机视角图像，然后根据标志点的真实定位信息和枪机视角图像，标定枪机视角图像所对应的等效枪机的外参，最后根据等效枪机的外参，得到鱼眼相机的外参。该方法需要人工携带RTK采集标志点位置，消耗较多人力物力。

综上所述，目前的标定方法需要事先准备特定的标志物，然后标定人员将这些标志物放置到道路上，对传感器分别进行标定，标定后需要对标志物进行图像识别，需要硬件支持较大算力，存在标定过程比较繁琐，效率较低，成本较高的问题，同时目前的标定方法中相机与雷达是单独标定，没有建立起传感器间的关联，存在传感器数据间的关联性较差的问题。

发明内容

基于此，针对上述问题，本发明提出了一种路侧传感器联合标定方法、系统及电子设备，通过将路侧相机和路侧毫米波雷达联系起来进行联合标定，在加强了数据间关联性的同时，不需要借助外部标志物，仅靠道路上正常行驶的车流即可完成标定，解决了目前在进行标定时，标定过程比较繁琐，效率较低，成本较高和传感器数据间的关联性较差的问题。

本发明的技术方案是：

一种路侧传感器联合标定方法，包括以下步骤：

S1：计算模块读取输入模块输入的矩阵参数，并计算标定矩阵，表达式为：

其中，是相机内参矩阵，/>是相机相对于毫米波雷达的旋转矩阵，/>是相机相对于毫米波雷达的平移向量，/>是毫米波雷达目标点所在平面的平面法向量，/>为毫米波雷达目标点所在平面的平面距离参数，设定为1，/>是矩阵转置运算符号；

S2：数据采集模块采集路侧传感器输出的数据，该数据包括毫米波雷达输出的毫米波雷达目标点位置和相机输出的相机图像img，以及获取该数据的路侧传感器时间戳/>；

S3：选取与路侧传感器时间戳最接近的毫米波雷达目标点位置/>和相机图像img作为匹配数据，计算模块根据标定矩阵/>计算毫米波雷达目标点位置/>投影到相机图像img中的毫米波雷达目标点投影位置/>，表达式如下：

其中，是雷达目标点横坐标，/>是雷达目标点纵坐标；

S4：将毫米波雷达目标点投影位置绘制在接收到的相机图像img上，并将绘制有毫米波雷达目标点投影位置/>的图像输出到显示模块，并显示到显示器上；

S5：用户根据观察显示器（22）上显示的图像中，毫米波雷达目标点投影位置相对于图像目标位置的位置关系；

如果显示器（22）上显示的图像中毫米波雷达目标点投影位置正确投影到图像目标位置，则进入步骤S6；

如果显示器（22）上显示的图像中毫米波雷达目标点投影位置没有正确投影到图像目标位置，则调整输入模块（14）输入的矩阵参数，重复进行步骤S1至S5，直至显示器（22）上显示的图像中毫米波雷达目标点投影位置/>正确投影到图像目标位置时，进入步骤S6；

其中图像目标位置为图像中车辆的像素位置，

S6：标定完成，计算模块（12）输出此时的标定矩阵。

优选的是，在步骤S1中，是相机内参矩阵，表达式为：

其中，是相机焦距，/>是相机光心点，通过棋盘格张正友标定法进行相机内参标定获得。

优选的是，在步骤S1中，是相机相对于毫米波雷达的旋转矩阵，通过从输入模块获得的矩阵参数/>进行计算获得，表达式为：

其中，是相机相对于毫米波雷达的翻滚角，/>是相机相对于毫米波雷达的俯仰角，/>是相机相对于毫米波雷达的偏航角，/>，/>，/>为中间变量。

优选的是，在步骤S1中，是相机相对于毫米波雷达的平移向量，通过从输入模块获得的矩阵参数/>进行计算获得，表达式为：

其中，是相机相对于毫米波雷达x轴方向偏移，/>是相机相对于毫米波雷达y轴方向偏移，/>是相机相对于毫米波雷达z轴方向偏移。

优选的是，毫米波雷达目标点为水平路面上的车辆点，故为单位向量。

一种路侧传感器联合标定系统，在上述一种路侧传感器联合标定方法中使用，包括数据采集模块、计算模块、显示模块和输入模块。

优选的是，数据采集模块用于采集路侧传感器输出的数据，该数据包括毫米波雷达输出的毫米波雷达目标点位置和相机输出的相机图像img，以及获取该数据的路侧传感器时间戳/>；

计算模块根据数据采集模块采集到的路侧传感器输出的数据，输入模块的矩阵参数和相机内参矩阵，计算标定矩阵/>，并根据标定矩阵/>将毫米波雷达目标点位置转换到图像目标位置，并添加到相机图像img上，输出绘制有毫米波雷达目标点投影位置/>的图像；

显示模块用于接收计算模块输出的图像，并显示到显示器上；

输入模块由用户操作，用户根据显示器上显示的图像中毫米波雷达目标点投影位置与图像目标位置的位置关系，调整输入模块输入的矩阵参数，包括相机相对于毫米波雷达的俯仰角/>，翻滚角/>，偏航角/>，相机相对于毫米波雷达x轴方向偏移/>，相机相对于毫米波雷达y轴方向偏移/>，相机相对于毫米波雷达z轴方向偏移/>，并将调整后的矩阵参数输出到计算模块。

一种路侧传感器联合标定电子设备，包括处理器、储存器、显示器和输入设备，储存器、显示器和输入设备分别与处理器连接，储存器中存储有可被处理器执行的指令，该指令被处理器执行时，处理器能够执行上述一种路侧传感器联合标定方法的步骤，处理器至少为一个。

优选的是，显示器可显示处理器输出的信息。

优选的是，输入设备用于用户手动输入矩阵参数和指令。

与现有技术相比，本发明的有益效果是：

本发明在使用时通过将路侧相机和路侧毫米波雷达联系起来进行联合标定，在加强了数据间关联性的同时，不需要借助外部标志物，仅靠道路上正常行驶的车流即可完成标定，解决了目前在进行标定时，标定过程比较繁琐，效率较低，成本较高和传感器数据间的关联性较差的问题。

1、本发明无需特定的标志物，借助道路上正常行驶的车辆即可完成标定，具有过程方便快捷，效率高的优点。

2、本发明将雷达与相机数据关联到一起进行标定，可以使得传感器数据间的关联性更强。

3、本发明通过调整路侧传感器偏移参数的方式计算标定矩阵，具有效率较高，且所耗算力较小，在低成本的硬件上即可部署使用，所需成本较低的优点。

附图说明

图1是本发明实施例中所述的一种路侧传感器联合标定系统的结构框架示意图一；

图2是本发明实施例中所述的一种路侧传感器联合标定电子设备的结构框架示意图一；

图3是本发明实施例中所述的一种路侧传感器联合标定系统的结构框架示意图二；

图4是本发明实施例中所述的一种路侧传感器联合标定电子设备的结构框架示意图二；

附图标记说明:

10-路侧传感器，11-数据采集模块，12-计算模块，13-显示模块，14-输入模块，20-处理器，21-储存器，22-显示器，23-输入设备。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例1：

本实施例公开了一种路侧传感器联合标定方法，包括以下步骤：

S1：计算模块12读取输入模块14输入的矩阵参数，并计算标定矩阵，表达式为：

其中，是相机内参矩阵，/>是相机相对于毫米波雷达的旋转矩阵，/>是相机相对于毫米波雷达的平移向量，/>是毫米波雷达目标点所在平面的平面法向量，/>为毫米波雷达目标点所在平面的平面距离参数，设定为1，/>是矩阵转置运算符号；

S2：数据采集模块11采集路侧传感器10输出的数据，该数据包括毫米波雷达输出的毫米波雷达目标点位置和相机输出的相机图像img，以及获取该数据的路侧传感器10时间戳/>；

S3：选取与路侧传感器10时间戳最接近的毫米波雷达目标点位置/>和相机图像img作为匹配数据，计算模块12根据标定矩阵/>计算毫米波雷达目标点位置投影到相机图像img中的毫米波雷达目标点投影位置/>，表达式如下：

其中，是雷达目标点横坐标，/>是雷达目标点纵坐标；

S4：将毫米波雷达目标点投影位置绘制在接收到的相机图像img上，并将绘制有毫米波雷达目标点投影位置/>的图像输出到显示模块13，并显示到显示器22上；

S5：用户根据观察显示器（22）上显示的图像中，毫米波雷达目标点投影位置相对于图像目标位置的位置关系；

如果显示器（22）上显示的图像中毫米波雷达目标点投影位置正确投影到图像目标位置，则进入步骤S6；

如果显示器（22）上显示的图像中毫米波雷达目标点投影位置没有正确投影到图像目标位置，则调整输入模块（14）输入的矩阵参数，重复进行步骤S1至S5，直至显示器（22）上显示的图像中毫米波雷达目标点投影位置/>正确投影到图像目标位置时，进入步骤S6；

其中图像目标位置为图像中车辆的像素位置，

S6：标定完成，计算模块（12）输出此时的标定矩阵。

正确投影到图像目标位置即在显示器22上显示的图像中，毫米波雷达目标点投影位置与图像目标位置对应。

本发明利用路侧传感器10中相机和毫米波雷达间的旋转角度和位置距离，计算相机和毫米波雷达间的标定矩阵，然后将毫米波雷达输出的毫米波雷达目标点位置通过标定矩阵投影到毫米波雷达目标点投影位置，然后通过毫米波雷达目标点投影位置与图像目标位置的位置关系，循环迭代调整毫米波雷达和相机间的旋转和平移参数，生成新的调整后的标定矩阵和毫米波雷达目标点投影位置，直至毫米波雷达目标点投影位置与图像中车辆的像素位置对应，则停止循环迭代，输出当前的标定矩阵为最终的标定矩阵，标定完成。

本发明在使用时通过将路侧相机和路侧毫米波雷达联系起来进行联合标定，在加强了数据间关联性的同时，不需要借助外部标志物，仅靠道路上正常行驶的车流即可完成标定，解决了目前在进行标定时，标定过程比较繁琐，效率较低，成本较高和传感器数据间的关联性较差的问题。

1、本发明无需特定的标志物，借助道路上正常行驶的车辆即可完成标定，具有过程方便快捷，效率高的优点。

2、本发明将雷达与相机数据关联到一起进行标定，可以使得传感器数据间的关联性更强。

3、本发明通过调整路侧传感器10偏移参数的方式计算标定矩阵，具有效率较高，且所耗算力较小，在低成本的硬件上即可部署使用，所需成本较低的优点。

优选的是，在步骤S1中，是相机内参矩阵，表达式为：

其中，是相机焦距，/>是相机光心点，通过棋盘格张正友标定法进行相机内参标定获得。

优选的是，在步骤S1中，是相机相对于毫米波雷达的旋转矩阵，通过从输入模块14获得的矩阵参数/>进行计算获得，表达式为：

其中，是相机相对于毫米波雷达的翻滚角，/>是相机相对于毫米波雷达的俯仰角，/>是相机相对于毫米波雷达的偏航角，/>，/>，/>为中间变量。

优选的是，在步骤S1中，是相机相对于毫米波雷达的平移向量，通过从输入模块14获得的矩阵参数/>进行计算获得，表达式为：

其中，是相机相对于毫米波雷达x轴方向偏移，/>是相机相对于毫米波雷达y轴方向偏移，/>是相机相对于毫米波雷达z轴方向偏移。

优选的是，毫米波雷达目标点为水平路面上的车辆点，故为单位向量。

实施例2：

如图1、图3所示，一种路侧传感器联合标定系统，在上述一种路侧传感器联合标定方法中使用，包括数据采集模块11、计算模块12、显示模块13和输入模块14。

优选的是，数据采集模块11用于采集路侧传感器10输出的数据，该数据包括毫米波雷达输出的毫米波雷达目标点位置和相机输出的相机图像img，以及获取该数据的路侧传感器10时间戳/>；

计算模块12根据数据采集模块11采集到的路侧传感器10输出的数据，输入模块14的矩阵参数和相机内参矩阵，计算标定矩阵/>，并根据标定矩阵/>将毫米波雷达目标点位置/>转换到图像目标位置，并添加到相机图像img上，输出绘制有毫米波雷达目标点投影位置/>的图像；

显示模块13用于接收计算模块12输出的图像，并显示到显示器22上；

输入模块14由用户操作，用户根据显示器22上显示的图像中毫米波雷达目标点投影位置与图像目标位置的位置关系，调整输入模块14输入的矩阵参数，包括相机相对于毫米波雷达的俯仰角/>，翻滚角/>，偏航角/>，相机相对于毫米波雷达x轴方向偏移/>，并将调整后的矩阵参数输出到计算模块12。

实施例3：

如图2、图4所示，一种路侧传感器联合标定电子设备，包括处理器20、储存器21、显示器22和输入设备23，储存器21、显示器22和输入设备23分别与处理器20连接，储存器21中存储有可被处理器20执行的指令，该指令被处理器20执行时，处理器20能够执行上述一种路侧传感器联合标定方法的步骤，处理器20至少为一个。

优选的是，显示器22可显示处理器20输出的信息。

优选的是，输入设备23用于用户手动输入矩阵参数和可被处理器20执行与可被储存器21储存的指令。

实施例4：

步骤一：设定当前场景中存在两辆车；

步骤二：数据采集模块11采集到当前路侧传感器10输出的两辆车的毫米波雷达目标点位置和/>，以及相机图像img1，其中两辆车的图像目标位置分别为/>和/>，即两辆车在图像中的车辆的像素位置分别为/>和/>；

步骤三：计算模块12从输入模块14获取矩阵参数，/>，，矩阵参数初始值均为0；

步骤四：计算模块12计算当前标定矩阵；

步骤五：计算模块12通过标定矩阵计算两辆车的毫米波雷达目标点位置/>和/>分别投影在相机图像img1中的毫米波雷达目标点投影位置/>和/>；

步骤六：计算模块12将两辆车的毫米波雷达目标点投影位置和/>绘制在相机图像img1中，并将绘制有两辆车的毫米波雷达目标点投影位置/>和/>的图像输出到显示模块13，并在显示器22上显示；

步骤七：用户通过观察显示模块13中毫米波雷达目标点投影位置和/>与图像中车辆的像素位置/>和/>的位置关系；

如果数据采集模块11采集到的不同数据中的毫米波雷达目标点投影位置和均与图像中车辆的像素位置/>和/>对应，则进入步骤八；

如果数据采集模块11采集到的不同数据中的毫米波雷达目标点投影位置和均没有与图像中车辆的像素位置/>和/>对应，则调整输入模块14输入的矩阵参数和/>，使两辆车的毫米波雷达目标点投影位置/>和/>尽量与图像中两辆车的车辆的像素位置/>和/>对应，重复步骤二至七，直至数据采集模块11采集到的不同数据中的毫米波雷达目标点投影位置/>和/>均与图像中车辆的像素位置/>和/>对应时，进入步骤八；

步骤八：标定完成，输出最终标定矩阵。

本发明原理：

本发明利用路侧传感器10中相机和毫米波雷达间的旋转角度和位置距离，计算相机和毫米波雷达间的标定矩阵，然后将毫米波雷达输出的毫米波雷达目标点位置通过标定矩阵投影到毫米波雷达目标点投影位置，然后通过毫米波雷达目标点投影位置与图像目标位置的位置关系，循环迭代调整毫米波雷达和相机间的旋转和平移参数，生成新的调整后的标定矩阵和毫米波雷达目标点投影位置，直至毫米波雷达目标点投影位置与图像中车辆的像素位置对应，则停止循环迭代，输出当前的标定矩阵为最终的标定矩阵，标定完成。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种路侧传感器联合标定方法，其特征在于，包括以下步骤：

S1：计算模块（12）读取输入模块（14）输入的矩阵参数，并计算标定矩阵，表达式为：

其中，是相机内参矩阵，/>是相机相对于毫米波雷达的旋转矩阵，/>是相机相对于毫米波雷达的平移向量，/>是毫米波雷达目标点所在平面的平面法向量，/>为毫米波雷达目标点所在平面的平面距离参数，设定为1，/>是矩阵转置运算符号；

S2：数据采集模块（11）采集路侧传感器（10）输出的数据，该数据包括毫米波雷达输出的毫米波雷达目标点位置和相机输出的相机图像img，以及获取该数据的路侧传感器（10）时间戳/>；

S3：选取与路侧传感器（10）时间戳最接近的毫米波雷达目标点位置/>和相机图像img作为匹配数据，计算模块（12）根据标定矩阵/>计算毫米波雷达目标点位置投影到相机图像img中的毫米波雷达目标点投影位置/>，表达式如下：

其中，是雷达目标点横坐标，/>是雷达目标点纵坐标；S4：将毫米波雷达目标点投影位置/>绘制在接收到的相机图像img上，并将绘制有毫米波雷达目标点投影位置/>的图像输出到显示模块（13），并显示到显示器（22）上；

S5：用户根据观察显示器（22）上显示的图像中，毫米波雷达目标点投影位置相对于图像目标位置的位置关系；

如果显示器（22）上显示的图像中毫米波雷达目标点投影位置正确投影到图像目标位置，则进入步骤S6；

如果显示器（22）上显示的图像中毫米波雷达目标点投影位置没有正确投影到图像目标位置，则调整输入模块（14）输入的矩阵参数，重复进行步骤S1至S5，直至显示器（22）上显示的图像中毫米波雷达目标点投影位置/>正确投影到图像目标位置时，进入步骤S6；

其中图像目标位置为图像中车辆的像素位置，

S6：标定完成，计算模块（12）输出此时的标定矩阵。

2.根据权利要求1所述的一种路侧传感器联合标定方法，其特征在于，在步骤S1中，是相机内参矩阵，表达式为：

其中，是相机焦距，/>是相机光心点，通过棋盘格张正友标定法进行相机内参标定获得。

3.根据权利要求1所述的一种路侧传感器联合标定方法，其特征在于，在步骤S1中，是相机相对于毫米波雷达的旋转矩阵，通过从输入模块（14）获得的矩阵参数进行计算获得，表达式为：

其中，是相机相对于毫米波雷达的翻滚角，/>是相机相对于毫米波雷达的俯仰角，/>是相机相对于毫米波雷达的偏航角，/>，/>，/>为中间变量。

4.根据权利要求1所述的一种路侧传感器联合标定方法，其特征在于，在步骤S1中，是相机相对于毫米波雷达的平移向量，通过从输入模块（14）获得的矩阵参数/>进行计算获得，表达式为：

其中，是相机相对于毫米波雷达x轴方向偏移，/>是相机相对于毫米波雷达y轴方向偏移，/>是相机相对于毫米波雷达z轴方向偏移。

5.根据权利要求1所述的一种路侧传感器联合标定方法，其特征在于，毫米波雷达目标点为水平路面上的车辆点，故为单位向量。

6.一种路侧传感器联合标定系统，其特征在于，在上述权利要求1-5中任一项所述的一种路侧传感器联合标定方法中使用，包括数据采集模块（11）、计算模块（12）、显示模块（13）和输入模块（14）。

7.根据权利要求6所述的一种路侧传感器联合标定系统，其特征在于，数据采集模块（11）用于采集路侧传感器（10）输出的数据，该数据包括毫米波雷达输出的毫米波雷达目标点位置和相机输出的相机图像img，以及获取该数据的路侧传感器（10）时间戳/>；

计算模块（12）根据数据采集模块（11）采集到的路侧传感器（10）输出的数据，输入模块（14）的矩阵参数和相机内参矩阵，计算标定矩阵/>，并根据标定矩阵/>将毫米波雷达目标点位置/>转换到图像目标位置，并添加到相机图像img上，输出绘制有毫米波雷达目标点投影位置/>的图像；

显示模块（13）用于接收计算模块（12）输出的图像，并显示到显示器（22）上；

输入模块（14）由用户操作，用户根据显示器（22）上显示的图像中毫米波雷达目标点投影位置与图像目标位置的位置关系，调整输入模块（14）输入的矩阵参数，包括相机相对于毫米波雷达的俯仰角/>，翻滚角/>，偏航角/>，相机相对于毫米波雷达x轴方向偏移/>，相机相对于毫米波雷达y轴方向偏移/>，相机相对于毫米波雷达z轴方向偏移/>，并将调整后的矩阵参数输出到计算模块（12）。

8.一种路侧传感器联合标定电子设备，其特征在于，包括处理器（20）、储存器（21）、显示器（22）和输入设备（23），储存器（21）、显示器（22）和输入设备（23）分别与处理器（20）连接，储存器（21）中存储有可被处理器（20）执行的指令，该指令被处理器（20）执行时，处理器（20）能够执行上述权利要求1-5中任一项所述的一种路侧传感器联合标定方法的步骤，处理器（20）至少为一个。

9.根据权利要求8所述的一种路侧传感器联合标定电子设备，其特征在于，显示器（22）可显示处理器（20）输出的信息。

10.根据权利要求9所述的一种路侧传感器联合标定电子设备，其特征在于，输入设备（23）用于用户手动输入矩阵参数和指令。