CN112598753B - 一种基于路侧单元rsu信息的车载摄像头标定方法 - Google Patents

Abstract

本发明涉及一种基于路侧单元信息的车载摄像头标定方法，包括筛选车辆周围的RSU设备，获取至少两个有效RSU设备；通过车载摄像头获取车辆周围的图片信息，所述图片信息包括各有效RSU设备；获取各有效RSU设备与车辆之间的相对坐标数据；获取各有效RSU设备在图片信息中的图像坐标数据；以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定。该标定方法克服了现有摄像头标定技术对场景依赖性强的缺陷，简化了标定难度，丰富了标定标准，为用户提供了更多选择，利于改善用户的体验效果。

Description

一种基于路侧单元RSU信息的车载摄像头标定方法

技术领域

本申请涉及摄像头标定技术领域，特别涉及一种基于路侧单元RSU信息的车载摄像头标定方法。

背景技术

近年来，随着汽车产业的迅速发展和人们生活水平的不断提高，我国的汽车数量正在迅猛增长，同时汽车驾驶人员中非职业汽车驾驶人员所占的比例也大量增加。在街道、车库和停车场等拥挤狭小的地方倒车时，由于常规的光学后视镜存在盲区，很容易发生剐蹭或碰撞。

为了解决视角盲区问题，以便更加直观的向驾驶员展现车辆周围的状况，生产厂家在车身周围装设了多个摄像头，以形成360°全景影像系统。而这种装设在车身上的每一个摄像头在正式使用之前，都需要进行较高精度的标定。目前，传统的车载摄像头标定技术要么是在事先铺设好标定格的场地中完成，要么就是需要车辆行驶至特定场景中才能完成，而且这两种标定方法都是单纯基于摄像头采集到的图像信息去做的，可依赖的判定标定成功与否的标准也都是基于图像的结果，其依赖的标准单一，不够丰富，且对场景有较高要求。因此，开发一种基于路侧单元RSU信息的车载摄像头标定方法，为摄像头的标定过程提供更多选择就显得尤为重要。

发明内容

为了克服上述缺陷，本发明提供了一种基于路侧单元RSU信息的车载摄像头标定方法，基于车载摄像头、车载OBD(车载自动诊断系统、On-Board Diagnostics)、以及多个与车载OBD通信连接的RSU设备(路侧单元、Road Side Unit)，包括：

筛选车辆周围的RSU设备，获取至少两个有效RSU设备；

通过车载摄像头获取车辆周围的图片信息，所述图片信息包括各有效RSU设备；

获取各有效RSU设备与车辆之间的相对坐标数据；

获取各有效RSU设备在图片信息中的图像坐标数据；

以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定。

进一步的，所述筛选车辆周围的RSU设备，获取至少两个有效RSU设备步骤，包括：

通过车载OBD获取车辆周围的多个RSU设备的状态信息，所述状态信息包括空间坐标信息以及工作状态信息；

获取车载摄像头的分辨率，根据分辨率划定有效检测范围；

根据RSU设备的空间坐标信息，依次判断各RSU设备是否落入有效检测范围内，若是，则视为可用RSU设备；否则，直接将该RSU设备丢弃。

判断各可用RSU设备的工作状态信息是否为开启状态，若是，则视为有效RSU设备，否则，将该可用RSU设备丢弃；

获取有效RSU设备的数量，并判断是否存在至少两个有效RSU设备，若是，则继续对车载摄像头进行标定；否则，结束标定。

进一步的，所述获取车载摄像头的分辨率，根据分辨率划定有效检测范围步骤，包括：

获取车载摄像头的分辨率；

根据分辨率设置半径R，所述半径R与分辨率呈反比；

以车辆中心为圆点，以半径R划定有效检测范围。

进一步的，所述获取各有效RSU设备与车辆之间的相对坐标数据步骤，包括：

获取车辆自身的空间坐标信息；

根据车辆自身的空间坐标信息以及有效RSU设备的空间坐标信息，计算出有效RSU设备与车辆之间的相对位置关系；

以车辆中心为坐标原点，以车辆长边为Y轴，以车辆短边为X轴，建立相对坐标系；

根据有效RSU设备与车辆之间的相对位置关系，在相对坐标系中标注出有效RSU设备的位置，以获得两者之间的相对坐标数据。

进一步的，所述获取各有效RSU设备在图片信息中的图像坐标数据步骤，包括：

根据有效RSU设备与车辆之间的相对位置关系，在图片信息中划分识别范围；

检测识别范围内的所有静态物体；

提取有效RSU设备的特征点；

根据有效RSU设备的特征点对识别范围内的所有静态物体进行筛选，确定出有效RSU设备在图片信息中的位置，以获取有效RSU设备在图片信息中的图像坐标数据。

进一步的，所述有效RSU设备的特征点包括灯光特征、标识物或形状。

进一步的，在所述以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定步骤之后，还包括校验步骤：

获取各有效RSU设备之间的相对空间距离；

基于确定的车载摄像头参数，根据图片信息计算出各有效RSU设备之间的相对估算距离；

将相对估算距离与相对空间距离进行比对，获取距离偏差；

判断距离偏差是否小于阈值，若是，则认为对车载摄像头的标定是合格的；否则，认为对车载摄像头的标定是不合格的。

进一步的，所述判断距离偏差是否小于阈值，若是，则认为对车载摄像头的标定是合格的；否则，认为对车载摄像头的标定是不合格的步骤之后，还包括再校验步骤：

当对车载摄像头的标定不合格时，重新获取多张包括各有效RSU设备的图片信息，并分别计算出各有效RSU设备在不同图片信息中的相对估算距离，分析各相对估算距离与相对空间距离之间的距离偏差是否全部小于阈值，若是，则确认对车载摄像头的标定是合格的；否则，确认对车载摄像头的标定是不合格的。

进一步的，所述以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定步骤，包括：

针对车载摄像头，根据车载摄像头的图像坐标数据以及有效RSU设备的相对坐标数据，确定车载摄像头的内参数矩阵以对车载摄像头进行标定，所述车载摄像头为多个车载摄像头的任意一个。

一种车载摄像头的标定装置，基于上述的一种基于路侧单元RSU信息的车载摄像头标定方法，包括获取模块、确定模块以及标定模块；所述获取模块包括车载OBD以及设置在车身周围的多个车载摄像头，所述车载摄像头用于获取车身周围的图片信息，所述车载OBD用于获取车辆周围RSU设备的相关信息；所述确定模块用于筛选出有效RSU设备，并计算出有效RSU设备与车辆之间的相对坐标数据以及有效RSU设备在图片信息中的图像坐标数据；所述标定模块用于根据相对坐标数据和图像坐标数据，确定所述车载摄像头的内参矩阵，以完成对车载摄像头的标定。

与现有技术相比，本发明的有益效果是如下：

本发明提供了一种基于路侧单元RSU信息的车载摄像头标定方法，该标定方法通过筛选特定的路侧单元，并对路测单元进行位置转换，将其转化至以本车中心为坐标原点的相对坐标系中，然后再根据有效路侧单元与车辆之间的相对坐标数据以及路侧单元的图像坐标数据，计算出车载摄像头的标定参数，完成对车载摄像头的快速标定。该标定方法克服了现有摄像头标定技术对场景依赖性强的缺陷，简化了标定难度，丰富了标定标准，为用户提供了更多选择，利于改善用户的体验效果。

附图说明

图1为实施例1中基于路侧单元RSU信息的车载摄像头标定方法流程示意图。

图2为实施例1中筛选有效RSU设备的流程示意图。

图3为实施例1中获取有效RSU设备与车辆之间的相对坐标数据流程示意图。

图4为实施例1中获取有效RSU设备在图片信息中的图像坐标数据的流程示意图。

图5为实施例1中校验步骤的流程示意图。

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的；相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。

具体实施方式

下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。

实施例1

如图1-图5所示，本实施例提供了一种基于路侧单元RSU信息的车载摄像头标定方法，基于车载摄像头、车载OBD、以及多个与车载OBD通信连接的RSU设备，其中，车载OBD用于获取车辆周围RSU设备的相关信息，车载摄像头用于获取车身周围的图片信息。通常车载摄像头包括前车载摄像头、后车载摄像头、左车载摄像头以及右车载摄像头。车载摄像头的类型包括但不限于超广角摄像头、广角摄像头以及长焦摄像头等。

一种基于路侧单元RSU信息的车载摄像头标定方法，如图1所示，该方法包括：

101、筛选车辆周围的RSU设备，获取至少两个有效RSU设备。

如图2所示，在具体实施过程中，需要先通过车载OBD向车辆周围的RSU设备发送数据获取请求，RSU设备接收到数据获取请求会将自身相关信息传输至车载OBD。由此，车载OBD就可以快速获取到车辆周围的多个RSU设备的状态信息。这里所说的状态信息至少包括空间坐标信息以及工作状态信息。其中，空间坐标信息是指RSU设备的世界坐标信息，而工作状态信息则是指RSU设备当前是处于开启状态(工作状态)还是关闭状态(非工作状态)。当车载OBD获取到车辆周围的多个RSU设备的状态信息之后，就可以继续获取车载摄像头(需要标定的车载摄像头)的分辨率，然后根据分辨率划定有效检测范围。并根据RSU设备的空间坐标信息，依次判断车载OBD获取的各个RSU设备是否落入有效检测范围内，若是，则将该RSU设备视为可用RSU设备；否则，直接将该RSU设备信息进行丢弃。以此，便可以初步筛选出多个可用过的RSU设备。

针对筛选出来的多个可用RSU设备，再依次判断各个可用RSU设备的工作状态信息是否为开启状态，若可用RSU设备当前是处于开启状态，则将该可用RSU设备视为有效RSU设备；否则，将该可用RSU设备的信息数据丢弃。经过上述一系列操作，就可以将车辆周围的有效RSU设备全部筛选出来了。此时，只需要统计筛选出来的有效RSU设备的数量，并判断是否存在至少两个有效RSU设备，若是，则继续对车载摄像头进行标定，并开启车载摄像头的后台标定模式；否则，结束标定。换句话说，当筛选出来的有效RSU设备的数量大于等于两个，则开启车载摄像头的后台标定模式，进入标定流程。当筛选出来的有效RSU设备的数量小于两个，则结束标定程序，并在车辆运行过程中，继续获取车辆周围的RSU设备，重复上述筛选过程，直至筛选出来的有效RSU设备数量大于等于2为止，才会继续进入标定流程。

当然，在筛选有效RSU设备过程中，也可以引入其他参考条件，如RSU设备的位置精度。这里所说的RSU设备的位置精度是指由第三方在建立RSU设备过程中，存储在RSU设备中的空间坐标信息以及定位误差值。换句话说，每个RSU设备在建立好之后，其位置就已经确定了，此时第三方会将该RSU设备的空间坐标信息以及定位误差值一并存储至RSU设备中个。当需要时，车载OBD可以向RSU设备发出数据请求，以使RSU设备将其自身的空间坐标信息和定位误差值一并发送至车载OBD。通常来讲，用来标定车载摄像头的有效RSU设备的定位误差值越小越好。

本实施例中，在根据车载摄像头的分辨率划定有效检测范围的过程中，通常需要先提取车载摄像头的分辨率，再根据分辨率设置半径R，所述半径R与分辨率呈反比例关系。也就是说，当车载摄像头的分辨率越大，能够拍摄的距离越远，车载摄像头拍摄的范围越广，此时，可以将半径R的取值适当取大一点，以获取到更多的有效RSU设备。当然，如果车载摄像头的分辨率越小，其能够拍摄的距离越短，即车载摄像头拍摄的范围也越小，此时，就只能够将半径R的取值定小一点。最后，以车辆中心为圆点，以半径R划圆，即可得到有效检测范围。通常划分出来的有效检测范围是车载摄像头能够清楚拍摄的最大范围。

102、通过车载摄像头获取车辆周围的图片信息，所述图片信息包括各有效RSU设备。

也就是说，通过车载摄像头拍摄到的图片信息，需要包括步骤101中筛选出来的多个有效RSU设备才可使用，否则需要重新获取车辆周围的图片信息。至于图片信息的获取方式可以是一帧一帧的依次获取，直至得到能够包括各有效RSU设备的图片信息为止，或者也可以批量获取多帧图片信息，然后从多帧图片信息中选出符合要求的图片信息，具体不做限制。

103、获取各有效RSU设备与车辆之间的相对坐标数据。

如图3所示，在具体实施过程中，先获取车辆自身的空间坐标信息。由于之前步骤101中已经获取了有效RSU设备的空间坐标信息，此时只需要根据车辆自身的空间坐标信息以及有效RSU设备的空间坐标信息，由两点间位置计算公式计算出有效RSU设备与车辆之间的相对位置关系。两者之间的相对位置关系至少包括直线距离和偏向角。并以车辆中心为坐标原点，以车辆长边为Y轴，以车辆短边为X轴，建立相对坐标系。然后根据有效RSU设备与车辆之间的相对位置关系，在相对坐标系中标注出有效RSU设备的位置，进而获得两者之间的相对坐标数据。

104、获取各有效RSU设备在图片信息中的图像坐标数据。

如图4所示，具体的，需要先根据有效RSU设备与车辆之间的相对位置关系，在图片信息中划分识别范围。然后检测识别范围内的所有静态物体。同时提取有效RSU设备的特征点。最后，根据有效RSU设备的特征点对识别范围内的所有静态物体进行筛选，确定出有效RSU设备在图片信息中的位置，以获取有效RSU设备在图片信息中的图像坐标数据。在本技术方案中，有效RSU设备的特征点包括但不限于灯光特征、标识物或形状等，且每个有效RSU设备的特征点数量也不局限于一个，一般特征点的数量越多，就能越快确定出有效RSU设备在图片信息中的位置。

105、以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定。

针对车载摄像头，根据车载摄像头的图像坐标数据以及有效RSU设备的相对坐标数据，确定车载摄像头的内参数矩阵以对车载摄像头进行标定，所述车载摄像头为多个车载摄像头的任意一个。在具体执行过程中，可以对有效RSU设备的空间坐标信息进行旋转和平移，生成相应车载摄像有坐标系中的坐标，并转换成图像坐标数据，进而转换为像素坐标值，得到车载摄像头的参数，即车载摄像头的内参和外参的值，以完成对摄像头进行标定。

作为优选的，还包括校验步骤，校验步骤主要用于验证对车载摄像头的标定是否合格。如图5所示，在校验步骤中，先获取各有效RSU设备之间的相对空间距离。由于有效RSU设备的位置是固定不变的，这也就意味着，任意两个有效RSU设备之间的相对空间距离也是固定不变的。然后在此条件下，基于确定的车载摄像头参数，再根据图片信息计算出各有效RSU设备之间的相对估算距离。值得注意的是，在图片信息中作为计算目标的两个有效RSU设备与空间环境中选择的两个有效RSU设备需是相互对应的。随后，将两个有效RSU设备的相对估算距离与相对空间距离进行比对，获取距离偏差。并判断距离偏差是否小于阈值，若是，则认为对车载摄像头的标定是合格的；否则，认为对车载摄像头的标定是不合格的。

当然，为了提高校验精度，确保能够获得准确的判断，还可以在校验步骤之后增加再校验步骤。比如，在校验步骤中，当得出对车载摄像头的标定不合格的结论时，就可以启动再校验步骤。具体过程中，针对车载摄像头不合格的情况，可以重新获取多张包括各有效RSU设备的图片信息，并分别计算出各有效RSU设备在不同图片信息中的相对估算距离，分析各相对估算距离与相对空间距离之间的距离偏差是否全部小于阈值，若是，则确认对车载摄像头的标定是合格的；否则，确认对车载摄像头的标定是不合格的。

本实施例提供了一种基于路侧单元RSU信息的车载摄像头标定方法，该标定方法通过筛选特定的路侧单元，并对路测单元进行位置转换，将其转化至以本车中心为坐标原点的相对坐标系中，然后再根据有效路侧单元与车辆之间的相对坐标数据以及路侧单元的图像坐标数据，计算出车载摄像头的标定参数，完成对车载摄像头的快速标定。该标定方法克服了现有摄像头标定技术对场景依赖性强的缺陷，简化了标定难度，丰富了标定标准，为用户提供了更多选择，利于改善用户的体验效果。

本技术领域的普通人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程度可以存储于一种计算器可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

实施例2

本实施例提供了一种车载摄像头的标定装置，基于实施例1中所说的一种基于路侧单元RSU信息的车载摄像头标定方法，具体包括获取模块、确定模块以及标定模块；所述获取模块包括车载OBD以及设置在车身周围的多个车载摄像头，所述车载摄像头用于获取车身周围的图片信息，所述车载OBD用于获取车辆周围RSU设备的相关信息；所述确定模块用于筛选出有效RSU设备，并计算出有效RSU设备与车辆之间的相对坐标数据以及有效RSU设备在图片信息中的图像坐标数据；所述标定模块用于根据相对坐标数据和图像坐标数据，确定所述车载摄像头的内参矩阵，以完成对车载摄像头的标定。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，基于车载摄像头、车载OBD、以及多个与车载OBD通信连接的RSU设备，包括：

通过车载OBD获取车辆周围的多个RSU设备的状态信息，所述状态信息包括空间坐标信息以及工作状态信息；

获取车载摄像头的分辨率，根据分辨率划定有效检测范围；

根据RSU设备的空间坐标信息，依次判断各RSU设备是否落入有效检测范围内，若是，则视为可用RSU设备；否则，直接将该RSU设备丢弃；

根据所述可用RSU设备，获取至少两个有效RSU设备；

通过车载摄像头获取车辆周围的图片信息，所述图片信息包括各有效RSU设备；获取各有效RSU设备与车辆之间的相对坐标数据；

获取各有效RSU设备在图片信息中的图像坐标数据；

以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定。

2.如权利要求1所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述根据所述可用RSU设备，获取至少两个有效RSU设备步骤，包括：判断各可用RSU设备的工作状态信息是否为开启状态，若是，则视为有效RSU设备，否则，将该可用RSU设备丢弃；

获取有效RSU设备的数量，并判断是否存在至少两个有效RSU设备，若是，则继续对车载摄像头进行标定；否则，结束标定。

3.如权利要求2所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述获取车载摄像头的分辨率，根据分辨率划定有效检测范围步骤，包括：

获取车载摄像头的分辨率；

根据分辨率设置半径R，所述半径R与分辨率呈反比；

以车辆中心为圆点，以半径R划定有效检测范围。

4.如权利要求2所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述获取各有效RSU设备与车辆之间的相对坐标数据步骤，包括：

获取车辆自身的空间坐标信息；

根据车辆自身的空间坐标信息以及有效RSU设备的空间坐标信息，计算出有效RSU设备与车辆之间的相对位置关系；

以车辆中心为坐标原点，以车辆长边为Y轴，以车辆短边为X轴，建立相对坐标系；

根据有效RSU设备与车辆之间的相对位置关系，在相对坐标系中标注出有效RSU设备的位置，以获得两者之间的相对坐标数据。

5.如权利要求4所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述获取各有效RSU设备在图片信息中的图像坐标数据步骤，包括：根据有效RSU设备与车辆之间的相对位置关系，在图片信息中划分识别范围；

检测识别范围内的所有静态物体；

提取有效RSU设备的特征点；

根据有效RSU设备的特征点对识别范围内的所有静态物体进行筛选，确定出有效RSU设备在图片信息中的位置，以获取有效RSU设备在图片信息中的图像坐标数据。

6.如权利要求5所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述有效RSU设备的特征点包括灯光特征、标识物或形状。

7.如权利要求1所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，在所述以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定步骤之后，还包括校验步骤：

获取各有效RSU设备之间的相对空间距离；

基于确定的车载摄像头参数，根据图片信息计算出各有效RSU设备之间的相对估算距离；

将相对估算距离与相对空间距离进行比对，获取距离偏差；

判断距离偏差是否小于阈值，若是，则认为对车载摄像头的标定是合格的；否则，认为对车载摄像头的标定是不合格的。

8.如权利要求7所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述判断距离偏差是否小于阈值，若是，则认为对车载摄像头的标定是合格的；否则，认为对车载摄像头的标定是不合格的步骤之后，还包括再校验步骤：

当对车载摄像头的标定不合格时，重新获取多张包括各有效RSU设备的图片信息，并分别计算出各有效RSU设备在不同图片信息中的相对估算距离，分析各相对估算距离与相对空间距离之间的距离偏差是否全部小于阈值，若是，则确认对车载摄像头的标定是合格的；否则，确认对车载摄像头的标定是不合格的。

9.如权利要求1所述一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，所述以有效RSU设备为基点，根据图像坐标数据以及相对坐标数据，确定车载摄像头的参数以完成标定步骤，包括：

针对车载摄像头，根据车载摄像头的图像坐标数据以及有效RSU设备的相对坐标数据，确定车载摄像头的内参数矩阵以对车载摄像头进行标定，所述车载摄像头为多个车载摄像头的任意一个。

10.一种车载摄像头的标定装置，基于权利要求1-9任意一项所述的一种基于路侧单元RSU信息的车载摄像头标定方法，其特征在于，包括获取模块、确定模块以及标定模块；所述获取模块包括车载OBD以及设置在车身周围的多个车载摄像头，所述车载摄像头用于获取车身周围的图片信息，所述车载OBD用于获取车辆周围RSU设备的相关信息；所述确定模块用于筛选出有效RSU设备，并计算出有效RSU设备与车辆之间的相对坐标数据以及有效RSU设备在图片信息中的图像坐标数据；所述标定模块用于根据相对坐标数据和图像坐标数据，确定所述车载摄像头的内参矩阵，以完成对车载摄像头的标定。