CN113870357B - 摄像头外参标定方法、装置、感知设备和存储介质 - Google Patents

Abstract

本申请涉及一种摄像头外参标定方法、装置、感知设备和存储介质，其中，该摄像头外参标定方法包括：获取第一标定靶的第一图像；基于所述第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标；获取第二标定靶的第二图像；基于所述第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标；建立车辆坐标系，基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。通过本申请，解决了相关技术中测量摄像头的安装位置存在偏差，导致标定摄像头旋转角度不够精确的问题，提高了摄像头外参标定的准确性。

Description

摄像头外参标定方法、装置、感知设备和存储介质

技术领域

本申请涉及驾驶辅助领域，特别是涉及摄像头外参标定方法、装置、感知设备和存储介质。

背景技术

测距技术是驾驶辅助功能的重要组成部分，而测距技术的实现需要依赖于摄像头的内参数和外参数，才能获取世界坐标系中的实际距离。摄像头的内参数包括焦距、像素大小等，主要和摄像头的生产工艺相关。摄像头的外参数包括摄像头的安装位置、旋转角度等，主要和摄像头的安装状态相关。由于摄像头的内参数一般在出厂时已经固定不变，因此摄像头外参数的准确性对测距精度至关重要。

为了获取摄像头的外参数，相关技术都是先测量摄像头的安装位置和标定靶的位置，将摄像头的位置和标定靶的位置作为已知参数，计算摄像头的旋转角度。标定靶位置的精度容易得到保证，但是由于摄像头的安装工艺、测量误差等因素，摄像头的安装位置难以准确获取，进而导致摄像头的旋转角度不够精确。

针对相关技术中存在测量摄像头的安装位置存在偏差，导致标定摄像头旋转角度不够精确的技术问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种摄像头外参标定方法、装置、感知设备和存储介质，以解决相关技术中测量摄像头的安装位置存在偏差，导致标定摄像头旋转角度不够精确的问题。

第一个方面，在本实施例中提供了一种摄像头外参标定方法，应用于驾驶辅助领域，包括：

获取第一标定靶的第一图像，所述第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点；

基于所述第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，所述第一图像中心点为所述第一图像中标定靶图案的中心点；

获取第二标定靶的第二图像，所述第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，所述第二标定靶的位置与所述第一标定靶不同；

基于所述第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，所述第二图像中心点为所述第二图像中标定靶图案的中心点；

建立车辆坐标系，基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。

在其中的一些实施例中，所述第一标定靶还包括连通域，所述获取第一标定靶的第一图像之后还包括：

对所述第一图像进行预处理操作，所述预处理操作至少包括图像去畸变、图像去噪以及图像二值化。

在其中的一些实施例中，所述基于所述第一图像获取第一图像中心点的像素坐标系坐标包括：

获取所述第一图像中的标定靶图案内的所有像素点的像素坐标系坐标；

确定所有像素点的像素坐标系坐标的平均值，作为所述第一图像中心点的像素坐标系坐标。

在其中的一些实施例中，所述建立车辆坐标系包括：

以所述第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立所述车辆坐标系。

在其中的一些实施例中，所述基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标包括：

基于多个所述第一标定靶中心点之间的实际距离与对应的多个所述第一图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下的X轴坐标；

基于所述第一标定靶与第二标定靶之间的实际距离，以及多个所述第二标定靶中心点之间的实际距离与对应的多个所述第二图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下Y轴坐标以及Z轴坐标。

在其中的一些实施例中，所述确定摄像头的车辆坐标系坐标之后还包括：

基于摄像头的车辆坐标系坐标以及预设参数，确定摄像头的偏转角度，所述预设参数至少包括：摄像头内参、摄像头与所述第一标定靶的相对位置参数以及所述第一标定靶的尺寸参数，所述偏转角度为所述第一标定靶中心点的理论位置与实际位置的偏差角度。

在其中的一些实施例中，所述确定摄像头的偏转角度包括：

基于所述第一标定靶中心点的车辆坐标系坐标，确定所述第一标定靶中心点的相机坐标系理论坐标；

基于所述第一图像中心点的像素坐标系坐标，确定所述第一标定靶中心点的相机坐标系实际坐标；

基于所述第一标定靶中心点的相机坐标系理论坐标与相机坐标系实际坐标，确定所述摄像头的偏转角度。

第二个方面，在本实施例中提供了一种摄像头外参标定装置，应用于驾驶辅助领域，包括：

第一图像获取模块，用于获取第一标定靶的第一图像，所述第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点；

第一坐标获取模块，用于基于所述第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，所述第一图像中心点为所述第一图像中标定靶图案的中心点；

第二图像获取模块，用于获取第二标定靶的第二图像，所述第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，所述第二标定靶的位置与所述第一标定靶不同；

第二坐标获取模块，用于基于所述第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，所述第二图像中心点为所述第二图像中标定靶图案的中心点；

位置标定模块，用于建立车辆坐标系，基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。

第三个方面，在本实施例中提供了一种感知设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的摄像头外参标定方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的摄像头外参标定方法。

与相关技术相比，在本实施例中提供的摄像头外参标定方法、装置、感知设备和存储介质，获取第一标定靶的第一图像，所述第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点；基于所述第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，所述第一图像中心点为所述第一图像中标定靶图案的中心点；获取第二标定靶的第二图像，所述第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，所述第二标定靶的位置与所述第一标定靶不同；基于所述第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，所述第二图像中心点为所述第二图像中标定靶图案的中心点；建立车辆坐标系，基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。通过第一标定靶中心点、第二标定靶中心点、第一图像中心点以及第二图像中心点的位置信息确定摄像头的位置信息，解决了相关技术中测量摄像头的安装位置存在偏差，导致标定摄像头旋转角度不够精确的问题，提高了摄像头外参标定的准确性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明一实施例的摄像头外参标定方法的终端硬件结构框图；

图2是本发明一实施例的摄像头外参标定方法的流程示意图；

图3是本发明一实施例的第一标定靶的示意图；

图4是本发明一实施例的摄像头位置的计算方法的示意图；

图5是本发明另一实施例的摄像头位置的计算方法的示意图；

图6是本发明一实施例的摄像头偏转角度的计算方法的示意图；

图7是本发明另一实施例的摄像头横滚偏转角度的计算方法的示意图；

图8是本发明一实施例的摄像头偏转角度计算方法的流程示意图；

图9是本发明一实施例的摄像头外参标定装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的摄像头外参标定方法的终端硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器104和用于存储数据的存储器106，其中，处理器104可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括输入输出设备102。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

具体的，输入输出设备102可以与处理器104进行交互，用于将数据、指令以及标志信息等传输至处理器104，以及将从处理器104获取的处理结果以各种形式展现出来。在其中一个具体实施例中，输入输出设备102可以包括但不限于车载输入设备以及车载输出设备，车载输入设备用于获取各类实时信号，例如车载雷达、车载摄像头等，车载输出设备用于输出处理结果，例如车辆仪表盘、车载音响等。处理器104通过运行存储在存储器106内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。在其中一个具体实施例中，处理器104可以包括但不限于车载CPU模块，用于对车辆各传感器的信号进行处理并输出控制信号。存储器106可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。存储器106可用于存储计算机程序，例如，各类应用和功能的程序以及模块，如在本实施例中的摄像头外参标定方法对应的计算机程序。在其中一个具体实施例中，存储器106可以包括但不限于车载存储器模块，用于存储用户数据、车载CPU模块的运行程序以及传感器获取的信号等。

请参阅图2，图2是本发明一实施例的摄像头外参标定方法的流程示意图。在本实施例中，摄像头外参标定方法包括：

S202：获取第一标定靶的第一图像，第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点。

示例性地，在预设位置设置第一标定靶，并通过车载摄像头获取该第一标定靶的第一图像。其中，第一标定靶包括预设形状的多个标定靶图案，以及位于每个标定靶图案中心的第一标定靶中心点，以用于在机器视觉、图像测量、三维重建等应用领域校正镜头畸变、确定物理尺寸和距离等。优选的，标定靶表面光照均匀并且标定靶表面材料不反光，以减少光照不均匀等因素对相机标定参数的影响；预设形状包括圆形、方形等规则形状，以方便获取第一标定靶中心点。

具体的，第一标定靶位于车辆正前方，第一标定靶的平面与车辆的前轴或者后轴方向平行，以方便计算。

S204：基于第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，第一图像中心点为第一图像中标定靶图案的中心点。

示例性地，获取第一图像中的第一图像中心点，计算该第一图像中心点在像素坐标系下的坐标，并通过摄像头内参将第一图像中心点的像素坐标系坐标转化成相机坐标系坐标。其中，第一图像中心点是第一图像中标定靶图案的中心点；像素坐标系是指以图像的左上角为原点，以图像的行方向和列方向为轴方向建立的二维坐标系；相机坐标系是指以相机的光心为原点，以图像的行方向、列方向以及相机光轴方向为轴方向建立的三维坐标系。

S206：获取第二标定靶的第二图像，第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，第二标定靶的位置与第一标定靶不同。

示例性地，移动第一标定靶，得到不同位置的标定靶，将移动后的标定靶作为第二标定靶，通过车载摄像头获取该第二标定靶的第二图像。其中，第二标定靶包括预设形状的多个标定靶图案，以及位于每个标定靶图案中心的第二标定靶中心点。可以理解的，第二标定靶的标定靶图案与第一标定靶相同，但是第二标定靶中心点的位置信息与第一标定靶不同。优选的，第一标定靶的移动方向与车辆的前后方向平行，以方便计算。

S208：基于第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，第二图像中心点为第二图像中标定靶图案的中心点。

示例性地，获取第二图像中的第二图像中心点，计算该第二图像中心点在像素坐标系下的坐标，并通过摄像头内参将第二图像中心点的像素坐标系坐标转化成相机坐标系坐标。其中，第二图像中心点为第二图像中标定靶图案的中心点。可以理解的，由于第一标定靶与第二标定靶的位置不同，因此第一图像中心点与第二图像中心点的相机坐标系坐标也不相同。

S210：建立车辆坐标系，基于第一标定靶中心点、第二标定靶中心点，以及第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。

示例性地，建立车辆坐标系，通过第一标定靶中心点、第二标定靶中心点以及第一图像中心点、第二图像中心点的相机坐标系坐标，获取第一标定靶中心点、第二标定靶中心点、第一图像中心点以及第二图像中心点之间的距离信息，基于距离信息计算摄像头在该车辆坐标系下的位置坐标。其中，车辆坐标系是指基于车辆的方向建立的世界坐标系。

本实施例获取第一标定靶的第一图像，第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点；基于第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，第一图像中心点为第一图像中标定靶图案的中心点；获取第二标定靶的第二图像，第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，第二标定靶的位置与第一标定靶不同；基于第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，第二图像中心点为第二图像中标定靶图案的中心点；建立车辆坐标系，基于第一标定靶中心点、第二标定靶中心点，以及第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。通过第一标定靶中心点、第二标定靶中心点、第一图像中心点以及第二图像中心点的位置信息确定摄像头的位置信息，解决了相关技术中测量摄像头的安装位置存在偏差，导致标定摄像头旋转角度不够精确的问题，提高了摄像头外参标定的准确性。

在另一个实施例中，第一标定靶还包括连通域，获取第一标定靶的第一图像之后还包括：

对第一图像进行预处理操作，预处理操作至少包括图像去畸变、图像去噪以及图像二值化。

示例性地，第一标定靶还包括连通域，即标定靶图案的背景部分，通过摄像头获取第一标定靶的第一图像，并对第一图像进行预处理操作，以准确地分离标定靶图像和连通域。其中，预处理操作至少包括图像去畸变、图像去噪以及图像二值化。

请参阅图3，图3是本发明一实施例的第一标定靶的示意图。具体的，第一标定靶包括标定靶图案以及连通域，其中标定靶图案即为图3中的白色圆形区域图案，连通域即为图3中的黑色背景部分，标定靶图案的中心点即为第一标定靶中心点。可以理解的，标定靶图案部分与连通域部分的颜色差异越大，标定靶图案的边缘越容易获取，基于标定靶图案获取的第一标定靶中心点也越准确。

示例性的，图像预处理操作包括图像去畸变。具体的，基于摄像头的内参数中的畸变参数对第一参考图像进行去畸变处理，避免相机畸变对标定结果的影响。

示例性地，图像预处理操作包括图像去噪。具体的，基于图像滤波器对第一参考图像进行处理，减少第一参考图像中的噪声。

示例性地，图像预处理操作包括图像二值化。具体的，基于预设的像素分类算法将第一参考图像的像素点的灰度值设置为0或者255，以减少第一参考图像的图像数据，同时凸显第一参考图像的轮廓。

示例性地，本实施例中的图像预处理操作并不限于上述图像去畸变、图像去噪以及图像二值化，还包括图像平滑、图像增强、直方图均值化等，本发明对此不再赘述。

示例性地，本实施例中的图像预处理操作还可以是上述多个预处理操作的组合。

可以理解的，本实施例中的预处理方法还可以应用于第二图像，本实施例对此不再赘述。

本实施例对第一图像进行预处理操作，预处理操作至少包括图像去畸变、图像去噪以及图像二值化。通过图像预处理操作，提高了第一图像的质量，以更准确地对标定靶图案部分和连通域部分进行区分，减少了图像噪声对第一图像中心点的像素坐标系坐标的影响，进一步提高了摄像头外参标定的精度。

在另一个实施例中，基于第一图像获取第一图像中心点的像素坐标系坐标包括：

步骤1：获取第一图像中的标定靶图案内的所有像素点的像素坐标系坐标；

步骤2：确定所有像素点的像素坐标系坐标的平均值，作为第一图像中心点的像素坐标系坐标。

示例性地，第一图像中包括多个标定靶图案，例如方形图案、圆形图案等。获取标定靶图案中的所有像素点的像素坐标系坐标，并计算其平均值，作为第一图像中心点的像素坐标系坐标。可以理解的，在没有误差的情况下，标定靶图案中所有的像素点的像素坐标系坐标的平均值即为标定靶图案的中心点的坐标。

具体的，获取第一标定靶的第一图像后，提取第一图像中的标定靶图案；获取标定靶图案的图像边界，提取该图像边界内的所有像素点；对所有像素点在像素坐标系中的坐标进行统计，计算出所有像素点的像素坐标系坐标的平均值，该平均值即为第一图像中心点的像素坐标系坐标。然后，再通过摄像头内参，将该第一图像中心点的像素坐标系坐标转化到相机坐标系坐标。

在其中一个具体实施例中，将第一图像中心点的像素坐标系坐标转化到相机坐标系坐标包括：基于像素的物理尺寸将第一图像中心点的像素坐标系坐标转化为图像物理坐标系坐标；基于摄像头的内参数将第一图像中心点的图像物理坐标系坐标转化为相机坐标系坐标。具体的，基于下列摄像头内参数将第一图像中心点的像素坐标系坐标转化为相机坐标系坐标：

其中，f_x、f_y、c_x、c_y均为基于相机预先获取的摄像头内参数。

示例性地，本实施例中的方法还可以应用于获取第二图像中心点的像素坐标系坐标以及相机坐标系坐标，本发明对此不再赘述。

本实施例获取第一图像中的标定靶图案内的所有像素点的像素坐标系坐标；确定所有像素点的像素坐标系坐标的平均值，作为第一图像中心点的像素坐标系坐标。通过第一图像中标定靶图案内的所有像素点的像素坐标系坐标的平均值，计算第一图像中心点的像素坐标系坐标，提高了第一图像中心点的准确性，进一步提高了摄像头位置信息的准确性。同时，本实施例中获取第一图像中心点的像素坐标系坐标的计算无需基于轮廓拟合的等方法先获取标定靶图案的中心点，计算过程更为简单，提高了摄像头外参标定的效率。

在另一个实施例中，建立车辆坐标系包括：

以第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立车辆坐标系。

示例性地，建立车辆坐标系，以用于确定摄像头在三维世界中的具体位置信息。其中，车辆坐标系即为基于车辆方位建立的世界坐标系，基于该车辆坐标系可以确定三维世界中任意位置的坐标信息。

具体的，以第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立车辆坐标系。可以理解的，本发明还可以建立其他的世界坐标系，以确定摄像头的位置信息，本实施例对此不再赘述。

本实施例以第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立车辆坐标系。通过车辆坐标系确定摄像头的位置，使得摄像头的位置能够数值化和表达化。同时本实施例选取的车辆坐标系可以简化计算过程，提高了摄像头的车辆坐标系坐标的计算速度。

在另一个实施例中，基于第一标定靶中心点、第二标定靶中心点，以及第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标包括：

步骤1：基于多个第一标定靶中心点之间的实际距离与对应的多个第一图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下的X轴坐标。

示例性地，通过测量获取多个第一标定靶中心点之间的实际物理距离，基于多个第一图像中心点的相机坐标系坐标获取其在相机坐标系下的实际物理距离，以确定摄像头在车辆坐标系坐标下的X轴坐标。

请参阅图4，图4是本发明一实施例的摄像头位置的计算方法的示意图。具体的，获取两个第一标定靶中心点之间的距离w₂，两个第一标定靶中心点对应的第一图像中心点在相机坐标系下之间的距离w₁，以及相机光心到相机坐标系原点的距离d₃，计算相机光心到第一标定靶的距离d₁，计算公式如下：

可以理解的，第一标定靶的中心为车辆坐标系的原点，因此第一标定靶到相机光心的距离d₁，即为摄像头在该车辆坐标系下的X轴坐标。

步骤2：基于第一标定靶与第二标定靶之间的实际距离，以及多个第二标定靶中心点之间的实际距离与对应的多个第二图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下Y轴坐标以及Z轴坐标。

示例性地，通过第一标定靶与第二标定靶之间的实际距离、多个第二标定靶中心点之间的实际物理距离，以及多个第二图像中心点在相机坐标系下的实际物理距离，确定摄像头在车辆坐标系坐标下的Y轴坐标以及Z轴坐标。

请参阅图5，图5是本发明另一实施例的摄像头位置的计算方法的示意图。具体的，获取两个第二图像中心点在相机坐标系之间的距离l₁，相机光心到相机坐标系原点的距离d₃，第一标定靶到相机光心的距离d₁，以及第一标定靶到第二标定靶的距离d₂，计算该第二图像中心点对应的第二标定靶中心点之间的距离l₂，计算公式如下：

进一步，计算相机光心到车辆坐标系X轴的距离，作为车辆坐标系下的Y轴坐标：

基于同样的方法，计算摄像头在车辆坐标系下的Z轴坐标，本发明对此不再赘述。

本实施例基于多个第一标定靶中心点之间的实际距离与对应的多个第一图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下的X轴坐标；基于第一标定靶与第二标定靶之间的实际距离，以及多个第二标定靶中心点之间的实际距离与对应的多个第二图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下Y轴坐标以及Z轴坐标。通过距离计算以获取摄像头在车辆坐标系下的X轴坐标、Y轴坐标以及Z轴坐标，计算所涉及的参数容易获取并且计算方案简单，降低了摄像头外参标定的计算成本。

在另一个实施例中，确定摄像头的车辆坐标系坐标之后还包括：

基于摄像头的车辆坐标系坐标以及预设参数，确定摄像头的偏转角度，预设参数至少包括：摄像头内参、摄像头与第一标定靶的相对位置参数以及第一标定靶的尺寸参数，偏转角度为第一标定靶中心点的理论位置与实际位置的偏差角度。

示例性地，确定摄像头在车辆坐标系下的位置信息后，通过该摄像头的位置信息以及提前获取的预设参数，计算摄像头的偏转角度。其中，预设参数至少包括：摄像头内参、摄像头与第一标定靶的相对位置参数以及第一标定靶的尺寸参数；偏转角度为第一标定靶的中心点的理论位置与实际位置的偏差角度。在其中一个具体实施例中，摄像头与第一标定靶的相对位置参数包括：车辆坐标系下摄像头和第一标定靶的相对安装位置信息、地面坐标系下摄像头和第一标定靶的相对安装位置信息。其中，地面坐标系是指固定在地球表面的一种三维坐标系，其X轴为任意的水平方向，Y轴指向与X轴垂直的水平方向，Z轴指向竖直方向，在忽略地球自转和地球质心的曲线运动时，该地面坐标系可以看成惯性坐标系。

在另一个实施例中，确定摄像头的偏转角度包括：

步骤1：基于第一标定靶中心点的车辆坐标系坐标，确定第一标定靶中心点的相机坐标系理论坐标；

步骤2：基于第一图像中心点的像素坐标系坐标，确定第一标定靶中心点的相机坐标系实际坐标；

步骤3：基于第一标定靶中心点的相机坐标系理论坐标与相机坐标系实际坐标，确定摄像头的偏转角度。

示例性地，基于第一标定靶中心点的车辆坐标系坐标，计算第一标定靶中心点的相机坐标系坐标，将该相机坐标系坐标作为理论坐标；基于第一图像中心点的像素坐标系坐标，计算第一标定靶中心点的相机坐标系坐标，将该相机坐标系坐标作为实际坐标。可以理解的，基于不同方法获取的相机坐标系理论坐标与相机坐标系实际坐标会存在偏差，基于该偏差确定摄像头的偏转角度。

请参阅图6，图6是本发明一实施例的摄像头偏转角度的计算方法的示意图。具体的，获取摄像头到第一标定靶的距离d₁，摄像头的横向偏移量l_cam，第一标定靶中心点到光心的连线与光轴的实际角度α，第一标定靶中心点到光心的连线与摄像头无偏转角时光轴的理论角度α+β，其中β即为需要获取的偏转角度。具体计算方式如下：

首先在偏转角度为0的情况下计算第一标定靶中心点在相机坐标系下的理论位置：

其中d_theoretical为第一标定靶中心点到光轴的距离与摄像头的横向偏移量之和，Cam_d_theoretical为第一标定靶中心点到光轴的距离与光心到第一标定靶中心点的距离的比值，即实际角度α的正切值。

然后计算第一标定靶中心点在相机坐标系下的实际位置，由于偏转角度β很小，因此实际角度α的正切值：

进一步，得到以下近似方程：

tan(α+β)＝tan(a)+tan(β)＝Cam_d_theoretical

tan(α)＝Cam_d_actual

tan(β)＝β

最终，得到摄像头的偏转角度：

angle＝Cam_d_theoretical-Cam_d_actual

示例性地，计算摄像头的横滚偏转角度。由于第一标定靶的平面与相机坐标系的某一轴垂直，因此该平面上的所有第一标定靶中心点在该轴上的坐标均应当相同。但是由于摄像头的横滚偏转角度导致坐标发生偏移，基于此计算摄像头的横滚偏转角度。

请参阅图7，图7是本发明另一实施例的摄像头横滚偏转角度的计算方法的示意图。示例性地，获取两个第一图像中心点的距离w，以及实际偏差距离h。由于横滚偏转角度δ很小，因此可得到以下公式：

请参阅图8，图8是本发明一实施例的摄像头偏转角度计算方法的流程示意图。在其中一个具体实施例中，获取摄像头的车辆坐标系坐标后，输入摄像头和第一标定靶的参数，并读取初始图像数据；对图像进行图像去畸变、图像二值化、图像去噪等图像预处理操作；对经过二值化预处理操作的图像进行连通域查找；基于查找结果对连通域进行筛选，并获取目标连通域信息；将图像的目标连通域与第一标定靶的连通域相匹配，最终计算摄像头在各个轴向的偏转角度。

本实施例基于第一标定靶中心点的车辆坐标系坐标，确定第一标定靶中心点的相机坐标系理论坐标；基于第一图像中心点的像素坐标系坐标，确定第一标定靶中心点的相机坐标系实际坐标；基于第一标定靶中心点的相机坐标系理论坐标与相机坐标系实际坐标，确定摄像头的偏转角度。通过第一标定靶中心点的理论位置与实际位置的偏差，计算每个维度的摄像头的偏转角度，提高了摄像头偏转角度的准确性。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种摄像头外参标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图9是本实施例的摄像头外参标定装置的结构框图，如图9所示，该装置包括：

第一图像获取模块，用于获取第一标定靶的第一图像，第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点；

第一坐标获取模块，用于基于第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，第一图像中心点为第一图像中标定靶图案的中心点；

第一坐标获取模块，还用于获取第一图像中的标定靶图案内的所有像素点的像素坐标系坐标；

确定所有像素点的像素坐标系坐标的平均值，作为第一图像中心点的像素坐标系坐标；

第二图像获取模块，用于获取第二标定靶的第二图像，第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，第二标定靶的位置与第一标定靶不同；

第二坐标获取模块，用于基于第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，第二图像中心点为第二图像中标定靶图案的中心点；

位置标定模块，用于建立车辆坐标系，基于第一标定靶中心点、第二标定靶中心点，以及第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标；

位置标定模块，还用于以第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立车辆坐标系；

位置标定模块，还用于基于多个第一标定靶中心点之间的实际距离与对应的多个第一图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下的X轴坐标；

基于第一标定靶与第二标定靶之间的实际距离，以及多个第二标定靶中心点之间的实际距离与对应的多个第二图像中心点在相机坐标系下的距离，确定摄像头在车辆坐标系下Y轴坐标以及Z轴坐标；

摄像头外参标定装置，还包括预处理模块；

预处理模块，用于对第一图像进行预处理操作，预处理操作至少包括图像去畸变、图像去噪以及图像二值化；

摄像头外参标定装置，还包括偏转角度确定模块；

偏转角度确定模块，用于基于摄像头的车辆坐标系坐标以及预设参数，确定摄像头的偏转角度，预设参数至少包括：摄像头内参、摄像头与第一标定靶的相对位置参数以及第一标定靶的尺寸参数，偏转角度为第一标定靶中心点的理论位置与实际位置的偏差角度；

偏转角度确定模块，还用于基于第一标定靶中心点的车辆坐标系坐标，确定第一标定靶中心点的相机坐标系理论坐标；

基于第一图像中心点的像素坐标系坐标，确定第一标定靶中心点的相机坐标系实际坐标；

基于第一标定靶中心点的相机坐标系理论坐标与相机坐标系实际坐标，确定摄像头的偏转角度。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种感知设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述感知设备还可以包括输入设备，其中，该输入设备和上述处理器连接。在其中一个具体实施例中，感知设备包括车载雷达、车载摄像头等传感器，用于获取车辆实时信号并将该实时信号传输至处理器。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取第一标定靶的第一图像，第一标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第一标定靶中心点；

S2，基于第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，第一图像中心点为第一图像中标定靶图案的中心点；

S3，获取第二标定靶的第二图像，第二标定靶包括预设形状的标定靶图案以及位于标定靶图案中心的第二标定靶中心点，第二标定靶的位置与第一标定靶不同；

S4，基于第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，第二图像中心点为第二图像中标定靶图案的中心点；

S5，建立车辆坐标系，基于第一标定靶中心点、第二标定靶中心点，以及第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的摄像头外参标定方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种摄像头外参标定方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (8)

1.一种摄像头外参标定方法，应用于驾驶辅助领域，其特征在于，包括：

获取第一标定靶的第一图像，所述第一标定靶包括预设形状的多个标定靶图案以及位于标定靶图案中心的第一标定靶中心点；

基于所述第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，所述第一图像中心点为所述第一图像中标定靶图案的中心点；

获取第二标定靶的第二图像，所述第二标定靶包括预设形状的多个标定靶图案以及位于标定靶图案中心的第二标定靶中心点，所述第二标定靶的位置与所述第一标定靶不同；所述第二标定靶与所述第一标定靶平行；

基于所述第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，所述第二图像中心点为所述第二图像中标定靶图案的中心点；

建立车辆坐标系，基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标；

所述建立车辆坐标系包括：

以所述第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立所述车辆坐标系；

所述基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标包括：

获取两个第一标定靶中心点之间的距离w₂，两个第一标定靶中心点对应的第一图像中心点在相机坐标系下的距离w₁，以及相机光心到相机坐标系原点的距离d₃，计算相机光心到第一标定靶的垂直距离d₁：

基于相机光心到第一标定靶的垂直距离d₁确定摄像头在车辆坐标系下的X轴坐标；

获取两个第二图像中心点在相机坐标系之间的距离l₁，相机光心到相机坐标系原点的距离d₃，第一标定靶到相机光心的垂直距离d₁，以及第一标定靶到第二标定靶的垂直距离d₂，计算该第二图像中心点对应的第二标定靶中心点之间的距离l₂：

计算相机光心到车辆坐标系的坐标轴的距离l_cam：

基于相机光心到车辆坐标系的坐标轴的距离l_cam确定摄像头在车辆坐标系下的Y轴坐标以及Z轴坐标。

2.根据权利要求1所述的摄像头外参标定方法，其特征在于，所述第一标定靶还包括连通域，所述获取第一标定靶的第一图像之后还包括：

对所述第一图像进行预处理操作，所述预处理操作至少包括图像去畸变、图像去噪以及图像二值化。

3.根据权利要求1所述的摄像头外参标定方法，其特征在于，所述基于所述第一图像获取第一图像中心点的像素坐标系坐标包括：

获取所述第一图像中的标定靶图案内的所有像素点的像素坐标系坐标；

确定所有像素点的像素坐标系坐标的平均值，作为所述第一图像中心点的像素坐标系坐标。

4.根据权利要求1所述的摄像头外参标定方法，其特征在于，所述确定摄像头的车辆坐标系坐标之后还包括：

基于摄像头的车辆坐标系坐标以及预设参数，确定摄像头的偏转角度，所述预设参数至少包括：摄像头内参、摄像头与所述第一标定靶的相对位置参数以及所述第一标定靶的尺寸参数，所述偏转角度为所述第一标定靶中心点的理论位置与实际位置的偏差角度。

5.根据权利要求4所述的摄像头外参标定方法，其特征在于，所述确定摄像头的偏转角度包括：

基于所述第一标定靶中心点的车辆坐标系坐标，确定所述第一标定靶中心点的相机坐标系理论坐标；

基于所述第一图像中心点的像素坐标系坐标，确定所述第一标定靶中心点的相机坐标系实际坐标；

基于所述第一标定靶中心点的相机坐标系理论坐标与相机坐标系实际坐标，确定所述摄像头的偏转角度。

6.一种摄像头外参标定装置，应用于驾驶辅助领域，其特征在于，包括：

第一图像获取模块，用于获取第一标定靶的第一图像，所述第一标定靶包括预设形状的多个标定靶图案以及位于标定靶图案中心的第一标定靶中心点；

第一坐标获取模块，用于基于所述第一图像获取第一图像中心点的像素坐标系坐标，并通过摄像头内参转化成相机坐标系坐标，所述第一图像中心点为所述第一图像中标定靶图案的中心点；

第二图像获取模块，用于获取第二标定靶的第二图像，所述第二标定靶包括预设形状的多个标定靶图案以及位于标定靶图案中心的第二标定靶中心点，所述第二标定靶的位置与所述第一标定靶不同；所述第二标定靶与所述第一标定靶平行；

第二坐标获取模块，用于基于所述第二图像获取第二图像中心点的像素坐标系坐标，并通过摄像头内参转换成相机坐标系坐标，所述第二图像中心点为所述第二图像中标定靶图案的中心点；

位置标定模块，用于建立车辆坐标系，基于所述第一标定靶中心点、第二标定靶中心点，以及所述第一图像中心点、第二图像中心点的相机坐标系坐标，确定摄像头的车辆坐标系坐标；

位置标定模块，还用于以所述第一标定靶的中心点为原点，以指向车辆前方的水平方向为X轴，以指向车辆侧方的水平方向为Y轴，以指向车辆上方的竖直方向为Z轴，建立所述车辆坐标系；

获取两个第一标定靶中心点之间的距离w₂，两个第一标定靶中心点对应的第一图像中心点在相机坐标系下的距离w₁，以及相机光心到相机坐标系原点的距离d₃，计算相机光心到第一标定靶的垂直距离d₁：

基于相机光心到第一标定靶的垂直距离d₁确定摄像头在车辆坐标系下的X轴坐标；

获取两个第二图像中心点在相机坐标系之间的距离l₁，相机光心到相机坐标系原点的距离d₃，第一标定靶到相机光心的垂直距离d₁，以及第一标定靶到第二标定靶的垂直距离d₂，计算该第二图像中心点对应的第二标定靶中心点之间的距离l₂：

计算相机光心到车辆坐标系的坐标轴的距离l_cam：

基于相机光心到车辆坐标系的坐标轴的距离l_cam确定摄像头在车辆坐标系下的Y轴坐标以及Z轴坐标。

7.一种感知设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的摄像头外参标定方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的摄像头外参标定方法的步骤。

Images