CN111145260B - 一种基于车载的双目标定方法 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种基于车载的双目标定方法：获取图像数据，识别标定点，计算标定点的像素坐标；计算车身航向，判断与标定点的位置关系符合预设条件时，触发标定；建立车身坐标系，并计算标定点的车身坐标系坐标；建立摄像机坐标系，并计算标定点在摄像机坐标系坐标；再计算车身坐标系到世界坐标系的变换矩阵M_t，摄像机坐标系到世界坐标系的变换矩阵M_O，摄像机坐标系到车身坐标系的变换矩阵M₁；由车载定位点O′和O的世界坐标系坐标与任意一点P的车身坐标系坐标，计算点P车身坐标系坐标到世界坐标系坐标的转换函数；保存结果，结束标定。本发明的一些技术效果在于：实现双目摄像机自动化标定。

Description

一种基于车载的双目标定方法

技术领域

本发明涉及图像处理领域，特别涉及图像处理领域的双目标定技术。

背景技术

视觉是人类观察世界和认识世界的重要手段，占人类从外界环境获取信息的70％。人类利用眼睛获取周围物体反射或自身发出的光线，光线在视网膜上形成图像，经过神经纤维传送到大脑，大脑对视觉信息进行处理与理解，最终形成视觉。计算机视觉模拟人类视觉的功能，利用摄像机获取周围环境的图像，利用计算机处理图像。计算机视觉可以完成人类视觉不能胜任的工作，例如对待测物体的大小、远近进行精确的测量。计算机视觉技术可以广泛运用于测绘领域、视觉检测、自动驾驶等领域。

计算机视觉的基本任务之一是从摄像机获取的图像信息出发来计算三维空间中物体的几何信息,并由此重建或识别物体,并进一步认知现实世界。其中,摄像机标定是完成该任务的必经途径。

目前较为流行方法往往需要人工交互参与才能够完成。人工交互参与度高，使得标定方法缺少自动化和重复性低，标定一次需要重复一次人工步骤。

发明内容

为至少解决双目摄像机标定的自动标定问题，本发明提出了基于车载的双目摄像机自动标定方法，其技术方案如下：

包括以下步骤：获取图像数据，识别标定点，计算标定点的像素坐标；获取车载定位点O′和O的世界坐标系坐标，计算车身航向，判断与标定点的位置关系符合预设条件时，触发标定；以车载定位点O为原点，车身航向为y轴，垂直地面向上为z轴，垂直车身航向方向为x轴，建立右手直角坐标系，即车身坐标系；获取标定点的世界坐标系坐标，计算标定点的车身坐标系坐标；以摄像机的任意光心为原点，x轴平行于图像物理坐标系x轴，y轴平行于图像物理坐标系y轴，摄像机光轴为z轴，建立摄像机坐标系；计算标定点在摄像机坐标系坐标；由标定点的世界坐标系坐标和车身坐标系坐标，计算车身坐标系到世界坐标系的变换矩阵M_t；由标定点的摄像机坐标系坐标和世界坐标系坐标，计算摄像机坐标系到世界坐标系的变换矩阵M_O；由标定点的车身坐标系坐标和摄像机坐标系坐标，计算摄像机坐标系到车身坐标系的变换矩阵M₁；由车载定位点O′和O的世界坐标系坐标与任意一点P的车身坐标系坐标，计算点P车身坐标系坐标到世界坐标系坐标的转换函数；保存结果，结束标定。

优选地，识别标定点和计算标定点的像素坐标是通过如下步骤：处理图像数据，生成图像中标定物的外接矩形；外接矩形的下边向下延伸预设像素坐标长度，生成感兴趣区域；遍历感兴趣区域，生成标定物相关的预设标记物的标记区域；遍历标记区域，生成中线，中线的上端点的像素坐标即为标定点的像素坐标。

优选地，车载定位点安装有RTK定位装置，以获取世界坐标系坐标；所述的车载定位点O世界坐标系坐标为RTK定位装置的实时世界坐标系坐标，车载定位点O′为的RTK定位装置的任意历史时刻世界坐标系坐标。

优选地，RTK定位装置安装在车顶的正中心。

优选地，所述的车身航向是指示车辆前进方向的空间向量所定义的方向；所述的判断与标定点的位置关系符合预设条件：通过计算车身航向与标定点之间的连线的夹角α进行判断，当满足以下预设条件之一时，触发标定：

预设条件1：车身航向与任意两个同侧平行标定点的连线的第一夹角≤第一阈值，

预设条件2：车身航向与任意两个异侧对称标定点的连线的第二夹角，且|第二夹角-90°|≤第一阈值。

优选地，第一阈值是5°。

优选地，标定点的世界坐标系坐标通过以下任一方法获取：方法1：手动测量获取标定点的世界坐标系坐标；方法2：由设置于标定点上的RTK定位装置发送。

优选地，标定点的车身坐标系计算：设有任意标定点A₁，设向量与向量/>的夹角为α₁，有：

则：A₁点到向量的垂直距离/>为：

过点C₁垂直地平面做垂线，垂足为B₁，则|B₁C₁|为O点在世界坐标系中的Z坐标减去A₁点在世界坐标系中的Z坐标值,所以有：

A₁在以O为坐标原点的车身坐标系中的坐标为：

优选地，摄像机坐标系到车身坐标系的变换矩阵M₁：

M₁＝M_t ^-1M_O。

优选地，点P车身坐标系坐标到世界坐标系坐标的转换函数：

设O点和O′点在世界发坐标系中的坐标分别为(x_O,y_O,z_O)，(x_O′,y_O′,z_O′)，沿顺时针方向与地球正北方向的夹角为α₂，则：

即与y轴的夹角

①x_O′>x_O,y_O′>y_O：α₂＝2π-θ

②x_O′<x_O,y_O′>y_O：α₂＝θ

③x_O′>x_O,y_O′<y_O：α₂＝π+θ

④x_O′<x_O,y_O′<y_O：α₂＝π-θ

设P点在车身坐标系的坐标为(x_P,y_P,z_P)，则P点在世界坐标系中的坐标为：

x＝x_Pcosα₂-y_Psinα₂+x_o

y＝x_Psinα₂+y_Pcosα₂+y_o

z＝z_P+z_o。

本发明所提出的方法，至少提供了基于车载的双目摄像机自动标定解决技术方案，至少可以很好地实现双目摄像机的自动化标定。

附图说明

为更好地理解本发明的技术方案，可参考下列的、用于对现有技术或实施例进行辅助说明的附图。这些附图将对现有技术或本发明部分实施例中，涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下：

图1为一个实施例中，基于车载的双目标定方法流程图。

图2为一个实施例中，标定点的安装位置示意图。

图3为一个实施例中，RTK定位点的安装位置示意图。

图4为一个实施例中，标定点坐标计算示意图。

图5为一个实施例中，标定物的路面设置示意图。

图6为一个实施例中，预设标记物安设置示意图。

具体实施方式

下文将对本发明涉及的技术手段或技术效果作进一步的展开描述，显然，所提供的实施例仅是本发明的部分实施方式，而并非全部。基于本发明中的实施例以及图文的明示或暗示，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本发明保护的范围之内。

在总体思路上，本发明公开了一种基于车载的单目标定方法，包括以下步骤：获取图像数据，识别标定点，计算标定点的像素坐标；

获取车载定位点O′和O的世界坐标系坐标，计算车身航向，判断与标定点的位置关系符合预设条件时，触发标定；以车载定位点O为原点，车身航向为y轴，垂直地面向上为z轴，垂直车身航向方向为x轴，建立右手直角坐标系，即车身坐标系；获取标定点的世界坐标系坐标，计算标定点的车身坐标系坐标；以摄像机的任意光心为原点，x轴平行于图像物理坐标系x轴，y轴平行于图像物理坐标系y轴，摄像机光轴为z轴，建立摄像机坐标系；计算标定点在摄像机坐标系坐标；由标定点的世界坐标系坐标和车身坐标系坐标，计算车身坐标系到世界坐标系的变换矩阵M_t；由标定点的摄像机坐标系坐标和世界坐标系坐标，计算摄像机坐标系到世界坐标系的变换矩阵M_O；由标定点的车身坐标系坐标和摄像机坐标系坐标，计算摄像机坐标系到车身坐标系的变换矩阵M₁；由车载定位点O′和O的世界坐标系坐标与任意一点P的车身坐标系坐标，计算点P车身坐标系坐标到世界坐标系坐标的转换函数；保存结果，结束标定。

基于总体思路，本领域技术人员应该可以理解的是，本发明所述的车载中的“车”是指以动力装置驱动或牵引的车辆，动力一般来自于内燃机或电动机。所述的定位信息指的是GNSS提供的位置信息，包括但不限于世界坐标系坐标。GNSS即卫星导航系统，包括但不限于美国的GPS，俄罗斯的GLONASS，欧盟的Galileo和中国的BDS。

本发明的一些技术效果在于：实现了自动化标定，减少了人工干预参与，具有较好的重复性。

在一些实施例中，如附图2至图4所示，摄像机或具有摄像功能的设备安装固定在车辆上。一般地，摄像机或具有摄像功能的设备安装固定在车辆前方，尤其是车前窗玻璃上，以便获得良好的工作视野环境。这里所说的具有摄像功能的设备指的是可以拍摄获取视频或者图片等图像数据的装置设备，如测绘领域进行地图数据采集用的采集终端设备，自动驾驶领域进行路况视觉识别的终端设备。

在一些实施例中，如附图3所示，在车辆上设置车载定位点，所述的车载定位点用于实时或非实时地获取车辆的定位信息。一般地，车载定位点可以安装有车辆已有的导航装置，也可以在其它位置另外的选择和设置其它车载定位点和定位装置。在一个实施例中，选择车顶中心设置为车载定位点，安装定位装置。

在一些实施例中，如附图2至图5所示，标定点是对称地设置在路面两侧，且每侧任意两个标定点的连线均平行于路面中线。这样设置的好处是简便后续的数据处理。

在一些实施例中，在标定点上设置定位装置，所述定位装置用于接收获取和发送标定点的定位信息。

在一些实施例中，还可以通过预先测量，获取所有定位点的定位信息，再将定位信息用于后续使用。

可以理解的是，以上实施例操作可以是一次性，即首次设置好，后续可以在无环境变动的情况下，无需再重新设置；再次进行标定时，可以省去以上实施例的操作步骤。

在一些实施例中，获取车载定位点O′和O的世界坐标系坐标，计算车身航向，判断与标定点的位置关系符合预设条件时，触发标定；以车载定位点O为原点，车身航向为y轴，垂直地面向上为z轴，垂直车身航向方向为x轴，建立右手直角坐标系，即车身坐标系；获取标定点的世界坐标系坐标，计算标定点的车身坐标系坐标；以摄像机的任意光心为原点，x轴平行于图像物理坐标系x轴，y轴平行于图像物理坐标系y轴，摄像机光轴为z轴，建立摄像机坐标系；计算标定点在摄像机坐标系坐标；由标定点的世界坐标系坐标和车身坐标系坐标，计算车身坐标系到世界坐标系的变换矩阵M_t；由标定点的摄像机坐标系坐标和世界坐标系坐标，计算摄像机坐标系到世界坐标系的变换矩阵M_O；由标定点的车身坐标系坐标和摄像机坐标系坐标，计算摄像机坐标系到车身坐标系的变换矩阵M₁；由车载定位点O′和O的世界坐标系坐标与任意一点P的车身坐标系坐标，计算点P车身坐标系坐标到世界坐标系坐标的转换函数；保存结果，结束标定。

在一些实施例中，获取视频图像数据，识别标定点数量，并获取车载定位点的定位信息；在第一标定距离，获取第一标定位置的定位信息；在第二标定距离，获取第二标定位置的定位信息；根据第一标定位置和第二标定位置的定位信息，计算车身航向；计算车身航向与第一标定点和第二标定点的连线之间的夹角；当|夹角-90°|≤第一阈值时触发标定。

在一些实施例中，车辆上预先安装的摄像机或具有摄像功能的设备进行工作，生成图像数据。这里的图像数据可以是视频、图片中的任意一种或组合。

在一些实施例中，图像数据还包括每帧时间戳信息、拍摄时刻车载定位点的定位信息。

在一些实施例中，对图像数据进行处理，识别标定点的数量，同时获取车载定位点的定位信息。这里说的识别指的是，在图像数据中运用图像处理技术分辨出标定点。

在一些实施例中，当识别出所有标定点时，才开始获取车载定位点的定位信息，可减少数据量。

在一些实施例中，获取的车载定位点的定位信息是RTK定位信息。RTK即实时动态测量real-time kinematic，是相对定位技术的一种，主要通过基准站和流动站之间的实时数据链路和载波相对定位快速解算技术，实现高精度动态相对定位。

在一些实施例中，车辆前进，标定点进入摄像机工作半径，拍摄获取图像数据，并进行数据处理；从图像数据中识别出所有的标定点，并开始获取车载定位点的定位信息和标定点的定位信息。根据车载定位点的定位信息和标定点的定位信息，计算车载定位点至任意标定点的距离。车辆继续前进，标定点进入摄像机标定工作半径。在第一标定距离，识别出所有的标定点，此时获取并记录第一标定位置的定位信息。在第二标定距离，识别出所有的标定点，此时获取并记录第二标定位置的定位信息。这里说的第一标定距离小于或等于最大标定工作半径，第二标定距离大于或等于最小标定工作半径。摄像机工作半径指的是摄像机能获取满足图像处理工作要求的图像数据的最大工作距离。标定工作半径指的是摄像机能获取满足标定工作要求的图像数据的工作距离。

在一些实施例中，最大标定工作半径取值8m，最小标定工作半径取值3m。

在一些实施例中，标定点的定位信息可以预先从外界获取并手动输入自动标定控制系统；也可以通过标定点的定位装置发送，自动标定控制系统接收输入。

在一些实施例中，根据第一标定位置和第二标定位置的定位信息，计算车身航向。这里的车身航向指的是表征指示车辆前进方向的空间向量。

在一些实施例中，在通过车载定位点获取第一标定位置O′点的RTK定位信息，得到精准的O点世界坐标(x_O,y_O,z_O)；通过车载定位点获取第二标定位置O点的RTK定位信息，得到精准的点世界坐标(x_O′,y_O′,z_O′)。世界坐标系相减，得到向量

在一些实施例中，车载定位点安装有RTK定位装置，以获取世界坐标系坐标；所述的车载定位点O世界坐标系坐标为RTK定位装置的实时世界坐标系坐标，车载定位点O′为的RTK定位装置的任意历史时刻世界坐标系坐标。

在一些实施例中，计算车身航向与第一标定点和第二标定点的连线的夹角。

在一些实施例中，获取第一标定点A₁和第二标定点A₂的世界坐标，得到向量通过向量/>和向量/>计算出车身航向与第一标定点和第二标定点的连线的夹角。其中，第一标定点A₁和第二标定点A₂是分别位于路中线两侧的对称标定点。当检测到|第二夹角-90°|≤第一阈值时，向标定装置发起标定工作指令，触发标定。

在一些实施例中，获取第一标定点A₁和第三标定点A₃的世界坐标，得到向量通过向量/>和向量/>计算出车身航向与第一标定点和第三标定点的连线的夹角。其中，第一标定点A₁和第三标定点A₃是分别位于路面同侧的两个标定点，且直线A₁A₃平行于路面中线。此时，通过设置第一夹角≤第一阈值时触发标定。

在一些实施例中，第一阈值设置为5°。

在一些实施例中，触发标定后，计算出标定参数，包括但不限于摄像机内参和位姿参数。接着，根据标定参数，由标定设备识别任意一个标定点，计算其理论世界坐标；当标定点的理论世界坐标和实际世界坐标之间的误差绝对值小于第二阈值时，保存标定参数，终止标定。

标定点的理论世界坐标指的是通过本技术方案计算得出的标定的理论坐标值。标定点的实际世界坐标可以预先从外界获取并手动输入自动标定控制系统；也可以通过标定点的定位装置发送，自动标定控制系统接收和输入。这里说的标定点的理论世界坐标和实际世界坐标之间的误差绝对值计算，设标定点的理论世界坐标(x_理,y_理,z_理)，实际坐标系(x_实,y_实,z_实)，则有对应坐标轴的误差绝对值|x_理-x_实|、|y_理-y_实|和|z_理-z_实|。当，|x_理-x_实|、|y_理-y_实|和|z_理-z_实|均小于第二阈值时，保存标定参数，完成和终止标定。

在一些实施例中，第二阈值设置为20cm。

在一些实施例中，将车载定位点RTK₀放置车身顶部，RTK可以实时获取定位点的世界坐标。在车的正前方5～10m处的马路两侧，分别用RTK设置6个点RTK₁、RTK₂、RTK₃、RTK₄、RTK₅、RTK₆的世界坐标A_w1，A_w2，A_w3，A_w4，A_w5，A_w6,分别对应标定点A₁，A₂，A₃，A₄，A₅，A₆。RTK₁、RTK₃、RTK₅点的连线和RTK₂、RTK₄、RTK₆点的连线分别平行于路面中线。双目相机安装于前挡风玻璃上固定，确保上述6点位置在相机视野范围内。启动车辆获取车身定位点坐标，向前行驶，形成的两个相邻RTK₀点O确定为车身航向，抓取左目图像。

以O点为坐标原点，车身航向O′O为y轴，垂直地面向上为z轴，垂直车身航向方向为x轴，建立右手直角坐标系OXYZ，即车身坐标系。

设向量与向量/>的夹角为α，向量/>与向量/>叉乘有：

则：A₁点到向量的垂直距离/>为：

过点C₁垂直地平面做垂线，垂足为B₁，则|B₁C₁|为O点在世界坐标系中的Z坐标减去A₁点在世界坐标系中的Z坐标值,所以有：

A₁在以O为坐标原点的车身坐标系中的坐标为：

同理可求A₂，A₃，A₄，A₅，A₆在车身坐标系中的坐标。识别出A₂，A₃，A₄，A₅，A₆在左目图像中对应的图像坐标A₁′，A₂′，A₃′，A₄′，A₅′，A₆′。

接着，以摄像机任意光心为坐标原点，x轴平行于图像物理坐标系x轴，y轴平行于图像物理坐标系y轴，摄像机光轴为z轴，建立摄像机坐标系。同时抓取摄像机的双目视频图像，分析得到标定点在左目和右目中的像素坐标。再通过像素坐标结合双目摄像机的内外参数，可计算出标定点的摄像机坐标系坐标。即为，在左目中识别的标定点像素坐标分别为A₁′，A₂′，A₃′，A₄′，A₅′，A₆′，同理在右目中识别的标定点像素坐标分别为A₁″，A₂″，A₃″，A₄″，A₅″，A₆″，根据双目测距原理，标定点在双目相机坐标系的坐标为：A₁″′，A₂″′，A₃″′，A₄″′，A₅″′，A₆″′。

接着，由标定点的世界坐标系坐标和车身坐标系坐标，计算车身坐标系到世界坐标系的变换矩阵M_t：

已知6个标定点的世界坐标分别为A_w1，A_w2，A_w3，A_w4，A_w5，A_w6，6个标定点在车身坐标系中对应的坐标分别为A₁，A₂，A₃，A₄，A₅，A₆。另外O′与O点的世界坐标分别为A_wO′，A_wO为已知量，对应的车身坐标系坐标为：

A_O＝(0,0,0)

已知车身坐标点A_O′、A_O、A₁、A₂的三维坐标以及相对应的世界坐标点A_wO′、A_wO、A_w1、A_w2的三维坐标，联立方程组有：

A_wO′＝M_tA_O′

A_wO＝M_tA_o

A_w1＝M_tA₁

A_w2＝M_tA₂

求解方程组可得变换矩阵

其中，R_t是3×3的旋转矩阵，是三维平移向量。M_t是4×4的矩阵。

接着，由标定点的摄像机坐标系坐标和世界坐标系坐标，计算摄像机坐标系到世界坐标系的变换矩阵M_O：

已知6个标定点的摄像机坐标系坐标A₁″′，A₂″′，A₃″′，A₄″′，A₅″′，A₆″′与其对应的世界坐标点A₂，A₃，A₄，A₅，A₆联立方程组有：

A₁＝M_oA₁″′

A₂＝M_oA₂″′

A₃＝M_oA₃″′

A₄＝M_oA₄″′

A₅＝M_oA₅″′

A₆＝M_oA₆″′

求解方程组可计算出坐标变换矩阵

其中R_O是3×3的旋转矩阵，是三维平移向量。M_O是4×4的矩阵。

接着，由标定点的车身坐标系坐标和摄像机坐标系坐标，计算摄像机坐标系到车身坐标系的变换矩阵M₁：

设世界坐标系中的一点A，对应于定点车身坐标系中的点B和双目相机坐标系中的点C，则有：

A＝M_t B

A＝M_O C

即：

M_tB＝M_O C

B＝M_t ^-1M_O C

M₁＝M_t ^-1M_O

接着，由车载定位点O′和O的世界坐标系坐标与任意一点P的车身坐标系坐标，计算点P车身坐标系坐标到世界坐标系坐标的转换函数：

设O点和O′点在世界发坐标系中的坐标分别为(x_O，y_O，z_O)，(x_O′，y_O′，z_O′)，沿顺时针方向与地球正北方向的夹角为α₂，则：

即与y轴的夹角

①x_O′>x_O,y_O′>y_O:α₂＝2π-θ；

②x_O′<x_O,y_O′>y_O:α₂＝θ；

③x_O′>x_O,y_O′<y_O:α₂＝π+θ；

④x_O′<x_O,y_O′<y_O:α₂＝π-θ。

设P点在车身坐标系的坐标为(x_P，y_P，z_P)，则P点在世界坐标系中的坐标为：

x＝x_Pcosα-y_Psinα+x_o

y＝x_Psinα+y_Pcosα+y_o

z＝z_P+z_o。

自此，可计算出标定点的理论世界坐标。

在一些实施例中，三维立体标定物单色小方块常规放置在标定点旁。这里的常规放置指的是三维立体标定物单色小方块的任意一条边经过标定点。一般地，传统技术方案中，会严格要求三维立体标定物单色小方块的某一特定直角顶点与标定点重合。

在一些实施例中，三维立体标定物单色小方块的任意一条边的中点与重合。

在一些实施例中，三维立体标定物单色小方块与摄像机的光轴中心线平行。这样设置的好处是简便后续的数据处理。

在一些实施例中，如附图6所示，设置矩形条作为预设标记物，这里的预设标记物按照如下规则放置：矩形条的任意一边的中点与标定点重合，并外接三维立体标定物单色小方块的经过标定的边；矩形条的两侧边不超过三维立体标定物单色小方块。这里，矩形条可以采用常见的单色纸张制作，长宽比例任意，长宽大小均小于三维立体标定物单色小方块的边长即可。具体地，可根据标定点识别的外部环境来选择矩形条的颜色，一般可选用黑色。矩形条可以通过胶水等粘贴固定在标定点旁。

可以理解的是，预设标记物的设置可以是一次性，即首次设置好，后续可以保留该矩形条，无需再重新设置；再次进行摄像机标定时，可以省去矩形条设置的步骤。

在一些实施例中，摄像机工作，拍摄工作半径范围内的前方的视频或者图片，获取图像数据。

在一些实施例中，处理图像数据，生成图像中标定物的外接矩形；外接矩形的下边向下延伸预设像素坐标长度，生成感兴趣区域；遍历感兴趣区域，生成标定物相关的预设标记物的标记区域；遍历标记区域，生成中线，中线的上端点的像素坐标即为标定点的像素坐标。

在一些实施例中，通过深度学习的语义分割方法处理图像数据。一般地，可以采取如下步骤：采集含有识别目标的视频数据；将视频数据转换成图片数据；用标注工具对图片进行目标标注，生成样本数据；用样本数据进行训练，生成网络模型；调用模型进行识别目标。

在一些实施例中，深度学习神经网络模型的建模方法为：首先对VGG16训练得到的预训练模型进行训练，输出训练后的FCN-32s模型；以FCN-32s模型为预训练模型，以新的样本进行训练，输出训练后的FCN-16s模型；以FCN-16s模型为预训练模型，以新的样本进行训练，输出训练后的FCN-8s模型。以FCN-8s的模型为预训练模型，以新的样本进行训练，输出训练后的FCN-4s模型为目标模型。这里，FCN即全卷积神机网络(Fully ConvolutionalNetworks)。VGG即Visual Geometry Group。需要说明的是，还可以采用googleNet等其余深度神经网络训练得到的所需的模型。

在一些实施例中，对图像数据findContours处理，得到三维立体标定物小方块图像对应外的所有外接四边形；输出面积最小的外接矩形。

在一些实施例中，在像素坐标中，输出的外接矩形的下边延伸预设像素坐标长度，生成感兴趣区域。一般地，这里的预设像素坐标长度值，其考虑因素主要是获取三维立体标定物小方块图像对应的外接矩形时的像素误差大小。这里的像素误差指的是三维立体标定物小方块图像的理论值和实际值的像素差。

在一些实施例中，预设像素坐标长度范围：10≤预设像素坐标长度≤20。

在一些实施例中，像素坐标长度为15，即外接矩形的下边向下延伸15个单位像素坐标长度。

在一些实施例中，标定物相关的预设标记物为矩形条；矩形条的上边连接标定物的下边，矩形条的上边中点和标定点重合，矩形条的边长小于标定物边长，从而保证在图像中，矩形条的图像的左右两条侧边不超过标定物的图像的左右两条侧边。

在一些实施例中，三维立体标定物平行于摄像机的光轴。遍历感兴趣区域，生成标定物相关的预设标记物的标记区域。

在一些实施例中，生成标定物相关的预设标记物的标记区域的方法：设I(x，y)为感兴趣区域中的任意像素点，I(x-δ,y)和I(x+δ，y)为I(x，y)沿y轴对称的两个像素点，其中，δ为预设标记物在图像中的像素坐标长度；

并有，

d₁＝I(x，y)-I(x-δ，y)

d₂＝I(x，y)-I(x+δ，y)

其中，d₁,d₂为任意像素点与对应的对称像素点的像素差值；

D＝d₁+d₂-|I(x+δ，y)-I(x-δ，y)|

其中，D表示任意像素点与对应的对称像素点的像素差值的和，再减去两个对称像素点的像素差值，用来表征任意像素点与对称像素点的像素差异值；

令L(x，y)为像素点的像素值二值化函数，当满足d₁>0,d₂>0并且D>L时，L(x，y)为255，当不满足上述条件时，L(x,y)为0；

即，

其中，二值化函数阈值L＝α*I(x，y)，α为阈值系数。

在一些实施例中，阈值系数α的取值范围是0.3≤α≤0.8。

另外一方面，在一些实施例中，提供了一种存储介质。该存储介质存储有计算机程序指令，计算机程序指令被处理器运行时至少一次重复执行以下步骤：获取视频图像数据，识别标定点数量，获取车载定位点的定位信息；在第一标定距离，获取第一标定位置的定位信息；在第二标定距离，获取第二标定位置的定位信息；根据第一标定位置和第二标定位置的定位信息，计算车身航向；计算车身航向与第一标定点和第二标定点的连线之间的夹角；当|夹角-90°|≤第一阈值时发送标定指令，触发标定。

在一些实施例中，存储介质存储有计算机程序指令，计算机程序指令被处理器运行时至少一次重复执行以下步骤：识别任意一个标定点，计算其理论世界坐标；当标定点的理论世界坐标和实际世界坐标之间的误差绝对值小于第二阈值时，保存标定参数，终止标定。

另外一方面，在一些实施例中，提供一种自动标定的控制系统，包括标定点识别模块、车身航向判断模块、触发模块和校验模块。所述的标定点识别模块用于获取和处理视频图像数据，识别标定点；车身航向判断模块用于获取和处理车载定位点的定位信息，判断车身航向与标定点的位置关系；触发模块用于发送标定指令，启动标定；校验模块用于标定结果的校验。

在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本发明揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。

最后再次强调，上文所列举的实施例，为本发明较为典型的、较佳实施例，仅用于详细说明、解释本发明的技术方案，以便于读者理解，并不用以限制本发明的保护范围或者应用。

因此，在本发明的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于车载的双目标定的方法，其特征在于：包括以下步骤：

获取图像数据，识别标定点，计算标定点的像素坐标；所述标定点具有定位信息并对称地设置在路面两侧，每侧任意两个标定点的连线均平行于路面中线；

获取车载定位点O′和O的世界坐标系坐标，计算车身航向，判断与标定点的位置关系符合预设条件时，触发标定；所述的车载定位点安装有RTK定位装置，以获取世界坐标系坐标；所述的车载定位点O世界坐标系坐标为RTK定位装置的实时世界坐标系坐标，车载定位点O′为RTK定位装置的任意历史时刻世界坐标系坐标；所述车身航向是指示车辆前进方向的空间向量所定义的方向；所述的判断与标定点的位置关系符合预设条件：通过计算车身航向与标定点之间的连线的夹角α进行判断，当满足以下预设条件之一时，触发标定：预设条件1：车身航向与任意两个同侧平行标定点的连线的第一夹角≤第一阈值，预设条件2：车身航向与任意两个异侧对称标定点的连线的第二夹角，且|第二夹角-90°|≤第一阈值；

以车载定位点O为原点，车身航向为y轴，垂直地面向上为z轴，垂直车身航向方向为x轴，建立右手直角坐标系，即车身坐标系；

获取标定点的世界坐标系坐标，计算标定点的车身坐标系坐标；

以摄像机的任意光心为原点，x轴平行于图像物理坐标系x轴，y轴平行于图像物理坐标系y轴，摄像机光轴为z轴，建立摄像机坐标系；

计算标定点在摄像机坐标系坐标；

由标定点的世界坐标系坐标和车身坐标系坐标，计算车身坐标系到世界坐标系的变换矩阵M_t；

由标定点的摄像机坐标系坐标和世界坐标系坐标，计算摄像机坐标系到世界坐标系的变换矩阵M_O；

由标定点的车身坐标系坐标和摄像机坐标系坐标，计算摄像机坐标系到车身坐标系的变换矩阵M₁；

由车载定位点O′和O的世界坐标系坐标与任意一点P的车身坐标系坐标，计算点P车身坐标系坐标到世界坐标系坐标的转换函数；

保存结果，结束标定。

2.根据权利要求1所述的方法，其特征在于：所述的识别标定点和计算标定点的像素坐标是通过如下步骤：

处理图像数据，生成图像中标定物的外接矩形；

外接矩形的下边向下延伸预设像素坐标长度，生成感兴趣区域；

遍历感兴趣区域，生成标定物相关的预设标记物的标记区域；

遍历标记区域，生成中线，中线的上端点的像素坐标即为标定点的像素坐标。

3.根据权利要求1所述的方法，其特征在于：所述的RTK定位装置安装在车顶的正中心。

4.根据权利要求1所述的方法，其特征在于：所述的第一阈值是5°。

5.根据权利要求1所述的方法，其特征在于：所述的标定点的世界坐标系坐标通过以下任一方法获取：

方法1：手动测量获取标定点的世界坐标系坐标，

方法2：由设置于标定点上的RTK定位装置发送。

6.据权利要求1所述的方法，其特征在于：所述的标定点的车身坐标系计算：设有任意标定点A₁，设向量与向量/>的夹角为α₁，有：

则：A₁点到向量的垂直距离/>为：

过点C₁垂直地平面做垂线，垂足为B₁，则|B₁C₁|为O点在世界坐标系中的Z坐标减去A₁点在世界坐标系中的Z坐标值,所以有：

A₁在以O为坐标原点的车身坐标系中的坐标为：

7.据权利要求1所述的方法，其特征在于：所述的摄像机坐标系到车身坐标系的变换矩阵M₁：

M₁＝M_t ^-1M_O。

8.根据权利要求1所述的方法，其特征在于：所述的点P车身坐标系坐标到世界坐标系坐标的转换函数：

设O点和O′点在世界发坐标系中的坐标分别为(x_O,y_O,z_O)，(x_O′,y_O′,z_O′)，沿顺时针方向与地球正北方向的夹角为α₂，则：

即与y轴的夹角

①x_O′>x_O,y_O′>y_O：α₂＝2π-θ

②x_O′<x_O,y_O′>y_O：α₂＝θ

③x_O′>x_O,y_O′<y_O：α₂＝π+θ

④x_O′<x_O,y_O′<y_O：α₂＝π-θ

设P点在车身坐标系的坐标为(x_P,y_P,z_P)，则P点在世界坐标系中的坐标为：

x＝x_Pcosα₂-y_Psinα₂+x_o

y＝x_Psinα₂+y_Pcosα₂+y_o

z＝z_P+z_o。