CN110555884B

CN110555884B - 一种车载双目相机的标定方法、装置及终端

Info

Publication number: CN110555884B
Application number: CN201810550784.3A
Authority: CN
Inventors: 曲磊
Original assignee: Hisense Co Ltd
Current assignee: Hisense Co Ltd
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2023-06-13
Anticipated expiration: 2038-05-31
Also published as: CN110555884A

Abstract

本申请提供一种车载双目相机的标定方法、装置及终端，可以通过确定在车辆周边的满足预设条件的标志线；计算得到车辆与标志线的坐标转换关系；对车辆上的车载双目相机拍摄的带有标志线的图像进行视差变换，得到标志线的U视差图和V视差图；根据标志线的U视差图和V视差图，计算得到车载双目相机与标志线的坐标转换关系；根据车辆与标志线的坐标转换关系以及车载双目相机与标志线的坐标转换关系，计算得到车辆与车载双目相机的坐标转换关系。应用该方法，无需专业工具以及专业人员进行操作，即可实现对车载双目相机的标定，简化了用户的操作过程。

Description

一种车载双目相机的标定方法、装置及终端

技术领域

本申请涉及辅助驾驶技术领域，尤其涉及一种车载双目相机的标定方法、装置及终端。

背景技术

随着汽车智能化的发展趋势，辅助驾驶、自动驾驶等正成为学术界和工业界的研究热点，其中基于视觉获取车辆周边信息防止车辆碰撞成为辅助驾驶的主要功能。

基于视觉获取到的车周身环境信息都是基于车载双目相机坐标系，如何确定双目相机坐标系与车辆自身坐标系之间稳定且准确的转换关系是辅助驾驶研发者们非常关注的问题。如果未能准确计算出双目相机坐标系与车辆自身坐标系间的转换关系，就会导致基于车载双目相机的汽车防碰撞系统检测结果存在误差，从而会导致额定检测区域与实际检测区域不符，障碍物与车辆间的横向距离与纵向距离存在误差等问题，甚至会造成意外和危险发生。

然而，在实际应用中，计算双目相机坐标系与车辆自身坐标系的转换关系方法，一般是利用经纬仪等分别测量相机、标示物以及车辆在经纬仪坐标系下的参数，然后进行公共点转换，得到双目相机坐标系与经纬仪坐标系的转换关系，进而得到双目相机坐标系与车辆自身坐标系的转换关系。由于该方法需要利用专业的测量工具，则需要专业人士才能完成双目相机与车辆坐标系之间的标定，并且标定过程复杂，费时费力，实用性较差。

发明内容

有鉴于此，为了解决现有技术中利用经纬仪计算双目相机坐标系与车辆自身坐标系的转换关系，造成标定过程复杂的问题，本申请提供一种车载双目相机的标定方法、装置及终端，以实现通过车辆自身的双目相机的自标定，简化人工操作。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种车载双目相机的标定方法，所述方法包括：

确定在车辆周边的满足预设条件的标志线；

计算得到所述车辆与所述标志线的坐标转换关系；

对所述车辆上的车载双目相机拍摄的带有所述标志线的图像进行视差变换，得到所述标志线的U视差图和V视差图；

根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系；

根据所述车辆与所述标志线的坐标转换关系以及所述车载双目相机与所述标志线的坐标转换关系，计算得到所述车辆与所述车载双目相机的坐标转换关系。

在一实施例中，所述预设条件具体为：

所述车辆车身两侧平行于车身的两条平行的直线或者线段，所述直线或者线段长度满足预设阈值。

在一实施例中，所述计算得到所述车辆与所述标志线的坐标转换关系，包括：

分别检测车身平行切线上的前后两点分别到车身一侧的标志线的横向距离，以及所述前后两点的纵向距离，计算得到所述车辆与所述标志线的坐标转换关系。

在一实施例中，所述根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系，进一步包括：

车载双目相机在竖直方向的位移以及围绕水平方向旋转的角度是通过拟合V视差图中的标志线得到。

在一实施例中，所述根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系，还包括：

车载双目相机在水平方向的位移以及围绕竖直方向旋转的角度是通过拟合U视差图中的标志线得到。

在一实施例中，所述计算得到所述车载双目相机与所述标志线的坐标转换关系，还包括：

通过车辆行驶过程中多次获取的多个所述车载双目相机的高度和俯仰角度的对应关系，计算得到所述车载双目相机的高度及俯仰角度的平均值，根据所述车载双目相机的高度及俯仰角度的平均值得到所述车载双目相机与所述标志线的坐标转换关系。

在一实施例中，所述计算得到所述车载双目相机的高度及俯仰角度的平均值，包括：

利用随机抽样一致性算法或者最小二乘法计算出所述车载双目相机的高度及俯仰角度的平均值。

根据本申请实施例的第二方面，提供一种车载双目相机的标定装置，所述装置包括：

标志线确定模块，用于确定在车辆周边的满足预设条件的标志线；

第一计算模块，用于计算得到所述车辆与所述标志线的坐标转换关系；

图像处理模块，用于对所述车辆上的车载双目相机拍摄的带有所述标志线的图像进行视差变换，得到所述标志线的U视差图和V视差图；

第二计算模块，用于根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系；

关系转换模块，用于根据所述车辆与所述标志线的坐标转换关系以及所述车载双目相机与所述标志线的坐标转换关系，转换得到所述车辆与所述车载双目相机的坐标转换关系。

根据本申请实施例的第三方面，提供一种车载双目相机的标定终端，包括存储器和处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现任一车载双目相机的标定方法的步骤。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一车载双目相机的标定方法的步骤。

由上述实施例可见，本申请可以在车辆周边选择满足预设条件的标志线，例如车道线、停车库标示线等，可以代替经纬仪、全站仪、基准尺等标定工具进行标定，从而无需专业的安装人员和复杂的操作；选择标志线后可以通过计算得到车辆与标志线的坐标转换关系；再对车辆上的车载双目相机拍摄的带有标志线的图像进行视差变换，得到标志线的U视差图和V视差图，然后根据标志线的U视差图和V视差图，计算得到车载双目相机与标志线的坐标转换关系；再进一步根据车辆与标志线的坐标转换关系以及车载双目相机与标志线的坐标转换关系，计算得到车辆与车载双目相机的坐标转换关系。本申请可以利用标志线的坐标进行转换简单快速的得到车辆与车载双目相机的坐标转换关系。由于单目相机无法直接测量标定物的距离，需要测量车道线宽度，或者是利用相互垂直的标志线进行标定，而双目相机可以通过计算标志线的视差图得到的视差距离直接实现对标志线的测算，因此本申请使用双目相机进行标定可以提高测量精度，简化标定过程。

综上所述，本申请提供的车载双目相机的标定方法可以代替经纬仪实现对车载双目相机的标定，使操作更加简单，提升了车载双目相机的实用性。

附图说明

图1为车载双目相机的坐标系；

图2为本申请车载双目相机的标定方法的一个实施例流程图；

图3为车载双目相机和车辆的坐标示意图；

图4-1为车载双目相机拍摄的图像；

图4-2为车载双目相机拍摄图像的特征图；

图4-3为车载双目相机拍摄图像的感兴趣区域；

图5-1为标志线的U视差图；

图5-2为标志线的左V视差图；

图5-3为标志线的右V视差图；

图6为车载双目相机高度与俯仰角实时姿态估计图；

图7为本申请车载双目相机的标定装置的一个实施例框图；

图8为本申请车载双目相机的标定装置所在车载双目相机的标定终端的一种硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1所示的是车载双目相机的坐标系，其中车载双目相机与车辆之间具有6个自由度的变换，包括水平X方向，竖直Y方向以及纵深Z方向的位移以及旋转变换，其中包括X方向的俯仰角，Y方向上的偏航角，以及Z方向上的滚转角。车载双目相机与车辆的坐标系转换关系具体指双目相机坐标系相对于车辆坐标系分别在X轴，Y轴，Z轴上的位移，以及分别与X轴的俯仰角，Y轴的偏航角，以及Z轴的滚转角的大小。如果未能准确计算出双目相机坐标系与车辆自身坐标系间的转换关系，就会导致基于车载双目相机的汽车防碰撞系统检测结果存在误差，从而容易导致意外和危险发生。

现有的计算车载双目相机坐标系与车辆自身坐标系的转换关系方法，一般利用经纬仪等分别测量双目相机、标示物以及车辆在经纬仪坐标系下的参数，然后进行公共点转换，得到双目相机坐标系与经纬仪坐标系的转换关系，进而得到双目相机坐标系与车辆自身坐标系的转换关系。该方法标定过程复杂，费时费力，需要专业人士才能完成双目相机与车辆坐标系之间的标定。

基于此，本申请提供一种车载双目相机的标定方法，以实现代替经纬仪实现对车载双目相机的标定，使操作更加简单，提升车载双目相机的实用性。

如下，示出下述实施例对本申请提供的车载双目相机的标定方法进行说明。

实施例一：

请参见图2，为本申请车载双目相机的标定方法的一个实施例流程图，该方法包括以下步骤：

步骤201、确定在车辆周边的满足预设条件的标志线；

在本实施例中，首先说明，为了尽量减少车辆所在的路面对标定结果的影响，因此在标定车载双目相机时应选择较为平坦的地面或路面。车载双目相机的标定场景可以包括静态标定和动态标定，当车辆进行静态标定时，可以选择广场、地下停车场、4S店等场景用于标定；当车辆进行动态标定时，可以选择车道线清晰的平坦道路等场景用于标定。此外，由于路面一般只能在较近距离范围内保证相对平坦，因此可以选在距离车辆较近的地面或者路面上选择标志线，从而可以减少路面不平对标定造成的干扰。

在本实施例中，可以进一步在车辆周边，例如距离车辆较近的地面或者路面上选择满足预设条件的标志线。所述预设条件具体为：车辆车身两侧平行于车身的两条平行的直线或者线段，并且该直线或者线段长度满足预设阈值，并且可以选择边缘突出显示的线作为标志线，从而可以使后续进行特征点提取以及视差变换的结果更加准确。在静态标定场景中，可以选择停车场地面上互相平行的停车标示线作为标志线；在动态标定场景中，在车辆直线行驶时，可以选择与车辆行驶所在车道两侧的车道线作为标志线。

由于现有技术中通常需要利用经纬仪等专业工具进行标定，需要操作者具有一定的专业知识，并且操作比较困难；而本申请仅使用与车身平行的两条直线或线段进行车载双目相机的标定，可以降低操作者的操作难度，由于本申请使用的与车身平行的两条直线或者线段在生活中非常常见，因此可以进一步提升车载双目相机的适用性。

步骤202、计算得到所述车辆与所述标志线的坐标转换关系；

在本实施例中，确定标志线后，需要度量的项目主要包括但不限于：车辆宽度、车辆底盘高度、车身平行切线上的前后两点分别到车身一侧的标志线的横向距离，以及所述前后两点的纵向距离，车载双目相机可以根据获取到的身平行切线上的前后两点分别到车身一侧的标志线的横向距离和前后两点的纵向距离，计算得到该车辆与标志线的坐标转换关系。由于单目相机无法直接测量标定物的距离，因此需要测量车道线宽度，或者是利用相互垂直的标志线进行标定，而双目相机可以通过视差图得到的视差距离直接测算距离，从而使用双目相机进行标定比单目相机更加准确，操作也更简单。

通过下面实施例对静态场景中车辆与所述标志线的坐标转换关系的计算方法分别进行具体说明。

实施例二：

首先，选择较为平坦的场地作为标定场，例如停车场；再从标定场中选择平行于车身两侧的长度满足阈值的两条直线或者线段作为标志线，然后将车辆驶入标定场中，车辆方向盘回正，车辆侧身尽量与标志线平行或在较小阈值范围的夹角，如图3所示。以右目相机的光心为原点建立相机坐标系XOZ，以车头中心的底盘位置建立车辆坐标系X_CO_CZ_C。然后，分别测量车身平行切线上的前后两点分别到车身一侧的标志线的横向距离(d₁和d₂)，以及前后两点的纵向距离(d₃)，其中，车身平行切线上的前后两点分别到车身一侧的标志线的横向距离，可以选择车头、车尾到标志线的距离，也可以测量前、后车轮到标志线的距离，另外，还可以测量多次取均值以减少误差，或者可以分别测量车辆左右两侧的车身平行切线上的前后两点分别到车身一侧的标志线的横向距离，进一步减少误差，具体测量方法本申请不做限定。最后，将上述测量结果根据公式(一)计算车头方向与标志线之间的夹角σ，即：

当夹角σ大于一定阈值时，需要重新调整车辆朝向；小于阈值时，则车辆位于标定场中的位置已确定，并且车辆与标志线之间的坐标转换关系也已经确定。

至此，完成实施例二的相关描述。

步骤203、对所述车辆上的车载双目相机拍摄的带有所述标志线的图像进行视差变换，得到所述标志线的U视差图和V视差图；

在本实施例中，首先要对车载双目相机进行安装。具体的，暂时先将车载双目相机固定在安装位置处，先粗调车载双目相机的水平X、竖直Y、纵向Z方向，使得车载相机正视前方。车载双目相机自动或者手动拍摄图像，调整车载双目相机，使得车载双目相机拍摄的图像的行中心线与地平线重合，列中心线近似位于车道中心，从而使得车载双目相机光轴与车辆方向平行且与地面平行，并保证图像中左右标定线分别位于图像的左右两侧，如图4-1所示。进行车载双目相机姿态的微调，使得车载双目相机在水平X、竖直Y、纵向Z方向的角度小于一定阈值，则车载双目相机安装结束。

需要说明的是，车载双目相机微调的方式根据不同相机的结构而可能有所不同，包括调整车载双目相机模组的俯仰角，或者调整车载双目相机外壳斜面的坡度等。可以给车载双目相机安装水平泡等辅助工具调节车载双目相机在水平X、纵向Z方向的角度等。另外，车载双目相机微调过程中，车载双目相机与水平X、竖直Y、纵向Z方向的角度通过车载双目相机拍摄的标志线与进行估计，微调结果可通过显示器实时显示，也可以通过语音、灯光等方式进行显示，直到用户完成车载双目相机姿态的微调。在静态标定时，将对车载双目相机围绕水平X、竖直Y、纵向Z方向的角度进行微调，而动态标定过程中，除非车载双目相机姿态因特殊原因发生了较大变化，例如人为或外力导致车载双目相机脱落、移动、角度变化等，否则不对车载双目相机姿态进行微调，而是仅进行车载双目相机标定。如果安装有车载双目相机姿态自动调节装置，也可进行动态标定过程中的微调。对于车载双目相机的微调方式本申请不做限定。

车载双目相机安装完成后，可以在车辆行驶过程中手动或自动拍摄标定场图像，如图4-1所示，经过视差变换后，得到视差图，如图4-2所示。在可选的实施例中，可以对标定场图像进行视差变换。视差变换是通过统计每一列相同视差点的数量，得到U视差图，U视差图中每个像素的值代表该视差图中每列对应视差点的个数；通过统计视差图中每一行相同视差点的数量，得到V视差图，V视差图中每个像素的值代表该视差图中每行对应视差点的个数。

为了减少干扰，保证拟合的准确性，计算U视差图和V视差图时可以规定感兴趣区域，即ROI(Region of Interest)区域，仅对感兴趣区域内的视差区域计算U视差图和V视差图，从而可以减少计算量。另外，由于地面一般仅在较近处较为平坦，因此也仅对较近处(例如20米以内等)计算U视差图和V视差图，因此可以在上述视差图(图4-2)中确定感兴趣区域，所述感兴趣区域中包含所述标志线，如图4-3所示，其中白色虚线以下的区域为感兴趣区域；进一步对所述感兴趣区域中的标志线进行UV视差变换，得到所述标志线的U视差图和V视差图。其中，图5-1为标志线的U视差图，图5-2、图5-3分别为标志线的左侧V视差图以及标志线的右侧V视差图，在左、右V视差图中，标志线分别与地面向同一方向倾斜成一条倾斜线条，称为“地面相关线”。

步骤204、根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系；

在本实施例中，在静态标定中，车载双目相与标志线的坐标转换关系包括双目相机在水平X、竖直Y、纵向Z方向的位移和角度，其中，双目相机在竖直Y方向的位移以及围绕水平X方向旋转的角度可以通过拟合V视差中的地面相关线得到，双目相机在水平X方向的位移以及围绕竖直Y方向旋转的角度可以通过拟合U视差中的标志线得到，双目相机在纵向Z方向的位移则通过直接测量得到，双目相机围绕纵向Z方向旋转的角度则通过人工或自动微调使之为零。本实施例可以采用霍夫变换、最小二乘法、RANSAC等方法对上述U视差图和V视差图中的标志线进行拟合，并根据拟合的结果计算所述双目相机与标志线的坐标转换关系。

下面通过实施例对静态场景中车载双目相机与所述标志线的坐标转换关系的计算方法分别进行具体说明。

实施例三：

根据V视差理论，对于水平地面，双目相机在竖直Y方向的位移，即：

Y_W＝h 公式(二)

则地面相关线可表示为：

则，地面相关线的斜率k和截距b分别为：

b＝-f*tanθ 公式(五)

其中，B是双目相机基线长，θ是双目相机俯仰角，h是相机高度，f是双目相机单位焦距。

因此，地面相关线的截距只与双目相机俯仰角θ相关，即与双目相机围绕水平X方向旋转的角度相关，而当双目相机围绕Z方向旋转存在一定角度时，图像左、右侧的V视差图得到的截距b相同，但斜率k不同，这主要是因为双目相机距离左右侧标志线的高度不同。通过人工或自动方式，可将双目相机围绕Z方向旋转进行微调，使的左右两侧图像的地面相关线的斜率基本相同，此时双目相机围绕Z方向的角度可忽略不计。双目相机围绕Z方向的角度可通过显示器实时显示，也可以通过语音、灯光等方式进行显示，直到用户完成双目相机姿态的微调。双目相机在纵向Z方向的位移与双目相机坐标系与车辆自身坐标系的相对位置关系相关，可以通过测量双目相机坐标系原点与车辆坐标系原点直接得到，也可以通过测量同一物体距离双目相机坐标系原点的距离以及距离车辆坐标系原点的距离转换得到。

而双目相机围绕水平X方向旋转的角度，即俯仰角θ可通过以下公式计算：

双目相机在竖直Y方向的位移，即双目相机高度h可通过以下方式计算：

因此，双目相机在竖直Y方向的位移以及围绕水平X方向旋转的角度可以通过双目相机内部参数(例如B、f)和外部参数(例如h)以及地面相关线的斜率k和截距b确定。

根据U视差理论，当标志线与双目相机光轴方向平行时，则标志线可表达为：

X_c＝r 公式(八)

则U视差图中标志线的投影直线为：

即：

则：

/>

其中，r是标志线距离双目相机光轴方向的距离，B是双目相机基线长，u₀是双目相机图像中心。

当d＝0时，则u＝u₀，即横截距为(u₀，0)，此时，左右标志线相交于图像中心横坐标位置，即消失点位于图像中心横坐标位置。

当标志线与双目相机光轴方向存在一定夹角时，此时，标志线的斜率为：

其中，

是标志线与双目相机光轴方向的夹角。

则标志线可表达为：

Z_c＝ρ*X_c+τ 公式(十三)

则U视差图中标志线的投影直线为：

即：

此时，标志线与双目相机的横向距离为：

则根据公式(十五)计算得到：

则：

当d＝0时，时，则

即横截距为/>

此时，左右标志线相交于图像中心的一侧，即消失点位于图像左右两侧的某一侧。

因此，可根据两条标志线的交点(消失点)的横坐标是否为u₀或者在一个很小的阈值范围内u₀±δ_u，从而判定标志线与双目相机光轴方向是否平行，即双目相机绕Y方向旋转的角度是否为0。若平行，则U图中两条标定线相较于图像中心u₀或者在一个很小的阈值范围内u₀±δ_u，反之，标志线与双目相机光轴存在一定的角度

两条标志线相交于图像左右两侧的某一侧。/>

则双目相机围绕Y方向旋转的角度，即偏航角

可通过以下公式估计：

其中，u′是消失点的横坐标，u₀是相机图像中心，f是相机单位焦距。

双目相机光轴距离左右标志线的距离，即双目相机在水平X方向的位移可通过以下公式计算：

其中，k_l和k_r分别是U视差图中左右标志线的投影直线斜率，r_l和r_r分别是左、右标志线距离双目相机光轴方向的距离。

因此，双目相机在水平X方向的位移以及围绕Y方向旋转的角度可以通过双目相机内部参数(例如B、f)和外部参数(例如u₀)以及标志线的斜率k和截距b确定。

至此，完成实施例三的相关描述。

步骤205、根据所述车辆与所述标志线的坐标转换关系以及所述车载双目相机与所述标志线的坐标转换关系，计算得到所述车辆与所述车载双目相机的坐标转换关系。

本实施例中，可以根据车辆与标志线的坐标转换关系以及车载双目相机与标志线的坐标转换关系，计算得到所述车辆与所述车载双目相机的坐标转换关系。

下面以静态标定为例，详细说明本申请获得车辆与所述车载双目相机的坐标转换关系的方法。

根据上述实施例二和实施例三的计算得到的车辆与标志线的坐标转换关系，以及车载双目相机与标志线的坐标转换关系，可知如果以车头中心的前沿的底盘位置为车辆自身坐标系的中心自身坐标系的中心O_c，则双目相机坐标系与车辆坐标系之间的转换关系为：

双目相机在水平X方向的位移为双目相机相对车道线的水平位移(r_l和r_r)与车辆相对车道线的水平位移(d₁)、车辆宽度W_c的差值，即：

双目相机在水平X方向的角度为双目相机的俯仰角，即：

θ_x＝θ 公式(二十三)

双目相机在竖直Y方向的位移为双目相机高度h与车辆底盘高度h_c之差，即：

y＝h_c-h 公式(二十四)

双目相机在竖直Y方向的角度为双目相机的偏航角

与车辆方向σ之差，即：

双目相机在纵向Z方向的角度φ为0，即：

φ_z＝0 公式(二十六)

双目相机在纵向Z方向的位移通过测量同一物体距离双目相机坐标系原点的距离d以及距离车辆坐标系原点的距离d_c间接得到，即：

z＝d_c-d 公式(二十七)

作为一个实施例，在动态标定场景下，当车辆直线行驶时，所述计算得到所述车载双目相机与所述标志线的坐标转换关系，包括：通过车辆行驶过程中多次获取的多个所述车载双目相机的高度和俯仰角度的对应关系，计算得到所述车载双目相机的高度及俯仰角度的平均值，根据所述车载双目相机的高度及俯仰角度的平均值得到所述车载双目相机与所述标志线的坐标转换关系。其中，车载双目相机的高度及俯仰角度的平均值，可以利用随机抽样一致性算法或者最小二乘法计算出所述车载双目相机的高度及俯仰角度的平均值。

举例来讲，动态标定前，车载双目相机围绕Z方向旋转的角度小于预设阈值时为可忽略不计，否则需要进行人工或自动调整角度，车载双目相机高度也默认与静态时相同，动态标定过程中，不再对双目相机进行微调。动态标定时，对车载相机在水平X方向的角度、竖直Y方向的角度和双目相机在X方向的位移进行估计。动态标定过程中，受车辆颠簸等影响，车载双目相机姿态的角度和位移会存在一定波动，如图6所示，因此可以采用RANSAC(随机抽样一致性算法)、最小二乘法等以得到平均角度和位移。其中，一般情况优先采用RANSAC方法，如图即对于车载相机实时姿态估计结果，通过多次迭代剔除波动较大的估计结果，只对剩下的估计结果进行拟合，从而得到车载双目相机在水平X，竖直Y方向的平均角度和位移，具体RANSAC实现方法可查阅相关文献资料，本方案中不再赘述。

另外，由于车载双目相机姿态波动的对称性，即车辆的上下波动一般总是成对出现的，也可以采用最小二乘法进行动态标定，即在标定周期T_s内，对所有双目相机姿态实时估计结果进行最小二乘拟合，从而得到车载双目相机在水平X，竖直Y方向的平均角度和位移。最小二乘法速度相对较快，但对标定过程中车辆的平稳性有较高要求，若在路面没有较大颠簸或起伏时，可采用最小二乘法。后续将通过估算双目相机姿态得到车载相机与标志线之间的位置关系，包括车载双目相机与标志线之间在水平X、竖直Y、纵向Z方向的位移和角度等，进而得到车载双目相机与车辆之间的坐标转换关系，包括车载双目相机与车辆之间在水平X、竖直Y、纵向Z方向的位移和角度等。

至此，完成实施例一的相关描述。

与前述车载双目相机的标定方法的实施例相对应，本申请还提供了车载双目相机的标定装置的实施例。

请参见图7，为本申请车载双目相机的标定装置的一个实施例框图，该装置可以包括：标志线确定模块71、第一计算模块72、图像处理模块73、第二计算模块74，关系转换模块75。

其中，标志线确定模块71，用于确定在车辆周边的满足预设条件的标志线；

第一计算模块72，用于计算得到所述车辆与所述标志线的坐标转换关系；

图像变换模块73，用于对所述车辆上的车载双目相机拍摄的带有所述标志线的图像进行视差变换，得到所述标志线的U视差图和V视差图；

第二计算模块74，用于根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系；

关系转换模块75，用于根据所述车辆与所述标志线的坐标转换关系以及所述车载双目相机与所述标志线的坐标转换关系，转换得到所述车辆与所述车载双目相机的坐标转换关系。

在一实施例中，所述预设条件具体为：

在一实施例中，所述第一计算模块72，具体用于分别检测车身平行切线上的前后两点分别到车身一侧的标志线的横向距离，以及所述前后两点的纵向距离，计算得到所述车辆与所述标志线的坐标转换关系。

在一实施例中，所述第二计算单元74，进一步用于车载双目相机在竖直方向的位移以及围绕水平方向旋转的角度是通过拟合V视差图中的标志线得到。

在一实施例中，所述第二计算单元74，还用于车载双目相机在水平方向的位移以及围绕竖直方向旋转的角度是通过拟合U视差图中的标志线得到。

在一实施例中，所述第二计算模块74，还用于通过车辆行驶过程中多次获取的多个所述车载双目相机的高度和俯仰角度的对应关系，计算得到所述车载双目相机的高度及俯仰角度的平均值，根据所述车载双目相机的高度及俯仰角度的平均值得到所述车载双目相机与所述标志线的坐标转换关系。

在一实施例中，所述计算得到所述车载双目相机的高度及俯仰角度的平均值，包括利用随机抽样一致性算法或者最小二乘法计算出所述车载双目相机的高度及俯仰角度的平均值。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本申请车载双目相机的标定装置的实施例可以应用在车载双目相机的标定终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在车载双目相机的标定终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本申请车载双目相机的标定装置所在车载双目相机的标定终端的一种硬件结构图，其中，处理器801是该车载双目相机的标定终端800的控制中心，利用各种接口和线路连接整个该车道线检测装置的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行车载双目相机的标定装置800的各种功能和处理数据，从而对该车载双目相机的标定装置进行整体监控。

可选的，处理器801可包括(图8中未示出)一个或多个处理核心；可选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802主要包括(图8中未示出)存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据车载双目相机的标定装置800的使用所创建的数据(比如采集到的图像、计算得到的UV视差图像或者计算数据)等。

此外，存储器802可以包括(图8中未示出)高速随机存取存储器，还可以包括(图8中未示出)非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括(图8中未示出)存储器控制器，以提供处理器801对存储器802的访问。

在一些实施例中，装置800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通信总线或信号线(图8中未示出)相连。各个外围设备可以通信总线或信号线与外围设备接口803相连。具体地，外围设备可以包括：射频组件804、触摸显示屏805、摄像头组件806、音频组件807、定位组件808和电源组件809中的至少一种。

除了图8所示例的各个硬件之外，实施例中装置所在的车载双目相机的标定终端通常根据该车载双目相机的标定终端的实际功能，还可以包括其他硬件，对此不再赘述。

本领域技术人员可以理解的是，图8所示例的车载双目相机的标定终端可以应用在汽车上，也可以应用在电脑、智能手机等其他设备上，本申请对此并不作限制。

本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一车载双目相机的标定方法的步骤。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种车载双目相机的标定方法，其特征在于，所述方法包括：

确定在车辆周边的满足预设条件的标志线，所述标志线为静态标定场景或动态标定场景下的标志线；

计算得到所述车辆与所述标志线的坐标转换关系；

2.根据权利要求1所述的方法，其特征在于，所述预设条件具体为：

3.根据权利要求1所述的方法，其特征在于，所述计算得到所述车辆与所述标志线的坐标转换关系，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系，进一步包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述标志线的U视差图和V视差图，计算得到所述车载双目相机与所述标志线的坐标转换关系，还包括：

6.根据权利要求1所述的方法，其特征在于，所述计算得到所述车载双目相机与所述标志线的坐标转换关系，还包括：

7.根据权利要求6所述的方法，其特征在于，所述计算得到所述车载双目相机的高度及俯仰角度的平均值，包括：

8.一种车载双目相机的标定装置，其特征在于，所述装置包括：

标志线确定模块，用于确定在车辆周边的满足预设条件的标志线，所述标志线为静态标定场景或动态标定场景下的标志线；

9.一种车载双目相机的标定终端，其特征在于，包括存储器和处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述方法的步骤。