CN105608693A - 车载全景环视的标定系统及方法 - Google Patents

Abstract

本发明提供了一种车载全景环视的标定系统及方法，包括：从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；从所述特征物图像中提取出特征物有用信息；根据所述特征物有用信息，对标定参数进行优化；检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。本发明将标定参数的优化作为一个优化问题，建立基于多相机特征投影误差的误差函数，以表明当前优化结果下的标定误差，从而使得标定更为准确、快速，提高了全景环视系统的标定精度；并且可以利用人为标志物或者非人为标志物进行对标定的优化修正，提高了全景环视系统的标定效率以及适用性。

Description

车载全景环视的标定系统及方法

技术领域

本发明涉及汽车电子、视觉系统、车载导航领域，具体地，涉及车载全景环视的标定系统及方法。

背景技术

全景环视系统通过在车辆四周安装多个鱼眼相机，并采用车载处理器对得到的多路视频进行图像处理，为驾驶员提供车辆周边的视野，从而提高驾驶的安全性。全景环视系统由于包含多个相机(一般大于等于4个)，因此相机之间以及相机与车之间的位姿标定是系统的一个关键环节，标定系统的精度以及便利性直接决定了全景环视系统的效果和便利性。

针对不同的场景，全景环视系统一般采用不同的标定方法，比如当车辆还在产线上时，此时可以在特定的工位上采用定位设备(如四轮定位设备)准确地确定车辆的位置，从而简化整个全景环视系统的标定。而在实际实用中，考虑到全景环视系统的有效性，还需要有其它的标定方法用于4S店的标定，或者更通用的直接在线标定。

精度、效率和适用性是全景环视标定方案需要考虑的主要问题。现有的标定系统中，有的方法标定精度不高，从而降低了全景环视系统的性能；有的标定执行效率太低，从而不适用于如流水线等实时性要求较高的场合；而有的标定系统又采用了复杂的辅助设备或设施，从而严重降低了其适用性。

经检索，发现如下相关专利文献。

相关检索结果1：

申请号：201410522884.7

公开号：CN104240258A

名称：一种基于车联网的全景环视系统标定方法、装置及系统

该专利文献公开了一种基于车联网的全景环视系统标定方法、装置及系统，属于汽车电子技术领域。该方法包括：车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得该车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得该主控制器根据标定参数，对该畸变图像进行处理，得到车辆周边全景图像；车联网终端提示驾驶者将车辆开往下一个工位。该专利文献指出其基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定，以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。

技术要点比较：

1.该专利文献基于的标定算法的标定精度较低。

2.该专利文献并没有提供本发明中的标定结果检验环节。

相关检索结果2：

申请号：201510278462.4

公开号：CN104851076A

名称：用于商用车的全景环视泊车辅助系统及摄像头安装方法

该专利文献提供一种用于商用车的全景环视泊车辅助系统及泊车方法，包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示。该专利文献通过首次标定后将全景图中所有像素点与摄像头原始位置中对应像素坐标建立一一对应的映射关系存储于系统的存储单元中，当一帧图像采集后，系统可根据先前在存储单元中生成的数据，由控制单元快速生成全景图，最后通过对拼接后的全景图进行加权平均融合后并显示在屏幕上，为商用车的泊车提供全景环视效果较好的辅助工具，并且可以大大缩短系统的处理时间，满足系统实时性的要求。

技术要点比较：

1、该专利文献中主要描述了全景环视系统，标定只是其中的一个采用传统技术的子装置，而并没有如本发明提供的优化的、具体实用的标定系统。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种车载全景环视的标定系统及方法。

根据本发明提供的一种车载全景环视的标定系统，包括如下装置：

特征物提取装置：用于从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；

特征参数提取装置：用于从所述特征物图像中提取出特征物有用信息；

标定参数优化装置：用于根据所述特征物有用信息，对标定参数进行优化；

标定结果检验装置：用于检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。

优选地，所述标定参数，包括如下任一种或任多种位姿关系：

-全景环视系统中相机与相机之间的位姿关系；

-车辆与全景环视系统中相机之间的位姿关系。

优选地，所述标定参数优化装置，包括如下装置：

优化修正装置：用于根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。

优选地，所述特征物有用信息，包括图像特征点在全景环视系统采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；

所述优化修正装置，包括如下装置：

优化目标建立装置：建立基于多相机特征投影误差的误差函数，所述误差函数用于表明当前优化结果下的标定误差，其中，所述误差函数为：

${\mathrm{\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2;$

其中，m表示全景环视系统中相机的总数，n表示特征物的特征点的总数，p_ki表示第i个图像特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；

目标优化装置：用于最小化特征物的全部特征点在全景环视系统全部采集的图像中的重投影误差的过程，即：

${\mathrm{min\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2.$

优选地，所述标定结果检验装置，包括如下装置：

拼接检验装置：用于将全景环视系统采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；

若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。

根据本发明提供的一种车载全景环视的标定方法，包括如下步骤：

特征物提取步骤：从全景环视方法采集的图像中提取出包含有特征物的图像，记为特征物图像；

特征参数提取步骤：从所述特征物图像中提取出特征物有用信息；

标定参数优化步骤：根据所述特征物有用信息，对标定参数进行优化；

标定结果检验步骤：检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。

优选地，所述标定参数，包括如下任一种或任多种位姿关系：

-全景环视方法中相机与相机之间的位姿关系；

-车辆与全景环视方法中相机之间的位姿关系。

优选地，所述标定参数优化步骤，包括如下步骤：

优化修正步骤：根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。

优选地，所述特征物有用信息，包括图像特征点在全景环视方法采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；

所述优化修正步骤，包括如下步骤：

优化目标建立步骤：建立基于多相机特征投影误差的误差函数，所述误差函数表明当前优化结果下的标定误差，其中，所述误差函数为：

${\mathrm{\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2;$

其中，m表示全景环视方法中相机的总数，n表示特征物的特征点的总数，p_ki表示第i个图像特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；

目标优化步骤：最小化特征物的全部特征点在全景环视方法全部采集的图像中的重投影误差的过程，即：

${\mathrm{min\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2.$

优选地，所述标定结果检验步骤，包括如下步骤：

拼接检验步骤：将全景环视方法采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；

若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。

与现有技术相比，本发明具有如下的有益效果：

1、本发明将标定参数的优化作为一个优化问题，建立基于多相机特征投影误差的误差函数，以表明当前优化结果下的标定误差，从而使得标定更为准确、快速，提高了全景环视系统的标定精度；

2、本发明可以利用人为标志物或者非人为标志物进行对标定的优化修正，提高了全景环视系统的标定效率以及适用性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的一种车载全景环视的标定系统的结构示意图。

图2为本发明提供的一种车载全景环视的标定方法的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种车载全景环视的标定系统，包括如下装置：

特征物提取装置：用于从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；

特征参数提取装置：用于从所述特征物图像中提取出特征物有用信息；

标定参数优化装置：用于根据所述特征物有用信息，对标定参数进行优化；

标定结果检验装置：用于检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。

所述标定参数，包括如下任一种或任多种位姿关系：

-全景环视系统中相机与相机之间的位姿关系；

-车辆与全景环视系统中相机之间的位姿关系。

优选地，所述标定参数优化装置，包括如下装置：

优化修正装置：用于根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。

所述特征物有用信息，包括图像特征点在全景环视系统采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；

所述优化修正装置，包括如下装置：

优化目标建立装置：建立基于多相机特征投影误差的误差函数，所述误差函数用于表明当前优化结果下的标定误差，其中，所述误差函数为：

${\mathrm{\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2;$

其中，m表示全景环视系统中相机的总数，n表示特征物的特征点的总数，p_ki表示第i个图像特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；

目标优化装置：用于最小化特征物的全部特征点在全景环视系统全部采集的图像中的重投影误差的过程，即：

${\mathrm{min\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2.$

所述标定结果检验装置，包括如下装置：

拼接检验装置：用于将全景环视系统采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；

若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。

所述车载全景环视的标定系统可以通过本发明提供的一种车载全景环视的标定方法的步骤流程予以实现，本领域技术人员可以将所述车载全景环视的标定方法理解为所述车载全景环视的标定系统的一个具体实施方式。具体地，根据本发明提供的一种车载全景环视的标定方法，包括如下步骤：

特征物提取步骤：从全景环视方法采集的图像中提取出包含有特征物的图像，记为特征物图像；其中，特征物可以是人为摆放的一些人为标记物(如特定的几何块)，也可以是环境中特有的一些标记物(如车道线及其边界)，甚至可以是环境中能稳定检测跟踪到的图像特征形状(例如特征角点)。

特征参数提取步骤：从所述特征物图像中提取出特征物有用信息；其中，所述特征物的有用信息可以是几何尺寸信息、相对位置关系以及其它的测量信息；

标定参数优化步骤：根据所述特征物有用信息，对标定参数进行优化；其中，所述标定参数可以是全景环视方法中相机与相机之间的位姿关系，也可以是车辆与全景环视方法中相机之间的位姿关系；

标定结果检验步骤：检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。

优选地，所述标定参数优化步骤，包括如下步骤：

优化修正步骤：根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。其中，所述特征物有用信息，包括图像特征点在全景环视方法采集的图像中的位置，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，所述实际特征点是指所述预先已知的特征物上的特征点；

进一步地，所述优化修正步骤，包括如下步骤：

优化目标建立步骤：建立基于多相机特征投影误差的误差函数，所述误差函数表明当前优化结果下的标定误差，其中，所述误差函数为：

${\mathrm{\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2;$

其中，m表示全景环视方法中相机的总数，n表示特征物的特征点的总数，p_ki表示第i个图像特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；其中，所述投影矩阵的尺寸为4*3像素；

目标优化步骤：最小化特征物的全部特征点在全景环视方法全部采集的图像中的重投影误差的过程，即：

${\mathrm{min\Σ}}_{k=1}^m{\mathrm{\Σ}}_{i=1}^{n}D{(p_{ki},K_k{P}_i)}^2.$

本领域技术人员理解，可以将标定参数的优化作为一个优化问题，解决该优化问题的基本的流程包括：定义一个优化目标，即误差函数，当误差函数达到最小时，即表明当前的结果就是当前信息下的最优解。其中，可以使用经典的Levenberg-Marquadt非线性优化方法(或者梯度下降法，牛顿法等)来收敛重投影误差达到最优值。

所述标定结果检验步骤，包括如下步骤：

拼接检验步骤：将全景环视方法采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；

若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。

拼接检验的检验原理是：当标定结果无误差时，实际地面上的一条直线在拼接好的图像中仍然是一条直线，而不会由于其图像来自于两个原始相机导致其拼接错位。拼接的错位程度越高，标定结果越不准确。

更为具体地，下面就一个本发明在新车下线或者车辆维修保养的4S店中的具体实施方式进行描述。

在新车下线或者车辆维修保养的4S店的场景中，全景环视系统的日常使用中相机的安装位置相对于车辆全局坐标系有可能产生一些变化，导致全景环视的拼接精度会受到影响。为了补偿这些变化，利用本发明提供的技术方案实现全景系统中的标定，具体如下：

将特定设计的人为标记物置于车辆的四周，从而已知该人为标记物在预先设定的全局坐标系中的实际位置，以及车辆在全局坐标系中的实际位置；

通过图像识别检测定位到该人为标记物，并从全景环视系统采集的图像中提取出包含有该人为标记物的图像；

提取出人为标记物在全景环视系统采集的图像中的位置；

根据得到的人为标记物在全景环视系统采集的图像中的位置以及预先已知的人为标记物在全局坐标系中的位置，对标定参数进行优化。其中，可以通过人为标记物的特征点在全景环视系统采集的图像中的位置以及预先已知的人为标记物的特征点在全局坐标系中的位置，对标定参数进行优化。然后根据计算得到的标定参数拼接全景图像，此时可以由司机或者计算机检验其拼接效果。

在一个变化例中，可以采用非人为特意摆放物替代人为标记物，例如，非人为特意摆放物可以是环境中常见的人造物，如车道线等，也可以是抽象的图像中的特征图形，进而根据特征物有用信息(例如车道线的宽度)对标定参数进行优化。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件装置又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种车载全景环视的标定系统，其特征在于，包括如下装置：

特征物提取装置：用于从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；

特征参数提取装置：用于从所述特征物图像中提取出特征物有用信息；

标定参数优化装置：用于根据所述特征物有用信息，对标定参数进行优化；

标定结果检验装置：用于检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。

2.根据权利要求1所述的车载全景环视的标定系统，其特征在于，所述标定参数，包括如下任一种或任多种位姿关系：

-全景环视系统中相机与相机之间的位姿关系；

-车辆与全景环视系统中相机之间的位姿关系。

3.根据权利要求1所述的车载全景环视的标定系统，其特征在于，所述标定参数优化装置，包括如下装置：

优化修正装置：用于根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。

4.根据权利要求1所述的车载全景环视的标定系统，其特征在于，所述特征物有用信息，包括图像特征点在全景环视系统采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；

所述优化修正装置，包括如下装置：

优化目标建立装置：建立基于多相机特征投影误差的误差函数，所述误差函数用于表明当前优化结果下的标定误差，其中，所述误差函数为：

${\Σ}_{k=1}^m{\Σ}_{i=1}^{n}D{\left(p_{ki},K_k{P}_i\right)}^2;$

其中，m表示全景环视系统中相机的总数，n表示特征物的特征点的总数，p_ki表示第i个图像特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；

目标优化装置：用于最小化特征物的全部特征点在全景环视系统全部采集的图像中的重投影误差，即：

$min{\Σ}_{k=1}^m{\Σ}_{i=1}^{n}D{\left(p_{ki},K_k{P}_i\right)}^2.$

5.根据权利要求1所述的车载全景环视的标定系统，其特征在于，所述标定结果检验装置，包括如下装置：

拼接检验装置：用于将全景环视系统采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；

若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。

6.一种车载全景环视的标定方法，其特征在于，包括如下步骤：

特征物提取步骤：从全景环视方法采集的图像中提取出包含有特征物的图像，记为特征物图像；

特征参数提取步骤：从所述特征物图像中提取出特征物有用信息；

标定参数优化步骤：根据所述特征物有用信息，对标定参数进行优化；

标定结果检验步骤：检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。

7.根据权利要求6所述的车载全景环视的标定方法，其特征在于，所述标定参数，包括如下任一种或任多种位姿关系：

-全景环视方法中相机与相机之间的位姿关系；

-车辆与全景环视方法中相机之间的位姿关系。

8.根据权利要求6所述的车载全景环视的标定方法，其特征在于，所述标定参数优化步骤，包括如下步骤：

优化修正步骤：根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。

9.根据权利要求8所述的车载全景环视的标定方法，其特征在于，所述特征物有用信息，包括图像特征点在全景环视方法采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；

所述优化修正步骤，包括如下步骤：

优化目标建立步骤：建立基于多相机特征投影误差的误差函数，所述误差函数表明当前优化结果下的标定误差，其中，所述误差函数为：

${\Σ}_{k=1}^m{\Σ}_{i=1}^{n}D{\left(p_{ki},K_k{P}_i\right)}^2;$

其中，m表示全景环视方法中相机的总数，n表示特征物的特征点的总数，p_ki表示第i个图像特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；

目标优化步骤：最小化特征物的全部特征点在全景环视方法全部采集的图像中的重投影误差，即：

$min{\Σ}_{k=1}^m{\Σ}_{i=1}^{n}D{\left(p_{ki},K_k{P}_i\right)}^2.$

10.根据权利要求6所述的车载全景环视的标定方法，其特征在于，所述标定结果检验步骤，包括如下步骤：

拼接检验步骤：将全景环视方法采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；

若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。