CN113674361A - 一种车载环视校准实现方法及系统 - Google Patents

Abstract

本申请涉及图像处理技术领域，尤其涉及一种车载环视校准实现方法及系统，基于车辆前方铺设的一块标定布实现，方法包括：获取第一前参考帧；获取第二前参考帧，第二前参考帧为前摄像头在车辆移动状态下采集的影像；获取第一前参考帧与第一个第二前参考帧之间的移动距离以及相邻两个第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离；根据总距离以及标定布的宽度，得到车辆长度；获取车辆宽度；基于车辆长度以及车辆宽度，自动标定。使用一块标定布就可以实现标定，安装携带方便，成本较低，且单人便可完成所有操作；在标定布铺设过程中大幅减少了操作时间，从而便于提高拼接效率。

Description

一种车载环视校准实现方法及系统

技术领域

本申请涉及图像处理技术领域，尤其是涉及一种车载环视校准实现方法及系统。

背景技术

车载环视全景影像泊车辅助系统，又称全景环视系统，是由装配在车体上前后左右的4-8台广角摄像机构成，每台摄像机覆盖一定区间，图像经过畸变矫正、透视变换，生成俯视图，并进行拼接得到车载环视俯瞰图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。

相关的环视拼接校准方法，如图1所示，车辆停好后，在车辆前方铺设2-4块长条状标定布，并测量前后标定布边缘之间的距离（AB点之间的距离）和车辆宽度（BC点之间的距离），然后启动标定软件，点击拍图，抓取四个摄像头的图像，并将测量的前后标定布的距离以及车辆宽度输入，启动标定；标定完成后，标定软件告知用户标定结果。

但是，上述方法中需使用2-4块长条状标定布，标定布携带和运输不方便，且成本较高；另外，标定时，需要周边有一定的空旷区域，对空间要求较高，另外在铺布的过程中需要人工使用工具测量前后标定布之间的距离，并需要两人配合，耗时耗力，导致效率较低。

发明内容

为了提高拼接工作的效率，本申请提供一种车载环视校准实现方法及系统。

第一方面，本申请提供的一种车载环视校准实现方法，采用如下的技术方案：

一种车载环视校准实现方法，基于车辆前方铺设的一块标定布实现，所述方法包括：

获取第一前参考帧，其中，所述第一前参考帧为前摄像头在车辆静止状态下采集的影像，所述第一前参考帧中包含标定布；

获取第二前参考帧，其中，所述第二前参考帧为前摄像头在车辆移动状态下采集的所有影像；

获取所述第一前参考帧与第一个第二前参考帧之间的移动距离以及相邻两个所述第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离；

根据所述总距离以及标定布的宽度，得到车辆长度；

获取车辆宽度；

基于所述车辆长度以及车辆宽度，自动标定。

通过采用上述技术方案，使用一块标定布就可以实现标定，相较于相关技术中需使用2-4块长条状标定布，安装携带方便，成本较低，且单人便可完成所有操作；在标定布铺设过程中大幅减少了操作时间，从而便于提高拼接效率；且仅需要在车辆前方铺设一块标定布，对场地要求小，便于操作；

另外，在标定过程中自动获取车辆长度以及车辆宽度，相较于人工使用工具测量前后标定布之间的距离以获取车辆长度，有效减少因人为操作不当而造成测试结果存在误差的可能，从而便于提高测量精度。

可选的，所述相邻两个所述第二前参考帧之间的移动距离的获取方法包括：

在车辆前方选择若干像素点；

获取所述第二前参考帧上所述像素点周围窗口的特征，在后一个所述第二前参考帧的可能区域中，寻找满足预设第一相似度阈值的窗口特征以及满足预设第二相似度阈值的目标点；其中，所述可能区域为第二前参考帧上的像素点在后一个第二前参考帧中存在的区域；

获取所述目标点的图像坐标，并基于所述目标点的图像坐标得到所述目标点的移动距离与移动方向；

根据所述目标点的移动方向对目标点进行预处理，得到剩余目标点；

计算所述剩余目标点的移动距离的均值，作为第二前参考帧与后一个第二前参考帧之间的移动距离。

通过采用上述技术方案，基于像素点与目标点的图像坐标，得到相邻两个第二前参考帧之间的移动距离，便于提高移动距离的准确性。

可选的，所述在车辆前方选择若干像素点步骤具体包括：

在车辆前方划定选择区域；

在所述选择区域以设定间隔划分网格，确定所述网格的交点为像素点。

可选的，所述根据所述目标点的移动方向对目标点进行预处理具体包括：

剔除所述移动方向为允许角度范围外的目标点。

通过采用上述技术方案，通过剔除移动方向为允许角度范围外的目标点，仅保留移动方向为允许角度范围内的目标点，并计算允许角度范围内的目标点的移动距离的平均值，从而得到相邻两帧之间的移动距离，便于提高移动距离的精确性。

可选的，所述自动标定步骤之前执行以下步骤：

基于所述第一前参考帧获取标定布上预设的至少8个第一特征点；

获取后摄像头采集的连续视频帧，将包含标定布上预设的至少8个第一特征点且时间最早的一帧确定为后参考帧；

获取与所述后参考帧同时间采集的左后参考帧以及右后参考帧，其中，所述左后参考帧为左摄像头在后摄像头采集后参考帧的同时间采集的影像，所述右后参考帧为右摄像头在后摄像头采集后参考帧的同时间采集的影像；

获取所述左后参考帧中标定布的至少4个第二特征点以及右后参考帧中标定布的至少4个第三特征点，并获取所述第二特征点与第三特征点的图像坐标；

基于所述第二特征点与第三特征点的图像坐标判断所述第二特征点以及第三特征点是否合格，如果否，则判断调试失败；如果是，则对车辆长度进行校正处理。

通过采用上述技术方案，基于车辆在前参考帧和后参考帧采集时间点之间的移动距离得到车辆长度，容易存在有误差，需要对车辆长度进行校正，从而便于提高车辆长度的准确性。

可选的，所述后参考帧的获取方法包括：

根据所述第一前参考帧的参数，对所述连续视频帧进行畸变矫正、透视变换，得到俯视图；其中，参数包括内参矩阵、外参矩阵以及畸变参数矩阵；

将所述俯视图输入预先训练的级联分类器，判断俯视图中是否存在标定布，如果是，则判断存在标定布的俯视图是否为连续的帧数，如果连续帧数判定存在标定布，确定最开始的一帧作为后参考帧。

通过采用上述技术方案，对后摄像头采集的连续视频帧进行分析、处理，找到标定布的所有第一特征点完全可见且最早的一帧，确定为后参考帧，从而有助于基于前参考帧与后参考帧采集时间点之间的移动距离得到车辆长度。

可选的，所述级联分类器的获取方法包括：

对所述连续视频帧进行畸变矫正，得到矫正图像训练样本；

对所述矫正图像训练样本进行透视变换，得到俯视图训练样本；

对所述俯视图训练样本进行训练，得到级联分类器。

通过采用上述技术方案，对连续视频帧进行处理、训练，得到级联分类器，从而便于识别后参考帧。

可选的，所述基于所述第二特征点与第三特征点的图像坐标判断第二特征点以及第三特征点是否合格步骤具体包括：

步骤一、获取所述标定布的标定特征点，建立第二世界坐标系，基于所述第二世界坐标系获取标定特征点的世界坐标以及各摄像头获取到的视频帧的图像坐标系下标定特征点的图像坐标；其中，所述标定特征点包括左前参考帧以及右前参考帧中标定布的目标特征点、左后参考帧中标定布的第二特征点以及右后参考帧中标定布的第三特征点；所述左前参考帧为左摄像头在车辆静止状态下采集的影像，所述右前参考帧为右摄像头在车辆静止状态下采集的影像；

步骤二、判断车辆上左摄像头或右摄像头获取的图像中标定特征点的图像坐标以及标定特征点的世界坐标带入矫正函数的计算结果是否能收敛，如果是，则执行步骤三；如果否，则执行步骤六；其中，收敛指将标定特征点的图像坐标以及标定特征点的世界坐标代入矫正函数，算出对应摄像头的内、外参矩阵以及畸变参数；

步骤三、基于所述对应摄像头的内、外参矩阵以及畸变参数对所述标定图像坐标进行矫正，得到标定特征点的矫正坐标，将所述矫正坐标转换为第一俯视图；

步骤四、根据预设的评价标准对所述第一俯视图进行评价，得到评估指标；

步骤五、判断评估指标是否满足预设要求，如果是，则判断第一俯视图对应的标定特征点合格，并记录当前的车辆长度以及对应的评估指标；如果否，则判断第一俯视图对应的标定特征点不合格，并判断调试失败；

步骤六、判断前面是否至少有一个所述车辆长度的取值对应的标定特征点满足评价标准，如果是，并且车辆长度对应的标定特征点的图像坐标以及标定特征点的世界坐标带入矫正函数的计算结果不能收敛，则执行步骤七；如果否，则获取下一个车辆长度，执行步骤一；

步骤七、根据所有车辆长度的评估指标，得到校正后的车辆长度。

通过采用上述技术方案，通过对车辆长度进行校正，有效减少车辆长度产生误差的可能，有助于进一步提高测量精度，从而便于标定。

可选的，所述车辆宽度的获取方法包括：

获取所述前参考帧中的第一目标点；

获取左前参考帧与右前参考帧中与第一目标点对应的第二目标点，并将第二目标点所在的区域标记为重叠区域；其中，所述重叠区域为前参考帧与左前参考帧以及前参考帧与右前参考帧之间重叠的部分；

判断左前参考帧与前参考帧以及右前参考帧与前参考帧中的任一列是否相似，如果否，则确定该列开始为非重叠区域；

获取左前参考帧中非重叠区域任一点的第一世界坐标以及右前参考帧中非重叠区域对应点的第二世界坐标；其中，第一世界坐标与第二世界坐标基于第二世界坐标系得到；

将所述第一世界坐标与第二世界坐标的X轴坐标相减，得到车辆宽度。

通过采用上述技术方案，车辆宽度实际上是逻辑车宽，由于环视拼接实际上是将每个摄像头视域范围的交叠区域尽量显示出来，所以逻辑宽度要比实际的车身宽度大，通过左前参考帧与右前参考帧中非重叠区域内对应点的世界坐标，得到车辆宽度，从而便于提高车辆宽度的准确性。

第二方面，本申请提供的一种车载环视校准实现系统，采用如下技术方案：

一种车载环视校准系统，基于车辆前方铺设的一块标定布实现，所述系统包括：

第一获取模块，用于获取第一前参考帧，其中，所述第一前参考帧为前摄像头在车辆静止状态下采集的影像，所述第一前参考帧中包含标定布；

第二获取模块，用于获取第二前参考帧，其中，所述第二前参考帧为前摄像头在车辆移动状态下采集的所有影像；

移动总距离获取模块，用于获取相邻两个所述第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离；

车辆长度获取模块，用于根据所述总距离以及标定布宽度，得到车辆长度；

车辆宽度获取模块，用于获取车辆宽度；

标定模块，用于基于所述车辆长度以及车辆宽度，自动标定。

通过采用上述技术方案，使用一块标定布就可以实现标定，相较于相关技术中需使用2-4块长条状标定布，安装携带方便，成本较低，且单人便可完成所有操作；在标定布铺设过程中大幅减少了操作时间，从而便于提高拼接效率；且仅需要在车辆前方铺设一块标定布，对场地要求小，便于操作；

另外，在标定过程中自动获取车辆长度以及车辆宽度，相较于人工使用工具测量前后标定布之间的距离以获取车辆长度，有效减少因人为操作不当而造成测试结果存在误差的可能，从而便于提高测量精度。

综上所述，本申请包括以下至少一种有益技术效果：

使用一块标定布就可以实现标定，相较于相关技术中需使用2-4块长条状标定布，安装携带方便，成本较低，且单人便可完成所有操作；在标定布铺设过程中大幅减少了操作时间，从而便于提高拼接效率；且仅需要在车辆前方铺设一块标定布，对场地要求小，便于操作；另外，在标定过程中自动获取车辆长度以及车辆宽度，相较于人工使用工具测量前后标定布之间的距离以获取车辆长度，有效减少因人为操作不当而造成测试结果存在误差的可能，从而便于提高测量精度。

附图说明

图1是本申请现有技术的结构示意图。

图2是本申请其中一实施例示出的车辆的结构示意图。

图3是本申请其中一实施例示出的车载环视校准实现方法的流程图。

图4是本申请其中一实施例示出的车辆行驶方向示意图。

图5是本申请其中一实施例示出的选择区域以及像素点的示意图。

图6是本申请其中一实施例示出的车载环视校准实现方法的另一流程图。

图7是本申请其中一实施例示出的前参考帧的示意图。

图8是本申请其中一实施例示出的后参考帧的示意图。

图9是本申请其中一实施例示出的车辆长度校正处理的流程图。

图10是本申请其中一实施例示出的第二世界坐标系的示意图。

图11是本申请其中一实施例示出的车辆宽度获取方法的流程图。

图12是本申请其中一实施例示出的车载环视校准实现系统的框图。

附图标记说明：1、前摄像头；2、左摄像头；3、右摄像头；4、后摄像头。

具体实施方式

以下结合附图对本申请作进一步详细说明。

为使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请实施方式作进一步地详细说明。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向。

首先，对本申请实施例设计的名词进行介绍。

RANSAC（Random Sample Consensus，随机抽样一致算法），是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

K-means聚类算法（k-means clustering algorithm，k均值聚类算法），是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。

卡尔曼滤波（Kalman filtering），是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。

光流法，在比较理想的情况下，它能够检测独立运动的对象，不需要预先知道场景的任何信息，可以很精确地计算出相邻两帧图像之间的图像像素移动距离。

透视变换，是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换；即将空间坐标系中的三维物体或对象转变为二维图像表示的过程。

本申请实施例公开一种使用单个标记物的车载环视校准实现方法。

如图2所示，车辆四周安装有4个广角摄像头，即位于车头正中位置的前摄像头1、位于车辆左侧倒车镜位置的左摄像头2、位于车辆右侧倒车镜位置的右摄像头3以及位于车尾正中位置的后摄像头4。

结合图3，作为车载环视校准实现方法的一种实施方式，包括以下步骤：

S10、获取第一前参考帧，其中，第一前参考帧为前摄像头1在车辆静止状态下采集的影像，第一前参考帧中包含标定布。

具体的，车辆停好后，在车辆前方铺设一块长条状标定布，确保标定布在前摄像头1的可视范围内并尽量贴近车身，标定布铺设完成后，启动车辆上自带的标定软件，车辆方向盘打正。在车辆静止状态下，获取前摄像头1采集的影像，其中前摄像头1采集的影像中包含标定布。

S20、获取第二前参考帧，其中，第二前参考帧为前摄像头1在车辆移动状态下采集的所有影像。

具体的，结合图4，待标定软件提示后，驾驶员将车辆向前方缓慢行驶，直至后摄像头4完全看到标定布。在车辆行驶过程中，获取前摄像头1实时采集的影像，并确定第二前参考帧。

S30、获取第一前参考帧与预设第二前参考帧之间的移动距离以及相邻两个第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离。

具体的，通过计算车辆从静止到移动过程中相邻两帧之间的移动距离，累加得到整个移动过程中的总距离。

S40、根据总距离以及标定布宽度，得到车辆长度。

由于车辆在静止状态时，前摄像头1采集的影像中包含有标定布，且标定布尽可能贴近车身；车辆向前方行驶后，直至后摄像头4完全看到标定布时停止。由此可知，车辆移动的总距离为车辆长度以及标定布宽度之和，即车辆长度为车辆移动的总距离以及标定布的宽度的差值。

S50、获取车辆宽度。

需要说明的是，这里的车辆宽度实际上是逻辑车宽，由于环视拼接实际上是将每个摄像头视域范围的交叠区域尽量显示出来，所以逻辑宽度要比实际的车身宽度大。

S60、基于所述车辆长度以及车辆宽度，自动标定。

具体来说，标定软件获取车辆长度以及车辆宽度后进行自动标定，标定完成后，标定软件告知用户标定结果。

车辆停好后，在车辆前方铺设一块长条状标定布，确保调试布在前摄像头1的可视范围内并尽量贴近车身；启动标定软件，车辆方向盘打正，带标定软件提示后，驾驶员将车辆向前方缓慢开出，直至后摄像头4完全看到标定布时停止。在车辆行驶过程中标定软件记录下整个行驶过程的视频，随后从根据视频计算车辆长度以及车辆宽度等数据进行自动标定，标定完成后，标定软件告知用户标定结果。

使用一块标定布就可以实现标定，相较于相关技术中需使用2-4块长条状标定布，安装携带方便，成本较低，且单人便可完成所有操作；在标定布铺设过程中大幅减少了操作时间，从而便于提高拼接效率；且仅需要在车辆前方铺设一块标定布，对场地要求小，便于操作。

其中，步骤S30中具体包括以下子步骤：

S301、在车辆前方选择若干像素点。

作为像素点获取方法的一种实施方式，结合图5，在车辆前方划定选择区域，该选择区域在前摄像头1的视域范围内，且位于前摄像头1视域范围中间。在该选择区域内以设定间隔划分网格，将网格的交点确定为像素点。例如：在车辆前方画一个3m*6m的选择框，按照一定的间隔划分网格，取网格的交点作为像素点。

S302、获取第二前参考帧上像素点的周围窗口的特征，在后一个第二前参考帧的可能区域中，寻找满足预设第一相似度阈值的窗口特征以及满足预设第二相似度阈值的目标点；其中，周围窗口为以像素点为中心的区域，周围窗口的特征根据采用算法的不同而不同，可能区域为第二前参考帧上的像素点在后一个第二前参考帧中存在的区域。

具体的，像素点被定义为两条边的交点，更严格的说，像素点的周围窗口应该具有两个不同区域的不同方向的边界。

作为可能区域获取方法的一种实施方式，通过Moravec角点检测算法检测第二前参考帧的每一个像素点，将像素点周边的一个邻域作为一个周围窗口，并检测该周围窗口与后一个第二前参考帧的相关性。其中相关性通过两个周围窗口之间的平方差之和（SSD）来衡量，SSD值越小则相似性越高，将相似性最高的周围窗口确定为可能区域。

Moravec角点检测算法检测的是拥有特定特征的像素点，这些像素点在图像帧中有具体的坐标，并具有窗口特征，如局部最大或最小灰度、梯度特征等。通过Moravec角点检测算法获取周围窗口的特征，并基于周围窗口的特征在后一个第二前参考帧的可能区域中寻找与像素点对应的目标点。

S303、获取目标点的图像坐标，并基于目标点的图像坐标得到目标点的移动距离与移动方向。

作为目标点的图像坐标获取方法的一种实施方式，通过Harris算法得到目标点的图像坐标以及像素点的图像坐标。

作为移动距离获取方法的一种实施方式，通过光流法计算相邻两帧图像之间的图像像素移动距离，根据目标点的图像坐标以及标定布的宽度计算得到单位像素对应世界坐标的距离，将单位像素的世界坐标的距离乘以通过光流法计算得到的相邻两帧图像之间的图像像素移动距离，得到相邻两帧图像之间车辆在世界坐标中的移动距离。

以像素点为原点，像素点的图像坐标的X轴为基准，利用像素点的图像坐标与目标点的图像坐标计算像素点与目标点之间的角度，并根据该角度判断目标点的移动方向。

由于车辆向前方行驶，以车辆的行驶方向为准，在角度为90度时，目标点的移动方向为前方；在角度为180度时，目标点的移动方向为左方；在角度为0度时，目标点的移动方向为右方；在角度为-90度时，目标点的移动方向为后方。

S304、根据目标点的移动方向对目标点进行预处理，得到剩余目标点。

作为对目标点进行预处理的一种实施方式，剔除移动方向为允许角度范围外的目标点，其中，允许角度范围为90度。由于车辆向前方行驶，所以将移动方向不是前方的目标点进行剔除。

具体的，通过RANSAC、K-means聚类算法或开尔曼滤波等剔除异常样本，即剔除移动方向为允许角度范围外的目标点。

S305、计算剩余目标点的移动距离的均值，得到第二前参考帧与后一个第二前参考帧之间的移动距离。

通过剔除移动方向为允许角度范围外的目标点，仅保留移动方向为前方的目标点，并计算移动方向为前方的目标点的移动距离的平均值，从而得到相邻两帧之间的移动距离，便于提高移动距离的精确性。

作为车载环视校准实现方法的另一种实施方式，结合图6，在自动标定步骤之前还包括以下步骤：

S550、基于第一前参考帧获取标定布上预设的至少8个第一特征点。

结合图7，利用静止时前摄像头1采集的影像作为基准，找到标定布上8个以上的第一特征点，第一特征点的数量与标定布有关。本实施例中，标定布上有8个第一特征点，即标1-标8。

作为第一特征点的获取方法的一种实施方式，读取第一前参考帧，并将第一前参考帧转换为灰度图，对灰度图进行高斯滤波，并通过循环迭代不同灰度阈值对经过高斯滤波后的灰度图进行二值化；通过Canny算法求取第一参考帧中标定布的轮廓，且标定布的轮廓由多个特征点组成，通过特征筛选前一步获得的轮廓集合，判断标定布的特征点是否满足预设的几何关系与图像特征，例如：多个特征点是否能组成四边等长的正方形；若满足预设的几何关系与图像特征，则得到8个以上的第一特征点。

在找到第一特征点后，获取各个第一特征点的图像坐标，即第一特征点在第一前参考帧中的二维坐标。

作为第一特征点的图像坐标的获取方法的一种实施方式，可通过Harris算法得到。

以车辆中心和标定布边缘的交点作为原点，纵向为Y轴，横向为X轴，Z轴向上，单位采用毫米，建立第一世界坐标系，在标定布的物理尺寸作为已知的先验知识，直接定义出第一特征点在第一世界坐标系中的世界坐标，即第一特征点的三维空间坐标。

另外，利用opencv中标定函数calibrateCamera，基于第一特征点的图像坐标与世界坐标计算前摄像头1的内参矩阵、外参矩阵以及畸变参数矩阵。

S551、获取后摄像头4采集的连续视频帧，将包含标定布上预设的至少8个第一特征点且时间最早的一帧确定为后参考帧。

结合图8，其中，S551中后参考帧的获取方法包括：

S5511、根据前摄像头1的参数，对连续视频帧进行畸变矫正以及透视变换，得到俯视图；其中，参数包括内参矩阵、外参矩阵以及畸变参数矩阵。

需要说明的是，为了取得好的成像效果，通常要在摄像头的镜头前添加透镜。在摄像头成像的过程中，透镜会对光线的传播产生影像，从而影像摄像头的成像效果，产生畸变。透镜自身的形状对光线的传播产生影像，形成的畸变称为径向畸变。在小孔模型中，一条指向在成像平面上的像仍然是直线。但是在实际拍摄的过程中，由于透镜的存在，往往将一条直线投影成了曲线，越靠近图像的边缘，这种现象越明显。透镜往往是中心对称的，使得这种不规则的畸变通常是径向对称的。由于在摄像头组装的过程中，透镜不能和成像平面严格平行，会引入畸变矫正。

作为畸变矫正的一种实施方式，根据前摄像头1的参数按照张氏标定，计算畸变系数，然后做与畸变相反的变换，消除畸变。

S5512、将俯视图输入预先训练的级联分类器，判断俯视图中是否存在标定布，如果是，则判断存在标定布的俯视图是否为连续的帧数，如果连续三帧判定存在标定布，确定最开始的一帧作为后参考帧。

其中，级联分类器的获取方法包括：对连续视频帧进行畸变矫正，得到矫正图像训练样本，对矫正图像训练样本进行透视变换，得到俯视图训练样本，对俯视图训练样本进行训练，得到级联分类器。

S552、获取与后参考帧同时间采集的左后参考帧以及右后参考帧，其中，左后参考帧为左摄像头2在后摄像头4采集后参考帧同时间采集的影像，右后参考帧为右摄像头3在后摄像头4采集后参考帧同时间采集的影像。

S553、获取左后参考帧中标定布的至少4个第二特征点以及右后参考帧中标定布的至少4个第三特征点，并获取第二特征点与第三特征点的图像坐标。

S554、基于第二特征点与第三特征点的图像坐标判断第二特征点以及第三特征点是否合格，如果否，则判断调试失败；如果是，则对车辆长度进行校正处理。

结合图9，其中，S554步骤具体包括以下子步骤：

步骤一、获取标定布的标定特征点，建立第二世界坐标系，基于第二世界坐标系获取标定特征点的世界坐标以及各摄像头获取到的视频帧的图像坐标系下标定特征点的图像坐标。

其中，标定特征点包括左前参考帧以及右前参考帧中标定布的目标特征点、左后参考帧中标定布的第二特征点以及右后参考帧中标定布的第三特征点；左前参考帧为左摄像头2在车辆静止状态下采集的影像，右前参考帧为右摄像头3在车辆静止状态下采集的影像。

具体的，在标定过程开始时，车辆处于静止状态的情况下，获取左摄像头2采集的影像以及右摄像头3采集的影像，并在左前参考帧与右前参考帧中寻找标定布的至少4个目标特征点，左前参考帧上标定布的目标特征点分布在标定布的左侧区域（如图7中的标1-标4），右前参考帧上标定布的目标特征点分布在标定布的右侧区域（如图7中的标5-标8）。

作为标定特征点的图像坐标的获取方法的一种实施方式，通过Harris算法得到标定特征点的图像坐标。

结合图10，以车辆长度的中心点与车辆中轴的交点作为原点，纵向为Y轴，横向为X轴，Z轴向上，建立第二世界坐标系，在标定布的物理尺寸作为已知的先验知识，直接定义出标定特征点在第二世界坐标系中的世界坐标。

步骤二、判断车辆上左、右任一摄像头获取的图像中标定特征点的图像坐标以及标定特征点的世界坐标的计算是否能收敛，如果是，则执行步骤三；如果否，则执行步骤六；其中，收敛指将标定图像坐标与标定世界坐标值代入矫正函数，算出对应摄像头的内、外参矩阵以及畸变参数。

需要说明的是，以左前参考帧中标定布的目标特征点与左后参考帧中标定布的第二特征点为例，若目标特征点的图像坐标与世界坐标代入标定软件中预设的矫正函数能够计算出左摄像头的内、外参矩阵以及畸变参数，以及第二特征点的图像坐标与世界坐标代入标定软件中预设的矫正函数能够计算出左摄像头的内、外参矩阵以及畸变参数，则说明左摄像头能够收敛。

步骤三、基于对应摄像头的内、外参矩阵以及畸变参数对标定特征点的图像坐标进行矫正，得到矫正坐标，并利用矫正坐标得到第一俯视图。

具体的，基于内、外参矩阵以及畸变参数，对左、右任一摄像头获取的图像进行畸变矫正，并将对应摄像头获取图像上的每个标定特征点乘以畸变参数得到一个新的坐标，即矫正坐标，利用透视变换与矫正坐标将畸变矫正后的图像转换为第一俯视图。

步骤四、根据预设的评价标准对第一俯视图进行评价，得到评估指标。

具体的，获取第一俯视图上对应标定特征点的图像坐标，并判断第一俯视图上对应标定特征点的图像坐标是否满足评价标准。其中评价标准包括但不限于：特征点之间的几何关系与图像特征，几何关系包括等距、共线、平行等；图像特征包括正方形、梯形、圆形等。

以预设的评价标准作为标准值，将第一俯视图上对应标定特征点的图像坐标之间的关系作为测量值，根据标准值与测量值的偏离程度得到评估指标。

步骤五、判断评估指标是否满足预设要求，如果是，则判断第一俯视图对应的标定特征点合格，并记录当前的车辆长度以及对应的评估指标；如果否，则判断第一俯视图对应的标定特征点不合格，并判断调试失败。

具体来说，在评估指标满足预设要求的情况下，第一俯视图对应的标定特征点合格，则记录当前的车辆长度以及对应的评估指标；在评估指标不满足预设要求的情况下，则第一俯视图对应的标定特征点不合格，判定调试失败，提示用户进行人工标定。

举例来说，假设评价标准为由特征点组成的两条线相平行，若第一俯视图中标定特征点组成的两条线之间存在有夹角，则将该夹角确定为评估指标，并判断该夹角是否小于预设阈值，如果是，该评估指标满足预设要求，则记录当前的车辆长度以及评估指标。

步骤六、判断前面是否至少有一个车辆长度的取值对应的标定特征点满足评价标准，如果是，并且车辆长度对应的标定特征点的图像坐标以及标定特征点的世界坐标带入矫正函数的计算结果不能收敛，则执行步骤七；如果否，则获取下一个车辆长度，执行步骤一。

为提高测量精度，在得到的车辆长度设定范围内以更小的步长作迭代，对车辆长度进行优化和校正。

举例来说，若车辆长度h=6m，则在5.5m-6.5m内以0.1m为间隔进行迭代，即取车辆长度h=5.6m，h=5.7m，h=5.8m，h=5.9m，h=6.1m，h=6.2m，h=6.3m，h=6.4m。

若取得车辆长度h=6.1m，则可以在6.05m-6.15m内以0.01m为间隔进行迭代，如此循环，直至得到想要的精度为止。

由于标定特征点的世界坐标与车辆长度以及标定布宽度有关，则每一个车辆长度对应的标定特征点的世界坐标不同。

获取到不同的车辆长度，判断该车辆长度对应的标定特征点是否满足评价标准，即是否满足预设的几何关系与图像特征，在满足评价标准的情况下，计算得到评估指标，则执行步骤七；在当前的车辆长度对应的标定特征点不满足评价标准的情况下，则获取下一个车辆长度，循环执行步骤一。

步骤七、根据所有车辆长度的评估指标，得到校正后的车辆长度。

具体的，从所有满足评价标准的车辆长度中，获取评价指标最好的一个，作为校正后的车辆长度。

在标定过程中自动获取车辆长度以及车辆宽度，相较于人工使用工具测量前后标定布之间的距离以获取车辆长度，有效减少因人为操作不当而造成测试结果存在误差的可能，从而便于提高测量精度；通过对车辆长度进行校正，有效减少车辆长度产生误差的可能，有助于进一步提高测量精度，便于标定。

作为车辆宽度获取方法的一种实施方式，结合图11，包括以下步骤：

S501、获取第一前参考帧中的第一目标点。

具体的，在第一前参考帧中指定任意一个第一特征点，作为第一目标点。

S502、获取左前参考帧与右前参考帧中与第一目标点对应的第二目标点，并将第二目标点所在的区域标记为重叠区域；其中，左前参考帧为左摄像头在车辆静止状态下采集的影像，右前参考帧为右摄像头在车辆静止状态下采集的影像；重叠区域为前参考帧与左前参考帧以及前参考帧与右前参考帧之间重叠的部分。

作为第二目标点获取方法的一种实施方式，通过Moravec角点检测算法提取第一目标点的特征，根据第一目标点的特征在左前参考帧与右前参考帧中逐个像素作特征比对，并将相似度最高的点作为第二目标点。

举例来说，就好比拿一个人的照片，在100个人的合照里将这个人找出来，就是要根据特征一个个的去比较，找最像的那个。

S503、判断左前参考帧与前参考帧以及右前参考帧与前参考帧中的任一列是否相似，如果否，则确定该列开始为非重叠区域。

具体的，从标定布的左右两侧向中间，逐列逐像素获取左前参考帧与前参考帧之间的重叠区域以及右前参考帧与前参考帧之间的重叠区域，即按照一定的顺序，找完一列找下一列，一个像素一个像素的比对；若有一列不相似，则认为从该列开始为非重叠区域。

比如车辆左前方的地面，前摄像头和左摄像头都能看到，我们的目的就是要找出这一整块区域，将共有的景物圈出来，该区域为重叠区域。将两幅图叠在一起，即前参考帧与左前参考帧叠在一起，一列一列的去比较，找到不同的地方，即非重叠区域。

S504、获取左前参考帧中非重叠区域的任一点的第一世界坐标以及右前参考帧中非重叠区域对应点的第二世界坐标。

具体的，第一世界坐标与第二世界坐标以第二世界坐标系为基准，在标定布的物理尺寸作为已知的先验知识，直接定义出左前参考帧中非重叠区域的任一点的第一世界坐标以及右前参考帧中非重叠区域对应点的第二世界坐标。

S505、将第一世界坐标与第二世界坐标的X轴坐标相减，得到车辆宽度。

基于上述车载环视校准实现方法，本申请还公开了一种车载环视校准实现系统。

一种车载环视校准实现系统，如图12所示，包括：

第一获取模块，用于获取第一前参考帧，其中，所述第一前参考帧为前摄像头1在车辆静止状态下采集的影像，所述第一前参考帧中包含标定布；

第二获取模块，用于获取第二前参考帧，其中，所述第二前参考帧为前摄像头1在车辆移动状态下采集的所有影像；

移动总距离获取模块，用于获取相邻两个所述第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离；

车辆长度获取模块，用于根据所述总距离以及标定布宽度，得到车辆长度；

车辆宽度获取模块，用于获取车辆宽度；

标定模块，用于基于车辆长度以及车辆宽度，自动标定。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种车载环视校准实现方法，其特征在于：基于车辆前方铺设的一块标定布实现，所述方法包括：

获取第一前参考帧，其中，所述第一前参考帧为前摄像头(1)在车辆静止状态下采集的影像，所述第一前参考帧中包含标定布；

获取第二前参考帧，其中，所述第二前参考帧为前摄像头(1)在车辆移动状态下采集的所有影像；

获取所述第一前参考帧与第一个第二前参考帧之间的移动距离以及相邻两个所述第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离；

根据所述总距离以及标定布的宽度，得到车辆长度；

获取车辆宽度；

基于所述车辆长度以及车辆宽度，自动标定。

2.根据权利要求1所述的一种车载环视校准实现方法，其特征在于，所述相邻两个所述第二前参考帧之间的移动距离的获取方法包括：

在车辆前方选择若干像素点；

获取所述第二前参考帧上所述像素点周围窗口的特征，在后一个所述第二前参考帧的可能区域中，寻找满足预设第一相似度阈值的窗口特征以及满足预设第二相似度阈值的目标点；其中，所述可能区域为第二前参考帧上的像素点在后一个第二前参考帧中存在的区域；

获取所述目标点的图像坐标，并基于所述目标点的图像坐标得到所述目标点的移动距离与移动方向；

根据所述目标点的移动方向对目标点进行预处理，得到剩余目标点；

计算所述剩余目标点的移动距离的均值，作为第二前参考帧与后一个第二前参考帧之间的移动距离。

3.根据权利要求2所述的一种车载环视校准实现方法，其特征在于，所述在车辆前方选择若干像素点步骤具体包括：

在车辆前方划定选择区域；

在所述选择区域以设定间隔划分网格，确定所述网格的交点为像素点。

4.根据权利要求2所述的一种车载环视校准实现方法，其特征在于，所述根据所述目标点的移动方向对目标点进行预处理具体包括：

剔除所述移动方向为允许角度范围外的目标点。

5.根据权利要求1所述的一种车载环视校准实现方法，其特征在于，所述自动标定步骤之前执行以下步骤：

基于所述第一前参考帧获取标定布上预设的至少8个第一特征点；

获取后摄像头(4)采集的连续视频帧，将包含标定布上预设的至少8个第一特征点且时间最早的一帧确定为后参考帧；

获取与所述后参考帧同时间采集的左后参考帧以及右后参考帧，其中，所述左后参考帧为左摄像头(2)在后摄像头采集后参考帧的同时间采集的影像，所述右后参考帧为右摄像头(3)在后摄像头采集后参考帧的同时间采集的影像；

获取所述左后参考帧中标定布的至少4个第二特征点以及右后参考帧中标定布的至少4个第三特征点，并获取所述第二特征点与第三特征点的图像坐标；

基于所述第二特征点与第三特征点的图像坐标判断第二特征点以及第三特征点是否合格，如果否，则判断调试失败；如果是，则对车辆长度进行校正处理。

6.根据权利要求5所述的一种车载环视校准实现方法，其特征在于，所述后参考帧的获取方法包括：

根据所述第一前参考帧的参数，对所述连续视频帧进行畸变矫正、透视变换，得到俯视图；其中，参数包括内参矩阵、外参矩阵以及畸变参数矩阵；

将所述俯视图输入预先训练的级联分类器，判断俯视图中是否存在标定布，如果是，则判断存在标定布的俯视图是否为连续的帧数，如果连续帧数判定存在标定布，确定最开始的一帧作为后参考帧。

7.根据权利要求6所述的一种车载环视校准实现方法，其特征在于，所述级联分类器的获取方法包括：

对所述连续视频帧进行畸变矫正，得到矫正图像训练样本；

对所述矫正图像训练样本进行透视变换，得到俯视图训练样本；

对所述俯视图训练样本进行训练，得到级联分类器。

8.根据权利要求5所述的一种车载环视校准实现方法，其特征在于，所述基于所述第二特征点与第三特征点的图像坐标判断第二特征点以及第三特征点是否合格步骤具体包括：

步骤一、获取所述标定布的标定特征点，建立第二世界坐标系，基于所述第二世界坐标系获取标定特征点的世界坐标以及各摄像头获取到的视频帧的图像坐标系下标定特征点的图像坐标；其中，所述标定特征点包括左前参考帧以及右前参考帧中标定布的目标特征点、左后参考帧中标定布的第二特征点以及右后参考帧中标定布的第三特征点；所述左前参考帧为左摄像头(2)在车辆静止状态下采集的影像，所述右前参考帧为右摄像头(3)在车辆静止状态下采集的影像；

步骤二、判断车辆上左摄像头或右摄像头获取的图像中标定特征点的图像坐标以及标定特征点的世界坐标带入矫正函数的计算结果是否能收敛，如果是，则执行步骤三；如果否，则执行步骤六；其中，收敛指将标定特征点的图像坐标以及标定特征点的世界坐标代入矫正函数，算出对应摄像头的内、外参矩阵以及畸变参数；

步骤三、基于所述对应摄像头的内、外参矩阵以及畸变参数对所述标定图像坐标进行矫正，得到标定特征点的矫正坐标，将所述矫正坐标转换为第一俯视图；

步骤四、根据预设的评价标准对所述第一俯视图进行评价，得到评估指标；

步骤五、判断评估指标是否满足预设要求，如果是，则判断第一俯视图对应的标定特征点合格，并记录当前的车辆长度以及对应的评估指标；如果否，则判断第一俯视图对应的标定特征点不合格，并判断调试失败；

步骤六、判断前面是否至少有一个所述车辆长度的取值对应的标定特征点满足评价标准，如果是，并且车辆长度对应的标定特征点的图像坐标以及标定特征点的世界坐标带入矫正函数的计算结果不能收敛，则执行步骤七；如果否，则获取下一个车辆长度，执行步骤一；

步骤七、根据所有车辆长度的评估指标，得到校正后的车辆长度。

9.根据权利要求8所述的一种车载环视校准实现方法，其特征在于，所述车辆宽度的获取方法包括：

获取所述前参考帧中的第一目标点；

获取左前参考帧与右前参考帧中与第一目标点对应的第二目标点，并将第二目标点所在的区域标记为重叠区域；其中，所述重叠区域为前参考帧与左前参考帧以及前参考帧与右前参考帧之间重叠的部分；

判断左前参考帧与前参考帧以及右前参考帧与前参考帧中的任一列是否相似，如果否，则确定该列开始为非重叠区域；

获取左前参考帧中非重叠区域的任一点的第一世界坐标以及右前参考帧中非重叠区域对应点的第二世界坐标；其中，第一世界坐标与第二世界坐标基于第二世界坐标系得到；

将所述第一世界坐标与第二世界坐标的X轴坐标相减，得到车辆宽度。

10.一种车载环视校准实现系统，其特征在于：基于车辆前方铺设的一块标定布实现，所述系统包括：

第一获取模块，用于获取第一前参考帧，其中，所述第一前参考帧为前摄像头(1)在车辆静止状态下采集的影像，所述第一前参考帧中包含标定布；

第二获取模块，用于获取第二前参考帧，其中，所述第二前参考帧为前摄像头(1)在车辆移动状态下采集的所有影像；

移动总距离获取模块，用于获取相邻两个所述第二前参考帧之间的移动距离，累加相邻两帧的移动距离得到总距离；

车辆长度获取模块，用于根据所述总距离以及标定布宽度，得到车辆长度；

车辆宽度获取模块，用于获取车辆宽度；

标定模块，用于基于所述车辆长度以及车辆宽度，自动标定。

Images