CN111462244B - 车载环视系统在线标定方法、系统及装置 - Google Patents

Abstract

本申请车载环视系统在线标定方法，首先通过车载环视系统中各相机采集车辆周围的视频图像，再从所述视频图像中识别出标定过程中的特征物。从所述特征物中提取特征信息来对所述视频图像进行处理，确定需要标定的相机为目标相机。在确定到所述目标相机后，实时对所述目标相机进行优化标定，以获取所述目标相机相对于所述车辆的位姿。本申请车载环视系统在线标定方法可以在车辆行驶过程中实时获取道路上的图像信息，通过判断需要标定的所述目标相机来对整个车载环视系统进行优化标定，具有实时性、效率高、适用范围广等特点。

Description

车载环视系统在线标定方法、系统及装置

技术领域

本申请涉及车辆领域，尤其涉及一种辅助驾驶的车载环视系统在线标定方法，以及执行此方法的车载环视系统在线标定系统和车载环视系统在线标定装置。

背景技术

车载环视系统通过在车辆四周安装多个相机，并采用车载处理器对得到的多路视频进行图像处理，为驾驶员提供车辆周边的视野，从而提高驾驶的安全性。由于车载环视系统包含多个相机，因此各个相机之间以及单个相机与车辆之间的位姿标定是车载环视系统的一个关键环节，各个相机的标定精度直接决定了车载环视系统对驾驶员的辅助效果。

针对不同的标定场景，目前主流的车载环视系统标定方法主要有下线标定和4s标定两种。其中，下线标定是指在车辆出厂之前，于特定的工位上采用定位设备(如四轮定位设备)准确地确定车辆的位置，从而进行整个车载环视系统的标定。4s标定是指在4s店中使用简单的标定板进行铺设，对车载环视系统进行全景的标定。也即是说，传统的标定方法都需要特殊场景下才能完成，且多为静态标定方式。然而，在车辆长期行驶过程中，因为振动、碰撞、轮胎漏气等一系列原因，存在个别相机相对于全局坐标系发生偏移的情况。此时静态的、需要特定场景才能完成的标定动作相对繁琐，导致上述传统的标定方法已逐渐不能满足大众的需求。

发明内容

本申请提出一种可实时对车载环视系统完成优化标定的车载环视系统在线标定方法，具体包括如下技术方案：

一种车载环视系统在线标定方法，包括：

通过车载环视系统中各相机采集车辆周围的视频图像；

从所述视频图像中识别出在线标定过程中的特征物；

提取所述特征物的特征信息；

根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机；

实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿。

本申请所述车载环视系统在线标定方法，通过获取车辆环视系统中各相机的视频图像，来从所述视频图像中识别处特征物。通过对所述特征物提取有用信息，来对各个所述相机的视频图像进行拼接。根据所述视频图像的拼接结果，可以确定出需要标定的目标相机。进一步，本申请车载环视系统实时对所述目标相机进行优化标定，并通过重新采集车辆环视系统中相机的视频图像并进行拼接来验证所述优化标定。本申请所述车载环视系统在线标定方法，在车辆行驶过程中实时获取道路上的图像信息，判断出需要标定的相机后对整个车载环视系统进行优化标定，具有实时性好、效率高、适用范围广的特点。

其中，在所述实时对需要标定的相机进行优化标定以获取所述目标相机相对于所述车辆的位姿之后，还包括：

重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。此步骤在对目标相机进行优化标定后执行，可以对优化标定的结果进行验证。从而提高优化标定的准确性。

其中，所述从所述视频图像中识别出在线标定过程中的特征物时，包括：

提取与所述车辆的行驶路线平行的直线物体作为直线特征物；

提取至少可提供一个位于所述直线特征物之上的轮廓交点的物体为轮廓特征物。直线特征物可以成为多个相机中共用的基准，在多个相机基于特征信息进行视频拼接配对的过程中，共用的基准有助于消除环视系统的误差，提高拼接配对的准确率。在确定到直线特征物之后，还可以在直线特征物之上再识别一处轮廓特征物，用以提取特征物之间的相对值作为特征信息。

其中，所述提取所述特征物的特征信息包括：

从所述直线特征物中提取基准线；

从所述轮廓特征物提取位于所述直线特征物之上的所述轮廓交点的坐标值；

计算所述轮廓交点到所述基准线的距离值。

因为直线特征物在客观世界中即为直线形物体，因此其提供的多个视频图像中共用的基准线，也可以视为统一且可信的基准作为特征信息进行提取。轮廓交点的提取，以及轮廓交点到基准线的距离值计算，便于后续步骤中视频图像的拼接配对和优化标定步骤使用。

其中，所述从所述直线特征物中提取基准线，包括：

从所述直线特征物提取到的基准线用如下公式表达：Yi＝ki*X+bi；

其中k表示斜率，b表示截距，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，i表示所述相机的编号，且i为大于等于1的正整数；

所述计算所述轮廓交点到所述基准线的距离值，包括：

运用公式计算所述轮廓交点到所述基准线的距离值；

其中x、y为所述轮廓交点在所述视频图像中的坐标。

车载处理器对基准线、轮廓交点坐标、距离值等信息的提取，需要转化为车载处理器可以应用的公式来进行表达，即实现图像信息向数字信息的转换处理。

其中，所述根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机，包括：

基于所述基准线、所述轮廓交点的坐标值以及所述距离值为基准对所述视频图像进行拼接配对；

根据拼接结果确定需要标定的所述相机为所述目标相机。

基于特征物的特征信息对视频图像进行拼接配对，然后检查特征信息是否存在偏差，进而确定到目标相机。可以利用客观世界物体的信息以及客观世界物体之间的相对信息来确定目标相机。因为客观世界中物体的信息唯一性，可以较为准确的确定到环视系统中的目标相机。

其中，所述根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机，包括：

基于所述车载环视系统的初始基准对所述视频图像进行拼接配对；

基于所述基准线、所述轮廓交点的坐标值以及所述距离值来确定所述目标相机。

基于车载环视系统的初始基准，并结合特征信息来确定目标相机，可以利用客观世界物体的信息，以及车载环视系统的初始基准来共同确定目标相机。引入初始基准来确定目标相机，更有利于多个相机的位姿和角度发生变化后，确定到标定正确的相机，然后通过排除法来更准确的确定目标相机。

其中，所述实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿时，基于所述距离值对所述目标相机进行优化标定。

客观世界中的特征物之间的相对信息，在两个或两个以上的特征物之间建立了相互关系。基于距离值对目标相机进行的优化，是基于两个或两个以上的特征物之间的特征信息进行的优化。相较于基于单个特征物的特征信息的优化效果，本实施例的优化结果更准确，提高了在线标定方法的成功率。

本申请涉及一种车载环视系统在线标定系统，包括：

视频采集模块：用于通过车载环视系统中各相机采集车辆周围的视频图像；

特征物拾取模块：从所述视频图像中识别出标定过程中的特征物；

特征参数提取模块：用于提取所述特征物的特征信息；

相机标定判断模块：用于根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机；

标定参数优化模块：用于实时对需要标定的相机进行优化标定以获取所述目标相机相对于所述车辆的位姿；

标定结果检验模块：用于重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。

本申请车载环视系统在线标定系统通过各个模块之间的配合工作，可以实施上述的环视系统在线标定方法，从而在车辆行驶过程中实现环视系统有效的优化标定，具备较高的标定准确率。车辆在装备此系统后拓宽了优化标定的适用场景和范围，提高了环视系统优化标定的便捷性和实时性。

本申请还涉及一种车载环视系统在线标定装置，包括处理器、输入设备、输出设备和存储装置，所述处理器、输入设备、输出设备和存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上所述的车载环视系统在线标定方法。

本申请车载环视系统在线标定装置，同样可以实施上述的环视系统在线标定方法，从而在车辆行驶过程中实现环视系统有效的优化标定，具备较高的标定准确率。车辆在装备此装置后拓宽了优化标定的适用场景和范围，提高了环视系统优化标定的便捷性和实时性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的一种车载环视系统在线标定方法的流程图；

图2是本申请所述车载环视系统在线标定方法的逻辑图；

图3是图1所示车载环视系统在线标定方法中步骤S20的子步骤的流程图；

图4是图1所示车载环视系统在线标定方法中步骤S30的子步骤的流程图；

图5是图1所示车载环视系统在线标定方法中步骤S40的子步骤的流程图；

图6是图1所示车载环视系统在线标定方法中步骤S40的子步骤另一实施例的流程图；

图7为本申请车载环视系统基于初始基准完成拼接配对后形成的环视图像示意图；

图8是本申请实施例提供的一种车载环视系统在线标定系统的示意图；

图9是本申请实施例提供的一种车载环视系统在线标定装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参看图1和图2，图1是本申请实施例提供的一种车载环视系统在线标定方法的流程图，图2是本申请所述车载环视系统在线标定方法的逻辑图。在本申请实施例中，所述车载环视系统在线标定方法至少包括以下步骤：

S10、通过车载环视系统中各相机采集车辆周围的视频图像；

具体的，车辆上安装有车载环视系统。该车载环视系统包括有设于车辆四周的摄像头或车载相机等相机，车载环视系统中的摄像头或车载相机的总数量一般不小于4个。当摄像头或车载相机的数量为4个时，4个摄像头或车载相机通常分别布置于车辆的前、后、左、右四个方向，摄像头或车载相机可采用如鱼眼相机为例的广角相机，以使得至少4个摄像头或车载相机各自采集到的视频图像在相互拼接后形成环绕车辆周围的视频图像。在后续的步骤中，各个相机得以将车辆行驶途中实时采集的视频图像传输给车载处理器进行处理，各个相机实时采集的视频图像经车载处理器拼接、配对后形成环绕车辆周围的环视图像。各个相机实时采集的视频图像就是连续的静态图像的序列。同时，为了拓展车载环视系统的环境适应能力，摄像头或车载相机还可以采用具有夜视功能的摄像头或相机。

S20、从所述视频图像中识别出在线标定过程中的特征物；

具体的，从车载环视系统中每个相机采集到的视频图像中分别识别出特征物。对于特征物的识别，包括车辆周围环境中持续出现的一些标记物，如车道线、斑马线、停止线、人行道沿等，也包括车辆周围环境中能稳定检测跟踪到的图像的特征点。图像的特征点宜为两个或两个以上的相机采集到的视频图像中都出现的物体。因为特征物用于后续的在线标定过程，因此在两个或两个以上的相机之间出现同一特征物时，才能应用到特征物的特征信息以对相机进行拼接配对。一方面，因为在车辆行驶过程中要实现车载环视系统的在线拼接，因此在视频图像为连续的静态图像序列的情况下，特征物需要在同一时段内连续出现在两个或两个以上的相机采集到的视频图像中，便于车载处理器从连续的视频图像中识别到特征物并进行后续处理。另一方面，本申请车载环视系统在线标定方法，由于特征信息中可以含有特征物之间的距离信息，因此动态图像序列的视频中同样识别出两个或者两个以上的特征物进行特征信息的提取。

S30、提取所述特征物的特征信息；

具体的，对特征物的特征信息进行提取，以作为标定过程中的拼接配对基准。特征物的特征信息包括但不局限于几何尺寸信息、相对位置关系以及其它的测量信息。车载环视系统中的各个相机具有统一的参数标定，各个相机均位于车载环视系统的全局坐标系中。该全局坐标系通常以车辆的几何中心位置作为原点，或一些实施例中，所述全局坐标系以车辆的前轴或后轴的中心位置作为原点。各个相机根据各自与车身的不同位姿和角度，基于参数标定可以将各自视频图像中的特征物投影于全局坐标系中。本申请车载环视系统在线标定方法可以根据标定参数将特征物投影于全局坐标系中，并将特征物的几何尺寸、不同特征物之间的相对位置关系作为特征信息进行保存。因为在同一时刻内特征物的几何尺寸、不同特征物之间的相对位置关系在现实世界中为客观不变的信息，因此特征信息可以作为不同相机之间的拼接配对的基准。

可以理解地，为了加快本申请车载环视系统在线标定方法的标定速度，也可以对特征物需要使用到的特征信息在全局坐标系中进行投影定位，例如，提取特征物的空间轮廓的交点、特征物的轮廓线斜率和截距等作为特征信息。对特征物需要使用到的特征信息在全局坐标系中进行投影定位，可以省去后续图像处理过程中不会使用到的特征物信息在投影定位过程中耗费的计算资源和时间，从而使得本申请车载环视系统在线标定方法的响应速度更快，对车载处理器的资源占用也更少。

S40、根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机；

具体的，在各个相机的视频图像中都对特征物的特征信息进行提取后，对环视系统中各个相机的视频图像进行拼接和配对处理。如前述提到，在两个或两个以上的相机之间，因为存在同一特征物，且根据该同一特征物提取了特征信息，因此在配对、拼接的过程中，可基于该特征信息在全局坐标系中的固定关系来进行视频图像的配对和拼接。可以理解地，当车载环视系统中各个相机的标定参数均处于预定状态时，拼接得到的环视图像中各个特征物的特征信息为严格对应的关系。而如果某一相机因为振动、轮胎漏气、擦挂等原因，其与车身的位姿和角度发生了偏移，则根据初始的标定参数，该相机获得的视频图像在拼接完成后会与其余未发生偏移的相机产生差异，导致拼接配对不成功，或拼接配对后组成的环视图像出现明显偏差。此时，车载处理器可以根据视频图像的处理结果，查找出需要标定的相机并将该需要标定的相机定义为目标相机。可以理解地，目标相机因为相对于车身的位姿发生了偏移，因此其获得的视频图像中识别出的特征物或特征物之间，在全局坐标系中的特征信息与车载环视系统中其余相机的特征信息出现偏差。在本申请车载环视系统在线标定方法中，并不严格规定一次拼接过程中判断出的目标相机的个数，即需要后续优化标定的目标相机可以为一个，也可以为多个。

另一方面，因为车载环视系统例如采用鱼眼相机等广角摄像头或车载相机进行图像采集，因此在采集到各个相机的视频图像后通常需要进行视频图像的畸变修正，才能完成拼接配对动作。该畸变修正的动作可以在本步骤中进行，也可以在步骤“S10、通过车载环视系统中各相机采集车辆周围的视频图像”后立即进行。可以理解地，在对视频图像进行畸变校正之后，更有助于车载处理器对特征物的准确识别选取。

S50、实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿。

具体的，在确定到目标相机之后，车载处理器根据目标相机中的特征信息与车载环视系统中的其它相机的特征信息的偏差量，来对目标相机的标定参数进行优化。该优化的过程也可以描述为对目标相机进行重新标定的过程。即根据目标相机中的特征信息与其它相机的特征信息的偏差量，来计算所述目标相机当前相对于车辆的位姿和角度，并以此为基准对目标相机的标定参数进行重新计算和赋值，使得所述目标相机中的特征信息能与其它相机中的特征信息重新匹配。可以理解地，优化标定后的目标相机因为特征信息与其它相机中的特征信息相匹配，而使得优化后的目标相机能重新与其它相机处于同一全局坐标系中，其重新采集到的视频图像也得以与其它相机的视频图像通过拼接和配对，从而得到准确的环视图像，以提供有效的驾驶辅助。

需要提出的是，本实施例中所述车载环视系统中的其它相机，应为在该车载环视系统中标定正确的相机。当所述车载环视系统中有多个相机为目标相机时，所述目标相机本身不能作为本实施例中描述的“其它相机”这一概念来作为另一个目标相机的对应基准。

由此，本申请车载环视系统在线标定方法在车辆行驶的过程中，可以基于车载环视系统获得各个相机的视频图像基础上，从各个视频图像中识别到特征物，并通过特征物提取到用于拼接和配对用的特征信息，来对各个相机的视频图像进行拼接。在拼接过程中，特征信息作为拼接基准，可以判断出是否存在与车辆的相对位姿或角度发生偏移的目标相机。如果存在目标相机，本方法继续基于车载环视系统中提取到的特征信息来对该目标相机进行优化标定。优化标定的具体手段为根据目标相机中的特征信息与其它相机的特征信息的偏差量，来计算该目标相机当前相对于车辆的位姿和角度，并以此为基准对目标相机的标定参数进行重新计算和赋值，使得所述目标相机中的特征信息能与其它相机中的特征信息重新匹配。此外，由于本申请车载环视系统在线标定方法是针对一组连续帧的视频图像来进行优化标定工作，因此相对于静态的标定，连续帧的视频图像可提供的优化标定样本更多，其优化标定后得到的数据结果更加可信，准确率更高。

本申请车载环视系统在线标定方法可以在车辆行驶的过程中完成对目标相机的检测和标定，相对于现有的定点标定方法，无需将车辆开到指定地点，也省去了专门摆放特征物的繁琐操作，具备更便捷、实时性好、效率更高的优点。特别在车辆行驶过程中发生碰撞、轮胎漏气等情况下，可以在环视系统发生较大变化的情况下通过本申请车载环视系统在线标定方法来完成实时标定优化，保证车载环视系统的有效工作。

在其他实施例中，在所述实时对需要标定的相机进行优化标定以获取所述目标相机相对于所述车辆的位姿之后，本申请的车载环视系统在线标定方法还可以包括：

S60、重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。

具体的，在对目标相机进行优化标定后，可以对优化标定的结果进行验证。即重新将环视系统中各个相机采集到的视频图像先后进行特征物识别、特征信息提取、视频图像拼接配对的过程，并依据拼接配对得到的环视图像来判定之前对目标相机的优化标定是否准确。可以理解地，车载处理器中可以预设一偏差阈值，该偏差阈值用于对目标相机的优化标定进行比较判定。即在重新采集车载环视系统中各个相机的视频图像并拼接配对之后，车载处理器将重新标定后的目标相机的特征信息偏差量与偏差阈值进行比较，若重新标定后的目标相机的特征信息偏差量小于或等于所述偏差阈值，则可以判定本次对目标相机的优化标定为合格。若重新标定后的目标相机特征信息偏差量大于所述偏差阈值，则判定本次对目标相机的优化标定不合格，需要重新对目标相机采用上述的各步骤进行优化标定，直到优化标定的目标相机特征信息偏差量小于或等于所述偏差阈值为止。

一种实施例参见图3，图3是图1所示车载环视系统在线标定方法中步骤S20的子步骤的流程图。在本申请实施例中，所述步骤S20从所述视频图像中识别出在线标定过程中的特征物，包括：

S21、提取与所述车辆的行驶路线平行的直线物体作为直线特征物；

具体的，本申请车载环视系统在线标定方法中，对于两个或两个以上的特征物的提取，可以包括一个直线特征物和一个轮廓特征物。直线特征物需要平行于车辆的行驶路线，也即驾驶人员在采用本申请车载环视系统在线标定方法时，宜在平直的道路上平行于直线物体行驶。前述中提到，可以识别如车道线、斑马线、停止线、人行道沿等物体为直线特征物。因为直线特征物的距离较长，所述车载环视系统中的多个相机采集到的视频图像中都可以采集到该直线特征物。由此，所述直线特征物可以成为多个相机中共用的基准，在多个相机基于特征信息进行视频拼接配对的过程中，共用的基准有助于消除环视系统的误差，提高拼接配对的准确率。

S22、提取至少可提供一个位于所述直线特征物之上的轮廓交点的物体为轮廓特征物。

具体的，在确定到直线特征物后，出于计算特征物之间的距离值作为特征信息的需要，还要求在直线特征物之上再识别一处轮廓特征物。该轮廓特征物需要至少提供一轮廓交点，该轮廓交点位于直线特征物之上，以便于提取特征物之间的距离值作为特征信息。本实施例中对于轮廓特征物的具体形状不做特别要求，即轮廓特征物可以为直线特征物，也可以为区别于所述直线特征物的任意形状的物体，具体为，只要车载处理器在对该物体进行特征信息提取时，能够从该物体的轮廓中识别到一个位于所述直线特征物之上的交点，即可被识别为轮廓特征物。可以理解地，所述轮廓特征物可以为多个轮廓交点均位于直线特征物之上的物体，或所述车载处理器从视频图像中识别出多个至少提供一个直线特征物之上的轮廓交点的物体为轮廓特征物。

一种实施例参见图4，图4是图1所示车载环视系统在线标定方法中步骤S30的子步骤的流程图。在本申请实施例中，当分别确定到直线特征物和轮廓特征物之后，所述步骤S30提取所述特征物的特征信息，包括：

S31、从所述直线特征物中提取基准线；

具体的，前述中提到，直线特征物在本申请方法中的作用，可以在多个相机中提供共用的直线作为基准，即车载处理器可以从多个相机的视频图像中通过直线特征物提出去共用的基准线。因为直线特征物在客观世界中即为直线形物体，因此其提供的多个视频图像中共用的基准线，也可以视为统一且可信的基准作为特征信息进行提取。

另一方面，车载处理器从视频图像中的直线特征物中提取基准线，需要将基准线转化为全局坐标系中的线性表达式来进行定位。通常一些实施例中可以采用下述的线性表达式为：

Yi＝ki*X+bi； (1)

其中，k表示斜率，b表示截距，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，i表示所述相机的编号，且i为大于等于1的正整数。由此，当车载环视系统中各相机的标定参数为准确值时，车载处理器从不同相机的视频图像中识别到的直线特征物，其投影到全局坐标系中后，提取出的基准线表达式应该为统一的表达式。即基准线在各个相机的标定参数中，其相对于全局坐标系原点的截距都应相同，其相对于全局坐标系中坐标轴线的斜率也应相同。后续以基准线作为基准进行拼接配对时，也可以得出较为准确的环视图像。

S32、从所述轮廓特征物提取位于所述直线特征物之上的所述轮廓交点的坐标值；

具体的，车载处理器需要对轮廓特征物建立外形轮廓，并从该外形轮廓中提取出轮廓的交点。该轮廓交点需要位于直线特征物之上，以便于后续步骤中计算该轮廓交点相对于基准线的距离。车载处理器将各个视频图像中的轮廓交点投影于全局坐标系中，可以以(x，y)的坐标来表达。同样的道理，当车载环视系统中各相机的标定参数为准确值时，车载处理器从不同相机的视频图像中识别到的轮廓特征物物，其投影到全局坐标系中后，提取出的同一轮廓交点坐标也应该为统一的坐标。后续以该坐标作为基准进行拼接配对时，也可以得出较为准确的环视图像。

S33、计算所述轮廓交点到所述基准线的距离值。

具体的，特征物的特征信息还包括有特征物之间的距离值，来进一步保证图像拼接配对的准确性。距离值可以使得直线特征物和轮廓特征物之间产生联系，将直线特征物的特征信息与轮廓特征物的特征信息关联在一起。通常的，对于轮廓交点与基准线之间的距离值，可以采用如下公式进行计算：

其中，x、y为所述轮廓交点在所述视频图像中的坐标，i表示所述相机的编号，且i为大于等于1的正整数。即在各个相机的视频图像中，其轮廓交点距离基准线的距离，与轮廓交点在全局坐标系中的坐标值(x，y)、基准线在全局坐标系中的斜率k以及基准线的截距b都具有对应关系。

由此，车载处理器在分别从直线特征物和轮廓特征物上提取出关键信息后，还将直线特征物和轮廓特征物之间的信息也进行提取，对直线特征物和轮廓特征物之间建立关联，便于后续的拼接配对和优化标定步骤使用。

一种实施例参见图5，图5是图1所示车载环视系统在线标定方法中步骤S40的子步骤的流程图。在本申请实施例中，所述步骤S40根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机，包括：

S41、基于所述基准线、所述轮廓交点的坐标值以及所述距离值为基准对所述视频图像进行拼接配对；

具体的，相邻两个或两个以上的相机中，会存在相同的直线特征物和轮廓特征物。车载处理器基于从该特征物上分别提取到的基准线、轮廓交点的坐标值以及轮廓交点与基准线的距离值等特征信息，对环视系统中各个相机的视频图像分别进行拼接配对，以获得环视图像。

S42、根据拼接结果确定需要标定的所述相机为所述目标相机；

具体的，车载处理器在拼接得到的环视图像中，以基准线为基础检查轮廓交点的相对距离，或直接查找轮廓交点再提取基准线信息，来检查拼接的环视图像是否严格重合。可以理解地，当环视系统中各相机的标定参数统一，且没有相机相对于车辆的位姿或角度发生变化时，各个相机根据自身标定参数提取到的直线特征物或轮廓特征物的位置信息，应该严格对应。由此获得的拼接环视图像，也为严格相互匹配的环视图像。而当其中一个相机或一个以上的相机相对于车辆的位姿或角度发生变化时，或者其基准线的位置跑偏，此时目标相机的公式(1)中k，b的值至少一个与其它相机的k，b值无法对应。或者，目标相机的轮廓交点的位置与其它相机无法对应。进一步的，通过公式(2)计算获得的轮廓交点到基准线的距离值Di也会与其它相机的距离值发生偏差。由此，可以通过拼接配对的环视图像结果，找到与其它相机不对应的相机，定义其为目标相机，由车载处理器后续对该目标相机进行优化标定。

优化标定的具体过程，需要将其它相机的公式(1)作为基准，再以目标相机的轮廓交点坐标值代入公式(2)中，计算轮廓交点与基准线之间的距离达到最小，由此获得优化标定的结果。可以理解的，此时公式(1)中的i值应为其它相机的编号，而公式(2)中的x和y值，为目标相机中轮廓交点的坐标值。

另一种实施例参见图6，图6也是图1所示车载环视系统在线标定方法中步骤S40的实施例中子步骤的流程图。在本申请实施例中，所述步骤S40所述根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机，还包括：

S41a、基于所述车载环视系统的初始基准对所述视频图像进行拼接配对；

具体的，在本实施例中，车载处理器在对环视系统中各个相机的视频图像进行拼接配对时，是根据各个相机的初始基准来完成的。即各个相机具有基于全局坐标系的标定参数，车载处理器对各个相机的视频图像进行拼接时，并不考虑特征物和特征信息的因素，而是直接采用各个相机的初始基准来完成环视图像的拼接配对。

S42a、基于所述基准线、所述轮廓交点的坐标值以及所述距离值来确定所述目标相机。

请一并参阅图7，图7为本申请车载环视系统基于初始基准完成拼接配对后形成的环视图像示意图。可以看出，在环视系统中一个相机相对于车辆发生位姿或角度偏移之后，基于初始基准拼接配对后得到的环视图像出现了跑偏的情况(在图7示意图中表现为右侧相机跑偏)。此时得到的环视图像不能完整、连续的展示车辆周围的环境信息。同时也表现为该相机在环视图像中的直线特征物和轮廓特征物在全局坐标系中与其它相机的视频图像发生了偏移。车载处理器在完成环视图像的拼接后，对之前提取的道路特征物在BEV图中进行检测，确定标定不正确的相机，直线特征物和轮廓特征物的表现形式均发生了偏差，此时定义表现形式发生偏差的相机为需要优化标定的目标相机。

一种实施例，车载处理器在实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿时，基于所述距离值对所述目标相机进行优化标定。

具体的，在对目标相机的优化标定过程中，通过对目标相机的标定参数重新赋值，并重新计算目标相机的距离值Di，使得Di与其它相机的距离值差值一致或最小，来完成对目标相机的优化标定过程。前述中提到，因为距离值Di是建立于直线特征物与轮廓特征物之间的关联特征信息，对距离值Di的修正，可以同时修正直线特征物与轮廓特征物两个特征物的偏差情况。相较于只针对直线特征物进行修正，即只基于基准线来修正目标相机的标定参数，本申请环视系统在线标定方法可以避免在基准线得到修正之后，轮廓交点的坐标依然跑偏，无法满足修正要求的情况。反之，相较于只针对轮廓特征物进行修正，本申请环视系统在线标定方法也可以避免在轮廓交点得到修正之后，基准线继续跑偏而无法满足修正要求的情况。在两个特征物之间建立关联，并根据该关联信息进行坐标参数的优化修正，可以提高修正效率，同时保证修正后各个特征物的特征信息与其它相机的特征信息均保持一致。

同时，在图6所示的实施例中，车载处理器对环视图像的拼接配对不需要采用基准线、轮廓交点坐标值以及距离值等特征信息，而是基于各个相机在环视系统中的初始基准来完成。只在后续的确定目标相机的过程中，才利用到特征物的特征信息，可以提高环视图像的拼接配对速度，同时通过特征物的特征信息来保证判定目标相机的准确性，可以进一步提高本申请环视系统在线标定方法的标定效率。

需要提出的是，本申请环视系统在线标定方法在执行的过程中，如果道路环境中没有出现直线特征物，则可以通过两个或多个轮廓特征物之间的距离信息来完成优化标定工作。即通过提取多个轮廓特征物之间的位置关系来对目标相机进行优化标定工作。亦或者，在车辆行驶过程中，如果某一轮廓特征物消失于环视系统的采集范围之上，车载处理器可以通过采集新的轮廓特征物补入来完成轮廓特征点的提取。

请参看图8，图8是本申请实施例提供的一种车载环视系统在线标定系统100的示意图。在本申请实施例中，所述车载环视系统在线标定系统具体包括：

视频采集模块101，用于通过车载环视系统中各相机采集车辆周围的视频图像；

特征物拾取模块102，从所述视频图像中识别出在线标定过程中的特征物；

特征参数提取模块103，用于提取所述特征物的特征信息；

相机标定判断模块104，用于根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机；

标定参数优化模块105，用于实时对需要标定的相机进行优化标定以获取所述目标相机相对于所述车辆的位姿；

标定结果检验模块106，用于重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。

可以理解地，本申请车载环视系统在线标定系统100可用于执行上述的车载环视系统在线标定方法。具体的，视频采集模块101利用车载环视系统中各相机来采集车辆周围的视频图像，然后由特征物拾取模块102从各个相机采集到的视频图像中识别出标定过程中会使用到的特征物。特征参数提取模块103对拾取的特征物进行特征信息提取，再由相机标定判断模块104对各个相机的视频图像进行拼接配对，然后基于特征信息的偏差来确定到环视系统中是否存在目标相机。当确定到目标相机后，标定参数优化模块105实时对需要标定的相机进行优化标定，获取目标相机相对于车辆的位姿。最后，在完成对目标相机优化标定的基础上，标定结果检测模块106重新采集车载环视系统中相机的视频图像，并拼接验证目标相机的优化标定结果。当标定结果检测模块106的验证结果表明目标相机的优化标定未达标时，可以重新通过本申请车载环视系统在线标定系统100对目标相机进行优化标定。

本申请车载环视系统在线标定系统100在采用了上述的在线标定方法后，可以在行车过程中通过动态视频的采集来完成环视系统的在线标定工作，并通过动态视频图像来进行检测，由此提高了环视系统的标定效率，扩展了在线标定系统的适用场景和范围。具有实时性、效率高、适用范围广的优点。

一种可选的实施例，特征物拾取模块102还用于从所述视频图像中识别出在线标定过程中的特征物时，提取与所述车辆的行驶路线平行的直线物体作为直线特征物；

特征物拾取模块102还用于提取至少可提供一个位于所述直线特征物之上的轮廓交点的物体为轮廓特征物。

一种可选的实施例，在提取所述特征物的特征信息时，特征参数提取模块103用于从所述直线特征物中提取基准线；

特征参数提取模块103还用于从所述轮廓特征物提取位于所述直线特征物之上的所述轮廓交点的坐标值；

特征参数提取模块103还用于计算所述轮廓交点到所述基准线的距离值。

一种可选的实施例，特征参数提取模块103用于从所述直线特征物中提取基准线时，用如下公式表达：Yi＝ki*X+bi；

其中k表示斜率，b表示截距，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，i表示所述相机的编号，且i为大于等于1的正整数。

特征参数提取模块103还用于计算所述轮廓交点到所述基准线的距离值时，运用公式计算所述轮廓交点到所述基准线的距离值；

其中x、y为所述轮廓交点在所述视频图像中的坐标。

一种可选的实施例，相机标定判断模块104用于根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机时，基于所述基准线、所述轮廓交点的坐标值以及所述距离值为基准对所述视频图像进行拼接配对；

相机标定判断模块104还用于根据拼接结果确定需要标定的所述相机为所述目标相机。

另一种可选的实施例，相机标定判断模块104用于根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机，基于所述车载环视系统的初始基准对所述视频图像进行拼接配对；

相机标定判断模块104还用于基于所述基准线、所述轮廓交点的坐标值以及所述距离值来确定所述目标相机。

一种可选的实施例，标定参数优化模块105用于实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿时，基于所述距离值对所述目标相机进行优化标定。

需要说明的是，图8中的各个操作的实现还可以对应参照上述的方法实施例的相应描述。

本申请还涉及一种车载环视系统在线标定装置200，请参见图9，包括处理器201、输入设备202、输出设备203和存储装置，所述处理器201、输入设备202、输出设备203和存储装置204相互连接，其中，所述存储装置204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201被配置用于调用所述程序指令，执行上所述的车载环视系统在线标定方法。

具体的，处理器201调用存储装置204中存储的程序指令，执行以下操作：

通过车载环视系统中各相机采集车辆周围的视频图像；

从所述视频图像中识别出在线标定过程中的特征物；

提取所述特征物的特征信息；

根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机；

实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿。

存储装置204可以包括易失性存储装置(volatile memory)，例如随机存取存储装置(random-access memory，RAM)；存储装置204也可以包括非易失性存储装置(non-volatile memory)，例如快闪存储装置(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置204还可以包括上述种类的存储装置的组合。

处理器201可以是中央处理器(central processing unit，CPU)。该处理器201还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在所述实时对需要标定的相机进行优化标定以获取所述目标相机相对于所述车辆的位姿之后，执行以下操作：

重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在从所述视频图像中识别出在线标定过程中的特征物时，执行以下操作：

提取与所述车辆的行驶路线平行的直线物体作为直线特征物；

提取至少可提供一个位于所述直线特征物之上的轮廓交点的物体为轮廓特征物。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在提取所述特征物的特征信息时，执行以下操作：

从所述直线特征物中提取基准线；

从所述轮廓特征物提取位于所述直线特征物之上的所述轮廓交点的坐标值；

计算所述轮廓交点到所述基准线的距离值。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在从所述直线特征物中提取基准线时，执行以下操作：

从所述直线特征物提取到的基准线用如下公式表达：Yi＝ki*X+bi；

其中k表示斜率，b表示截距，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，i表示所述相机的编号，且i为大于等于1的正整数；

处理器201调用存储装置204存储的程序指令，在计算所述轮廓交点到所述基准线的距离值时，执行以下操作：

运用公式计算所述轮廓交点到所述基准线的距离值；

其中x、y为所述轮廓交点在所述视频图像中的坐标。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机时，执行以下操作：

基于所述基准线、所述轮廓交点的坐标值以及所述距离值为基准对所述视频图像进行拼接配对；

根据拼接结果确定需要标定的所述相机为所述目标相机。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机时，执行以下操作：

基于所述车载环视系统的初始基准对所述视频图像进行拼接配对；

基于所述基准线、所述轮廓交点的坐标值以及所述距离值来确定所述目标相机。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿时，基于所述距离值对所述目标相机进行优化标定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (6)

1.一种车载环视系统在线标定方法，其特征在于，包括：

通过车载环视系统中各相机采集车辆周围的视频图像；

从所述视频图像中识别出在线标定过程中的特征物，包括：提取与所述车辆的行驶路线平行的直线物体作为直线特征物，提取至少可提供一个位于所述直线特征物之上的轮廓交点的物体为轮廓特征物；

提取所述特征物的特征信息，包括从所述直线特征物中提取基准线；从所述轮廓特征物提取位于所述直线特征物之上的所述轮廓交点的坐标值；计算所述轮廓交点到所述基准线的距离值；

根据所述特征信息对所述视频图像进行处理，确定需要标定的相机为目标相机，包括：基于所述基准线、所述轮廓交点的坐标值以及所述距离值为基准对所述视频图像进行拼接配对；根据拼接结果确定需要标定的所述相机为所述目标相机；或者，基于所述车载环视系统的初始基准对所述视频图像进行拼接配对，基于所述基准线、所述轮廓交点的坐标值以及所述距离值来确定所述目标相机；

实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿。

2.根据权利要求1所述的方法，其特征在于，在所述实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿之后，还包括：

重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。

3.根据权利要求1所述的方法，其特征在于，所述从所述直线特征物中提取基准线，包括：

从所述直线特征物提取到的基准线用如下公式表达：Yi＝ki*X+bi；

其中，k表示斜率，b表示截距，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，i表示所述相机的编号，且i为大于等于1的正整数；

所述计算所述轮廓交点到所述基准线的距离值，包括：

运用公式计算所述轮廓交点到所述基准线的距离值；

其中，x、y为所述轮廓交点在所述视频图像中的坐标。

4.根据权利要求1所述的方法，其特征在于，所述实时对所述目标相机进行优化标定以获取所述目标相机相对于所述车辆的位姿时，基于所述距离值对所述目标相机进行优化标定。

5.一种车载环视系统在线标定系统，其特征在于，所述车载环视系统在线标定系统用于实现如权利要求1-4中任一项所述的车载环视系统在线标定方法，包括：

视频采集模块：用于通过车载环视系统中各相机采集车辆周围的视频图像；

特征物拾取模块：从所述视频图像中识别出标定过程中的特征物；

特征参数提取模块：用于提取所述特征物的特征信息；

相机标定判断模块：用于根据所述特征信息对所述视频图像进行处理以确定需要标定的相机为目标相机；

标定参数优化模块：用于实时对需要标定的相机进行优化标定以获取所述目标相机相对于所述车辆的位姿；

标定结果检验模块：用于重新采集车载环视系统中相机的视频图像并拼接以验证所述优化标定。

6.一种车载环视系统在线标定装置，其特征在于，包括处理器、输入设备、输出设备和存储装置，所述处理器、输入设备、输出设备和存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至4中任一项所述的车载环视系统在线标定方法。