CN111462243A - 车载流媒体后视镜标定方法、系统及装置 - Google Patents

Abstract

本申请车载流媒体后视镜标定方法，首先通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像，再从所述视频图像中识别出标定过程中的特征物。从所述特征物中提取特征信息来对所述视频图像进行处理，根据所述特征信息对各相机的参数进行标定，得到车载流媒体后视镜中各相机与相机之间、相机与车辆之间准确的位姿信息，根据各相机与车之间的位姿信息，将左右及后视相机的图像拼接成可视范围更大的全景图像。本申请车载流媒体后视镜标定方法可以适应多种场景，具有精度高、速度快、适用范围广等特点。

Description

车载流媒体后视镜标定方法、系统及装置

技术领域

本申请涉及车辆领域，尤其涉及一种辅助驾驶的车载流媒体后视镜标定方法，以及执行上述方法的车载流媒体后视镜标定系统和车载流媒体后视镜标定装置。

背景技术

车载流媒体后视镜通过在车辆两侧后视镜及尾部安装多个相机(如图1所示)，并采用车载处理器对得到的多路视频图像进行拼接处理，为驾驶员提供车辆两侧及后方视觉盲区的全景图像(如图2)，从而提高驾驶的安全性。车载流媒体后视镜内的相机数量通常不小于3个，各相机之间以及相机与车辆之间的位姿标定是车载流媒体后视镜的一个关键环节。针对不同的场景，车载流媒体后视镜一般采用不同的标定方法，比如当车辆还在产线上时，可以在特定的工位上采用定位设备(如四轮定位设备)准确地确定车辆的位置，从而简化整个车载流媒体后视镜的标定。而在实际实用中，考虑到车载流媒体后视镜的有效性，还需要有其它的标定方法用于4S店的标定，或者更通用的直接在线标定。

标定系统的精度以及便利性直接决定了车载流媒体后视镜的效果和便利性，所以，精度、效率和适用性是车载流媒体后视镜标定方案需要考虑的主要问题。然而，现有的标定系统中往往存在：标定精度不高的问题，从而降低了车载流媒体后视镜的精度；标定执行效率较低的问题，从而不适用于如流水线等实时性要求较高的场合；现有的标定系统又采用了复杂的辅助设备或设施，从而大大降低了其适用性。

发明内容

本申请提出一种在多场景下均可实现快速、准确标定的车载流媒体后视镜标定方法，具体包括如下技术方案：

一种车载流媒体后视镜标定方法，包括：

通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像；

从所述视频图像中识别出标定过程中的特征物；

提取所述特征物的特征信息；

根据所述特征信息对各相机进行标定参数的优化。

本申请车载流媒体后视镜标定方法，基于车载流媒体后视镜采集各相机的视频图像，然后从各视频图像中识别出标定过程中会使用到的特征物，并针对所述特征物提取到有用的特征信息。最后根据所述特征信息对各个相机进行标定参数的优化。因为特征物可以为已知原始特征信息的人工标记物，也可以为视频图像中共有的直带状物体，因此特征物可以作为标定的基准来对各个相机进行优化。本申请标定方法对特征物的要求相对宽松，以使得本申请标定方法的适用范围较大。经优化标定的车载流媒体后视镜可以拼接得到可靠的全景图像，从而提供驾驶员视觉盲区的环境信息，辅助驾驶员安全驾驶车辆。

其中，在所述根据所述特征信息对各相机进行标定参数的优化之后，还包括：

基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。重新根据标定参数优化的结果获取车载流媒体后视镜中各相机的视频图像，并拼接出全景图像，可以对标定参数的优化的结果进行验证，提高标定参数优化的准确度。

其中，所述基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证，包括：

基于各所述相机的所述优化标定结果重新对所述视频图像赋值；

基于重新赋值的所述视频图像拼接以形成全景图像；根据所述全景图像来验证所述优化标定。

根据全景图像，采用重投影误差或光束法平差来验证标定结果，可以针对不同的应用场景，本方法采用的不同优化手段，来对标定结果进行更准确的验证。

其中，所述通过车载流媒体后视镜中各相机采集车辆周围的视频图像之前，还包括：

在指定位置摆放人工标记物。

其中，所述从所述视频图像中识别出标定过程中的特征物，还包括：

从所述视频图像中识别出所述人工标记物作为标定过程中的特征物。

所述提取所述特征物的特征信息，包括：

提取所述人工标记物的特征信息。

人工标记物可以提供更准确的标定基准，有利于提高标定结果的可靠性。

其中，所述根据所述特征信息对各相机进行标定参数的优化，包括：

调用预存的所述人工标记物的原始特征信息；

将提取到的所述人工标记物的所述特征信息与预存的所述原始特征信息进行比较；

基于所述特征信息与所述原始特征信息的差值对各个所述相机进行标定参数的优化。

将人工标记物的原始特征信息与视频图像中识别到的人工标记物进行比较判定，可以准确的查找到位姿出现变化的相机，并进行针对性的标定参数的优化。

其中，所述从所述视频图像中识别出所述人工标记物作为标定过程中的特征物，包括：

自动从所述视频图像中识别出所述人工标记物；

手动确认所述人工标记物作为标定过程中的特征物。

加入手动确认过程，可以在标定场景相对复杂的情况下，保证对人工标记物在视频图像中的准确识别。

其中，所述从所述视频图像中识别出标定过程中的特征物，包括：

查找所述视频图像中是否包含一共同的直带状物体；

若存在所述共同的直带状物体，则识别所述直带状物体为特征物。

直带状物体因为形状较长，可以在多个相机之间出现，并形成多个视频图像共有的具备一定可信度的基准。

其中，所述基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证，包括：

重新采集所述车载流媒体后视镜中各相机的视频图像；

基于所述标定参数优化的结果对所述视频图像拼接以形成全景图像；

对所述全景图像进行人工判定以验证所述标定结果。

加入人工判定过程，可以在标定基准可信度存在缺陷，现有计算判断方法较难达标的情况下，通过人工判定来对拼接得到的全景图像进行评价，避免本方法被反复重新执行，浪费车载处理器的资源。

其中，所述提取所述特征物的特征信息，包括：

将所述特征物的特征信息投影于全局坐标系中；

在所述全局坐标系中提取所述特征信息。

将所述特征物投影于所述全局坐标系中，并直接从所述全局坐标系中提取所述特征信息，可以加快本方法的运算速度，提高实时性。

其中，所述流媒体后视镜中各相机的视场角在60°～80°之间。

流媒体后视镜采用更小的视场角相机，可以避免视频图像产生较大的畸变，更准确的还原全景图像。

本申请涉及一种车载流媒体后视镜标定系统，包括：

视频采集模块：用于通过车载流媒体后视镜中各相机采集车辆周围的视频图像；

特征物拾取模块：从所述视频图像中识别出标定过程中的特征物；

特征参数提取模块：用于提取所述特征物的特征信息；

标定参数优化模块：用于根据所述特征信息对各相机进行标定参数的优化；

标定结果检验模块：用于基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

本申请车载流媒体后视镜标定系统通过各个模块之间的配合工作，可以实施上述的车载流媒体后视镜标定方法，从而在车辆生产线上、4S店或空旷场地、以及行驶过程中实现车载流媒体后视镜有效的优化标定，具备较高的标定准确率。车辆在装备此系统后拓宽了标定的适用场景和范围，提高了车载流媒体后视镜标定的便捷性和实时性。

本申请还涉及一种车载流媒体后视镜标定装置，包括处理器、输入设备、输出设备和存储装置，所述处理器、输入设备、输出设备和存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上所述的车载流媒体后视镜标定方法。

本申请车载流媒体后视镜标定装置，同样可以实施上述的车载流媒体后视镜标定方法，从而在车辆生产线上、4S店或空旷场地、以及行驶过程中实现车载流媒体后视镜有效的优化标定，具备较高的标定准确率。车辆在装备此系统后拓宽了标定的适用场景和范围，提高了车载流媒体后视镜标定的便捷性和实时性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1是现有技术中的车载流媒体后视镜的示意图；

图2是图1所示车载流媒体后视镜拼接得到的全景图像的示意图；

图3是本申请实施例提供的一种车载流媒体后视镜标定方法的流程图；

图4是图3所示车载流媒体后视镜标定方法的逻辑图；

图5是图3所示车载流媒体后视镜标定方法中步骤S105的子步骤的流程图；

图6是本申请实施例提供的另一种车载流媒体后视镜标定方法的流程图；

图7是图6所示车载流媒体后视镜标定方法中步骤S203的子步骤的流程图；

图8是本申请实施例提供的又一种车载流媒体后视镜标定方法的流程图；

图9是图3所示车载流媒体后视镜标定方法中步骤S103的子步骤的流程图；

图10是本申请实施例提供的一种车载流媒体后视镜标定系统的示意图；

图11是本申请实施例提供的一种车载流媒体后视镜标定装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参看图3和图4，图3是本申请实施例提供的一种车载流媒体后视镜标定方法的流程图，图4是本申请所述车载流媒体后视镜标定方法的逻辑图。在本申请实施例中，所述车载流媒体后视镜标定方法至少包括以下步骤：

S101、通过车载流媒体后视镜中各相机采集车辆两侧和后方的视频图像；

具体的，车辆上安装有车载流媒体后视镜。该车载流媒体后视镜包括有设于车辆两侧后视镜以及尾部的摄像头或车载相机等相机，车载流媒体后视镜中的摄像头或车载相机的总数量一般不小于3个。当摄像头或车载相机的数量为3个时，3个摄像头或车载相机通常分别布置于车辆的左右后视镜处以及车辆的尾部三个位置，用于采集车辆两侧以及后方的视频图像。车载流媒体后视镜采集到的全景图像，可以在驾驶员注视车辆前方时对驾驶员的视觉盲区形成有效补充，提高车辆的安全性。不同于车载环视系统等采用的广角相机和鱼眼相机，车载流媒体后视镜的摄像头或车载相机是在功能上替代普通车辆上的后视镜而设计，因此车载流媒体后视镜需要具备更小的视场角(FOV在60°～80°之间，包括端点)来避免视频图像产生较大的畸变，从而在驾驶员在使用车载流媒体后视镜时能更准确的将车身两侧和后方的环境信息给驾驶员。因为车载流媒体后视镜的这些特点，至少3个摄像头或车载相机各自采集到的视频图像在相互拼接后形成连续的车辆两侧及后方的全景图像，可以获得更远距离的环境信息。同时由于视场角更小，车载流媒体后视镜中的各个相机采集到的视频图像中可用信息更多，但也容易出现视频图像中的信息量溢出，难于从较为繁杂的视频图像中准确提取到对标参照的缺陷。为此，流媒体后视镜中各相机的内外参数标定是组成可靠全景图像的基础。同时，为了拓展车载流媒体后视镜的环境适应能力，摄像头或车载相机还可以采用具有夜视功能的摄像头或相机。

S102、从所述视频图像中识别出标定过程中的特征物；

具体的，从车载流媒体后视镜中每个相机采集到的视频图像中分别识别出特征物，并将特征物用于后续的优化标定。对于特征物的识别，包括车辆周围环境中出现的一些标记物，如车道线、斑马线、停止线、人行道沿等，也包括车辆周围环境中能稳定检测跟踪到的图像的特征点。图像的特征点可以为两个或两个以上的相机采集到的视频图像中都出现的物体。因为流媒体后视镜中各相机的视场角更小，因此直带状的特征物具备更大的几率出现在两个或两个以上的相机中，对于后续的优化标定过程，在没有初始基准的情况下，在两个或两个以上的相机之间出现同一特征物时，能应用到特征物的特征信息以对相机进行拼接配对。或者，特征物可以为人为摆放在特定位置的人工标记物。所述人工标记物在特定位置、特定大小和特定形状在视频图像中出现，车载处理器还可以将人工标记物识别为特征物，便于后续特征信息的提取。本申请车载流媒体后视镜标定方法，对于视频图像中的特征物的数量，因为特征信息中可以含有特征物之间的距离信息，因此视频图像中可以识别出两个或者两个以上的特征物进行特征信息的提取。

S103、提取所述特征物的特征信息；

具体的，对特征物的特征信息进行提取，以作为标定过程中的拼接配对基准。特征物的特征信息包括但不局限于几何尺寸信息、相对位置关系、颜色以及其它的测量信息。车载流媒体后视镜中的各个相机具有统一的参数标定，各个相机均位于车载流媒体后视镜的全局坐标系中。该全局坐标系通常以车辆的几何中心位置作为原点，或一些实施例中，所述全局坐标系以车辆的前轴或后轴的中心位置作为原点。本申请车载流媒体后视镜标定方法可以根据标定参数将特征物投影于全局坐标系中，并将特征物的几何尺寸、不同特征物之间的相对位置关系在全局坐标系中的坐标作为特征信息进行保存。因为在同一时刻内特征物的几何尺寸、不同特征物之间的相对位置关系在现实世界中为客观不变的信息，因此全局坐标系中的特征信息可以作为不同相机之间的拼接配对的基准。

对特征物需要使用到的特征信息在全局坐标系中进行投影定位，可以省去后续图像处理过程中不会使用到的特征物信息在投影定位过程中耗费的计算资源和时间，从而使得本申请车载流媒体后视镜标定方法的响应速度更快，对车载处理器的资源占用也更少。

请参看图9，图9为图3所示车载流媒体后视镜标定方法中步骤S103的子步骤的流程图。在本申请实施例中，在提取所述特征物的特征信息的过程中，所述步骤S103包括：

1031.将所述特征物的特征信息投影于全局坐标系中；

1032.在所述全局坐标系中提取所述特征信息。

可以理解地，各个相机根据各自与车身的不同位姿和角度，基于参数标定可以将各自视频图像中的特征物投影于全局坐标系中。为了加快本申请车载流媒体后视镜标定方法的标定速度，也可以对特征物需要使用到的特征信息在全局坐标系中进行投影定位，例如，提取特征物的空间轮廓的交点、特征物的轮廓线斜率和截距等作为特征信息，并计算其在全局坐标系中的坐标。

S104、根据所述特征信息对各相机进行标定参数的优化。

具体的，在各个相机的视频图像中都对特征物的特征信息进行提取后，根据特征信息对各个相机在车载流媒体后视镜中的标定参数进行优化。因为对特征物的识别，可以识别出预知位置、形状等特征信息的特征物，并针对特征物在全局坐标系中的实际位置与预知位置的偏差、实际形状与预知形状的偏差来对单个相机的标定参数进行优化。或者，当特征物在两个或两个以上的相机之间存在时，也可以根据该同一特征物对应到全局坐标系中的特征信息来对两个或两个以上的相机进行匹配优化，使得匹配优化后的特征物在两个或两个以上的相机各自的视频图像中，则基于该特征物的特征信息一致。可以理解地，当车载流媒体后视镜中各个相机的标定参数统一时，同一特征物在不同相机的视频图像中提取到的特征信息，其投影到全局坐标系中的坐标和表现形态一致或基本一致。而如果某一相机因为振动、轮胎漏气、擦挂等原因，由于车辆的车身的位姿和角度发生了偏移，则根据初始的标定参数，该相机获得的视频图像在拼接完成后会与其余未发生偏移的相机获得视频图像产生差异，导致该相机中特征物的特征信息与其它相机中的特征信息出现明显偏差。或者，相机中特征物的特征信息与预知的特征物的特征信息位置、形状出现偏差。此时，车载处理器可以根据特征信息的偏差，重新计算该相机相对于车辆、或该相机相对于其它相机之间的偏差变化量，最终通过对该相机进行优化标定来完成对该相机标定参数的修正，使得该相机的视频图像中特征物的特征信息与其它相机的视频图像中特征物的特征信息重新匹配。在本申请车载流媒体后视镜标定方法中，并不严格规定一次优化标定过程中判断出的出现偏差的相机个数。

另一方面，因为车载流媒体后视镜例如采用鱼眼相机等广角摄像头或车载相机进行图像采集，因此在采集到各个相机的视频图像后通常需要进行视频图像的畸变修正，才能完成特征信息的提取动作。该畸变修正的动作可以在本步骤中进行，也可以在步骤“S10、通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像”后立即进行。可以理解地，在对视频图像进行畸变修正之后，更有助于车载处理器对特征物的准确识别选取。

由此，本申请的车载流媒体后视镜标定方法在标定的过程中，可以基于车载流媒体后视镜获得各个相机的视频图像基础上，从各个视频图像中识别到特征物，并通过特征物提取到用于优化标定用的特征信息，来对各个相机的完成优化标定。在优化标定过程中，特征信息作为标定的基准，可以判断出是否存在与车辆的相对位姿或角度发生偏移的相机。优化标定后的相机因为特征信息与其它相机中的特征信息相匹配，而使得优化后的相机能重新与其它相机处于同一全局坐标系中，其重新赋值得到的视频图像也得以与其它相机的视频图像通过拼接和配对，从而得到准确的全景图像，以提供有效的驾驶辅助。

本申请的车载流媒体后视镜标定方法相对于现有的定点标定方法，不会对特征物提出特别要求。无论特征物是自动识别，还是人工设定，都可以通过对特征物的特征信息提取，来完成车载流媒体后视镜的优化标定。通过本申请的车载流媒体后视镜标定方法，无需刻意将车辆开到指定地点，部分情况下还省去了专门摆放特征物的繁琐操作，具备更便捷、实时性好、效率更高的优点。特别是在车辆行驶过程中发生碰撞、轮胎漏气等情况下，可以在车载流媒体后视镜发生较大变化的情况下通过本申请的车载流媒体后视镜标定方法来完成标定优化，保证车载流媒体后视镜的有效工作。

在其他实施例中，在根据所述特征信息对各相机进行优化标定之后，本申请的车载流媒体后视镜标定方法还可以包括：

S105、基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

具体的，在对车载流媒体后视镜中各个相机进行标定后，可以对标定的结果进行验证。即将车载流媒体后视镜中各个相机采集到的视频图像先后进行特征物识别、特征信息提取，并将采集到的视频图像基于特征信息进行拼接配对，通过对得到的全景图像来判定之前对相机的标定是否准确。可以理解地，车载处理器中可以预设一偏差阈值，该偏差阈值用于对相机的标定进行比较判定。即在重新赋值后的车载流媒体后视镜中各个相机的视频图像并拼接配对之后，车载处理器将重新标定后的相机的特征信息偏差量与该偏差阈值进行比较，若重新标定后的相机的特征信息偏差量小于或等于所述偏差阈值，则可以判定本次标定为合格。若重新标定后的相机特征信息偏差量大于所述偏差阈值，则判定本次对相机的标定不合格，需要重新进行标定，直到标定的相机特征信息偏差量小于或等于所述偏差阈值为止。

一种实施例参见图5，图5是图3所示车载流媒体后视镜标定方法中步骤S105的子步骤的流程图。在本申请实施例中，在基于所述标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证的过程中，所述步骤S105包括：

S1051、基于各所述相机的所述标定参数优化结果重新对所述视频图像赋值；

具体的，在验证标定的过程中，先对完成标定的车载流媒体后视镜各个相机中的视频图像重新赋值。

S1052、基于重新赋值的所述视频图像拼接以形成全景图像；

具体的，车载处理器将标定后的各个相机视频图像重新进行特征物识别、特征信息提取，并将采集到的视频图像基于特征信息进行拼接配对形成全景图像。

S1053、根据所述全景图像来验证所述标定参数的优化。

具体的，对重新拼接配对得到的全景图像采用重投影误差或光束法平差来验证标定的结果。重投影误差是利用理论的投影点与图像上的测量点的误差来评价标定的标准。光束法平差是基于成像光束空间交会的几何模型建立的评价标定的标准。即在本申请采用人工标记物来提取特征信息时，可以采用重投影误差来判定特征信息在全局坐标系中相对于原始特征信息的误差来判定标定是否满足要求。在本申请采用特征物以及特征物之间的相对位置作为特征信息时，可以采用光束法平差来基于各个相机的成像光束在空间的交会偏移量来判定标定是否满足要求。

一种实施例参见图6，图6是本申请实施例提供的另一种车载流媒体后视镜标定方法的流程图。在本申请实施例中，本申请车载流媒体后视镜标定方法包括如下步骤：

S201、在指定位置摆放人工标记物；

具体的，在指定位置摆放的人工标记物可以是不规则的标记物。人工标记物作为车载处理器中的已知信息，需设置于与已知信息匹配的指定位置，且人工标记物需要根据预设的角度摆放，如将人工标记物的特定面正对车辆正前方，或将该特定面正对车辆的几何中心等，使得人工标记物能够在视频图像中呈现特定的形状。人工标记物的大小、颜色等信息也可以为已知项，用于车载处理器对人工标记物的准确查找。

S202、通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像；

具体的，参照S101步骤的方法，通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像。各个相机实时采集的视频图像就是连续的静态图像的序列。同时，为了拓展车载流媒体后视镜的环境适应能力，摄像头或车载相机还可以采用具有夜视功能的摄像头或相机。

S203、从所述视频图像中识别出所述人工标记物作为标定过程中的特征物；

具体的，参照S102的方法，从视频图像中识别出S201中设置的人工标记物来作为标定过程中的特征物。因为人工标记物在视频图像中呈现特定的形状，可以有助于车载处理器从视频图像中识别出步骤人工标记物。车载处理器中可以基于该特定的形状逐个区域的对人工标记物进行框选，在视频图像中寻找符合该特定形状的图形。还可以结合人工标记物大小、形状，来帮助车载处理器对人工标记物的准确定位。

S204、提取所述人工标记物的特征信息。

具体的，参照S103的方法，从人工标记物中提取特征信息。因为人工标记物已经被确定为特征物，即人工标记物作为标定过程中应用到的基准物。在将人工标记物确定为特征物后，基于人工标记物来提取大小、尺寸、轮廓点、颜色等要素作为特征信息。该特征信息需要转化为车载流媒体后视镜中全局坐标系中的具体坐标。在一些实施例中，当人工标记物为两个或两个以上时，还可以提取两个或两个以上的人工标记物之间在全局坐标系中的相对位置关系作为特征信息。可以理解的，两个或两个以上的人工标记物实施例中，两个或两个以上的人工标记物均位于各自的指定位置上，且两个或两个以上的人工标记物分别根据预设的角度摆放，以使得两个或两个以上的人工标记物在视频图像中均呈现为特定的形状。由此才能保证两个或两个以上的人工标记物之间的相对位置关系准确可信。

S205、调用预存的所述人工标记物的原始特征信息；

具体的，车辆中还设有存储器，该存储器中预存有人工标记物的原始特征信息。原始特征信息包含有人工标记物的大小、尺寸、轮廓点、颜色等要素中的一者或多者，以及其对应于流媒体后视镜全局坐标系中的具体坐标。可以理解的，人工标记物的原始特征信息需要与车载处理器提取的特征信息相对应。即车载处理器在从人工标记物上提取特征信息时，其提取的特征信息的种类和数量，是基于存储器中预存的人工标记物原始特征信息所对应的。当人工标记物的原始特征信息为两个或两个以上的人工标记物之间的特征信息时，车载处理器也可以同时查找该两个或两个以上的人工标记物，并提取该两个或两个以上人工标记物之间的特征信息。

S206、将提取到的所述人工标记物的所述特征信息与预存的所述原始特征信息进行比较；

具体的，人工标记物的原始特征信息，是在车载流媒体后视镜处于初始设定，或基于初始设定的条件下标定准确的原始特征信息。在车载流媒体后视镜中，各相机的初始标定参数处于统一的全局坐标系下。而原始特征信息在统一的全局坐标系下具有初始坐标(轮廓点)或初始坐标的集合(轮廓线)。在车载流媒体后视镜中各个相机与车辆之间，或者相机与相机之间没有出现位姿变化时，对于指定位置摆放的人工标记物，其在视频图像中呈现的位置、大小、轮廓点或颜色等要素，应与原始特征信息在全局坐标系中的坐标保持一致。而视频图像中的特征信息与原始特征信息发生偏差之后，可以断定该相机已经与车辆之间，或相机与相机之间发生了位姿变化。偏差是由于位姿变化而造成的，车载处理器对偏差量的计算，可以反向推导出相机与车辆，或相机与相机之间的偏差量大小。

S207、基于所述特征信息与所述原始特征信息的差值对各个相机进行标定参数的优化。

具体的，在车载处理器计算出人工标记物特征信息相对于初始特征信息的差值之后，可以根据相机的偏差量大小，来计算并修订相机的标定参数，即对相机的标定参数重新赋值，使得人工标记物的特征信息与初始特征信息重新匹配。可以理解的，每个相机中的人工标记物特征信息与其对应的特征信息匹配后，各个相机在车载流媒体后视镜中的标定参数均重新回到初始设定的全局坐标系中。由此为基准将视频信息拼接形成的全景图像，也能够相互匹配，形成较为准确的全景图像以辅助驾驶员的驾驶。

在本步骤中，还可以引入下述表达式来对人工标记物的特征信息相对于初始特征信息进行标定：

其中，m表示车载流媒体后视镜中相机的总数，n表示标定中人工标记物使用到的特征信息(或特征点)的总数，p_ki表示第i个特征信息特征点在第k个相机中的投影位置，K_k表示第k个相机投影矩阵，P_i表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离。运用该表达式，可以将各个相机中的人工标记物的特征信息与全局坐标系中的初始特征信息逐一进行标定，使得该特征信息与其对应的初始特征信息在全局坐标系中的差值最小化，从而达到流媒体后视镜中各相机均得到标定参数优化的效果。

S208、基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

具体的，如上述S105的步骤方法，在对车载流媒体后视镜中各个相机进行标定后，可以对标定的结果进行验证。且验证的方法也可以参见步骤S1053中的重投影误差或光束法平差来实施。

在本实施例中，因为人工标记物是相对于车辆的特定位置来设置的，因此车辆和人工标记物的初始特征信息可以视为确切已知的信息。将初始特征信息作为标定的基准，可以视为确切可信的基准。因此，本实施例适用于车辆在生产线上进行初始标定的工序上。此时车载流媒体后视镜中各相机可能并没有设定初始参数，人工标记物的初始特征信息是生产流水线上同车型作为基准来确定到的初始特征信息。线上标定动作因为生产线环境的固定可靠，该初始特征信息导入车载处理器之后，在车辆以及人工标记物位置相对确定的条件下，通过本申请车载流媒体后视镜标定方法对各个相机进行参数标定，可以获得准确的标定效果。同一人工标记物在同一特定位置的重复标定工序，避免了人工标记物因为位置偏差、外形误差等情况而造成的标定基准不统一的缺陷。

请参见图7，图7是图6所示车载流媒体后视镜标定方法中步骤S203的子步骤的流程图。在本实施例中，所述步骤S203从所述视频图像中识别出所述人工标记物作为标定过程中的特征物，包括：

S2031、自动从所述视频图像中识别出所述人工标记物；

具体的，从视频图像中识别出S201中设置的人工标记物来作为标定过程中的特征物。因为人工标记物在视频图像中呈现特定的形状，车载处理器中可以基于该特定的形状逐个区域的对人工标记物进行框选，并自动在视频图像中寻找符合该特定形状的图形。

S2032、确认所述人工标记物作为标定过程中的特征物。

具体的，本实施例针对当车辆处于4S店或空旷场地上时，为了消除环境因素或外形误差对人工标记物识别带来的影响，从所述视频图像中识别出人工标记物作为标定过程中的特征物时，还需要借助于手动确认过程，以保证人工标记物的正确识别，从而避免车辆周围环境中与人工标记物形状类似的物体对人工标记物的识别产生干扰，或避免视频图像中与人工标记物的轮廓相似的图像对人工标记物的识别产生干扰。

实施例参见图8，图8是本申请实施例提供的又一种车载流媒体后视镜标定方法的流程图。在本申请实施例中，本申请车载流媒体后视镜标定方法至少包括如下步骤：

S301、通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像；

具体的，该步骤可参见图3实施例中的S101步骤，通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像。各个相机实时采集的视频图像就是连续的静态图像的序列。同时，为了拓展车载流媒体后视镜的环境适应能力，摄像头或车载相机还可以采用具有夜视功能的摄像头或相机。

S302、查找所述视频图像中是否包含一共同的直带状物体；

具体的，在各个相机采集到的视频图像中，车载处理器识别是否存在一共同的直带状物体。通常视频图像中可以识别到的直带状物体包括但不限于：车道线、斑马线、停止线、人行道沿等物体。当上述直带状物体或类似于直带状物体存在于车载流媒体后视镜中多个相机的视频图像中时，车载处理器可以认定该直带状物体为视频图像中包含的一共同的直带状物体。

S303、若存在所述共同的直带状物体，则识别所述直带状物体为特征物。

具体的，因为所述直带状物体的长度较长，车载流媒体后视镜中的多个相机采集到的视频图像中都能识别到该直带状物体。由此，该直带状物体可以成为多个相机中共用的基准，在多个相机基于特征信息进行标定参数优化的过程中，共用的基准有助于消除车载流媒体后视镜的误差，提高全景图像拼接配对的准确率。

通常的，在确定到直带状物体作为特征物之后，出于计算特征物之间的距离值作为特征信息的需要，还要求在直带状物体之内再识别一处轮廓点。该轮廓点位于直带状物体之内，以便于提取轮廓点与直带状物体之间的距离值作为特征信息。本实施例中对于轮廓点位于何种物体上不做特别要求，即轮廓点可以位于直带状物体或区别于所述直带状物体的其他任意形状的物体上。只要所述车载处理器在对该物体进行特征信息提取时，能够从该物体的轮廓中识别到一个位于所述直带状物体内的交点，即可被识别为轮廓点。

S304、提取所述特征物的特征信息；

具体的，识别到直带状物体为特征物后，车载处理器从视频图像中的直带状物体中提取基准线，可以采用下述的线性表达式为：

Yi＝ki*X+bi； (2)

其中，k表示斜率，b表示截距，i表示所述相机的编号，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，且i为大于等于1的正整数。由此，当车载流媒体后视镜中各相机的标定参数为准确值时，车载处理器从不同相机的视频图像中识别到的直带状物体，其投影到全局坐标系中后，提取出的基准线表达式应该为统一的表达式。即基准线在各个相机的标定参数中，其相对于全局坐标系原点的截距都应相同，其相对于全局坐标系中坐标轴线的斜率也应相同。后续以基准线作为基准进行拼接配对时，也可以得出较为准确的全景图像。

通常的，车载处理器还需要对轮廓点在各个视频图像中的投影在全局坐标系中以(x，y)的坐标来表达。

S305、根据所述特征信息对各相机进行标定参数的优化；

具体的，车载处理器基于不同相机获得的视频图像中基准线的表达式不同，来对出现偏差的相机进行标定。标定的主要手段在于根据基准线的表达式差异判断出位姿发生变化的相机，并对该相机的标定参数进行调整，重新赋值以使得该相机的基准线表达式与其它相机的基准线表达式一致。

通常的，车载处理器还可以通过计算轮廓点到基准线的距离值来使得直带状物体和轮廓点之间产生联系，并运用公式：

来计算轮廓点与基准线之间的距离值。其中，x、y为所述轮廓点在所述视频图像中的坐标，i表示所述相机的编号，Y和X分别代表基准线在所述视频图像中的纵坐标和横坐标集合，且i为大于等于1的正整数。即在各个相机的视频图像中，其轮廓点距离基准线的距离，与轮廓点在全局坐标系中的坐标值(x，y)、基准线在全局坐标系中的斜率k以及基准线的截距b都具有对应关系。标定的主要手段在于通过对该相机的标定参数重新赋值，并重新计算该相机的距离值Di，使得Di与其它相机的距离值差值一致或最小，来完成对相机的标定过程。

需要提出的是，本申请车载流媒体后视镜标定方法在执行的过程中，如果道路环境中没有出现直带状物体，则可以通过两个或多个轮廓点之间的距离信息来完成标定工作。即通过提取多个轮廓点之间的位置关系来对相机进行标定工作。亦或者，在车辆行驶过程中，如果某一轮廓点消失于车载流媒体后视镜的采集范围之外，车载处理器可以通过采集新的轮廓点补入来完成轮廓特征点的提取。

S306、重新采集所述车载流媒体后视镜中各相机的视频图像并基于所述优化标定结果对所述视频图像重新赋值；

具体的，在验证标定的过程中，先从完成标定的车载流媒体后视镜各个相机中采集视频图像，然后可以同如步骤S1051的方法，基于标定结果对各个相机采集到的视频图像重新赋值。

S307、基于重新赋值的所述视频图像拼接以形成全景图像；

具体的，如步骤S1052的方法，车载处理器将标定后的各个相机视频图像重新进行特征物识别、特征信息提取，并将采集到的视频图像基于特征信息进行拼接配对形成全景图像。

可以理解，在所述步骤S307基于所述标定的结果对所述视频图像拼接以形成全景图像之后，所述车载流媒体后视镜标定方法还可以包括：对所述全景图像进行人工判定以验证所述标定参数的优化。

具体的，在本实施例中，因为车载处理器对车辆周围环境中的直带状物体识别可能存在偏差，相较于人工标定物作为基准的可信度相对较低。此外，利用重投影误差或光束法平差的评价方法可能存在误差较大而反复无法通过验证的情况。因此，对后续全景图像的判定过程，宜采用人工判定的方法，由驾驶员来确定标定的结果是否满足使用要求。

本实施例车载流媒体后视镜标定方法，可以在不特意摆设人工标记物的情况下完成标定动作。适用于日常行驶过程中，用于补偿车载流媒体后视镜中相机的位置相对于车辆全局坐标系的变化。

请参看图10，图10是本申请实施例提供的一种车载流媒体后视镜标定系统100的示意图。在本申请实施例中，所述车载流媒体后视镜标定系统具体包括：

视频采集模块101，用于通过车载流媒体后视镜中各相机采集车辆周围的视频图像；

特征物拾取模块102，用于从所述视频图像中识别出标定过程中的特征物；

特征参数提取模块103，用于提取所述特征物的特征信息；

标定参数优化模块104，用于根据所述特征信息对各相机进行标定参数的优化；

标定结果检验模块105，用于基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

可以理解地，本申请车载流媒体后视镜标定系统100可用于执行上述的车载流媒体后视镜标定方法。具体的，视频采集模块101利用车载流媒体后视镜中各相机来采集车辆周围的视频图像，然后由特征物拾取模块102从各个相机采集到的视频图像中识别出标定过程中会使用到的特征物。特征参数提取模块103对拾取的特征物进行特征信息提取，再由标定参数优化模块104对各个相机的视频图像进行处理后，对需要标定的相机进行标定。最后，在完成对各相机标定的基础上，标定结果检测模块105重新将车载流媒体后视镜中相机的视频图像拼接形成全景图像后验证标定结果。当标定结果检测模块106的验证结果表明标定未达标时，可以重新通过本申请车载流媒体后视镜标定系统100对车载流媒体后视镜进行标定。

本申请车载流媒体后视镜标定系统100在采用了上述的车载流媒体后视镜标定方法后，可以在车辆生产线上、4S店或空旷环境、行车过程中均通过视频图像的采集来完成车载流媒体后视镜的标定工作。并通过重新拼接视频图像来进行检测验证，由此提高了车载流媒体后视镜的标定效率，扩展了标定系统的适用场景和范围。具有实时性好、效率高、适用范围广的优点。

一种可选的实施例，标定结果检验模块105用于在基于所述标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证时，基于各所述相机的所述标定结果重新对所述视频图像赋值；

标定结果检验模块105还用于基于重新赋值的所述视频图像拼接以形成全景图像；

标定结果检验模块105还用于根据所述全景图像来验证所述标定参数的优化。

标定结果检验模块105还用于根据所述全景图像，采用重投影误差或光束法平差来验证所述标定参数的优化。

一种可选的实施例，在通过车载流媒体后视镜中各相机采集车辆周围的视频图像之前，还在指定位置摆放有人工标记物。此后特征物拾取模块102用于从所述视频图像中识别出所述人工标记物作为标定过程中的特征物。

特征参数提取模块103用于提取所述人工标记物的特征信息。

一种可选的实施例，在根据所述特征信息对各相机进行标定时，标定参数优化模块104用于调用预存的所述人工标记物的原始特征信息；

标定参数优化模块104还用于将提取到的所述人工标记物的所述特征信息与预存的所述原始特征信息进行比较；

标定参数优化模块104还用于基于所述特征信息与所述原始特征信息的差值对各个所述相机进行标定。

一种可选的实施例，在从所述视频图像中识别出所述人工标记物作为标定过程中的特征物时，特征物拾取模块102用于自动从所述视频图像中识别出所述人工标记物后，经人工手动确认后将所述人工标记物作为标定过程中的特征物。

一种可选的实施例，特征物拾取模块102用于从所述视频图像中识别出标定过程中的特征物时，查找所述视频图像中是否包含一共同的直带状物体；

若存在所述共同的直带状物体，则特征物拾取模块102用于识别所述直带状物体为特征物。

一种可选的实施例，在基于所述标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证时，标定结果检验模块105用于重新采集所述车载流媒体后视镜中各相机的视频图像；

标定结果检验模块105还用于基于所述标定的结果对所述视频图像拼接以形成全景图像；

标定结果检验模块105还用于接收人工对所述全景图像的判定以验证所述标定。

一种可选的实施例，在提取所述特征物的特征信息的过程中，特征参数提取模块103还用于将所述特征物的特征信息投影于全局坐标系中；

特征参数提取模块103还用于在所述全局坐标系中提取所述特征信息。

需要说明的是，图9中的各个操作的实现还可以对应参照上述的方法实施例的相应描述。

请参看图11，本申请还涉及一种车载流媒体后视镜标定装置200。如图11所示，所述车载流媒体后视镜标定装置包括处理器201、输入设备202、输出设备203和存储装置，所述处理器201、输入设备202、输出设备203和存储装置204相互连接，其中，所述存储装置204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201被配置用于调用所述程序指令，执行上所述的车载流媒体后视镜标定方法。

具体的，处理器201调用存储装置204中存储的程序指令，执行以下操作：

通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像；

从所述视频图像中识别出标定过程中的特征物；

提取所述特征物的特征信息；

根据所述特征信息对各相机进行标定参数的优化。

存储装置204可以包括易失性存储装置(volatile memory)，例如随机存取存储装置(random-access memory，RAM)；存储装置204也可以包括非易失性存储装置(non-volatile memory)，例如快闪存储装置(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置204还可以包括上述种类的存储装置的组合。

处理器201可以是中央处理器(central processing unit，CPU)。该处理器201还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在所述根据所述特征信息对各相机进行优化标定之后，基于所述优化标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在基于所述优化标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证时，

基于各所述相机的所述标定结果重新对所述视频图像赋值；

基于重新赋值的所述视频图像拼接以形成全景图像；

根据所述全景图像来验证所述标定参数的优化。

在一种实施方式中，在指定位置摆放有人工标记物。处理器201调用存储装置204存储的程序指令，在通过车载流媒体后视镜中各相机采集车辆周围的视频图像时，从所述视频图像中识别出所述人工标记物作为标定过程中的特征物。

在一种实施方式中，存储装置204内还预存有人工标记物的原始特征信息。处理器201调用存储装置204存储的程序指令，在根据所述特征信息对各相机进行标定时，调用预存的所述人工标记物的原始特征信息；

将提取到的所述人工标记物的所述特征信息与预存的所述原始特征信息进行比较；

基于所述特征信息与所述原始特征信息的差值对各所述相机进行标定。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在从所述视频图像中识别出所述人工标记物作为标定过程中的特征物时，自动从所述视频图像中识别出所述人工标记物；

人工指令确认所述人工标记物作为标定过程中的特征物。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在从所述视频图像中识别出标定过程中的特征物时，查找所述视频图像中是否包含一共同的直带状物体；

若存在所述共同的直带状物体，则识别所述直带状物体为特征物。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在基于所述标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证时，重新采集所述车载流媒体后视镜中各相机的视频图像；

基于所述标定的结果对所述视频图像拼接以形成全景图像；

人工指令对所述全景图像进行判定以验证所述标定参数的优化。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在提取所述特征物的特征信息的过程中，将所述特征物的特征信息投影于全局坐标系中；

在所述全局坐标系中提取所述特征信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (12)

1.一种车载流媒体后视镜标定方法，其特征在于，包括：

通过车载流媒体后视镜中各相机采集车辆两侧及后方的视频图像；

从所述视频图像中识别出标定过程中的特征物；

提取所述特征物的特征信息；

根据所述特征信息对各相机进行标定参数的优化。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述特征信息对各相机进行标定参数的优化之后，还包括：

基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

3.根据权利要求2所述的方法，其特征在于，所述基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证，包括：

基于各所述相机的所述标定参数优化的结果重新对所述视频图像赋值；

基于重新赋值的所述视频图像拼接以形成全景图像；

根据所述全景图像来验证所述标定结果。

4.根据权利要求1所述的方法，其特征在于，所述通过车载流媒体后视镜中各相机采集车辆周围的视频图像之前，还包括：

在指定位置摆放人工标记物。

5.根据权利要求4所述的方法，其特征在于，所述从所述视频图像中识别出标定过程中的特征物，包括：

从所述视频图像中识别出所述人工标记物作为标定过程中的特征物；

所述提取所述特征物的特征信息，包括：

提取所述人工标记物的特征信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述特征信息对各相机进行标定参数优化，包括：

调用预存的所述人工标记物的原始特征信息；

将提取到的所述人工标记物的所述特征信息与预存的所述原始特征信息进行比较；

基于所述特征信息与所述原始特征信息的差值对各个相机进行标定参数优化。

7.根据权利要求2所述的方法，其特征在于，所述从所述视频图像中识别出标定过程中的特征物，包括：

查找所述视频图像中是否包含一共同的直带状物体；

若存在所述共同的直带状物体，则识别所述直带状物体为特征物。

8.根据权利要求7所述的方法，其特征在于，所述基于所述标定的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证，包括：

重新采集所述车载流媒体后视镜中各所述相机的视频图像；

基于所述标定的结果对所述视频图像拼接以形成全景图像；

对所述全景图像进行人工判定以验证所述标定结果。

9.根据权利要求1所述的方法，其特征在于，所述提取所述特征物的特征信息，包括：

将所述特征物的特征信息投影于全局坐标系中；

在所述全局坐标系中提取所述特征信息。

10.根据权利要求1所述的方法，其特征在于，所述流媒体后视镜中各相机的视场角在60°～80°之间。

11.一种车载流媒体后视镜标定系统，其特征在于，包括：

视频采集模块，用于通过车载流媒体后视镜中各相机采集车辆周围的视频图像；

特征物拾取模块，从所述视频图像中识别出标定过程中的特征物；

特征参数提取模块，用于提取所述特征物的特征信息；

标定参数优化模块，用于根据所述特征信息对各相机进行标定参数的优化；

标定结果检验模块，用于基于所述标定参数优化的结果对所述车载流媒体后视镜中各相机的视频图像拼接并验证。

12.一种车载流媒体后视镜标定装置，其特征在于，包括处理器、输入设备、输出设备和存储装置，所述处理器、输入设备、输出设备和存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至10中任一项所述的车载流媒体后视镜标定方法。

Images