CN115205388A - 车载相机姿态矫正方法和装置、存储介质、电子设备 - Google Patents

Abstract

公开了一种车载相机姿态矫正方法和装置、存储介质、电子设备，其中，方法实施例包括：获取车载相机采集的包括多条车道线的第一图像；响应于所述多条车道线符合预设条件，确定所述第一图像中的多条车道线中各车道线分别在图像坐标系下对应的图像车道线；确定所述车载相机相对于车辆的当前位姿信息；基于所述图像车道线，对所述当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息；其中，所述姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

Description

车载相机姿态矫正方法和装置、存储介质、电子设备

技术领域

本申请涉及一种车载相机姿态矫正方法和装置、存储介质、电子设备。

背景技术

视觉感知在当前自动驾驶场景中扮演重要角色，为自车提供周围环境的感知信息，而视觉感知在很多应用场景(例如，自动刹车辅助系统AEB、自适应巡航系统ACC等)中不可或缺，为了有效的支撑前视感知，需要标定相机的外参，但目前现有技术中的相机外参通常对车辆所在的场景的依赖较强，例如，车辆需静置停放在特定场景的特定位置，或车辆需要保持直线行驶。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车载相机姿态矫正方法和装置、存储介质、电子设备。

根据本申请的一个方面，提供了一种车载相机姿态矫正方法，包括：

获取车载相机采集的包括多条车道线的第一图像；

响应于所述多条车道线符合预设条件，确定所述第一图像中的多条车道线中各车道线分别在图像坐标系下对应的图像车道线；

确定所述车载相机相对于车辆的当前位姿信息；

基于所述图像车道线，对所述当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息；其中，所述姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

根据本申请的另一方面，提供了一种车载车载相机姿态矫正装置，包括：

图像采集模块，用于获取车载相机采集的包括多条车道线的第一图像；

车道线确定模块，用于响应于所述多条车道线符合预设条件，确定所述图像采集模块获取的第一图像中的所述多条车道线在图像坐标系下的图像车道线；其中，每条所述车道线对应一个所述图像车道线；

初始位姿确定模块，用于确定所述车载相机相对于车辆的当前位姿信息；

位姿矫正模块，用于基于所述车道线确定模块确定的图像车道线，对所述初始位姿确定模块确定的当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息；其中，所述至少一个姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的车载车载相机姿态矫正方法。

根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的车载车载相机姿态矫正方法。

基于本公开上述实施例提供的一种车载相机姿态矫正方法和装置、存储介质、电子设备，通过车辆行驶过程中采集的自然驾驶场景中包括多条车道线的图像，自然驾驶场景可以为任意驾驶场景，因此不依赖于特定场景；并且，通过多条车道线在图像对应的图像坐标系下的图像车道线方程对车载相机相对于所述车辆的当前位姿信息进行至少一个姿态角的矫正，实现了仅需已知当前位姿信息的至少一个姿态角的矫正，由于不需要过多的先验知识，且不依赖于特定场景，因此，本实施例提供的方法可以适用于多种驾驶场景。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的车载相机姿态矫正方法的流程示意图。

图2是本公开图1所示的实施例中步骤108的一流程示意图。

图3a是本公开图2所示的实施例中步骤1082的一流程示意图。

图3b是本公开提供的一个可选示例中确定俯仰角增量的示意图。

图3c是将图3b所示交线OV转换到新的相机坐标系下得到的车道线方向向量示意图。

图3d是将图3c所示的车道线沿oz方向俯视得到的车道线方向向量示意图。

图4是本公开图1所示的实施例中步骤108的另一流程示意图。

图5a是本公开图4所示的实施例中步骤1085的一流程示意图。

图5b是本公开提供的一个可选示例中确定横滚角增量的示意图。

图6是本公开图1所示的实施例中步骤108的又一流程示意图。

图7a是本公开图6所示的实施例中步骤1088的一个流程示意图。

图7b是本公开提供的一个可选示例中确定偏航角增量的示意图。

图8是本申请一示例性实施例提供的车载相机姿态矫正装置的结构示意图。

图9是本申请另一示例性实施例提供的车载相机姿态矫正装置的结构示意图。

图10是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

在实现本公开的过程中，发明人发现，现有技术中的相机外参确定方法，需要车辆保持在特定场景的特定位置，或车辆需要保持直线行驶，即存在对场景或驾驶工况需求度过高，过度依赖外部先验输入和假设条件，导致自然场景下无法标定的问题。

示例性方法

图1是本申请一示例性实施例提供的车载相机姿态矫正方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：

步骤102，基于车载相机对多条车道线进行图像采集，得到第一图像。

当车辆在自然道路场景下行驶时，通过车载相机采集当前路面的图像，得到的第一图像中包括多条车道线，车载相机可以包括一个或多个，车载相机的朝向至少朝向车辆行驶的正前方，还可以包括左前方、右前方等；通过对车辆行驶的前方路面进行采集，可获得自然道路(例如，高速公路等)上的多条车道线(正常车辆行驶的合法道路都具有多条车道线)，其中多条车道线中至少包括车辆行驶所处车道两侧的车道线；其中，自然道路场景可以是任何车辆可以合法行驶的道路场景，例如，高速公路、其他城市道路等等，本实施例中车辆在正常行驶的情况下即可实现车载相机的姿态矫正。

步骤104，响应于多条车道线符合预设条件，确定多条车道线中各车道线分别在图像坐标系下对应的图像车道线。

其中，每条车道线对应一个图像车道线，其中，车道线是指在路面上实际存在的真实车道线，图像车道线是指车道线被车载相机采集到图像中后，在该图像对应的图像坐标系下的坐标表示形式。

可选地，本实施例中所指预设条件可根据实际应用场景进行设置，矫正不同姿态角，可对应不同的预设条件或相同的预设条件；可选地，预设条件可以包括但不限于以下提供的一种或多种：多条车道线均为非弯道，车道线的数量大于或等于设定数量(该设定数量可根据实际场景进行设置，例如：2或3等)，车道线之间的间距相同，例如，矫正俯仰角时，对应的预设条件可以是多条车道线均为非弯道；矫正横滚角时，对应的预设条件可以是车道线的数量大于设定数量(例如，3)；矫正偏航角时，对应的预设条件可以是车道线之间的间距相同；又例如，同时满足上述提出的3种预设条件时，可实现对俯仰角、横滚角和偏航角的矫正；图像车道线是通过车载相机对路面采集图像在该图像中对应车道线的图像显示。

步骤106，确定车载相机相对于车辆的当前位姿信息。

本实施例中，每个车辆中安装车载相机的位置和方式根据车辆出厂设置已经确定，本实施例中可根据车辆的出厂设置信息，确定车辆的当前位姿信息。

步骤108，基于图像车道线，对当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

其中，姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

本实施例中，可实现对俯仰角、横滚角和偏航角中的至少一个角进行矫正，实现对相机位姿信息的调整，实现基于包括图像车道线的单帧图像即可对相机位姿矫正，可以适用更多驾驶场景，通过矫正后的目标位姿信息可以更好的为车辆提供周围环境的感知信息。

本公开上述实施例提供的一种车载相机姿态矫正方法，通过车辆行驶过程中采集的自然驾驶场景中包括多条车道线的图像进行车载相机姿态矫正，其中的自然驾驶场景可以为任意驾驶场景，因此不依赖于特定场景；并且，通过多条车道线在图像对应的图像坐标系下的图像车道线方程对车载相机相对于所述车辆的当前位姿信息进行至少一个姿态角的矫正，实现了仅需已知当前位姿信息的至少一个姿态角的矫正，由于不需要过多的先验知识，且不依赖于特定场景，因此，本实施例提供的方法可以适用于多种驾驶场景。

如图2所示，在上述图1所示实施例的基础上，步骤108可包括如下步骤：

步骤1081，基于图像车道线和当前位姿信息，确定多条车道线对应的第一地面。

其中，第一地面为当前位姿信息对应的初始地面或第一矫正后地面，第一矫正后地面为对当前位姿信息中的横滚角和/或偏航角进行矫正后得到的位姿信息对应的地面；通过多条图像车道线可确定一个在图像坐标系中的平面(两条以上的直线可确定一个平面)，通过当前位姿信息实现坐标系转换，将在相机坐标系中的平面转换到世界坐标系中，即可确定第一地面。

可选地，当本实施例中仅矫正车载相机的俯仰角，第一地面为初始地面；或在矫正对象为多个姿态角，且先对俯仰角进行矫正时，第一地面为初始地面；当矫正对象为多个姿态角，且后对俯仰角进行矫正时，第一地面为第一矫正后地面(该第一矫正后地面是对其他比俯仰角先矫正的其他姿态角进行矫正后的地面)。

步骤1082，基于车载相机对应的相机坐标系的原点和多条车道线中各车道线分别在第一地面中对应的第一地面车道线，确定俯仰角增量。

其中，每条车道线对应一个第一地面车道线；相机坐标系的原点通常为车载相机的光心；在确定了第一地面的基础上，将在相机坐标系中的每个图像车道线投影到该第一地面上，即可确定第一地面车道线。

步骤1083，基于俯仰角增量对当前位姿信息中的俯仰角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

本实施例实现的是对车载相机的俯仰角的矫正，本实施例可以仅对车载相机的俯仰角通过俯仰角增量进行矫正，此时，第一地面为初始地面；或者，除了对俯仰角进行校准，还对横滚角和/或偏航角进行矫正，此时，对多个姿态角的矫正顺序不作限制，可先矫正俯仰角，再矫正横滚角和/或偏航角，或者先矫正横滚角和/或偏航角，再矫正俯仰角，矫正顺序并不构成对公开开保护范围的限制；例如，在一个示例中，先矫正俯仰角，再矫正横滚角，最后矫正偏航角。

本实施例仅基于相机坐标系的原点和多条车道线在第一地面中对应的多条第一地面车道线即可确定俯仰角增量，实现了俯仰角的快速矫正，除了路面上的多条车道线，不依赖于其他信息，降低了俯仰角矫正的难度。

如图3a所示，在上述图2所示实施例的基础上，步骤1082可包括如下步骤：

步骤301，基于相机坐标系的原点和多条车道线中各车道线分别对应的第一地面车道线，确定多个第一平面。

其中，每个第一平面中包括一个第一地面车道线和相机坐标系的原点；即，本实施例通过一个点(相机坐标系的原点)和一条线(一个第一地面车道线)确定一个平面作为第一平面；因此，每个第一地面车道线对应一个第一平面，得到多个第一平面。

本实施例中，俯仰角增量的计算主要依赖于多条车道线之间平行的特性(该实施例要求的预设条件为多条车道线均为非弯道)，第一平面的示意图可以参考图3b所示的空间示意图。其中，点O为相机坐标系的原点，线段AB和线段CD为相互平行的两条第一地面车道线；本实施例中基于点O与线段AB构成一个平面，得到平面OAB；通过点O与线段CD构成一个平面，得到平面OCD，可以理解平面OAB和平面OCD都为第一平面。

步骤302，基于多个第一平面的交线与第一地面之间的夹角，确定俯仰角增量。

本实施例利用多个第一平面之间的交线表示车道线的方向向量，通过该方向向量与第一地面之间的夹角可表示当前车辆相机在俯仰角上的误差，即可确定俯仰角的增量，本实施例通过单帧的包括多条图像车道线的图像即可实现俯仰角增量的确定，可实现车辆在非弯道场景下行驶过程中完成俯仰角的调整；例如，如图3b中所示，平面OAB和平面OCD的交线OV，该交线OV即表示车道线AB和车道线CD的方向向量；计算交线OV与第一地面之间的夹角的具体过程可参照图3b进行理解，其中，将交线OV转换到新的相机坐标系(该相机坐标系为与第一平面对齐的新的虚拟坐标系)下，可得如图3c所示的坐标表示图，将交线OV归一化之后，其y向和z向分量比值的arctan(反正切)值即为所求解的俯仰角增量，且oz上扬为正，反之为负向。将相机坐标系旋转该俯仰角增量的角度后，沿oz方向俯视可得如图3d所示的俯视图；此时，ov位于zox平面内，沿oy方向移动zox平面，与平面OAB和平面OCD的交线均为平行线，且均平行于ov，即表示此时的俯仰角与当前采集的图像相匹配，当前车载相机的俯仰角调整完毕。

如图4所示，在上述图1所示实施例的基础上，步骤108还可包括如下步骤：

步骤1084，基于图像车道线和当前位姿信息，确定多条车道线对应的第二地面。

其中，第二地面为当前位姿信息对应的初始地面或第二矫正后地面，第二矫正后地面为对当前位姿信息中的俯仰角和/或偏航角进行矫正后得到的位姿信息对应的地面；通过多条图像车道线可确定一个在图像坐标系中的平面(两条以上的直线可确定一个平面)，通过当前位姿信息实现坐标系转换，将在相机坐标系中的平面转换到世界坐标系中，即可确定第二地面。

可选地，当本实施例中仅矫正车载相机的横滚角，或在矫正多个姿态角且先矫正横滚角时，第二地面为初始地面；而当矫正多个姿态角时，并且，先矫正其他姿态角，后矫正横滚角时，第二地面为第二矫正后地面。

步骤1085，基于车载相机对应的相机坐标系的原点和多条车道线中各车道线在第二地面中分别对应的第二地面车道线，确定横滚角增量。

其中，每条车道线对应一个第二地面车道线；在确定了第二地面的基础上，将在相机坐标系中的每个图像车道线投影到该第二地面上，即可确定第二地面车道线。

步骤1086，基于横滚角增量对当前位姿信息中的横滚角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

本实施例实现的是对车载相机横滚角的矫正，本实施例可以仅对车载相机的横滚角通过横滚角增量进行矫正，此时，第一地面为初始地面；或者，除了对横滚角进行矫正，还对俯仰角和/或偏航角进行矫正，此时，对多个姿态角的矫正顺序不作限制，可先矫正俯仰角，再矫正横滚角和/或偏航角，或者先矫正横滚角和/或偏航角，再矫正俯仰角，矫正顺序不影响矫正效果。

本实施例实现了横滚角的快速矫正，除了路面上的多条车道线，不依赖于其他信息，降低了横滚角矫正的难度。

如图5a所示，在上述图4所示实施例的基础上，步骤1085可包括如下步骤：

步骤501，确定第二地面中相邻的三条第二地面车道线与相机坐标系中的竖直平面的三个第一交点。

本实施例中对横滚角的矫正依赖于车道线之间的等宽约束，两条第二地面的车道线可确定一个宽度，要实现等宽约束至少需要两个宽度，因此，至少需要第二地面中包括至少三条第二地面车道线，当第二地面车道线的数量大于或等于三条时，选择其中三条相邻的第二地面车道线对横滚角进行矫正。

由于三条第二地面车道线处于同一虚拟图像平面，因此，三个第一交点位于一条直线上，例如，如图5b提供的示例中的e、c、d分别为三个第一交点，o_c表示相机坐标系的原点。

步骤502，基于三条第二地面车道线和相机坐标系的原点，确定三条模拟车道线。

基于现代道路施工规范可知，车道线之间的距离相同并且具有设定的拱形角度；本实施例中，以车载相机采集的图像中显示的三条第二地面车道线和相机坐标系的原点，可以通过投影得到真实场景中与三条第二地面车道线分别对应的三条模拟车道线。

步骤503，确定三条模拟车道线与相机坐标系中的竖直平面的三个第二交点。

其中，每条模拟车道线与相机坐标系中的竖直平面的交点为一个第二交点，三条模拟车道线即得到三个第二交点。

由于真实车道线之间存在拱形弧度的原因，投影在同一平面上的三条第二地面车道线之间的距离必然不相等，即在图5b中ed不等于ec，而真实场景中，两个相邻车道线之间的距离是相等的，因此，基于o_cd的延长线，以及o_cc的延长线确定两个分别对应两条模拟车道线在竖直平面上的两个点b和a，使eb＝ea，即满足三条模拟车道线中，相邻两条模拟车道线之间的间距相同。

步骤504，基于三个第一交点和三个第二交点，确定横滚角增量。

本实施例中，需要更新对应的局部地面平面方程(例如，图5b中线段ced对应的平面)，求解的横滚角增量，需依赖车道线等宽约束，即观测到相邻的三条车道线，可以启用横滚角校准，否则不调整横滚角；本实施例中通过模拟车道线与第二地面车道线对应的第二地面方程之间的夹角，即可确定横滚角增量；计算过程只需基于几何的解析运算，降低了横滚角增量计算的算力需求，且无过多先验和场景依赖。

可选地，在上述实施例的基础上，步骤504可以包括：

基于三个第一交点确定第一线段；

基于三个第二交点，确定两个等长的第二线段；

基于第一线段与两个第二线段中的一个第二线段之间的夹角，确定横滚角增量。

横滚角增量的确定可参照图5b所示的示例进行理解，考虑路面存在横坡，即车道等宽不在同一平面，模拟车道线与相机坐标系中的竖直平面的交点为a、e、b三点(第二交点)，在第二地面车道线对应的第二地面方程(该第二地面方程表示一个平面)下则为c、e、d三点(第一交点)，对应本实施例中第一线段。o_c和o_g分别为相机坐标系的原点与局部地面坐标系原点，其中，局部地面坐标系原点为相机光心位置垂直投影到地面的位置，过点e分别作垂线交o_ca和o_cb于m和n。已知be＝ea＝r，角bea可通过道路施工规范中的横向坡度确定，也可在实车运行过程中估计确定，角nem也可根据每帧图像空间车道线计算获取；假设角θ＝θ₁+θ₂＝2π-∠bea-∠nem，其中，θ₂＝∠ben，θ₁＝∠aem，在角θ已知的条件下，根据几何关系可以求解出θ₁，则图示中待校准的横滚角增量∠aec可根据以下公式(1)确定：

∠aec＝θ₁-∠cem 公式(1)

基于以上即可实现通过简单的几何计算，确定横滚角增量，解决了现有技术中算力需求高的问题。

如图6所示，在上述图1所示实施例的基础上，步骤108还可包括如下步骤：

步骤1087，基于图像车道线和当前位姿信息，确定多条车道线对应的第三地面。

其中，第三地面为当前位姿信息对应的初始地面或第三矫正后地面，第三矫正后地面为对当前位姿信息中的横滚角和/或俯仰角进行矫正后得到的位姿信息对应的地面；通过多条图像车道线可确定一个在图像坐标系中的平面(两条以上的直线可确定一个平面)，通过当前位姿信息实现坐标系转换，将在相机坐标系中的平面转换到世界坐标系中，即可确定第三地面。

可选地，当本实施例中仅矫正车载相机的偏航角，或在矫正多个姿态角且先矫正偏航角时，第三地面为初始地面；而当矫正多个姿态角时，并且，先矫正其他姿态角，后矫正偏航角时，第三地面为第三矫正后地面。

步骤1088，基于车载相机对应的相机坐标系的原点和多条车道线中各车道线在第三地面中分别对应的的第三地面车道线，确定偏航角增量。

其中，每条车道线对应一个第三地面车道线；在确定了第三地面的基础上，将在相机坐标系中的每个图像车道线投影到该第三地面上，即可确定第三地面车道线。

步骤1089，基于偏航角增量对当前位姿信息中的偏航角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

本实施例实现的是对车载相机的偏航角的矫正，本实施例可以仅对车载相机的偏航角通过偏航角增量进行矫正，此时，第三地面为初始地面；或者，除了对偏航角进行矫正，还对横滚角和/或俯仰角进行矫正，此时，对多个姿态角的矫正顺序不作限制，可先矫正俯仰角，再矫正横滚角和/或偏航角，或者先矫正横滚角和/或偏航角，再矫正俯仰角，矫正顺序不影响矫正效果。

本实施例仅基于相机坐标系的原点和多条车道线在第三地面中对应的多条第三地面车道线即可确定偏航角增量，实现了偏航角的快速矫正，除了运动估计及路面上的多条车道线，不依赖于其他信息，降低了偏航角矫正的难度。

如图7a所示，在上述图6所示实施例的基础上，在执行步骤1088之前还包括：基于车载相机对多条车道线进行图像采集，得到第二图像；步骤1088可包括如下步骤：

步骤701，确定第二图像对应的第四地面车道线。

本实施例中，第二图像可以是车载相机在车辆行驶过程中采集第一图像之前或之后的任一一帧图像，第一图像和第二图像的采集间隔不超过设定帧数，例如，第二图像是采集第一图像之后的一帧图像，或第二图像是采集第一图像之前的一帧图像；第二图像与第一图像之间的间隔越小，路面的车道线变化越小，计算偏航角增量越方便，避免了由于时间间隔较大使得车道线形状发生变化、进而导致的增加计算量或无法计算的现象发生。

步骤702，确定相机坐标系的原点在第一图像对应的第三地面中的第一投影点，以及确定相机坐标系的原点在第二图像对应的第三地面中的第二投影点。

其中，基于确定第一图像对应的第三地面类似的方法，可以确定第二图像对应的一个地面，为了实现第一图像和第二图像之间的比较，需要通过确定第二图像对应的地面与第三地面之间的转换关系(因为同为平面，其转换关系只包括平移距离和平移方向)，该转换关系可通过运动估计方法确定第一图像和第二图像间的自车运动估计信息来确定；相机坐标系的原点在第二图像对应的地面的投影点经过该转换关系转换，可得到第二投影点，即，通过运动估计确定相机坐标系的原点在第二图像对应的第三地面中的第二投影点；其中，运动估计的实现方法可以有很多，例如，可以通过车辆定位系统分别获得车辆在获取第一图像的时刻和获取第二图像的时刻对应的位置和方向来确定，或通过车辆的车速和行驶方向确定该距离和方向等。

步骤703，基于第一投影点与第三地面车道线之间的第一距离，和第二投影点与第四地面车道线之间的第二距离，确定偏航角增量。

本实施例中，确定第一距离和第二距离的第三地面车道线与第四地面车道线是对同一车道线采集得到的。

本实施例提出了基于相邻或相近的两帧采集相同车道线的第一图像和第二图像，以实现偏航角增量的确定，考虑两帧间车载相机对应的地面坐标系(对偏航角进行矫正时，对俯仰角和横滚角不进行处理，因此，上述的第一图像和第二图像对应同一第三地面对应的地面坐标系)，以车载相机对应的相机坐标系在分别采集第一图像和第二图像对应的原点在地面坐标系的投影点，确定两个投影点分别与对应的第三地面车道线和第四地面车道线之间的距离，即可确定偏航角增量，本实施例实现了在车辆行驶过程中，简单、快速、准确的实现偏航角的矫正。

具体地，在第三地面对应的地面坐标系下确定偏航角增量，即绕该地平面坐标系的z轴旋转的过程，可选地，步骤703可以包括：

在第三地面中，以第一投影点为圆心，以第一距离为半径得到第一圆弧；以第二投影点为圆心，以第二距离为半径得到第二圆弧；

确定第一圆弧与第二圆弧的公切线；

基于公切线与车道线之间的夹角，确定偏航角增量。

可选地，可参照图7b所示，在第三地面中，第一投影点标记为o₁，车辆两侧的两条第三地面车道线标记为l₁和l₂，第二投影点标记为o₂，车辆两侧的两条第四地面车道线标记为l′₁和l′₂，此时第一投影点与第二投影点的连接线可参照图7b中左侧虚线，第一圆弧和第二圆弧的公切线可参照图7b中右侧虚线，确定公切线与l₁或l′₁之间的夹角，即为偏航角增量，夹角的确定可通过公切线方向向量与l₁或l′₁方向向量的夹角来确定；本实施例中，连接线体现了两帧图像之间相机原点的相对平面运动偏移量，公切线与车道线夹角即为相机自身的偏航角增量，基于该偏航角增量对相机位姿进行调整后，可使校准后的车道线平行于公切线。

在一些可选的实施例中，本实施例提供的方法还可以包括：

确定目标位姿信息符合预设收敛条件，基于目标位姿信息替换当前位姿信息。

由于本实施例实现的是车辆在行驶过程中，实时对车载相机的姿态信息进行自动矫正，超出一定时间之后，车载相机可能又需要进行姿态矫正，因此，本实施例中设置在一定周期内，当目标位姿信息符合预设收敛条件时，将目标位姿信息替换掉当前位姿信息，完成单个矫正周期；其中，预设收敛条件可根据实际场景进行设置，例如，预设收敛条件为连续两次计算得到的目标位姿信息的差异小于设定值，或达到设定周期的时间；在下一个周期内可以将上一周期矫正完成的目标位姿信息作为当前位姿信息；实现了在自然场景下，实时覆盖了车辆行驶的整个使用周期的位姿矫正，适用于多数驾驶场景。

本公开实施例提供的任一种车载相机姿态矫正方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车载相机姿态矫正方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车载相机姿态矫正方法。下文不再赘述。

示例性装置

图8是本申请一示例性实施例提供的车载相机姿态矫正装置的结构示意图。如图8所示，本实施例提供的装置包括：

图像采集模块81，用于获取车载相机采集的包括多条车道线的第一图像。

车道线确定模块82，用于响应于多条车道线符合预设条件，确定图像采集模块81获取的第一图像中的多条车道线在图像坐标系下的图像车道线。

其中，每条车道线对应一个图像车道线。

初始位姿确定模块83，用于确定车载相机相对于车辆的当前位姿信息。

位姿矫正模块84，用于基于车道线确定模块82确定的图像车道线，对初始位姿确定模块83确定的当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

其中，至少一个姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

本公开上述实施例提供的一种车载车载相机姿态矫正装置，通过在车辆行驶过程中采集自然驾驶场景中的包括多条车道线的图像，不依赖于特定场景；并且，通过多条车道线在图像对应的图像坐标系下的图像车道线方程对车载相机相对于所述车辆的当前位姿信息进行至少一个姿态角的矫正，仅需已知当前位姿信息，无需过多的先验知识，可以覆盖较多驾驶场景。

图9是本申请另一示例性实施例提供的车载相机姿态矫正装置的结构示意图。如图9所示，本实施例提供的装置中，可选地，位姿矫正模块84，包括：

第一地面确定单元841，用于基于图像车道线和当前位姿信息，确定多条车道线对应的第一地面。

其中，第一地面为当前位姿信息对应的初始地面或第一矫正后地面，第一矫正后地面为对所述当前位姿信息中的横滚角和/或偏航角进行矫正后得到的位姿信息对应的地面。

俯仰角确定单元842，用于基于车载相机对应的相机坐标系的原点和多条车道线中各车道线分别在第一地面中对应的第一地面车道线，确定俯仰角增量。

俯仰角矫正单元843，用于基于俯仰角增量对当前位姿信息中的俯仰角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

可选地，俯仰角确定单元842，具体用于基于相机坐标系的原点和多条车道线中各车道线分别对应的第一地面车道线，确定多个第一平面；其中，每个第一平面中包括一个第一地面车道线和相机坐标系的原点；基于多个第一平面的交线与第一地面之间的夹角，确定俯仰角增量。

可选地，位姿矫正模块84，还可以包括：

第二地面确定单元844，用于基于图像车道线和当前位姿信息，确定多条车道线对应的第二地面。

其中，第二地面为当前位姿信息对应的初始地面或第二矫正后地面，第二矫正后地面为对当前位姿信息中的俯仰角和/或偏航角进行矫正后得到的位姿信息对应的地面。

横滚角确定单元845，用于基于车载相机对应的相机坐标系的原点和多条车道线中各车道线在第二地面中分别对应的第二地面车道线，确定横滚角增量。

横滚角矫正单元846，用于基于横滚角增量对当前位姿信息中的横滚角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

可选地，横滚角确定单元845，具体用于确定第二地面中相邻的三条第二地面车道线与相机坐标系中的竖直平面的三个第一交点；基于三条第二地面车道线和相机坐标系的原点，确定三条模拟车道线；确定三条模拟车道线与相机坐标系中的竖直平面的三个第二交点；基于三个第一交点和三个第二交点，确定横滚角增量。

可选地，横滚角确定单元845基于三个第一交点和三个第二交点，确定横滚角增量时，用于基于三个第一交点确定第一线段；基于三个第二交点，确定两个等长的第二线段；基于第一线段与两个第二线段中的一个第二线段之间的夹角，确定横滚角增量。

可选地，位姿矫正模块84，还可以包括：

第三地面确定单元847，用于基于图像车道线和当前位姿信息，确定多条车道线对应的第三地面。

其中，第三地面为当前位姿信息对应的初始地面或第三矫正后地面，第三矫正后地面为对当前位姿信息中的横滚角和/或俯仰角进行矫正后得到的位姿信息对应的地面。

偏航角确定单元848，用于基于车载相机对应的相机坐标系的原点和多条车道线中各车道线在第三地面中分别对应的的第三地面车道线，确定偏航角增量。

偏航角矫正单元849，用于基于偏航角增量对当前位姿信息中的偏航角进行矫正，得到矫正后的车载相机相对于车辆的目标位姿信息。

可选地，位姿矫正模块84，还用于获取车载相机采集的包括多条车道线的第二图像；

偏航角确定单元848，具体用于确定第二图像对应的第四地面车道线；确定相机坐标系的原点在第一图像对应的第三地面中的第一投影点，以及确定相机坐标系的原点在第二图像对应的第三地面中的第二投影点；基于第一投影点与第三地面车道线之间的第一距离，和第二投影点与所述第四地面车道线之间的第二距离，确定偏航角增量。

可选地，通过运动估计方法确定第一图像和第二图像间的自车运动估计信息来确定第二图像对应的地面与第三地面之间的转换关系，通过该转换关系确定第二投影点。

可选地，偏航角确定单元848在基于第一投影点与第三地面车道线之间的第一距离、和第二投影点与第四地面车道线之间的第二距离，确定偏航角增量时，用于在第三地面中，以第一投影点为圆心，以第一距离为半径得到第一圆弧；以第二投影点为圆心，以第二距离为半径得到第二圆弧；确定第一圆弧与第二圆弧的公切线，确定第一投影点与第二投影点的连接线；基于公切线与车道线之间的夹角，确定偏航角增量。

可选地，预设条件可以包括但不限于以下至少之一：

多条车道线为非弯道，车道线的数量大于或等于设定数量，且车道线之间的间距相同。

可选地，本实施例提供的装置还包括：

位姿替换模块85，用于确定目标位姿信息符合预设收敛条件，基于位姿矫正模块84的的目标位姿信息替换当前位姿信息。

示例性电子设备

下面，参考图10来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图10图示了根据本申请实施例的电子设备的框图。

如图10所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的车载相机姿态矫正方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图10中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车载相机姿态矫正方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车载相机姿态矫正方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种车载相机姿态矫正方法，包括：

基于车载相机对多条车道线进行图像采集，得到第一图像；

响应于所述多条车道线符合预设条件，确定所述多条车道线中各车道线分别在图像坐标系下对应的图像车道线；

确定所述车载相机相对于车辆的当前位姿信息；

基于所述图像车道线，对所述当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息；其中，所述姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

2.根据权利要求1所述的方法，其中，所述基于所述图像车道线，对所述当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息，包括：

基于所述图像车道线和所述当前位姿信息，确定所述多条车道线对应的第一地面；其中，所述第一地面为所述当前位姿信息对应的初始地面或第一矫正后地面，所述第一矫正后地面为对所述当前位姿信息中的横滚角和/或偏航角进行矫正后得到的位姿信息对应的地面；

基于所述车载相机对应的相机坐标系的原点和所述多条车道线中各车道线分别在所述第一地面中对应的第一地面车道线，确定俯仰角增量；

基于所述俯仰角增量对所述当前位姿信息中的俯仰角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息。

3.根据权利要求2所述的方法，其中，所述基于所述车载相机对应的相机坐标系的原点和所述多条车道线中各车道线分别在所述第一地面中的第一地面车道线，确定俯仰角增量，包括：

基于所述相机坐标系的原点和所述多条车道线中各车道线分别对应的第一地面车道线，确定多个第一平面；其中，每个所述第一平面中包括一个所述第一地面车道线和所述相机坐标系的原点；

基于所述多个第一平面的交线与所述第一地面之间的夹角，确定所述俯仰角增量。

4.根据权利要求1-3任一所述的方法，其中，所述基于所述图像车道线，对所述当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息，包括：

基于所述图像车道线和所述当前位姿信息，确定所述多条车道线对应的第二地面；其中，所述第二地面为所述当前位姿信息对应的初始地面或第二矫正后地面，所述第二矫正后地面为对所述当前位姿信息中的俯仰角和/或偏航角进行矫正后得到的位姿信息对应的地面；

基于所述车载相机对应的相机坐标系的原点和所述多条车道线中各车道线在所述第二地面中分别对应的第二地面车道线，确定横滚角增量；

基于所述横滚角增量对所述当前位姿信息中的横滚角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息。

5.根据权利要求4所述的方法，其中，所述基于所述车载相机对应的相机坐标系的原点和所述多条车道线中各车道线在所述第二地面中分别对应的第二地面车道线，确定横滚角增量，包括：

确定所述第二地面中相邻的三条第二地面车道线与所述相机坐标系中的竖直平面的三个第一交点；

基于所述三条第二地面车道线和所述相机坐标系的原点，确定三条模拟车道线；

确定所述三条模拟车道线与所述相机坐标系中的所述竖直平面的三个第二交点；

基于所述三个第一交点和所述三个第二交点，确定所述横滚角增量。

6.根据权利要求5所述的方法，其中，所述基于所述三个第一交点和所述三个第二交点，确定所述横滚角增量，包括：

基于所述三个第一交点，确定第一线段；

基于所述三个第二交点，确定两个等长的第二线段；

基于所述第一线段与两个等长的所述第二线段中的任一个所述第二线段之间的夹角，确定所述横滚角增量。

7.根据权利要求1-6任一所述的方法，其中，所述基于所述图像车道线，对所述当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息，包括：

基于所述图像车道线和所述当前位姿信息，确定所述多条车道线对应的第三地面；其中，所述第三地面为所述当前位姿信息对应的初始地面或第三矫正后地面，所述第三矫正后地面为对所述当前位姿信息中的横滚角和/或俯仰角进行矫正后得到的位姿信息对应的地面；

基于所述车载相机对应的相机坐标系的原点和所述多条车道线中各车道线在所述第三地面中分别对应的的第三地面车道线，确定偏航角增量；

基于所述偏航角增量对所述当前位姿信息中的偏航角进行矫正，得到矫正后的所述车载相机相对于车辆的目标位姿信息。

8.根据权利要求7所述的方法，还包括：

基于所述车载相机对所述多条车道线进行图像采集，得到第二图像；

所述基于所述车载相机对应的相机坐标系的原点和所述多条车道线在所述第三地面中的第三地面车道线，确定偏航角增量，包括：

确定所述第二图像对应的第四地面车道线；

确定所述相机坐标系的原点在所述第一图像对应的所述第三地面中的第一投影点，以及确定所述相机坐标系的原点在所述第二图像对应的所述第三地面中的第二投影点；

基于所述第一投影点与所述第三地面车道线之间的第一距离，和所述第二投影点与所述第四地面车道线之间的第二距离，确定所述偏航角增量。

9.根据权利要求8所述的方法，其中，所述基于所述第一投影点与所述第三地面车道线之间的第一距离、和所述第二投影点与所述第四地面车道线之间的第二距离，确定所述偏航角增量，包括：

在所述第三地面中，以所述第一投影点为圆心，以所述第一距离为半径得到第一圆弧；以所述第二投影点为圆心，以所述第二距离为半径得到第二圆弧；

确定所述第一圆弧与所述第二圆弧的公切线，确定所述第一投影点与所述第二投影点的连接线；

基于所述公切线与所述连接线之间的夹角，确定所述偏航角增量。

10.根据权利要求1-9任一所述的方法，其中，所述预设条件包括：

所述多条车道线为非弯道，所述车道线的数量大于或等于设定数量，且所述车道线之间的间距相同。

11.根据权利要求1-10任一所述的方法，还包括：

确定所述目标位姿信息符合预设收敛条件，基于所述目标位姿信息替换所述当前位姿信息。

12.一种车载相机姿态矫正装置，包括：

图像采集模块，用于获取车载相机采集的包括多条车道线的第一图像；

车道线确定模块，用于响应于所述多条车道线符合预设条件，确定所述图像采集模块获取的第一图像中的所述多条车道线在图像坐标系下的图像车道线；其中，每条所述车道线对应一个所述图像车道线；

初始位姿确定模块，用于确定所述车载相机相对于车辆的当前位姿信息；

位姿矫正模块，用于基于所述车道线确定模块确定的图像车道线，对所述初始位姿确定模块确定的当前位姿信息中的至少一个姿态角进行矫正，得到矫正后的所述车载相机相对于所述车辆的目标位姿信息；其中，所述至少一个姿态角包括以下至少之一：俯仰角、横滚角、偏航角。

13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的车载车载相机姿态矫正方法。

14.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的车载车载相机姿态矫正方法。

Images