CN112365549A - 车载相机的姿态校正方法、装置和存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种人工智能场景下的车载相机的姿态校正方法、装置和存储介质及电子装置，具体还涉及计算机视觉、自动驾驶等技术。其中，该方法包括：获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；连接多个第一目标交点以生成第一姿态指示线；在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。本发明解决了车载相机的姿态校正灵活性较低的技术问题。

Description

车载相机的姿态校正方法、装置和存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种车载相机的姿态校正方法、装置和存储介质及电子装置。

背景技术

近年来相机位姿的应用越发广泛，例如：在ADAS产品中依赖相机位姿来计算物体所在的相对位置，在AR导航产品中依赖相机位姿来计算前方识别到的车辆、车道线等元素所在的3D位置。以车载相机为例说明，在车载相机的前装市场上，每个车型的车相机位置相对车身是固定的，但是当车辆载重和胎压不对称的情况下，相机姿态跟随车身姿态的变化而变化，相机姿态变化会导致AR渲染的元素和实际事物有相应角度的偏差，视觉效果较差；在车载相机的后装市场上，相机是由用户自行安装，每个人安装位置都不一样，姿态也千奇百怪，即便让用户按照说明去安装，人工误差也会很大，AR元素贴合实景效果也不好。

换言之，现有技术的相机角度是出厂时设定的，对相机的配置位置以及相机载体的状态要求较高，不够灵活，进而导致在实际应用中，如果发生相机的位置偏移或相机载体发生倾斜的情况，只能返厂重新校正，较为死板。即，现有技术中的车载相机的姿态校正灵活性较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种车载相机的姿态校正方法、装置和存储介质及电子装置，以至少解决车载相机的姿态校正灵活性较低的技术问题。

根据本发明实施例的一个方面，提供了一种车载相机的姿态校正方法，包括：获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，上述第一图像集中包括至少两张第一目标图像，上述第一目标图像中包括至少两条已被识别出的相互平行的平行线；确定在每张上述第一目标图像中上述平行线的交点位置，得到多个离散的第一目标交点；连接多个上述第一目标交点以生成第一姿态指示线，其中，上述第一姿态指示线用于指示上述车载相机当前的采集姿态；在上述第一目标图像中的校正参考线和上述第一姿态指示线的位置关系指示上述车载相机当前的采集姿态处于异常的情况下，校正上述车载相机的采集姿态。

根据本发明实施例的另一方面，还提供了一种车载相机的姿态校正装置，包括：第一获取单元，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，上述第一图像集中包括至少两张第一目标图像，上述第一目标图像中包括至少两条已被识别出的相互平行的平行线；第一确定单元，确定在每张上述第一目标图像中上述平行线的交点位置，得到多个离散的第一目标交点；第一连接单元，连接多个上述第一目标交点以生成第一姿态指示线，其中，上述第一姿态指示线用于指示上述车载相机当前的采集姿态；第一校正单元，在上述第一目标图像中的校正参考线和上述第一姿态指示线的位置关系指示上述车载相机当前的采集姿态处于异常的情况下，校正上述车载相机的采集姿态。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述车载相机的姿态校正方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的车载相机的姿态校正方法。

在本发明实施例中，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，上述第一图像集中包括至少两张第一目标图像，上述第一目标图像中包括至少两条已被识别出的相互平行的平行线；确定在每张上述第一目标图像中上述平行线的交点位置，得到多个离散的第一目标交点；连接多个上述第一目标交点以生成第一姿态指示线，其中，上述第一姿态指示线用于指示上述车载相机当前的采集姿态；在上述第一目标图像中的校正参考线和上述第一姿态指示线的位置关系指示上述车载相机当前的采集姿态处于异常的情况下，校正上述车载相机的采集姿态，利用车载相机采集到的第一目标图像，以获取由第一目标图像的车道线交点确定的姿态指示线，再通过姿态直线与第一目标图像的校正参考线的位置关系，以指示相机的采集姿态的校正，进而达到了可以通过实时获取的第一目标图像以灵活校正车载相机的姿态的技术目的，从而实现了提高车载相机的姿态的校正灵活性的技术效果，进而解决了车载相机的姿态校正灵活性较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的车载相机的姿态校正方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的车载相机的姿态校正方法的流程图的示意图；

图3是根据本发明实施例的一种可选的车载相机的姿态校正方法的示意图；

图4是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图5是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图6是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图7是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图8是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图9是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图10是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图11是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图12是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图13是根据本发明实施例的另一种可选的车载相机的姿态校正方法的示意图；

图14是根据本发明实施例的一种可选的车载相机的姿态校正装置的示意图；

图15是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，简称CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

自动驾驶、辅助驾驶等技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自动驾驶技术、辅助驾驶技术有着广泛的应用前景。

本申请通过如下实施例进行说明:

根据本发明实施例的一个方面，提供了一种车载相机的姿态校正方法，可选地，作为一种可选的实施方式，上述车载相机的姿态校正方法可以但不限于应用于如图1所示的环境中。其中，可以但不限于包括用户设备102、网络110及服务器112，其中，该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。用户设备102可以但不限于为安装在目标车辆内的车载相机，显示器108可以但不限于为车载相机显示屏，车载相机上还可以但不限于配置有车载相机镜头，该车载相机镜头用于采集图像，而车载相机显示屏可以但不限用于显示车载相机镜头采集到的图像或由多帧连续图像组成视频。

具体过程可如下步骤：

步骤S102，用户设备102通过预先配置有的车载相机镜头采集多张图像，并基于采集到的多张图像打包获取第一图像集；

步骤S104-S106，用户设备102通过网络110将第一图像集发送给服务器112；

步骤S108，服务器112通过处理引擎116将第一图像集中的至少两张第一目标图像进行处理，从而生成用户设备102的采集姿态的判断结果，其中，该判断结果用于指示用户设备102的当前采集姿态正常或异常；

步骤S110-S112，服务器112通过网络110将判断结果发送给用户设备102，用户设备102中的处理器106根据判断结果调整车载相机整体，或调整车载相机镜头，并将调整后的车载相机镜头采集到的图像显示在显示器108中，并将调整后的车载相机的采集姿态对应的姿态数据存储在存储器104中。

除图1示出的示例之外，上述步骤可以由用户设备102独立完成，即由用户设备102执行图像的处理、采集姿态正常或异常的判断等步骤，从而减轻服务器的处理压力。该用户设备102包括但不限于手持设备（如手机）、笔记本电脑、台式电脑、车载设备等，本发明并不限制用户设备102的具体实现方式。

可选地，作为一种可选的实施方式，如图2所示，车载相机的姿态校正方法包括：

S202，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；

S204，确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；

S206，连接多个第一目标交点以生成第一姿态指示线，其中，第一姿态指示线用于指示车载相机当前的采集姿态；

S208，在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

可选地，在本实施例中，车载相机的姿态校正方法可以但不限应用在基于车载相机确定目标车辆所在的相对位置，进而提供对应的业务服务的场景下，例如将车载相机的姿态校正方法应用在AR导航产品，车载相机的姿态可自动化校正，无需用户参与，而且就算相机被移动了，也能自动校正回来，AR贴合实景的效果会更好；再例如将车载相机的姿态校正方法应用在ADAS产品，因ADAS产品需利用相机位姿来计算物体所在的相对位置，加入车载相机的姿态校正方法的自校正逻辑后会更精确。

可选地，在本实施例中，车载相机可以但不限于为安装在车辆内部或外部，以采集车辆周边（例如正前方、正后方等）的外景图像的图像采集设备，其中，车载相机可以但不限于配置有图像显示屏、图像采集镜头以及图像处理器，其中，可选的图像采集镜头可以但不限用于采集图像，图像显示屏可以但不限用于显示图像采集镜头采集到的图像，图像处理器可以但不限用于将图像采集镜头采集到的图像处理为第一目标图像，例如在图像采集镜头采集到的多张图像中筛选出满足预设条件的至少两张第一目标图像，再对至少两张第一目标图像进行打包，以获取第一图像集。此外，在车载相机与目标终端建立有通信关系的情况下，车载相机可以但不限于将采集到的图像，以二维或三维的图像形式显示在目标终端的显示屏上。

进一步举例说明，可选的例如图3所示，包括目标车辆302，以及安装在目标车辆前窗玻璃上的车载相机304，该车载相机304用于采集目标车辆302的正前方的外景图像，并将采集到的图像实时显示在车载相机304中的显示器上。

可选地，在本实施例中，在目标车辆处于行驶状态的情况下，目标车辆可以但不限基于车载相机采集到的图像数据，以自动调整目标车辆的行驶方向和/或行驶速度。

进一步举例说明，可选的例如图3所示，假设目标车辆302正处于行驶状态，车载相机304采集到目标车辆302的正前方出现目标障碍物，且该目标障碍物满足躲避条件，则生成调整指令，进而基于调整指令以调整目标车辆的行驶方向/或行驶速度，使得目标车辆躲避目标障碍物。

可选地，在本实施例中，平行线可以但不限于在基于车载相机可采集到的图像数据中，相对平行的两条或多条直线，直线例如为车道线、人行道线、马路沿边等，也可以但不限于为基于车载相机可采集到的图像数据中，多个连续的点组成的相对平行的两条或多条直线，点例如路灯、指示标、车辆等，其中，车道线可以但不限于为导向车道线，该导向车道线可以但不限于是引导方向的车道标线，用来指示车辆在路口驶入段应按所指方向行驶，在车流大的交通路口一般画有此类标线，目的就是明确行车方向，各行其道，以缓解交通压力。除此之外，车道线还可以但不限于为相对平行的至少两条直线。

进一步举例说明，可选的例如图4所示，假设目标车辆402正行驶在路上，且该路上还显示有多条平行线（例如车道线404），且多条车道线404之间，具有平行关系，其中，具有平行关系的车道线404可以但不限于表示车道线404之间相互平行。可选的，平行关系可以但不限于指两条车道线404之间的距离差小于等于平行差值，或者说，在两条车道线404之间的距离差小于等于平行差值的情况下，确定上述两条车道线404之间具有平行关系。

可选地，在本实施例中，假设在目标车辆行驶的路面上配置有多条相互平行的车道线，但在设置在目标车辆正面的车载相机的相机镜头下，基于平行透视原理，所采集到的图像中多条相互平行的车道线应相交于或趋近相交于一点。可选的，平行透视原理可以但不限于为采取通过一块透明的平面去看景物的方法，将所见的景物精准描画在这块平面上，即成该景物的透视图。

进一步举例说明，可选的基于图4所示场景，继续例如图5为例说明，在目标车辆402行驶的路面上配置有多条相互平行的车道线404，但在车载相机502的相机镜头下，多条相互平行的车道线404相交或趋近相交于一点，其中，如图5所示，车载相机502配置在目标车辆402的前置车窗上，在用户透过目标车辆402的前置车窗获取前置车窗外的多条相互平行的车道线404的图像，该图像可以但不限于多条相互平行的车道线404相交或趋近相交于一点。可选的，在车载相机502的相机镜头下，多条相互平行的车道线404趋近相交于一点的情况下，可以但不限于通过延伸车道线404以获取相交点。

可选地，在本实施例中，在车载相机的姿态校正方法的执行过程中，可以但不限于利用坐标系，例如将第一目标图像放入目标坐标系中，使得目标坐标系中的坐标点与第一目标图像的像素点一一对应，从而第一目标交点的确定相当于目标坐标点的确定，多个第一目标交点的连接相当于多个目标坐标点的连接。可选的，第一目标图像中的车道线被特殊标记。可选的，坐标系上的坐标点可以但不限于与第一目标图像中的像素点的位置一一对应。可选的，第一目标图像可以但不限于为显示有平行线的图像。

进一步举例说明，可选的例如图6所示的目标坐标系602，显示有第一目标图像中的对应像素点，其中，平行线可以但不限于为车道线604，也可以但不限于为由多个连续的路灯组成的趋近直线，假设平行线为车道线604，则该车道线604的目标像素点在目标坐标系602中被特殊标记。

可选地，在本实施例中，在利用目标坐标系确定在每张第一目标图像中车道线的交点坐标（位置），以得到多个离散的第一目标交点的场景下，可以但不限于将至少两张第一目标图像的车道线或第一目标交点同时或依次放入目标坐标系中，再通过依次连接第一目标交点以获取姿态指示线712。

进一步举例说明，可选的基于图6所示场景，继续例如图7中的（a）以及图7中的（b）所示，在图7中的（a）中，第一图像集702中可以但不限于包括多张分别位于目标坐标系602中的多张（省略号用于表示多张）第一目标图像，其中，在位于目标坐标系602中的第一目标图像的车道线被特殊标记，例如车道线604、车道线702以及车道线704；

再者，在图7中的（b）中，将车道线604、车道线702以及车道线704同时放入目标坐标系602中，并依次与车道线702以及车道线704分别对应的第一目标交点（虚线表示车道线的趋势延伸），具体的，第一目标交点706为车道线604的交点，第一目标交点708为车道线702的交点，第一目标交点710为车道线704的交点。进一步以此连接第一目标交点706、第一目标交点708以及第一目标交点710，并进行合理延伸，以获得显示在目标坐标系602的姿态指示线712。

可选地，在本实施例中，校正参考线可以但不限于预先配置的参考线，例如校正参考线可以但不限于为车载相机镜头画面中的比例线，具体的，水平5:5画面比例的参考线、垂直1:9画面比例的参考线、斜向3：7画面比例的参考线等。

进一步举例说明，在当前车载相机镜头画面为第一目标图像的情况下，可选的如8图所示，将垂直5:5画面比例的参考线作为校正参考线为例说明，在第一目标图像802上显示有姿态指示线804以及校正参考线806，进而基于姿态指示线804以及校正参考线806的位置关系，确定第一目标图像802所表示的相机姿态是否异常，其中，校正参考线806即为车载相机镜头画面的垂直中线（5:5画面比例）。

可选地，在本实施例中，校正车载相机的采集姿态可以但不限于校正车载相机的相对地面的姿态。可选的，采集姿态可以但不限用于表示车载相机的相机外参的旋转姿态或旋转矩阵。可选的，相机参数分为相机内参和相机外参，其中，相机坐标系投影到图像平面的转换关系描述，可以理解为相机成像规律的数学表达，跟相机硬件自身相关，一般由焦距fx、fy，中心焦点cx、cy构成的一个转换矩阵，由于相机坐标系使用的是毫米制的单位，而图像平面使用的像素为单位，内参数的作用就是在这两个坐标系之间进行线性的变化。而相机坐标系到世界坐标系的转换关系描述，可以理解为相机在世界坐标系中的位姿描述，跟相机安装位置和角度相关，一般由转换矩阵T和旋转矩阵R表示，转换矩阵是位置的相对关系，旋转矩阵是姿态的相对关系，合在一起就可以完整表达一个位姿，即为相机外参。可选的，结合相机外参以及相机内参可以但不限于得出一个从像素到世界的坐标转换矩阵。

通过本申请提供的实施例，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；连接多个第一目标交点以生成第一姿态指示线，其中，第一姿态指示线用于指示车载相机当前的采集姿态；在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态，利用车载相机采集到的第一目标图像，以获取由第一目标图像的车道线交点确定的姿态指示线，再通过姿态直线与第一目标图像的校正参考线的位置关系，以指示相机的采集姿态的校正，进而达到了可以通过实时获取的第一目标图像以灵活校正车载相机的姿态的技术目的，从而实现了提高车载相机的姿态的校正灵活性的技术效果。

作为一种可选的方案，在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态包括：

S1，基于第一目标图像中的校正参考线和第一姿态指示线的位置关系计算目标夹角角度；

S2，在目标夹角角度指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

可选地，在本实施例中，目标夹角角度可以但不限于表达车载相机的旋转姿态，目标夹角角度可以但不限于包括以下至少之一：姿态角、偏航角、航向角（yaw）、俯仰角（pitch）、翻滚角（roll）。

进一步举例说明，可选的例如以图9中的目标模型902为例说明，调整俯仰角可以但不限用于表示将目标模型绕X轴旋转（localRotationX），调整航向角可以但不限用于表示将目标模型绕Y轴旋转（localRotationY），调整翻滚角可以但不限用于表示将目标模型绕Z轴旋转（localRotationY）。

需要说明的是，在基于第一目标图像中的校正参考线和第一姿态指示线的位置关系计算出的目标夹角角度，指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

通过本申请提供的实施例，在基于第一目标图像中的校正参考线和第一姿态指示线的位置关系计算目标夹角角度；在目标夹角角度指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态，达到了基于目标夹角角度快速校正车载相机的采集姿态的目的，实现了提高采集姿态的校正效率的效果。

作为一种可选的方案，所述目标夹角角度包括指示所述车载相机翻滚姿态的翻滚角度，所述翻滚角度通过如下方式计算：

S1，获取所述目标图像第一目标图像的校正参考线，其中，所述校正参考线包括水平参考线；

S2，获取所述第一姿态指示线；

S3，在所述校正参考线与所述第一姿态指示线之间的夹角角度大于水平阈值的情况下，将所述校正参考线与所述第一姿态指示线之间的夹角角度确定为所述翻滚角度。

可选的，在本实施例中，目标夹角角度包括指示车载相机翻滚姿态的翻滚角度，翻滚角度为目标图像第一目标图像的校正参考线与第一姿态指示线之间的夹角角度，校正参考线包括水平参考线。

需要说明的是，获取所述目标图像第一目标图像的校正参考线，其中，所述校正参考线包括水平参考线；获取所述第一姿态指示线；在所述校正参考线与所述第一姿态指示线之间的夹角角度大于水平阈值的情况下，将所述校正参考线与所述第一姿态指示线之间的夹角角度确定为所述翻滚角度。可选的，水平阈值用于表示线与线之间是否为水平关系，例如线与线之间的夹角角度大于水平阈值，可以但不限于表示该线与线之间非水平关系，反之，如果该夹角角度小于等于水平阈值，则可以但不限于表示该线与线之间为水平关系。

进一步举例说明，可选的基于图8所示场景，继续例如图10所示，在将第一目标图像802的水平参考线作为校正参考线1002的情况下，获取校正参考线1002与姿态指示线804的目标夹角角度1004。

再者，在目标夹角角度1004小于等于预设夹角阈值的情况下，则认为校正参考线1002与姿态指示线804平行，进而在将目标夹角角度1004作为车载相机的翻滚角度的情况下，确定车载相机的当前翻滚角度与初始翻滚角度相比，未发生变化。

此外，在目标夹角角度1004大于预设夹角阈值的情况下，进一步将目标夹角角度1004作为车载相机的翻滚角度，则当前车载相机的翻滚角度，即为车载相机的初始翻滚角度发生变化的角度。

通过本申请提供的实施例，目标夹角角度包括指示车载相机翻滚姿态的翻滚角度，翻滚角度为目标图像第一目标图像的校正参考线与第一姿态指示线之间的夹角角度，校正参考线包括水平参考线，达到了基于水平参考线与姿态指示线的目标夹角角度快速获取车载相机的翻滚角度的目的，实现了提高翻滚角度的获取效率的效果。

作为一种可选的方案，校正参考线包括水平参考线和垂直参考线，目标夹角角度包括指示车载相机俯仰姿态的俯仰角度，俯仰角度通过如下方式计算：

S1，获取车载相机的第一内参数值；

S2，在第一目标图像的水平参考线与第一姿态指示线平行的情况下，计算水平参考线与第一姿态指示线之间的第一距离值；或者，在水平参考线与第一姿态指示线相交的情况下，获取水平参考线与垂直参考线的第一交点，以及垂直参考线与第一姿态指示线的第二交点，计算第一交点与第二交点之间的第二距离值；

S3，基于第一内参数值以及第一距离值，或基于第一内参数值以及第二距离值，计算车载相机的俯仰角度。

可选地，在本实施例中，第一目标图像的水平参考线与第一姿态指示线平行可以但不限于指第一目标图像的水平参考线与第一姿态指示线之间具有平行关系，或者说第一目标图像的水平参考线与第一姿态指示线的目标夹角角度小于等于阈值夹角阈值。

可选地，在本实施例中，第一距离值可以但不限于为水平参考线与第一姿态指示线之间全部距离值的平均值，或最大值。

进一步举例说明，可选的基于图10所示场景，继续例如图11所示，在姿态指示线804与水平参考线1002平行的情况下，获取姿态指示线804与水平参考线1002之间的第一距离值，可选的，第一距离值可以但不限于为姿态指示线804与水平参考线1002之间全部距离值的平均值。

再者，姿态指示线804与水平参考线1002不平行的情况下，在第一目标图像802上显示垂直参考线1102，并获取垂直参考线1102与水平参考线1002的第一交点1104，以及垂直参考线1102与姿态指示线804的第二交点1106，并进一步获取第一交点1104与第二交点1106的第二距离值1108，可选的，第二距离值1108可以但不限于为第一交点1104与第二交点1106在垂直参考线1102上的直线距离值。

进一步举例说明，可选的校正参考线与姿态指示线的相互平行可以但不限于为相对平行，基于图10所示场景，继续例如图12所示，在实景场景中，在校正参考线1002与姿态指示线804的绝对平行的情况下，目标夹角角度1004应为0度，但实际上0度这一条件较为苛刻，进而可以为目标夹角角度1004分配一个角度阈值，在该目标夹角角度1004小于等于稿角度阈值的情况下，确定正参考线1002与姿态指示线804为相对平行。

需要说明的是，先判断述第一目标图像的水平参考线与第一姿态指示线之间的位置关系是否平行，再进行对应的计算逻辑，以快速获取车载相机的俯仰角度。可选的，判断线与线是否平行可以但不限于根据该线与线的夹角角度是否小于等于上述水平阈值。

可选地，在本实施例中，俯仰角度就是车载相机的朝向和水平方向的夹角，进而基于第一内参数值以及第一距离值，或基于第一内参数值以及第二距离值，计算车载相机的俯仰角度，具体的，假设第一距离值为x1，俯仰角度为Θp，第一内参数值为fx（例如车载相机的方向焦距），则俯仰角度的计算逻辑可以但不限于参考下述公式（1）：

Θp = arctan (x1/ fx) 公式（1）；

再者，假设第二距离值为x2，俯仰角度为Θp，第一内参数值为fx（例如车载相机的方向焦距），则俯仰角度的计算逻辑可以但不限于参考下述公式（2）：

Θp = arctan (x2/ fx) 公式（2）；

通过本申请提供的实施例，获取车载相机的第一内参数值；在第一目标图像的水平参考线与第一姿态指示线平行的情况下，计算水平参考线与第一姿态指示线之间的第一距离值；或者，在水平参考线与第一姿态指示线相交的情况下，获取水平参考线与垂直参考线的第一交点，以及垂直参考线与第一姿态指示线的第二交点，计算第一交点与第二交点之间的第二距离值；基于第一内参数值以及第一距离值，或基于第一内参数值以及第二距离值，计算车载相机的俯仰角度，达到了基于车载相机的第一内参数值、校正参考线以及姿态指示线，快速计算俯视角度的目的，实现了提高俯视角度的获取效率的效果。

作为一种可选的方案，校正参考线包括水平参考线和垂直参考线，目标夹角角度包括指示车载相机航向姿态的航向角度，航向角度通过如下方式计算：

S1，获取车载相机的第二内参数值；

S2，在第一图像集中筛选出满足目标条件的N张子目标图像，其中，目标条件为水平参考线与垂直参考线的交点的变化量小于等于第一预设阈值，其中，N为大于等于2的正整数；

S3，获取子目标图像的第一目标交点，与子目标图像的垂直参考线之间的第三距离值；

S4，基于第二内参数值以及第三距离值，计算车载相机的航向角度。

可选地，在本实施例中，可以但不限于根据目标车辆的gps和陀螺仪以在第一图像集中筛选出至少两张子第一目标图像。可选的，满足目标条件的至少两张子第一目标图像可以但不限用于表示一段连续的时间内目标车辆的行驶方向的变化量小于等于第一预设阈值，或/或车道线与垂直参考线的交点在一段连续的时间内的变化量小于等于第一预设阈值。

可选的，在本实施例中，第三距离值可以但不限于为第一目标图像的第一目标交点，与子第一目标图像的垂直参考线之间的最短距离值，也可以但不限于为第一目标图像的第一目标交点，与子第一目标图像的垂直参考线之间的全部距离值的平均值，还可以但不限于为第一目标图像的第一目标交点，与子第一目标图像的垂直参考线，在第一姿态指示线上的直线距离值。

可选的，在本实施例中，假设y1为第三距离值，第二内参数值为fy（例如车载相机的方向焦距），航向角度为Θy，则航向角度的计算逻辑可以但不限基于下述公式（3）：

Θy = arctan (y1/ fy) 公式（3）；

需要说明的是，一段连续的时间内目标车辆的行驶方向的变化量小于等于第一预设阈值，或/或车道线与垂直参考线的交点在一段连续的时间内的变化量小于等于第一预设阈值，可以但不限于表示车辆在同一车道中连续行驶，如果航向角度相对于初始航向角度的变化量小于等于预设航向角度，则车道线交点必然趋近于垂直参考线上。

进一步举例说明，可选的基于图8所示场景，继续以图13为例说明，假设第一目标图像802满足目标条件，则在第一目标图像802上显示与第一目标图像802对应的车道线1302，车道线1302对应的第一目标交点姿态指示线804，以及垂直参考线1304。进一步，获取第一目标交点1306在姿态指示线804上，与垂直参考线1304之间的直线距离，并将该直线距离对应的距离值，作为第三距离值1308。

通过本申请提供的实施例，校正参考线包括水平参考线和垂直参考线，目标夹角角度包括指示车载相机航向姿态的航向角度，航向角度通过如下方式计算：获取车载相机的第二内参数值；在第一图像集中筛选出满足目标条件的N张子目标图像，其中，目标条件为水平参考线与垂直参考线的交点的变化量小于等于第一预设阈值；获取子目标图像的第一目标交点，与子目标图像的垂直参考线之间的第三距离值；基于第二内参数值以及第三距离值，计算车载相机的航向角度，达到了基于第二内参数值、述校正参考线以及第一目标交点，快速计算航向角度的目的，实现了提高航向角度的获取效率的效果。

作为一种可选的方案，计算车载相机的航向角度，包括：

S1，计算车载相机的N个航向角度，其中，N个航向角度与N张子目标图像分别对应；

S2，将N个航向角度中，置信度大于等于第二预设阈值的航向角度作为车载相机的航向角度。

可选的，在本实施例中，因需要至少两种目标子图像才能表示出目标车辆在一段连续时间内的行驶方向不变，因此通过计算获取的航向角度的数量，与目标子图像的数量是对应的，但用于矫正车载相机的航向角往往不需要那么多，进而需要在至少两个航向角度中确定出置信度最高的航向角度作为车载相机当前的航向角度。

需要说明的是，计算车载相机的N个航向角度，其中，N个航向角度与N张子目标图像分别对应；将N个航向角度中，置信度大于等于第二预设阈值的航向角度作为车载相机的航向角度。可选的，置信度可以但不限于为一个概率样本的置信区间，是对这个样本某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度。

通过本申请提供的实施例，计算车载相机的N个航向角度，其中，N个航向角度与N张子目标图像分别对应；将N个航向角度中，置信度大于等于第二预设阈值的航向角度作为车载相机的航向角度，达到了利用置信度最高的航向角度作为车载相机当前的航向角度参与车载相机的校正过程的目的，实现了提高车载相机的校正准确性的效果。

作为一种可选的方案，第一图像集中的第一目标图像通过如下方式获得：

S1，获取车载相机在第一时间段内采集到的多张第一图像；

S2，将多张第一图像输入识别模型，其中，识别模型用于识别并标记出图像中平行线的目标像素；

S3，根据识别模型的识别结果，得到至少两张第一目标图像。

可选地，在本实施例中，第一图像可以但不限用于表示车载相机在第一时间段内采集到的图像。可选的，车载相机在第二时间段内采集到的图像可以但不限于为第二图像。

可选地，在本实施例中，识别模型可以但不限基于图像识别，用于道路元素的识别，可识别出每条平行线所有像素所在图像的坐标。可选的，图像识别可以但不限于是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。

可选地，在本实施例中，在将多张第一图像输入识别模型之前，还可以但不限于对多张第一图像进行筛选，再将筛选后的图像输入识别模型，具体的筛选逻辑如下：筛选一段连续时间段内（如：一分钟），车速较快（如：>60km/h），gps信号良好，接近水平行驶（可通过gps位置和陀螺仪来推算是否是接近水平行驶），每帧图像识别到的平行线置信度较高，线型趋近于直线（线型是否趋近于直线可通过多次曲线的参数来判断，如上述二次曲线，可通过二次参数c 是否趋近于0来判断），长度较长的数据进行自动标定。

可选地，在本实施例中识别模型输出所有车道线在对应第一目标图像中的2D位置。

通过本申请提供的实施例，获取车载相机在第一时间段内采集到的多张第一图像；将多张第一图像输入识别模型，其中，识别模型用于识别并标记出图像中平行线的目标像素；根据识别模型的识别结果，得到至少两张第一目标图像，达到了通过识别模型处理第一目标图像中的车道线的目的，实现了提高车道线的处理效率的效果。

作为一种可选的方案，在校正车载相机的采集姿态之后，包括：

S1，获取车载相机在第二时间段内采集到的第二图像集，其中，第二图像集中包括至少两张第二目标图像；

S2，确定在每张第二目标图像中车道线的交点位置，得到多个离散的第二目标交点；

S3，连接多个第二目标交点以生成第二姿态指示线，其中，第二姿态指示线用于指示车载相机当前的采集姿态；

S4，在第二目标图像中的校正参考线和第二姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

可选地，在本实施例中，姿态指示线可以但不限用于指示车载相机当前的采集姿态，例如第一姿态指示线可以但不限用于指示车载相机在第一时间段内的采集姿态，而第二姿态指示线可以但不限用于指示车载相机在第二时间段内的采集姿态。

可选的，在本实施例中，通过不同时间段内采集的图像获取对应的姿势指示线，以获取与时间段对应的车载相机的采集姿态。

需要说明的是，获取车载相机在第二时间段内采集到的第二图像集，其中，第二图像集中包括至少两张第二目标图像；确定在每张第二目标图像中车道线的交点位置，得到多个离散的第二目标交点；连接多个第二目标交点以生成第二姿态指示线，其中，第二姿态指示线用于指示车载相机当前的采集姿态；在第二目标图像中的校正参考线和第二姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

通过本申请提供的实施例，获取车载相机在第二时间段内采集到的第二图像集，其中，第二图像集中包括至少两张第二目标图像；确定在每张第二目标图像中车道线的交点位置，得到多个离散的第二目标交点；连接多个第二目标交点以生成第二姿态指示线，其中，第二姿态指示线用于指示车载相机当前的采集姿态；在第二目标图像中的校正参考线和第二姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态，进而达到实时获取车载相机的采集姿态的技术目的，从而实现了实时校正车载相机的采集姿态的技术效果。

作为一种可选的方案，确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点，包括：

S1，在目标坐标系中，显示第一目标图像的全部平行线，其中，将平行线所在的像素拟合成多项式曲线，以在目标坐标系中显示；

S2，在目标坐标系中，确定每张第一目标图像中平行线的交点坐标，并将多个离散的交点坐标，作为第一目标交点所在的坐标位置；

再者，在上述可选的方案中，连接多个第一目标交点以生成第一姿态指示，包括：

S1，在目标坐标系中，将多个交点坐标拟合成目标直线，其中，目标直线包括目标坐标系中的全部或部分交点坐标；

S2，将目标直线作为第一姿态指示线。

可选的，利用曲线拟合技术，将车道线所在的目标像素拟合成多次曲线，例如采用二次曲线进行拟合。可选的，曲线拟合可以但不限于为选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析两变量间的关系。

可选地，在本实施例中，将所有满足要求的平行线（例如车道线）数据放入同一个坐标系内，平行线趋近直线，使用直线方程表示。

进一步举例说明，可选的例如图7中的（b）所示，假设车道线604、车道线702以及车道线704对应的车道线数据满足要求，则将车道线604、车道线702以及车道线704对应的车道线数据统一放入目标坐标系602内，因车道线趋近直线，所在以目标坐标系602内，第一目标交点实际上是使用直线方程表示的交点坐标。

需要说明的是，车道线所在的像素拟合成多次曲线，以在目标坐标系中显示；在目标坐标系中，确定每张第一目标图像中车道线的交点坐标，并将多个离散的交点坐标，作为第一目标交点所在的坐标位置；在目标坐标系中，将多个交点坐标拟合成目标直线，其中，目标直线包括目标坐标系中的全部或部分交点坐标；将目标直线作为第一姿态指示线。

通过本申请提供的实施例，在目标坐标系中，显示第一目标图像的全部平行线，其中，将平行线所在的像素拟合成多项式曲线，以在目标坐标系中显示；在目标坐标系中，确定每张第一目标图像中平行线的交点坐标，并将多个离散的交点坐标，作为第一目标交点所在的坐标位置，在目标坐标系中，将多个交点坐标拟合成目标直线，其中，目标直线包括目标坐标系中的全部或部分交点坐标；将目标直线作为第一姿态指示线，达到了利用坐标的方式快速获取姿态指示线的坐标位置的目的，实现了提高姿态指示线的获取效率的效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述车载相机的姿态校正方法的车载相机的姿态校正装置。如图14所示，该装置包括：

第一获取单元1402，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；

第一确定单元1404，确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；

第一连接单元1406，连接多个第一目标交点以生成第一姿态指示线，其中，第一姿态指示线用于指示车载相机当前的采集姿态；

第一校正单元1408，在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

可选地，在本实施例中，车载相机的姿态校正可以但不限应用在基于车载相机确定目标车辆所在的相对位置，进而提供对应的业务服务的场景下，例如将车载相机的姿态校正应用在AR导航产品，车载相机的姿态可自动化校正，无需用户参与，而且就算相机被移动了，也能自动校正回来，AR贴合实景的效果会更好；再例如将车载相机的姿态校正应用在ADAS产品，因ADAS产品需利用相机位姿来计算物体所在的相对位置，加入车载相机的姿态校正的自校正逻辑后会更精确。

可选地，在本实施例中，车载相机可以但不限于为安装在车辆内部或外部，以采集车辆周边（例如正前方、正后方等）的外景图像的图像采集设备，其中，车载相机可以但不限于配置有图像显示屏、图像采集镜头以及图像处理器，其中，可选的图像采集镜头可以但不限用于采集图像，图像显示屏可以但不限用于显示图像采集镜头采集到的图像，图像处理器可以但不限用于将图像采集镜头采集到的图像处理为第一目标图像，例如在图像采集镜头采集到的多张图像中筛选出满足预设条件的至少两张第一目标图像，再对至少两张第一目标图像进行打包，以获取第一图像集。此外，在车载相机与目标终端建立有通信关系的情况下，车载相机可以但不限于将采集到的图像，以二维或三维的图像形式显示在目标终端的显示屏上。

可选地，在本实施例中，在目标车辆处于行驶状态的情况下，目标车辆可以但不限基于车载相机采集到的图像数据，以自动调整目标车辆的行驶方向和/或行驶速度。

可选地，在本实施例中，平行线可以但不限于在基于车载相机可采集到的图像数据中，相对平行的两条或多条直线，直线例如为车道线、人行道线、马路沿边等，也可以但不限于为基于车载相机可采集到的图像数据中，多个连续的点组成的相对平行的两条或多条直线，点例如路灯、指示标、车辆等，其中，车道线可以但不限于为导向车道线，该导向车道线可以但不限于是引导方向的车道标线，用来指示车辆在路口驶入段应按所指方向行驶，在车流大的交通路口一般画有此类标线，目的就是明确行车方向，各行其道，以缓解交通压力。除此之外，车道线还可以但不限于为相对平行的至少两条直线。

可选地，在本实施例中，假设在目标车辆行驶的路面上配置有多条相互平行的车道线，但在设置在目标车辆正面的车载相机的相机镜头下，基于平行透视原理，所采集到的图像中多条相互平行的车道线应相交于或趋近相交于一点。可选的，平行透视原理可以但不限于为采取通过一块透明的平面去看景物的方法，将所见的景物精准描画在这块平面上，即成该景物的透视图，后将在平面画幅上根据一定原理，用线条来显示物体的空间位置、轮廓和投影的科学称为透视学，平行透视即一点透视，在透视制图中的运用最为普遍。

可选地，在本实施例中，在车载相机的姿态校正方法的执行过程中，可以但不限于利用坐标系，例如将第一目标图像放入目标坐标系中，使得目标坐标系中的坐标点与第一目标图像的像素点一一对应，从而第一目标交点的确定相当于目标坐标点的确定，多个第一目标交点的连接相当于多个目标坐标点的连接。可选的，第一目标图像中的车道线被特殊标记。可选的，坐标系上的坐标点可以但不限于与第一目标图像中的像素点的位置一一对应。

可选地，在本实施例中，校正车载相机的采集姿态可以但不限于校正车载相机的相对地面的姿态。可选的，采集姿态可以但不限用于表示车载相机的相机外参的旋转姿态或旋转矩阵。可选的，相机参数分为相机内参和相机外参，其中，相机坐标系投影到图像平面的转换关系描述，可以理解为相机成像规律的数学表达，跟相机硬件自身相关，一般由焦距fx、fy，中心焦点cx、cy构成的一个转换矩阵，由于相机坐标系使用的是毫米制的单位，而图像平面使用的像素为单位，内参数的作用就是在这两个坐标系之间进行线性的变化。而相机坐标系到世界坐标系的转换关系描述，可以理解为相机在世界坐标系中的位姿描述，跟相机安装位置和角度相关，一般由转换矩阵T和旋转矩阵R表示，转换矩阵是位置的相对关系，旋转矩阵是姿态的相对关系，合在一起就可以完整表达一个位姿，即为相机外参。可选的，结合相机外参以及相机内参可以但不限于得出一个从像素到世界的坐标转换矩阵。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

通过本申请提供的实施例，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；连接多个第一目标交点以生成第一姿态指示线，其中，第一姿态指示线用于指示车载相机当前的采集姿态；在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态，利用车载相机采集到的第一目标图像，以获取由第一目标图像的车道线交点确定的姿态指示线，再通过姿态直线与第一目标图像的校正参考线的位置关系，以指示相机的采集姿态的校正，进而达到了可以通过实时获取的第一目标图像以灵活校正车载相机的姿态的技术目的，从而实现了提高车载相机的姿态的校正灵活性的技术效果。

作为一种可选的方案，第一校正单元1408，包括：

第一计算模块，用于基于第一目标图像中的校正参考线和第一姿态指示线的位置关系计算目标夹角角度；

校正模块，在目标夹角角度指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，所述目标夹角角度包括指示所述车载相机翻滚姿态的翻滚角度，所述翻滚角度通过如下方式计算：

第一获取模块，用于获取所述目标图像第一目标图像的校正参考线，其中，所述校正参考线包括水平参考线；

第二获取模块，用于获取所述第一姿态指示线；

第一确定模块，用于在所述校正参考线与所述第一姿态指示线之间的夹角角度大于水平阈值的情况下，将所述校正参考线与所述第一姿态指示线之间的夹角角度确定为所述翻滚角度。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，校正参考线包括水平参考线和垂直参考线，目标夹角角度包括指示车载相机俯仰姿态的俯仰角度，俯仰角度通过如下装置计算：

第三获取模块，用于获取车载相机的第一内参数值；

第二计算模块，用于在第一目标图像的水平参考线与第一姿态指示线平行的情况下，计算水平参考线与第一姿态指示线之间的第一距离值；或者，在水平参考线与第一姿态指示线相交的情况下，获取水平参考线与垂直参考线的第一交点，以及垂直参考线与第一姿态指示线的第二交点，计算第一交点与第二交点之间的第二距离值；

第三计算模块，用于基于第一内参数值以及第一距离值，或基于第一内参数值以及第二距离值，计算车载相机的俯仰角度。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，校正参考线包括水平参考线和垂直参考线，目标夹角角度包括指示车载相机航向姿态的航向角度，航向角度通过如下装置计算：

第四获取模块，用于获取车载相机的第二内参数值；

筛选模块，用于在第一图像集中筛选出满足目标条件的N张子目标图像，其中，目标条件为水平参考线与垂直参考线的交点的变化量小于等于第一预设阈值，其中，N为大于等于2的正整数；

第五获取模块，用于获取子目标图像的第一目标交点，与子目标图像的垂直参考线之间的第三距离值；

第四计算模块，用于基于第二内参数值以及第三距离值，计算车载相机的航向角度。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第四计算模块，包括：

计算子模块，用于计算车载相机的N个航向角度，其中，N个航向角度与N张子目标图像分别对应；

确定子模块，用于将N个航向角度中，置信度大于等于第二预设阈值的航向角度作为车载相机的航向角度。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第一图像集中的第一目标图像通过如下装置获得：

第六获取模块，用于获取车载相机在第一时间段内采集到的多张第一图像；

输入模块，用于将多张第一图像输入识别模型，其中，识别模型用于识别并标记出图像中平行线的目标像素；

第七获取模块，用于根据识别模型的识别结果，得到至少两张第一目标图像。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，包括：

第二获取单元，用于在校正车载相机的采集姿态之后，获取车载相机在第二时间段内采集到的第二图像集，其中，第二图像集中包括至少两张第二目标图像，第二目标图像中包括至少两条已被识别出的相互平行的平行线；

第二确定单元，用于在校正车载相机的采集姿态之后，确定在每张第二目标图像中平行线的交点位置，得到多个离散的第二目标交点；

第二连接单元，用于在校正车载相机的采集姿态之后，连接多个第二目标交点以生成第二姿态指示线，其中，第二姿态指示线用于指示车载相机当前的采集姿态；

第二校正单元，用于在校正车载相机的采集姿态之后，在第二目标图像中的校正参考线和第二姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第一确定单元，包括：

第一确定单元1404，包括：

显示模块，用于在目标坐标系中，显示第一目标图像的全部平行线，其中，将平行线所在的像素拟合成多项式曲线，以在目标坐标系中显示；

第二确定模块，用于在目标坐标系中，确定每张第一目标图像中平行线的交点坐标，并将多个离散的交点坐标，作为第一目标交点所在的坐标位置；

再者，第一连接单元1406，包括：

合成模块，用于在目标坐标系中，将多个交点坐标拟合成目标直线，其中，目标直线包括目标坐标系中的全部或部分交点坐标；

第三确定模块，用于将目标直线作为第一姿态指示线。

具体实施例可以参考上述车载相机的姿态校正方法中所示示例，本示例中在此不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述车载相机的姿态校正方法的电子设备，如图15所示，该电子设备包括存储器1502和处理器1504，该存储器1502中存储有计算机程序，该处理器1504被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；

S2，确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；

S3，连接多个第一目标交点以生成第一姿态指示线，其中，第一姿态指示线用于指示车载相机当前的采集姿态；

S4，在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

可选地，本领域普通技术人员可以理解，图15所示的结构仅为示意，电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图15其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图15中所示更多或者更少的组件（如网络接口等），或者具有与图15所示不同的配置。

其中，存储器1502可用于存储软件程序以及模块，如本发明实施例中的车载相机的姿态校正方法和装置对应的程序指令/模块，处理器1504通过运行存储在存储器1502内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的车载相机的姿态校正方法。存储器1502可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1502可进一步包括相对于处理器1504远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1502具体可以但不限于用于存储第一目标图像、第一目标交点以及姿态指示线等信息。作为一种示例，如图15所示，上述存储器1502中可以但不限于包括上述车载相机的姿态校正装置中的第一获取单元1402、第一确定单元1404、第一连接单元1406及第一校正单元1408。此外，还可以包括但不限于上述车载相机的姿态校正装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1506包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1506为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1508，用于显示上述第一目标图像、第一目标交点以及姿态指示线等信息；和连接总线1510，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（Peer To Peer，简称P2P）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行各种可选实现方式中提供的车载相机的姿态校正方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，第一图像集中包括至少两张第一目标图像，第一目标图像中包括至少两条已被识别出的相互平行的平行线；

S2，确定在每张第一目标图像中平行线的交点位置，得到多个离散的第一目标交点；

S3，连接多个第一目标交点以生成第一姿态指示线，其中，第一姿态指示线用于指示车载相机当前的采集姿态；

S4，在第一目标图像中的校正参考线和第一姿态指示线的位置关系指示车载相机当前的采集姿态处于异常的情况下，校正车载相机的采集姿态。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种车载相机的姿态校正方法，其特征在于，包括：

获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，所述第一图像集中包括至少两张第一目标图像，所述第一目标图像中包括至少两条已被识别出的相互平行的平行线；

确定在每张所述第一目标图像中所述平行线的交点位置，得到多个离散的第一目标交点；

连接多个所述第一目标交点以生成第一姿态指示线，其中，所述第一姿态指示线用于指示所述车载相机当前的采集姿态；

在所述第一目标图像中的校正参考线和所述第一姿态指示线的位置关系指示所述车载相机当前的采集姿态处于异常的情况下，校正所述车载相机的采集姿态。

2.根据权利要求1所述的方法，其特征在于，所述在所述第一目标图像中的校正参考线和所述第一姿态指示线的位置关系指示所述车载相机当前的采集姿态处于异常的情况下，校正所述车载相机的采集姿态包括：

基于所述第一目标图像中的所述校正参考线和所述第一姿态指示线的位置关系计算目标夹角角度；

在所述目标夹角角度指示所述车载相机当前的采集姿态处于异常的情况下，校正所述车载相机的采集姿态。

3.根据权利要求2所述的方法，其特征在于，所述目标夹角角度包括指示所述车载相机翻滚姿态的翻滚角度，所述翻滚角度通过如下方式计算：

获取所述目标图像第一目标图像的校正参考线，其中，所述校正参考线包括水平参考线；

获取所述第一姿态指示线；

在所述校正参考线与所述第一姿态指示线之间的夹角角度大于水平阈值的情况下，将所述校正参考线与所述第一姿态指示线之间的夹角角度确定为所述翻滚角度。

4.根据权利要求2所述的方法，其特征在于，所述校正参考线包括水平参考线和垂直参考线，所述目标夹角角度包括指示所述车载相机俯仰姿态的俯仰角度，所述俯仰角度通过如下方式计算：

获取所述车载相机的第一内参数值；

在所述第一目标图像的水平参考线与所述第一姿态指示线平行的情况下，计算所述水平参考线与所述第一姿态指示线之间的第一距离值；或者，在所述水平参考线与所述第一姿态指示线相交的情况下，获取所述水平参考线与所述垂直参考线的第一交点，以及所述垂直参考线与所述第一姿态指示线的第二交点，计算所述第一交点与所述第二交点之间的第二距离值；

基于所述第一内参数值以及所述第一距离值，或基于所述第一内参数值以及所述第二距离值，计算所述车载相机的俯仰角度。

5.根据权利要求2所述的方法，其特征在于，所述校正参考线包括水平参考线和垂直参考线，所述目标夹角角度包括指示所述车载相机航向姿态的航向角度，所述航向角度通过如下方式计算：

获取所述车载相机的第二内参数值；

在所述第一图像集中筛选出满足目标条件的N张子第一目标图像，其中，所述目标条件为水平参考线与垂直参考线的交点的变化量小于等于第一预设阈值，其中，N为大于等于2的正整数；

获取所述子第一目标图像的所述第一目标交点，与所述子第一目标图像的所述垂直参考线之间的第三距离值；

基于所述第二内参数值以及所述第三距离值，计算所述车载相机的航向角度。

6.根据权利要求5所述的方法，其特征在于，所述计算所述车载相机的航向角度，包括：

计算所述车载相机的N个航向角度，其中，所述N个航向角度与所述N张子第一目标图像分别对应；

将所述N个航向角度中，置信度大于等于第二预设阈值的航向角度作为所述车载相机的航向角度。

7.根据权利要求1所述的方法，其特征在于，所述第一图像集中的所述第一目标图像通过如下方式获得：

获取所述车载相机在所述第一时间段内采集到的多张第一图像；

将所述多张第一图像输入识别模型，其中，所述识别模型用于识别并标记出图像中所述平行线的目标像素；

根据所述识别模型的识别结果，得到所述至少两张第一目标图像。

8.根据权利要求1所述的方法，其特征在于，在所述校正所述车载相机的采集姿态之后，包括：

获取所述车载相机在第二时间段内采集到的第二图像集，其中，所述第二图像集中包括至少两张第二目标图像，所述第二目标图像中包括至少两条已被识别出的相互平行的平行线；

确定在每张所述第二目标图像中所述平行线的交点位置，得到多个离散的第二目标交点；

连接多个所述第二目标交点以生成第二姿态指示线，其中，所述第二姿态指示线用于指示所述车载相机当前的采集姿态；

在所述第二目标图像中的校正参考线和所述第二姿态指示线的位置关系指示所述车载相机当前的采集姿态处于异常的情况下，校正所述车载相机的采集姿态。

9.根据权利要求1至8中任一项所述的方法，其特征在于，

所述确定在每张所述第一目标图像中所述平行线的交点位置，得到多个离散的第一目标交点，包括：

在目标坐标系中，显示所述第一目标图像的全部所述平行线，其中，将所述平行线所在的像素拟合成多项式曲线，以在所述目标坐标系中显示；

在所述目标坐标系中，确定每张所述第一目标图像中所述平行线的交点坐标，并将多个离散的所述交点坐标，作为所述第一目标交点所在的坐标位置；

所述连接多个所述第一目标交点以生成第一姿态指示线，包括：

在所述目标坐标系中，将多个所述交点坐标拟合成目标直线，其中，所述目标直线包括所述目标坐标系中的全部或部分所述交点坐标；

将所述目标直线作为所述第一姿态指示线。

10.一种车载相机的姿态校正装置，其特征在于，包括：

第一获取单元，获取目标车辆上的车载相机在第一时间段内采集到的第一图像集，其中，所述第一图像集中包括至少两张第一目标图像，所述第一目标图像中包括至少两条已被识别出的相互平行的平行线；

第一确定单元，确定在每张所述第一目标图像中所述平行线的交点位置，得到多个离散的第一目标交点；

第一连接单元，连接多个所述第一目标交点以生成第一姿态指示线，其中，所述第一姿态指示线用于指示所述车载相机当前的采集姿态；

第一校正单元，在所述第一目标图像中的校正参考线和所述第一姿态指示线的位置关系指示所述车载相机当前的采集姿态处于异常的情况下，校正所述车载相机的采集姿态。

11.根据权利要求10所述的装置，其特征在于，所述第一校正单元，包括：

第一计算模块，用于基于所述第一目标图像中的所述校正参考线和所述第一姿态指示线的位置关系计算目标夹角角度；

校正模块，在所述目标夹角角度指示所述车载相机当前的采集姿态处于异常的情况下，校正所述车载相机的采集姿态。

12.根据权利要求11所述的装置，其特征在于，所述目标夹角角度包括指示所述车载相机翻滚姿态的翻滚角度，所述翻滚角度通过如下装置计算：

第一获取模块，用于获取所述目标图像第一目标图像的校正参考线，其中，所述校正参考线包括水平参考线；

第二获取模块，用于获取所述第一姿态指示线；

第一确定模块，用于在所述校正参考线与所述第一姿态指示线之间的夹角角度大于水平阈值的情况下，将所述校正参考线与所述第一姿态指示线之间的夹角角度确定为所述翻滚角度。

13.根据权利要求11所述的装置，其特征在于，所述校正参考线包括水平参考线和垂直参考线，所述目标夹角角度包括指示所述车载相机俯仰姿态的俯仰角度，所述俯仰角度通过如下装置计算：

第三获取模块，用于获取所述车载相机的第一内参数值；

第二计算模块，用于在所述第一目标图像的水平参考线与所述第一姿态指示线平行的情况下，计算所述水平参考线与所述第一姿态指示线之间的第一距离值；或者，在所述水平参考线与所述第一姿态指示线相交的情况下，获取所述水平参考线与所述垂直参考线的第一交点，以及所述垂直参考线与所述第一姿态指示线的第二交点，计算所述第一交点与所述第二交点之间的第二距离值；

第三计算模块，用于基于所述第一内参数值以及所述第一距离值，或基于所述第一内参数值以及所述第二距离值，计算所述车载相机的俯仰角度。

14.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至9任一项中所述的方法。

15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。

Images