CN111292382B - 车载图像采集设备标定的方法和装置、电子设备、介质 - Google Patents

Abstract

本公开提供了一种车载图像采集设备标定的方法，涉及自动驾驶技术领域和高精度地图技术领域。该方法包括：获取定位信息，根据定位信息确定带有车载图像采集设备的车辆的位置；根据车辆的位置，获取车载图像采集设备在预定区域中采集的多幅候选图像；从候选图像中选出多幅标定图像，并根据标定图像标定车载图像采集设备的内参；其中，所有标定图像均包括相同的参照物，每幅标定图像被采集时车载图像采集设备所在位置为该标定图像的采集位置，从采集位置指向参照物的方向为该标定图像的采集方向，至少有两幅标定图像的采集方向不相同。本公开还提供了一种车载图像采集设备标定的装置、电子设备、计算机可读介质。

Description

车载图像采集设备标定的方法和装置、电子设备、介质

技术领域

本公开实施例涉及图像采集设备标定技术领域，特别涉及自动驾驶技术领域和高精度地图技术领域，尤其涉及车载图像采集设备标定的方法和装置、电子设备、计算机可读介质。

背景技术

在高精度地图的构建过程中，需要利用图像采集设备采集的图像。

而图像采集设备的内参会对其采集的图像造成影响，即，从同样位置、以同样角度拍摄同样景物时，内参不同的图像采集设备采集的图像会有一定差别，进而根据不同图像构建的高精度地图也会有不同。因此，标定(确定)图像采集设备的内参，对保证高精度地图的精度而言十分重要。

发明内容

本公开实施例提供一种车载图像采集设备标定的方法和装置、电子设备、计算机可读介质。

第一方面，本公开实施例提供一种车载图像采集设备标定的方法，其包括：

获取定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

根据所述车辆的位置，获取所述车载图像采集设备在预定区域中采集的多幅候选图像；

从所述候选图像中选出多幅标定图像，并根据所述标定图像标定所述车载图像采集设备的内参；其中，所有所述标定图像均包括相同的参照物，每幅所述标定图像被采集时所述车载图像采集设备所在位置为该标定图像的采集位置，从所述采集位置指向所述参照物的方向为该标定图像的采集方向，至少有两幅所述标定图像的采集方向不相同。

在一些实施例中，所述预定区域包括以下至少一种：

环岛区域、环行匝道区域。

在一些实施例中，所述从所述候选图像中选出多幅标定图像包括：

从所述候选图像中选出两幅候选图像作为边界标定图像；其中，所述边界标定图像属于标定图像，两幅所述边界标定图像的采集方向间的夹角为核心角，所述核心角对应的区域为核心区，所述核心角大于或等于30度，且小于或等于150度；

从所述候选图像中选出多幅采集位置位于所述核心区中的候选图像作为核心标定图像；其中，所述核心标定图像属于标定图像。

在一些实施例中，至少有两幅所述核心标定图像的采集位置分别位于所述核心角的角平分线两侧。

在一些实施例中，所述核心角大于90度；

至少有两幅所述核心标定图像的采集方向间的夹角大于90度。

在一些实施例中，所述获取定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置包括：通过无线方式接收所述定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

所述获取所述车载图像采集设备在预定区域中采集的多幅候选图像包括：通过无线方式接收所述车载图像采集设备在预定区域中采集的多幅候选图像。

在一些实施例中，在所述根据所述标定图像标定所述车载图像采集设备的内参后，还包括：

获取所述车载图像采集设备采集的采样图像；

根据所述车载图像采集设备的内参，利用所述采样图像进行地图构建；

其中，所述车载图像采集设备为众包地图的车载图像采集设备。

在一些实施例中，所有所述标定图像均包括至少三个相同的标定物，所述标定物为固定景物，并具有预设的真实位置信息；

所述根据所述标定图像标定所述车载图像采集设备的内参包括：

根据所述标定图像进行三维重建得到重建场景和待校验内参，所述重建场景包括至少三个与所述标定物分别对应的重建标定物；

选择至少两个所述重建标定物为基准重建标定物，选择至少一个所述重建标定物为非基准重建标定物，根据所述真实位置信息调整所述重建场景，以使所述基准重建标定物与对应的标定物对齐；

当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准时，确定所述待校验内参为所述车载图像采集设备的内参。

在一些实施例中，所述根据所述标定图像标定所述车载图像采集设备的内参包括：

根据所述标定图像确定待校验内参；

所述待校验内参未超出预定内参范围时，确定所述待校验内参为所述车载图像采集设备的内参。

第二方面，本公开实施例提供一种车载图像采集设备标定的装置，其包括：

定位模块，配置为获取定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

获取模块，配置为根据所述车辆的位置，获取所述车载图像采集设备在预定区域中采集的多幅候选图像；

标定模块，配置为从所述候选图像中选出多幅标定图像，并根据所述标定图像标定所述车载图像采集设备的内参；其中，所有所述标定图像均包括相同的参照物，每幅所述标定图像被采集时所述车载图像采集设备所在位置为该标定图像的采集位置，从所述采集位置指向所述参照物的方向为该标定图像的采集方向，至少有两幅所述标定图像的采集方向不相同。

在一些实施例中，所述预定区域包括以下至少一种：

环岛区域、环行匝道区域。

在一些实施例中，所述标定模块配置为：

从所述候选图像中选出两幅候选图像作为边界标定图像；其中，所述边界标定图像属于标定图像，两幅所述边界标定图像的采集方向间的夹角为核心角，所述核心角对应的区域为核心区，所述核心角大于或等于30度，且小于或等于150度；

从所述候选图像中选出多幅采集位置位于所述核心区中的候选图像作为核心标定图像；其中，所述核心标定图像属于标定图像。

在一些实施例中，至少有两幅所述核心标定图像的采集位置分别位于所述核心角的角平分线两侧。

在一些实施例中，所述核心角大于90度；

至少有两幅所述核心标定图像的采集方向间的夹角大于90度。

在一些实施例中，所述定位模块配置为通过无线方式接收所述定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

所述获取模块配置为通过无线方式接收所述车载图像采集设备在预定区域中采集的多幅候选图像。

在一些实施例中，所述车载图像采集设备为众包地图的车载图像采集设备，所述装置还包括地图模块，所述地图模块包括：

采样图像单元，配置为在所述根据所述标定图像标定所述车载图像采集设备的内参后，获取所述车载图像采集设备采集的采样图像；

构建单元，配置为根据所述车载图像采集设备的内参，利用所述采样图像进行地图构建。

在一些实施例中，所有所述标定图像均包括至少三个相同的标定物，所述标定物为固定景物，并具有预设的真实位置信息；

所述标定模块配置为：

根据所述标定图像进行三维重建得到重建场景和待校验内参，所述重建场景包括至少三个与所述标定物分别对应的重建标定物；

选择至少两个所述重建标定物为基准重建标定物，选择至少一个所述重建标定物为非基准重建标定物，根据所述真实位置信息调整所述重建场景，以使所述基准重建标定物与对应的标定物对齐；

当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准时，确定所述待校验内参为所述车载图像采集设备的内参。

在一些实施例中，所述标定模块配置为：

根据所述标定图像确定待校验内参；

所述待校验内参未超出预定内参范围时，确定所述待校验内参为所述车载图像采集设备的内参。

第三方面，本公开实施例提供一种电子设备，其包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一种车载图像采集设备标定的方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一种车载图像采集设备标定的方法。

本公开实施例中，通过对车辆位置的“监控”可确定车辆(车载图像采集设备)是否进入预定区域，以获取车载图像采集设备在预定区域中时采集的候选图像，而从候选图像中可选出从不同角度对同一参照物拍摄的标定图像，即这些标定图像相当于对同一物体的“环绕拍摄”的“闭环图像”，通过以上闭环图像，可实现对车载图像采集设备内参的准确标定。

由此，采用本公开实施例的方式标定车载图像采集设备的内参时，并不需要车载图像采集设备按照特定的方式进行拍摄；也就是说，在车辆正常行驶经过预定区域并获取到合适的候选图像后，即可自动完成内参标定，而不需要用户为内参标定进行专门的操作。从而，本公开实施例可在用户不参与的情况下，方便、准确的实现内参标定，易于实际应用，尤其适用于众包地图的车载图像采集设备的内参标定。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。

通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本公开实施例提供的一种车载图像采集设备标定的方法的流程图；

图2为本公开实施例提供的另一种车载图像采集设备标定的方法的流程图；

图3为本公开实施例中核心区及其中的采集位置的示意图；

图4为在常规道路中的采集位置的示意图；

图5为在环岛区域中的采集位置的示意图；

图6为在另一种预定区域中的采集位置的示意图；

图7为本公开实施例提供的另一种车载图像采集设备标定的方法中部分步骤的流程图；

图8为本公开实施例中将基准重建标定物与对应的标定物对齐过程的示意图；

图9为本公开实施例提供的另一种车载图像采集设备标定的方法中部分步骤的流程图；

图10为本公开实施例提供的一种车载图像采集设备标定的装置的组成框图；

图11为本公开实施例提供的另一种车载图像采集设备标定的装置的组成框图

图12为本公开实施例提供的一种电子设备的组成框图；

图13为本公开实施例提供的一种计算机可读介质的组成框图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的车载图像采集设备标定的方法和装置、电子设备、计算机可读介质进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

技术术语说明

在本公开中，如无特殊说明，则以下技术术语应按照以下解释理解：

图像采集设备，其是指能采集外界实际环境的光信号，并根据光信号得到对应外界环境的、电子形式的图像的设备，例如，图像采集设备可为照相机(相机)、摄像机等。其中，摄像机等采集的视频本质上是多帧连续的图像，故也属于图像采集设备。其中，图像采集设备具有焦距f，其采集的图像是外界实际环境在图像采集设备的焦平面的二维映射。

车载图像采集设备，其是指设于车辆上的图像采集设备。其中，车载图像采集设备可以是车辆在生产过程中直接安装在车辆上的，也可以是后续安装的。

图像采集设备的内参，其是表示图像采集设备采集的图像与理论上完美映射的图像间的差别的参数；图像采集设备的内参是由图像采集设备的硬件结构决定的，故每个图像采集设备具有固定的内参，且基于不可避免的工艺误差，即使在型号相同的情况下，不同的图像采集设备的内参也可能有一定差别。根据不同描述方式，图像采集设备的内参具体包括的参数可有不同，例如，作为一种示例性的方式，图像采集设备的内参可包括f、κ、Sx、Sy、Cx、Cy六个参数，其中f为图像采集设备的焦距，Sx和Sy分别表示沿X轴和Y轴(X轴和Y轴为图像中相互垂直的两个轴)的缩放比例因子，Cx和Cy分别表示图像主点(几何中心点)相对图像采集设备的光轴在X轴和Y轴的偏移量，以上五个参数可为内参矩阵的形式；而κ为表示图像畸变的模型(例如鱼眼模型)，其可为包括多个系数的矢量数据。

标定图像采集设备的内参，其是指通过一定的运算，分析确定图像采集设备的内参的各参数的具体值的过程。

三维重建，其是指根据图像，建立与图像的内容对应的虚拟的三维场景(重建场景)的过程。

第一方面，本公开实施例提供一种车载图像采集设备标定的方法。

本公开实施例的方法用于对车载图像采集设备的内参进行标定。

其中，本公开实施例的方法可由具有数据交互能力和数据处理能力的设备进行。以上设备可为设于云端的、能与车辆进行无线通信的服务器，也可为直接设于车辆上的设备，如车辆的微控制单元(MCU)。

参照图1，本公开实施例的车载图像采集设备标定的方法包括：

S101、获取定位信息，根据定位信息确定带有车载图像采集设备的车辆的位置。

执行本方法的设备(如服务器、车辆的微控制单元等)获取能代表带有车载图像采集设备的车辆的位置的定位信息，并根据定位信息，分析车辆处于什么位置，例如，确定车辆的经纬度坐标，或者是确定车辆在地图上的位置(如什么城市的什么街道的什么位置)。

其中，应当理解，车辆与其中车载图像采集设备的对应关系应当是预知的，例如是预先存储的。

由此，确定了车辆的位置，也就相当于确定了其中图像采集设备的位置。

其中，定位信息可为任何能用于确定车辆所在位置的信息。

例如，定位信息可为车辆的卫星定位(如GPS)信息。

或者，定位信息也可为车载图像采集设备采集的图像，通过将图像中的景物与预设地图中的景物匹配，可确定车载图像采集设备采集的是什么位置的景物，进而确定车载图像采集设备和车辆的位置。

或者，定位信息也可为道路上的监控摄像头等采集的图像，通过分析图像可确定其中车辆的信息，也就是确定相应车辆正处于监控摄像头的采集区域中。

S102、根据车辆的位置，获取车载图像采集设备在预定区域中采集的多幅候选图像。

通过车辆的位置即可确定车辆何时处于预定区域中，也就是确定车载图像采集设备何时处于预定区域中；从而，根据车辆的位置，即可确定哪些图像是车载图像采集设备在预定区域中时采集的，并可获取这些图像作为候选图像。

当然，获取候选图像的具体方式和时机可以是多样的。

例如，可以是通常不获取车载图像采集设备采集的图像，而当确定车辆(车载图像采集设备)处于预定区域中时才实时的接收车载图像采集设备采集的候选图像。

或者，也可以是随时都接收车载图像采集设备采集的图像，但仅以车辆(车载图像采集设备)在预定区域中时接收到的图像为候选图像。

S103、从候选图像中选出多幅标定图像，并根据标定图像标定车载图像采集设备的内参。

其中，所有标定图像均包括相同的参照物，每幅标定图像被采集时车载图像采集设备所在位置为该标定图像的采集位置，从采集位置指向参照物的方向为该标定图像的采集方向，至少有两幅标定图像的采集方向不相同。

当获取到足够的候选图像后，可从中选出多幅满足特定条件的候选图像作为标定图像，并用标定图像进行车载图像采集设备的内参标定。

应当理解，并不要求所有被选为标定图像的候选图像都是在短时间内连续采集或获取的。例如，可以是车辆在两天中分别进入预定区域并分别采集了一些候选图像，而这两天采集的候选图像中分别各有一部分被选为标定图像。

其中，所有标定图像必须都包括一个相同的参照物；也就是说，所有标定图像必须都“拍摄到”该参照物。

应当理解，以上参照物本身可以位于预定区域中，也可以位于预定区域外，但必须能被位于预定区域中的车载图像采集设备拍摄到。

其中，每幅标定图像被采集的瞬间，车载图像采集设备的位置(也就是车辆的位置)为该标定图像的采集位置，而从采集位置到参照物的方向为标定图像的“采集方向”或“拍摄方向”。在所有的标定图像中，有至少两幅标定图像的采集方向不同，即，应当有至少两幅标定图像分别从不同的方向拍摄到了同一个参照物。

应当理解，所有的标定图像除都具有以上参照物外，还可同时具有一个或多个其它景物，而这些景物也均可用于内参标定，但所有的标定图像的采集方向必须是相对同一个景物(参照物)而言的。

应当理解，标定图像还可符合一些其它的要求，例如，可要求标定图像的质量(如天气情况、清晰度、光照情况等)应达到特定标准，以保证其可用于实现内参标定。因此，当无法选出足够的、符合质量要求的标定图像时，可中止标定过程，继续获取更多的候选图像，并从中选出标定图像。

应当理解，被选为标定图像的候选图像应满足以上要求，并不代表所有满足以上要求的候选图像都必须被作为标定图像。

应当理解，以上描述的是对一个车载图像采集设备的一次标定的过程，故其中的车辆为一台具体车辆，车载图像采集设备为该车辆上的一个具体车载图像采集设备。因此，多个车载图像采集设备的标定，或一个车载图像采集设备的多次标定，需分别多次执行以上过程。

应当理解，进行标定的具体时机可根据需要选择。例如，可以是一个车载图像采集设备仅进行一次标定，之后一直使用本次标定的内参。或者，也可以是每隔一段预定的时间(如1年)，对车载图像采集设备重新进行一次标定，以适应因长期使用导致的内参变化。

本公开实施例中，通过对车辆位置的“监控”可确定车辆(车载图像采集设备)是否进入预定区域，以获取车载图像采集设备在预定区域中时采集的候选图像，而从候选图像中可选出从不同角度对同一参照物拍摄的标定图像，即这些标定图像相当于对同一物体的“环绕拍摄”的“闭环图像”，通过以上闭环图像，可实现对车载图像采集设备内参的准确标定。

由此，采用本公开实施例的方式标定车载图像采集设备的内参时，并不需要车载图像采集设备按照特定的方式进行拍摄；也就是说，在车辆正常行驶经过预定区域并获取到合适的候选图像后，即可自动完成内参标定，而不需要用户为内参标定进行专门的操作。从而，本公开实施例可在用户不参与的情况下，方便、准确的实现内参标定，易于实际应用，尤其适用于众包地图的车载图像采集设备的内参标定。

在一些实施例中，标定图像的数量至少为10幅。

为实现较好的标定效果，可选择更多的标定图像，例如标定图像的数量可至少为10幅，或至少为20幅，至少为30幅等。

其中，当标定图像的数量超过2幅时，可以是任意两幅标定图像的采集方向均不同。

在一些实施例中，参照图2，从候选图像中选出多幅标定图像(S103)包括：

S1031、从候选图像中选出两幅候选图像作为边界标定图像。

其中，边界标定图像属于标定图像，两幅边界标定图像的采集方向间的夹角为核心角，核心角对应的区域为核心区，核心角大于或等于30度，且小于或等于150度。

S1032、从候选图像中选出多幅采集位置位于核心区中的候选图像作为核心标定图像。

其中，核心标定图像属于标定图像。

S1033、根据标定图像标定车载图像采集设备的内参。

首先从候选图像中选择两幅作为边界标定图像，参照图3，这两幅边界标定图像的采集位置与参照物的连线(采集方向)间的夹角为核心角，核心角在30度至150度的范围内。

该核心角对应的区域(即两幅边界标定图像的采集方向所在直线间的放射状区域)为核心区，从而可继续选择多幅采集位置位于该核心区中的候选图像为核心标定图像。

由此，以上选择的多幅标定图像(边界标定图像、核心标定图像)的采集方向均位于相对参照物的一个特定角度范围(30度至150度)内，即多幅标定图像可从一个特定角度范围内的多个不同角度分别拍摄到参照物，以获取参照物的不同位置的外观信息，实现更准确的内参标定。

在一些实施例中，至少有两幅核心标定图像的采集位置分别位于核心角的角平分线两侧。

参照图3，核心角的角平分线将核心区划分为两个部分，而在这两个部分中均有核心标定图像的采集位置，即核心标定图像应当是在该两个部分中被分别采集的，以使不同核心标定图像可从差别较大的方向拍摄到参照物。

在一些实施例中，核心角大于90度；至少有两幅核心标定图像的采集方向间的夹角大于90度。

其中，可至少有两幅核心标定图像的采集方向间的夹角大于90度，从而这两幅核心标定图像可拍摄到参照物的两个明显不同的“侧面”，并从不同侧面获取参照物的外观信息，实现更好的标定效果。

当然，此时的核心角必然也大于90度，且由于核心角不超过150度，故以上采集方向间的夹角大于90度的两幅核心标定图像的采集位置，必然也是分别位于核心角的角平分线两侧的。

应当理解，为较均匀的获取参照物各位置的外观信息，多幅核心标定图像的采集方向在核心角中应当是相对均匀分布的，例如，可以是任意两个相邻采集方向间的夹角位于特定的角度范围(如不超过5度、不超过3度、不超过1度等)中。

应当理解，以上描述表明有多幅标定图像(边界标定图像、核心标定图像)是在核心区中被采集的，但并不代表所有标定图像的采集位置必须都位于核心区中，即，也可有在核心区外采集的候选图像被选为标定图像而用于内参标定。

在一些实施例中，预定区域包括以下至少一种：环岛区域、环行匝道区域。

如前，内参标定通常需要从特定角度范围内的多个方向摄到同一个参照物(即需要满足特定角度要求)，而在部分区域上，车辆正常行驶时车载图像采集设备难以采集到满足以上要求的图像。

例如，参照图4，常规道路多为直线，且车载图像采集设备的采集区域的角度、距离有限，故当车辆在常规道路上按一个方向行驶时，车载图像采集设备采集的、包括相同参照物的不同图像的采集方向间的夹角通常很小(如小于30度)，故这些图像基本体现的是参照物同一个位置的外观信息，不利于进行内参标定。

相对的，参照图4，当车辆在常规道路上反向行驶时，车载图像采集设备采集的、包括相同参照物的不同图像的采集方向间的夹角又很大(如大于150度)，故这些图像基本体现的是参照物的两个相反侧面的外观信息，而参照物的相反侧面的结构通常互不相关，故这样的图像同样不利于进行内参标定。

再如，车辆在道路上转弯前后，通常车载图像采集设备拍摄到的是完全不同的区域，即转弯前后采集的图像中不会存在同样的景物(即不存在相同的参照物)，故这些图像也就不可能作为标定图像。

相对的，环行匝道区域、环岛区域的道路构成相对封闭的“闭环”，参照图5(图中以环行匝道区域为例)，而车辆沿闭环道路按一定方向行驶到不同的位置时，车载图像采集设备通常可自然的从差别比较合适的角度拍摄到同一个参照物，即在这些区域中，比较容易采集到符合以上角度要求的图像，故这些区域可作为预定区域。

应当理解，若在其它区域中也可采集到符合以上角度要求的标定图像，则这些区域也可作为候选区域。

例如，参照图6，对某些特定的立交桥，车辆在不同层的道路行驶时，也可从差别比较合适的角度拍摄到同一个参照物(如高度较高的广告牌等)，则这样的立交桥区域也可作为预定区域。

在一些实施例中，参照物为固定景物(道路元素)。

为保证不同标定图像中参照物的位置相同，故可选择固定景物(固定的道路元素)的作为参照物。

其中，固定景物是指在相对较长的时间(如采集所有标定图像所用的时间)内，位置基本不发生变化的景物。例如，固定景物可包括交通标志线、交通标志牌、交通信号灯、植物、建筑物等，而不包括行人、车辆等通常会迅速移动的景物。

在一些实施例中，参照图2，获取定位信息，根据定位信息确定带有车载图像采集设备的车辆的位置(S101)包括：

S1011、通过无线方式接收定位信息，根据定位信息确定带有车载图像采集设备的车辆的位置。

在一些实施例中，参照图2，获取车载图像采集设备在预定区域中采集的多幅候选图像(S102)包括：

S1021、通过无线方式接收车载图像采集设备在预定区域中采集的多幅候选图像。

也就是说，可通过设于云端服务器等实现本公开实施例，从而服务器需要通过无线方式远程接收定位信息和候选图像，以供之后继续对候选图像进行处理。

当然，如果是车辆先将车载图像采集设备采集的图像和对应的定位信息(例如以日志文件的形式)保存在本地，之后服务器再通过拷贝等方式获得图像和定位信息，以确定候选图像，也是可行的。

在一些实施例中，参照图2，车载图像采集设备为众包地图的车载图像采集设备，且在根据标定图像标定车载图像采集设备的内参(S103)后，还包括：

S104、获取车载图像采集设备采集的采样图像。

S105、根据车载图像采集设备的内参，利用采样图像进行地图构建。

其中，“众包地图”是指通过大量公众用户的参与进行地图构建。具体的，当参与众包地图项目的用户驾驶车辆在道路上行驶时，其车辆的车载图像采集设备进行图像采集，进而可根据来自众多车载图像采集设备的图像进行地图构建(包括新建地图或更新地图)。

采用众包地图方式一方面可降低数据采集的成本；另一方面，由于其图像来自大量非特定的、相对随机活动的公众用户，故其数据的来源广泛且更新迅速，各位置的数据均可获得及时更新，从而可缩短地图更新的周期，提高地图的实时性。

如前，对同样的景物，内参不同的图像采集设备采集的图像实际是不同的，故在根据图像构建地图的过程中，需要知道相应图像采集设备的内参才能保证所构建地图的精度。

尤其是，高精度地图需要提供大量高精度的三维信息，如准确的道路形状(如坡度、曲率、高程等)、道路元素(如车道线、交通标志牌等)，以便为辅助驾驶、自动驾驶提供坚实的先验信息。因此，高精度地图的构建就更加需要准确了解车载图像采集设备的内参。

本公开实施例的车载图像采集设备可以是通过众包方式进行地图构建用的车载图像采集设备。由此，在完成对某车载图像采集设备的内参的标定(即得到该车载图像采集设备的准确内参)后，即可将该车载图像采集设备确定为已经标定合格的设备(如将其注册加入合格设备库中)；之后，即可开始接收该车载图像采集设备采集的采样图像，并利用这些采样图像(当然还有其它已完成标定的车载图像采集设备采集的采样图像)进行地图构建(包括新建地图或更新地图)，以保证所得地图的精度。

在一些实施例中，地图为高精度地图，因为高精度地图的构建更需要保证内参的准确。

在一些实施例中，以上获取车载图像采集设备采集的采样图像包括：通过无线方式接收车载图像采集设备采集的采样图像。

当本公开实施例通过设于云端服务器实现时，该服务器即可为用于众包地图构建的服务器，该服务器既用于各车载图像采集设备的内参标定，也用于根据已标定的车载图像采集设备采集的采样图像进行地图构建，故其也可通过无线方式接收采样图像。

在一些相关技术(如张正友标定法)中，可控制图像采集设备在特定位置采集特定的对象(如棋盘板)的图像，并分析这些图像以标定图像采集设备的内参。但对众包地图而言，其用到的车载图像采集设备数量众多且分属不同的公众用户，故要求所有参与众包地图项目的用户都按照特定方式对自己的车载图像采集设备进行标定显然不现实。

另一些相关技术中，可采集道路上的满足特定条件的车道线的图像以进行车载图像采集设备的内参标定。但是，满足特定条件的车道线在实际道路上很少见，故通过这种方式也难以对大量的众包地图用的车载图像采集设备进行有效标定。

而根据本公开实施例，可在车辆正常行驶过程中自动完成车载图像采集设备的内参标定，而不需要用户进行专门的操作，故其特别适用于众包地图的车载图像采集设备的内参标定。

在一些实施例中，所有标定图像均包括至少三个相同的标定物，标定物为固定景物，并具有预设的真实位置信息。

从候选图像中选出的所有的标定图像中，都应具有至少三个相同的固定景物作为标定物，其中，这些标定物在真实世界中的位置信息(真实位置信息)是已知的，例如，可用标定物在现有的高精度地图中的位置信息作为其真实位置信息。

应当理解，以上描述仅表示在所有标定图像共有的固定景物中，应选择至少三个作为标定物，但并不代表所有标定图像共有的每个固定景物都必须作为标定物。

应当理解，参照物为固定景物时，参照物也可作为标定物之一；或者，标定物也可都是不同于参照物的其它景物。

参照图7，根据标定图像标定车载图像采集设备的内参(S103)包括：

S1034、根据标定图像进行三维重建得到重建场景和待校验内参，重建场景包括至少三个与标定物分别对应的重建标定物。

根据选出的标定图像，对各标定图像中都有的区域进行三维重建，得到虚拟的重建场景，显然，以上各标定物也都会被重建，重建场景中的虚拟的标定物为重建标定物。

在三维重建的过程中，通过比较各幅标定图像间的映射关系，还可实现对内参的初步计算、校准，以得到初步的内参(待校验内参)。

在一些实施例中，还可预先给出用于三维重建过程的内参的起始值。其中，该初始值可为已经校验完成的大量同型号车载图像采集设备的内参的平均值(这样的初始值比较准确)；或者，初始值也可为根据经验的预设值、出厂时的标称值等。

在一些实施例中，在三维重建过程中，还可人为指定一些标定图像为关键帧，以对重建和内参校准起到辅助作用。

S1035、选择至少两个重建标定物为基准重建标定物，选择至少一个重建标定物为非基准重建标定物，根据真实位置信息调整重建场景，以使基准重建标定物与对应的标定物对齐。

三维重建仅根据一个车载图像采集设备采集的图像(相当于单目图像)进行，因此得到的重建场景中的各景物仅具有相对的尺寸关系(即不同景物的比例)，而没有绝对的尺寸(即各景物的尺寸的具体数值)。

因此，参照图8，可选择至少两个重建标定物为基准(即为基准重建标定物)，并对重建场景(当然也包括其中的重建标定物)进行调整，使基准重建标定物与真实的标定物(真实位置信息已知)对齐(如空间位置重合)。

同时，还有部分重建标定物没有被选为基准(即为非基准重建标定物)，故当调整后的基准重建标定物与对应的标定物对齐后，非基准重建标定物与对应的标定物可能对齐，也可能存在位置差。

其中，以上选择的标定物优选具有部分直线的外观(如直线型的车道线)，这样有利于标定的进行。

S1036、当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准时，确定待校验内参为车载图像采集设备的内参。

在基准重建标定物与对应的真实标定物对齐的情况下，非基准重建标定物与对应的标定物间的位置差是由于重建场景的不准确导致的，而重建场景的不准确又由待校验内参的不准确引起。因此，可通过分析非基准重建标定物与对应的标定物的位置差，确定以上得出的待校验内参的准确性。

具体的，当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准(如非基准重建标定物与对应的标定物完全重合或位置差别很小)时，则表示当前的待校验内参比较准确，故可直接用当前的待校验内参作为车载图像采集设备的内参。

当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别超过预定标准时，则表示当前的待校验内参准确度不够，故不能用当前的待校验内参作为车载图像采集设备的内参。在此情况下，可重新从候选图像中选择标定图像并计算待校验内参；或者，也可等待采集到更多的候选图像后，再重新从候选图像中选择标定图像并计算待校验内参；或者，也可使用其它不同的算法重新计算待校验内参。

应当理解，若一个标定物的尺寸足够大(如一栋楼房)，也可通过该标定物实现以上校验过程。例如，可以是将重建标定物的部分位置(如楼房的边缘)与真实的标定物的相应部分对齐，并确定重建标定物的其它部分(如楼房的某个窗户)与真实的标定物的相应部分的位置差。

在一些实施例中，作为本公开实施例的一种方式，参照图9，根据标定图像标定车载图像采集设备的内参(S103)包括：

S1037、根据标定图像确定待校验内参。

即根据标定图像确定初步的待校验内参。

其中，本步骤具体可为以上通过三维重建方式确定待校验内参的方式，或者也可为其它确定待校验内参的方式。

S1038、待校验内参未超出预定内参范围时，确定待校验内参为车载图像采集设备的内参。

通常而言，绝大多数车载图像采集设备的实际内参都处在一个均值附近，而不会超出很多；因此，可预先设定比较合理的内参的范围(预定内参范围)，并比较计算得到的待校验内参是否超出该预定内参范围，以判断待校验内参是否合格。

具体的，当待校验内参未超出该预定内参范围时，则表示当前的待校验内参比较合理，故可直接用当前的待校验内参作为车载图像采集设备的内参。

当待校验内参超出该预定内参范围时，则表示当前的待校验内参明显不合理，故不能用当前的待校验内参作为车载图像采集设备的内参。在此情况下，可重新从候选图像中选择标定图像并计算待校验内参；或者，也可等待采集到更多的候选图像后，再重新从候选图像中选择标定图像并计算待校验内参；或者，也可使用其它不同的算法重新计算待校验内参。

应当理解，以上比较非基准重建标定物与标定物的位置差别的过程，以及比较待校验内参与预定内参范围的过程的具体算法是多样的。例如，非基准重建标定物和待校验内参的具体参数均可为多个，其中只要有一个非基准重建标定物的位置差别或一个参数超出预定值就认为是不合格，或者，也可根据多个位置差别和多个参数综合进行比较。

应当理解，以上两种对待校验内参进行校验的方式可根据需要进行选择，例如可仅采用其中一种，或者也可同时采用两种(即两种均校验合格才认为是合格)。

应当理解，只要能保证计算得到的内参(待校验内参)的精确度，也可不进行以上对待校验内参进行校验的步骤。

第二方面，参照图10，本公开实施例提供一种车载图像采集设备标定的装置，其包括：

定位模块201，配置为获取定位信息，根据定位信息确定带有车载图像采集设备的车辆的位置；

获取模块202，配置为根据车辆的位置，获取车载图像采集设备在预定区域中采集的多幅候选图像；

标定模块203，配置为从候选图像中选出多幅标定图像，并根据标定图像标定车载图像采集设备的内参；其中，所有标定图像均包括相同的参照物，每幅标定图像被采集时车载图像采集设备所在位置为该标定图像的采集位置，从采集位置指向参照物的方向为该标定图像的采集方向，至少有两幅标定图像的采集方向不相同。

在一些实施例中，预定区域包括以下至少一种：

环岛区域、环行匝道区域。

在一些实施例中，标定模块203配置为：

从候选图像中选出两幅候选图像作为边界标定图像；其中，边界标定图像属于标定图像，两幅边界标定图像的采集方向间的夹角为核心角，核心角对应的区域为核心区，核心角大于或等于30度，且小于或等于150度；

从候选图像中选出多幅采集位置位于核心区中的候选图像作为核心标定图像；其中，核心标定图像属于标定图像。

在一些实施例中，至少有两幅核心标定图像的采集位置分别位于核心角的角平分线两侧。

在一些实施例中，核心角大于90度；

至少有两幅核心标定图像的采集方向间的夹角大于90度。

在一些实施例中，定位模块201配置为通过无线方式接收定位信息，根据定位信息确定带有车载图像采集设备的车辆的位置；

获取模块202配置为通过无线方式接收车载图像采集设备在预定区域中采集的多幅候选图像。

在一些实施例中，参照图11，车载图像采集设备为众包地图的车载图像采集设备，装置还包括地图模块204，地图模块204包括：

采样图像单元2041，配置为在根据标定图像标定车载图像采集设备的内参后，获取车载图像采集设备采集的采样图像；

构建单元2042，配置为根据车载图像采集设备的内参，利用采样图像进行地图构建。

在一些实施例中，所有标定图像均包括至少三个相同的标定物，标定物为固定景物，并具有预设的真实位置信息；

标定模块203配置为：

根据标定图像进行三维重建得到重建场景和待校验内参，重建场景包括至少三个与标定物分别对应的重建标定物；

选择至少两个重建标定物为基准重建标定物，选择至少一个重建标定物为非基准重建标定物，根据真实位置信息调整重建场景，以使基准重建标定物与对应的标定物对齐；

当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准时，确定待校验内参为车载图像采集设备的内参。

在一些实施例中，标定模块203配置为：

根据标定图像确定待校验内参；

待校验内参未超出预定内参范围时，确定待校验内参为车载图像采集设备的内参。

第三方面，参照图12，本公开实施例提供一种电子设备，其包括：

一个或多个处理器501；

存储器502，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一种的车载图像采集设备标定的方法；

一个或多个I/O接口503，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。

其中，处理器501为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器502为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)503连接在处理器501与存储器502间，能实现处理器501与存储器502的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器501、存储器502和I/O接口503通过总线504相互连接，进而与计算设备的其它组件连接。

第四方面，参照图13，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任意一种车载图像采集设备标定的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (18)

1.一种车载图像采集设备标定的方法，其包括：

获取定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

根据所述车辆的位置，获取所述车载图像采集设备在预定区域中采集的多幅候选图像；

从所述候选图像中选出多幅标定图像，并根据所述标定图像标定所述车载图像采集设备的内参；其中，所有所述标定图像均包括相同的参照物，每幅所述标定图像被采集时所述车载图像采集设备所在位置为该标定图像的采集位置，从所述采集位置指向所述参照物的方向为该标定图像的采集方向，至少有两幅所述标定图像的采集方向不相同；其中，所有所述标定图像均包括至少三个相同的标定物，所述标定物为固定景物，并具有预设的真实位置信息；所述根据所述标定图像标定所述车载图像采集设备的内参包括：根据所述标定图像进行三维重建得到重建场景和待校验内参，所述重建场景包括至少三个与所述标定物分别对应的重建标定物；选择至少两个所述重建标定物为基准重建标定物，选择至少一个所述重建标定物为非基准重建标定物，根据所述真实位置信息调整所述重建场景，以使所述基准重建标定物与对应的标定物对齐；当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准时，确定所述待校验内参为所述车载图像采集设备的内参。

2.根据权利要求1所述的方法，其中，所述预定区域包括以下至少一种：

环岛区域、环行匝道区域。

3.根据权利要求1所述的方法，其中，所述从所述候选图像中选出多幅标定图像包括：

从所述候选图像中选出两幅候选图像作为边界标定图像；其中，所述边界标定图像属于标定图像，两幅所述边界标定图像的采集方向间的夹角为核心角，所述核心角对应的区域为核心区，所述核心角大于或等于30度，且小于或等于150度；

从所述候选图像中选出多幅采集位置位于所述核心区中的候选图像作为核心标定图像；其中，所述核心标定图像属于标定图像。

4.根据权利要求3所述的方法，其中，

至少有两幅所述核心标定图像的采集位置分别位于所述核心角的角平分线两侧。

5.根据权利要求3所述的方法，其中，

所述核心角大于90度；

至少有两幅所述核心标定图像的采集方向间的夹角大于90度。

6.根据权利要求1所述的方法，其中，

所述获取定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置包括：通过无线方式接收所述定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

所述获取所述车载图像采集设备在预定区域中采集的多幅候选图像包括：通过无线方式接收所述车载图像采集设备在预定区域中采集的多幅候选图像。

7.根据权利要求1所述的方法，其中，在所述根据所述标定图像标定所述车载图像采集设备的内参后，还包括：

获取所述车载图像采集设备采集的采样图像；

根据所述车载图像采集设备的内参，利用所述采样图像进行地图构建；

其中，所述车载图像采集设备为众包地图的车载图像采集设备。

8.根据权利要求1所述的方法，其中，所述根据所述标定图像标定所述车载图像采集设备的内参包括：

根据所述标定图像确定待校验内参；

所述待校验内参未超出预定内参范围时，确定所述待校验内参为所述车载图像采集设备的内参。

9.一种车载图像采集设备标定的装置，其包括：

定位模块，配置为获取定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

获取模块，配置为根据所述车辆的位置，获取所述车载图像采集设备在预定区域中采集的多幅候选图像；

标定模块，配置为从所述候选图像中选出多幅标定图像，并根据所述标定图像标定所述车载图像采集设备的内参；其中，所有所述标定图像均包括相同的参照物，每幅所述标定图像被采集时所述车载图像采集设备所在位置为该标定图像的采集位置，从所述采集位置指向所述参照物的方向为该标定图像的采集方向，至少有两幅所述标定图像的采集方向不相同；其中，所有所述标定图像均包括至少三个相同的标定物，所述标定物为固定景物，并具有预设的真实位置信息；所述标定模块配置为：根据所述标定图像进行三维重建得到重建场景和待校验内参，所述重建场景包括至少三个与所述标定物分别对应的重建标定物；选择至少两个所述重建标定物为基准重建标定物，选择至少一个所述重建标定物为非基准重建标定物，根据所述真实位置信息调整所述重建场景，以使所述基准重建标定物与对应的标定物对齐；当调整后的重建场景中的非基准重建标定物与对应的标定物的位置差别未超过预定标准时，确定所述待校验内参为所述车载图像采集设备的内参。

10.根据权利要求9所述的装置，其中，所述预定区域包括以下至少一种：

环岛区域、环行匝道区域。

11.根据权利要求9所述的装置，其中，所述标定模块配置为：

从所述候选图像中选出两幅候选图像作为边界标定图像；其中，所述边界标定图像属于标定图像，两幅所述边界标定图像的采集方向间的夹角为核心角，所述核心角对应的区域为核心区，所述核心角大于或等于30度，且小于或等于150度；

从所述候选图像中选出多幅采集位置位于所述核心区中的候选图像作为核心标定图像；其中，所述核心标定图像属于标定图像。

12.根据权利要求11所述的装置，其中，

至少有两幅所述核心标定图像的采集位置分别位于所述核心角的角平分线两侧。

13.根据权利要求11所述的装置，其中，

所述核心角大于90度；

至少有两幅所述核心标定图像的采集方向间的夹角大于90度。

14.根据权利要求9所述的装置，其中，

所述定位模块配置为通过无线方式接收所述定位信息，根据所述定位信息确定带有所述车载图像采集设备的车辆的位置；

所述获取模块配置为通过无线方式接收所述车载图像采集设备在预定区域中采集的多幅候选图像。

15.根据权利要求9所述的装置，其中，所述车载图像采集设备为众包地图的车载图像采集设备，所述装置还包括地图模块，所述地图模块包括：

采样图像单元，配置为在所述根据所述标定图像标定所述车载图像采集设备的内参后，获取所述车载图像采集设备采集的采样图像；

构建单元，配置为根据所述车载图像采集设备的内参，利用所述采样图像进行地图构建。

16.根据权利要求9所述的装置，其中，所述标定模块配置为：

根据所述标定图像确定待校验内参；

所述待校验内参未超出预定内参范围时，确定所述待校验内参为所述车载图像采集设备的内参。

17.一种电子设备，其包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至8任意一项所述的车载图像采集设备标定的方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

18.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至8任意一项所述的车载图像采集设备标定的方法。