CN115375774A - 确定相机外参的方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种确定相机外参的方法、装置、设备以及存储介质，涉及车路协同技术领域，尤其涉及相机参数标定、相机坐标转化技术领域。具体实现方案为：获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为该至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对；坐标对包括相应特征点对应的像素坐标和世界坐标，地图信息包括相机所拍摄区域中各位置的世界坐标；根据坐标对，确定相机的外参。能够基于预设的地图信息自动对相机的外参进行确定，以便后续自动更新相机外参，从而节省人力，缩短确定相机外参的时间，提高相机外参的时效性。

Description

确定相机外参的方法、装置、设备及存储介质

技术领域

本公开涉及车路协同技术领域，尤其涉及相机参数标定、相机坐标转化技术领域，具体涉及一种确定相机外参的方法、装置、设备以及存储介质。

背景技术

在新基建的大背景下，v2x路侧感知系统为车路协同的车提供了超视距的感知信息。相机作为路侧感知系统的最主要的传感器之一，其准确的内外参对于车路协同系统的感知至关重要。

现有相机外参的标定(或称为确定)，是在相机发生旋转或平移时，根据相机的旋转或平移后的相机坐标和俯仰角来人工标定相机外参，人力成本较高，且标定时间较长。

发明内容

本公开提供了一种确定相机外参的方法、装置、设备以及存储介质，能够基于预设的地图信息自动对相机的外参进行确定，以便后续自动更新相机外参，从而节省人力，缩短确定相机外参的时间，提高相机外参的时效性。

根据本公开的第一方面，提供了一种确定相机外参的方法，包括：

获取相机拍摄的图像；获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为该至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对；坐标对包括相应特征点对应的像素坐标和世界坐标，地图信息包括相机所拍摄区域中各位置的世界坐标；根据坐标对，确定相机的外参。

根据本公开的第二方面，提供了一种确定相机外参的装置，包括：获取模块，用于获取相机拍摄的图像；处理模块，用于获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为该至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对；坐标对包括相应特征点对应的像素坐标和世界坐标，地图信息包括相机所拍摄区域中各位置的世界坐标；确定模块，用于根据坐标对，确定相机的外参。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面提供的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据第一方面提供的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面提供的方法。

本公开通过相机拍摄的图像，能够获取到图像中至少一个特征点的像素坐标。然后可以基于预设的包括相机所拍摄区域中各位置的世界坐标的地图信息，为获取到的图像中的至少一个特征点匹配相应的世界坐标，从而得到该至少一个特征点对应的像素坐标和世界坐标组成的坐标对。然后便可以根据得到的坐标对来确定相机的外参。如此，便能够根据相机拍摄的图像以及预设的地图信息，自动的确定出相机的外参，节省人力，缩短确定相机外参的时间，提高相机外参的时效性。从而当相机发生移动(如平移或旋转)时，便能够更快的确定出外参以便后续进行外参的更新。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的确定相机外参的方法的流程示意图之一；

图2为本公开实施例提供的确定相机外参的方法的流程示意图之二；

图3为本公开实施例提供的确定相机外参的方法的流程示意图之三；

图4为本公开实施例提供的确定相机外参的装置的组成示意图；

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供的确定相机外参的方法和确定相机外参的装置，适用于对相机的外参进行确定和更新的情况，特别是相机发生移动之后需要对相机外参进行重新确定和更新的情况。本公开所提供的确定相机外参的方法可以由确定相机外参的装置执行，该确定相机外参的装置可以采用软件和/或硬件实现，并具体配置于电子设备中，该电子设备可以是相机、服务器、智能手机、笔记本电脑、计算机、单片机等设备或其他计算设备此处不做限制。或者，该确定相机外参的装置还可以具体配置于相机和服务器组成的系统中，以通过相机和服务器共同实现本公开提供的确定相机外参的方法，此处不做限制。

以下首先对本公开所提供的确定相机外参的方法进行详细说明。

在新基建的大背景下，v2x路侧感知系统为车路协同的车提供了超视距的感知信息。相机作为路侧感知系统的最主要的传感器之一，其准确的内外参对于车路协同系统的感知至关重要。

相机外参又称为相机位姿，由旋转矩阵和平移矩阵组成，相机外参的确定指的是确定一个旋转矩阵和平移矩阵，用来描述像素坐标系和其他坐标系(比如世界坐标系)的转换关系。现有相机外参的标定，是在相机发生旋转或平移时，根据相机的旋转或平移后的相机坐标和俯仰角来人工标定相机外参，人力成本较高，且标定时间较长。

对此，本公开提供了一种确定相机外参的方法，包括：获取相机拍摄的图像；获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为该至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对；坐标对包括相应特征点对应的像素坐标和世界坐标，地图信息包括相机所拍摄区域中各位置的世界坐标；根据坐标对，确定相机的外参。

本公开通过相机拍摄的图像，能够获取到图像中至少一个特征点的像素坐标。然后可以基于预设的包括相机所拍摄区域中各位置的世界坐标的地图信息，为获取到的图像中的至少一个特征点匹配相应的世界坐标，从而得到该至少一个特征点对应的像素坐标和世界坐标组成的坐标对。然后便可以根据得到的坐标对来确定相机的外参。如此，便能够根据相机拍摄的图像以及预设的地图信息，自动的确定出相机的外参，节省人力，缩短确定相机外参的时间，提高相机外参的时效性。从而当相机发生移动(如平移或旋转)时，便能够更快的确定出外参以便后续进行外参的更新。

图1为本公开实施例提供的确定相机外参的方法的流程示意图。如图1所示，该方法可以包括以下S101-S103。

S101、获取相机拍摄的图像。

可选地，可以在检测到相机发生移动时获取相机拍摄的图像并执行后续步骤以确定相机外参，从而能够在相机发生移动时及时的确定相机最新的外参并进行更新。其中，检测相机发生移动，可以基于路侧算法识别实现。例如，可以连续检测相机拍摄的图像中的固定特征(如车道线、车道标识等)的像素坐标，当识别到固定特征的像素坐标发生变化时，则可确定相机发生了移动。当然，在本申请的其他一些可行的实施方式中，还可以通过在相机上设置传感器，利用传感器监测相机的姿态是否变化来确定相机是否发生移动，此处不做限制。

可选地，还可以周期性获取相机拍摄的图像并执行后续步骤以确定相机外参，从而能够周期性确定相机最新的外参并进行更新以保持相机外参的时效性。例如，周期可以设置为1天，从而可以每天确定一次相机的外参，当相机外参发生变化时能够及时进行更新。当然，在本申请实施例中上述的周期可以根据实际情况进行设置，此处不做限制。

示例地，在车路协同的场景中，待确定外参的相机可以是路侧相机，相机拍摄的图像可以是路面图像。图像中可包括预设的拍摄区域中的路面、车道线(实线车道线和虚线车道线等)、车道标识等。当然，在一些其他实施方式中，该方法还可以应用于其他相机为固定位置拍摄的场景中，此处不做限制，相应地，相机拍摄的图像也可以是其他图像，此处不做限制。例如，相机可以是商场室内监控等，此时，示例地，相机拍摄的图像可以是商场室内图像，图像中可包括预设拍摄区域中的商铺门面等。

S102、获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为该至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对。

其中，坐标对包括相应特征点对应的像素坐标和世界坐标，地图信息包括相机所拍摄区域中各位置的世界坐标。

示例地，图像中的特征点，可以是图像中的特征元素上的点。例如，图像为路面图像时，特征点可以是车道线上的点，车道标识上的点或者路面围栏上的点等。又例如，图像为商场室内图像时，特征点可以是商铺店门上的点，商场扶梯上的点等，此处不做限制。

相应地，预设的地图信息中包括的拍摄区域中各位置的世界坐标，可以是拍摄区域中所有点位的世界坐标，也可以是拍摄区域中相应的特征元素上的点位的世界坐标。例如，图像为路面图像时，地图信息中可包括车道线的上各点位的世界坐标，车道标识上各点位的世界坐标，路肩上各点位的世界坐标以及护栏上各点位的世界坐标等。当然，地图信息中也可以包括图像所拍摄区域的所有点位的世界坐标。

可选地，获取图像中至少一个特征点的像素坐标的方式，可以是对图像进行特征分割检测或语义识别，以得到图像中的特征元素，从而确定出该特征元素上至少一个点的像素坐标，以作为图像中至少一个特征点的像素坐标。

示例地，基于预设的地图信息，为获取了像素坐标的特征点匹配对应的世界坐标，可以是根据特征识别，从地图信息中提取相应特征点，并将地图信息中的特征点与图像中获取了像素坐标的特征点进行匹配，从而将地图信息中相应特征点的世界坐标匹配到图像中的相应特征点。当然，在本申请中，还可以通过其他方式来基于预设的地图信息，为获取了像素坐标的特征点匹配世界坐标，此处不做限制。例如，可以将地图信息中的各点的世界坐标投影到图像中，然后将投影后的点的坐标与获取的特征点的像素坐标进行匹配，然后将匹配到的投影后的点对应的世界坐标作为相应的特征点匹配的世界坐标。

S103、根据坐标对，确定相机的外参。

示例地，可以基于坐标对建立损失函数，然后基于损失函数优化得到相机外参。或者还可以根据坐标对，基于最小二乘非线性优化得到相机的外参，此处不做限制。

可选地，当相机获取的图像为路面图像时，由于路面图像中可包括路面、车道线(实线车道线和虚线车道线等)、车道标识等特征元素。因此可以获取图像中车道线上各特征点的像素坐标，以及匹配图像中车道线上各特征点分别对应的世界坐标。和/或，获取图像中各虚线车道线角点的像素坐标，以及匹配图像中各虚线车道线角点分别对应的世界坐标。

即，图像为路面图像，获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对，可以包括：

获取图像中车道线上各特征点的像素坐标，并基于地图信息，为图像中车道线上各特征点分别匹配对应的世界坐标，以得到图像中车道线上各特征点的坐标对。

和/或，获取图像中各虚线车道线角点的像素坐标，并基于地图信息，为图像中各虚线车道线角点分别匹配对应的世界坐标，以得到图像中各虚线车道线角点的坐标对。

可选地，获取图像中车道线上各特征点的像素坐标，可以基于车道线分割模型，对图像中的车道线进行识别，然后获取识别到的车道线上各特征点的像素坐标。获取图像中各虚线车道线角点的像素坐标，可以基于车道线角点检测模型，对图像中的虚线车道线角点进行识别，然后获取识别到的虚线车道线角点的像素坐标。

其中，由于地图信息包括拍摄区域中各位置的坐标，所以地图的车道线与图像中的车道线(包括虚线车道线)对应，所以基于地图信息，能够匹配图像中车道线上各特征点分别对应的世界坐标。

由于车道线检测和虚线车道线角点检测相对简便，且检测相对精确，因此基于车道线上各特征点和/或各虚线车道线角点来得到相应的坐标对，实现相对方便，并且准确性较高。

可选地，获取的图像中的特征点为车道线上的特征点时，可以将地图信息中车道线上各特征点的世界坐标投影到图像中，然后分别为图像中车道线上各特征点匹配投影的点，从而为图像中车道线上各特征点匹配对应的世界坐标。

例如，以图像中车道线上各特征点中的第一特征点为例。

即，图像中车道线上各特征点中包括第一特征点。则基于地图信息，为图像中车道线上各特征点分别匹配对应的世界坐标，如图2所示，可以包括：

S201、获取地图信息中车道线上各特征点的世界坐标。

其中，地图信息可以为相机拍摄区域的高精地图，当然也可以为相机拍摄区域的视觉地图(即视觉slam地图)，此处不做限制。由于地图信息对应于相机的拍摄区域，因此地图信息中的车道线也与相机拍摄的图像中的车道线对应，因此可以直接提取地图信息中相应车道线上各特征点的世界坐标。

S202、根据相机的初始外参，将地图信息中车道线上各特征点的世界坐标转化为第一投影坐标。

其中，第一投影坐标为地图信息中车道线上各特征点根据初始外参投影到图像上时对应的像素坐标。

初始外参可以是相机初始设置时标定的外参，也可以是相机当前正在使用的外参，此处不做限制。

S203、将距离第一特征点的像素坐标最近的第一投影坐标对应的世界坐标匹配为第一特征点对应的世界坐标。

可选地，可以采用最邻近搜索的方式匹配距离第一特征点的像素坐标最近的第一投影坐标。当然，也可以直接计算各第一投影坐标距离第一特征点像素坐标的距离，然后确定距离最近的第一投影坐标。

需要说明的是，上述步骤是以第一特征点为例进行说明的，因此，对图像中车道线上各特征点分别执行一次S203，便可为图像中车道线上各特征点分别匹配对应的世界坐标。

基于初始外参，能够将地图信息中车道线上各特征点投影到图像上。当相机发生了移动时，根据初始外参投影到图像上的点便不会与图像上车道线重合，从而便可在图像上，将距离第一特征点的像素坐标最近的第一投影坐标对应的点确定为第一特征点在地图信息中对应的点，因此即可将该第一投影坐标对应的世界坐标匹配为第一特征点的世界坐标。如此，能够相对准确的将图像中的第一特征点与地图信息中的点进行匹配，从而为其匹配对应的世界坐标。能够提高匹配得到的特征点的坐标对的准确性，从而提高后续根据坐标对得到的相机外参的准确性。

可选地，获取的图像中的特征点为各虚线车道线角点时，可以将地图信息中各虚线车道线角点的世界坐标投影到图像中，然后分别为图像中各虚线车道线角点匹配投影的点，从而为图像中各虚线车道线角点匹配对应的世界坐标。

例如，以每个虚线车道线包括4个角点，图像中各虚线车道线中的第一虚线车道线为例。

即，每个虚线车道线包括4个角点，图像中包括第一虚线车道线。则基于地图信息，为图像中各虚线车道线角点分别匹配对应的世界坐标，如图3所示，可以包括：

S301、获取地图信息中各虚线车道线角点的世界坐标。

其中，地图信息可以为相机拍摄区域的视觉地图(即视觉slam地图)，当然也可以为相机拍摄区域的高精地图，此处不做限制。由于地图信息对应于相机的拍摄区域，因此地图信息中的虚线车道线也与相机拍摄的图像中的虚线车道线对应，因此可以直接提取地图信息中相应虚线车道线的角点的世界坐标。

S302、根据相机的初始外参，将地图信息中各虚线车道线角点的世界坐标转化为第二投影坐标。

其中，第二投影坐标为地图信息中各虚线车道线角点根据初始外参投影到图像上时对应的像素坐标。

初始外参可以是相机初始设置时标定的外参，也可以是相机当前正在使用的外参，此处不做限制。

S303、将分别位于第一虚线车道线各角点的预设距离范围内的各第二投影坐标，按4个一组进行组合。

其中，第一虚线车道线可包括4个角点，则每个角点的预设距离范围内均可包括至少一个第二投影坐标。因此，分别位于第一虚线车道线各角点的预设距离范围内的第二投影坐标至少包括4个，可组合成至少一个组合。

示例地，由于像素坐标通常以像素为单位，因此，预设距离范围也可以按像素为单位进行设置。例如，预设距离范围可以是50像素等。即对应的点位于第一虚线车道线的某个角点为圆心，半径为50像素所形成的圆内的所有第二投影坐标均为该角点预设距离范围内的第二投影坐标，

S304、将各组合的4个第二投影坐标对应的点所围成的闭合图形的轮廓，分别与第一虚线车道线各角点所围成的闭合图形的轮廓进行相似度匹配，将相似度最高的组合的4个第二投影坐标分别对应的世界坐标，匹配为第一虚线车道线各相应角点分别对应的世界坐标。

可选地，轮廓相似度匹配可以采用矩阵轮廓匹配算法实现，此处不做限制。

由于各组合的4个第二投影坐标，均可作为一个虚线车道线的4个角点，因此，对于4个第二投影坐标对应的点围成的闭合图形的轮廓与第一虚线车道线各角点所围成的闭合图形的轮廓(即第一虚线车道线的轮廓)相似度最高的组合，可认为该组合4个第二投影坐标构成的虚线车道线与第一虚线车道线相同，所以该组合的4个第二投影坐标对应的点可看做地图信息中与第一虚线车道线的4个角点匹配的点。因此，可将该组合的4个第二投影坐标对应的世界坐标分别与第一虚线车道线的角点匹配。

其中，由于虚线车道线的角点在检测时一般是从呈平行四边形的虚线车道线的左下角开始顺时针检测的。因此，在将相似度最高的组合的4个第二投影坐标分别对应的世界坐标，匹配为第一虚线车道线各相应角点分别对应的世界坐标之前，可以先对相似度最高的组合的4个第二投影坐标从左下角开始进行顺时针排序，从而便于准确的将该组合的4个第二投影坐标分别与第一虚线车道线的4个角点进行对应。又或者，可以在S304之前，先分别对各组合的4个第二投影坐标从左下角开始进行顺时针排序，从而便于后续确定出轮廓相似度最高的组合后，将相应组合的4个第二投影坐标分别与第一虚线车道线的4个角点进行对应。

由于图像中的虚线车道线的角点的像素坐标以及地图信息中的虚线车道线的角点的世界坐标准确性都相对较高，因此通过该步骤基于虚线车道线的角点来获取相应的特征点的坐标对，准确性更高，从而能够提高后续根据坐标对得到的相机外参的准确性。

需要说明的是，上述步骤是以第一虚线车道线为例进行说明的，因此，对图像中各虚线车道线分别执行一次S303-S304，便可为图像中各虚线车道线角点分别匹配对应的世界坐标。

可选地，根据坐标对，确定相机的外参，可以包括：

根据坐标对，基于最小二乘非线性优化得到相机的外参。

例如，可以基于最小二乘，输入各坐标对来构建如下的损失函数：

其中，m表示坐标对的数量；(uo_i,vo_i)表示第i个坐标对中的像素坐标；(Xw_i,Yw_iZw_i)表示第i个坐标对中的世界坐标；R表示相机外参的旋转矩阵，t表示相机外参的平移矩阵；K表示相机外参的内参矩阵。

因此，便可以采用梯度下降、高斯-牛顿法、L-M算法等优化算法对上述损失函数求解，以得到相机外参的旋转矩阵R和相机外参的平移矩阵t。

基于最小二乘非线性优化来得到相机的外参，能够将各坐标对中像素坐标和世界坐标间的对应关系更加准确的收敛表达，从而得到的相机外参更加准确。

可选地，在根据坐标对，确定相机的外参之后，该方法还可以包括：更新相机的外参为确定出的外参。如此，在确定了相机的外参之后，便可以将相机当前使用的外参更新为确定出的外参，从而使相机的外参能够保持最新，以提高相机外参的时效性。

示例性实施例中，本公开实施例还提供一种确定相机外参的装置，可以用于实现如前述实施例所述的确定相机外参的方法。

图4为本公开实施例提供的确定相机外参的装置的组成示意图。

如图4所示，该装置可以包括：

获取模块401，用于获取相机拍摄的图像；

处理模块402，用于获取图像中至少一个特征点的像素坐标，并基于预设的地图信息，为至少一个特征点匹配对应的世界坐标，以得到至少一个特征点的坐标对；坐标对包括相应特征点对应的像素坐标和世界坐标，地图信息包括相机所拍摄区域中各位置的世界坐标；

确定模块403，用于根据坐标对，确定相机的外参。

一些可能的实施方式中，图像为路面图像；处理模块402，具体用于获取图像中车道线上各特征点的像素坐标，并基于地图信息，为图像中车道线上各特征点分别匹配对应的世界坐标，以得到图像中车道线上各特征点的坐标对；和/或，获取图像中各虚线车道线角点的像素坐标，并基于地图信息，为图像中各虚线车道线角点分别匹配对应的世界坐标，以得到图像中各虚线车道线角点的坐标对。

一些可能的实施方式中，图像中车道线上各特征点中包括第一特征点；处理模块402，具体用于获取地图信息中车道线上各特征点的世界坐标；根据相机的初始外参，将地图信息中车道线上各特征点的世界坐标转化为第一投影坐标，第一投影坐标为地图信息中车道线上各特征点根据初始外参投影到图像上时对应的像素坐标；将距离第一特征点的像素坐标最近的第一投影坐标对应的世界坐标匹配为第一特征点对应的世界坐标。

一些可能的实施方式中，每个虚线车道线包括4个角点，图像中包括第一虚线车道线；处理模块402，具体用于获取地图信息中各虚线车道线角点的世界坐标；根据相机的初始外参，将地图信息中各虚线车道线角点的世界坐标转化为第二投影坐标，第二投影坐标为地图信息中各虚线车道线角点根据初始外参投影到图像上时对应的像素坐标；将分别位于第一虚线车道线各角点的预设距离范围内的各第二投影坐标，按4个一组进行组合；将各组合的4个第二投影坐标对应的点所围成的闭合图形的轮廓，分别与第一虚线车道线各角点所围成的闭合图形的轮廓进行相似度匹配，将相似度最高的组合的4个第二投影坐标分别对应的世界坐标，匹配为第一虚线车道线各相应角点分别对应的世界坐标。

一些可能的实施方式中，确定模块403，具体用于根据坐标对，基于最小二乘非线性优化得到相机的外参。

一些可能的实施方式中，装置还包括更新模块404，用于更新相机的外参为确定出的外参。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

示例性实施例中，电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。

示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据以上实施例所述的方法。

示例性实施例中，计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。电子设备还可以是相机或摄像机等图像采集设备。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如确定相机外参的方法。例如，在一些实施例中，确定相机外参的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的确定相机外参的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行确定相机外参的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种确定相机外参的方法，其特征在于，包括：

获取相机拍摄的图像；

获取所述图像中至少一个特征点的像素坐标，并基于预设的地图信息，为所述至少一个特征点匹配对应的世界坐标，以得到所述至少一个特征点的坐标对；所述坐标对包括相应特征点对应的像素坐标和世界坐标，所述地图信息包括所述相机所拍摄区域中各位置的世界坐标；

根据所述坐标对，确定所述相机的外参。

2.根据权利要求1所述的方法，其特征在于，所述图像为路面图像，所述获取所述图像中至少一个特征点的像素坐标，并基于预设的地图信息，为所述至少一个特征点匹配对应的世界坐标，以得到所述至少一个特征点的坐标对，包括：

获取所述图像中车道线上各特征点的像素坐标，并基于所述地图信息，为所述图像中车道线上各特征点分别匹配对应的世界坐标，以得到所述图像中车道线上各特征点的坐标对；和/或，

获取所述图像中各虚线车道线角点的像素坐标，并基于所述地图信息，为所述图像中各虚线车道线角点分别匹配对应的世界坐标，以得到所述图像中各虚线车道线角点的坐标对。

3.根据权利要求2所述的方法，其特征在于，所述图像中车道线上各特征点中包括第一特征点；所述基于所述地图信息，为所述图像中车道线上各特征点分别匹配对应的世界坐标，包括：

获取所述地图信息中车道线上各特征点的世界坐标；

根据所述相机的初始外参，将所述地图信息中车道线上各特征点的世界坐标转化为第一投影坐标，所述第一投影坐标为所述地图信息中车道线上各特征点根据所述初始外参投影到所述图像上时对应的像素坐标；

将距离所述第一特征点的像素坐标最近的第一投影坐标对应的世界坐标匹配为所述第一特征点对应的世界坐标。

4.根据权利要求2或3所述的方法，其特征在于，每个虚线车道线包括4个角点，所述图像中包括第一虚线车道线；所述基于所述地图信息，为所述图像中各虚线车道线角点分别匹配对应的世界坐标，包括：

获取所述地图信息中各虚线车道线角点的世界坐标；

根据所述相机的初始外参，将所述地图信息中各虚线车道线角点的世界坐标转化为第二投影坐标，所述第二投影坐标为所述地图信息中各虚线车道线角点根据所述初始外参投影到所述图像上时对应的像素坐标；

将分别位于所述第一虚线车道线各角点的预设距离范围内的各第二投影坐标，按4个一组进行组合；

将各组合的4个第二投影坐标对应的点所围成的闭合图形的轮廓，分别与所述第一虚线车道线各角点所围成的闭合图形的轮廓进行相似度匹配，将相似度最高的组合的4个第二投影坐标分别对应的世界坐标，匹配为所述第一虚线车道线各相应角点分别对应的世界坐标。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述坐标对，确定所述相机的外参，包括：

根据所述坐标对，基于最小二乘非线性优化得到所述相机的外参。

6.根据权利要求1至5任一项所述的方法，其特征在于，在所述根据所述坐标对，确定所述相机的外参之后，所述方法还包括：

更新所述相机的外参为确定出的所述外参。

7.一种确定相机外参的装置，其特征在于，包括：

获取模块，用于获取相机拍摄的图像；

处理模块，用于获取所述图像中至少一个特征点的像素坐标，并基于预设的地图信息，为所述至少一个特征点匹配对应的世界坐标，以得到所述至少一个特征点的坐标对；所述坐标对包括相应特征点对应的像素坐标和世界坐标，所述地图信息包括所述相机所拍摄区域中各位置的世界坐标；

确定模块，用于根据所述坐标对，确定所述相机的外参。

8.根据权利要求7所述的装置，其特征在于，所述图像为路面图像；

所述处理模块，具体用于获取所述图像中车道线上各特征点的像素坐标，并基于所述地图信息，为所述图像中车道线上各特征点分别匹配对应的世界坐标，以得到所述图像中车道线上各特征点的坐标对；和/或，获取所述图像中各虚线车道线角点的像素坐标，并基于所述地图信息，为所述图像中各虚线车道线角点分别匹配对应的世界坐标，以得到所述图像中各虚线车道线角点的坐标对。

9.根据权利要求8所述的装置，其特征在于，所述图像中车道线上各特征点中包括第一特征点；

所述处理模块，具体用于获取所述地图信息中车道线上各特征点的世界坐标；根据所述相机的初始外参，将所述地图信息中车道线上各特征点的世界坐标转化为第一投影坐标，所述第一投影坐标为所述地图信息中车道线上各特征点根据所述初始外参投影到所述图像上时对应的像素坐标；将距离所述第一特征点的像素坐标最近的第一投影坐标对应的世界坐标匹配为所述第一特征点对应的世界坐标。

10.根据权利要求8或9所述的装置，其特征在于，每个虚线车道线包括4个角点，所述图像中包括第一虚线车道线；

所述处理模块，具体用于获取所述地图信息中各虚线车道线角点的世界坐标；根据所述相机的初始外参，将所述地图信息中各虚线车道线角点的世界坐标转化为第二投影坐标，所述第二投影坐标为所述地图信息中各虚线车道线角点根据所述初始外参投影到所述图像上时对应的像素坐标；将分别位于所述第一虚线车道线各角点的预设距离范围内的各第二投影坐标，按4个一组进行组合；将各组合的4个第二投影坐标对应的点所围成的闭合图形的轮廓，分别与所述第一虚线车道线各角点所围成的闭合图形的轮廓进行相似度匹配，将相似度最高的组合的4个第二投影坐标分别对应的世界坐标，匹配为所述第一虚线车道线各相应角点分别对应的世界坐标。

11.根据权利要求7至10任一项所述的装置，其特征在于，所述确定模块，具体用于根据所述坐标对，基于最小二乘非线性优化得到所述相机的外参。

12.根据权利要求7至11任一项所述的装置，其特征在于，所述装置还包括更新模块，用于更新所述相机的外参为确定出的所述外参。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images