CN112967344B - 相机外参标定的方法、设备、存储介质及程序产品 - Google Patents

Abstract

本申请公开了相机外参标定的方法、设备、存储介质及程序产品，涉及计算机技术，可应用于智能交通、自动驾驶、计算机视觉、车路协同路侧感知等领域。具体实现方案为：通过对鱼眼相机采集的原始图像进行去畸变处理，得到去畸变图像，将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从地图数据中标志点的三维坐标，根据标志点的三维坐标和二维坐标，确定去畸变图像对应的等效枪机的外参，并将等效枪机的外参作为鱼眼相机的外参，能够利用高精度地图数据进行鱼眼相机的等效枪机的外参标定，得到鱼眼相机的精准的外参，降低了鱼眼相机外参标定的复杂度，提高了鱼眼相机外参的精准度。

Description

相机外参标定的方法、设备、存储介质及程序产品

技术领域

本申请涉及计算机技术，尤其涉及一种相机外参标定的方法、设备、存储介质及程序产品，可应用于智能交通、自动驾驶、计算机视觉、车路协同路侧感知等领域。

背景技术

在新型基础设施建设的大背景下，基于车用无线通信技术(Vehicle to X，简称v2x)的路侧感知系统为车路协同的车辆提供了超视距的感知信息。相机是路侧感知系统的最主要的传感器之一，通常路口的一个方向的立杆上至少同时安装三个相机：前视枪机、后视枪机和鱼眼相机，其中鱼眼相机是为了补充拍摄前、后视枪机之间的拍摄盲区。鱼眼相机准确的外参，对于路侧感知系统的精度和鲁棒性起到至关重要的作用。

由于鱼眼相机的成像模型较为复杂，直接对鱼眼相机的外参进行标定的计算复杂度高且误差大。

发明内容

本申请提供了一种相机外参标定的方法、设备、存储介质及程序产品。

根据本申请的第一方面，提供了一种相机外参标定的方法，包括：

对鱼眼相机采集的原始图像进行去畸变处理，得到所述原始图像的去畸变图像；

将地图数据中位于所述鱼眼相机覆盖范围内的标志点投影到所述去畸变图像中，获取所述标志点在所述去畸变图像中的二维坐标，并从所述地图数据中获取所述标志点的三维坐标；

根据所述标志点的三维坐标，以及所述标志点的二维坐标，标定所述去畸变图像对应的等效枪机的外参，以得到所述鱼眼相机的外参。

根据本申请的第二方面，提供了一种相机外参标定的设备，包括：

去畸变单元，用于对鱼眼相机采集的原始图像进行去畸变处理，得到所述原始图像的去畸变图像；

标志点坐标获取单元，用于将地图数据中位于所述鱼眼相机覆盖范围内的标志点投影到所述去畸变图像中，获取所述标志点在所述去畸变图像中的二维坐标，并从所述地图数据中获取所述标志点的三维坐标；

外参标定单元，用于根据所述标志点的三维坐标，以及所述标志点的二维坐标，标定所述去畸变图像对应的等效枪机的外参，以得到所述鱼眼相机的外参。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本申请的技术能够准确地标定鱼眼相机的外参。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是可以实现本申请实施例的鱼眼相机的应用场景示例图；

图2是根据本申请实施例的前视枪式相机采集的图像的示例图；

图3是根据本申请实施例的后视枪式相机采集的图像的示例图；

图4是根据本申请实施例的鱼眼相机采集的图像的示例图；

图5是本申请第一实施例提供的相机外参标定的方法流程图；

图6是本申请第二实施例提供的相机外参标定的方法流程图；

图7是本申请第二实施例提供的去畸变图像的示例图；

图8是本申请第二实施例提供的投影至去畸变图像的标志点的示例图；

图9是本申请第三实施例提供的相机外参标定的设备示意图；

图10是本申请第四实施例提供的相机外参标定的设备示意图；

图11是用来实施本申请实施例的相机外参标定的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请提供一种相机外参标定的方法、设备、存储介质及程序产品，涉及计算机技术，具体可以应用于可应用于智能交通、自动驾驶、计算机视觉、车路协同路侧感知等领域，以达到降低鱼眼相机外参标定的计算复杂度，且提高鱼眼相机外参标定的准确性的技术效果。

本申请提供的相机外参标定的方法可以应用于车路协同场景中鱼眼相机的外参标定，车路协同场景中鱼眼相机的一种应用场景示例如图1所示，某一路口的某一行驶方向的路侧监控杆10上同时安装有前视枪式相机11、后视枪式相机12和鱼眼相机13。其中前视枪式相机11是指摄像头朝向与行驶方向一致的枪式相机(或简称为“枪机”)，前视枪式相机11采集的图像的一个示例如图2所示。后视枪式相机12是指摄像头朝向与行驶方向相反的枪式相机(或简称为“枪机”)，后视枪式相机12采集的图像的一个示例如图3所示。鱼眼相机13用于补充前视枪机11和后视枪机12的覆盖盲区，能够完全覆盖前视枪机和后视枪机的覆盖盲区，并且与前视枪机和后视枪机的覆盖范围具有一定的重合距离。在车路协同场景下，鱼眼相机13通常可以采用大视场角的鱼眼相机，例如180度视场角的鱼眼相机、152度视场角的鱼眼相机等等。鱼眼相机采集的图像的一个示例如图4所示。

本实施例中，枪式相机的覆盖盲区的距离是指枪式相机的覆盖盲区沿指定方向的距离长度，可以是枪式相机采集的图像的下边沿与监控杆之间的距离(如图1中d1和d1′所示)，鱼眼相机与枪式相机的覆盖范围的重合距离(如图1中d2和d2′所示)是指鱼眼相机与枪式相机的覆盖范围之间重合的部分在指定方向上的距离，鱼眼相机的覆盖距离(如图1中d3所示)是指鱼眼相机的覆盖范围在指定方向上的距离。在车路协同场景下，通常前后枪式相机的光轴均与道路延伸的方向平行，指定方向可以是道路延伸的方向，也即是前后枪式相机的光轴方向。在其他应用场景中，指定方向可以根据实际应用场景中鱼眼相机和枪式相机的安装场景和需求进行设定和调整，此处不做具体限定。

另外，图1中所示的鱼眼相机与前后视枪机的安装位置仅为示例性地说明，鱼眼相机与前后视枪机的安装高度可以相同，也可以不同，前后视枪机的盲区距离可以相等也可以不相等，鱼眼相机分别与前视枪机和后视枪机的覆盖范围的重合距离可以相等也可以不相等，本实施例此处不做具体限定。

图5是本申请第一实施例提供的相机外参标定的方法流程图。本实施例的执行主体可以是相机外参标定的设备，具体可以是部署于电子设备上的应用客户端，本实施例以日历的客户端为例进行示例性地说明。如图5所示，该方法具体步骤如下：

步骤S501、对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像。

该步骤中，对鱼眼相机采集的原始图像进行去畸变处理，可以采用现有的去畸变方法实现，例如可以用opencv中开源的去畸变函数实现，此处不再赘述。

本实施例中，鱼眼相机采集的原始图像的去畸变图像，也可以称为鱼眼相机的去畸变图像。

步骤S502、将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标并从地图数据中获取标志点的三维坐标。

其中，地图数据中的标志点可以是实际应用场景中具有标志性的位置点，例如，本实施例中可以使用车道标志角点作为标志点。地图数据是包含标志点的高精度地图。

在获取到鱼眼相机的去畸变图像之后，可以根据鱼眼相机的覆盖范围，确定地图数据上位于鱼眼相机覆盖范围内的标志点，并将标志点投影到去畸变图像中。

通过对投影至去畸变图像中的标志点的二维像素坐标进行标定，可以得到标志点的二维坐标。

从地图数据中可以直接获取到标志点的精准的三维坐标。

步骤S503、根据标志点的三维坐标，以及标志点的二维坐标，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参。

其中，鱼眼相机的外参包括旋转矩阵和平移向量。

将地图数据中的标志点投影到去畸变图像中之后，可以获取投影到去畸变图像中的标志点的二维坐标。

根据标志点的三维坐标和二维坐标，能够计算出去畸变图像对应的等效枪机的外参，去畸变图像对应的等效枪机的外参即可作为鱼眼相机的外参，实现鱼眼相机的外参的标定。

本申请实施例通过对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从地图数据中标志点的三维坐标，根据标志点的三维坐标，以及标志点的二维坐标，计算确定去畸变图像对应的等效枪机的外参，并将去畸变图像对应的等效枪机的外参作为鱼眼相机的外参，能够利用包含标志点的地图数据进行鱼眼相机的等效枪机的外参标定，进而得到鱼眼相机的精准的外参，降低了鱼眼相机外参标定的复杂度，并且提高了鱼眼相机外参的精准度。

图6是本申请第二实施例提供的相机外参标定的方法流程图。在上述第一实施例的基础上，本实施例中，对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，包括：根据鱼眼相机的实际覆盖距离和安装高度，确定去畸变图像对应的等效枪机的视场角；根据去畸变图像对应的等效枪机的视场角，确定去畸变图像对应的等效枪机的焦距；根据去畸变图像对应的等效枪机的焦距，以及鱼眼相机的内参，对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，能够依据车路协同路侧感知相机的位置要求，灵活地对鱼眼相机采集的原始图像进行相应等效枪机的去畸变转换，然后利用标志点的高精度地图进行该等效枪机的外参标定，进而求得鱼眼相机的准确的外参，满足车路协同的路侧的感知应用。

如图6所示，该方法具体步骤如下：

步骤S601、根据鱼眼相机的实际覆盖距离和安装高度，确定去畸变图像对应的等效枪机的视场角。

其中，鱼眼相机的实际覆盖距离是根据鱼眼相机的具体应用场景，确定的鱼眼相机的覆盖范围在指定方向上的距离(或长度)。枪式相机的覆盖盲区的距离是指枪式相机的覆盖盲区在指定方向上的距离。

示例性地，在车路协同场景下，通常前后枪式相机的光轴均与道路延伸的方向平行，指定方向可以是道路延伸的方向，也即是前后枪式相机的光轴方向。在其他应用场景中，指定方向可以根据实际应用场景中鱼眼相机和枪式相机的安装场景和需求进行设定和调整，此处不做具体限定。

在常规的监控场景下，鱼眼相机采集的图像通常用于供用户查看，鱼眼相机的监控范围能够覆盖关键区域、或者覆盖其他枪式相机盲区、或者能够覆盖其他枪式相机盲区内的部分关键区域即可，通常鱼眼相机的视场角较小，一般在60度左右。

在应用于车路协同场景下的路侧感知系统时，鱼眼相机采集的图像用于补充前视枪机11和后视枪机12的覆盖盲区，要能够完全覆盖前视枪机和后视枪机的覆盖盲区，并且与前视枪机和后视枪机的覆盖范围具有一定的重合距离(例如，要求鱼眼相机的覆盖范围与前后枪机的覆盖范围分别至少5米的重合距离)，鱼眼相机的视场角较大(如可以在152度左右)，可以根据前后视枪机的覆盖盲区和要求的重合距离进行调整，这样能够满足基于鱼眼相机和前后视枪机采集的图像进行路侧感知，进行物体的精准定位。

本实施例中，鱼眼相机的实际覆盖距离要大于前后视枪机的覆盖盲区的距离，可以根据前后视枪机的覆盖盲区的距离和要求的鱼眼相机与枪式相机的覆盖范围的重合距离确定。

其中，枪式相机的覆盖盲区的距离是指枪式相机采集的图像的下边沿与监控杆之间的距离如图1中d1和d1′所示，鱼眼相机与枪式相机的覆盖范围的重合距离如图1中d2和d2′所示，鱼眼相机的覆盖距离如图1中d3所示。

示例性地，根据枪机的覆盖盲区、鱼眼相机与枪机的覆盖范围的重合距离，确定鱼眼相机的实际覆盖距离，能够准确地确定车路协同场景下大视场角的鱼眼相机的实际覆盖距离，为计算鱼眼相机的准确的视场角提供数据基础。其中，鱼眼相机用于覆盖枪机的覆盖盲区，且鱼眼相机的覆盖范围与枪机的覆盖范围在指定方向上具有重合距离。

其中，鱼眼相机与前后视枪机的覆盖范围的重合距离，可以根据实际应用场景进行设置和调整，例如，重合距离为5米，10米等，本实施例此处不做具体限定。

示例性地，如果前后视枪机的覆盖盲区的距离相等，鱼眼相机的实际覆盖距离为：前(或后)视枪机的覆盖盲区的距离与重合距离之和。

示例性地，如果前视枪机的覆盖盲区的距离d1与后视枪机的覆盖盲区的距离d1′不相等，那么可以根据d1与d1′中的最大值，确定鱼眼相机的实际覆盖距离为：d1与d1′中的最大值与重合距离之和。

本实施例中，根据鱼眼相机的实际覆盖距离和安装高度，可以精准地确定鱼眼相机的去畸变图像对应的等效枪机的视场角。

具体地，鱼眼相机的去畸变图像对应的等效枪机的视场角，可以通过如下公式一计算得到：

其中，θ表示眼相机的去畸变图像对应的等效枪机的视场角，D表示鱼眼相机的实际覆盖距离，h1表示鱼眼相机的安装高度。

步骤S602、根据去畸变图像对应的等效枪机的视场角，确定去畸变图像对应的等效枪机的焦距。

在计算得到鱼眼相机的去畸变图像对应的等效枪机的视场角之后，可以根据去畸变图像对应的等效枪机的视场角，精准地确定去畸变图像对应的等效枪机的焦距。

示例性地，可以采用如下公式二，根据去畸变图像对应的等效枪机的视场角，以及鱼眼相机采集的图像的分辨率(w，h)，计算得到去畸变图像对应的等效枪机的焦距：

其中，f表示去畸变图像对应的等效枪机的焦距，w为鱼眼相机采集图像的宽度，θ表示眼相机的去畸变图像对应的等效枪机的视场角。

由于图像的分辨率是以像素为单位的，本实施例中根据去畸变图像对应的等效枪机的视场角以及鱼眼相机的分辨率计算得到去畸变图像对应的等效枪机的焦距是以像素为单位的。

步骤S603、根据去畸变图像对应的等效枪机的焦距，以及鱼眼相机的内参，对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像。

在计算得到去畸变图像对应的等效枪机的焦距之后，基于去畸变图像对应的等效枪机的焦距，实现对鱼眼相机采集的原始图像的去畸变处理，得到对应的去畸变图像。

计算得到去畸变图像对应的等效枪机的焦距后，可以得到去畸变图像对应的等效枪机的内参矩阵。经过去畸变处理后，去畸变图像对应的等效枪机的畸变系数为0。

可选地，通过对鱼眼相机进行内参标定，得到鱼眼相机的内参，能够得到鱼眼相机的准确的内参。

例如，可以使用张正友标定法对鱼眼相机进行内参标定，得到鱼眼相机的内参。

该步骤中，根据去畸变图像对应的等效枪机的焦距，以及鱼眼相机的内参，对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，具体可以采用现有的去畸变方法实现，例如可以用opencv中开源的去畸变函数(如cv::fisheye::initUndistortRectifyMap)实现，此处不再赘述。

例如，对图4所示的鱼眼相机采集的原始图像进行去畸变处理后，得到的去畸变图像如图7所示。

步骤S604、将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从地图数据中获取标志点的三维坐标。

其中，地图数据中的标志点可以是实际应用场景中具有标志性的位置点，例如，本实施例中可以使用车道标志角点作为标志点。地图数据是包含标志点的高精度地图。

在获取到鱼眼相机的去畸变图像之后，可以根据鱼眼相机的覆盖范围，确定地图数据上位于鱼眼相机覆盖范围内的标志点，并将标志点投影到去畸变图像中。

示例性地，具体可以确定地图数据中位于鱼眼相机覆盖范围内的标志点；根据鱼眼相机的安装位置和朝向角，利用针孔投影模型，将确定的标志点投影到去畸变图像中。其中，针孔投影模型可以是现有的任意一种针孔相机投影模型、或者针孔相机模型、或者针孔模型，本实施例此处不再赘述。

例如，将高精地图中的车道标志角点投影到图7所示的去畸变图像中之后如图8所示，图8中圆圈内的黑点为标志点，为了便于展示车道标志角点投影至去畸变图像中的效果，图8进行了放大展示，此处并不说明将高精地图中的车道标志角点投影到去畸变图像中会导致图像大小的变化。

在将标志点投影到去畸变图像中之后，通过对投影至去畸变图像中的标志点的二维像素坐标进行标定，可以得到标志点的二维坐标。

可选地，在将标志点投影到去畸变图像中之后，可以显示包含标志点的去畸变图像，以使相关人员人工标注标志点在去畸变图像中的二维坐标。获取人工标注好的标志点在去畸变图像中的二维坐标，能够准确地确定标志点的二维坐标。

可选地，将标志点投影到去畸变图像中之后，可以自动地获取标志点投影到去畸变图像中的投影点在去畸变图像中的位置，并进一步确定标志点在去畸变图像中的二维坐标。

进一步地，地图数据中包括标志点的精准的三维坐标，该步骤中可以从地图数据中获取标志点的三维坐标。例如，高精地图中可以包含标志点的GPS定位的三维坐标。

步骤S605、根据标志点的三维坐标，以及标志点的二维坐标，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参。

该步骤中，根据标志点的三维坐标和标志点在去畸变图像中的二维坐标，能够计算出去畸变图像对应的等效枪机的外参，去畸变图像对应的等效枪机的外参即可作为鱼眼相机的外参，实现鱼眼相机的外参的标定。

一种可选的实施方式中，该步骤具体可以采用如下方式实现：

根据标志点的三维坐标，以及标志点在去畸变图像中的二维坐标，对同一标志点的三维坐标和二维坐标进行匹配，生成同一标志点对应的坐标对信息，坐标对信息包括同一标志点的三维坐标和二维坐标；根据多个标志点的坐标对信息，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参。这样，能够精准地标定去畸变图像对应的等效枪机的外参，使得得到的鱼眼相机的外参更加精准。

示例性地，在得到多个坐标对信息之后，使用pnp算法可以计算出去畸变图像对应的等效枪机相对于世界坐标系(或GPS坐标系)的外参，即得到鱼眼相机相对于世界坐标系(或GPS坐标系)的外参。

在完成对鱼眼相机的外参标定之后，根据鱼眼相机的外参，生成鱼眼相机所采集的图像中目标物体的三维信息。其中目标物体可以是自动驾驶车辆、障碍物、路侧设备等。

示例性地，三维信息可以用于进行目标物体的三维坐标的定位。

示例性地，根据鱼眼相机采集的图像中的目标物体的二维坐标，根据鱼眼相机的外参，可以将二维坐标转换到世界坐标系下，得到对应的三维坐标，实现目标物体的定位。

例如，对于鱼眼相机采集的图像，可以识别出图像中障碍物的二维定位信息，根据鱼眼相机的外参，可以将障碍物的二维定位信息转换到世界坐标系下，得到障碍物的三维定位信息。

本申请实施例通过根据鱼眼相机的实际覆盖距离和安装高度，确定去畸变图像对应的等效枪机的视场角；根据去畸变图像对应的等效枪机的视场角，确定去畸变图像对应的等效枪机的焦距；根据去畸变图像对应的等效枪机的焦距，以及鱼眼相机的内参，对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，能够依据车路协同路侧感知相机的位置要求，灵活地对鱼眼相机采集的原始图像进行相应等效枪机的去畸变转换；进一步地，通过将高精度地图中的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从高精度地图中获取标志点的三维坐标；根据标志点的三维坐标，以及标志点在去畸变图像中的二维坐标，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参，能够利用标志点的高精度地图进行该等效枪机的外参标定，进而得到鱼眼相机的准确的外参，降低了鱼眼相机外参标定的复杂度，并且提高了鱼眼相机外参的精准度，能够满足车路协同的路侧的感知应用。

图9是本申请第三实施例提供的相机外参标定的设备示意图。本申请实施例提供的相机外参标定的设备可以执行相机外参标定的方法实施例提供的处理流程。如图9所示，该相机外参标定的设备90包括：去畸变单元901，标志点坐标获取单元902和外参标定单元903。

具体地，去畸变单元901，用于对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像。

标志点坐标获取单元902，用于将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从地图数据中获取标志点的三维坐标。

外参标定单元903，用于根据标志点的三维坐标，以及标志点的二维坐标，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参。

本申请实施例提供的设备可以具体用于执行上述第一实施例提供的方法实施例，具体功能此处不再赘述。

本申请实施例通过对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从地图数据中标志点的三维坐标，根据标志点的三维坐标，以及标志点的二维坐标，计算确定去畸变图像对应的等效枪机的外参，并将去畸变图像对应的等效枪机的外参作为鱼眼相机的外参，能够利用包含标志点的地图数据进行鱼眼相机的等效枪机的外参标定，进而得到鱼眼相机的精准的外参，降低了鱼眼相机外参标定的复杂度，并且提高了鱼眼相机外参的精准度。

图10是本申请第四实施例提供的相机外参标定的设备示意图。本申请实施例提供的相机外参标定的设备可以执行相机外参标定的方法实施例提供的处理流程。如图10所示，该相机外参标定的设备100包括：去畸变单元1001，标志点坐标获取单元1002和外参标定单元1003。

具体地，去畸变单元1001，用于对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像。

标志点坐标获取单元1002，用于将地图数据中位于鱼眼相机覆盖范围内的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从地图数据中获取标志点的三维坐标。

外参标定单元1003，用于根据标志点的三维坐标，以及标志点的二维坐标，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参。

一种可选的实施方式中，如图10所示，去畸变单元1001，包括：

视场角确定子单元10011，用于根据鱼眼相机的实际覆盖距离和安装高度，确定等效枪机的视场角，其中，实际覆盖距离是鱼眼相机的实际覆盖范围在指定方向上所覆盖的距离。

焦距确定子单元10012，用于根据等效枪机的视场角，确定等效枪机的焦距。

去畸变子单元10013，用于根据等效枪机的焦距，以及鱼眼相机的内参，对原始图像进行去畸变处理，得到原始图像的去畸变图像。

一种可选的实施方式中，如图10所示，去畸变单元1001还包括：实际覆盖距离确定子单元10014，用于：

根据枪机的覆盖盲区、鱼眼相机与枪机的覆盖范围的重合距离，确定鱼眼相机的实际覆盖距离，其中，鱼眼相机用于覆盖枪机的覆盖盲区，且鱼眼相机的覆盖范围与枪机的覆盖范围在指定方向上具有重合距离。

一种可选的实施方式中，如图10所示，该相机外参标定的设备100还包括：鱼眼相机内参标定单元1004，用于：

根据等效枪机的焦距，以及鱼眼相机的内参，对原始图像进行去畸变处理，得到原始图像的去畸变图像之前，对鱼眼相机进行内参标定，得到鱼眼相机的内参。

一种可选的实施方式中，如图10所示，标志点坐标获取单元1002，包括：

标志点确定子单元10021，用于确定地图数据中位于鱼眼相机覆盖范围内的标志点。

标志点投影子单元10022，用于根据鱼眼相机的安装位置和朝向角，利用针孔投影模型，将标志点投影到去畸变图像中。

一种可选的实施方式中，如图10所示，外参标定单元1003，包括：

标志点坐标匹配子单元10031，用于根据标志点的三维坐标，以及标志点的二维坐标，对同一标志点的三维坐标和二维坐标进行匹配，生成同一标志点对应的坐标对信息，坐标对信息包括同一标志点的三维坐标和二维坐标。

外参标定子单元10032，用于根据多个标志点的坐标对信息，标定等效枪机的外参，以得到鱼眼相机的外参。

一种可选的实施方式中，如图10所示，标志点坐标获取单元1002，还包括：

去畸变图像显示子单元10023，用于显示包含标志点的去畸变图像，以标注标志点在去畸变图像中的二维坐标。

一种可选的实施方式中，如图10所示，该相机外参标定的设备100还包括：

三维感知单元1005，用于根据鱼眼相机的外参，确定鱼眼相机所采集的图像中目标物体的三维信息。

本申请实施例提供的设备可以具体用于执行上述第二实施例提供的方法实施例，具体功能此处不再赘述。

本申请实施例通过根据鱼眼相机的实际覆盖距离和安装高度，确定去畸变图像对应的等效枪机的视场角；根据去畸变图像对应的等效枪机的视场角，确定去畸变图像对应的等效枪机的焦距；根据去畸变图像对应的等效枪机的焦距，以及鱼眼相机的内参，对鱼眼相机采集的原始图像进行去畸变处理，得到原始图像的去畸变图像，能够依据车路协同路侧感知相机的位置要求，灵活地对鱼眼相机采集的原始图像进行相应等效枪机的去畸变转换；进一步地，通过将高精度地图中的标志点投影到去畸变图像中，获取标志点在去畸变图像中的二维坐标，并从高精度地图中获取标志点的三维坐标；根据标志点的三维坐标，以及标志点在去畸变图像中的二维坐标，标定去畸变图像对应的等效枪机的外参，以得到鱼眼相机的外参，能够利用标志点的高精度地图进行该等效枪机的外参标定，进而得到鱼眼相机的准确的外参，降低了鱼眼相机外参标定的复杂度，并且提高了鱼眼相机外参的精准度，能够满足车路协同的路侧的感知应用。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图11示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如相机外参标定的方法。例如，在一些实施例中，相机外参标定的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的相机外参标定的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行相机外参标定的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种相机外参标定的方法，包括：

对鱼眼相机采集的原始图像进行去畸变处理，得到所述原始图像的去畸变图像；

将地图数据中位于所述鱼眼相机覆盖范围内的标志点投影到所述去畸变图像中，获取所述标志点在所述去畸变图像中的二维坐标，并从所述地图数据中获取所述标志点的三维坐标；

根据所述标志点的三维坐标，以及所述标志点的二维坐标，标定所述去畸变图像对应的等效枪机的外参，以得到所述鱼眼相机的外参；

其中，所述对鱼眼相机采集的原始图像进行去畸变处理，得到所述原始图像的去畸变图像，包括：

根据所述鱼眼相机的实际覆盖距离和安装高度，确定所述等效枪机的视场角，其中，所述实际覆盖距离是所述鱼眼相机的实际覆盖范围在指定方向上所覆盖的距离；

根据所述等效枪机的视场角，确定所述等效枪机的焦距；

根据所述等效枪机的焦距，以及所述鱼眼相机的内参，对所述原始图像进行去畸变处理，得到所述原始图像的去畸变图像。

2.根据权利要求1所述的方法，其中，所述根据所述鱼眼相机的实际覆盖距离和安装高度，确定所述去畸变图像对应的视场角之前，还包括：

根据枪机的覆盖盲区、所述鱼眼相机与所述枪机的覆盖范围的重合距离，确定所述鱼眼相机的实际覆盖距离，其中，所述鱼眼相机用于覆盖所述枪机的覆盖盲区，且所述鱼眼相机的覆盖范围与所述枪机的覆盖范围在所述指定方向上具有所述重合距离。

3.根据权利要求1所述的方法，其中，所述根据所述等效枪机的焦距，以及所述鱼眼相机的内参，对所述原始图像进行去畸变处理，得到所述原始图像的去畸变图像之前，还包括：

对所述鱼眼相机进行内参标定，得到所述鱼眼相机的内参。

4.根据权利要求1-3中任一项所述的方法，其中，所述将地图数据中位于所述鱼眼相机覆盖范围内的标志点投影到所述去畸变图像中，包括：

确定所述地图数据中位于所述鱼眼相机覆盖范围内的标志点；

根据所述鱼眼相机的安装位置和朝向角，利用针孔投影模型，将所述标志点投影到所述去畸变图像中。

5.根据权利要求1-3中任一项所述的方法，其中，所述根据所述标志点的三维坐标，以及所述标志点的二维坐标，标定所述去畸变图像对应的等效枪机的外参，以得到所述鱼眼相机的外参，包括：

根据所述标志点的三维坐标，以及所述标志点的二维坐标，对同一标志点的三维坐标和二维坐标进行匹配，生成所述同一标志点对应的坐标对信息，所述坐标对信息包括所述同一标志点的三维坐标和二维坐标；

根据多个标志点的坐标对信息，标定所述等效枪机的外参，以得到所述鱼眼相机的外参。

6.根据权利要求1-3中任一项所述的方法，其中，所述将地图数据中位于所述鱼眼相机覆盖范围内的标志点投影到所述去畸变图像中之后，还包括：

显示包含所述标志点的去畸变图像，以标注所述标志点在所述去畸变图像中的二维坐标。

7.根据权利要求1-3中任一项所述的方法，其中，所述方法还包括：

根据所述鱼眼相机的外参，生成所述鱼眼相机所采集的图像中目标物体的三维信息。

8.一种相机外参标定的设备，包括：

去畸变单元，用于对鱼眼相机采集的原始图像进行去畸变处理，得到所述原始图像的去畸变图像；

标志点坐标获取单元，用于将地图数据中位于所述鱼眼相机覆盖范围内的标志点投影到所述去畸变图像中，获取所述标志点在所述去畸变图像中的二维坐标，并从所述地图数据中获取所述标志点的三维坐标；

外参标定单元，用于根据所述标志点的三维坐标，以及所述标志点的二维坐标，标定所述去畸变图像对应的等效枪机的外参，以得到所述鱼眼相机的外参；

其中，所述去畸变单元，包括：

视场角确定子单元，用于根据所述鱼眼相机的实际覆盖距离和安装高度，确定所述等效枪机的视场角，其中，所述实际覆盖距离是所述鱼眼相机的实际覆盖范围在指定方向上所覆盖的距离；

焦距确定子单元，用于根据所述等效枪机的视场角，确定所述等效枪机的焦距；

去畸变子单元，用于根据所述等效枪机的焦距，以及所述鱼眼相机的内参，对所述原始图像进行去畸变处理，得到所述原始图像的去畸变图像。

9.根据权利要求8所述的设备，其中，所述去畸变单元还包括：

实际覆盖距离确定子单元，用于根据枪机的覆盖盲区、所述鱼眼相机与所述枪机的覆盖范围的重合距离，确定所述鱼眼相机的实际覆盖距离，其中，所述鱼眼相机用于覆盖所述枪机的覆盖盲区，且所述鱼眼相机的覆盖范围与所述枪机的覆盖范围在所述指定方向上具有所述重合距离。

10.根据权利要求8所述的设备，还包括：鱼眼相机内参标定单元，用于：

根据所述等效枪机的焦距，以及所述鱼眼相机的内参，对所述原始图像进行去畸变处理，得到所述原始图像的去畸变图像之前，对所述鱼眼相机进行内参标定，得到所述鱼眼相机的内参。

11.根据权利要求8-10中任一项所述的设备，其中，所述标志点坐标获取单元，包括：

标志点确定子单元，用于确定所述地图数据中位于所述鱼眼相机覆盖范围内的标志点；

标志点投影子单元，用于根据所述鱼眼相机的安装位置和朝向角，利用针孔投影模型，将所述标志点投影到所述去畸变图像中。

12.根据权利要求8-10中任一项所述的设备，其中，所述外参标定单元，包括：

标志点坐标匹配子单元，用于根据所述标志点的三维坐标，以及所述标志点的二维坐标，对同一标志点的三维坐标和二维坐标进行匹配，生成所述同一标志点对应的坐标对信息，所述坐标对信息包括所述同一标志点的三维坐标和二维坐标；

外参标定子单元，用于根据多个标志点的坐标对信息，标定所述等效枪机的外参，以得到所述鱼眼相机的外参。

13.根据权利要求8-10中任一项所述的设备，其中，所述标志点坐标获取单元，还包括：

去畸变图像显示子单元，用于显示包含所述标志点的去畸变图像，以标注所述标志点在所述去畸变图像中的二维坐标。

14.根据权利要求8-10中任一项所述的设备，还包括：

三维感知单元，用于根据所述鱼眼相机的外参，确定所述鱼眼相机所采集的图像中目标物体的三维信息。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。