CN111105465A

CN111105465A - 一种摄像装置校准方法、装置、系统电子设备及存储介质

Info

Publication number: CN111105465A
Application number: CN201911079636.9A
Authority: CN
Inventors: 张帆
Original assignee: JD Digital Technology Holdings Co Ltd
Current assignee: JD Digital Technology Holdings Co Ltd
Priority date: 2019-11-06
Filing date: 2019-11-06
Publication date: 2020-05-05
Anticipated expiration: 2039-11-06
Also published as: CN111105465B

Abstract

本申请涉及一种摄像装置校准方法、装置、系统、电子设备及存储介质，该方法包括：获取至少两个摄像装置对物体拍摄的图像数据，以及至少两个雷达检测到所述物体的点云数据；根据所述图像数据确定物体的第一物体信息，根据所述点云数据确定所述物体的第二物体信息；根据所述第一物体信息和第二物体信息计算测量误差；根据所述测量误差调节所述摄像装置的外参数。该技术方案根据该测量误差对摄像装置外参数进行调节校准，可以提高基于视觉感知方式识别物体信息的准确性，且提高基于摄像装置进行道路监测的精确度。

Description

一种摄像装置校准方法、装置、系统电子设备及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种摄像装置校准方法、装置、系统、电子设备及存储介质。

背景技术

随着车联网、5G、云计算等技术的发展，无人驾驶或自动驾驶领域受到越来越多的关注。无人驾驶的关键技术在于对交通状况的视觉感知。目前，视觉感知技术在交通各领域都发挥着越来越重要，而且应用广泛。如车辆的检测、车辆身份的识别、车辆身份的比对、车辆的行为分析以及驾驶控制等等。

视觉感知是交通信息采集和交通事件检测领域较新的技术，是一种融合视频图像处理、模式识别及数据通信等多项技术为一体的计算机视频监测技术。它的目标就是用数字图像处理和计算机视觉技术，通过分析交通图像序列来对车辆、行人等交通目标的运动进行检测、定位、识别和跟踪，并对目标的交通行为进行分析、理解和判断。

但是，现有基于视觉感知的交通数据分析准确度相对较低，需要通过其他测量手段提高视觉感知的准确度。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种摄像装置校准方法、装置、系统、电子设备及存储介质。

第一方面，本申请提供了一种摄像装置校准方法，包括：

获取至少两个摄像装置对物体拍摄的图像数据，以及至少两个雷达检测到所述物体的点云数据；

根据所述图像数据确定物体的第一物体信息，根据所述点云数据确定所述物体的第二物体信息；

根据所述第一物体信息和第二物体信息计算测量误差；

根据所述测量误差调节所述摄像装置的外参数。

可选的，所述至少两个摄像装置内参数和外参数相同，分别对所述物体进行拍摄得到图像数据。

可选的，所述根据所述图像数据确定物体的第一物体信息，包括：

根据所述图像数据、内参数和外参数确定所述物体在世界坐标系下的第一世界坐标；

所述根据所述点云数据确定所述物体的第二物体信息，包括：

根据所述点云数据确定所述物体在世界坐标系下的第二世界坐标；

根据所述第一物体信息和第二物体信息计算测量误差，包括：

计算所述第一世界坐标和所述第二世界坐标之间的第一坐标误差；

基于所述第一坐标误差确定所述测量误差。

可选的，所述方法还包括：

分别基于每个摄像装置拍摄的图像数据计算所述物体在世界坐标系下的坐标，得到至少两个第三世界坐标；

根据所述第三世界坐标之间的差值确定所述摄像装置之间的光轴间距；

根据所述光轴间距对所述第二世界坐标进行矫正，得到第四世界坐标；

计算所述第一世界坐标和第四世界坐标之间的第二坐标误差；

基于所述第二坐标误差确定所述测量误差。

根据所述第一世界坐标确定所述物体对应的第一尺寸信息；

根据所述点云数据确定所述物体对应的第二尺寸信息；

计算所述第一尺寸信息和所述第二尺寸信息之间的尺寸误差；

基于所述尺寸误差确定所述测量误差。

可选的，所述根据所述测量误差调节所述摄像装置的外参数，包括：

当所述测量误差不符合预设条件时，按照相同的步幅分别调节每个所述摄像装置的外参数，所述摄像装置的外参数包括：旋转矩阵和平移向量。

可选的，所述测量误差符合预设条件包括：

所述测量误差小于或等于预设阈值，和/或所述测量误差到达最小值。

第二方面，本申请提供了一种摄像装置校准装置，包括：

获取模块，用于获取至少两个摄像装置对物体拍摄的图像数据，以及至少两个雷达检测到所述物体的点云数据；

处理模块，用于根据所述图像数据确定物体的第一物体信息，根据所述点云数据确定所述物体的第二物体信息；

计算模块，用于根据所述第一物体信息和第二物体信息计算测量误差；

调节模块，用于根据所述测量误差调节所述摄像装置的外参数。

第三方面，本申请提供了一种摄像装置校准系统，包括：设置于路口每一侧的摄像装置，至少两个在所述路口对角线部署的雷达，分别与所述摄像装置及所述雷达通信连接的边缘计算装置；

其中，所述路口每一侧设有至少两个摄像装置，所述摄像装置朝向所述路口进行拍摄，得到图像数据；所述雷达朝向所述路口发射雷达信号并接收回波信号，根据所述回波信号生成点云数据；

所述边缘计算装置，用于获取至少两个摄像装置对物体拍摄的图像数据，以及至少两个雷达检测到所述物体的点云数据；根据所述图像数据确定物体的第一物体信息，根据所述点云数据确定所述物体的第二物体信息；根据所述第一物体信息和第二物体信息计算测量误差；根据所述测量误差调节所述摄像装置的外参数。

第四方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行计算机程序时，实现上述方法步骤。

第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：由于雷达测量得到的第二物体信息相对较为准确，更接近物体实际信息，因此，将基于摄像装置拍摄图像识别到的第一物体信息与第二物体信息进行比较，得到拍摄装置对应的测量误差，根据该测量误差对摄像装置外参数进行调节校准，可以提高基于视觉感知方式识别物体信息的准确性，且提高基于摄像装置进行道路监测的精确度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种摄像装置校准系统的部署示意图；

图2为本申请实施例提供的一种摄像装置校准方法的流程图；

图3为本申请实施例提供的一种摄像装置校准装置的框图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

通过视觉感知方式对物体的位置、尺寸等信息进行识别时，需要基于摄像装置的内参数将物体在图像坐标系中的坐标转换为在相机坐标系中的坐标，之后，在基于摄像装置的外参数，将拍摄到的物体在相机坐标系中的坐标转换为在世界坐标系中的坐标。内参数是与摄像装置自身特性相关的参数，比如摄像装置的焦距、像素大小等；外参数是摄像装置在世界坐标系中的参数，比如摄像装置的位置、旋转方向等。实际中，摄像装置的内参数在出厂时已固化，无法在使用时改变。因此，如果通过视觉感知方式识别到的物体信息与实际物体信息存在差距，则可以通过调节外参数的方式对摄像装置进行校准。

由于雷达测量得到的物体信息更接近实际物体信息，因此，本申请实施例通过雷达测量数据对摄像装置的外参数进行调节，对摄像装置进行校准，以使得后续基于拍摄装置拍摄的图像分析数据，尤其是交通数据，更加准确。

本申请实施例可基于车辆系统的路侧系统架构实现。

图1为本申请实施例提供的一种摄像装置校准系统的部署示意图。如图1所示，该系统包括：设置于路口每一侧的摄像装置11，至少两个在路口对角线部署的雷达12，分别与摄像装置11及雷达12通信连接的边缘计算装置13。

其中，路口每一侧设有至少两个摄像装置11，摄像装置11朝向路口进行拍摄，得到图像数据；雷达12朝向路口发射雷达信号并接收回波信号，根据回波信号生成点云数据。

边缘计算装置13，用于获取至少两个摄像装置11对物体拍摄的图像数据，以及至少两个雷达12检测到物体的点云数据；根据图像数据确定物体的第一物体信息，根据点云数据确定物体的第二物体信息；根据第一物体信息和第二物体信息计算测量误差；根据测量误差调节摄像装置11的外参数。

可选的，路口每一侧的至少两个摄像装置11平行设置，光轴平行。

可选的，本实施例中的雷达可以为激光雷达、毫米波雷达、微波雷达、超视距雷达等等。

本实施例中，摄像装置拍摄的水平角度范围为60～120度，垂直角度范围为0～-15度。雷达发射信号的水平角度范围为120～360度，垂直角度范围为0～-15度。

本实施例中，由于雷达测量得到的第二物体信息相对较为准确，更接近物体实际信息，因此，将基于摄像装置拍摄图像识别到的第一物体信息与第二物体信息进行比较，得到拍摄装置对应的测量误差，根据该测量误差对摄像装置外参数进行调节校准，可以提高基于视觉感知方式识别物体信息的准确性，且提高基于摄像装置进行道路监测的精确度。

另外，由于雷达的硬件成本较高，在基于车路协同的路侧系统中，当该路口的所有摄像装置均完成转准后，可以拆除雷达，再将雷达设置于其他需要进行校准摄像装置的路口。这样，不仅提高基于视觉感知方式识别物体信息的准确性，并且降低了路侧系统的硬件成本。

下面对本发明实施例所提供的一种摄像装置校准方法进行介绍。

图2为本申请实施例提供的一种摄像装置校准方法的流程图。如图2所示，该方法包括以下步骤：

步骤S21，获取至少两个摄像装置对物体拍摄的图像数据，以及至少两个雷达检测到物体的点云数据；

步骤S22，根据图像数据确定物体的第一物体信息，根据点云数据确定物体的第二物体信息；

步骤S23，根据第一物体信息和第二物体信息计算测量误差；

步骤S24，根据测量误差调节摄像装置的外参数。

本实施例中，由于雷达测量得到的第二物体信息相对较为准确，更接近物体实际信息，因此，通过比较基于摄像装置拍摄图像识别到的第一物体信息与第二物体信息，得到拍摄装置对应的测量误差，从而对摄像装置外参数进行调节校准，提高基于视觉感知方式识别物体信息的准确性。

可选的，物体信息可以包括：物体位置和/或尺寸。

可选的，至少两个摄像装置内参数和外参数相同，分别对物体进行拍摄得到图像数据。

可选的，从摄像装置拍摄的图像中识别到物体，可以采用预先训练的深度神经网络模型，如RPN(RegionProposal Network，区域生成网络)、R-CNN(Region-CNN，区域卷积神经网络)等等。从图像中识别到物体后，可以获得该物体对应的第一物体信息。对于雷达测量得到的点云数据，可以通过聚类算法，聚类得到物体对应的点云数据，进而获得该物体对应的第二物体信息。

本实施例中，在计算测量误差过程中，可以将视觉感知方式识别到的物体信息与雷达检测的物体信息均转换到同一世界坐标系下再进行比较。具体测量误差的计算方式可以由多种，具体如下：

(一)将视觉感知方式识别到的物体信息与雷达检测的物体信息均转换到同一世界坐标系下进行比较，得到测量误差。

可选的，步骤S22包括：根据内参数和外参数确定物体在世界坐标系下的第一世界坐标。

具体地，可以根据摄像装置的内参数和外参数将物体在图像坐标系中的坐标转换为在世界坐标系中的坐标。

摄像装置的内参数矩阵

其中，f_x表示在水平方向上缩放后的焦距，f_y表示在垂直方向上缩放后的焦距，c_x，c_y分别表示原点在x轴方向和y轴方向的平移量。摄像装置的外参数包括：旋转矩阵

和平移向量T。

例如，物体上某个点P在图像坐标系中的像素坐标为P_p＝(u,v)，在世界坐标系中的坐标为P_W＝(x_w,y_w,z_w)。P_p和P_W之间的关系如下：

因此，摄像装置对应的投影矩阵为

由于多个摄像装置分别拍摄多张图像，基于多目测距原理，可以基于物体在每张图像中的坐标通过最小二乘法计算得到该物体在空间中的实际坐标。

例如，摄像装置C1和C2的投影矩阵分别为M₁和M₂。物体上的某个点P在摄像装置C1和C2拍摄的图像中对应的点为p1和p2。于是有：

其中，(u₁,v₁,1)和(u₂,v₂,1)分别为p1和p2在各自所在图像坐标系中的像素坐标。Z_c1和Z_c2为P点分别在C1和C2坐标系中的z轴上的坐标。通过上述公式，消去Z_c1和Z_c2，可以计算得到点P在世界坐标系中的第一世界坐标。

综上，可以计算出物体上所有点的第一世界坐标。

基于两个或多个摄像装置拍摄的图像数据计算物体对应的第一世界坐标的方法并不限于最小二乘法，还可以通过视差测距法等方式进行计算。在此不再赘述。

可选的，步骤S22还包括：根据点云数据确定物体在世界坐标系下的第二世界坐标。

雷达发射信号并接收到回波信号，通过对回波信号进行处理，可以得到空间中物体相对于雷达的距离、方位角、仰角这三个参数，基于这三个参数，可以计算得到物体在世界坐标系下的第二世界坐标。

可选的，步骤S23包括：计算第一世界坐标和第二世界坐标之间的第一坐标误差；基于第一坐标误差确定测量误差。

对于物体上的每个点都计算得到第一坐标误差，可通过计算所有点的第一坐标误差的平均值确定测量误差。

(二)由于雷达测量的物体信息也可能不准确，在计算测量误差时引入摄像装置的光轴间距。

该方法还包括：分别基于每个摄像装置拍摄的图像数据计算所述物体在世界坐标系下的坐标，得到至少两个第三世界坐标；根据第三世界坐标之间的差值确定摄像装置之间的光轴间距。

可选的，根据每个摄像装置的内参数和外参数，基于各个图像数据分别计算物体上某个点对应的第三世界坐标。如通过上述实施例的方法，根据摄像装置C1和C2的投影矩阵，计算得到物体上某个点对应的第三世界坐标分别为P_W1＝(x_w1,y_w1,z_w1)和P_W2＝(x_w2,y_w2,z_w2)，如果两个摄像装置在水平方向上平行放置，则可通过P_W1和P_W2在x轴方向上的差值计算得到光轴间距L＝|x_w1-x_w2|。

步骤S23包括：根据光轴间距对第二世界坐标进行矫正，得到第三世界坐标；计算第一世界坐标和第三世界坐标之间的第二坐标误差；基于第二坐标误差确定测量误差。

例如，第二世界坐标P_W3＝(x_w3,y_w3,z_w3)，通过光轴间距矫正后的第三世界坐标的x坐标为

可选的，通过对物体上多个点坐标的比对计算，可以得到多个光轴间距值，可以将这些光轴间距值的平均值作为后续矫正第二世界坐标的光轴间距值。或者，也可以使用每个光轴间距值对第二世界坐标进行矫正计算，得到多个第三世界坐标，基于这些第三世界坐标分别计算得到多个第二坐标误差，将这些第二坐标误差求平均值，得到一个平均坐标误差作为测量误差。又或者，可以将多个第二坐标误差作为测量误差，不断地基于该测量误差对摄像装置外参数进行调节。

可选的，如果摄像装置在垂直方向上平行放置，则可通过P_W1和P_W2在y轴方向上的差值计算得到光轴间距。

(三)将视觉感知方式识别到的物体尺寸与雷达检测的物体尺寸进行比较，得到测量误差。

可选的，步骤S22包括：根据图像数据、内参数和外参数确定物体在世界坐标系下的第一世界坐标；根据第一世界坐标确定物体对应的第一尺寸信息。

可选的，可以根据第一世界坐标构建该物体对应的三维视觉模型，根据该三维世界模型确定该物体的第一尺寸信息。

可选的，步骤S22还包括：根据点云数据确定物体对应的第二尺寸信息。可以根据点云数据构建该物体对应的三维点云模型，根据该三维点云模型确定该物体的第二尺寸信息。

步骤S23包括：计算第一尺寸信息和第二尺寸信息之间的尺寸误差；基于尺寸误差确定测量误差。

通过上述三种方式，可以计算得到视觉感知方式识别到的物体信息相对于雷达测量得到的物体信息的测量误差，从而后续可以根据该测量误差对于摄像装置的外参数进行调节。

可选的，步骤S24包括：当测量误差不符合预设条件时，按照相同的预设步幅分别调节每个摄像装置的外参数，摄像装置的外参数包括：旋转矩阵和平移向量。

可选的，测量误差符合预设条件包括：测量误差小于或等于预设阈值，和/或测量误差到达最小值。

其中，测量误差到达最小值可通过以下方式判断：对于外参数，按照预设步幅无论正向调节还是反向调节，其对应的测量误差均保持不变，则可确定该测量误差达到最小值，可停止对外参数的调节，完成摄像装置的校准。

本实施例中，通过重复计算测量误差调节摄像装置外参数的过程，对摄像装置进行校准，使得基于校准后的摄像装置拍摄得到图像，可以更加准确地识别物体信息，提高基于摄像装置进行道路监测的精确度。

下述为本申请装置实施例，可以用于执行本申请方法实施例。

图3为本申请实施例提供的一种摄像装置校准装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，该摄像装置校准装置包括：

获取模块31，用于获取至少两个摄像装置对物体拍摄的图像数据，以及至少两个雷达检测到物体的点云数据；

处理模块32，用于根据图像数据确定物体的第一物体信息，根据点云数据确定物体的第二物体信息；

计算模块33，用于根据第一物体信息和第二物体信息计算测量误差；

调节模块34，用于根据测量误差调节摄像装置的外参数。

本申请实施例还提供一种电子设备，如图4所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以下上述方法实施例的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下上述方法实施例的步骤。

需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种摄像装置校准方法，其特征在于，包括：

根据所述第一物体信息和第二物体信息计算测量误差；

根据所述测量误差调节所述摄像装置的外参数。

2.根据权利要求1所述的方法，其特征在于，所述至少两个摄像装置内参数和外参数相同，分别对所述物体进行拍摄得到图像数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述图像数据确定物体的第一物体信息，包括：

基于所述第一坐标误差确定所述测量误差。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于所述第二坐标误差确定所述测量误差。

5.根据权利要求2所述的方法，其特征在于，所述根据所述图像数据确定物体的第一物体信息，包括：

根据所述第一世界坐标确定所述物体对应的第一尺寸信息；

根据所述点云数据确定所述物体对应的第二尺寸信息；

基于所述尺寸误差确定所述测量误差。

6.根据权利要求2所述的方法，其特征在于，所述根据所述测量误差调节所述摄像装置的外参数，包括：

7.根据权利要求6所述的方法，其特征在于，所述测量误差符合预设条件包括：

8.一种摄像装置校准装置，其特征在于，包括：

9.一种摄像装置校准系统，其特征在于，包括：设置于路口每一侧的摄像装置，至少两个在所述路口对角线部署的雷达，分别与所述摄像装置及所述雷达通信连接的边缘计算装置；

10.根据权利要求9所述的系统，其特征在于，所述路口每一侧的至少两个摄像装置平行设置，光轴平行。

11.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。