CN115601450A - 周视标定方法及相关装置、设备、系统和介质 - Google Patents

Abstract

本申请公开了一种周视标定方法及相关装置、设备、系统和介质，上述方法包括：获取相机的拍摄图像；预先获取各个标定板分别与车辆坐标系之间的位姿参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数；基于标定板与车辆坐标系之间的位姿参数，将拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置；基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数；以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数。上述方案，能够提升标定准确性和稳定性。

Description

周视标定方法及相关装置、设备、系统和介质

技术领域

本申请涉及相机标定技术领域，特别是涉及一种周视标定方法及相关装置、设备、系统和介质。

背景技术

相机标定是计算机视觉的一个重要分支。目前已经在定位与建图（SimultaneousLocalization And Mapping，SLAM）、自动驾驶和3D视觉等领域得到广泛应用。

在实际应用过程中，通常通过多相机之间的视觉互补，获取更为准确的环境信息，也能够有效解决环境中存在的“遮挡”、“截断”等问题。但是，现有标定方式通常存在误差累积，导致标定准确性和稳定性较低。有鉴于此，如何提升标定准确性和稳定性成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种周视标定方法及相关装置、设备、系统和介质，能够提升标定准确性和稳定性。

为了解决上述问题，本申请第一方面提供了一种周视标定方法，包括：获取设置于车辆上各个相机的拍摄图像；其中，各个相机拍摄范围的中间区域均对应唯一标定板，且标定板上设有标定图案；预先获取各个标定板分别与车辆坐标系之间的位姿参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数；基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置；基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数；以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数。

其中，基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数，包括：基于相机的内部参数及特征点的第一空间位置和在拍摄图像的第一平面位置进行位姿估计，得到相机对于车辆坐标系下的初始旋转参数；基于相机的内部参数、位移参数和初始旋转参数及特征点的第一空间位置对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置；基于特征点的第一平面位置和第二平面位置之间的位置差距，构建优化函数。

其中，基于相机的内部参数、位移参数和初始旋转参数及特征点的第一空间位置对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置，包括：获取第一空间位置与位移参数之间的坐标差值；基于相机的内部参数、初始旋转参数和坐标差值对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置。

其中，在优化函数还以内部参数为优化目标的情况下，求解优化函数还得到相机优化后的内部参数。

其中，优化函数还参考相机的畸变系数构建得到，且在优化函数还以畸变系数为优化目标的情况下，求解优化函数还得到相机优化后的畸变系数。

其中，位移参数基于瞄准相机光心的第一激光仪和第二激光仪辅助测量得到，第一激光仪与第二激光仪的连线在水平面的投影线平行于车辆坐标系x轴，且投影线与x轴相距预设距离，预先测量各个相机分别相对于车辆坐标系下的位移参数，包括：获取第一激光仪的出射光线与x轴之间在水平面的第一夹角，并获取第二激光仪的出射光线与x轴之间在水平面的第二夹角，以及获取投影线的线段长度；基于第一夹角、第二夹角和线段长度，得到光心在水平面的投影点至投影线的第一距离；基于第一夹角、第一激光仪在x轴的坐标值和第一距离，或基于第二夹角、第二激光仪在x轴的坐标值和第一距离，得到投影点至车辆坐标系z轴的第二距离；其中，x轴和y轴构成平面平行于水平面；基于预设距离和第一距离，第二距离及相机的距地高度，得到位移参数。

其中，基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置，包括：将特征点转换为标定板坐标系下的第二空间位置；基于标定板与车辆坐标系之间的位姿参数对第二空间位置进行转换，得到特征点在车辆坐标系的第一空间位置。

其中，在基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置前，方法还包括：基于相机的内部参数和畸变系数，对相机的拍摄图像进行畸变矫正，得到拍摄图像的矫正图像；基于由相机的摄像参数所设置的ROI参数，确定矫正图像中的ROI区域；其中，ROI参数包括起始点坐标、高度和宽度；基于矫正图像中ROI区域的图像数据进行检测，得到特征点的第一平面位置；其中，第一平面位置经坐标转换得到第一空间位置。

为了解决上述问题，本申请第二方面提供了一种周视标定装置，包括：获取模块、预处理模块、转换模块、构建模块和求解模块，获取模块，用于获取设置于车辆上各个相机的拍摄图像；其中，各个相机拍摄范围的中间区域均对应唯一标定板，且标定板上设有标定图案；预处理模块，用于预先获取各个标定板分别与车辆坐标系之间的位姿参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数；转换模块，用于基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置；构建模块，用于基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数；求解模块，用于以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数。

为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令，以实现上述第一方面中的周视标定方法。

为了解决上述问题，本申请第四方面提供了一种周视标定系统，包括若干标定板、设置于车辆的若干相机和标定设备，标定设备分别连接至各个相机，标定板上设有标定图案，各个相机拍摄范围的中间区域均对应唯一标定板，且标定设备为上述第三方面中的电子设备。

为了解决上述问题，本申请第五方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于上述第一方面中的周视标定方法。

上述方案，获取设置于车辆上各个相机的拍摄图像，且各个相机拍摄范围的中间区域对应唯一标定板，标定板上设有标定图案，再预先获取各个标定板分别与车辆坐标系之间的第一位置参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数，从而基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图像上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置。在此基础上，基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数，进而以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数，一方面由于各个相机拍摄范围的中间区域均对应唯一标定板，且对于各个相机分别标定其相对于车辆坐标系下的位姿参数，即位移参数和旋转参数，不同相机在标定过程中互不影响，故相较于在标定过程中求解相机之间的相对位姿而言，能够大大减少累积误差，有助于提升标定准确性，另一方面单个相机在标定过程中预先测量相对于车辆坐标系下的位移参数，再通过投影误差求解旋转参数，即位移参数和旋转参数分开测算，有助于提升标定稳定性。故此，能够提升标定准确性和稳定性。

附图说明

图1是本申请周视标定方法一实施例的流程示意图；

图2是本申请周视标定系统一实施例的框架示意图；

图3是拍摄图像一实施例的示意图；

图4是测量位移参数一实施例的示意图；

图5是ROI区域的图像数据一实施例的示意图；

图6是本申请周视标定装置一实施例的框架示意图；

图7是本申请电子设备一实施例的框架示意图；

图8是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请周视标定方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取设置于车辆上各个相机的拍摄图像。

本公开实施例中，各个相机拍摄范围的中间区域均对应唯一标定板。需要说明的是，上述相机可以分别位于车辆不同位置，且上述相机拍摄范围可以覆盖车辆周身外围。请结合参阅图2，图2是本申请周视标定系统一实施例的框架示意图。如图2所示，车辆上可以设置7个相机，为了便于区分，可以分别以数字1至7予以标号。周视标定系统还可以设有6个标定板，为了便于区分，可以分别以数字1至6予以标号。由于1号相机和2号相机两者的拍摄范围存在较大重叠，两者拍摄范围的中间区域分别对应的唯一标定板可以均为1号标定板。此外，3号相机拍摄范围的中间区域对应的唯一标定板为2号标定板，4号相机拍摄范围的中间区域对应的唯一标定板为3号标定板，5号相机拍摄范围的中间区域对应的唯一标定板为4号标定板，6号相机拍摄范围的中间区域对应的唯一标定板为5号标定板，7号相机拍摄范围的中间区域对应的唯一标定板为6号标定板。其他情况可以以此类推，在此不再一一举例。此外，在实际应用过程中，前述“中间区域”并不严格要求唯一对应的标定板位于拍摄范围的正中央，可以允许存在一定偏移误差。

本公开实施例中，标定板上可以设有标定图案。需要说明的是，标定图案可以包括但不限于：棋盘格、实心圆阵列等，在此不做限定。请结合参阅图3，图3是拍摄图像一实施例的示意图。更为具体地，图3是图2中1号相机的拍摄图像一实施例的示意图。如图2和图3所示，1号相机拍摄范围的中间区域含有其唯一对应的1号标定板，偏右侧含有6号标定板。其他情况可以以此类推，在此不再一一举例。

步骤S12：预先获取各个标定板分别与车辆坐标系之间的位姿参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数。

在一个实施场景中，车辆坐标系可以预先建立。示例性地，可以以车后轴中心为坐标原点，平行于车后轴方向为x轴，垂直于车后轴方向为z轴，垂直于水平面方向为y轴。当然，上述构建方式仅仅为实际应用过程中一种可能的构建方式，并不因此而限定车辆坐标系的实际构建方式。

在一个实施场景中，还可以预先分别构建标定板的标定板坐标系。示例性地，可以以标定板的左上角为坐标原点，以标定板的长度方向为x轴，宽度方向为z轴，以标定板的垂直方向为y轴。当然，上述构建方式仅仅为实际应用过程中一种可能的构建方式，并不因此而限定标定板坐标系的实际构建方式。

在一个实施场景中，在构建车辆坐标系和各个标定板的标定板坐标系之后，对于每个标定板，可以根据预先构建的车辆坐标系和标定板坐标系，获取两者之间的位移参数和旋转参数，作为标定板与车辆坐标系之间的位姿参数。也就是说，标定板坐标系按照对应的旋转参数进行旋转，并安装对应的位移参数进行位移，可以与车辆坐标系重合。为了便于描述，对于第i个标定板而言，其与车辆坐标系之间的位移参数可以记为t^v _bi，其与车辆坐标系之间的旋转参数可以记为R^v _bi，其与车辆坐标系之间的位姿参数可以记为T^v _bi∈[R^v _bi|t^v _bi]。

在一个实施场景中，还可以预先获取相机与车辆坐标系之间的位置信息，如可以包括但不限于：距地高度等，在此不做限定。

在一个实施场景中，位移参数可以基于瞄准相机光心的第一激光仪和第二激光仪辅助测量得到，具体可以通过三角测量（定位）辅助测量得到。需要说明的是，激光仪是否已经瞄准相机光心，可以通过检查激光光斑是否位于拍摄图像的中心位置来确定。也就是说，在激光光斑位于拍摄图像的中心位置的情况下，可以确定激光仪已瞄准相机光心，反之可以确定激光仪未瞄准相机光心。具体来说，请结合参阅图4，图4是测量位移参数一实施例的示意图。如图4所示，第一激光仪（即图4中激光仪1）和第二激光仪（即图4中激光仪2）的连线在水平面的投影线平行于车辆坐标系x轴，且投影线与x轴相距预设距离d。在此基础上，可以先获取第一激光仪的出射光线与x轴之间在水平面的第一夹角α，并获取第二激光仪的出射光线与x轴之间在水平面的第二夹角β，以及获取投影线的线段长度l。在此基础上，可以基于第一夹角、第二夹角和线段长度，得到光心在水平面的投影点至投影线的第一距离d’：

d’=l*sinα*sinβ/sin(α+β)……（1）

在此基础上，可以基于第一夹角α、第一激光仪在x轴的坐标值x1和第一距离d’，根据正切函数计算得到投影点至车辆坐标系z轴的第二距离l’：

l’=(d’/tanα)-x1……（2）

或者，也可以基于第二夹角β、第二激光仪在x轴的坐标值x2和第一距离d’，根据正切函数计算得到投影点至车辆坐标系z轴的第二距离l’：

l’=x2-(d’/tanβ)……（3）

在获取预设距离d和第一距离d’，以及第二距离l’和相机的距地高度h之后，即可得到位移参数t^v _bi=[l’,h,d-d’]。上述方式，位移参数基于瞄准相机光心的第一激光仪和第二激光仪辅助测量得到，第一激光仪与第二激光仪的连线在水平面的投影线平行于车辆坐标系x轴，且投影线与x轴相距预设距离，从而获取第一激光仪的出射光线与x轴之间在水平面的第一夹角，并获取第二激光仪的出射光线与x轴之间在水平面的第二夹角，以及获取投影线的线段长度。在此基础上，基于第一夹角、第二夹角和线段长度，得到光心在水平面的投影点至投影线的第一距离，并基于第一夹角、第一激光仪在x轴的坐标值和第一距离，或基于第二夹角、第二激光仪在x轴的坐标值和第一距离，得到投影点至车辆坐标系z轴的第二距离；其中，x轴和y轴构成平面平行于水平面，进而基于预设距离和第一距离，第二距离及相机的距地高度，得到位移参数，故能够通过激光仪辅助测量位移参数，有助于提升位移参数的准确性。

在另一个实施场景中，区别于前述通过激光仪辅助测量位移参数的方式，在对位姿参数的精度要求相对宽松的情况下，在构建车辆坐标系之后，也可以手动测量相机投影于水平面的平面位置（即包含x轴坐标值和z轴坐标值），在此基础上结合其距离高度，即可得到位移参数。

步骤S13：基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置。

在一个实施场景中，可以将特征点转换为标定板坐标系下的第二空间位置，再基于标定板与车辆坐标系之间的位姿参数对第二空间位置进行转换，得到特征点在车辆坐标系的第一空间位置。上述方式，通过将特征点转换为标定板坐标系下的第二空间位置，再基于位姿参数将其转换为第一空间位置，有助于提升特征点在车辆坐标系下第二空间位置的准确性。

在一个具体的实施场景中，以标定图案采用棋盘格为例，特征点可以为格子角点，该格子角点可以通过诸如OpenCV相关工具进行棋盘角点检测得到。也就是说，特征点具体可以为起到明显标志作用的像素点。他情况可以以此类推，在此不再一一举例。

在一个具体的实施场景中，如前所述，第i个标定板与车辆坐标系之间的位姿参数具体可以包括位移参数t^v _bi和旋转参数R^v _bi，则可以先采用旋转参数R^v _bi对拍摄图像中特征点在标定板坐标系下的第二空间位置进行旋转，再采用位移参数t^v _bi对旋转后的第二空间位置进行平移，得到特征点在车辆坐标系的第一空间位置。

在一个具体的实施场景中，为了便于描述，对于第i个相机，其唯一对应的标定板可以记为b_i，则可以将特征点在拍摄图像中的第一平面位置记为p^ci _bi={p_j(u_j,v_j),p_j∈Bi}，B_i表示与第i个相机唯一对应的标定板，(u_j,v_j)分别表示标定板B_i中第j个特征点的像素坐标。在此基础上，可以求取特征点在标定板坐标系下的第二空间位置p_bi={p_j(u_j,v_j,0),p_j∈Bi}，从而可以基于第i个标定板与车辆坐标系之间的位姿参数T^v _bi∈[R^v _bi|t^v _bi]对第二空间位置进行坐标转换，得到第一空间位置p^v _bi：

p^v _bi=T^v _bi*p_bi= R^v _bi*p^v _bi+ t^v _bi……（4）

在另一个实施场景中，为了进一步提升特征点识别的准确性，以提升标定准确性，在坐标转换之前，还可以基于相机的内部参数和畸变系数，对相机的拍摄图像进行畸变矫正，得到拍摄图像的矫正图像，再基于由相机的拍摄参数所设置的ROI参数，确定矫正图像中的ROI区域，且ROI参数包括起始点坐标、高度和宽度。在此基础上，可以基于矫正图像中ROI区域的图像数据进行检测，得到特征点的第一平面位置，且如前所述，第一平面位置可以经坐标转换得到第一空间位置，具体转换过程可以查阅前述相关描述，在此不再赘述。相机的内部参数可以包括但不限于：横向焦距、纵向焦距、主点横向坐标、主点纵向坐标、坐标轴倾斜参数，畸变系数可以包括但不限于：k1、k2、k3等径向畸变系数，p1、p2等切向畸变系数。通过内部参数和畸变系数进行矫正的具体过程，可以参阅畸变矫正的技术细节，在此不再赘述。此外，拍摄参数可以包括但不限于：分辨率、焦距等，在此不做限定。请结合参阅图3和图5，图5是ROI区域的图像数据一实施例的示意图。如图3和图5所示，相机的拍摄区域唯一对应的标定板为大致居中的标定板（即标定板1），则根据分辨率、焦距等拍摄参数，可以确定起始点坐标(u₀,v₀)，以及宽度W和高度H等ROI参数，并基于此确定ROI区域的图像数据。其他情况可以以此类推，在此不再一一举例。上述方式，基于相机的内部参数和畸变系数，对相机的拍摄图像进行畸变矫正，得到拍摄图像的矫正图像，再基于由相机的摄像参数所设置的ROI参数，确定矫正图像中的ROI区域，且ROI参数包括起始点坐标、高度和宽度，从而基于矫正图像中ROI区域的图像数据进行检测，得到特征点的第一平面位置，且第一平面位置经坐标转换得到第一空间位置，故有助于提升特征点检测的准确性，进而能够提升标定准确性。

步骤S14：基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数。

在一个实施场景中，可以基于相机的内部参数及特征点的第一空间位置和在拍摄图像的第一平面位置进行位姿估计，得到相机相对于车辆坐标系下的初始旋转参数，再基于相机的内部参数、位移参数和初始旋转参数及特征点的第一空间位置对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置，从而可以基于特征点的第一平面位置和第二平面位置之间的位置差距，构建优化函数。需要说明的是，上述位姿估计具体可以采用诸如PnP等估计方式，在此不做限定。位姿估计的具体过程，可以参阅PnP等估计方式的技术细节，在此不再赘述。上述方式，通过先进行位姿估计，得到初始旋转参数，然后再计算投影误差，以构建优化函数，有助于为构建优化函数提供较为可靠的数据基础，从而能够提升标定效率。

在一个具体的实施场景中，在得到初始旋转参数之后，可以先获取第一空间位置与位移参数之间的坐标差值，再基于相机的内部参数、初始旋转参数和坐标差值对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置。关于投影的具体过程，可以参阅重投影的技术细节，在此不再赘述。

在一个具体的实施场景中，为了进一步提升标定准确性，如前所述，在识别特征点的过程中，还可以进行畸变矫正，在此情况下，在获取到坐标差值之后，可以基于相机的内部参数、畸变系数、初始旋转参数和坐标差值对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置。关于投影的具体过程，可以参阅重投影的技术细节，在此不再赘述。

需要说明的是，对于某个相机而言，在提取到N个特征点的情况下，对于每个特征点，可以获取前述位置差距，并将N个特征点分别对应的位置差距求和，得到优化函数。

在另一个实施场景中，区别于前述实施方式，在对标定效率要求相对宽松的情况下，也可以随机初始化一个初始旋转参数，并在得到初始旋转参数之后，基于相机的内部参数、位移参数和初始旋转参数及特征点的第一空间位置对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置，并基于特征点的第一平面位置和第二平面位置之间的位置差距，构建优化函数。

步骤S15：以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数。

具体地，可以采用诸如Ceres-solver工具对上述优化函数进行求解，得到相机相对于车辆坐标系下的旋转参数。在此基础上，可以将相机相对于车辆坐标系下的位移参数和旋转参数，作为相机相对于车辆坐标系下的位姿参数。在得到各个相机分别相对于车辆坐标系下的位姿参数之后，即可视为完成周视标定。

在一个实施场景中，在优化函数还以内部参数为优化目标的情况下，还可以求解优化函数还得到相机优化后的内部参数。

在一个实施场景中，如前所述，优化函数还参考相机的畸变系数构建得到，则在优化函数还以畸变系数为优化目标的情况下，还可以进一步求解优化函数还得到相机优化后的畸变系数。

上述方案，获取设置于车辆上各个相机的拍摄图像，且各个相机拍摄范围的中间区域对应唯一标定板，标定板上设有标定图案，再预先获取各个标定板分别与车辆坐标系之间的第一位置参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数，从而基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图像上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置。在此基础上，基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数，进而以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数，一方面由于各个相机拍摄范围的中间区域均对应唯一标定板，且对于各个相机分别标定其相对于车辆坐标系下的位姿参数，即位移参数和旋转参数，不同相机在标定过程中互不影响，故相较于在标定过程中求解相机之间的相对位姿而言，能够大大减少累积误差，有助于提升标定准确性，另一方面单个相机在标定过程中预先测量相对于车辆坐标系下的位移参数，再通过投影误差求解旋转参数，即位移参数和旋转参数分开测算，有助于提升标定稳定性。故此，能够提升标定准确性和稳定性。

请参阅图6，图6是本申请周视标定装置60一实施例的框架示意图。周视标定装置60包括：获取模块61、预处理模块62、转换模块63、构建模块64和求解模块65，获取模块61，用于获取设置于车辆上各个相机的拍摄图像；其中，各个相机拍摄范围的中间区域均对应唯一标定板，且标定板上设有标定图案；预处理模块62，用于预先获取各个标定板分别与车辆坐标系之间的位姿参数，并预先测量各个相机分别相对于车辆坐标系下的位移参数；转换模块63，用于基于相机唯一对应的标定板与车辆坐标系之间的位姿参数，将相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到特征点在车辆坐标系的第一空间位置；构建模块64，用于基于相机的内部参数、位移参数和初始旋转参数及特征点在拍摄图像的第一平面位置，构建以第一平面位置与特征点在拍摄图像中投影位置之间的位置差距为损失的优化函数；求解模块65，用于以初始旋转参数为优化目标求解优化函数，得到相机相对于车辆坐标系下的旋转参数。

上述方案，由于周视标定装置60实现上述周视标定方法实施例中步骤，一方面由于各个相机拍摄范围的中间区域均对应唯一标定板，且对于各个相机分别标定其相对于车辆坐标系下的位姿参数，即位移参数和旋转参数，不同相机在标定过程中互不影响，故相较于在标定过程中求解相机之间的相对位姿而言，能够大大减少累积误差，有助于提升标定准确性，另一方面单个相机在标定过程中预先测量相对于车辆坐标系下的位移参数，再通过投影误差求解旋转参数，即位移参数和旋转参数分开测算，有助于提升标定稳定性。故此，能够提升标定准确性和稳定性。

在一些公开实施例中，构建模块64包括估计子模块，用于基于相机的内部参数及特征点的第一空间位置和在拍摄图像的第一平面位置进行位姿估计，得到相机对于车辆坐标系下的初始旋转参数；构建模块64包括投影子模块，用于基于相机的内部参数、位移参数和初始旋转参数及特征点的第一空间位置对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置；构建模块64包括构建子模块，用于基于特征点的第一平面位置和第二平面位置之间的位置差距，构建优化函数。

因此，通过先进行位姿估计，得到初始旋转参数，然后再计算投影误差，以构建优化函数，有助于为构建优化函数提供较为可靠的数据基础，从而能够提升标定效率。

在一些公开实施例中，投影子模块包括差值单元，用于获取第一空间位置与位移参数之间的坐标差值；投影子模块包括投影单元，用于基于相机的内部参数、初始旋转参数和坐标差值对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置。

因此，先获取第一空间位置与位移参数之间的坐标差值，再基于相机的内部参数、初始旋转参数和坐标差值对特征点进行投影，得到特征点投影于拍摄图像的第二平面位置，能够利用预先测量的位移参数消除平移维度对投影的影响，尽可能地将位移参数排除在重投影误差的影响因素之外，有助于提升旋转参数的优化效率。

在一些公开实施例中，在优化函数还以内部参数为优化目标的情况下，求解优化函数还得到相机优化后的内部参数。

因此，将内部参数与旋转参数一同进行优化，有助于提升标定过程的鲁棒性。

在一些公开实施例中，优化函数还参考相机的畸变系数构建得到，且在优化函数还以畸变系数为优化目标的情况下，求解优化函数还得到相机优化后的畸变系数。

因此，将畸变系数与旋转参数一同进行优化，有助于提升标定过程的鲁棒性。

在一些公开实施例中，位移参数基于瞄准相机光心的第一激光仪和第二激光仪辅助测量得到，第一激光仪与第二激光仪的连线在水平面的投影线平行于车辆坐标系x轴，且投影线与x轴相距预设距离，预处理模块62包括获取子模块，用于获取第一激光仪的出射光线与x轴之间在水平面的第一夹角，并获取第二激光仪的出射光线与x轴之间在水平面的第二夹角，以及获取投影线的线段长度；预处理模块62包括第一距离子模块，用于基于第一夹角、第二夹角和线段长度，得到光心在水平面的投影点至投影线的第一距离；预处理模块62包括第二距离子模块，用于基于第一夹角、第一激光仪在x轴的坐标值和第一距离，或基于第二夹角、第二激光仪在x轴的坐标值和第一距离，得到投影点至车辆坐标系z轴的第二距离；其中，x轴和y轴构成平面平行于水平面；预处理模块62包括参数确定子模块，用于基于预设距离和第一距离，第二距离及相机的距地高度，得到位移参数。

因此，能够通过激光仪辅助测量位移参数，有助于提升位移参数的准确性。

在一些公开实施例中，转换模块63包括第一转换子模块，用于将特征点转换为标定板坐标系下的第二空间位置；转换模块63包括第二转换子模块，用于基于标定板与车辆坐标系之间的位姿参数对第二空间位置进行转换，得到特征点在车辆坐标系的第一空间位置。

因此，通过将特征点转换为标定板坐标系下的第二空间位置，再基于位姿参数将其转换为第一空间位置，有助于提升特征点在车辆坐标系下第二空间位置的准确性。

在一些公开实施例中，周视标定装置60还包括畸变矫正模块，用于基于相机的内部参数和畸变系数，对相机的拍摄图像进行畸变矫正，得到拍摄图像的矫正图像；周视标定装置60还包括ROI确定模块，用于基于由相机的摄像参数所设置的ROI参数，确定矫正图像中的ROI区域；其中，ROI参数包括起始点坐标、高度和宽度；周视标定装置60还包括特征点检测模块，用于基于矫正图像中ROI区域的图像数据进行检测，得到特征点的第一平面位置；其中，第一平面位置经坐标转换得到第一空间位置。

因此，基于相机的内部参数和畸变系数，对相机的拍摄图像进行畸变矫正，得到拍摄图像的矫正图像，再基于由相机的摄像参数所设置的ROI参数，确定矫正图像中的ROI区域，且ROI参数包括起始点坐标、高度和宽度，从而基于矫正图像中ROI区域的图像数据进行检测，得到特征点的第一平面位置，且第一平面位置经坐标转换得到第一空间位置，故有助于提升特征点检测的准确性，进而能够提升标定准确性。

请参阅图7，图7是本申请电子设备70一实施例的框架示意图。电子设备70包括：相互耦接的存储器71和处理器72，存储器71中存储有程序指令，处理器72用于执行程序指令以实现上述任一周视标定方法实施例中的步骤。具体地，电子设备70可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑、车机等等，在此不做限定。

具体而言，处理器72用于控制其自身以及存储器71以实现上述任一周视标定方法实施例中的步骤。处理器72还可以称为CPU（Central Processing Unit，中央处理单元）。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application SpecificIntegrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array,FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。

上述方案，由于电子设备70实现上述周视标定方法实施例中步骤，一方面由于各个相机拍摄范围的中间区域均对应唯一标定板，且对于各个相机分别标定其相对于车辆坐标系下的位姿参数，即位移参数和旋转参数，不同相机在标定过程中互不影响，故相较于在标定过程中求解相机之间的相对位姿而言，能够大大减少累积误差，有助于提升标定准确性，另一方面单个相机在标定过程中预先测量相对于车辆坐标系下的位移参数，再通过投影误差求解旋转参数，即位移参数和旋转参数分开测算，有助于提升标定稳定性。故此，能够提升标定准确性和稳定性。

请参阅图2，图2是本申请周视标定系统一实施例的框架示意图。如图2所示，周视标定系统包括若干标定板（如图2中标定板1至标定板6）、设置于车辆的若干相机（如图2中相机1至相机7）和标定设备（未图示），标定设备分别连接至各个相机，标定板上设有标定图案，各个相机拍摄范围的中间区域均对应唯一标定板，且标定设备为上述任一电子设备实施例中的电子设备。具体地，标定设备可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑、车机等等，在此不做限定。

上述方案，由于周视标定系统中标定设备为上述任一电子设备实施例中的电子设备，一方面由于各个相机拍摄范围的中间区域均对应唯一标定板，且对于各个相机分别标定其相对于车辆坐标系下的位姿参数，即位移参数和旋转参数，不同相机在标定过程中互不影响，故相较于在标定过程中求解相机之间的相对位姿而言，能够大大减少累积误差，有助于提升标定准确性，另一方面单个相机在标定过程中预先测量相对于车辆坐标系下的位移参数，再通过投影误差求解旋转参数，即位移参数和旋转参数分开测算，有助于提升标定稳定性。故此，能够提升标定准确性和稳定性。

请参阅图8，图8为本申请计算机可读存储介质80一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令81，程序指令81用于实现上述任一周视标定方法实施例中的步骤。

上述方案，由于计算机可读存储介质80实现上述周视标定方法实施例中步骤，一方面由于各个相机拍摄范围的中间区域均对应唯一标定板，且对于各个相机分别标定其相对于车辆坐标系下的位姿参数，即位移参数和旋转参数，不同相机在标定过程中互不影响，故相较于在标定过程中求解相机之间的相对位姿而言，能够大大减少累积误差，有助于提升标定准确性，另一方面单个相机在标定过程中预先测量相对于车辆坐标系下的位移参数，再通过投影误差求解旋转参数，即位移参数和旋转参数分开测算，有助于提升标定稳定性。故此，能够提升标定准确性和稳定性。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (12)

1.一种周视标定方法，其特征在于，包括：

获取设置于车辆上各个相机的拍摄图像；其中，所述各个相机拍摄范围的中间区域均对应唯一标定板，且所述标定板上设有标定图案；

预先获取各个所述标定板分别与车辆坐标系之间的位姿参数，并预先测量所述各个相机分别相对于所述车辆坐标系下的位移参数；

基于所述相机唯一对应的标定板与所述车辆坐标系之间的位姿参数，将所述相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到所述特征点在所述车辆坐标系的第一空间位置；

基于所述相机的内部参数、位移参数和初始旋转参数及所述特征点在所述拍摄图像的第一平面位置，构建以所述第一平面位置与所述特征点在所述拍摄图像中投影位置之间的位置差距为损失的优化函数；

以所述初始旋转参数为优化目标求解所述优化函数，得到所述相机相对于所述车辆坐标系下的旋转参数。

2.根据权利要求1所述的方法，其特征在于，所述基于所述相机的内部参数、位移参数和初始旋转参数及所述特征点在所述拍摄图像的第一平面位置，构建以所述第一平面位置与所述特征点在所述拍摄图像中投影位置之间的位置差距为损失的优化函数，包括：

基于所述相机的内部参数及所述特征点的第一空间位置和在所述拍摄图像的第一平面位置进行位姿估计，得到所述相机对于所述车辆坐标系下的初始旋转参数；

基于所述相机的内部参数、位移参数和初始旋转参数及所述特征点的第一空间位置对所述特征点进行投影，得到所述特征点投影于所述拍摄图像的第二平面位置；

基于所述特征点的第一平面位置和第二平面位置之间的位置差距，构建所述优化函数。

3.根据权利要求2所述的方法，其特征在于，所述基于所述相机的内部参数、位移参数和初始旋转参数及所述特征点的第一空间位置对所述特征点进行投影，得到所述特征点投影于所述拍摄图像的第二平面位置，包括：

获取所述第一空间位置与所述位移参数之间的坐标差值；

基于所述相机的内部参数、初始旋转参数和所述坐标差值对所述特征点进行投影，得到所述特征点投影于所述拍摄图像的第二平面位置。

4.根据权利要求1所述的方法，其特征在于，在所述优化函数还以所述内部参数为优化目标的情况下，求解所述优化函数还得到所述相机优化后的内部参数。

5.根据权利要求1或4所述的方法，其特征在于，所述优化函数还参考所述相机的畸变系数构建得到，且在所述优化函数还以所述畸变系数为优化目标的情况下，求解所述优化函数还得到所述相机优化后的畸变系数。

6.根据权利要求1所述的方法，其特征在于，所述位移参数基于瞄准所述相机光心的第一激光仪和第二激光仪辅助测量得到，所述第一激光仪与所述第二激光仪的连线在水平面的投影线平行于所述车辆坐标系x轴，且所述投影线与所述x轴相距预设距离，所述预先测量所述各个相机分别相对于所述车辆坐标系下的位移参数，包括：

获取所述第一激光仪的出射光线与所述x轴之间在水平面的第一夹角，并获取第二激光仪的出射光线与所述x轴之间在水平面的第二夹角，以及获取投影线的线段长度；

基于所述第一夹角、所述第二夹角和所述线段长度，得到所述光心在水平面的投影点至所述投影线的第一距离；

基于所述第一夹角、所述第一激光仪在所述x轴的坐标值和所述第一距离，或基于所述第二夹角、所述第二激光仪在所述x轴的坐标值和所述第一距离，得到所述投影点至所述车辆坐标系z轴的第二距离；其中，所述x轴和y轴构成平面平行于水平面；

基于所述预设距离和所述第一距离，所述第二距离及所述相机的距地高度，得到所述位移参数。

7.根据权利要求1所述的方法，其特征在于，所述基于所述相机唯一对应的标定板与所述车辆坐标系之间的位姿参数，将所述相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到所述特征点在所述车辆坐标系的第一空间位置，包括：

将所述特征点转换为标定板坐标系下的第二空间位置；

基于所述标定板与所述车辆坐标系之间的位姿参数对所述第二空间位置进行转换，得到所述特征点在所述车辆坐标系的第一空间位置。

8.根据权利要求1所述的方法，其特征在于，在所述基于所述相机唯一对应的标定板与所述车辆坐标系之间的位姿参数，将所述相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到所述特征点在所述车辆坐标系的第一空间位置之前，所述方法还包括：

基于所述相机的内部参数和畸变系数，对所述相机的拍摄图像进行畸变矫正，得到所述拍摄图像的矫正图像；

基于由所述相机的摄像参数所设置的ROI参数，确定所述矫正图像中的ROI区域；其中，所述ROI参数包括起始点坐标、高度和宽度；

基于所述矫正图像中所述ROI区域的图像数据进行检测，得到所述特征点的第一平面位置；其中，所述第一平面位置经所述坐标转换得到所述第一空间位置。

9.一种周视标定装置，其特征在于，包括：

获取模块，用于获取设置于车辆上各个相机的拍摄图像；其中，所述各个相机拍摄范围的中间区域均对应唯一标定板，且所述标定板上设有标定图案；

预处理模块，用于预先获取各个所述标定板分别与车辆坐标系之间的位姿参数，并预先测量所述各个相机分别相对于所述车辆坐标系下的位移参数；

转换模块，用于基于所述相机唯一对应的标定板与所述车辆坐标系之间的位姿参数，将所述相机的拍摄图像中位于中间区域的标定图案上的特征点进行坐标转换，得到所述特征点在所述车辆坐标系的第一空间位置；

构建模块，用于基于所述相机的内部参数、位移参数和初始旋转参数及所述特征点在所述拍摄图像的第一平面位置，构建以所述第一平面位置与所述特征点在所述拍摄图像中投影位置之间的位置差距为损失的优化函数；

求解模块，用于以所述初始旋转参数为优化目标求解所述优化函数，得到所述相机相对于所述车辆坐标系下的旋转参数。

10.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令，以实现权利要求1至8任一项所述的周视标定方法。

11.一种周视标定系统，其特征在于，若干标定板、设置于车辆的若干相机和标定设备，所述标定设备分别连接至各个所述相机，所述标定板上设有标定图案，各个所述相机拍摄范围的中间区域均对应唯一所述标定板，且所述标定设备为权利要求10所述的电子设备。

12.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至8任一项所述的周视标定方法。

Images