CN113284193A

CN113284193A - Rs设备的标定方法、装置及设备

Info

Publication number: CN113284193A
Application number: CN202110689371.5A
Authority: CN
Inventors: 单国航; 朱磊; 贾双成; 李倩; 李成军
Original assignee: Zhidao Network Technology Beijing Co Ltd
Current assignee: Zhidao Network Technology Beijing Co Ltd
Priority date: 2021-06-22
Filing date: 2021-06-22
Publication date: 2021-08-20
Anticipated expiration: 2041-06-22
Also published as: CN113284193B

Abstract

本申请是关于一种RS设备的标定方法、装置及设备。该方法包括：获取RS设备的GPS坐标；获取所述RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标；根据所述多个设定特征点的像素坐标，确定所述RS设备的相机外参；根据所述相机外参和所述RS设备的GPS坐标，确定所述多个设定特征点的GPS坐标。本申请提供的方案，能够快速实现RS设备的相机外参标定，提高标定效率。

Description

RS设备的标定方法、装置及设备

技术领域

本申请涉及智慧交通技术领域，尤其涉及一种RS设备的标定方法、装置及设备。

背景技术

目前的智慧交通系统中，在道路上部署大量的RS（Road Side，路侧）设备。RS设备也可以称为RSU（Road Side Unit，路侧单元）。RS设备具有摄像头，可以通过摄像头采集视频数据来计算一些交通的场景，例如车辆故障停驶、追尾等。RS设备提供的图像信息能够为各项交通应用和信息服务提供基础支撑。在对摄像头所采集的视频和图像数据进行处理之前，需要进行RS设备标定，以确定所拍到的车辆等对象的实际位置和距离。

目前的标定方法之一为人工标定方法，这种方法需要在封闭路段中进行或者设置障碍物，才能顺利实行标定工作。该方法周期较长，误差较大，标定效率也低。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种RS设备的标定方法、装置及设备，能够快速实现RS设备的相机外参标定，提高标定效率。

本申请第一方面提供RS设备的标定方法，包括：

获取RS设备的GPS坐标；

获取所述RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标；

根据所述多个设定特征点的像素坐标，确定所述RS设备的相机外参；

根据所述相机外参和所述RS设备的GPS坐标，确定所述多个设定特征点的GPS坐标。

在一种实施方式中，所述根据所述多个设定特征点的像素坐标，确定所述RS设备的相机外参，包括：

根据所述RS设备的相机内参、所述多个设定特征点的像素坐标、，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，确定所述旋转变换关系和相机安装高度。

在一种实施方式中，所述确定所述旋转变换关系和相机安装高度包括：

通过最小二乘优化，获得使整体误差最小的所述旋转变换关系和相机安装高度。

在一种实施方式中，所述函数关系包括：

所述设定特征点的RS设备坐标等于相机内参矩阵的逆矩阵、相机坐标系与RS设备坐标系之间的旋转变换矩阵的逆矩阵与所述设定特征点的像素坐标相乘。

在一种实施方式中，所述设定特征点间的约束关系包括：

多个设定特征点在RS设备坐标系下的z坐标相等，所述多个设定特征点至少包括三对，每对包括至少两个设定特征点；

同一条平行线上的各所述设定特征点在RS设备坐标系下的x坐标相等；

各对设定特征点中两个设定特征点的间距等于预设的特征点距离值。

在一种实施方式中，两个设定特征点之间的误差E通过下式获得：

其中，

和

分别为第i对设定特征点的第一个点和第二个点的RS设备坐标，

为第i对设定特征点的第一个点和第二个点二者之间经过计算得到的距离，

为第i对设定特征点的第一个点和第二个点二者之间测量的距离值，其中

。

本申请第二方面提供一种RS设备的标定装置，包括：

第一获取模块，用于获取RS设备的GPS坐标；

第二获取模块，用于获取所述RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标；

标定模块，用于根据所述第二获取模块获取的多个设定特征点的像素坐标，确定所述RS设备的相机外参；

处理模块，用于根据所述标定模块确定的相机外参和所述第一获取模块获取的RS设备的GPS坐标，确定所述多个设定特征点的GPS坐标。

在一种实施方式中，所述标定模块，根据所述RS设备的相机内参、所述多个设定特征点的像素坐标，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，确定所述旋转变换关系和相机安装高度。

本申请第三方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请提供的技术方案，可根据RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标数据，确定对应的相机外参，从而可以实现RS设备的相机外参的及时校准，从而实现RS设备的相机外参标定。

本申请提供的技术方案，只需获得相机坐标系与RS设备坐标系间的旋转变换关系，且设定特征点的像素坐标、RS设备坐标、相机坐标系与RS设备坐标间的旋转变换关系和相机内参之间的函数关系和设定特征点之间的约束关系较简单，因此，求解计算量较小，可提高效率，节省计算资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的RS设备的标定方法的流程示意图；

图2是本申请实施例示出的RS设备的标定方法的另一流程示意图；

图3是本申请实施例示出的RS设备的相机采集的图像的示意图；

图4是本申请实施例示出的在图3中的图像中设置设定特征点的示意图；

图5是本申请实施例示出的RS设备的标定装置的结构示意图；

图6是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

相关技术中RS设备的标定主要是人工标定方法，需要在封闭路段中进行或者设置障碍物，才能顺利实行标定工作。该方法周期较长，误差较大，标定效率也低。针对上述问题，本申请实施例提供一种RS设备的标定方法、装置及设备，能够快速实现RS设备的标定，提高标定效率。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的一种RS设备的标定方法的流程示意图。

参见图1，该方法包括：

步骤S101、获取RS设备的GPS坐标。

其中，可以先精确测量得到RS设备的实际位置，也即确定RS设备的GPS坐标（实际经纬度地理坐标）。之后就可以知道RS设备所在的道路地面的海拔高度，本申请实施例假设地面是水平的情况。

步骤S102、获取RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标。

RS设备上安装有相机，可以拍摄路口或路边的照片或视频。相机如果是采集道路及两边环境的视频，可以从相机采集的视频中选出符合预设条件的目标图片，作为当前帧图像进行处理。当前帧图像中可以包括多个设定特征点。获取这些设定特征点的像素坐标。其中的平行线可以是车道线或斑马线等，本申请并不加以限定。

步骤S103、根据多个设定特征点的像素坐标，确定RS设备的相机外参。

其中，该步骤可以根据RS设备的相机内参、多个设定特征点的像素坐标，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，确定旋转变换关系和相机安装高度。

其中，确定旋转变换关系和相机安装高度可以包括：通过最小二乘优化，获得使整体误差最小的旋转变换关系和相机安装高度。

其中，函数关系可以包括：设定特征点的RS设备坐标等于相机内参矩阵的逆矩阵、相机坐标系与RS设备坐标系之间的旋转变换矩阵的逆矩阵与设定特征点的像素坐标相乘。

其中，设定特征点间的约束关系可以包括：多个设定特征点在RS设备坐标系下的z坐标相等，多个设定特征点至少包括三对，每对包括至少两个设定特征点；同一条平行线上的各设定特征点在RS设备坐标系下的x坐标相等；各对设定特征点中两个设定特征点的间距等于预设的特征点距离值。

步骤S104、根据相机外参和RS设备的GPS坐标，确定多个设定特征点的GPS坐标。

通过前述进行相机外参的标定，可以根据相机外参和RS设备的GPS坐标，计算出相机拍摄的当前帧图像中的每一个设定特征点的像素坐标对应的实际地理空间位置（也就是每一个像素的空间位置）。也就是说，通过单个RS设备的标定，可以计算得到相机拍摄的图片上的某个像素(uv)对应的实际地理位置，后续就可以将这个地理位置标记在地图上。

从该实施例可以看出，本申请提供的技术方案，可根据RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标数据，确定对应的相机外参，从而可以实现RS设备的相机外参的及时校准，从而实现RS设备的相机外参标定，并且可以根据相机外参和RS设备的GPS坐标，确定多个设定特征点的GPS坐标。

图2是本申请实施例示出的一种RS设备的标定方法的另一流程示意图。图2相对于1更详细描述了本申请的技术方案。

本申请实施例，可以根据平行线关系（可以不已知距离）和已知图像点之间的距离，解算RS设备的相机外参。可以先精确测量得到RS设备的实际地理空间位置（例如GPS经纬度坐标）；之后可以知道地面的海拔高度（假设地面处于水平情况下），然后再利用实际测量一些已知图像点的距离，就可以得到相机外参。因此，本申请实施例是首先测绘得到RS设备的精确位置；之后实际测量图像中的各种设定特征点和像素的对应关系来实现标定。在标定过程中，可以建立最小二乘优化，使整体误差error最小。

参见图2，该方法包括：

步骤S201、获取RS设备的GPS坐标。

步骤S202，获取RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标。

RS设备可以安装在路口或者路边。RS设备上安装有相机，可以拍摄路口或路边的照片或视频，例如车辆故障停驶、追尾等。RS设备提供的图像信息能够为各项交通应用和信息服务提供基础支撑。

相机如果是采集道路及两边环境的视频，可以从相机采集的视频中选出符合预设条件的目标图片，作为当前帧图像进行处理。

在本实施例中，如图3和图4所示，选择的目标图片例如可以是地面水平及地面上的平行线相对清晰的图片，平行线可以是车道线或斑马线。每张图片中有多条车道线和斑马线，其中沿道路长度方向的相邻车道线之间形成车道，五条车道线可以形成四条车道。可以理解的，本申请选择的目标图片中车道线的数量不仅限于五条，例如还可以是三条，四条或者多于五条。

可以在每条车道线或每条斑马线上选择若干个点作为设定特征点。所选择的设定特征点可以较佳的位于对应车道线或斑马线的宽度中心位置。也就是说，这些设定特征点，可以位于平行线上，也可以不在平行线上，指的是一些易于测量距离，并且在图片上可以准确找到的点，例如图4中用蓝色标注出的点。

需说明的是，这些设定特征点一般并不会测量实际地理坐标，而是会选择一些设定特征点，测量2个点之间的距离。这样的点对一般可以选择设定数目对，例如选3对即可。另外，还可以选择多个2个点测量实际地理坐标，作为精度验证的标准。以图4中的点为例，用蓝色数字标识出的点是用户选择的一些直线和测量距离的点，它们都是一些比较有特征的点，可以同时在图像上标识出（图中用数字标识），以及在实地测量出。但在实际使用的时候并不需要测量这么多。

在一种实现中，可以由操作人员在图片处理工具中打开目标图片，在目标图片上指定设定特征点，图片处理工具可以输出所指定的设定特征点的像素坐标。可以理解的，本申请还可通过其他方式获得设定特征点的像素坐标，不仅限于此。

可以理解的，在另一些实施例中，也可选择其他静态对象上的设定特征点，例如建筑物等。

步骤S203，根据RS设备的相机内参、多个设定特征点的像素坐标，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，通过最小二乘优化，获得使整体误差最小的旋转变换关系和相机安装高度。

本实施例中，假设RS设备坐标系的原点与相机坐标系的原点重合，这样，相机坐标系与RS设备坐标系的转换关系中，平移向量cam_T_rs为[0, 0, 0]，只需确定旋转部分cam_R_rs即可。

这时，当前帧图像中的任一设定特征点的相机坐标Pcam等于相机坐标系与RS设备坐标系之间的旋转变换矩阵cam_R_rs与该设定特征点的RS设备坐标Prs的乘积，即有：

式（1）

依据相机的投影计算公式和上式（1），可知：当前帧图像中的任一设定特征点的像素坐标Puv等于相机内参矩阵A、相机坐标系与RS设备坐标系之间的旋转变换矩阵cam_R_rs、以及该标定特征点的RS设备坐标Prs相乘，即有：

式（2）

本申请中，相机内参矩阵A以及设定特征点的像素坐标Puv是已知的，对上式（2）做变换，可以得到设定特征点的像素坐标Puv、RS设备坐标Prs、相机坐标系与RS设备坐标系间的旋转变换矩阵cam_R_rs和相机内参之间的函数关系：当前帧图像中的任一设定特征点的RS设备坐标Prs等于相机内参矩阵的逆矩阵A.inv、相机坐标系与RS设备坐标系之间的旋转变换矩阵的逆矩阵cam_R_rs.inv与该设定特征点的像素坐标Puv相乘，即有：

式（3）

在本实施例中，可以通过对上述公式（3）的函数关系和设定特征点之间的约束关系所组成的联合方程组求解，通过最小二乘优化，获得使整体误差（error）最小的相机坐标系与RS设备坐标系之间的旋转变换矩阵cam_R_rs。

可以理解的，在另一些实施例中，也可通过其他方法求解出旋转变换矩阵，而不仅限于最小二乘优化。

在一种实现中，设定特征点之间的约束关系包括以下：

（a）、各设定特征点在RS设备坐标系下的z坐标相等。

从当前帧图像中选取的设定特征点可以是水平地面平行线（例如车道线或斑马线）上的点，因此，各设定特征点的RS设备坐标系下的z坐标相等。

（b）、同一条平行线上的设定特征点在RS设备坐标系下的x坐标相等；

当前帧图像中各条平行线（例如车道线或斑马线）均与RS设备坐标系的y轴平行，从当前帧图像中选取的设定特征点如果是平行线上的点时，同一条平行线上各设定特征点在RS设备坐标系下的x坐标相等。

（c）、各对设定特征点中两个设定特征点的间距等于预设的特征点距离值Di。

预设的特征点距离值Di可以是预先获得的，例如可以是依据目标图片中的特征点距离进行测量而获得的。

在一种实现中，整体误差Cost_function可以包括以下误差项的绝对值之和：

各设定特征点在RS设备坐标系下的x坐标的均方差Di，

其中

；以及

每对相邻平行线的间距的最大误差E（j，j+1），

其中

；

其中，K为当前帧图像中的平行线数量。

即：

式（4）

外参标定时，一般需要测量两种数据，一种是平行线之间的距离，另一种是需要测量已知标记点（设定特征点）的距离。

其中相邻平行线的间距的最大误差E（j，j+1）可以通过下式获得：

式（5）

其中，每条直线上有n个点，

是两条平行线上x坐标最大距离，

是两条平行线上x坐标最小距离。

其中，两个标记点也即两个设定特征点之间之间的误差E可以通过下式获得：

式（6）

其中，

和

分别为第i对设定特征点的第一个点和第二个点的3D坐标也即RS设备坐标，该3D坐标可以利用相机与空间（RS设备）的2D-3D对应关系计算。

为第i对设定特征点的第一个点和第二个点二者之间经过计算得到的距离。

为第i对设定特征点的第一个点和第二个点二者之间实际测量的距离值，其中

。

本实施例中，通过最小二乘优化，可以获得使整体误差最小的旋转变换矩阵cam_R_rs，同时还可以获得设定特征点在RS设备坐标系下的z坐标。由于假设RS设备坐标系的原点与相机坐标系的原点重合，因此设定特征点在RS设备坐标系下的z坐标与相机安装高度对应。因此，通过最小二乘优化，可获得相机安装高度，进而可根据多个设定特征点的像素坐标数据、相机内参数据、上述函数关系式（1）和相机安装高度，获得多个设定特征点的RS设备坐标数据。

步骤S204、根据相机外参和RS设备的GPS坐标，确定多个设定特征点的GPS坐标。

从该实施例可以看出，只需获得相机坐标系与RS设备坐标系间的旋转变换关系，且设定特征点的像素坐标Puv、RS设备坐标Prs、相机坐标系与RS设备坐标系间的旋转变换矩阵cam_R_rs和相机内参之间的函数关系，以及设定特征点之间的约束关系都比较简单，因此，求解计算量较小，可提高效率，节省计算资源。

与前述应用功能实现方法实施例相对应，本申请还提供了一种RS设备的标定装置、电子设备及相应的实施例。

图5是本申请实施例示出的一种RS设备的标定装置的结构示意图。

参见图5，一种RS设备的标定装置50，包括：第一获取模块51、第二获取模块52、标定模块53、处理模块54。

第一获取模块51，用于获取RS设备的GPS坐标。第一获取模块51可以先精确测量得到RS设备的实际位置，也即确定RS设备的GPS坐标（实际经纬度地理坐标）。

第二获取模块52，用于获取RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标。可以从相机采集的视频中选出符合预设条件的目标图片，作为当前帧图像进行处理。当前帧图像中可以包括多个设定特征点。获取这些设定特征点的像素坐标。其中的平行线可以是车道线或斑马线等，本申请并不加以限定。

标定模块53，用于根据第二获取模块52获取的多个设定特征点的像素坐标，确定RS设备的相机外参。

处理模块54，用于根据标定模块53确定的相机外参和第一获取模块51获取的RS设备的GPS坐标，确定多个设定特征点的GPS坐标。

在一种实施方式中，标定模块53，可以根据RS设备的相机内参、多个设定特征点的像素坐标，预设的设定特征点的像素坐标、设定特征点的RS设备坐标、相机坐标系与RS设备坐标系间的旋转变换关系和相机内参之间的函数关系，以及预设的设定特征点间的约束关系，确定旋转变换关系和相机安装高度。

本申请提供的RS设备的标定装置，可根据RS设备的相机采集的当前帧图像中多个设定特征点的像素坐标数据，确定对应的相机外参，从而可以实现RS设备的相机外参的及时校准，从而实现RS设备的标定。其中，只需获得相机坐标系与RS设备坐标系间的旋转变换关系，且设定特征点的像素坐标、RS设备坐标、相机坐标系与RS设备坐标间的旋转变换关系和相机内参之间的函数关系和设定特征点之间的约束关系较简单，因此，求解计算量较小，可提高效率，节省计算资源。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图6是本申请实施例示出的电子设备的结构示意图。该电子设备例如可以RS设备。

参见图6，电子设备600包括存储器610和处理器620。

处理器620可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器610可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器610可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器66可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器610上存储有可执行代码，当可执行代码被处理器620处理时，可以使处理器620执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。