CN115797466A - 一种快速的三维空间标定方法 - Google Patents

Abstract

本发明公开一种快速的三维空间标定方法，包括相机内参标定、外参计算、不同高度的像素物理点获取、不同高度的像素坐标获取、多项式参数计算5个步骤。其中相机内参标定是试用张正友标定法计算相机内参，外参计算通过采用pnp算法计算求解旋转矩阵、平移向量，不同高度的像素物理点获取主要是通过旋转矩阵、平移向量得到不同高度下角点实际物理坐标，多项式参数通过物理坐标、相机内参计算得到像素坐标，已知像素坐标与物理坐标得到最终多项式标定系数。本申请针对不同距离下的物体通过传统多项式标定方式效率过低，即每一个高度都需要标定的问题做出了优化，实现只需要标定一次高度即可，提供更快速便捷的三维标定方式，提高多项式标定效率。

Description

一种快速的三维空间标定方法

技术领域

本申请涉及检测技术领域，尤其涉及一种快速的三维空间标定方法。

背景技术

基于二维图像的三维空间标定方式通常需要对相机景深范围内物体进行标定。通常依据不同精度要求对等距离间隔下不同工作距离的物体进行标定。

目前，基于二维图像的三维空间标定方式一般使用多项式通过多次幂基数计算，当拍摄物体距离相机位置变化时，多项式标定的计算方式只能对单个高度进行标定，得到的标定系数代表了该距离下二维图像中像素点坐标与实际物理坐标的对应关系，因此需要对每一个高度进行标定，才能够得到拍摄物体不同高度下的像素、物理坐标对应关系，标定次数成倍增加，耗时耗力。

发明内容

有鉴于此，本发明提供一种快速的三维空间标定方法，旨在解决传统多项式标定方式效率过低的技术问题。

为解决以上技术问题，本发明的技术方案为提供一种快速的三维空间标定方法，包括：

步骤一：进行相机内参标定；

步骤二：将标定板放置在目标物体初始高度拍摄一张图片，对所述图片进行角点提取，确定所述图片初始高度下的外参；

步骤三：基于步骤二得到的初始高度下外参，获取不同高度下角点实际物理坐标；

步骤四：基于步骤一的相机内参以及步骤三的物理坐标计算得到不同高度下角点像素坐标；

步骤五：根据不同高度下的实际物理坐标以及像素坐标，确定不同高度下的多项式系数，完成标定。

可选的，所述进行相机内参标定，包括：

利用张正友标定法，确定相机的内参，所述内参包括图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数以及等效焦距。

可选的，所述利用张正友标定法，确定相机的内参，包括：

求解棋盘格平面与相机成像平面之间的单应性矩阵；

基于所述单应性矩阵确定内参的约束矩阵；

将所述内参的约束矩阵通过奇异值分解，得到内参。

可选的，所述求解棋盘格平面与相机成像平面之间的单应性矩阵，包括：

至少求解两幅不同姿态的棋盘格图像所对应的单应性矩阵。

可选的，所述将标定板放置在目标物体初始高度拍摄一张图片，对所述图片进行角点提取，确定所述图片初始高度下的外参，包括：

将标定板放置在目标物体初始高度拍摄一张图片，并对所述图片进行角点提取；

利用pnp算法计算求解初始高度的旋转矩阵和平移系数；

基于所述初始高度的旋转矩阵和平移系数，获取不同高度下的旋转矩阵和平移系数。

可选的，所述基于步骤二得到的初始高度下外参，获取不同高度下角点实际物理坐标，包括：

基于步骤二得到的初始高度下外参，为每一个角点赋予初始物理坐标值；

计算各角点在相机坐标系下的物理坐标。

可选的，所述计算各角点在相机坐标系下的物理坐标，包括：

基于初始高度的角点物理坐标，确定初始高度的角点拟合平面方程；

基于所述初始高度的角点拟合平面方程确定不同高度的角点拟合平面方程；

利用初始平面角点拟合直线，计算所述初始平面角点拟合直线与不同高度的角点拟合平面方程的交点，确定不同高度的平面角点；

根据所述不同高度的平面角点确定不同高度下的角点在相机坐标系下的物理坐标。

可选的，所述基于步骤一的相机内参以及步骤三的物理坐标计算得到不同高度下角点像素坐标，包括：

根据不同高度下的角点在相机坐标系下的物理坐标和相机的内参数及外参数计算三维的各角点投影到二维图像平面上的各坐标，作为不同高度下角点像素坐标。

可选的，所述根据不同高度下的实际物理坐标以及像素坐标，确定不同高度下的多项式系数，完成标定，包括：

根据不同高度下的实际物理坐标以及像素坐标，通过多次幂基函数确定不同高度下的多项式系数，完成标定。

本发明提出一种快速的三维空间标定方法，包括相机内参标定、外参计算、不同高度的像素物理点获取、不同高度的像素坐标获取、多项式参数计算5个步骤，其中相机内参标定是试用张正友标定法计算相机内参，外参计算通过采用pnp算法计算求解旋转矩阵、平移向量，不同高度的像素物理点获取主要是通过旋转矩阵、平移向量得到不同高度下角点实际物理坐标。多项式参数通过物理坐标、相机内参计算得到像素坐标，已知像素坐标与物理坐标得到最终多项式标定系数。本申请针对不同距离下的物体通过传统多项式标定方式效率过低，即每一个高度都需要标定的问题做出了优化，实现只需要标定一次高度即可，以此能够提供更快速便捷的三维标定方式，提高多项式标定效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本申请一实施例提出的现有标定方法对列车闸片进行标定的示例图；

图2是本申请一实施例提供的一种快速的三维空间标定方法的步骤示意图；

图3是本申请一实施例提供的坐标系转换所需坐标系的整体示意图；

图4是本申请一实施例提供的参数计算中的棋盘格示意图。

具体实施方式

为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于二维图像的三维空间标定方式通常需要对相机景深范围内物体进行标定，通常依据不同精度要求对等距离间隔下不同工作距离的物体进行标定，当被检测物体高度变化过大时，标定次数成倍增加，耗时耗力。

以列车闸片标定为例，如图1所示，在基于二维图像的列车闸片厚度检测任务中，无论是基于光截线还是基于深度学习的检测，均需要对闸片位置进行标定，基于二维图像的三维空间标定方式一般使用多项式通过多次幂基数计算，当拍摄物体距离相机位置变化时，多项式标定的计算方式只能对单个高度进行标定，得到的标定系数代表了该距离下二维图像中像素点坐标与实际物理坐标的对应关系，因此需要对每一个高度进行标定，才能够得到拍摄物体不同高度下的像素、物理坐标对应关系，也就是说由于闸片高度不固定，因此需要对一定高度范围内H(300mm-600mm)的闸片进行标定，标定次数为n＝H/L(间隔距离)。

有鉴于此，本发明基于上述方式进行改进得到一种新的标定方法：只需要将标定板在起始距离获取标定图像后，依据实际标定板格子物理长度计算每一个角点物理坐标，通过物理坐标与提取的角点像素坐标拟合x,y方向多项式参数，结合相机内参，即可得到所有不同高度下的多项式系数，完成标定。

具体的，一种快速的三维空间标定方法，包括相机内参标定、外参计算、不同高度的像素物理点获取、不同高度的像素坐标获取、多项式参数计算5个步骤。其中相机内参标定是试用张正友标定法计算相机内参，外参计算通过采用pnp算法计算求解旋转矩阵、平移向量。不同高度的像素物理点获取主要是通过旋转矩阵、平移向量得到不同高度下角点实际物理坐标。多项式参数通过物理坐标、相机内参计算得到像素坐标，已知像素坐标与物理坐标得到最终多项式标定系数。

需要说明的是，在相机成像过程中，相机成像模型主要涉及4个坐标系的转换，如图3所示，包括：

世界坐标系(x_w，y_w，z_w)：任意空间坐标系，反映物体在实际物理空间中的具体位置；

相机坐标系(x_c，y_c，z_c)：以相机中心为原点设置的三维坐标系；

图像物理坐标系(x，y)：以感光芯片(CCD或CMOS)为原点设置的二维坐标系；

像素坐标系(u，v)：以图像中心为原点设置的二维坐标系。

首先，世界坐标系与相机坐标系的转换：任意两个空间三维坐标系可以通过旋转矩阵和平移向量完成转换，其表达式为：

改写成齐次矩阵表达式：

相机坐标系与图像物理坐标系的转换：三维坐标向二维平面映射，参考小孔成像模型的映射关系，其表达式为：

改写成齐次矩阵表达式：

图像物理坐标系与像素坐标系的转换：感光芯片(CCD或者CMOS)与像素坐标一一对应，简单的二维线性映射关系，其表达式为：

改写成齐次矩阵表达式：

基于上述坐标系的转换可以得到世界坐标系与像素坐标系的转换关系，其表达式为：

通过相机成像模型进行的坐标系之间的转换关系，需要确定以下参数，包括外参数矩阵、内参数矩阵和畸变矩阵，具体的：

外参数矩阵用于确定现实世界点(世界坐标)落到另一个现实世界点(相机坐标)上所需要经历的旋转和平移；

内参数矩阵用于确定相机坐标上的点在1的基础上，继续经过摄像机的镜头、并通过针孔成像和感光芯片(电子)转化成为像素点所需过程；

畸变矩阵用于确定像素点没有落在理论计算点位所产生的偏移和变形。(在本实施例中，不考虑镜头畸变影响)

基于此，参照图2所示的本申请一实施例提供的一种快速的三维空间标定方法的步骤示意图，包括：

步骤一：进行相机内参标定；

步骤二：将标定板放置在目标物体初始高度拍摄一张图片，对所述图片进行角点提取，确定所述图片初始高度下的外参；

步骤三：基于步骤二得到的初始高度下外参，获取不同高度下角点实际物理坐标；

步骤四：基于步骤一的相机内参以及步骤三的物理坐标计算得到不同高度下角点像素坐标；

步骤五：根据不同高度下的实际物理坐标以及像素坐标，确定不同高度下的多项式系数，完成标定。

首先，确定相机内参数，并得到内参数矩阵，进行步骤一的相机内参标定。

相机的内参数是

r，u₀,H₀，f

是在x方向上单位尺寸上的像素数量(由像元尺寸决定，即像元尺寸的导数，

是y方向上的参数)，在模型数学表达式中，该参数与焦f距共同构成等效焦距f_x，f_y，r是相机光轴与感光芯片中的偏移量，由于现在装配工艺的改进，该参数可以视为0，u₀，v₀即图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，因此，相机内参数为：f_x，f_y，u₀，_v0。由此可知，内参矩阵为：

需要说明的是，内参数是仅由相机与镜头决定的，不会因外界环境变化而变化，当选定相机与镜头时，该参数就确定了。

然后，利用张氏标定法采用4个角点的棋盘格作为标定物(参照图4所示的棋盘格示意图)，求解棋盘格平面与相机成像平面之间的单应性矩阵：

需要说明的是，每个棋盘格虽然有多个角点，但实际能提供有用信息的点仅为4个(单应性矩阵唯一确定)。

最后，进行内参计算，将旋转矩阵R的各个向量和平移向量t单独表示：

r₁＝λK^-1h₁

r₂＝λK^-1u₂

t＝λK^-1h₃，通过旋转矩阵的性质可以得到2个拘束条件：r₁ ^Tr₂＝0、||r₁||＝||r₂||＝1。那么通过一副棋盘格图像(一个单应性矩阵)就可以获得两个内参数的约束矩阵：

在需要4个内参时，至少需要2幅不同姿态的棋盘格图像(如果考虑偏移参数，则至少需要3幅)，通过SVD(奇异值分解)求得内参。

进一步的，确定相机外参数，并得到外参数矩阵，进行步骤二的外参计算。

相机的外参数通常为6个，由相机与标定平面的相对关系决定，表达了两个三维坐标系之间的转换关系，其中旋转参数为3×3的矩阵，表达了两个坐标系姿态的不同，其本质是三轴的偏移角度(ω，δ，θ)；平移向量是两个坐标系的原点之间的位移(T_x，T_y，T_z)。因此，相机外参数为：ω，δ，θ，T_x，T_y，T_z。由此可知，外参矩阵为：

在得到相机外参数以及外参数矩阵之后，需要进行外参数计算，即将标定板放置在目标物体初始高度拍摄一张图片，对该图片进行角点提取，根据步骤一的相机内参采用pnp算法计算求解旋转矩阵与平移系数，即得到该标定图的外参，由于不同高度下的标定图片旋转矩阵都一样，平移系数中不同高度的位移t按照物理距离变化，至此得到每一个高度下的旋转矩阵与平移系数。

需要说明的是，pnp(perspective-n-point)算法是求解3D到2D点的对应方法，它描述了当知道n个3D空间点及其位置，如何估计相机的位姿。如果两张图像中的一张特征点3D位置已知，那么至少需要3个点对(以及至少一个额外验证点验证结果)就可以计算相机的运动。

进一步的，进行步骤三的不同高度角点物理坐标获取。

在经过步骤二得到初始高度的外参后，同时给每一个角点赋予初始物理坐标值(以棋盘格左上角建立笛卡尔坐标系)，如(0，0,1)，通过如下公式计算每一个角点在相机坐标系下的物理坐标：P＝r×k+t。其中，P为角点在相机坐标系下的坐标，r为旋转矩阵，t为平移系数。

由此得到初始高度的角点物理坐标，由这些角点拟合平面方程：Z＝ax+by+c，由于不同高度的平面关系为相互平行，只是两平面距离不同，由此可以计算得到其余高度的平面方程：Z2＝ax+by+c2，进而通过初始平面角点拟合直线：Y＝kx+b，计算直线与其与平面交点，即为其与平面角点，这样就实现了基于一个初始高度可以得到不同高度下的角点在相机坐标系下的物理坐标。

进一步的，进行步骤四的不同高度角点像素坐标获取。

在经过步骤三得到了不同高度下的角点在相机坐标系下的物理坐标之后，通过步骤一得到的内参与畸变系数，结合内参数和外参数计算三维点投影到二维图像平面上的坐标，该坐标就是像素坐标，即得到了不同高度角点像素坐标。

进一步的，进行步骤五的多项式系数确定，完成标定。

在经过前几个步骤得到的各高度的物理坐标与像素坐标之后，通过多次幂基函数表示二维坐标与二维物理坐标的转换关系，例如三次幂基函数展开如下：

其中，a₁、a₂…a₁₀为拟合系数，u、v为角点坐标，Xw、Yw为物理坐标。

通过此公式计算得到各高度下的物理坐标与像素坐标转换关系，进而完成标定。

本实施例提出了一种快速的三维空间标定方法，包括相机内参标定、外参计算、不同高度的像素物理点获取、不同高度的像素坐标获取、多项式参数计算5个步骤。其中相机内参标定是试用张正友标定法计算相机内参，外参计算通过采用pnp算法计算求解旋转矩阵、平移向量，不同高度的像素物理点获取主要是通过旋转矩阵、平移向量得到不同高度下角点实际物理坐标，多项式参数通过物理坐标、相机内参计算得到像素坐标，已知像素坐标与物理坐标得到最终多项式标定系数。在标定精度不变的情况下，解决既有多项式标定耗费时间过长、效率过低的问题，实现仅通过标定一次高度，就能完成所有不同高度下的标定，极大的提高了标定效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种快速的三维空间标定方法，其特征在于，包括以下步骤：

步骤一：进行相机内参标定；

步骤二：将标定板放置在目标物体初始高度拍摄一张图片，对所述图片进行角点提取，确定所述图片初始高度下的外参；

步骤三：基于步骤二得到的初始高度下外参，获取不同高度下角点实际物理坐标；

步骤四：基于步骤一的相机内参以及步骤三的物理坐标计算得到不同高度下角点像素坐标；

步骤五：根据不同高度下的实际物理坐标以及像素坐标，确定不同高度下的多项式系数，完成标定。

2.根据权利要求1所述的一种快速的三维空间标定方法，其特征在于，所述进行相机内参标定，包括：

利用张正友标定法，确定相机的内参，所述内参包括图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数以及等效焦距。

3.根据权利要求2所述的一种快速的三维空间标定方法，其特征在于，所述利用张正友标定法，确定相机的内参，包括：

求解棋盘格平面与相机成像平面之间的单应性矩阵；

基于所述单应性矩阵确定内参的约束矩阵；

将所述内参的约束矩阵通过奇异值分解，得到内参。

4.根据权利要求3所述的一种快速的三维空间标定方法，其特征在于，所述求解棋盘格平面与相机成像平面之间的单应性矩阵，包括：

至少求解两幅不同姿态的棋盘格图像所对应的单应性矩阵。

5.根据权利要求4所属的一种快速的三维空间标定方法，其特征在于，所述将标定板放置在目标物体初始高度拍摄一张图片，对所述图片进行角点提取，确定所述图片初始高度下的外参，包括：

将标定板放置在目标物体初始高度拍摄一张图片，并对所述图片进行角点提取；

利用pnp算法计算求解初始高度的旋转矩阵和平移系数；

基于所述初始高度的旋转矩阵和平移系数，获取不同高度下的旋转矩阵和平移系数。

6.根据权利要求5所述的一种快速的三维空间标定方法，其特征在于，所述基于步骤二得到的初始高度下外参，获取不同高度下角点实际物理坐标，包括：

基于步骤二得到的初始高度下外参，为每一个角点赋予初始物理坐标值；

计算各角点在相机坐标系下的物理坐标。

7.根据权利要求6所述的一种快速的三维空间标定方法，其特征在于，所述计算各角点在相机坐标系下的物理坐标，包括：

基于初始高度的角点物理坐标，确定初始高度的角点拟合平面方程；

基于所述初始高度的角点拟合平面方程确定不同高度的角点拟合平面方程；

利用初始平面角点拟合直线，计算所述初始平面角点拟合直线与不同高度的角点拟合平面方程的交点，确定不同高度的平面角点；

根据所述不同高度的平面角点确定不同高度下的角点在相机坐标系下的物理坐标。

8.根据权利要求7所述的一种快速的三维空间标定方法，其特征在于，所述基于步骤一的相机内参以及步骤三的物理坐标计算得到不同高度下角点像素坐标，包括：

根据不同高度下的角点在相机坐标系下的物理坐标和相机的内参数及外参数计算三维的各角点投影到二维图像平面上的各坐标，作为不同高度下角点像素坐标。

9.根据权利要求8所述的一种快速的三维空间标定方法，其特征在于，所述根据不同高度下的实际物理坐标以及像素坐标，确定不同高度下的多项式系数，完成标定，包括：

根据不同高度下的实际物理坐标以及像素坐标，通过多次幂基函数确定不同高度下的多项式系数，完成标定。

Images