CN110619664B

CN110619664B - 基于激光图案辅助的摄像机距离姿态计算方法及服务器

Info

Publication number: CN110619664B
Application number: CN201910876548.5A
Authority: CN
Inventors: 尹勇; 仲禹同; 刘宇峰
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2019-09-17
Filing date: 2019-09-17
Publication date: 2023-06-27
Anticipated expiration: 2039-09-17
Also published as: CN110619664A

Abstract

本发明公开了一种基于激光图案辅助的摄像机距离姿态计算方法及服务器，属于图像处理领域，该方法包括：获取被测物体的第一图像，其中，第一图像中含有预设激光图案；根据相机参数获取两个目标激光点之间的物理距离；获取被测物体移动后的第二图像，并提取移动后的预设激光图案中两个目标激光点的像素坐标；根据两个目标激光点之间的物理距离、移动后的两个目标激光点的像素坐标及移动前后的相机参数得到被测物体的移动距离。本发明通过激光图案的辅助，只需一次标定，避免了传统算法在被测物体移动后仍需再次标定求取相机距离姿态的繁琐，也避免PNP和EPNP算法中找多个对应点的不便。适用性强、可靠性高、鲁棒性好及操作简便。

Description

基于激光图案辅助的摄像机距离姿态计算方法及服务器

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于激光图案辅助的摄像机距离姿态计算方法及服务器。

背景技术

近年来，随着科学技术的快速发展和相关理论的不断完善，人工智能已成为一门备受瞩目的前沿学科。作为人工智能领域的重要分支，机器视觉也愈发受到人们的重视。

在机器视觉领域，为了确定摄像机和被测物体之间的距离，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，包括内部参数和外部参数等，距离测量的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。相机的内部参数只需通过一次标定即可求取，在摄像机保持稳定的前提下不发生变化。而摄像机的外部参数不仅受到摄像机的影响，还会随着外部环境的变化而发生改变，求解过程繁琐。

传统测量方法要求每次测量都必须通过标定求取摄像机和被测目标之间的内外参，由于测量过程较为复杂，因此不适用于条件恶劣或对测量速度有一定要求的场合。

基于传统的测量方法，研究人员提出了PNP和EPNP算法。与传统的算法相比，PNP和EPNP算法精简了测量步骤，通过一次标定以及多个对应点的坐标求取内外参，避免了多次标定求取内外参的过程。然而在实际应用当中，寻找合适的对应点坐标又成了一个新的难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于激光图案辅助的摄像机距离姿态计算方法及服务器，由此解决现有摄像机距离姿态计算方法存在的测量过程复杂的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于激光图案辅助的摄像机距离姿态计算方法，包括：

(1)获取被测物体的第一图像，其中，所述第一图像中含有预设激光图案；

(2)若所述预设激光图案中的两个目标激光点之间的物理距离未知，则根据相机参数获取所述两个目标激光点之间的物理距离；

(3)获取所述被测物体移动后的第二图像，其中，所述第二图像中含有所述预设激光图案，并提取移动后的所述预设激光图案中所述两个目标激光点的像素坐标；

(4)根据所述两个目标激光点之间的物理距离、移动后的所述两个目标激光点的像素坐标及移动前后的相机参数得到所述被测物体的移动距离。

优选地，所述预设激光图案需要满足的条件是：激光图案至少形成或存在两个像素坐标值可求的激光点或具有固定间隔的光斑。

优选地，步骤(2)包括：

若所述预设激光图案中的两个目标激光点之间的物理距离未知，则提取所述两个目标激光点的像素坐标，根据相机参数分别将所述两个目标激光点的像素坐标转换为对应的世界坐标，并根据所述两个目标激光点的世界坐标得到所述两个目标激光点之间的物理距离。

优选地，所述被测物体的移动方式为：沿着与所述被测物体所在平面垂直的方向移动；

在所述被测物体移动前后，相机内外参数的变化情况为：内参矩阵与旋转矩阵保持不变；移动前后平移矩阵的关系式为：

其中，T₁表示被测物体移动前相机的平移矩阵，T₂表示被测物体移动后相机的平移矩阵，Δ表示被测物体的移动距离，R表示相机的旋转矩阵，(r₁₃，r₂₃，r₃₃)表示矩阵参数。

优选地，步骤(4)包括：

根据移动后的相机参数分别得到移动后的所述预设激光图案中所述两个目标激光点的像素坐标与对应的世界坐标之间的第一关系式；

得到移动后的所述两个目标激光点的世界坐标与所述两个目标激光点之间的物理距离的第二关系式，其中，移动后的所述两个目标激光点之间的物理距离与移动前的所述两个目标激光点之间的物理距离相同；

根据所述第一关系式、所述第二关系式及所述移动前后平移矩阵的关系式，得到移动后的所述两个目标激光点的像素坐标、移动前的相机参数及被测物体移动距离三者之间的第三关系式；

由所述第三关系式得到所述被测物体的移动距离。

按照本发明的另一方面，提供了一种服务器，包括：

图像获取模块，用于获取被测物体的第一图像，其中，所述第一图像中含有预设激光图案；

第一距离计算模块，用于在所述预设激光图案中的两个目标激光点之间的物理距离未知时，根据相机参数获取所述两个目标激光点之间的物理距离；

所述图像获取模块，还用于获取所述被测物体移动后的第二图像，其中，所述第二图像中含有所述预设激光图案，并提取移动后的所述预设激光图案中所述两个目标激光点的像素坐标；

第二距离计算模块，用于根据所述两个目标激光点之间的物理距离、移动后的所述两个目标激光点的像素坐标及移动前后的相机参数得到所述被测物体的移动距离。

优选地，所述第一距离计算模块，具体用于在所述预设激光图案中的两个目标激光点之间的物理距离未知时，提取所述两个目标激光点的像素坐标，根据相机参数分别将所述两个目标激光点的像素坐标转换为对应的世界坐标，并根据所述两个目标激光点的世界坐标得到所述两个目标激光点之间的物理距离。

优选地，所述第二距离计算模块包括：

第一关系式建立模块，用于根据移动后的相机参数分别得到移动后的所述预设激光图案中所述两个目标激光点的像素坐标与对应的世界坐标之间的第一关系式；

第二关系式建立模块，用于得到移动后的所述两个目标激光点的世界坐标与所述两个目标激光点之间的物理距离的第二关系式，其中，移动后的所述两个目标激光点之间的物理距离与移动前的所述两个目标激光点之间的物理距离相同；

第三关系式建立模块，用于根据所述第一关系式、所述第二关系式及所述移动前后平移矩阵的关系式，得到移动后的所述两个目标激光点的像素坐标、移动前的相机参数及被测物体移动距离三者之间的第三关系式；

第二距离计算子模块，用于由所述第三关系式得到所述被测物体的移动距离。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明通过激光图案的辅助，在一次标定求取摄像机的内外参后，若被测物体在特定方向上发生移动，无需重复标定，只需通过拍摄附有特定激光图案的被测物体图片即可求得移动后的摄像机距离姿态。解决了传统测量方法的过程繁琐复杂，适用性弱的缺陷，避免了同传统算法一样多次标定求相机内外参的繁琐过程，也避免了PNP和EPNP算法中难以找到三个对应点坐标的缺点。该方法设计合理，具有适用范围广、可靠性强、鲁棒性好及操作简便等优点。

2、本发明采用了鲁棒性好的张正友标定法，只需摄像机对被测物体从不同方位拍摄多幅图片，利用每幅图片的单应矩阵来进行标定。与传统方法相比，该方法模板容易获得，具有使用方便、成本低、鲁棒性好及准确率高等优点。

3、本发明提出了一种基于激光图案辅助的求取摄像机与被测目标距离的计算方法。本发明所使用的激光图案易于制作和获得。

附图说明

图1是本发明实施例提供的一种图像采集装置的结构示意图；

图2是本发明实施例提供的一种基于激光图案辅助的摄像机距离姿态计算方法的流程示意图；

图3是本发明实施例提供的一种移动距离Δ求解过程的流程示意图；

图4是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于激光图案辅助的摄像机距离姿态计算方法及装置，通过激光图案的辅助，在一次标定求取摄像机的内外参后，若被测物体在特定方向上发生移动，无需重复标定，只需通过拍摄附有特定激光图案的被测物体图片即可求得移动后的摄像机距离姿态。通过本发明无需像传统算法一样多次标定，也无需像PNP和EPNP算法一样找三个对应点的坐标，适用范围广，鲁棒性好。此外，本发明采用的激光图案易获得。

本发明主要应用于钢轨的廓形检测，在实际工程中，为确保所测廓形精确，必须保证摄像机沿垂直方向移动，即不发生旋转变换。因此，本发明只涉及对摄像机距离姿态的精确计算，不涉及摄像机的角度姿态计算。

在进行距离计算之前，需要进行图像采集，本发明可以使用如图1所示的图像采集装置进行图像采集，其中，图1所示的图像采集装置由激光发射器、摄像机及被测物体组成。

其中，激光发射器的图案类型需满足的条件是激光图案至少形成或存在两个像素坐标值可求或具有固定间隔的光斑，以两束平行且固定间隔的点激光为例。操作过程中，需要调整激光与被测物体所在平面垂直，调整激光的焦距及其与被测物体间间距使得激光点亮且圆，便于后续的点坐标提取。

摄像机可以采用CCD相机或CMOS相机。以OV5640变焦相机为例，具有500万像素。变焦相机需调整相机焦距、光圈大小及其摆放位置使所拍摄图片清晰。

本发明的具体实施过程中需要辅以满足特定条件的激光发射器，经过一定的理论分析和实验验证，结合被测物体移动前的距离姿态，通过求解移动距离Δ可以得到移动后摄像机的距离姿态。

其中，激光发射器的图案类型需满足的条件是激光图案至少形成或存在两个像素坐标值可求或具有固定间隔的光斑，包括两条或者多条完全平行的“一”字型激光的组合、圆形激光、矩形激光、“田”字型激光、“井”字型激光、Δ型激光、两个或者多个点激光的组合等。具体采用何种方式以实现激光图案至少形成或存在两个像素坐标值可求或具有固定间隔的光斑的条件，本发明实施例不做唯一性限定。

如图2所示是本发明实施例提供的一种基于激光图案辅助的摄像机距离姿态计算方法的流程示意图，在图2所示的方法中，包括以下步骤：

S1：获取被测物体的第一图像，其中，第一图像中含有预设激光图案；

在本发明实施例中，在步骤S1之前，还包括前期的硬件电路搭建及调试操作：

(1)搭建硬件电路(包括图像采集装置、设备主控制器)，实现与服务器端的通信；

其中，设备主控制器包括ARM控制器模块与WIFI通信模块，用于实时控制图像采集装置，并通过WIFI模块与服务器端建立通信。

服务器端，用于接收设备主控制器发送的图像数据并处理，得到被测物体的移动距离Δ。

(2)调整激光的焦距，摄像机的光圈和焦距，以及激光、摄像机同被测物体三者的位置，以使所拍摄图片清晰可见，无杂光干扰；然后通过设备主控制器控制OV5640摄像头拍取表面附有点激光的被测物体图像，并通过WIFI网络传输到服务器端处理；

(3)采用张正友标定法进行标定，并计算本次标定过程中的参数，包括OV5640摄像头的内部参数M、畸变参数、外部参数-即旋转向量r₁和平移矩阵T₁，并通过罗德里格斯(Rodrigues)变换将旋转向量r₁转换为旋转矩阵R₁。

旋转向量：

r₁＝[r_x r_y r_z]^T

罗德里格斯(Rodrigues)变换公式如下：

其中，θ表示旋转向量绕轴逆时针旋转的弧度值，I表示一个3行3列的单位矩阵。

根据上述公式旋转矩阵可以表示为：

旋转矩阵R₁为一个3行3列的矩阵，表征从摄像机坐标系变换到世界坐标系的旋转情况。

平移矩阵：

T₁＝[t_x t_y t_z]^T

平移矩阵T₁是一个3行1列的矩阵，表征从摄像机坐标系变换到世界坐标系的平移情况。

假设一个点在世界坐标系下的坐标为P_w，对应相机坐标系下的坐标为P_c，则：

P_C＝R(P_W-T) (2)

S2：若预设激光图案中的两个目标激光点之间的物理距离未知，则根据相机参数获取两个目标激光点之间的物理距离；

在本发明实施例中，步骤S2的具体实现方式为：

(1)通过相应程序提取拍摄图片中的两点激光的像素坐标值，分别记为(u₁,v₁)(u₂,v₂)；

(2)由上述所求得的相机各参数及激光点的坐标(u₁,v₁)(u₂,v₂)即可求得两激光点像素坐标所对应的世界坐标(x₁,y₁)(x₂,y₂)，并根据世界坐标(x₁,y₁)(x₂,y₂)计算光斑间的实际物理距离d；

其中，像素坐标与世界坐标的关系可表述为：

其中，(u,v)表示被测物体上某点的像素坐标，(x,y)表示被测物体上某点在世界坐标系下的x方向和y方向的坐标，M表示内参矩阵，R表示旋转矩阵，T表示平移矩阵，S表示世界坐标系到图像坐标系的尺度因子。

因此，将上述求得的相机各参数及激光点的坐标(u₁,v₁)(u₂,v₂)代入上式(3)即可求得两激光点像素坐标所对应的世界坐标(x₁,y₁)(x₂,y₂)，其中，被测物体所在平面为世界坐标系的xOy面，z恒为0，因此，此处不予考虑z方向。

根据世界坐标(x₁,y₁)(x₂,y₂)计算光斑间的实际物理距离d：

在本发明实施例中，若激光图案形成或存在的光斑间的间距已知，则可跳过步骤S2。

S3：获取被测物体移动后的第二图像，其中，第二图像中含有预设激光图案，并提取移动后的预设激光图案中两个目标激光点的像素坐标，记为(u₃,v₃)(u₄,v₄)；

在本发明实施例中，将被测物体沿着与被测物体所在平面垂直的方向移动一定的距离Δ，移动前后被测物体所在平面完全平行，则移动前后摄像机内外参的变化情况为：

a)由于移动前后摄像机没有发生变化，故内参矩阵M保持不变；

b)由于移动过程中被测物体只沿着与被测物体所在平面垂直的方向移动，移动前后的被测物体所在平面完全平行，没有进行旋转变换，由步骤S4中旋转矩阵的含义可知，移动前后的旋转矩阵R保持不变；

c)移动前后，假设被测物体移动前某点的相机坐标为P_C1，世界坐标为P_W1，被测物体移动后该点的相机坐标为P_C2，世界坐标为P_W2，可知：

P_C1＝P_C2

P_C1＝R·(P_W1-T₁)

P_C2＝R·(P_W2-T₂)

由上述三式联立得

P_C2-P_C1＝R·(P_W2-T₂)-R·(P_W1-T₁) (5)

对公式(5)化简：

最终可求得移动前后平移矩阵的关系为

其中，T₁表示移动前的平移矩阵，T₂表示移动后的平移矩阵。

S4：根据两个目标激光点之间的物理距离、移动后的两个目标激光点的像素坐标及移动前后的相机参数得到被测物体的移动距离。

在本发明实施例中，联合上述关于移动前后摄像机内外参的变化情况的结论与公式(3)(4)(6)，编写求解移动距离Δ的MATLAB程序，将求得的(u₃,v₃)(u₄,v₄)代入程序，可求出被测物体移动后激光图案形成或存在的两光斑的像素坐标值、移动前的相机参数、移动距离Δ的关系式，进而求得被测物体的移动距离Δ。

具体地，步骤S4的实现方式为：

根据移动后的相机参数分别得到移动后的预设激光图案中两个目标激光点的像素坐标与对应的世界坐标之间的第一关系式；

得到移动后的两个目标激光点的世界坐标与两个目标激光点之间的物理距离的第二关系式，其中，移动后的两个目标激光点之间的物理距离与移动前的两个目标激光点之间的物理距离相同；

根据第一关系式、第二关系式及移动前后平移矩阵的关系式，得到移动后的两个目标激光点的像素坐标、移动前的相机参数及被测物体移动距离三者之间的第三关系式；

由第三关系式得到被测物体的移动距离。

如图3所示是本发明实施例提供的一种移动距离Δ求解过程的流程示意图。移动距离Δ的求解可以基于MATLAB编程语言开发，输入为移动前后所提取激光点的像素坐标、摄像机的内外参数、旋转向量和平移矩阵。其中，旋转向量r需经罗德里格斯变换转化为旋转矩阵R。同时根据被测物体移动前所提取激光点的像素坐标值，可求出所提取激光点的世界坐标，进而求取所提取激光点之间的实际物理距离d(此处应当说明，若激光图案形成或存在的光斑间的间距已知，则可跳过该步骤)。然后，将被测物体移动后所提取激光点的像素坐标值代入Δ表达式，可求得移动距离Δ关于被测物体移动后所提取激光点的关系表达式。最后，根据上步所求表达式和公式(4)即可得到被测物体的移动距离Δ。

如图4所示是本发明实施例提出的一种服务器的结构示意图，包括：

图像获取模块，用于获取被测物体的第一图像，其中，第一图像中含有预设激光图案；

在本发明实施例中，预设激光图案需要满足的条件是：激光图案至少形成或存在两个像素坐标值可求的激光点或具有固定间隔的光斑。

第一距离计算模块，用于在预设激光图案中的两个目标激光点之间的物理距离未知时，根据相机参数获取两个目标激光点之间的物理距离；

在本发明实施例中，第一距离计算模块，具体用于在预设激光图案中的两个目标激光点之间的物理距离未知时，提取两个目标激光点的像素坐标，根据相机参数分别将两个目标激光点的像素坐标转换为对应的世界坐标，并根据两个目标激光点的世界坐标得到两个目标激光点之间的物理距离。

图像获取模块，还用于获取被测物体移动后的第二图像，其中，第二图像中含有预设激光图案，并提取移动后的预设激光图案中两个目标激光点的像素坐标；

第二距离计算模块，用于根据两个目标激光点之间的物理距离、移动后的两个目标激光点的像素坐标及移动前后的相机参数得到被测物体的移动距离。

在本发明实施例中，第二距离计算模块包括：

第一关系式建立模块，用于根据移动后的相机参数分别得到移动后的预设激光图案中两个目标激光点的像素坐标与对应的世界坐标之间的第一关系式；

第二关系式建立模块，用于得到移动后的两个目标激光点的世界坐标与两个目标激光点之间的物理距离的第二关系式，其中，移动后的两个目标激光点之间的物理距离与移动前的两个目标激光点之间的物理距离相同；

第三关系式建立模块，用于根据第一关系式、第二关系式及移动前后平移矩阵的关系式，得到移动后的两个目标激光点的像素坐标、移动前的相机参数及被测物体移动距离三者之间的第三关系式；

第二距离计算子模块，用于由第三关系式得到被测物体的移动距离。

其中，各模块的具体实施方式可以参考方法实施例中的描述，本发明实施例将不再赘述。

在本发明的另一实施例中，还提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现如上述任一所述的基于激光图案辅助的摄像机距离姿态计算方法。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于激光图案辅助的摄像机距离姿态计算方法，其特征在于，包括：

(1)获取被测物体的第一图像，其中，所述第一图像中含有预设激光图案，所述预设激光图案需要满足的条件是：激光图案至少形成或存在两个像素坐标值可求的激光点或具有固定间隔的光斑；

(3)获取所述被测物体移动后的第二图像，其中，所述第二图像中含有所述预设激光图案，并提取移动后的所述预设激光图案中所述两个目标激光点的像素坐标，其中，所述被测物体的移动方式为：沿着与所述被测物体所在平面垂直的方向移动；

(4)根据所述两个目标激光点之间的物理距离、移动后的所述两个目标激光点的像素坐标及移动前后的相机参数得到所述被测物体的移动距离，进而根据所述被测物体的移动距离求得移动后的摄像机距离姿态；

步骤(4)包括：

在所述被测物体移动前后，相机内外参数的变化情况为：内参矩阵与旋转矩阵保持不变，移动前后平移矩阵的第三关系式为：

其中，T₁表示被测物体移动前相机的平移矩阵，T₂表示被测物体移动后相机的平移矩阵，Δ表示被测物体的移动距离，R表示相机的旋转矩阵，(r₁₃，r₂₃，r₃₃)表示矩阵参数；

联合关于移动前后摄像机内外参变化情况的结论与第一关系式、第二关系式及第三关系式，将移动后的所述预设激光图案中所述两个目标激光点的像素坐标代入计算，得到被测物体移动后预设激光图案中的两个目标激光点的像素坐标值、移动前的相机参数、移动距离Δ三者的关系式，进而求得被测物体的移动距离Δ。

2.根据权利要求1所述的方法，其特征在于，步骤(2)包括：

3.一种服务器，其特征在于，包括：

图像获取模块，用于获取被测物体的第一图像，其中，所述第一图像中含有预设激光图案，所述预设激光图案需要满足的条件是：激光图案至少形成或存在两个像素坐标值可求的激光点或具有固定间隔的光斑；

所述图像获取模块，还用于获取所述被测物体移动后的第二图像，其中，所述第二图像中含有所述预设激光图案，并提取移动后的所述预设激光图案中所述两个目标激光点的像素坐标，其中，所述被测物体的移动方式为：沿着与所述被测物体所在平面垂直的方向移动；

第二距离计算模块，用于根据所述两个目标激光点之间的物理距离、移动后的所述两个目标激光点的像素坐标及移动前后的相机参数得到所述被测物体的移动距离，进而根据所述被测物体的移动距离求得移动后的摄像机距离姿态；

所述第二距离计算模块包括：

第三关系式建立模块，用于在所述被测物体移动前后，相机内外参数的变化情况为：内参矩阵与旋转矩阵保持不变，移动前后平移矩阵的第三关系式为：

第二距离计算子模块，用于联合关于移动前后摄像机内外参变化情况的结论与第一关系式、第二关系式及第三关系式，将移动后的所述预设激光图案中所述两个目标激光点的像素坐标代入计算，得到被测物体移动后预设激光图案中的两个目标激光点的像素坐标值、移动前的相机参数、移动距离Δ三者的关系式，进而求得被测物体的移动距离Δ。

4.根据权利要求3所述的服务器，其特征在于，所述第一距离计算模块，具体用于在所述预设激光图案中的两个目标激光点之间的物理距离未知时，提取所述两个目标激光点的像素坐标，根据相机参数分别将所述两个目标激光点的像素坐标转换为对应的世界坐标，并根据所述两个目标激光点的世界坐标得到所述两个目标激光点之间的物理距离。