CN113313768B - 基于两个灭点和局部物体尺度的全局空间尺度测量方法 - Google Patents

Abstract

本发明公开了一种基于两个灭点和局部物体尺度的全局空间尺度测量方法，包括：1)从图像中待估计尺度建筑物上选择两组互相正交的平行线组，计算这两组平行线所构成的两个灭点坐标；2)通过两个灭点坐标和一条已知线段的真实尺度，计算单目图像相机标定的旋转矩阵和平移向量；3)利用旋转矩阵、平移向量以及灭点坐标隐含的焦距信息将像素坐标转化为世界坐标，根据建筑物体各点的世界坐标和拓扑关系，通过欧几里得距离公式计算得到建筑物体的估计尺度。本发明规避了三个灭点相机标定难以找到符合要求的三组互相正交的平行线的问题，对输入的图像限制和所需的几何约束较少，还可以在古建筑园林图像中运用，适用于更多的场景，泛化性高。

Description

基于两个灭点和局部物体尺度的全局空间尺度测量方法

技术领域

本发明涉及单目图像建筑物体尺度估计的技术领域，尤其是指一种基于两个灭点和局部物体尺度的全局空间尺度测量方法。

背景技术

恢复单幅或多幅二维图像中建筑物体的三维几何结构即三维重建技术是计算机视觉的基础，也是当前人工智能、虚拟现实等众多前沿领域的研究难点和热点。其中,基于单幅图像的三维重建因避免了多幅图像重建特征匹配的困难,成为三维重建的一个重点研究方向。而单幅图像建筑物体尺度估计又是三维重建中的一个重要工作。对于单幅单目图像建筑物体的尺度估计,可以首先进行单目相机标定，确定相机的内部参数和外部参数,以还原建筑物体在三维世界中的位置与在计算机图像平面上位置的变换。由于单目图像计算的复杂性和其符合透视原理的特性,利用灭点的属性进行相机标定是一个比较理想的方法。基于灭点的相机标定和建模方法的研究开始于20世纪90年代，B.CAPRILE和V.TORRE首次提出来应用灭点进行相机标定的思想，他们首先证明了灭点的三个属性，然后根据这些属性找到了相机内外参数与灭点之间的关系。随后，不少学者提出了用多个灭点进行相机标定的方法，其中应用比较广泛的是三个灭点相机标定法。而这种基于灭点的标定方法有着图像中存在三组两两正交的平行直线的条件，这个条件在实际应用中很难满足，应用范围受到制约。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于两个灭点和局部物体尺度的全局空间尺度测量方法，规避了三个灭点相机标定难以找到符合要求的三组互相正交的平行线的问题，对输入的图像限制和所需的几何约束较少，还可以在古建筑园林图像中运用，适用于更多的场景，泛化性高。

为实现上述目的，本发明所提供的技术方案为：基于两个灭点和局部物体尺度的全局空间尺度测量方法，该方法不需要额外的基准目标，只需做出假设：输入的单目图像能够供用户至少选取两组正交的平行线用以计算相应的两个灭点，图像中包含已知真实尺度的参照物体，投影中心是图像中心；其包括以下步骤：

1)从图像上待估计尺度建筑物上选择两组互相正交的平行线组，计算两组平行线所构成的两个灭点坐标；

2)通过两个灭点坐标和一条已知线段的真实尺度，计算单目图像相机标定的旋转矩阵和平移向量；

3)利用旋转矩阵、平移向量以及灭点坐标隐含的焦距信息将像素坐标转化为世界坐标，根据建筑物体各点的世界坐标和拓扑关系，通过欧几里得距离公式计算得到建筑物体的估计尺度。

进一步，在步骤1)中，已知用户所选择的平行线组，令灭点的平行线组为D₁,D₂,···,D_n，D_i代表第i条直线，i＝1···n，这些直线在像平面都经过同一点，即接下来要求的灭点V，平行线组D₁,D₂,···,D_n和V在像平面上的关系用向量的形式表示为：MV＝0，式中M为平行线组矩阵，M＝[D₁,D₂,···,D_n]^T，D_i＝[A_i,B_i,C_i]，其相应的直线方程为A_ix+B_iy+C_iz＝0，其中A_i,B_i,C_i是第i条直线的三维分量，x、y、z是世界坐标系的x轴、y轴、z轴，通过最小二乘法将灭点的计算转化为线性代数的问题计算，求出用户选择的平行线组的灭点坐标，灭点坐标信息包含相机焦距。

进一步，在步骤2)中，通过计算出的两个灭点坐标和一条已知线段的真实尺度，计算单目图像相机标定的旋转矩阵和平移向量，具体如下：

a、计算旋转矩阵

令世界坐标系R_w以A点作为原点，由三个方向的正交基向量构成：α,β,γ，γ＝α×β，同样地，相机坐标系R_c以O点作为原点，由三个方向的正交基向量构成α_c,β_c,γ_c，γ_c＝α_c×β_c，令W＝(A,α,β,γ)、C＝(O,α_c,β_c,γ_c)和像平面坐标系S＝(P,α_c,β_c)，其中P点为相机中心在像平面上的正交投影，令世界坐标系W到相机坐标系C的旋转矩阵为R，则有：

R·α＝α_c,R·β＝β_c,R·γ＝γ_c

假设直线OV₁和OV₂过投影中心其分别平行于向量α′和β′，V₁、V₂为灭点，易知基向量(α,β,γ)和向量(α′,β′,γ′)相似，因此C＝(O,α_c,β_c,γ_c)和W＝(A,α,β,γ)之间的旋转变换相同，假设向量α′、β′、γ′在相机系C下的坐标α′_C、β′_C、γ′_C已知，则有：

其中，

为直线OV₁、OV₂方向向量在相机坐标系下的坐标，/>

是灭点V₁、V₂在基向量α_c,β_c方向上的分量，/>

为γ′_C在相机坐标系的基向量α_c,β_c,γ_c方向上的分量，f是相机焦距，焦距f由灭点的性质可得，故：

R·α_W＝α′_c,R·β_W＝β′_c,R·γ_W＝γ′_c

在世界坐标系W中，有基向量α_W＝(1,0,0),β_W＝(0,1,0),γ_W＝(0,0,1),联合上述两式，推导得到世界坐标系W到相机坐标系C的旋转矩阵为：

b、计算平移向量

设O点为相机中心，P点为图像中心即投影中心，MN为空间中已知真实尺度的线段，M′N′为MN在像平面上的投影，过M′沿MN做直线M′N″交ON于点N″，假设世界坐标系原点位于点M，易知道向量OM即为相机坐标系C变换到世界坐标系W的平移向量，故平移向量T＝-OM，易知M'N”//MN，因此三角形ΔOM'N”和三角形ΔOMN是相似三角形，故有：

由此，能够得到向量OM的长度，而向量OM的方向与向量OM'相同，因此向量OM能够计算求得，平移向量也能够计算得出：T＝-OM。

进一步，在步骤3)中，利用旋转矩阵、平移向量以及灭点坐标隐含的焦距信息将像素坐标转化为世界坐标，根据建筑物体各点的世界坐标和拓扑关系，再通过欧几里得距离公式计算得到建筑物体的估计尺度，具体步骤如下：

3.1)将像素坐标转化为世界坐标

像素坐标系[u,v]向世界坐标系[X_w,Y_w,Z_w]进行转换的实质是先由像素坐标系转化为图像坐标系[x,y]，再由图像坐标系转化为相机坐标系[X_C,Y_C,Z_C]，最后再由相机坐标系转化至世界坐标系；

单目相机拍摄的图像满足透视投影的原理，由针孔相机模型能够得到像素坐标和世界坐标之间的数学关系如下：

其中，(u₀,v₀)为图像中心像素坐标，f_x、f_y为焦距在横轴x、纵轴y上的分量，0₃ ^T＝(0,0,0),因此，利用之前所得的焦距信息、旋转矩阵R和平移向量T即可将像素坐标转化为世界坐标；

3.2)根据建筑物体各点的世界坐标和拓扑关系，再通过欧几里得距离公式计算得到建筑物体的估计尺度，具体如下：

选取已知尺度d_true参照物的两个像素点(u₁,v₁)、(u₂,v₂)，再结合相机参数焦距f获取世界坐标(X_W1,Y_W1,Z_W1)、(X_W2,Y_W2,Z_W2)，通过欧几里得距离公式计算得到建筑物体的估计尺度d：

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明针对从室外场景单目图像用传统方法难以测量物体尺度这一问题，利用可以从图像中得到的参照物(例如：砖块)真实尺度信息，提出一种基于两个灭点和局部物体尺度的全局空间尺度测量方法。

2、本发明提出了两个灭点相机标定方法，有别于三个灭点相机标定方法，仅需要找到符合要求的两组正交平行线的灭点，规避了在实际应用中很多建筑图像包括古建筑残存的图像难以找到符合要求的三组两两正交平行线的灭点从而降低物体尺度估计效果的情况。

3、本发明不仅在同一建筑物不同视角下的尺度估计和不同场景下建筑物体尺度估计方面表现良好，而且对输入的图像限制和所需的几何约束较少，还可以在古建筑园林图像中运用，适用于更多的场景，泛化性高。

附图说明

图1为本发明方法逻辑流程示意图。

图2为本发明计算旋转矩阵示意图。

图3为本发明计算平移向量示意图。

图4为本发明像素坐标和世界坐标关系示意图。

图5为本发明同一建筑物不同视角下的尺度估计效果图。

图6为本发明不同场景下建筑物体尺度估计的效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1至图6所示，本实施例所提供的基于两个灭点和局部物体尺度的全局空间尺度测量方法，从同一建筑物不同视角下的尺度估计、不同场景下建筑物体的尺度估计等方面检验了该方法的有效性，其包括以下步骤：

1)从图像中待估计尺度建筑物上选择两组互相正交的平行线组，计算这两组平行线所构成的两个灭点坐标，具体如下：

已知用户所选择的平行线组，令灭点的平行线组为D₁,D₂,···,D_n，D_i代表第i条直线，i＝1···n，这些直线在像平面都经过同一点，即接下来要求的灭点V，平行线组D₁,D₂,···,D_n和V在像平面上的关系用向量的形式表示为：MV＝0，式中M为平行线组矩阵，M＝[D₁,D₂,···,D_n]^T，D_i＝[A_i,B_i,C_i]，其相应的直线方程为A_ix+B_iy+C_iz＝0，其中A_i,B_i,C_i是第i条直线的三维分量，x、y、z是世界坐标系的x轴、y轴、z轴，通过最小二乘法将灭点的计算转化为线性代数的问题计算，求出用户选择的平行线组的灭点坐标，灭点坐标信息包含相机焦距。

2)通过计算出的两个灭点坐标和一条已知线段的真实尺度，计算单目图像相机标定的旋转矩阵和平移向量，具体如下：

a、计算旋转矩阵。如图2所示，令世界坐标系R_w以A点作为原点，由三个方向的正交基向量构成：α,β,γ(γ＝α×β)。同样地，相机坐标系R_c以O点作为原点，由三个方向的正交基向量构成α_c,β_c,γ_c(γ_c＝α_c×β_c)。令W＝(A,α,β,γ)、C＝(O,α_c,β_c,γ_c)和像平面坐标系S＝(P,α_c,β_c)，其中P点为相机中心在像平面上的正交投影。令世界坐标系W到相机坐标系C的旋转矩阵为R，则有：

R·α＝α_c,R·β＝β_c,R·γ＝γ_c

假设直线OV₁和OV₂过投影中心其分别平行于向量α′和β′，V₁、V₂为灭点，易知基向量(α,β,γ)和向量(α′,β′,γ′)相似，因此C＝(O,α_c,β_c,γ_c)和W＝(A,α,β,γ)之间的旋转变换相同。假设α′、β′、γ′在相机系C下的坐标α′_C、β′_C、γ′_C已知，则有：

其中

为直线OV₁、OV₂方向向量在相机坐标系下的坐标，/>

是灭点V₁、V₂在基向量α_c,β_c方向上的分量，/>

为γ′_C在相机坐标系的基向量α_c,β_c,γ_c方向上的分量，f是相机焦距，焦距f由灭点的性质可得，故：

R·α_W＝α′_c,R·β_W＝β′_c,R·γ_W＝γ′_c

在世界坐标系W中，有基向量α_W＝(1,0,0),β_W＝(0,1,0),γ_W＝(0,0,1),联合上述两式，推导得到世界坐标系W到相机坐标系C的旋转矩阵为：

b、计算平移向量。如图3所示，设O点为相机中心，P点为图像中心即投影中心，MN为空间中已知真实尺度的线段(已知尺度的参照物：砖头)，M′N′为MN在像平面上的投影，过M′沿MN做直线M′N″交ON于点N″。假设世界坐标系原点位于点M，易知道向量OM即为相机坐标系C变换到世界坐标系W的平移向量，故平移向量T＝-OM。易知M'N”//MN，因此三角形ΔOM'N”和三角形ΔOMN是相似三角形，故有：

由此可以得到向量OM的长度，而向量OM的方向与向量OM'相同，因此向量OM可以计算求得。平移向量也可以计算得出：T＝-OM。

3)利用旋转矩阵、平移向量以及灭点坐标隐含的焦距信息将像素坐标转化为世界坐标，根据建筑物体各点的世界坐标和拓扑关系，再通过欧几里得距离公式计算得到建筑物体的估计尺度，具体步骤如下：

3.1)将像素坐标转化为世界坐标。如图4所示，像素坐标系[u,v]向世界坐标系[X_w,Y_w,Z_w]进行转换的实质是先由像素坐标系转化为图像坐标系[x,y]，再由图像坐标系转化为相机坐标系[X_C,Y_C,Z_C]，最后再由相机坐标系转化至世界坐标系。以图像左上角为原点建立笛卡尔直角坐标系u-v(单位：像素)，图像在计算机数组中的列数与行数是像素的横坐标u和纵坐标v。定义成像平面和相机光轴的交点为图像坐标系的原点O₁，且x轴与u轴平行，y轴与v轴平行，原点O₁在u-v坐标系下的坐标设为(u₀,v₀)，每个像素在横轴x和纵轴y上的物理尺寸为dx和dy，那么图像中每个像素在u-v坐标系下的坐标与在x-y坐标系下的坐标之间存在如下关系：

假设图像坐标系以毫米作为物理单位，式中dx的单位：毫米/像素。x/dx的单位：像素。矩阵形式表示为：

根据针孔成像，以平面π为摄像机的像平面，点O_C为摄像机中心，f是相机焦距，光轴是以O_C为端点垂直于像平面的射线，p是光轴和成像平面的交点即图像的主点。可知，图像坐标系为O-xy，相机坐标系为O_C-x_Cy_Cz_C。记空间点X在相机坐标系中的齐次坐标为：X＝(X_C,Y_C,Z_C,1)^T。它的像点m在图像坐标系中的齐次坐标为：m＝(x,y,1)^T。根据三角形相似原理：

矩阵形式表示为：

则可得：

至此完成了像素坐标到相机坐标的转化。而相机坐标到世界坐标的转化实际上是一种刚体变化，对坐标进行旋转和平移操作即可得到转化关系，二者之间的刚体变换数学表示为：

其中R为3×3的旋转矩阵，(T_x,T_y,T_z)^T为平移向量。设r_ij为旋转矩阵第i行第j列的分量，

则对应的齐次表达式为：

单目相机拍摄的图像满足透视投影的原理，由针孔相机模型可得像素坐标和世界坐标之间的数学关系如下：

其中，(u₀,v₀)为图像中心像素坐标，f_x、f_y为焦距在横轴x、纵轴y上的分量。因此，利用之前计算的旋转矩阵R和平移向量T和灭点坐标包含的相机焦距信息即可将像素坐标转化为世界坐标。

3.2)通过欧几里得距离公式计算得到建筑物体的估计尺度。选取已知尺度d_true参照物的两个像素点(u₁,v₁)、(u₂,v₂)，再结合相机参数焦距f获取世界坐标(X_W1,Y_W1,Z_W1)、(X_W2,Y_W2,Z_W2)，通过欧几里得距离公式计算得到建筑物体的估计尺度d：

同一建筑物体不同视角下尺度估计以及不同场景下建筑物体尺度估计结果如图5、图6所示，表1、表2分别为图5、图6所示数据的尺度估计值和估计误差。表中，定义相对误差函数：

其中d_true表示建筑尺度真实值，e_abs＝|d-d_true|表示绝对误差，d表示建筑尺度估算值。

表1同一建筑物体不同视角下尺度估计的误差

	#1	#2	#3
				尺度估计值(mm)	4287.28	4399.12	4258.5
尺度真实值(mm)	4212	4322	4322
				误差erel	1.79	1.78	1.47

表2不同场景下建筑物体尺度估计的误差

	#4	#5	#6
				尺度估计值(mm)	2604.26	7850.9	17322.08
尺度真实值(mm)	2582	7792	17818
				误差erel	0.86	0.76	2.78

实际场景中的建筑物体尺度估计的结果分析如下：

a、同一建筑物不同视角下的尺度估计效果。如图5所示，显示的结果从上到下依次是由左向右偏转的观测角度下的实验效果。图中(a)是不同观测角度拍摄室外对同一个建筑物体所获取的二维图像；图中(b)是用户在相应图像进行两组正交平行直线(白线)的选择，再计算平行线组形成的灭点坐标；图中(c)中白线区域即为建筑物体尺度估计的范围。如表1所示，相应地显示了同一建筑物不同视角下的尺度估计误差结果，可以看到对于同一建筑物体，在不同的视角下都可以获得较好的估计结果。

b、不同场景下建筑物体的尺度估计结果。如图6所示，图中(a)是不同室外建筑物体场景的单目图像；(b)是相应图像用户在建筑物体上选择两组正交的平行线(白线)，用以计算单目图像的两个灭点坐标；(c)展示的是单目图像建筑物体尺度估计的结果，其中白线区域即为建筑物体尺度估计的范围。表2是相应的估计结果和误差结果，从表中结果可以看出，估计效果较好，但对于超大尺度建筑物体的估计相对来说误差更大，这是因为在对超大建筑物体进行拍摄时存在一定的畸变。

综上所述，在采用以上方案后，本发明提出了一种基于两个灭点和局部物体尺度的全局空间尺度测量方法。首先基于从图像中待估计尺度建筑物上选择两组互相正交的平行线组，计算这两组平行线所构成的两个灭点的坐标，然后利用灭点的性质以及已知局部尺度来计算单幅图像相机标定的旋转矩阵和平移向量，从而得到图像中任一像素点的三维世界坐标，最终完成对单目图像建筑物体尺度估计。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.基于两个灭点和局部物体尺度的全局空间尺度测量方法，其特征在于，该方法不需要额外的基准目标，只需做出假设：输入的单目图像能够供用户至少选取两组正交的平行线用以计算相应的两个灭点，图像中包含已知真实尺度的参照物体，投影中心是图像中心；其包括以下步骤：

1)从图像上待估计尺度建筑物上选择两组互相正交的平行线组，计算两组平行线所构成的两个灭点坐标；

已知用户所选择的平行线组，令灭点的平行线组为D₁,D₂,…,D_n，D_i代表第i条直线，i＝1…n，这些直线在像平面都经过同一点，即接下来要求的灭点V，平行线组D₁,D₂,…,D_n和V在像平面上的关系用向量的形式表示为：MV＝0，式中M为平行线组矩阵，M＝[D₁,D₂,…,D_n]^T，D_i＝[A_i,B_i,C_i]，其相应的直线方程为A_ix+B_iy+C_iz＝0，其中A_i,B_i,C_i是第i条直线的三维分量，x、y、z是世界坐标系的x轴、y轴、z轴，通过最小二乘法将灭点的计算转化为线性代数的问题计算，求出用户选择的平行线组的灭点坐标，灭点坐标信息包含相机焦距；

2)通过两个灭点坐标和一条已知线段的真实尺度，计算单目图像相机标定的旋转矩阵和平移向量，具体如下：

a、计算旋转矩阵

令世界坐标系R_w以A点作为原点，由三个方向的正交基向量构成：α,β,γ，γ＝α×β，同样地，相机坐标系R_c以O点作为原点，由三个方向的正交基向量构成α_c,β_c,γ_c，γ_c＝α_c×β_c，令W＝(A,α,β,γ)、C＝(O,α_c,β_c,γ_c)和像平面坐标系S＝(P,α_c,β_c)，其中P点为相机中心在像平面上的正交投影，令世界坐标系W到相机坐标系C的旋转矩阵为R，则有：

R·α＝α_c,R·β＝β_c,R·γ＝γ_c

假设直线OV₁和OV₂过投影中心其分别平行于向量α′和β′，V₁、V₂为灭点，易知基向量(α,β,γ)和向量(α′,β′,γ′)相似，因此C＝(O,α_c,β_c,γ_c)和W＝(A,α,β,γ)之间的旋转变换相同，假设向量α′、β′、γ′在相机系C下的坐标α′_C、β_C、γ′_C已知，则有：

其中，

为直线OV₁、OV₂方向向量在相机坐标系下的坐标，/>

是灭点V₁、V₂在基向量α_c,β_c方向上的分量，/>

为γ′_C在相机坐标系的基向量α_c,β_c,γ_c方向上的分量，f是相机焦距，焦距f由灭点的性质可得，故：

R·α_W＝α′_c,R·β_W＝β′_c,R·γ_W＝γ′_c

在世界坐标系W中，有基向量α_W＝(1,0,0),β_W＝(0,1,0),γ_W＝(0,0,1),联合上述两式，推导得到世界坐标系W到相机坐标系C的旋转矩阵为：

b、计算平移向量

设O点为相机中心，P点为图像中心即投影中心，MN为空间中已知真实尺度的线段，M′N′为MN在像平面上的投影，过M′沿MN做直线M′N″交ON于点N″，假设世界坐标系原点位于点M，易知道向量OM即为相机坐标系C变换到世界坐标系W的平移向量，故平移向量T＝-OM，易知M′N″//MN，因此三角形ΔOM′N″和三角形ΔOMN是相似三角形，故有：

由此，能够得到向量OM的长度，而向量OM的方向与向量OM′相同，因此向量OM能够计算求得，平移向量也能够计算得出：T＝-OM；

3)利用旋转矩阵、平移向量以及灭点坐标隐含的焦距信息将像素坐标转化为世界坐标，根据建筑物体各点的世界坐标和拓扑关系，通过欧几里得距离公式计算得到建筑物体的估计尺度。

2.根据权利要求1所述的基于两个灭点和局部物体尺度的全局空间尺度测量方法，其特征在于：在步骤3)中，利用旋转矩阵、平移向量以及灭点坐标隐含的焦距信息将像素坐标转化为世界坐标，根据建筑物体各点的世界坐标和拓扑关系，再通过欧几里得距离公式计算得到建筑物体的估计尺度，具体步骤如下：

3.1)将像素坐标转化为世界坐标

像素坐标系[u,v]向世界坐标系[X_w,Y_w,Z_w]进行转换的实质是先由像素坐标系转化为图像坐标系[x,y]，再由图像坐标系转化为相机坐标系[X_C,Y_C,Z_C]，最后再由相机坐标系转化至世界坐标系；

单目相机拍摄的图像满足透视投影的原理，由针孔相机模型能够得到像素坐标和世界坐标之间的数学关系如下：

其中，(u₀,v₀)为图像中心像素坐标，f_x、f_y为焦距在横轴x、纵轴y上的分量，

因此，利用之前所得的焦距信息、旋转矩阵R和平移向量T即可将像素坐标转化为世界坐标；

3.2)根据建筑物体各点的世界坐标和拓扑关系，再通过欧几里得距离公式计算得到建筑物体的估计尺度，具体如下：

选取已知尺度d_true参照物的两个像素点(u₁,v₁)、(u₂,v₂)，再结合相机参数焦距f获取世界坐标(X_W1,Y_W1,Z_W1)、(X_W2,Y_W2,Z_W2)，通过欧几里得距离公式计算得到建筑物体的估计尺度d：

Images