CN103759670A - 一种基于数字近景摄影的物体三维信息获取方法 - Google Patents

Abstract

本发明公开了一种基于数字近景摄影的物体三维信息获取方法，通过在任意场景中摆设一些编码标记点，通过自标定算法对相机的内参进行标定。对物体进行三维重建的时候手持数码相机从不同角度对物体拍摄两幅图片，然后使用SIFT关键点检测方法检测物体上的关键点的坐标信息，完成摄像机的外参数的标定。然后使用光流检测法检测一幅图片上每个像素点在另一幅图片上对应的匹配点，有了匹配点和相机的内外参数采用双视图的重建方法，得到物体三维信息。传统的三维测量方法需要额外的设备例如激光、投影仪来辅助完成三维重建，而本发明使用对图片进行光流检测的方法来代替这些设备获得物体上匹配点的信息，从而实现了主动的三维重建方式，减少了硬件成本和方便实现。

Description

一种基于数字近景摄影的物体三维信息获取方法

技术领域

本发明属于物体三维信息测量技术领域，更为具体地讲，涉及一种基于数字近景摄影的物体三维信息获取方法。

背景技术

近年来，随着中国制造业的发展，尤其是以数字制造为核心的先进制造技术的快速发展，在风电、汽车、船舶、飞机、军工等行业中都大量采用了大型复杂工件。如何对这些大型复杂工件进行测量，获取其三维信息是这些行业需要解决的问题。

目前，许多行业采用激光扫描、三坐标测量机、关节臂对长度小于1米的中小型工件进行三维测量，基本能满足检测要求。而对于长度为1米～100米的大型工件(船舶部件、飞机工件、汽车大型模具等)，目前主要采用经纬仪、全站仪、激光跟踪仪对其进行一些关键点的测量。

经纬仪测量系统是在大型工件测量领域中应用最早和最多的一种系统；其优点是测量范围可达2米至几十米，采用光学、非接触式测量方式，在20米范围内测量精度可达到10μm/m，其不足是一般采用手动照准目标进行逐点测量、速度慢、自动化程度不高。

全站仪测量系统测程较远，在120米范围内测量精度可达到0.2mm，但是由于存在测距固定误差，使其在小于20米的短距离测量时相对精度较低。

激光跟踪仪测量系统的整体测量性能和精度优于全站仪测量系统，同时测量速度快，在50米测量测量范围内，绝对坐标测量精度达到10μm/m，但其测量范围比全站仪小、测角精度比全站仪低。在测量大型工件时，这些测量设备存在繁琐的移站问题，且只能测量工件关键点的三维坐标，无法进行全尺寸检测；

然而大型工件采用复杂曲面设计的越来越多，所以对于大型复杂工件的三维全尺寸检测（测量），获取其三维信息是目前需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于数字近景摄影的物体三维信息获取方法，以快速、便捷地对物体进行全尺寸检测（测量），获取其三维信息。

为实现上述目的，本发明基于数字近景摄影的物体三维信息获取方法，其特征在于，包括以下步骤：

（1）、先在任意场景内摆放多个编码标记点，然后手持数码相机从不同角度拍摄多幅图片（>5幅），使用图像检测方法对编码标记点进行检测，得到这些编码标记点的二维图像坐标数据；每个编码标记点有一个唯一的编码，根据编码找到各幅图片中，同一编码标记点在各幅图像中的二维图像坐标数据；然后根据各个编码标记点在各幅图片中的二维图像坐标数据，使用自标定方法标定相机内参数；

（2）、使用内参数已经标定好的数码相机从不同角度对物体拍摄两幅图片；然后使用SIFT关键点检测方法，检测两幅图像上的关键点；根据两幅图片上检测到的关键点使用5点算法求取两个相机之间的本质矩阵E，然后对本质矩阵E进行SVD分解得到相机的两个外参数，即旋转和平移矩阵R和T，从而完成相机的外参数标定；

（3）、相机外参标定好之后对两幅物体图片进行光流检测，光流检测数据反映的是每个像素点的位移，然后根据这个位移使第一幅图像上的像素点能找到在另一幅图片上的匹配点；

（4）、根据相机标定的内外参数和两幅物体图片上的匹配点的光流数据完成三维重建，得到物体三维信息，其中，重建使用双视图的三维重建方法。

本发明的发明目的是这样实现的：

本发明基于数字近景摄影的物体三维信息获取方法，使用数码相机进行。使用之前需要对数码相机的内参数进行标定，对内参数的标定使用的是自标定方法，通过在任意场景中摆设一些编码标记点，从不同角度拍摄这些编码标记点的图片然后进行图像检测，最后通过自标定算法对相机的内参进行标定。对物体进行三维重建的时候手持数码相机从不同角度对物体拍摄两幅图片，然后使用SIFT关键点检测方法检测物体上的关键点的坐标信息，通过这些关键点的坐标来完成摄像机的外参数的标定。然后使用光流检测法检测一幅图片上每个像素点在另一幅图片上对应的匹配点，有了匹配点和相机的内外参数采用双视图的重建方法，得到物体三维信息。

本发明基于数字近景摄影的物体三维信息获取方法基于数字近景摄影测量学和光流法对物体三维测量，本发明主要的意义在于快速方便的获取到物体的三维信息。近景摄影测量学在机器视觉中扮演的十分重要的角色，它的方便性在于只需要一个数码相机而不需要其他的硬件设备，减少了硬件成本和方便操作。传统的三维测量方法需要额外的设备例如激光、投影仪来辅助完成三维重建，而本发明使用对图片进行光流检测的方法来代替这些设备获得物体上匹配点的信息，从而实现了主动的三维重建方式，减少了硬件成本和方便实现。

附图说明

图1是本发明基于数字近景摄影的物体三维信息获取方法具体实施方式流程图；

图2是编码标记点拍摄和标定过程示意图；

图3是数码相机模型；

图4是双目视觉的三维重建示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

数字近景摄影测量是摄影测量学科的一个重要分支，同时也是关于大地摄影测量、计算机视觉、机械测量的一门综合性学科。数字近景摄影测量是一种非接触式的光学测量方法，它采用数码相机，从多个不同的位置和方向对被测物关键点拍摄两幅图像，得到空间场景的二维信息，通过图像解析、摄像机标定和三维重构等步骤获得该物体的三维场景信息。

光流（optical flow）法是目前运动图像分析的重要方法，它的概念是Gibso在1950年首先提出来的，它的理论是指时变图像中模式运动速度。因为当物体在运动时，它在图像上对应点的亮度模式也在运动。这种图像亮度模式的表观运动（apparent motion）就是光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。对光流的研究成为计算机视觉及有关研究领域中的一个重要部分。因为在计算机视觉中，光流扮演着重要角色，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。

图1是本发明基于数字近景摄影的物体三维信息获取方法具体实施方式流程图。在本实施例中，使用之前需要对相机的内参数进行标定，对内参的标定使用的是自标定的方法。首先采集标定图片，通过在任意场景中摆设一些编码标记点，从不同角度拍摄这些编码标记点的图片，然后编码标记点进行图像检测，最后通过自标定方法对相机的内参数进行标定。

对物体进行三维重建的时候手持数码相机从不同角度对物体拍摄两幅图片即采集物体图片，然后使用SIFT算法检测物体上关键点，得到关键点坐标信息，通过这些关键点的坐标来完成数码相机的外参数标定。

使用光流检测算法检测两幅图片上每个像素点在另一幅图片上对应的匹配点。有了匹配点和相机的内外参数就可以完成三维重建。

各个步骤的具体描述如下：

1、相机标定

1.1、相机内参数标定

数码相机的内参数为相机2个轴方向的的焦距、2个主点坐标以及7个相机的畸变系数。对内参的标定采用的是自标定的算法，它的优点就是不需要任何标准的标定物（如平板标定板），只需要一些方便制作的编码标记点。在标定的时候只需手持相机对这些编码标记点从不同角度拍摄几幅图片，如图2所示。然后使用图像检测，检测出编码标记点的二维图像坐标数据和每个编码标记点的编码值，在本实施例中，二维图像坐标数据为圆心坐标根据。编码值完成多幅图片上编码标记点的匹配，然后根据这些匹配好了得圆心坐标使用自标定的方法标定相机内参数。自标定方法主要用于近景摄影测量过程中，该方法的核心首先进行射影重建，然后通过仿射变换将射影重建升级到射影空间下，最后用欧式变换将仿射空间转换到欧式空间下，从而实现欧式三维重建以此来获得相机的内参数。

数码相机的成像原理是基于针孔模型的，在理想的情况下物体三维点、镜头中心和图像点三点共线，这就是摄像机的理想线性成像模型，采用齐次坐标矩阵可以表示如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_u& 0& u_0& 0\\ 0& f_v& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

其中，(u,v)表示编码标记点的圆心像素点坐标、f_u和f_v分别是相机焦距在图像u轴和v轴的尺度因子、(u₀,v₀)表示图像的主点坐标、R和T分别表示摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量、(X,Y,Z)是编码标记点圆心三维坐标。内参数矩阵可以表示为：

$K=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right].$

此时，编码标记点圆心、镜头中心和编码标记点的圆心像素点满足三点共线的方程，也可将式（1）改写成如下形式：

$\left\{\begin{array}{c}u=f_u\frac{r_{1}X+r_{2}Y+r_{3}Z+t_x}{r_{7}X+r_{8}Y+r_{9}Z+t_z}+u_0\\ v=f_v\frac{r_{4}X+r_{4}Y+r_{6}Z+t_y}{r_{7}X+r_{8}Y+r_{9}Z+t_z}+v_0\end{array}\right.---\left(2\right)$

其中，(r₁,…,r₉)表示三阶旋转矩阵R的9个分量、(t_x,t_y,t_z)表示平移向量T的3个分量。

实际上并不存在真正理想的数码相机，如图3所示，物方三维点在像平面上的实际成像点与其理论的成像点总存在一定的偏差(Δu,Δv)。考虑由于摄像机光学畸变引起的像点偏差才能满足物体三维点、镜头中心和图像点构成的三点共线方程，即：

$\left\{\begin{array}{c}u-u_0+\mathrm{\Δu}=f_u\frac{r_{1}X+r_{2}Y+r_{3}Z+t_x}{r_{7}X+r_{8}Y+r_{9}Z+{0t}_z}\\ v-v_0+\mathrm{\Δv}=f_v\frac{r_{4}X+r_{5}Y+r_{6}Z+t_y}{r_{7}X+r_{8}Y+r_{9}Z+t_z}\end{array}\right.---\left(3\right)$

其中，(Δu,Δv)是由于数码相机光学畸变引起的像点偏差，畸变模型包括以下几个：

(1)镜头径向畸变的数学模型如下：

$\left\{\begin{array}{c}{\mathrm{\Δx}}_r=k_1{\mathrm{xr}}^2+k_2{\mathrm{xr}}^4+k_{3}x{r}^6+...\\ \mathrm{\Δ}{y}_r=k_{1}y{r}^2+k_{2}y{r}^4+k_{3}y{r}^6+...\end{array}\right.$ 其中r²=x²+y²

其中，k₁、k₂、k₃称为径向畸变系数，上述模型为高斯径向畸变模型，(x,y)是图像点即编码标记点圆心在图像物理坐标系中的坐标，Δx_r、Δy_r为镜头x、y方向的两个径向畸参数。

(2)镜头偏心畸变的数学模型可表述如下：

$\left\{\begin{array}{c}\mathrm{\Δ}{x}_d=p_1(r^2+2x^2)+2p_2\mathrm{xy}\\ \mathrm{\Δ}{y}_d=p_2(r^2+2y^2)+2p_1\mathrm{xy}\end{array}\right.$

其中p₁、p₂称为偏心畸变系数，偏心畸变要比径向畸变小的多。Δx_d、Δy_d为镜头x、y方向的两个偏心畸参数。

（3）CCD阵列不平引起的畸变可以表示为正交变形和仿射变形，二者都包含了透镜误差，其数学模型可表达如下：

$\left\{\begin{array}{c}\mathrm{\Δ}{x}_m=b_{1}x+b_{2}y\\ \mathrm{\Δ}{y}_m=0\end{array}\right.$

其中，b₁、b₂称为像CCD平面畸变系数，Δx_m、Δy_m为CCDx、y方向的两个畸变参数。

综上所述，编码标记点的圆心像素点存在的系统误差（主要是数码相机光学畸变模型）可以完整地表示为：

$\left\{\begin{array}{c}\mathrm{\Δx}=\mathrm{\Δ}{x}_r+{\mathrm{\Δx}}_d+{\mathrm{\Δx}}_m\\ \mathrm{\Δy}=\mathrm{\Δ}{y}_r+\mathrm{\Δ}{y}_d+\mathrm{\Δ}{y}_m\end{array}\right.$

考虑到摄像机的光学畸变可以将基于“R-T”模式的共线方程(3)改写成如下形式：

$\left\{\begin{array}{c}u=f_u\frac{r_{1}X+r_{2}Y+r_{3}Z+t_x}{r_{7}X+r_{8}Y+r_{9}Z+t_z}+u_0-f_u\mathrm{\Δx}\\ v=f_v\frac{r_{4}X+r_{4}Y+r_{6}Z+t_y}{r_{7}X+r_{8}Y+r_{9}Z+t_z}+v_0-f_v\mathrm{\Δy}\end{array}\right.---\left(4\right)$

因为获取的图片会存在噪声影响，使得基于序列图像定向得到的数码相机参数以及重构得到的空间三维点都偏离其真值。为了减小这些误差，需要采用自检校光束法平差对摄像机参数和空间三维点坐标进行非线性优化。基于非线性最小二乘的原理，自检校光束法平差优化的目标函数如下：

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|(u_{\mathrm{ij}},v_{\mathrm{ij}})-({\tilde{u}}_{\mathrm{ij}},{\tilde{v}}_{\mathrm{ij}})\left|\right|}^2---\left(5\right)$

其中，n表示编码标记点的个数，m表示图片的幅数，(u_ij,v_ij)表示第i个编码标记点在第j幅图片上的实际成像点坐标，

表示通过式（5）求解得到的第i个编码标记点在第j幅图片上的图像点坐标。该目标函数也可以认为是最小化图像点反投影残差，具有明确的物理含义。

最后获得的内参数为相机u轴和v轴的焦距f_u和f_v、图像的主点坐标(u₀,v₀)；数码相机的7个畸变系数k₁,k₂,k₃,p₁,p₂,b₁,b₂。

1.2相机外参数标定

当数码相机经过标定之后，相机的内部固有参数f_u和f_v，主点坐标(u₀,v₀)，摄像机的7个畸变系数k₁,k₂,k₃,p₁,p₂,b₁,b₂已知。为了获取空间关键点的三维信息，必须同时获得数码相机的两个外部参数R,T。首先使用数码相机对物体拍摄两幅图片，使用畸变系数对图像进行畸变矫正；然后使用基于SIFT算法来完成对图片上物体的关键点的检测，两幅图片的关键点坐标Img₁,Img₂为：

Img₁=(u₁₁,v₁₁;u₁₂,v₁₂....u_1n′,v_1n′)^T

Img₂=(u₂₁,v₂₁;u₂₂,v₂₂....u_2n′,v_2n′)^T

这些关键点具有旋转平移不变性，最后使用这些关键点来完成数码相机两个外参数的标定。

外参数的标定一般采用本质矩阵E来进行，有了图像关键点坐标Img₁,Img₂，可以通过5点算法来获得本质矩阵E。假设一对归一化后的相机矩阵P=[I 0]和P'=[R T]，与归一化相机矩阵对应的基础矩阵称为本质矩阵，它编码了数码相机两次拍摄之间的相对位置信息，它具有如下形式：

E=[t]_×R     （6）

其中[t]_×表示T的反对称矩阵。

定理：若E的SVD分解为Udiag(1,1,0)V^T，第一次拍摄的投影矩阵为P=[I 0]，那么第二次拍摄的投影矩阵P'具有如下四种可能选择：

$p^{\′}=\begin{array}{c}\left[{\mathrm{UWV}}^T\right|u_3];[{\mathrm{UWV}}^T|-u_3]\\ \left[{\mathrm{UW}}^T{V}^T\right|u_3];[{\mathrm{UW}}^T{V}^T|-u_3]\end{array}---\left(7\right)$

其中，

$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$

u₃为U的最后一列，最后通过点在相机前面的约束来从4个可能中删选出正确的R和T。

2、光流检测

本发明采取的三维重建方式都是基于双视图的三维重建。双视图的原理就是需要在两幅图片上找到匹配点，然后根据标定信息来完成三维重建。因此光流的检测算法主要是获得两幅图片的匹配点，与传统的光流应用有所差别，传统的光流检测只关注每个点的移动距离，而在本发明中，是将每个像素点的移动转换成两幅图片上的匹配点。因为将每个像素点移动的像素距离加上像素点本身的坐标就是另外一幅图上对应的匹配点。

将三维空间中的目标即物体和场景对应于二维图像平面运动时，它们在二维图像平面的投影就形成了运动，这种运动以图像平面亮度模式表现出来的流动就称为光流。光流法是对运动序列图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况以及反映图像其它等信息。

光流场可以理解为物体在运动过程产生的矢量场，其中包括u,v两个分量。设平面上有一个二维点（x，y）,它代表某一空间三维点（x,y,z）在图像平面上的投影坐标，该点在时刻t的图像灰度值为I(x,y,t)。假定该点在t+△t时运动了（△x,△y）距离，到达点（x+△x,y+△y）,在间隔△t很短的时间内其图像的灰度值是不变的，即：

I(x+u△t,y+v△t,t+△t)=I(x,y,t)     （8）

式中，u,v分别是该点的光流的x,y方向上的分量。

假设亮度I（x,y)随时间t平滑变化，可以将上式按泰勒公式展开，得到：

$I(x,y,t)+\mathrm{\Δx}\frac{\∂I}{\∂x}+\mathrm{\Δy}\frac{\∂I}{\∂y}+\mathrm{\Δt}\frac{\∂I}{\∂t}+e=I(x,y,t)---\left(9\right)$

其中e包括△x，△y，△t的二次以上的项，上式消去I(x,y,t)，用△t除等式两边，并取△t→0的极限后，可求得：

$\frac{\∂I}{\∂x}\frac{\mathrm{dx}}{\mathrm{dt}}+\frac{\∂I}{\∂y}\frac{\mathrm{dy}}{\mathrm{dt}}+\frac{\∂I}{\∂t}=0$

此式实际上是的展开式，可以用下边形式简写：

I_xu+I_yv+I_t=0

其中， $u=\frac{\mathrm{dx}}{\mathrm{dt}},v=\frac{\mathrm{dy}}{\mathrm{dt}},I_x=\frac{\∂I}{\∂x},I_y=\frac{\∂I}{\∂y},I_t=\frac{\∂I}{\∂t}$

这就是光流约束方程，I代表的是像素点（x,y)在时刻t的灰度值，

分别对I求偏导数，它们可以直接从图像中估计出来。

$I_x=\frac{1}{4\mathrm{\Δx}}[(I_{i+1,j,k}+I_{i+1,j,k+1}+I_{i+1,j+1,k}+I_{i+1,j+1,k+1})-(I_{i,j,k}+I_{i,j,k+1}+I_{i,j+1,k}+I_{i,j+1,k+1})$

$\mathrm{Iy}=\frac{1}{4\mathrm{\Δy}}[(I_{i,j+1,k}+I_{i,j+1,k+1}+I_{i+1,j+1,k}+I_{i+1,j+1,k+1})-(I_{i,j,k}+I_{i,j,k+1}+I_{i+1,j,k}+I_{i+1,j,k+1})]$

$I_t=\frac{1}{4\mathrm{\Δt}}[(I_{i,j+1,k}+I_{i,j+1,k+1}+I_{i+1,j,k+1}+I_{i+1,j+1,k+1})-(I_{i,j,k}+I_{i,j+1,k}+I_{i+1,j,k}+I_{i+1,j+1,k})]$

也就是说每个像素处的偏导数都是已知的。

而光流有两个分量u,v，但是方程I_xu+I_yv+I_t=0只有一个，一个方程，两个未知数，无法求得u,v。因此需要另外的约束条件。

为了求得u,v，我们认定在图像平面内足够小的区域ROI内，而且在足够短的时间间隔内，两帧图像间的运动可以近似为线性的，即

u=V_x,v=V_y     （10）

也就是认定在ROI区域内的N个像素点的速度是相同的，而且这N个点的速度都为

V_x和V_y。将其带入I_xu+I_yv+I_t=0得

$\frac{\∂I}{\∂x}\mathrm{Vx}+\frac{\∂I}{\∂y}{V}_y=-\frac{\∂I}{\∂t}---\left(11\right)$

该方程对ROI中的N个像素点都成立，这样就可以得到N个（N是ROI中像素的个数）方程组成的方程组，用矩阵的形式表示如下：

$\left[\begin{array}{cc}{I}_x& I_y\\ .& .\\ .& .\\ .& .\\ .& .\\ .& .\\ .& .\end{array}\right..\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}-I_t\\ .\\ .\\ .\\ .\\ .\\ .\end{array}\right]---\left(12\right)$

第一个矩阵是N*2的，等式右边的为N*1`的，这样，N个方程，两个未知数V_x和V_y。很容易就可以求得光流的速度场了。

速度场V_x和V_y计算得到之后就可以获得两幅图像上每个像素的匹配点，设图像I₀对应的像素坐标为(u_i,v_j)那么在图像I₁上对应的匹配点就是，(u_i+V_x,v_j+V_y)，从而确定了两幅图片上的匹配点，即：

[(u_i,v_j);(u_i+V_x,v_j+V_y)]     （13）

3、三维重建

当使用光流法获得物体上每个像素的匹配点完成之后就可以根据三角测量原理实现三维重建，如图4所示。已知不同位置的两幅图像上的一组对应点m₁、m₂，根据（13）式，有m₁=(u_i,v_j)；m₂=(u_i+V_x,v_j+V_y)。那么它们与各自相机的光心连线

必定交与空间一点M，此点即为此组对应点的空间物点。

但由于误差和噪声的存在，往往

并不能精确相交，而是存在一定的距离d，因此空间点M的求解要借助于最小二乘方法，尽量运用冗余信息来实现解的最佳近似。

假设空间点M=[x_w y_w z_w 1]^T在两幅图像上的投影分别为M₁=[u₁ v₁ 1]^T、M₂=[u₂ v₂ 1]^T，且第一个相机投影矩阵为P₁=K₁[R₁ T₁]，第二个相机投影矩阵为P₂=K₂[R₂ T₂]，则根据透视投影公式可得：

$\begin{array}{cc}{\mathrm{\λ}}_1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=P_1\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]& {\mathrm{\λ}}_2\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=P_2\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]\end{array}---\left(14\right)$

其中，

$P_1=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],P_2=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right],$ λ₁、λ₂为非零比例因子。

将P₁、P₂带入式（14）并消去λ₁、λ₂，整理成矩阵形式后为：

Ax=b     （15）

其中，

$A=\left[\begin{array}{ccc}{u}_1{m}_{31}^1-m_{11}^1& u_1{m}_{32}^1-m_{21}^1& u_1{m}_{33}^1-m_{13}^1\\ v_1{m}_{31}^1-m_{21}^1& v_1{m}_{32}^1-m_{22}^1& v_1{m}_{33}^1-m_{23}^1\\ u_2{m}_{31}^1-m_{11}^2& u_2{m}_{32}^1-m_{12}^2& u_2{m}_{33}^2-m_{13}^2\\ v_2{m}_{31}^2-m_{21}^2& v_2{m}_{32}^2-m_{12}^2& v_2{m}_{33}^2-m_{23}^2\end{array}\right],x=\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right],b=\left[\begin{array}{c}{m}_{14}^1-u_1{m}_{34}^1\\ m_{24}^1-v_1{m}_{34}^1\\ m_{14}^2-u_2{m}_{34}^2\\ m_{24}^2-v_2{m}_{34}^2\end{array}\right].$

依据最小二乘原理即可得出：

x=(A^TA)^-1A^Tb     （16）

根据上式可以计算出物体的三维点信息。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于数字近景摄影的物体三维信息获取方法，其特征在于，包括以下步骤：

（1）、先在任意场景内摆放多个编码标记点，然后手持数码相机从不同角度拍摄多幅图片（>5幅），使用图像检测方法对编码标记点进行检测，得到这些编码标记点的二维图像坐标数据；每个编码标记点有一个唯一的编码，根据编码找到各幅图片中，同一编码标记点在各幅图像中的二维图像坐标数据；然后根据各个编码标记点在各幅图片中的二维图像坐标数据，使用自标定方法标定相机内参数；

（2）、使用内参数已经标定好的数码相机从不同角度对物体拍摄两幅图片；然后使用SIFT关键点检测方法，检测两幅图像上的关键点；根据两幅图片上检测到的关键点使用5点算法求取两个相机之间的本质矩阵E，然后对本质矩阵E进行SVD分解得到相机的两个外参数，即旋转和平移矩阵R和T，从而完成相机的外参数标定；

（3）、相机外参标定好之后对两幅物体图片进行光流检测，光流检测数据反映的是每个像素点的位移，然后根据这个位移使第一幅图像上的像素点能找到在另一幅图片上的匹配点；

（4）、根据相机标定的内外参数和两幅物体图片上的匹配点的光流数据完成三维重建，得到物体三维信息，其中，重建使用双视图的三维重建方法。

2.根据权利要求1所示的物体三维信息获取方法，其特征在于，所述的相机内参数为：

相机u轴和v轴的焦距f_u和f_v、图像的主点坐标(u₀,v₀)；数码相机的7个畸变系数k₁,k₂,k₃,p₁,p₂,b₁,b₂。

Images