CN101750029B - 基于三焦点张量的特征点三维重建方法 - Google Patents

Abstract

本发明涉及一种基于三焦点张量的特征点三维重建方法，包括以下步骤：在被测物体表面设置编码点、标记点及标尺；用数码相机多角度拍摄被测物照片输入到计算机进行图像处理得到图像中的坐标{x_d，x′_d，x″_d}；根据上述图像坐标{x_d，x′_d，x″_d}所有图像进行重新排序并进行归一化处理；分别计算各组图像的三焦点张量，确定编码点和标记点的三维点坐标；将各组三维点坐标得到各点在统一坐标系下的三维点坐标(x，y，z)；根据标尺计算长度和实际长度的比值得到度量空间下的新三维点坐标(x’，y’，z’)；集束调整上述新三维点坐标(x’，y’，z’)，得到整体优化的三维点坐标。本发明三维点的计算精度高，使用简单、便于操作，只需一台便携式数码相机、一台普通的笔记本电脑、一组编码点和标记点以及一根标尺。

Description

基于三焦点张量的特征点三维重建方法

技术领域

本发明涉及计算机视觉图像处理技术，具体地说是一种基于三焦点张量的特征点三维重建方法。

背景技术

计算机视觉技术的发展为非接触式三维测量技术在逆向工程、工业检测和质量控制等方面的应用提供了有力的技术支撑，同时，计算机视觉技术在这些领域日益广泛的应用也促进了视觉三维测量技术的发展。如结构光测量仪，采用线激光或光谱式激光的三角测量法；采用便携式数码相机的长序列图像三维物体的重建方法。其中采用单个便携式数码相机拍摄多幅照片的精确恢复场景结构的三维重建方法以其简单的硬件条件和灵活方便的测量方法一直是计算机视觉领域的研究热点。到目前，国内外的研究基本上是围绕着如何由两幅视图在某一程度上恢复景物的外观，并且提出了许多理论和方法。根据已知信息不同，三维重建方法为几类：一类是已知摄像机内参的某些约束；一类是已知摄像机运动参数(即外参数)的某些约束；还有一类是已知场景几何结构的某些约束。

采用两视图的三维重建方法，三维重建结果鲁棒性差而且精度低。

发明内容

针对现有技术中存在的上述不足，本发明要解决的技术问题是提供一种精度较高、成本低廉、便于实施的基于三焦点张量的特征点三维重建方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明基于三焦点张量的特征点三维重建方法包括以下步骤：

在被测物体表面设置编码点，同时在编码点之间的区域内设置多个标记点；在被测物体旁设置标尺；

用标定内参数后的数码相机多角度拍摄被测物照片，每相邻三幅照片之间有重叠编码点区域，将上述各幅照片输入到计算机进行图像处理得到所有编码点及标记点在各自图像中的坐标{x_d，x′_d，x″_d}；

根据上述图像坐标{x_d，x′_d，x″_d}按照各幅图像之间重复编码点的多少将所有图像进行重新排序，将重新排序的图像每三幅为一组进行归一化处理；

分别计算进行归一化处理后各组图像的三焦点张量，得到各组图像的相机外参数矩阵，确定编码点和标记点的三维点坐标；

将各组三维点坐标以重新排序的第一组图像计算的三维点为基准拼合在统一的坐标系下，得到各点在统一坐标系下的三维点坐标(x，y，z)；

根据标尺计算长度和实际长度的比值，更新所有三维点坐标，得到度量空间下的新三维点坐标(x’，y’，z’)；

集束调整上述新三维点坐标(x’，y’，z’)，得到整体优化的三维点坐标。

通过以下公式计算各组图像的三焦点张量：

$x^i{x}^{\′j}{x}^{\′\′k}{\mathrm{\ϵ}}_{\mathrm{iqs}}{\mathrm{\ϵ}}_{\mathrm{krt}}{\mathrm{\Γ}}_i^{\mathrm{qr}}=0_{\mathrm{st}}$

其中{x，x′，x″}为一组对应图像点，x＝(x¹，x²，x³)^T，x′＝(x′¹，x′²，x′³)^T，x″＝(x″¹，x″²，x″³)^T；r＝1，2，3；s＝1，2，3；t＝1，2，3；i＝1，2，3；j＝1，2，3；k＝1，2，3；q＝1，2，3；

张量ε_rst定义为：

其中，Γ_i ^qr为含有27个元素的第i幅图像的三焦点张量。

所述图像每三幅为一组是指按重新排序后每相邻的三幅图像为一组，每组中具有6个以上的相同编码点。

所述图像处理包括以下步骤：

根据输入图像的各个不同编码点的图案确定各编码点的ID号；

根据ID号确定各个编码点在不同图像中的坐标；

所述归一化处理包括以下步骤：

根据相机标定内参数时确立的畸变模型，对重新排序的图像进行处理：即将每组图像的像素坐标{x_d，x′_d，x″_d}转换成二维空间上的平面坐标{x_n，x′_n，x″_n}，得到归一化图像。

所述各组图像的相机外参数矩阵由以下公式计算：

P＝[I|0]

P′＝[[Γ₁，Γ₂，Γ₃]e₃₁|e₂₁]

$P^{\′\′}=\left[(e_{31}{e}_{31}^T-I)\right[{\mathrm{\Γ}}_1^T,{\mathrm{\Γ}}_2^T,{\mathrm{\Γ}}_3^T\left]e_{21}\right|e_{31}]$

其中P、P′、P″为一组图像中三幅图像的外参数矩阵；I为3×3的单位矩阵；Γ_i为第i幅图像的三焦点张量；e_j1为在第j副图像上的对极点；Γ_i ^T为第i幅图像的三焦点张量的转置。

本发明具有以下有益效果及优点：

1.本发明三维点的计算精度高，在3×4m的范围内三维数据点的位置精度可达到0.01mm。与两视图相比，图像使用了景物在三幅视图中的影像，在两视图中，对极几何是三维重建的基础，而本发明方法使用了三视图中的三线性关系和三焦点张量的计算，利用了更多的图像信息，因此能够达到较高计算精度。

2.本发明使用简单、便于操作，只需对放置有编码点和标尺的场景拍摄出清晰的照片，并保证每三幅照片有足够多重复编码点即可。

3.本发明硬件组成简单、便于携带，只需一台便携式数码相机、一台普通的笔记本电脑、一组编码点和标记点以及一根标尺。

附图说明

图1A为本发明方法中使用的编码点示意图；

图1B为本发明方法中使用的标记点示意图；

图2为本发明方法中使用的三视图场景。

具体实施方式

在实施本发明方法之前，需进行以下准备工作：

准备一台普通手持数码相机；一根两端贴有不同图案编码点的标尺，两图案的距离经过严格标定；一套编码点和标记点以及一台普通个人计算机。其中数码相机分辨率为1千万像素以上，并严格标定内参数，主要包括主点和焦距；

如图1A、1B所示，编码点2、标记点1及标尺3的制作如下：每个编码点2由于具有与其他编码点不同的图案使之有唯一的ID号与之对应，本实施例中，编码点外形尺寸为70×70mm，黑色无反光底色，白色环形图案，编码点可以用普通打印机打印出来，然后贴在塑料磁片上，以便于吸附在被测物体上；标记点1的尺寸为18×18mm，黑底色，中间的白色为直径10mm的圆型；3)标尺的两端贴有编码点，这两个编码点只在标尺上使用，这两个编码点的中心点的距离需经严格标定，以保证测量的准确性。

本发明基于三焦点张量的特征点三维重建方法的步骤如下：

1)特征点布置及拍照：

如图2所示，在被测物体表面均匀设置不同特征图案的编码点2，同时在编码点2之间的区域内设置多个具有相同图案的标记点(一般小的圆形标记点之间的距离以5-10mm为宜，具体视被测物体的大小和精度)；在被测物体旁设置标尺，其上可具有两个图案不同的编码点；

用严格标定内参数后的手持数码相机多角度在被测物体周围顺序拍照，须保证每相邻三幅照片之间有重叠编码点区域，重叠区域内要保证有效果清晰的6个以上编码点，且重合区域须在最少三副照片中出现。保证有5张以上的照片包含标尺，每张照片要拍摄清晰，将上述各幅照片输入到计算机进行图像处理得到所有编码点及标记点在各自图像中的坐标{x_d，x′_d，x″_d}；

2)编码点的识别及精确定位：

利用开发的计算机软件，进行图像处理。根据编码点2的不同图案进行识别，即根据输入图像的各个不同编码点的图案确定各编码点的ID号，编码点的中心圆在图像中为椭圆，经过图像处理提取椭圆的轮廓并计算出椭圆的中心，最后获得椭圆中心在图像中的图像坐标。小圆形标记点与编码点中心圆相类似，可用同样的方法得到小圆形标记点的图像坐标。

3)图像序列的重新排布、分组及归一化处理：

根据上述图像坐标{x_d，x′_d，x″_d}按照各幅图像之间重复编码点的多少将所有图像进行重新排序，以保证相邻三幅上有足够多的相同编码点；

搜索各幅图像中的编码点，将具有最多编码点数的图像作为第一幅图像，把与第一幅图像具有最多相同编码点的图像列为第二和第三幅，然后，在其余的图像中搜索与第二和第三幅图像具有最多相同编码点的图像，依次类推，所有图像进行重新排序，使得每相邻的三幅图像之间至少有6个以上的编码点。在排列过程中，如果有图像与相邻图像没有足够的编码点，则该图像不能参与重建计算。将相邻每三幅图像分为一组，例如有图像：a1，a2，a3，a4，a5，a6...an.则分组为：(a1，a2，a3)，(a2，a3，a4)，(a4，a5，a6)...。

将重新排序的图像每三幅为一组进行归一化处理，分别计算各组图像的三焦点张量，得到各组图像的相机外参数矩阵，确定编码点和标记点的三维点坐标；

首先根据相机畸变模型对原图像进行处理：将三幅视图点的像素坐标{x_d，x′_d，x″_d}转换成二维空间上的平面坐标{x_n，x′_n，x″_n}，得到一组新的归一化图像。

4)三焦点张量的计算和相机矩阵的恢复：

分别计算进行归一化处理后各组图像的三焦点张量，得到各组图像的相机外参数矩阵，确定编码点和标记点的三维点坐标。

三焦点张量描述了三幅视图之间与景物结构无关的所有射影几何关系，它由相机矩阵唯一确定，却可以仅由对应的图像坐标算得；在相差一个三维射影变换下，景物结构可以仅由三焦点张量恢复。如附图2所示，X是三维空间中一点，经一组图像中三幅图像的外参数矩阵P，P′，P″投影到视图I、II、III上，得到一组对应图像点{x，x′，x″}。令x＝(x¹，x²，x³)^T，x′＝(x′¹，x′²，x′³)^T，x＝(x″¹，x″²，x″³)^T，于是得到三线性关系：

$x^i{x}^{\′j}{x}^{\′\′k}{\mathrm{\ϵ}}_{\mathrm{iqs}}{\mathrm{\ϵ}}_{\mathrm{krt}}{\mathrm{\Γ}}_i^{\mathrm{qr}}=0_{\mathrm{st}}---\left(1\right)$

其中r＝1，2，3；s＝1，2，3；t＝1，2，3；i＝1，2，3；j＝1，2，3；k＝1，2，3；q＝1，2，3；

张量ε_rst定义为：

Γ_i ^qr是含有27个元素的三焦点张量，只有18个元素是独立的。用给定的三幅图像之间的若干点对应即可产生得方程组的形式为At＝0，其中t是由三焦点张量元素构成的27维向量，由这些方程可以解出三焦点张量的元素。因为Γ有27个元素，所以在相差一个尺度因子下解t需要26个方程，多于26个方程时，则求最小二乘解。

在相差一个射影变换下，像机矩阵可以由三焦点张量恢复(以第一台相机的位置为世界坐标系)：

P＝[I|0]

P′＝[[Γ₁，Γ₂，Γ₃]e₃₁|e₂₁]

$P^{\′\′}=\left[(e_{31}{e}_{31}^T-I)\right[{\mathrm{\Γ}}_1^T,{\mathrm{\Γ}}_2^T,{\mathrm{\Γ}}_3^T\left]e_{21}\right|e_{31}]$

其中P、P′、P″为一组图像中三副图像的外参数矩阵；I为3×3的单位矩阵；Γ_i为第i幅图像的三焦点张量；e_j1为在第j副图像上的对极点；Γ_i ^T为第i幅图像的三焦点张量的转置。

因为{x_n，x′_n，x″_n}去掉了摄像机内参数和畸变的影响，是三维空间点在二维空间的投影，所以由三焦点张量计算得到的基本矩阵(利用根据公式(1))即为本质矩阵E₂₁和E₃₁，此时的摄像机矩阵可以写成如下的归一化形式：

P_n＝[I|0]

P′_n＝[R′|T′]

P″_n＝[R″|T″]                    (2)

公式(2)中的相机旋转矩阵R′和R″、及平移向量的方向t′和t″可以由E₂₁和E₃₁确定。于是，将公式(2)写为：

P_n＝[I|0]

P′_n＝[R′|k′t′]

P″_n＝[R″|k″t″]                      (3)

其中，k′＝||T′||和k″＝||T″||。因为k′和k″是两个未知的尺度因子，所以公式(3)中的P′_n和P″_n不在统一尺度的坐标空间中。要最终实现度量重建，还需统一尺度因子。

5)三维重建：

将各组三维点坐标以重新排序的第一组图像计算的三维点为基准拼合在统一的坐标系下，得到各点在统一坐标系下的三维点坐标(x，y，z)；

6)确定比例

根据标尺计算长度和实际长度的比值，更新所有三维点坐标，得到度量空间下的新三维点坐标(x’，y’，z’)；

令

表示真实场景中三维点的非齐次坐标，根据公式(3)有投影方程：

$x_n=\left[I\right|0]\left[\begin{array}{c}\tilde{X}\\ 1\end{array}\right]$

$x_n^{\′}=\left[R^{\′}\right|t^{\′}]\left[\begin{array}{c}\tilde{X}\\ k^{\′}\end{array}\right]=[R^{\′}\left|t^{\′}\right]\left[\begin{array}{c}\frac{1}{k^{\′}}\tilde{X}\\ 1\end{array}\right]---\left(4\right)$

$x_n^{\′\′}=\left[R^{\′\′}\right|t^{\′\′}]\left[\begin{array}{c}\tilde{X}\\ k^{\′\′}\end{array}\right]=[R^{\′\′}\left|t^{\′\′}\right]\left[\begin{array}{c}\frac{1}{k^{\′\′}}\tilde{X}\\ 1\end{array}\right]$

记 ${\tilde{X}}_1=\frac{1}{k^{\′}}\tilde{X},$ ${\tilde{X}}_2=\frac{1}{k^{\′\′}}\tilde{X},$ 显然

和

是

的两个度量重建，分别位于由{P_n，P′_n}和{P_n，P″_n}定义的度量空间中，

假设有N个空间点，以D^ij表示两个空间点的几何距离，则：

$D_1^{\mathrm{ij}}=\left|\right|X_1^i-X_1^j\left|\right|$

$D_2^{\mathrm{ij}}=\left|\right|X_2^i-X_2^j\left|\right|---\left(5\right)$

为了减小计算误差和噪声的影响，使用所有空间点之间的距离计算比例

$\frac{k^{\′\′}}{k^{\′}}=\frac{1}{\frac{N(N-1)}{2}}\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{N}{\mathrm{\Σ}}}\frac{D_1^{\mathrm{ij}}}{D_2^{\mathrm{ij}}}---\left(6\right)$

在确定了比例

之后，投影方程(4)可以表示为：

$x_n=\left[I\right|0]\left[\begin{array}{c}\tilde{X}\\ k^{\′}\end{array}\right]$

$x_n^{\′}=\left[R^{\′}\right|t^{\′}]\left[\begin{array}{c}\tilde{X}\\ k^{\′}\end{array}\right]$

$x_n^{\′\′}=\left[R^{\′\′}\right|\frac{k^{\′\′}}{k^{\′}}{t}^{\′\′}]\left[\begin{array}{c}\tilde{X}\\ k^{\′}\end{array}\right]---\left(7\right)$

记P_n＝[I|0]，P′＝[R′|t′]， $P^{\′\′}=\left[R^{\′\′}\right|\frac{k^{\′\′}}{k^{\′}}{t}^{\′\′}]$ 和 ${\tilde{X}}_n=\frac{\tilde{X}}{k^{\′}}.$ 此时，统一了度量因子，{P_n，P′_n，P″_n}在同一度量空间中，

是真实空间点的度量重建，与真实空间点

相差一个全局缩放k′：

${\tilde{X}}_n=\frac{1}{2}({\tilde{X}}_1+\frac{k^{\′\′}}{k^{\′}}{\tilde{X}}_2)=\frac{1}{k^{\′}}\tilde{X}---\left(8\right)$

至此，得到了三视图场景的一个度量重建。

7)集束调整：

集束调整度上述新三维点坐标(x’，y’，z’)，得到整体优化的三维点坐标，具体为：

提高重建精度，把当前重建结果作为初始值，还需使用非线性优化方法进行集束调整。集束调整就是优化重建结果以提供整体最优的三维点坐标和相机的参数，可以使最终的参数估计在某一代价函数上取得最小值。假设有n个三维点和m-1个投影矩阵，由于每个摄像机有11个自由度而每个三维空间点有3个自由度，一个涉及m幅视图的n个点的重构需要最小化N＝3n+11m个以上的参数，N维矢量有

集束调整就是改变矢量

的值，使得到的矢量ε的模值最小。

令

ε₀＝f(x₀)，在第k(k＝1，2，...)步迭代中，当自变量有微小的改变Δ时，在点x_k-1处对函数f进行一阶展开：

f(x_k-1+Δ)＝f(x_k-1)+J_k-1Δ+O||Δ||             (9)

其中J_k-1是雅柯比矩阵，即函数f在点x_k-1处的一阶偏导数矩阵。Δ的选取应使f(x_k-1+Δ)的模最小，也就是要使f(x_k-1)+J_k-1Δ的模最小，即Δ应满足下面的线性方程组：

${J_{k-1}}^T{\mathrm{\ϵ}}_{k-1}+{J_{k-1}}^T{J}_{k-1}\mathrm{\Δ}=0---\left(10\right)$

其中，ε_k-1＝f(x_k-1)。设Δ_k-1是上式的解，定义x_k＝x_k-1+Δ_k-1，重复以上过程，直至所求的解收敛，就完成了集束调整。

Claims (4)

1.一种基于三焦点张量的特征点三维重建方法，其特征在于包括以下步骤：

在被测物体表面设置编码点，同时在编码点之间的区域内设置多个标记点；在被测物体旁设置标尺；

用标定内参数后的数码相机多角度拍摄被测物照片，每相邻三幅照片之间有重叠编码点区域，将上述各幅照片输入到计算机进行图像处理得到所有编码点及标记点在各自图像中的坐标{x_d，x′_d，x″_d}；

根据上述图像坐标{x_d，x′_d，x″_d}按照各幅图像之间重复编码点的多少将所有图像进行重新排序，即搜索各幅图像中的编码点，将具有最多编码点数的图像作为第一幅图像，把与第一幅图像具有最多相同编码点的图像列为第二和第三幅，然后，在其余的图像中搜索与第二和第三幅图像具有最多相同编码点的图像，依次类推，所有图像进行重新排序，使得每相邻的三幅图像之间至少有6个以上的编码点，各重新排序的图像每三幅为一组进行归一化处理；

分别计算进行归一化处理后各组图像的三焦点张量，得到各组图像的相机外参数矩阵，确定编码点和标记点的三维点坐标；

将各组三维点坐标以重新排序的第一组图像计算的三维点为基准拼合在统一的坐标系下，得到各点在统一坐标系下的三维点坐标(x，y，z)；

根据标尺计算长度和实际长度的比值，更新所有三维点坐标，得到度量空间下的新三维点坐标(x’，y’，z’)；

集束调整上述新三维点坐标(x’，y’，z’)，得到整体优化的三维点坐标；

通过以下公式计算各组图像的三焦点张量：

$x^i{x}^{\′j}{x}^{\′\′k}{\mathrm{\ϵ}}_{\mathrm{iqs}}{\mathrm{\ϵ}}_{\mathrm{krt}}{\mathrm{\Γ}}_i^{\mathrm{qr}}=0_{\mathrm{st}}$

其中{x，x′，x″}为一组对应图像点，x＝(x¹，x²，x³)^T，x′＝(x′¹，x′²，x′³)^T，x″＝(x″¹，x″²，x″³)^T；r＝1，2，3；s＝1，2，3；t＝1，2，3；i＝1，2，3；j＝1，2，3；k＝1，2，3；q＝1，2，3；

张量ε_rst定义为：

其中，

为含有27个元素的第i幅图像的三焦点张量；

所述各组图像的相机外参数矩阵由以下公式计算：

P＝[I|0]

P′＝[[Γ₁，Γ₂，Γ₃]e₃₁|e₂₁]

$P^{\′\′}=\left[(e_{31}{e}_{31}^T-I)\right[{\mathrm{\Γ}}_1^T,{\mathrm{\Γ}}_2^T,{\mathrm{\Γ}}_3^T\left]e_{21}\right|e_{31}]$

其中P、P′、P″为一组图像中三幅图像的外参数矩阵；I为3×3的单位矩阵；Γ_i为第i幅图像的三焦点张量；e_j1为在第j副图像上的对极点；

为第i幅图像的三焦点张量的转置。

2.按权利要求1所述的基于三焦点张量的特征点三维重建方法，其特征在于：

所述图像每三幅为一组是指按重新排序后每相邻的三幅图像为一组，每组中具有6个以上的相同编码点。

3.按权利要求1所述的基于三焦点张量的特征点三维重建方法，其特征在于：所述图像处理包括以下步骤：

根据输入图像的各个不同编码点的图案确定各编码点的ID号；

根据ID号确定各个编码点在不同图像中的坐标；

4.按权利要求1所述的基于三焦点张量的特征点三维重建方法，其特征在于：所述归一化处理包括以下步骤：

根据相机标定内参数时确立的畸变模型，对重新排序的图像进行处理：即将每组图像的像素坐标{x_d，x′_d，x″_d}转换成二维空间上的平面坐标{x_n，x′_n，x″_n}，得到归一化图像。

Images