CN104048649B - 一种多视影像与三维模型的快速配准方法 - Google Patents

Abstract

本发明属于近景摄影测量领域，涉及一种多视影像与三维模型的快速配准方法，包括拍摄影像、选取立体对应点、建立关系图、解算配准参数的初值、根据最小二乘原则最优化配准参数得到精确的配准参数等步骤。本发明的一种多视影像与三维模型的快速配准方法，针对现有技术的方法实用性大大受到了时间效率和物体表面纹理的限制的缺陷进行改进，取得了革命性的创新。使多视影像与三维模型之间可以快速配准，配准的精度直接影响纹理贴图的质量，精度高，从而使纹理清晰，视觉效果大大提升，满足人们对三维模型的质量提出的更高要求。在近景摄影测量领域具有良好的应用前景。

Description

一种多视影像与三维模型的快速配准方法

技术领域

本发明属于近景摄影测量领域，涉及一种多视影像与三维模型的快速配准方法。

背景技术

随着激光扫描、结构光扫描等快速获得物体三维模型的商业产品的发展，人们对三维模型的质量提出了更高的要求，即附带高清纹理贴图的三维模型。要想获得高清纹理贴图，其首要任务是高清影像与三维模型的配准，而配准中最关键的问题是配准的精度和配准的速度。配准的精度直接影响纹理贴图的质量，精度不高会造成较大的纹理错位，严重影响视觉效果；配准的速度则直接关系到方法的实用性，若配准时间远远大于激光扫描的时间，则将严重影响三维重建的效率。

在传统的方法中，包括一种基于点、线结合的单张影像与三维模型配准的方法，其方法分别在影像和三维模型上提取特征点、特征线，然后通过某种手动、半自动或者自动的方法找到影像和三维模型的特征点线之间的对应关系，最后通过基于广义点的后方交会，得到单张影像的配准参数。首先，这种方法需要逐影像与三维模型进行配准，效率低；其次，在三维模型的曲率变化较大时，并不容易直接找到影像与三维模型之间的特征点线对应；再次，当三维模型在影像上的分布不均匀或者影像视角很小时，配准参数的解将十分不稳定。因此，这种方法仍然停留在实验室阶段，在实际应用中并不总是能够得到好的效果。

在传统的方法中，还包括一种基于摄影测量点云和三维模型配准的方法，其方法首先通过空三匹配、空中三角测量得到影像的内外方位元素，然后通过密集匹配得到物体的三维点云，然后利用ICP及其变种算法得到点云与三维模型之间的配准参数，最后结合空三参数传递得到影像的配准参数。首先，这种方法效率很低，其整个流程的时间远远大于激光扫描、结构光扫描等三维重建所需要的时间；其次，空三匹配是地形摄影测量中的核心技术之一，照搬到近景摄影测量中会存在大量的失败情况；再次，生成密集匹配点云要求物体有足够丰富的纹理，缺乏纹理的物体、镜面反光的物体、具有重复纹理的物体都将导致密集匹配失败。因此，这种方法是实用性大大受到了时间效率和物体表面纹理的限制。

发明内容

本发明的目的是针对现有技术的方法实用性大大受到了时间效率和物体表面纹理的限制的缺陷，提供一种多视影像与三维模型的快速配准方法。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

本发明所提出的多视影像与三维模型的快速配准方法中，配准原理基本思想如下：

首先，获取物体摆放在标定板上的影像，利用标识点信息，解算出相机的内方位元素和外方位元素，称为初始参数，其中外方位元素代表同一个影像组内各影像之间的相对位置关系；其次，在影像和三维模型上选立体对应点，通过前方交会的方法得到同一个影像组内的立体点；然后，通过绝对定向的方法，得到所有影像组的配准参数；最后，利用最小二乘方法，精化配准参数。

相机标定首先假设相机的成像模型符合模型公式①，称为带有相机畸变参数的共线条件方程，其中x₀、y₀、f_x、f_y、k₁、k₂、p₁、p₂称为内方位元素，称为外方位元素,x、y是像点坐标，X、Y、Z是三维物方点坐标，像点坐标和物方点坐标是已知值，内外方位元素是未知参数，所有的影像共用一组内方位元素，每一张影像有一组单独的外方位元素。

$\left\{\begin{array}{c}x-\mathrm{\Δ}x-x_0=-f_x\frac{\stackrel{\‾}{X}}{\stackrel{\‾}{Z}}=-f_x\frac{r_{11}(X-X_S)+r_{12}(Y-Y_S)+r_{13}(Z-Z_S)}{r_{31}(X-X_S)+r_{32}(Y-Y_S)+r_{33}(Z-Z_S)}\\ y-\mathrm{\Δ}y-y_0=-f_y\frac{\stackrel{\‾}{Y}}{\stackrel{\‾}{Z}}=-f_y\frac{r_{21}(X-X_S)+r_{22}(Y-Y_S)+r_{23}(Z-Z_S)}{r_{31}(X-X_S)+r_{32}(Y-Y_S)+r_{33}(Z-Z_S)}\\ \mathrm{\Δ}x=(x-x_0)(k_1{r}^2+k_2{r}^4)+p_1(r^2+2{\left(x-x_0\right)}^2)+2p_2\left(x-x_0\right)\left(y-y_0\right)\\ \mathrm{\Δ}y=(y-y_0)(k_1{r}^2+k_2{r}^4)+p_2(r^2+2{\left(y-y_0\right)}^2)+2p_2\left(x-x_0\right)\left(y-y_0\right)\end{array}\right.$ …………①

在假设k₁＝k₂＝p₁＝p₂＝0、f_x＝f_y＝f且Z＝0时，公式①可以简化成公式②的形式，

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\∝\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]\∝\left[\begin{array}{ccc}-f& & x_0\\ & -f& y_0\\ & & 1\end{array}\right]\left[\begin{array}{ccc}{r}_{11}& r_{12}& t_1\\ r_{21}& r_{22}& t_2\\ r_{31}& r_{32}& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$ ………………②

其中，

$\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]=\left[\begin{array}{c}-(r_{11}{X}_S+r_{12}{Y}_S+r_{13}{Z}_S)\\ -(r_{21}{X}_S+r_{22}{Y}_S+r_{23}{Z}_S)\\ -(r_{31}{X}_S+r_{32}{Y}_S+r_{33}{Z}_S)\end{array}\right]$ ………………………………………………③

根据公式②推出公式④， $\left[\begin{array}{ccc}{r}_{11}& r_{12}& t_1\\ r_{21}& r_{22}& t_2\\ r_{31}& r_{32}& t_3\end{array}\right]\∝\left[\begin{array}{ccc}-(h_{11}-x_0{h}_{31})/f& -(h_{12}-x_0{h}_{32})/f& -(h_{13}-x_0{h}_{33})/f\\ -(h_{21}-y_0{h}_{31})/f& -(h_{22}-y_0{h}_{32})/f& -(h_{23}-y_0{h}_{33})/f\\ h_{31}& h_{32}& h_{33}\end{array}\right]$ ……④

因为R矩阵是旋转矩阵，满足r₁₁r₁₂+r₂₁r₂₂+r₃₁r₃₂＝0，可以推出公式⑤，

$f^2=-\frac{(h_{11}-x_0{h}_{31})(h_{12}-x_0{h}_{32})+(h_{21}-y_0{h}_{31})(h_{22}-y_0{h}_{32})}{h_{31}{h}_{32}}$ ……………………⑤

因为R矩阵同样满足(r₁₁)²+(r₂₁)²+(r₃₁)²＝(r₁₂)²+(r₂₂)²+(r₃₂)²，可以推出公式⑥，

$f^2=-\frac{{(h_{11}-x_0{h}_{31})}^2-{(h_{12}-x_0{h}_{32})}^2+{(h_{21}-y_0{h}_{31})}^2-{(h_{22}-y_0{h}_{32})}^2}{{\left(h_{31}\right)}^2-{\left(h_{32}\right)}^2}$ ………………⑥

根据条件⑤＝⑥，推出公式⑦，

$\left\{\begin{array}{c}{\mathrm{Ax}}_0+{\mathrm{By}}_0+C=0\\ A=\[{\left(h_{31}\right)}^2+{\left(h_{32}\right)}^2\](h_{11}{h}_{32}-h_{12}{h}_{31})\\ B=\[{\left(h_{31}\right)}^2+{\left(h_{32}\right)}^2\](h_{21}{h}_{32}-h_{22}{h}_{31})\\ C=-(h_{11}{h}_{31}+h_{12}{h}_{32})(h_{11}{h}_{32}-h_{12}{h}_{31})-(h_{21}{h}_{31}+h_{22}{h}_{32})(h_{21}{h}_{32}-h_{22}{h}_{31})\end{array}\right.$ …………⑦

在已知像点坐标和物方点坐标的条件下，基于标定板的相机标定的步骤是：1)通过公式②的左半部分，对于每一张影像，求解一个H矩阵；2)当影像数大于等于2时，即有大于等于2个H矩阵，通过公式⑦求解得到x₀、y₀的初值；3)通过公式⑤或者⑥求解每一张影像的f，由于f代表焦距，这里开平方后只取正值，对所有影像的f取平均，得到f的初值；4)通过公式③和④，并结合R矩阵为旋转矩阵的性质，求解得到每一张影像的r₁₁～r₃₃、X_S、Y_S、Z_S的初值；5)将1)至4)步求解的内外方位元素作为初值，利用公式①做光束法平差，得到内外方位元素的精确值。

在同一个影像组的多张影像上选取了立体像点，且已经做完了相机标定之后，公式①中，像点坐标x、y，内方位元素x₀、y₀、f_x、f_y、k₁、k₂、p₁、p₂，外方位元素r₁₁～r₃₃、X_S、Y_S、Z_S都是已知值，物方点坐标X、Y、Z是未知数，利用公式①可直接求解物方点坐标，这个过程称为前方交会，前方交会的结果是该影像组的立体点。

得到影像组的立体点与三维模型上的点的对应关系后，即得到了立体对应点，可以利用公式⑧求解绝对定向参数r′₁₁～r′₃₃、X_T、Y_T、Z_T、λ，分别称为旋转矩阵R’，平移向量T，和缩放尺度λ，在尺度相同的情况下可以限定λ＝1。其中，X_O、Y_O、Z_O是三维模型(Object)上的三维点坐标，X_I、Y_I、Z_I是影像组(ImageGroup)前方交会得到的立体点坐标。

$\left[\begin{array}{c}{X}_O\\ Y_O\\ Z_O\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right]\left[\begin{array}{c}{X}_I\\ Y_I\\ Z_I\end{array}\right]+\left[\begin{array}{c}{X}_T\\ Y_T\\ Z_T\end{array}\right]$ …………………………………………⑧

求解得到绝对定向参数之后，可以利用公式⑨对初始参数(修正外方位元素，内方位元素不需要修正)r₁₁～r₃₃、X_S、Y_S、Z_S进行修正，得到配准参数r″₁₁～r″₃₃、X″_S、Y″_S、Z″_S。

$\left\{\begin{array}{c}\left[\begin{array}{ccc}{r}_{11}^{\′\′}& r_{12}^{\′\′}& r_{13}^{\′\′}\\ r_{21}^{\′\′}& r_{22}^{\′\′}& r_{23}^{\′\′}\\ r_{31}^{\′\′}& r_{32}^{\′\′}& r_{33}^{\′\′}\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right]\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\\ \left[\begin{array}{c}{X}_S^{\′\′}\\ Y_S^{\′\′}\\ Z_S^{\′\′}\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right]\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\end{array}\right]+\left[\begin{array}{c}{X}_T\\ Y_T\\ Z_T\end{array}\right]\end{array}\right.$ ………………………………⑨

最后，将配准参数作为初值，带入公式⑧中线性化，做整体最小二乘平差，得到最终的配准参数。

利用公式⑧解算绝对定向参数的初值的难点在于它是一个非线性方程，需要迭代求解，而迭代算法一般需要较好的初值，本发明使用的方法是：1)对X_O、Y_O、Z_O和X_I、Y_I、Z_I重心化；2)根据坐标到重心的距离，计算缩放尺度，并将X_I、Y_I、Z_I缩放到与X_O、Y_O、Z_O相同的尺度；3)利用单位四元数方法迭代求解旋转矩阵，单位四元数具有无初值依赖的优点；4)利用缩放尺度和旋转矩阵，线性求解平移向量。

解算每一个影像组的初始配准参数有一个解算顺序，图6显示的是一个示例，有4个影像组，其中虚线代表两者之间的立体对应点数量不足3个，实线代表数量大于等于3个，在图6的情况下，解算顺序是：1)在与三维模型之间有足够的立体对应点的条件下，找到影像组1，解算其配准参数；2)按照1)的条件找到下一个影像组3，解算其配准参数；3)此时没有下一个满足1)的条件，在满足未配准影像组与已配准影像组之间有足够的立体对应点的条件下，找到影像组2，解算其配准参数；4)按照3)的条件找到影像组4，解算其配准参数；此时不存在未配准影像组，结束。

本发明运用此原理，给出一套完整的多视影像与三维模型的快速配准方法，包括如下步骤：

A.将三维模型对应的实物摆放在标定板上，用数码相机对准实物绕标定板一周拍摄不同角度的影像，照片数量以10至20张为宜；

B.将实物换一种摆放姿势，以把未拍摄到的部分暴露出来，按照上一步骤，拍摄一周影像，根据需要换多种摆放姿势重复上一步骤，以2至4种摆放姿势为宜；

C.利用拍摄的所有影像，做基于平面标定板的相机标定，解算出相机的内方位元素和外方位元素，称为初始参数；

D.将所有的影像进行分组，以实物在标定板上的摆放姿态相同为一组，称为一个影像组，在影像组与三维模型之间、影像组与影像组之间选取立体对应点；

E.所有影像组与三维模型之间根据立体对应点建立关系图，根据广度优先的原则，结合初始参数解算所有影像组与三维模型之间的配准参数的初值；

F.利用所有立体对应点，根据最小二乘原则最优化配准参数，得到精确的配准参数。

步骤A所述的标定板是一种印刷或粘贴有圆形标识点的平面刚性板，包括两种标识点位分布图，如图2、图3。

步骤C所述的初始参数解算方法，包括：(1)自动提取圆形标识点；(2)标识点自动编号；(3)利用二维射影变换分解影像的内方位元素和外方位元素初值；(4)利用光束法平差解算内方位元素和外方位元素的精确值，作为影像组的初始参数。

步骤D所述的立体对应点选取，包括：(1)在同一个影像组内选取特征对应像点，其中在多张影像上的特征对应像点称为一个立体像点，一个影像组内的立体像点应分布均匀；(2)在三维模型上选取立体像点的对应点；(3)在一个影像组内，选取另一个影像组的立体像点的对应立体像点。所有的选取方法不限于手动选取、半自动选取或者自动选取，影像组与三维模型之间的对应点、影像组与影像组之间的对应立体像点统称为立体对应点。

步骤E所述的配准参数的初值的解算方法，包括：(4)利用初始参数和立体像点，通过前方交会解算出同一个影像组内的立体点；(5)如果一组影像组与三维模型之间的立体对应点数量大于等于3个，则通过绝对定向解算出该影像组与三维模型的配准参数的初值；(6)重复步骤(5)直到所有与三维模型的立体对应点数量大于等于3个的影像组都解算出了配准参数的初值，得到配准参数初值的影像组称为已配准影像组，否则称为未配准影像组；(7)如果一个未配准影像组与一个已配准影像组之间的立体对应点数量大于等于3个，则通过绝对定向解算出该未配准影像组的配准参数的初值；(8)重复步骤(5)直到所有与一个已配准影像组之间的立体对应点数量大于等于3个未配准影像组都解算出配准参数的初值；(9)如果仍然存在未配准影像组，则继续选取立体对应点，直到数量足够为止，如果不存在未配准影像组，则结束。

步骤F所述的配准参数的最小二乘解算方法，包括：(10)对所有的立体对应点，结合配准参数的初值，列线性化的误差方程；(11)对误差方程法化，并求解配准参数的改正数；(12)将改正数附加到配准参数的初值上；(13)返回步骤(10)，直到配准参数的改正数都小于某一限定值，得到配准参数的精确值。

本发明的一种多视影像与三维模型的快速配准方法，针对现有技术的方法实用性大大受到了时间效率和物体表面纹理的限制的缺陷进行改进，取得了革命性的创新。使多视影像与三维模型之间可以快速配准，配准的精度直接影响纹理贴图的质量，精度高，从而使纹理清晰，视觉效果大大提升，满足人们对三维模型的质量提出的更高要求。在近景摄影测量领域具有良好的应用前景。

附图说明

图1为本发明的多视影像与三维模型的快速配准方法的流程图。

图2为一种标识点的格网状分布示意图。

图3为一种标识点的环形分布示意图。

图4为物体的两种摆放姿势示意图。

图5为相机拍摄位置示意图。

图6为影像组与三维模型关系与解算顺序示意图。

图7为影像与三维模型之间的对应点示意图。

具体实施方式

下面结合附图和具体实施方式详细介绍本发明。

下面是多视影像与三维模型快速配准的具体步骤：

一、数据获取(室外或室内)

1.获取物体的三维模型，不限于用激光扫描仪、结构光扫描仪或者其他方法。

2.制作一个标定板，可以印刷到金属板、陶瓷板、木板或者打印到白纸上。

3.将三维模型所对应的实物以一个姿势放在标定板上，绕物体一周拍摄若干张照片。

4.将实物换几种摆放姿势，再次拍摄若干张照片，直到不留死角为止。

二、将数据导入软件中

5.新建工程，导入三维模型，导入所有影像。

6.按照物体的摆放姿势，将影像分成若干个影像组。

三、选立体对应点

7.在三维模型上选择一个点，在第一个影像组中的至少两张影像上选则该点的对应点，作为1个立体对应点。

8.重复步骤7，在第一个影像组和模型之间选取至少3个相距较远的立体对应点。

9.重复步骤8，在所有的影像组和模型之间选取立体对应点。

10.如果有些影像组与模型之间的公共区域内没有明显的特征点，则在影像组与已经与三维模型有足够的立体对应点的影像组之间选取3个以上的立体对应点。

四、相机标定

11.此步骤可以和步骤三交换顺序。

12.点击相机标定按钮，自动进行相机标定。

五、导入参数、计算和导出参数

13.在影像组上面右键鼠标，导入相机标定参数。

14.在工具栏内点击“计算”按钮，解算配准参数。

15.在工具栏内点击“导出”按钮，导出配准参数。导出的配准参数可供高清纹理映射程序使用。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (5)

1.一种多视影像与三维模型的快速配准方法，其特征在于：包括如下步骤，

A.将三维模型对应的实物摆放在标定板上，用数码相机对准实物绕标定板一周拍摄不同角度的影像；

B.将实物换一种摆放姿势，以把未拍摄到的部分暴露出来，按照步骤A，拍摄一周影像，根据需要换多种摆放姿势重复步骤A；

C.利用步骤A与步骤B所拍摄的所有影像，做基于平面标定板的相机标定，解算出相机的内方位元素和外方位元素，称为初始参数；

D.将步骤A与步骤B所拍摄的所有的影像进行分组，以实物在标定板上的摆放姿态相同为一组，称为一个影像组，在影像组与三维模型之间、影像组与影像组之间选取立体对应点；

E.所有影像组与三维模型之间根据立体对应点建立关系图，根据广度优先的原则，结合初始参数解算所有影像组与三维模型之间的配准参数的初值；

F.利用所有立体对应点，根据最小二乘原则最优化配准参数，得到精确的配准参数。

2.如权利要求1所述的一种多视影像与三维模型的快速配准方法，其特征在于：步骤D中的立体对应点的选取步骤，包括，

(1)在同一个影像组内选取特征对应像点，其中在多张影像上的特征对应像点称为一个立体像点，一个影像组内的立体像点应分布均匀；

(2)在三维模型上选取立体像点的对应点；

(3)在一个影像组内，选取另一个影像组的立体像点的对应立体像点，所有的选取方法包括手动选取或半自动选取或者自动选取；

其中，影像组与三维模型之间的对应点、影像组与影像组之间的对应立体像点统称为立体对应点。

3.如权利要求1所述的一种多视影像与三维模型的快速配准方法，其特征在于：步骤E中，具体步骤包括，

(4)利用初始参数和立体像点，通过前方交会解算出同一个影像组内的立体点；

(5)如果一组影像组与三维模型之间的立体对应点数量大于等于3个，则通过绝对定向解算出该影像组与三维模型的配准参数的初值；

(6)重复步骤(5)直到所有与三维模型的立体对应点数量大于等于3个的影像组都解算出了配准参数的初值，得到配准参数初值的影像组称为已配准影像组，否则称为未配准影像组；

(7)如果一个未配准影像组与一个已配准影像组之间的立体对应点数量大于等于3个，则通过绝对定向解算出该未配准影像组的配准参数的初值；

(8)重复步骤(5)直到所有与一个已配准影像组之间的立体对应点数量大于等于3个未配准影像组都解算出配准参数的初值；

(9)如果仍然存在未配准影像组，则继续选取立体对应点，直到数量足够为止，如果不存在未配准影像组，则结束。

4.如权利要求1所述的一种多视影像与三维模型的快速配准方法，其特征在于：配准参数的最小二乘解算方法包括，

(10)对所有的立体对应点，结合配准参数的初值，列线性化的误差方程；

(11)对误差方程法化，并求解配准参数的改正数；

(12)将改正数附加到配准参数的初值上；

(13)返回步骤(10)，直到配准参数的改正数都小于某一限定值，得到配准参数的精确值。

5.如权利要求1所述的一种多视影像与三维模型的快速配准方法，其特征在于：步骤A中照片数量为10至20张；步骤B中以2至4种摆放姿势。