CN103426190A - 图像重构的方法及系统 - Google Patents

Abstract

本发明公开了一种图像重构的方法，先获取同一场景的至少三幅图像，选取相邻两幅图像I_i与图像I_（i+1）对所述场景进行初始重构之后，利用图像I_（i+1）与选取的与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除重构过程中所产生的重复重构点，同时本发明还公开了一种图像重构系统。利用本发明，可提高图像重构的精度及准确度，评估过程简单实用。

Description

图像重构的方法及系统

技术领域

本发明涉及到机器视觉技术，具体涉及到空间中场景图像的图像重构方法及系统。

背景技术

目前，获取空间中某一个场景图像的三维信息的方法大致划分为以下两种：一种是通过主动扫描该场景来获取该场景的三维信息，为主动技术；另一种是通过建立的与该场景的三维信息有关的模型并求解该模型中的参数的方法来获取该场景的三维信息，为被动技术。在上述被动技术中，运动恢复形状法（SFM，Shape From Motion）因其具有只使用一台摄像机就能完成场景图像重构的优势，而得到了广泛的应用。

所述SFM的基本原理是：利用一台摄像机对同一个场景拍摄两次以上，并得到相应数量的图像，该场景中的某些三维点可在每一幅图像上找到一个与之相对应的二维坐标点，利用上述模型及某两个图像上的二维坐标匹配点，即可重构出与所述二维坐标匹配点对应的空间三维点。

这里，SFM方法可包括以下两种实现方式：一种是因数分解方法；另一种是序贯式方法。其中，因数分解方法虽然重构精度高，能够允许少数点在图像中的缺失，但是要求同一个重构点（场景图像的空间三维点）必须在每幅图像中均出现。而序贯式方法因不需要重构点必须可见的约束，所以计算量适中，大大节省了运算资源；但有时，序贯式方法对一些三维点中的同一个三维点并非只进行一次重构，而是进行多次重构，降低了图像重构的准确性及重构精度。

发明内容

有鉴于此，本发明的主要目的在于提供一种图像重构方法及系统，可降低重构工作量、提高图像重构的精度及准确性。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种图像重构的方法，所述方法包括：

获取同一场景的至少三幅图像；

选取相邻的两幅图像I_i与图像I_（i+1）对所述场景进行初始重构；

利用图像I_（i+1）与选取的与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除所述场景中的重复重构点；

其中，i为正整数且i≤N-2、N为获取到的图像的总数量。

上述方案中，所述选取相邻的两幅图像I_i与图像I_（i+1）对所述场景进行初始重构，包括：

对所述图像I_i及图像I_（i+1）的匹配点进行分类；

筛选出所述分类中正常匹配点中的正确匹配点，以及所述分类中问题点中的正确匹配点；

利用规范化八点法、随机采样一致性RANSAC及奇异值分解SVD方法，重构所述图像I_i及图像I_（i+1）中所述正确匹配点对应的所述场景的空间三维点。

上述方案中，所述利用图像I_（i+1）与选取的另一幅与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除所述场景中的重复重构点，包括：

图像I_（i+1）及图像I_（i+2）的匹配点进行分类；

筛选出所述分类中第一类匹配点中的正确匹配点，以及第二类匹配点中的正确匹配点；

利用RANSAC及SVD方法，重构所述图像I_（i+1）及图像I_（i+2）中的所述正确匹配点对应的所述场景的空间三维点，并删除重复重构点。

上述方案中，所述删除重复重构点，包括：

将在摄像机不同拍摄位置重构过的空间三维点的坐标平均值作为重构点重心，确定经过摄像机的当前位置和所述重心的第一射线，以及经过摄像机的其它位置和所述重心的第二射线，再求取第一射线与第二射线之间的夹角；

当前新增图像为图像I_m，当m/3的余数为0且所述夹角小于等于60°时，对第2、3、6、9…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息与之前的图像I_r所保存的有关信息分别作比对，并去除重复的重构点所对应的匹配点；

或者，当m/3的余数为1且所述夹角小于等于60°时，对第2、4、7、10…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息与之前所保存的图像I_r的有关信息分别作比对，并去除重复的重构点所对应的匹配点；

或者，当m/3的余数为2且所述夹角小于等于60°时，对第2、5、8、11…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息与之前所保存的图像I_r的有关信息分别作比对，并去除重复的重构点所对应的匹配点；

其中，m≥3、r＝2、3…m-1；所述当前图像I_m的有关信息包括：当前图像I_m与图像I_（m-1）、或图像I_（m+1）与图像I_m重构的空间三维点所对应的匹配点；所述图像I_r的有关信息包括：图像I_r与图像I_（r-1）、或图像I_（r+1）与图像I_r重构的空间三维点所对应的匹配点。

上述方案中，所述方法还包括：

利用Hessian矩阵提取放置于场景中的靶标的角点坐标；

利用所述角点坐标估计出靶标的角度及边长比，并比较估计出的角度与实际靶标的角度、以及边长比与实际靶标的边长比的大小。

本发明还提供了一种图像重构系统，所述系统包括：获取单元、第一选取单元、初始重构单元、第二选取单元及重构单元；其中，

所述获取单元，用于获取同一场景的至少三幅图像；

所述第一选取单元，用于选取相邻的两幅图像I_i与图像I_（i+1）；

所述初始重构单元，用于将选取的所述图像I_i与图像I_（i+1）对所述场景进行初始重构；

所述第二选取单元，用于另选取与所述图像I_（i+1）相邻的图像I_（i+2）；

所述重构单元，用于利用所述图像I_（i+1）及图像I_（i+2）对所述场景进行重构，并删除所述场景中的重复重构点；

其中，i为正整数且i≤N-2、N为获取到的图像的总数量。

上述方案中，所述获取单元，用于至少改变三次摄像机的拍摄位置，每改变一次摄像机的拍摄位置，拍摄到一幅图像。

上述方案中，所述初始重构单元包括：第一分类子单元、第一处理子单元及第一重构子单元；其中，

所述第一分类子单元，用于对所述图像I_i及图像I_（i+1）的匹配点进行分类；

第一处理子单元，用于筛选出所述分类中正常匹配点中的正确匹配点，以及所述分类中问题点中的正确匹配点；

第一重构子单元，用于利用规范化八点法、随机采样一致性RANSAC及奇异值分解SVD方法，重构所述图像I_i及图像I_（i+1）中所述正确匹配点对应的所述场景的空间三维点。

上述方案中，所述重构单元，所述重构单元包括：第二分类子单元、第二处理子单元及第二重构子单元；其中，

所述第二分类子单元，用于将图像I_（i+1）及图像I_（i+2）的匹配点进行分类；

所述第二处理子单元，用于筛选出所述分类中的第一类匹配点中的正确匹配点、以及第二类匹配点中的正确匹配点；

所述第二重构子单元，用于利用RANSAC及SVD方法，重构所述图像I_（i+1）及图像I_（i+2）中的所述正确匹配点对应的所述场景的空间三维点，并删除重复重构点。

本发明提供的图像重构方法及系统，先获取同一场景的至少三幅图像，选取相邻两幅图像I_i与图像I_（i+1）对所述场景进行初始重构之后，利用图像I_（i+1）与选取的与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除重构过程中所产生的重复重构点。利用本发明的技术方案，通过对匹配点进行分类，方便了筛选出分类中的正确匹配点，加快了随机采样一致性（RANSAC，RANdom SAmple Consensus）方法筛选正确匹配点的速度，进而节省了运算时间，提高了重构的精度及准确度；通过去除重复重构点有效去除了问题点对重构的不利影响。此外，利用本发明的技术方案，可对重构方法实现简单、方便的性能评估，与现有技术中通过比较摄像机实际位置来衡量重构准确度的方法相比更有实际意义。

附图说明

图1为本发明实施例的图像重构方法的实现流程示意图；

图2为图像坐标系示意图；

图3（a）、3（b）为本发明实施例的图像重构方法的实现流程示意图一；

图4为本发明实施例的图像重构方法的实现流程示意图二；

图5为本发明实施例的图像的有关信息的示意图；

图6本发明图实施例的像重构系统的组成结构示意图；

图7为本发明实施例的图像重构评估方法的实现流程示意图；

图8（a）、（b）为本发明实施例的场景的示意图；

图9为靶标边长比及夹角的示意图；

图10为本发明实施例的图像重构评估系统的组成结构示意图。

具体实施方式

本发明实施例提供了一种图像重构的方法，如图1所示，所述方法包括：

步骤1：获取同一场景的至少三幅图像。

这里，至少改变三次摄像机的拍摄位置，在摄像机的不同拍摄位置，对同一个场景进行一次拍摄，得到一个相应图像；每两个拍摄位置之间的距离要在设定的范围内，也就是说，多次拍摄得到的图像之间要有关联场景。

基于摄像机的对所述场景的顺次拍摄，标识所拍摄到的图像依次为图像I₁、图像I₂、图像I₃…图像I_N；其中，N为大于等于3的正整数。

步骤2：选取所述至少三幅图像中的相邻两幅图像I_i与I_（i+1）作为初始重构的对象，并利用所述对象对所述场景进行初始重构。

这里，i为正整数，且i≤N-2，N为摄像机拍摄到的总图像数量。

本实施例中，选取图像I₁与图像I₂作为初始重构的对象，并利用图像I₁及图像I₂对所述场景进行初始重构。

具体的，图像I₁与图像I₂要有统一的坐标系，这里以拍摄图像I₁时摄像机的位置为世界坐标系的原点，则摄像机模型如公式（1）所示：

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\[R|t\]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]---\left(1a\right)$

$A=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]---\left(1b\right)$

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(2\right)$

其中，[X,Y,Z,1]^T是在世界坐标系下所述场景中的任意一个空间三维点的坐标，是需要求得的参量；[u,v,1]^T是在所拍摄到的图像上与所述空间三维点相对应的二维点坐标，所述空间三维点（重构点）是依据多幅图像中的该二维点坐标而求得，具体求解方法请参见后续技术方案；[R|t]是摄像机的运动矩阵；R是旋转矩阵，可视为摄像机坐标系下坐标相对于世界坐标系下坐标的旋转角度；R为3×3正交单位矩阵，R的表达式如公式（1a）所示； $t={\left[\begin{array}{ccc}{t}_1& t_2& t_3\end{array}\right]}^T$ 是摄像机坐标系下坐标相对于世界坐标系下坐标的平移，为3×1平移向量；λ是尺度因子；P＝A[R|t]是摄像机的投影矩阵，公式（1）写成含有投影矩阵P的形式如公式（2）所示；A摄像机内部参数，可通过张正友标定或者可交换图像文件（EXIF，Exchangeable Image File）信息而得到，如公式（1b）所示，是一个3×3的矩阵。

图2为图像坐标系示意图，如图2所示，在公式（1b）中，f_u为图像坐标系下横轴u轴上的摄像机焦距(单位为像素)，f_v为图像坐标系下纵轴v轴上的摄像机焦距；(u₀,v₀)代表摄像机光轴与图像平面的交点O1。

利用尺度不变特征匹配（SIFT，Scale-Invariant Feature Transform）算法分别进行图像I₁及图像I₂的特征点提取；再将提取到的该两幅图像的特征点进行匹配，得到匹配点（通常以对为单位）；并将匹配点划分为正常匹配点及问题点；其中，特征点是在图像中具有一定特征的点，如灰度变化大的点、角点、边缘点等；所述正常匹配点是在两幅图像中均出现的一对一的特征点；所述问题点为两幅图像中出现的一对多的或多对一的匹配点；在进行上述分类时，每幅图像中有重复提取的特征点时将多次重复提取的特征点作为一个特征点且归类于正常匹配点中。

在步骤2中，将利用图像I₁及图像I₂的正常匹配点中的正确匹配点、问题点中的正确匹配点对该正确匹配点所对应的空间三维点进行重构，那么首先就应该筛选出该正确匹配点。

接下来，分别对图像I₁及图像I₂中的特征点进行畸变校正；如公式（3）所示：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+t---\left(3\right)$

其中，x＝(u-u₀)f_u、y＝(v-v₀)f_v、z＝f_uf_v是任意一个空间三维点在摄像机坐标系下的坐标。

引入公式（4）及公式（5），得到畸变校正后的图像坐标下的二维坐标点（u^*，v^*）如公式（6）及公式（7）所示：

x''＝x'(1+k₁r²+k₂r⁴)+2p₁x'y'+p₂(r²+2x'²)    （4）

y''＝y'(1+k₁r²+k₂r⁴)+p₁(r²+2y'²)+2p₂x'y'    （5）

u^*＝f_u·x''+u₀    （6）

v^*＝f_v·y''+v₀    （7）

其中，x'＝x/z、y'＝y/z，r²＝x'²+y'²；k₁和k₂摄像机镜头的径向形变系数；p₁和p₂是摄像机镜头的切向形变系数，均通过张正友标定而获得；上述畸变过程中所使用的参数统称为畸变参数，该畸变参数可以对拍摄的图像进行校正，使得图像坐标值（二维坐标点）变得更加精确。

上述畸变校正后，对正常匹配点用规范化八点法及RANSAC方法求取正常匹配点的基本矩阵F，并筛选出正常匹配点中的正确匹配点。

具体的，结合图3（a）、3（b），说明求取基本矩阵F及筛选出正常匹配点中的正确匹配点的处理过程，包括以下步骤：

步骤20：当前迭代次数L下，随机选出k组匹配点（匹配点组）；并利用步骤20a～步骤20c计算基本矩阵F；

其中，L为正整数，可预先设置。

步骤20a：对正常匹配点集合中的图像坐标进行坐标变换。

具体的，如图像I₁中的二维点坐标（u^*，v^*）、图像I₂中的二维点坐标（u^*'，v^*'）、进行公式（6a）及（7a）的坐标变换：

$\left(\begin{array}{c}{{\tilde{u}}_i}^{*}\\ {{\tilde{v}}_i}^{*}\\ 1\end{array}\right)=T\left(\begin{array}{c}{u_i}^{*}\\ {v_i}^{*}\\ 1\end{array}\right)---\left(6a\right)$

$\left(\begin{array}{c}{{\tilde{u}}_i}^{*\′}\\ {{\tilde{v}}_i}^{*\′}\\ 1\end{array}\right)=T^{\′}\left(\begin{array}{c}{u_i}^{*\′}\\ {v_i}^{*\′}\\ 1\end{array}\right)---\left(7a\right)$

这里，所述（u^*，v^*）和（u^*'，v^*'）为对应于所述场景中的同一个三维点，也就是说，上述两个二维坐标点是该三维点在不同图像中的二维坐标表示。

步骤20b：求解基本矩阵F的归一化矩阵F^*。

具体的，由于存在有

这一关系，同时还可以将该关系写成a^Tf＝0的形式；其中 $a={\left[\begin{array}{ccccccccc}{u}^{*}{u}^{*\′}& v^{*}{u}^{*\′}& u^{*\′}& u^{*}{v}^{*\′}& v^{*}{v}^{*\′}& v^{*\′}& u^{*}& v^{*}& 1\end{array}\right]}^T$ 、 $f={\left[\begin{array}{ccccccccc}{f}_{11}& f_{12}& f_{13}& f_{21}& f_{22}& f_{23}& f_{31}& f_{32}& f_{33}\end{array}\right]}^T$ 、f_ij是基本矩阵F的第i行j列元素（i、j均为正整数且小于等于3）；因为矩阵a^Ta的最小特征值所对应的特征向量即为基本矩阵F的解，所以对基本矩阵F进行奇异值分解（SVD，Singular ValueDecomposition）为F＝UDV^T＝Udiag(s₁,s₂,s₃)V^T，并令s₃＝0可得到F^*＝UDV^T＝Udiag(s₁,s₂,0)V^T；

这里，diag(s₁,s₂,s₃)为对角矩阵，矩阵U及矩阵V的表达式请参见线性代数中对SVD的解释，这里不再赘述。

步骤20c：对步骤20b求得的基本矩阵F的归一化矩阵F^*进行F＝(T')^TF^*T的反变换，得到基本矩阵F。

其中， $x_{\mathrm{ir}}=\left(\begin{array}{c}{{\tilde{u}}_i}^{*\′}\\ {{\tilde{v}}_i}^{*\′}\\ 1\end{array}\right),$ $x_{\mathrm{il}}=\left(\begin{array}{c}{{\tilde{u}}_i}^{*}\\ {{\tilde{v}}_i}^{*}\\ 1\end{array}\right),$ $T=\left[\begin{array}{ccc}s& 0& -\stackrel{\‾}{x}\×s\\ 0& s& -\stackrel{\‾}{y}\×s\\ 0& 0& 1\end{array}\right],$ $T^{\′}=\left[\begin{array}{ccc}{s}^{\′}& 0& -\stackrel{\‾}{x^{\′}}\×s^{\′}\\ 0& s^{\′}& -\stackrel{\‾}{y^{\′}}\×s^{\′}\\ 0& 0& 1\end{array}\right],$ $s=\frac{1}{n}\×\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{{({u^{*}}_i-\stackrel{\‾}{x})}^2+{({v^{*}}_i-\stackrel{\‾}{y})}^2},$ $\stackrel{\‾}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{u^{*}}_i,$ $\stackrel{\‾}{y}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{v}_i^{*};$ $s^{\′}=\frac{1}{n}\×\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{{({u^{*\′}}_i-\stackrel{\‾}{x^{\′}})}^2+{({v^{*\′}}_i-\stackrel{\‾}{y^{\′}})}^2},$ ${\stackrel{\‾}{x}}^{\′}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{u_i}^{*\′},$ $\stackrel{\‾}{y^{\′}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{v_i}^{*\′};$ n为正常匹配点的个数。

步骤21：在当前迭代次数L下，计算每组匹配点到对应极线的距离d(u^* _r,Fu^* _l)和d(u^* _l,F^Tu^* _r),计算 $\underset{i}{\mathrm{\&Sigma;}}\max (d_i({u^{*}}_r,{{\mathrm{Fu}}^{*}}_l),d_i({u^{*}}_l,F^T{u^{*}}_r))<\mathrm{TH}$ 的匹配点包含的像素数量，并保留像素数量最多的匹配点所对应的基本矩阵F；其中，TH为预先设置的阈值。

步骤22：在当前迭代次数L下，计算标准参数Γ＝log(1-p)/log(1-(1-ε)^k)的取值，如果Γ小于当前迭代次数，则执行步骤23，否则返回步骤20。

其中，Γ、ε为标准参数；ε＝1-#inliers/#samples、p＝0.99；因为每次迭代取8组匹配点，所以k＝8。

由此可见，上述步骤20～步骤22为一个循环的过程。对应于k＝8组匹配点，可通过上述循环得到一个基本矩阵F，此基本矩阵F包含的匹配点具有最多的图像像素。同时，在上述循环中，由于矩阵自由度的限制只能取k＝8。

步骤23：利用上述循环得到的基本矩阵F包含的具有最多的图像像素的匹配点与公式 $\underset{i}{\mathrm{\&Sigma;}}\max (d_i({u^{*}}_r,{{\mathrm{Fu}}^{*}}_l),d_i({u^{*}}_l,F^T{u^{*}}_r))<\mathrm{TH}$ 筛选出正常匹配点集合中多数正确匹配点，并将该多数正确匹配点作为新的匹配点输入到步骤20a，并经过步骤20b与步骤20c得到一个新的基本矩阵F。

其中，当基本矩阵F包含的匹配点满足上述公式时，确定该匹配点为正确匹配点。

下面举个例子对本步骤解释说明一下：以最终保留的基本矩阵F、初始重构时图像I_（i）及图像I_（i+1）的匹配点个数为1000个为例，当该1000个匹配点中有匹配点满足公式 $\underset{i}{\mathrm{\&Sigma;}}\max (d_i({u^{*}}_r,{{\mathrm{Fu}}^{*}}_l),d_i({u^{*}}_l,F^T{u^{*}}_r))<\mathrm{TH}$ 时，确定该匹配点为所述正常匹配点集合中的正确匹配点。如果利用该1000个匹配点筛选出了所述正常匹配点集合中的800个正确匹配点，那么就将这800个正确匹配点作为步骤20a的新输入，并经过步骤20b与步骤20c得到一个新的基本矩阵F。

之后，对所述新的基本矩阵F进行目标函数为的优化；其中，所述优化采用最小拟合二乘算法中的Levenberg-Marquardt算法（简称为LM算法），以达到求取令该目标函数为最小值的基本矩阵F的目的。

步骤24：将所述优化后的新的基本矩阵F包含的匹配点作为步骤20a的新的匹配点组输入，并经过步骤20b与步骤20c得到一个最终的基本矩阵F以及外点中所有可能正确的匹配点。

下面举个例子对本步骤解释说明一下：以在步骤23中筛选出的800个正确匹配点为例，当正常匹配点集合中共有1200个匹配点，以上述800个正确匹配点就作为RANSAC算法中的内点inliers，而1200-800＝400个匹配点就作为RANSAC算法中的外点outliers，而本步骤在该400个匹配点中搜索可能正确的匹配点，具体是该400个匹配点的有匹配点满足 $\underset{i}{\mathrm{\&Sigma;}}\max (d_i({u^{*}}_r,{{\mathrm{Fu}}^{*}}_l),d_i(x_l,F^T{u^{*}}_r))<\mathrm{TH}$ 公式时，确定该匹配点为正确匹配点。

至此，可筛选出正常匹配点集合中的正确匹配点，上述过程可看成是求解基本矩阵F的RANSAC过程，可简称为F-RANSAC过程。

之后，对问题点集合中的正确匹配点做筛选，如步骤25所述：

步骤25：当问题点满足公式max(d(u_r,Fu_l),d(u_l,F^Tu_r))<TH'时，确定所述问题点为正确匹配点。

其中，TH'为预先设置的阈值；u_r为问题点在图像I_（i）上的坐标；u_l为问题点在图像I_（i+1）的坐标；或者，u_r为问题点在图像I_（i+1）上的坐标；u_l为问题点在图像I_（i）上坐标。

当有两个及以上的问题点可满足该目标函数式时，则留下小窗口内灰度差的平方（SSD，Sum of Squared Difference）最小的匹配点；所述SSD公式下所示：

$\begin{array}{c}S(u^{*},v^{*})=\underset{v^{*\&prime;}}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{u^{*\&prime;}}{\overset{m-1}{\mathrm{\&Sigma;}}}{\&lsqb;T(u^{*\&prime;},v^{*\&prime;})-I(u^{*}+u^{*\&prime;},v^{*}+v^{*\&prime;})\&rsqb;}^2\\ =\underset{v^{*\&prime;}}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{u^{*\&prime;}}{\overset{m-1}{\mathrm{\&Sigma;}}}\&lsqb;T^2(u^{*\&prime;},v^{*\&prime;})-2T(u^{*\&prime;},v^{*\&prime;})I(u^{*}+u^{*\&prime;},v^{*}+v^{*\&prime;})+I^2(u^{*}+u^{*\&prime;},v^{*}+v^{*\&prime;})\&rsqb;\end{array}---\left(8\right)$

其中，S(u^*,v^*)为（u^*，v^*）对应的两个邻域窗的相似度，I(u^*,v^*)为目标图像在（u^*，v^*）位置处的灰度值；T(u^*,v^*)为源图像在（u^*，v^*）位置处的灰度值；其中，目标图像及源图像的概念是相对而言的，当目标图像为图像I₁时，源图像为图像I₂；当目标图像为图像I₂时，源图像为图像I₁。

基本矩阵F可表示为：

$F=A_r^{-T}\mathrm{SR}{A}_l^{-T}---\left(9\right)$

其中，A_r、A_l为摄像机内部参数A的部分参量；R为运动矩阵表达式如公式（1a）所示；S＝[t]_×为t的反对称矩阵；令本质矩阵E＝SR，再对本质矩阵E进行奇异值分解SVD：

$E=\mathrm{Udiag}\left(\begin{array}{ccc}{e}_1& e_2& e_3\end{array}\right)V^T---\left(10\right)$

公式（10）中，本质矩阵E的秩为2，但是因为实际情况存在误差，所以对本质矩阵E进行奇异值分解时求出的最小特征值e₃不为0；通过令e₁'＝(e₁+e₂)/2，e₂'＝(e₁+e₂)/2来计算新的本质矩阵E，再奇异值分解SVD可得：

$E^{\&prime;}=U^{\&prime;}\mathrm{diag}\left(\begin{array}{ccc}1& 1& 0\end{array}\right)V^T---\left(11\right)$

这里，需要说明的是，后续对本技术方案的说明中，公式（12）-（17）中所涉及到的参量u实质上为u^*、参量v实质上为v^*，它们之间的转换关系请参见公式（6）及（7）。

在公式（11）基础上，求出的投影矩阵P（P’）存在以下四种情况：

P'＝A[U'WV'^T|u₃]

P'＝A[U'WV'^T|-u₃]

P'＝A[U'W^TV'^T|u₃]

P'＝A[U'W^TV'^T|-u₃]

其中， $W=\left[\begin{array}{ccc}1& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right].$ 上述四个方程代表着摄像机拍摄同一个场景时所处的四个不同位置，但是在所述四个拍摄位置中，只有由一个位置所拍摄的图像的深度为正，也就是说上个四个关于投影矩阵P只有一个P是正确的，那么这个正确的投影矩阵P应该满足λ·||P||>0且空间的三维点（X，Y，Z）的Z>0。

再通过上述条件得到一个正确的投影矩阵P之后，利用三角法可得到所述场景中每个空间三维点（X，Y，Z）、即重构点三维坐标。具体根据如下公式：

${\mathrm{\&lambda;}}_1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(12\right)$

${\mathrm{\&lambda;}}_2\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(13\right)$

其中，λ₁是图像I₁的尺度因子、λ₂是图像I₂的尺度因子；(u₁,v₁)是空间三维点（X，Y，Z）在图像_I1上对应的二维点坐标；(u₂,v₂)是所述空间三维点（X，Y，Z）在图像I₂上对应的二维点坐标；（mⁱ ₁₁,mⁱ ₁₂,mⁱ ₁₃,mⁱ ₁₄,mⁱ ₂₁,mⁱ ₂₂,mⁱ ₂₃,mⁱ ₂₄,mⁱ ₃₁,mⁱ ₃₂,mⁱ ₃₃,mⁱ ₃₄）是在图像I_i中的投影矩阵P_i的12个基本元素。

经展开可以得到如下四个线性方程：

$(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1---\left(14\right)$

$(v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1---\left(15\right)$

$(u_2{m}_{31}^2-m_{11}^2)X+(u_2{m}_{32}^2-m_{12}^2)Y+(u_2{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_2{m}_{34}^2---\left(16\right)$

$(v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2---\left(17\right)$

利用SVD，即可求出上述四个方程的解，即空间三维点（X，Y，Z）的重构点。

为保证重构点的精确性，还需要采用最小二乘法的修正方法LM算法对求解出的上述投影矩阵P的12个基本元素及N个空间三维点（X，Y，Z）进行优化。所述优化过程受公式（18）及公式（19）的约束。可通过令公式（18）所示的目标函数F（W）及公式（19）所示的

均达到最小值，即可实现进一步精确重构点坐标的目的。

$\min F\left(W\right)=\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}_1{o}_i^2\left(W\right)+\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}_2{e}_i^2\left(W\right)---\left(18\right)$

其中，变量W既包括投影矩阵P的12个基本元素变量也包括重构出的N个空间三维点坐标即3N个变量。ρ₁和ρ₂为权重系数，可通过调整该两个权重系数的来使得目标函数minF(W)较快达到稳定；N为重构出的空间三维点的个数。

其中，公式（18）的产生是由于旋转矩阵R正交性质决定的，旋转矩阵R有三个自由度，所对应的六个约束条件分别：

$\begin{array}{cc}{o}_1^2\left(W\right)=r_{11}^2+r_{12}^2+r_{13}^2-1=0& o_4^2\left(W\right)=r_{11}{r}_{21}+r_{12}{r}_{22}+r_{13}{r}_{23}=0\end{array}$

$\begin{array}{cc}{o}_2^2\left(W\right)=r_{21}^2+r_{22}^2+r_{23}^2-1=0& o_5^2\left(W\right)=r_{11}{r}_{31}+r_{12}{r}_{32}+r_{13}{r}_{33}=0\end{array}$

$\begin{array}{cc}{o}_3^2\left(W\right)=r_{31}^2+r_{32}^2+r_{33}^2-1=0& o_6^2\left(W\right)=r_{21}{r}_{31}+r_{22}{r}_{32}+r_{23}{r}_{33}=0\end{array}$

其中r_ij为旋转矩阵R的9个参数。

第二个约束是令空间三维点的投影坐标P_iU_i和实际图像坐标u_i的误差的平方和为最小：

$e_i^2\left(W\right)=\underset{i=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}{d}_i^2(u_i,P_i{U}_i)---\left(19\right)$

其中，P_i为投影矩阵，U_i代表空间三维点坐标。d_i ²(u_i，P_iU_i)代表第i个三维点的投影坐标和二维坐标的距离平方。

考虑到上述步骤2中利用图像I₁及图像I₂对所述场景重构，存在有仅对所述场景中的部分三维点进行重构这一可能情况，所以，后续方案由步骤3对步骤2中没有重构的三维点进行重构，同时去除重复重构点。

步骤3：利用图像I_（i+1）与选取的与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除重复重构点。

这里，若将图像I_（i+2）作为新增的图片，每增加一幅新图片，利用该新图片及该新图片的前一幅图片对所述场景进行重构；例如，步骤2中以图像I₁及图像I₂作为初始重构对象，那么步骤3中假设图像I₃、I₄均为新增图片，则利用图像I₃及图像I₂对所述场景进行重构；之后，利用图像I₄及图像I₃对所述场景进行重构，依此类推；其中，新增图片越多，重构出的图像越接近于所述场景中的实际图像。

这里，以i＝1，利用图像I₃及图像I₂为例对步骤3作进一步的说明。

利用SIFT算法分别进行图像I₃及图像I₂的特征点提取；再将提取到的该两幅图像的特征点进行匹配，得到图像I₃及图像I₂匹配点；通过将图像I₃及图像I₂的匹配点、与图像I₁及图像I₂中重构过空间三维点的对应二维点坐标进行比对，即可得出所述场景中哪些空间三维点已经被重构过，哪些空间三维点还没有被重构过，基于空间三维点是否被重构过，将图像I₃及图像I₂的匹配点分为两大类：第一类匹配点是，在图像I₁及图像I₂中已被重构过的空间三维点在图像I₂及图像I₃中的所对应的匹配点；第二类匹配点是，在图像I₁及图像I₂中没有被重构过的空间三维点在图像I₂及图像I₃中的所对应的匹配点。

需要说明的是，上述的第一类匹配点中可能存在有错误的匹配点，需要通过以下过程筛选出正确匹配点。

图像I₁及图像I₂中重构过三维点表示为 $M={\left(\begin{array}{cccc}X& Y& Z& 1\end{array}\right)}^T$ ，图像I₃中该三维点的投影坐标、即该三维点在图像I₃中所对应的二维点坐标为 $m={\left(\begin{array}{ccc}u& v& 1\end{array}\right)}^T$ ，它们之间存在有公式（20a）所示的关系：

m＝P_iM    （20a）

经展开得到：

$\left[\begin{array}{ccc}{0}^T& -M^T& v{M}^T\\ M^T& 0^T& -u{M}^T\\ -{\mathrm{vM}}^T& {\mathrm{uM}}^T& 0^T\end{array}\right]\left[\begin{array}{c}{P}_{i1}\\ P_{i2}\\ P_{i3}\end{array}\right]=0---\left(20b\right)$

利用线性代数中的矩阵运算规则，公式（20b）还可以变形为三个方程，实质上任意两个方法均可以表示第三个方程，所以相当于只有两个方程有效，那么就可以利用SVD即可求出投影矩阵P（P_i）；其中，p_i1、p_i2及p_i3（i＝3）为图像I₃中的投影矩阵P的三行。

结合图4，对利用RANSAC方法求取投影矩阵P的过程作进一步说明，该求取过程（简称为P-RANSAC过程）包括：

步骤30：当前迭代次数L’下，在第一类匹配点中随机选取k’组匹配点（匹配点组），将公式（20b）进行SVD分解即可求出投影矩阵P；其中，选取k’＝6；L’为正整数，可预先设置。

步骤31：当前迭代次数L’下，计算每组匹配点所对应的重构过的空间三维点反投影到新增图像、即图像I₃上的误差

并保留D<TH₃时的包含匹配点数量最多的投影矩阵P；其中，TH₃为预先设置的阈值。

步骤32：在当前迭代次数L’下，计算标准参数Γ'＝log(1-p')/log(1-(1-ε')^k')，如果Γ'小于当前迭代次数，则继续执行步骤34，否则返回步骤31；

其中，本实施例中设置总迭代次数的最大值最好大于等于3Γ'；Γ'、ε'为标准参数；p'＝0.99。

由此可见，上述步骤30～步骤32为一个循环过程。对应于k’＝6组匹配点，可通过上述循环得到一个投影矩阵P，此投影矩阵P包含的匹配点数量最多。同时，在上述循环中，由于矩阵自由度的限制只能取k’＝6。

步骤33：利用上述循环得到的投影矩阵P包含的数量最多的匹配点与公式

筛选出第一类匹配点中多数正确匹配点，并将该多数正确匹配点作为新的匹配点输入公式（20b）得到一个新的投影矩阵P。

下面举个例子对本步骤解释说明一下：以上述循环最终保留的投影矩阵P、初始重构时图像I_i及图像I_（i+1）的匹配点数量为1000个为例，当该1000个匹配点中有匹配点满足公式时，确定该匹配点为所述第一类匹配点中的正确匹配点。如果利用该1000个匹配点筛选出了所述第一类匹配点中的800个正确匹配点，那么就选取匹配点组个数为800作为公式（20b）的输入得到一个新的投影矩阵P。

之后，对所述新的投影矩阵P进行目标函数min∑(d²(P_iU_i,u_i))的优化；其中，所述优化方法采用LM算法，以求取令该目标函数为最小值的投影矩阵P。

步骤34：再将所述优化后的所述新的投影矩阵P包含的匹配点作为公式（20b）的新的匹配点组输入得到外点中所有可能正确的匹配点、及最终的投影矩阵P。

下面举个例子对本步骤解释说明一下：以在步骤33中筛选出的800个正确匹配点为例，当第一类匹配点中共有1200个匹配点，以上述800个正确匹配点就作为P-RANSAC算法中的内点inliers，而1200-800＝400个匹配点就作为P-RANSAC算法中的外点outliers，而本步骤在该400个匹配点中搜索可能正确的匹配点，具体是该400个匹配点的有匹配点满足

公式时，确定该匹配点为正确匹配点。

至此，可筛选第一类匹配点中正确匹配点，接下来筛选出第二类匹配点中的正确匹配点，具体如步骤35所述。

步骤35：第二类匹配点中的匹配点满足

时，确定该匹配点为第二类匹配点中的正确匹配点。

当求出投影矩阵P之后，利用公式（14）-（17）及对这些公式进行SVD即可对空间三维点（X，Y，Z）进行重构。

上述为新增图像I_3时，利用图像I₃与图像I₂执行步骤30～35的过程，当新增图像I₄时，将图像I₄与图像I₃执行步骤30-35的过程，此时第一类匹配点指的在图像I₃及图像I₂中已被重构过的空间三维点在图像I₄及图像I₃中的所对应的匹配点，第二类匹配点指的是在图像I₃及图像I₂中没有被重构过的空间三维点在图像I₄及图像I₃中的所对应的匹配点。当新增图像I₅时，将图像I₅与图像I₄执行步骤30-35的过程，此时第一类匹配点指的在图像I₄及图像I₃中已被重构过的空间三维点在图像I₅及图像I₄中的所对应的匹配点，第二类匹配点指的是在图像I₄及图像I₃中没有被重构过的空间三维点在图像I₅及图像I₄中的所对应的匹配点，以此类推。

由此可知，在图像个数大于3时，例如，图像I₄与图像I₃执行步骤30-35处理时，仅涉及到将图像I₄及图像I₃中的匹配点与图像I₃及图像I₂中已被重构过的空间三维点所对应的匹配点进行比对，而没有将图像I₄及图像I₃中的匹配点与图像I₂及图像I₁中已被重构过的空间三维点所对应的匹配点进行比对，所以就存在着重复重构三维点的情况。

由上述描述可知，结合图5，从图像I₃开始，例如，图像I₃既参与了图像I₃及图像I₂对场景的空间三维点的重构，也参与了图像I₄及图像I₃对场景的空间三维点的重构，这样就可以将图像I₃及图像I₂中重构的空间三维点与所对应的二维点坐标之间的对应信息保存在图像I₃的有关信息S₃中，将图像I₄及图像I₃中重构的空间三维点与所对应的二维点坐标之间的对应信息也保存在图像I₃的有关信息S₃中，这样在涉及到相邻两个图像的重复重构点比对时，只需要与图像I₃的有关信息S₃进行比对，即可知道哪些空间三维点在之前的图像中没有被重构过。

当拍摄到图像I_m（m≥3）时，用以下所述方法即可去除重复重构点所对应的二维点坐标。

（1）先求取摄像机在不同拍摄位置t_i（即摄像机的平移向量）重构过的空间三维点M（X，Y，Z）的坐标平均值

将

所在的位置称为重构点重心，确定经过摄像机的当前位置点t_i和该重心点

的第一射线，以及经过摄像机的其它位置点t_x和该重心点

的第二射线，再根据

求取第一射线与第二射线之间的夹角α。

（2）设当前新增图像为图像I_m，分以下（a）-（c）三种情况处理：

（a）当m/3的余数为0且α小于等于60°时，对第2、3、6、9…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系（求取新增图像I_m的基本矩阵F），将当前图像I_m的有关信息S_m与之前的图像I_r（r＝2、3…m-1）所保存的有关信息S_r分别作比对，即可去除重复的重构点所对应的匹配点，进而可以去除重构的重构点。

（b）当m/3的余数为1且α小于等于60°时，对第2、4、7、10…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息S_m与之前所保存的图像I_r（r＝2、3…m-1）的有关信息S_r分别作比对，即可去除重复的重构点所对应的匹配点，进而可以去除重构的重构点。

（c）当m/3的余数为2，且α小于等于60°时，对第2、5、8、11…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息S_m与之前所保存的图像I_r（r＝2、3…m-1）的有关信息S_r分别作比对，即可去除重复的重构点所对应的匹配点，进而可以去除重构的重构点。

在（a）-（c）中，当α大于60°时无需进行匹配点之间的比对。

在去除当前新增图像I_m的重复重构点之后，将当前新增图像I_m及其前一幅图像I_（m-1）的第二类匹配点中的正确匹配点坐标，分别代入到公式（14）-（17）来计算当前新增图像I_m相比于之前的图像新增加的匹配点所对应的空间三维点，即构建了所述场景中的新增重构点。

至此，执行完利用图像I_-（i+1）及图像I_（i+2）对场景中的空间三维点的重构处理，为了提高重构精度，还需采用稀疏矩阵调整（SBA，Sparse BundleAdjustment）方法进行进一步优化；所述优化的目标函数如公式（21）所示；

$F(P^i,U_j)=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&rho;}}_{\mathrm{ij}}{d}_{\mathrm{ij}}{(P^i{U}_j,u_{\mathrm{ij}})}^2---\left(21\right)$

U_j是第j个重构的三维点坐标，u_ij是所述重构点在第i幅图上所对应的图像坐标；ρ_ij是由所述三维点坐标U_j是否在第i幅图上可见而决定的，若可见取ρ_ij＝1，若不可见取ρ_ij＝0；Pⁱ代表第i幅图的投影矩阵；d_ij(PⁱU_j,u_ij)代表所述三维点在第i幅图上的反投影坐标PⁱU_j和实际图像坐标u_ij的距离；F(Pⁱ,U_j)代表每幅图像中的特征点，与其所对应的空间三维点反投影到该图像上的点之间的距离的平方和，优化目的是要得到使这个目标函数值达到最小值时的U_j。

在SBA过程中采用了Huber的鲁棒性判定函数来减小错误匹配点对优化的影响，所述判定函数如公式（22）所示：

$g\left(d\right)=\left\{\begin{array}{cc}{\left|d\right|}^2& \left|d\right|<\mathrm{\&sigma;}\\ 2\mathrm{\&sigma;}\left|d\right|-{\mathrm{\&sigma;}}^2& \left|d\right|\&GreaterEqual;\mathrm{\&sigma;}\end{array}\right.---\left(22\right)$

其中，d为反投影距离，σ为排除外点outliers的距离阈值，可以依据反投影的残差值而设定，一般取残差值3倍，本实施例中取值为3；

；由上述公式可看出，当匹配反投影距离d大于σ时，涉及到了d与σ之间的运算，这样可加快收敛速度，排除了外点对正确匹配点的影响，同时也减小了错误匹配点对优化的影响。

基于上述图像重构的方法，本发明实施例还记载了一种图像重构系统，如图6所示，所述系统包括：获取单元41、第一选取单元42、初始重构单元43、第二选取单元44、以及重构单元45；

所述获取单元41，用于获取同一场景的至少三幅图像；

所述第一选取单元42，用于选取相邻两幅图像I_i与图像I_（i+1）；

所述初始重构单元43，用于将图像I_i与图像I_（i+1），作为初始重构的对象，并利用所述对象对所述场景进行初始重构；

所述第二选取单元44，用于选取与所述图像I_（i+1）相邻的图像I_（i+2）；

所述重构单元45，用于利用图像I_（i+1）与图像I_（i+2）对所述场景进行重构，并删除重复重构点。

其中，i为正整数，且i≤N-2，N为摄像机拍摄到的总图像数量。

进一步的，所述获取单元41，用于至少改变三次摄像机的拍摄位置，在摄像机不同的拍摄位置，得到一个相应的图像。

所述初始重构单元43包括：第一分类子单元431、第一处理子单元432及第一重构子单元433；其中，

所述第一分类子单元431，用于对所述图像I_i及图像I_（i+1）的匹配点进行分类；

第一处理子单元432，用于筛选出所述分类中的正常匹配点中的正确匹配点，以及所述分类中的问题点中的正确匹配点；

第一重构子单元433，用于利用规范化八点法、RANSAC及SVD方法，重构所述图像I_i及图像I_（i+1）中的所述正确匹配点对应的所述场景的空间三维点。

所述重构单元45包括：第二分类子单元451、第二处理子单元452以及第二重构子单元453；其中，

所述第二分类子单元451，用于对图像I_（i+1）及图像I_（i+2）的匹配点进行分类；

第二处理子单元452，用于筛选出所述分类中的第一类匹配点中的正确匹配点，以及第二类匹配点中的正确匹配点；

第二重构子单元453，用于利用RANSAC及SVD方法，重构所述图像I_（i+1）及图像I_（i+2）中的所述正确匹配点对应的所述场景的空间三维点，并删除重复重构点。

本领域技术人员应当理解，图6中所示的图像重构系统中的各处理模块的实现功能可参照前述图像重构方法的相关描述而理解。本领域技术人员应当理解，图6所示的图像重构系统中各处理单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明提供的图像重构的方法及系统，先获取同一场景的至少三幅图像IN，选取相邻的两幅图像I_i与图像I_（i+1）对所述场景进行初始重构之后，利用图像I_（i+1）与另选取的与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除重构过程中所产生的重复重构点。利用本发明的技术方案，通过对匹配点的分类方便了筛选出分类中的正确匹配点，加快了RANSAC方法筛选正确匹配点的速度，进而节省了运算时间，提高了重构的精度及准确度。同时，通过去除重复重构点（或重复重构点所对应的图像坐标）有效去除了问题点对重构的不利影响。

基于上述图像重构的方法及系统，本发明实施例还记载了对图像重构的评估方法，如图7所示，所述方法包括：

步骤61：利用Hessian矩阵提取放置于场景中的靶标的角点坐标。

步骤62：利用所述角点坐标估计出靶标的角度及边长比，并比较估计出的角度与实际靶标的角度、以及边长比与实际靶标的边长比的大小。

这里，将靶标放置于场景中，在对场景进行拍摄时，也对靶标进行了拍摄，也就是说，对所述场景中的其它景象的重构是否正确，可通过本发明的评估方法来估计放置于所述场景中的靶标的角度及边长比，当估计出的靶标角度与实际靶标角度相近，且估计出的边长与实际边长成比例，那么就确定为前述图像重构方法正确。

在任意一幅图像、如第一幅图像的靶标上点三个角点、如图8（a）中的圆圈所示；其中，图8（a）中的飞机是重构对象。

先利用Hessian矩阵提取角点的亚像素坐标（角点坐标）。

具体过程包括：

对第一幅图像的靶标随机选取不同于上述三个角点的任意一点（a，b），在该点的邻域（2Q+1）×（2Q+1）的像素范围内进行角点的搜索（Q取决于卷积高斯模板的大小）；对图像的（a，b）点的邻域进行如公式（23）-（25）所示的微分形式的高斯核卷积。

$r_{\mathrm{aa}}=g_{\mathrm{aa}}(a,b)\&CircleTimes;I(a,b)---\left(23\right)$

$r_{\mathrm{ab}}=g_{\mathrm{ab}}(a,b)\&CircleTimes;I(a,b)---\left(24\right)$

$r_{\mathrm{bb}}=g_{\mathrm{aa}}(a,b)\&CircleTimes;I(a,b)---\left(25\right)$

其中，I(a,b)是图像中以（a，b）点为中心的（2Q+1)×(2Q+1)大小的灰度值矩阵；r_aa、r_ab、r_bb为I(a,b)相对于a、b的二阶偏导数如公式（26）-（28）所示

$g_{\mathrm{aa}}(a,b)=\frac{{\&PartialD;}^{2}g(a,b)}{\&PartialD;a^2}=\frac{a^2-{\mathrm{\&sigma;}}^2}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^6}{e}^{-\frac{(a^2+b^2)}{2{\mathrm{\&sigma;}}^2}}---\left(26\right)$

$g_{\mathrm{ab}}(a,b)=\frac{{\&PartialD;}^{2}g(a,b)}{\&PartialD;a\&PartialD;b}=\frac{\mathrm{ab}}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^6}{e}^{-\frac{(a^2+b^2)}{2{\mathrm{\&sigma;}}^2}}---\left(27\right)$

$g_{\mathrm{bb}}(a,b)=\frac{{\&PartialD;}^{2}g(a,b)}{\&PartialD;b^2}=\frac{b^2-{\mathrm{\&sigma;}}^2}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^6}{e}^{-\frac{(a^2+b^2)}{2{\mathrm{\&sigma;}}^2}}---\left(28\right)$

其中，σ为高斯函数的均方差，一般取σ＝1～10，卷积高斯模板的大小最好为σ的6倍左右。

Hessian矩阵表达式为公式（29）所示，公式（30）中的λ₁和λ₂是Hessian矩阵的特征值。

$H=\left[\begin{array}{cc}{r}_{\mathrm{aa}}& r_{\mathrm{ab}}\\ r_{\mathrm{ab}}& r_{\mathrm{bb}}\end{array}\right]---\left(29\right)$

$S={\mathrm{\&lambda;}}_1\&CenterDot;{\mathrm{\&lambda;}}_2=r_{\mathrm{aa}}{r}_{\mathrm{bb}}-r_{\mathrm{ab}}^2---\left(30\right)$

S的负极小值所对应解即为角点的亚像素级坐标（a’，b’）。

$a^{\&prime;}=\frac{r_b{r}_{\mathrm{ab}}-r_a{r}_{\mathrm{bb}}}{r_{\mathrm{aa}}{r}_{\mathrm{bb}}-r_{\mathrm{ab}}^2},b^{\&prime;}=\frac{r_a{r}_{\mathrm{ab}}-r_b{r}_{\mathrm{aa}}}{r_{\mathrm{aa}}{r}_{\mathrm{bb}}-r_{\mathrm{ab}}^2}---\left(31\right)$

再利用所述角点坐标估计出靶标的角度及边长比，并比较估计出的角度与实际靶标的角度、以及边长比与实际靶标的边长比的大小，具体包括：

图8（a）是在图像I1上点取靶标的三个角点位置，在另一幅图像、如图像I2上点击与图像I1的角点位置相对应的三个点（图8（b）所示）。同时，选取的三个角点在图像平面下的坐标由上述方案而获得，如图9所示，角点A与角点B之间的距离为X’；角点B与角点C之间的距离为Y’，并作直线AB的平行线，BC的平行线相交于点D；将角点A作为第一角点、角点B作为第二角点、角点C作为第三角点时，可将距离X’视为第一边长、Y’视为第二边长，并估计出第一边长X’与第二边长Y’的比值，同时通过计算所述第一边长X’与第二边长Y’之间的夹角β _j的余弦值来估计所述夹角。

具体的，先求取边长比X'_j/Y'_j的比值，并通过公式（32）计算出每两个角点之间的夹角β _j；其中，j为由所述三个角点围成的矩形的角度个数。

$\cos \mathrm{\&beta;}=\frac{\stackrel{\&RightArrow;}{\mathrm{BA}}\&CenterDot;\stackrel{\&RightArrow;}{\mathrm{BC}}}{\left|\stackrel{\&RightArrow;}{\mathrm{BA}}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{\mathrm{BC}}\right|}---\left(32\right)$

这里，角点A、B、C中哪个为第一个角点、哪个为第二个角点以及哪个为第三个角点可以根据具体的应用环境而设定。

然后，将估计出的边长比X'_j/Y'_j的比值与实际的靶标的边长比作相对误差比较、将估计出的夹角β_j与实际的靶标的角度值作相对误差比较；相对误差越小越好。

这里，本发明的放置在场景中的靶标在图像坐标系下近似于正方形，所以该靶标的实际边长比比值为1、角度为90°。

表1是根据本发明的评估方法得出的一组实验数据，由此可看出，由前述图像重构方法及评估方法估计出的靶标的角度与实际靶标角度90°相接近，同时，估计出的靶标的边长与实际靶标各边长长度1相接近，说明本发明的图像重构及评估方法，重构及评估正确率均很高，重构点精度良好。

表1

基于上述对图像重构方法的评估方法，本发明实施例还记载了一种评估系统，如图10所示，所述系统包括：提取单元71、估计及比较单元72；其中，

所述提取单元71，用于利用Hessian矩阵提取靶标的角点坐标；

所述估计及比较单元72，用于利用所述角点坐标估计出靶标的角度及边长比，并与实际靶标的角度及边长比作比较。

进一步的，所述提取单元71包括：选取子单元711及第一处理子单元712；其中，

所述选取子单元711，用于在任意一幅图像上选取如图8（a）中的圆圈所示三个角点，以及在所述图像上选取靶标上不同于所述角点的任意一点（a，b），并触发所述第一处理子单元；

所述第一处理子单元712，用于对所述任意一点作高斯核卷积，并通过Hessian矩阵提取所述角点的坐标（a’，b’），并触发所述估计及比较单元72、具体是所述第二处理子单元721。

进一步的，所述估计及比较单元72包括：第二处理子单元721及比较子单元722；其中，

如图9所示，所述第二处理子单元721估计第一边长与第二边长的比值X'_j/Y'_j；并通过公式（32）计算出每两个角点之间的夹角β_j。

其中，可令所述第一边长为第一角点A与第二角点B之间的距离X'_j、所述第二边长为第二角点B与第三角点C之间的距离Y'_j；角点A、B、C中哪个为第一个角点、哪个为第二个角点以及哪个为第三个角点可以根据具体的应用环境而设定。

所述比较子单元722将估计出的X'_j/Y'_j与实际靶标的边长比1作相对误差比较，同时将所述β_j与实际的靶标的角度值90°作相对误差比较，相对误差越小越好；其中，j为由所述三个角点围成的矩形的角度个数。

这里，本发明的放置在场景中的靶标在图像坐标系下近似于正方形，所以该靶标的实际边长比比值为1、角度为90°。

本发明提供的对图像重构方法的评估方法及系统，利用Hessian矩阵提取放置在场景中的靶标的角点坐标，利用角点坐标估计出靶标的角度及边长比，并比较估计出的角度与实际靶标的角度、估计出的边长比与实际靶标的边长比的大小。利用本发明的技术方案，可对重构方法实现简单、方便的性能评估，与现有技术中通过比较摄像机实际位置来衡量重构准确度的方法相比更有实际意义。

本领域技术人员应当理解，图10中所示的图像重构评估系统中的各处理模块的实现功能可参照前述图像重构评估方法的相关描述而理解。本领域技术人员应当理解，图10所示的图像重构系统中各处理单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种图像重构的方法，其特征在于，所述方法包括：

获取同一场景的至少三幅图像；

选取相邻的两幅图像I_i与图像I_（i+1）对所述场景进行初始重构；

利用图像I_（i+1）与选取的与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除所述场景中的重复重构点；

其中，i为正整数且i≤N-2、N为获取到的图像的总数量。

2.根据权利要求1所述的图像重构方法，其特征在于，所述选取相邻的两幅图像I_i与图像I_（i+1）对所述场景进行初始重构，包括：

对所述图像I_i及图像I_（i+1）的匹配点进行分类；

筛选出所述分类中正常匹配点中的正确匹配点，以及所述分类中问题点中的正确匹配点；

利用规范化八点法、随机采样一致性RANSAC及奇异值分解SVD方法，重构所述图像I_i及图像I_（i+1）中所述正确匹配点对应的所述场景的空间三维点。

3.根据权利要求1所述的图像重构方法，其特征在于，所述利用图像I_（i+1）与选取的另一幅与所述图像I_（i+1）相邻的图像I_（i+2）对所述场景进行重构，并删除所述场景中的重复重构点，包括：

图像I_（i+1）及图像I_（i+2）的匹配点进行分类；

筛选出所述分类中第一类匹配点中的正确匹配点，以及第二类匹配点中的正确匹配点；

利用RANSAC及SVD方法，重构所述图像I_（i+1）及图像I_（i+2）中的所述正确匹配点对应的所述场景的空间三维点，并删除重复重构点。

4.根据权利要求3所述的图像重构的方法，其特征在于，所述删除重复重构点，包括：

将在摄像机不同拍摄位置重构过的空间三维点的坐标平均值作为重构点重心，确定经过摄像机的当前位置和所述重心的第一射线，以及经过摄像机的其它位置和所述重心的第二射线，再求取第一射线与第二射线之间的夹角；

当前新增图像为图像I_m，当m/3的余数为0且所述夹角小于等于60°时，对第2、3、6、9…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息与之前的图像I_r所保存的有关信息分别作比对，并去除重复的重构点所对应的匹配点；

或者，当m/3的余数为1且所述夹角小于等于60°时，对第2、4、7、10…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息与之前所保存的图像I_r的有关信息分别作比对，并去除重复的重构点所对应的匹配点；

或者，当m/3的余数为2且所述夹角小于等于60°时，对第2、5、8、11…、m-3幅图像和当前新增图像I_m进行匹配点的比对，建立极线关系，将当前图像I_m的有关信息与之前所保存的图像I_r的有关信息分别作比对，并去除重复的重构点所对应的匹配点；

其中，m≥3、r=2、3…m-1；所述当前图像I_m的有关信息包括：当前图像I_m与图像I_（m-1）、或图像I_（m+1）与图像I_m重构的空间三维点所对应的匹配点；所述图像I_r的有关信息包括：图像I_r与图像I_（r-1）、或图像I_（r+1）与图像I_r重构的空间三维点所对应的匹配点。

5.根据权利要求1所述的图像重构方法，其特征在于，所述方法还包括：

利用Hessian矩阵提取放置于场景中的靶标的角点坐标；

利用所述角点坐标估计出靶标的角度及边长比，并比较估计出的角度与实际靶标的角度、以及边长比与实际靶标的边长比的大小。

6.一种图像重构系统，其特征在于，所述系统包括：获取单元、第一选取单元、初始重构单元、第二选取单元及重构单元；其中，

所述获取单元，用于获取同一场景的至少三幅图像；

所述第一选取单元，用于选取相邻的两幅图像I_i与图像I_（i+1）；

所述初始重构单元，用于将选取的所述图像I_i与图像I_（i+1）对所述场景进行初始重构；

所述第二选取单元，用于另选取与所述图像I_（i+1）相邻的图像I_（i+2）；

所述重构单元，用于利用所述图像I_（i+1）及图像I_（i+2）对所述场景进行重构，并删除所述场景中的重复重构点；

其中，i为正整数且i≤N-2、N为获取到的图像的总数量。

7.根据权利要求6所述的图像重构系统，其特征在于，所述获取单元，用于至少改变三次摄像机的拍摄位置，每改变一次摄像机的拍摄位置，拍摄到一幅图像。

8.根据权利要求6所述的图像重构系统，其特征在于，所述初始重构单元包括：第一分类子单元、第一处理子单元及第一重构子单元；其中，

所述第一分类子单元，用于对所述图像I_i及图像I_（i+1）的匹配点进行分类；

第一处理子单元，用于筛选出所述分类中正常匹配点中的正确匹配点，以及所述分类中问题点中的正确匹配点；

第一重构子单元，用于利用规范化八点法、随机采样一致性RANSAC及奇异值分解SVD方法，重构所述图像I_i及图像I_（i+1）中所述正确匹配点对应的所述场景的空间三维点。

9.根据权利要求6所述的图像重构系统，其特征在于，所述重构单元，所述重构单元包括：第二分类子单元、第二处理子单元及第二重构子单元；其中，

所述第二分类子单元，用于将图像I_（i+1）及图像I_（i+2）的匹配点进行分类；

所述第二处理子单元，用于筛选出所述分类中的第一类匹配点中的正确匹配点、以及第二类匹配点中的正确匹配点；

所述第二重构子单元，用于利用RANSAC及SVD方法，重构所述图像I_（i+1）及图像I_（i+2）中的所述正确匹配点对应的所述场景的空间三维点，并删除重复重构点。

Images