CN105260989B - 基于多图配准复原三维图像的方法 - Google Patents

Abstract

本发明公开了一种基于多图配准复原三维图像的方法，对三维激光扫描获得三维图像的过程中因各种干扰而产生图像退化、信息缺失的现象，先腐蚀再修补，二维图像与三维图像交互映射处理。本发明方法主要过程包括有损去噪、映射、配准、数据修补，在配准时引入了偏移矢量的概念，引入了随机算法，自动寻找特征区域，剔除无用信息，消除了传统配准方法信息冗余量大、速度慢的弊端。在数据修补中，使用总距离差最小即和基图像最相近的精配准图像的采样点来修补基图像，和传统的数据融合比较，更接近目标的实际距离值。经过一系列的过程，最终复原出退化的距离图像。

Description

基于多图配准复原三维图像的方法

技术领域

本发明属于数字图像处理领域，涉及一种三维图像复原方法。

背景技术

在图像获取的过程中由于硬件设备的固有原因和外部噪声的干扰，都会引起成像质量下降或者信息缺损。对于大多数成像系统，单纯从硬件方面来考虑解决这些问题，将带来巨大的成本和技术压力，因此研究图像复原算法来解决前面所提出的问题有着极大的现实意义和应用价值。尤其是在三维图像领域，在获取图像的过程中更易被干扰，提高设备性能的成本更高，而对三维图像复原的研究却远没有二维图像成熟。因此对三维图像的复原在图像处理方面更需要被研究。

对于获取三维图像时图像受到噪声干扰，已经有了一些去噪的方法，当前主要的去噪算法包括BM3D，由Dabov等人在2006年提出，其核心思想利用图像的相关性和统计特征对图像分块、分组匹配，形成三维块，再利用相关性对块层进行三维滤波去噪，保留了很好的低频轮廓信息，又保留了一定的细节纹理，但仍缺失了较多的信息。

发明内容

技术问题：本发明提供一种能够去除噪声、保留图像原始信息的基于多图配准复原三维图像的方法。

技术方案：本发明的基于多图配准复原三维图像的方法，包括以下步骤：

(1)以获取被复原三维图像时图像采集设备的位置为基准，偏转图像采集设备的角度、移动摄像头的位置，得到多幅用来辅助复原的辅助图像；

(2)以被复原三维图像为基图像，根据图像采集设备的旋转角度、移动矢量，创建各辅助图像对应的坐标系转换矩阵，对辅助图像分别进行粗配准；

(3)运用“偏移矢量”概念和随机算法，以基图像为标尺，对每个粗配准后的辅助图像分别进行基图像的点与辅助图像的点之间的精配准，得到辅助图像上所有点的偏移矢量和估计偏移量；

(4)进行每个辅助图像和基图像之间的面与面精配准，最终得到一组精配准的图像；

(5)有损去噪：针对基图像和所述步骤(4)得到的一组精配准的图像，利用腐蚀法将图像上的位置随机出现、形状为点状、线状的噪声去除；

(6)图像信息修补：用经过有损去噪的辅助图像，对基图像由于有损去噪而造成信息缺失的部位进行信息修补，最后得到复原后的图像。

进一步的，本发明方法中，所述步骤(3)的具体流程为：

首先对每个辅助图像A_k中的每个点，都按照如下准则进行度量：

若|a_1ij-a_kij|<h，则认为a_kij与a_1ij相对应，a_kij的偏移向量其中h称为相似度阈值；否则，在以ω为搜索半长的范围内进行以一个采样点间距为步长的逐步搜索，若遇到|a_1,i+e,j+f-a_kij|<h则认为否则其中-ω≤e,f≤ω；

然后以辅助图像中满足上述准则要求的采样点来求取偏移向量，得出一个向量组

最后根据得到图像A_k上所有点的估计偏移量。

进一步的，本发明方法中，所述步骤(3)中求取偏移向量的具体流程为：

若同时有多个点满足上述准则要求，则取与基图像中的采样点a_1ij距离模值最小的那个点来求取偏移向量；如果距离模值最小的点有若干个，且这若干个距离模值最小的点连续相连形成一个集合，则用随机算法配准：求取该集合中每个点的偏移向量，并把这个点集合中每个点的偏移向量进行向量求和，最终生成一个向量称为点集偏移向量；否则，即这若干个距离模值最小的点不连续，则将这些点的偏移向量设为(0,0)，不参与配准。

进一步的，本发明方法中，所述步骤(4)的具体流程为：

根据每幅辅助图像上所有点的估计偏移量，求出各辅助图像估计偏移量向量组中x分量的期望Ex_k和方差Dx_k，以及y分量的期望Ey_k、方差Dy_k；

对于每个辅助图像，当Dx_k<δ且Dy_k<δ时，则表明绝大多数采样点的偏移量相同，认为该图像精配准成功，将其按向量(Ex_k，Ey_k)移动，否则认为该图像精配准失败，舍弃该图像。

进一步的，本发明方法中，所述步骤(2)中各辅助图像对应的坐标系转换矩阵为：

其中，θ、γ为扫描辅助图像时，图像采集设备相对于获取被复原三维图像时的位置在x轴、y轴、z轴的旋转角度。

进一步的，本发明方法中，所述步骤(2)中粗配准之后得到的结果为：

其中，Xs、Ys、Zs是扫描辅助图像时，图像采集设备相对于获取被复原三维图像时的位置在x轴、y轴、z轴的位移。

现有的去噪手段很多都是以损失部分信息为代价的，而本发明方法能够对去除噪声而导致信息缺失的图像进行复原，其最终目的是实现无损去噪。

有益效果：本发明与现有技术相比，具有以下优点：

本发明提出了先腐蚀再修补的核心思想，以及二维图像与三维图像交互映射处理的方法，将二维图像与三维图像的处理方法进行了融合。

在配准时引入了偏移矢量的概念，引入了随机算法，自动寻找特征区域，剔除无用信息，消除了传统配准方法无法识别哪些信息有用、哪些信息无用，对信息做不到合适的取舍而导致信息冗余量大、速度慢的弊端。在数据修补中使用总距离差最小即和基图像最相近的精配准图像的采样点来修补基图像，和传统的数据融合比较，更接近目标的实际距离值。与传统的配准方法相比，该配准方法配准时通过附近搜索并引入偏移向量的概念，只利用距离值变化陡峭区域进行配准，并引入大样本随机算法进行配准，自动剔除了距离值变化较小的区域，帮助边界有效地预测偏移向量，消除了“配准迷路”对配准造成破坏性的的影响。

经过有损去噪、映射、配准、数据修补等步骤，最终复原出退化的距离图像。由于在复原过程中运用到多幅辅助图像中的信息来修补由于有损去噪造成的信息缺失，用于修补的信息均为图像采集装置直接获得的信息，而不是通过各种估计算法得到的信息，因此复原图像中信息的真实性大大提高。各步骤联系紧密，逻辑性强，综合地考虑到图像处理各种方法的优点以及缺陷，对这些方法进行相互间的取长补短，最终得到一个完善的图像复原方法。

和现今的主流去噪方法BM3D相比，本发明方法采用原始信息进行修补，先有损去噪、后复原，而非去噪复原同时进行，确保了对有用信息的保护；并且由于在去噪后的复原环节，使得信息损失量大大减少，而且还增添了不少因噪声遮挡而本来不具有的信息，几乎达到了无损去噪的效果。

附图说明

图1为搜索路径示意图；

图2为随机算法平均配准原理图；

图3为映射原理图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

在使用三维激光扫描仪来获得三维图像的方法时，由于采用的是精密的硬件设备，在实际应用中往往容易受到各种干扰而导致图像退化，使图像损失了部分信息。因此需要对其进行图像复原，将获得的退化图像，以最大的保真度，恢复到退化前的状态。本发明就是为了达到这个目的，具体实施例是将三维激光扫描仪装在破拆机器人上来扫描目标，由于形状复杂的液压管对发出激光有干扰，导致获得的距离图像失真。

本发明的基于多图配准复原三维图像的方法，包括先腐蚀再修补，二维图像与维图像交互映射处理，运用辅助图像对被复原对象进行信息修补；采用粗配准与精配准两步走的配准方法；在精配准时引入了偏移矢量的概念和方法。

本发明实施例包括以下具体内容：

(1)以获得被复原三维图像时的位置、视角为基准，通过三维激光扫描仪移动、旋转来获得不同位置、不同视角的距离图像。上述被复原三维图像称为基图像，通过扫描仪的平移和旋转多次扫描，可获得多幅不同位置、不同视角的图像，这些图像在处理后用来修补基图像，称为辅助图像，在后面的步骤中用来修补基图像的信息。

(2)设扫描仪在扫描某辅助图像时，相对于原位置(得到基图像时所在的位置)的位移为(Xs、Ys、Zs)，绕x轴、y轴、z轴的旋转角度分别为：θ、γ。则针对于扫描仪旋转，将扫描所获得数组转化到原坐标系(基图像的坐标系)的旋转恢复矩阵如式(1)所示。

求得经映射得到图像的采样点相对扫描中心的平面坐标再减去扫描系统本身相对于原坐标系的位移[Xs Ys Zs]^T，可以得到最终的目标地物在同一坐标系坐标下的坐标值[X Y Z]^T，如式(2)所示。该过程称为粗配准，是现今较为普遍、成熟的方法。

(3)将基图像与一组经过粗配准、待精配准的辅助图像组成A₁A₂....A_N，其中A₁为被复原三维图像，称为基图像，A₂....A_N为粗配准后的辅助图像。该组等尺寸图像长与高分别为m,n(以采样点数为单位)。

A₁＝{a₁₁₁，a₁₁₂，....，a_11n，a₁₂₁，.....a_1mn}

A₂＝{a₂₁₁，a₂₁₂，....，a_21n，a₂₂₁，.....a_2mn}

A_k＝{a_k11，a_k12，....，a_k1n，a_k21，.....a_kmn}

A_N＝{a_N11，a_N12，....，a_N1n，a_N21，.....a_Nmn}

其中，a_kij(0<i<m+1,0<j<n+1)为第k幅图像第i行第j列的采样点的距离值(z坐标值)。

对于每个辅助图像A_k以基图像A₁为标尺进行精配准，即对辅助图像A_k中的每一个采样点的距离值a_kij都用对应于基图像中的a_1ij按照如下准则进行度量：

若|a_1ij-a_kij|<h，则认为a_kij与a_1ij相对应，a_kij的偏移向量其中h称为相似度阈值；否则，如图1所示，在以ω为搜索半长的范围内进行以一个采样点间距为步长的逐步搜索，若遇到|a_1,i+e,j+f-a_kij|<h则认为否则其中-ω≤e,f≤ω。这样便自动剔除了无用信息，即基图像与辅助图像中变化平缓重叠区域中点的偏移向量为(0,0)，使之不影响配准。

以辅助图像中满足上述准则要求的采样点来求取偏移向量。若同时有多个点满足上述准则要求，则取与基图像中的采样点a_1ij距离模值最小的那个点来求取偏移向量。如果距离模值最小的点有若干个，且这若干个距离模值最小的点连续相连形成一个集合(即没有任何一个点与其他点不相连)，则用随机算法配准：求取该集合中每个点的偏移向量，并把这个点集合中每个点的偏移向量进行向量求和，最终生成一个向量称为点集偏移向量；否则，即这若干个距离模值最小的点不连续，则说明这些点分布较为离散且距离值相近，不利于配准，不再用随机算法配准，而是直将这些点的偏移向量设为(0,0)，使其不参与配准。

随机算法是计算机算法中的一种计算方法，它是用随机函数来获得计算结果，随机函数的返回值直接或者间接的影响算法的执行流程或执行结果。适用于样本量大的情况。

运用随机算法来获得偏移向量的具体实现办法：在求上述点集偏移向量时，在搜索范围中，随机选取符合度量准则要求的点，这样会具有数量较大的样本，通过这些样本最终得到的总体预测向量会很接近于待配准图像基图像间的偏移向量。这种基于大样本随机算法配准的方法，特别有利于边界丰富、边界所围成的区域内部变化极为平缓的图像(如敦煌壁画)的配准，其原理如图2所示。

当a_kij与以该点为基准确定的一个区域内所有的点的距离值作出比较之后，得出一个向量组

然后得到称为该点的估计偏移量。按此方法求出一幅图像A_k上所有点的估计偏移量其中点集偏移向量(把点集当作一个点来看待)应赋予较大的权值，其他未用随机算法得到的偏移向量为孤立点或变化平缓区域配准所求得的偏移向量，赋予较小权值。这种点之间的配准对距离值变化陡峭的区域较为敏感，距离值变化平缓的区域对配准的影响较小，距离值无变化的区域(目标是一个垂直平面)则完全不影响配准。该步骤称为点与点之间的精配准。

经过实验验证，对于使用sick经济型扫描仪和云台搭建的三维扫描系统在距离被扫描对象10米，水平扫描角度40度—140度，垂直扫描角度-60度—+60度，得到的图像的点集偏移向量与未用随机算法得到的偏移向量权值分别采用1.0和0.1时效果较好。

(4)在点与点之间的精配准基础上，根据式(3)和式(4)分别求出辅助图像A_k估计偏移量向量组中x分量的期望和方差。

同理求出y分量的期望Ey_k、方差Dy_k。

当Dx_k<δ且Dy_k<δ时，表明绝大多数采样点的偏移量相同，认为该图像精配准成功，将其按向量(Ex_k，Ey_k)移动，否则认为该图像精配准失败，舍弃该图像。

将除基图像之外的所有粗配准得到的图像进行精配准，设精配准成功的图像有r幅，记为c₁c₂...c_r。至此，由辅助图像得到一组精配准的图像。在上述提及的实验情况下，通过多次标定测试实验得：当取h＝3，ω＝6，σ＝4时(以为采样点间距单位)，对于配准结果较好。该步骤称为面与面之间的精配准。

(5)在图形学中，腐蚀的实质就是利用其对较大面积的景物影响较小，对较小面积的景物影响较大的原理，选用合适的模板，来消除斑点的噪声的。对于激光扫描仪而言，在实际情况中的噪声一般显示在图像上呈窄小、不规分布则的受干扰区域，考虑到其形状特点，可将图像二值化后用“×”字型模板对二值图像进行腐蚀去噪。然后根据一个准则在被腐蚀的二值图像和原图像上进行映射，该准则是：设p_ij为二值图像上第i行第j列的采样点的值，若p_ij＝0，则映射到A上第i行第j列的采样点c_ij的值为0；若p_ij＝1，则c_ij的值为原图中第i行第j列的采样点的值，记为q_ij。其映射原理如图3所示。按照这个标准，把扫描得到的基图像和辅助图像进行腐蚀、映射，得到一幅有信息缺损的基图像d₀和一组经映射的辅助图像d₁d₂...d_r。设图像d_s第i行第j列的采样点距离值为d_sij，0≤s≤r。先求出d₁d₂...d_r与d₀的总距离差△d_s如式(5)所示。

△d_s＝|d_s11-d₀₁₁|+|d_s12-d₀₁₁|+...+|d_s1n-d_01n|+|d_s21-d₀₂₁|...+|d_smn-d_0mn| (5)

(6)运用辅助图形d₁d₂...d_r来修补基图像d₀，修补准则为：

若d_0ij的距离值不为0(没被腐蚀掉)，则d_0ij的距离值保持不变。

若d_0ij的距离值为0(信息缺损)，则选择在d₁d₂...d_r中选择：

①在d_sij的值不为0；

②△d_s最小的图像d_t，0≤t≤r，用d_tij来修补d_0ij的值。

按照修补准则逐点对基图像进行修补，最终得出的复原结果。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (4)

1.一种基于多图配准复原三维图像的方法，其特征在于，该方法包括以下步骤：

(1)以获取被复原三维图像时图像采集设备的位置为基准，偏转图像采集设备的角度、移动摄像头的位置，得到多幅用来辅助复原的辅助图像；

(2)以被复原三维图像为基图像，根据图像采集设备的旋转角度、移动矢量，创建各辅助图像对应的坐标系转换矩阵，对辅助图像分别进行粗配准；

(3)运用“偏移矢量”概念和随机算法，以基图像为标尺，对每个粗配准后的辅助图像分别进行基图像的点与辅助图像的点之间的精配准，得到辅助图像上所有点的偏移矢量和估计偏移量，具体流程为：

首先对辅助图像A_k中的每一个采样点的距离值a_kij都用对应于基图像中的a_1ij按照如下准则进行度量：

若|a_1ij-a_kij|<h，则认为a_kij与a_1ij相对应，a_kij的偏移矢量其中h称为相似度阈值；否则，在以ω为搜索半径的范围内进行以一个采样点间距为步长的逐步搜索，若遇到|a_1,i+e,j+f-a_kij|<h则认为否则其中-ω≤e,f≤ω；

然后以辅助图像中满足上述准则要求的采样点来求取偏移矢量，得出一个向量组若同时有多个点满足上述准则要求，则取与基图像中的采样点a_1ij距离模值最小的那个点来求取偏移矢量；如果距离模值最小的点有若干个，且这若干个距离模值最小的点连续相连形成一个集合，则用随机算法配准：求取该集合中每个点的偏移矢量，并把这个点集合中每个点的偏移矢量进行向量求和，最终生成一个向量称为点集偏移矢量；否则，即这若干个距离模值最小的点不连续，则将这些点的偏移矢量设为(0,0)，不参与配准；

最后根据得到图像A_k上点a_kij的估计偏移量，从而得到图像A_k上所有点的估计偏移量；

(4)进行每个辅助图像和基图像之间的面与面精配准，最终得到一组精配准的图像；

(5)有损去噪：针对基图像和所述步骤(4)得到的一组精配准的图像，利用腐蚀法将图像上的位置随机出现、形状为点状、线状的噪声去除；

(6)图像信息修补：用经过有损去噪的辅助图像，对基图像由于有损去噪而造成信息缺失的部位进行信息修补，最后得到复原后的图像。

2.根据权利要求1所述的基于多图配准复原三维图像的方法，其特征在于，所述步骤(4)的具体流程为：

根据每幅辅助图像上所有点的估计偏移量，求出各辅助图像估计偏移量向量组中x分量的期望Ex_k和方差Dx_k，以及y分量的期望Ey_k、方差Dy_k；

对于每个辅助图像，当Dx_k<δ且Dy_k<δ时，则表明绝大多数采样点的偏移量相同，认为该图像精配准成功，将其按向量(Ex_k，Ey_k)移动，否则认为该图像精配准失败，舍弃该图像，其中，δ为方差阈值。

3.根据权利要求1或2所述的基于多图配准复原三维图像的方法，其特征在于，所述步骤(2)中各辅助图像对应的坐标系转换矩阵为：

其中，θ、γ为扫描辅助图像时，图像采集设备相对于获取被复原三维图像时的位置在x轴、y轴、z轴的旋转角度。

4.根据权利要求1或2所述的基于多图配准复原三维图像的方法，其特征在于，所述步骤(2)中粗配准之后得到的结果为：

其中，Xs、Ys、Zs是扫描辅助图像时，图像采集设备相对于获取被复原三维图像时的位置在x轴、y轴、z轴的位移，为各辅助图像对应的坐标系转换矩阵，θ、γ为扫描辅助图像时，图像采集设备相对于获取被复原三维图像时的位置在x轴、y轴、z轴的旋转角度，为经映射得到图像的采样点相对扫描中心的平面坐标，为最终目标地物在同一坐标系下的坐标值。