CN106204707A - 一种单目时域拓扑匹配三维成像方法 - Google Patents

Abstract

一种单目时域拓扑匹配三维成像方法，对目标采集A、B帧图像，其中A、B帧图像中具有重叠的影像部分；对A、B帧图像分别进行特征点提取及特征描述；利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对；根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构；对A、B帧图像进行拓扑匹配，对B帧图像进行几何修正，得到A、B帧图像像素一一对应的重叠区域；对A、B帧图像的重叠区域进行超分辨率三维重建，实现目标的三维成像，该方法对搭载平台运动稳定性要求不高，适用性好。

Description

一种单目时域拓扑匹配三维成像方法

技术领域

本发明涉及三维成像技术领域，具体涉及一种基于时域信息的单目拓扑匹配的三维成像方法。

背景技术

距离选通三维成像是一种主动照明的三维成像技术，可广泛用于车辆自主导航和三维场景重建等领域。距离选通中的超分辨率三维成像利用回波展宽效应构造满足特定几何形状的距离能量包络，通过两幅图像反演获得目标的三维信息，具有实时性好、距离分辨率高、作用距离远等特点，根据距离能量包络的几何形状可分为矩形距离能量包络(Laurenzis M，Christnacher F，Monnin D.Long-range three-dimensional activeimagingwith superresolution depth mapping[J].Optics Letters，2007，32(21)：3146-3148.)和三角形距离能量包络(Wang Xinwei，Li Youfu，Zhou Yan.Triangular-range-intensity profile spatial -correlation method for 3D supper-resolution range-gated imaging[J].Applied Optics，2013，52(30)：7399-7046.)。但是，超分辨三维成像方法使用的两幅图像需满足像素一一对应，这要求采集图像过程中需保持目标与成像系统间处于相对静止状态。如图1所示，在动平台或动目标条件下采集的两幅图像中的目标会出现位置变化及畸变现象，两幅图像中目标无法满足像素一一对应条件，导致在进行超分辨率三维重建过程中，回波展宽效应构造的距离能量包络无法作用在同一目标位置处，求取错误的目标三维信息。因此，针对动平台或动目标条件下的超分辨率三维成像无法得到准确的目标三维信息，无法实现三维重建工作。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，为了克服上述现有技术的不足，本发明提出了一种单目时域拓扑匹配三维成像方法。

(二)技术方案

根据本发明的一个方面，提供了一种单目时域拓扑匹配三维成像方法，对目标采集A、B帧图像，其中A、B帧图像中具有重叠的影像部分；对A、B帧图像分别进行特征点提取及特征描述；利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对；根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构；对A、B帧图像进行拓扑匹配，对B帧图像进行几何修正，得到A、B帧图像像素一一对应的重叠区域；对A、B帧图像的重叠区域进行超分辨率三维重建，实现目标的三维成像。

(三)有益效果

从上述技术方案可以看出，本发明具有以下有益效果：

(1)采用特征匹配及特征点构建的拓扑结构对图像进行匹配，实现单目时域信息不同的两幅图像的全局匹配，对匹配得到两幅图像进行三维重建，获得目标三维图像，对搭载平台运动稳定性要求不高，适用性好；

(2)特征匹配采用双向特征匹配方法，提高特征点对匹配鲁棒性。

附图说明

图1a为本发明实施例中平台运动情况下采集图像的示意图；

图1b为本发明实施例中动目标情况下采集图像的示意图；

图1c为图1a或图1b的情况下三维成像的示意图；

图2为本发明实施例中单目时域拓扑匹配三维成像方法流程图；

图3为图2所示流程中特征点对构建拓扑结构及拓扑子区域匹配实现图像匹配示意图；

图4a为图1b中采集的实物A、B帧灰度图像；

图4b为图1b中单目时域拓扑匹配前后的超分辨三维成像的三维图像。

【主要元件】

1-成像系统；2-目标；3-平台。

具体实施方式

本发明某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本发明的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本发明满足适用的法律要求。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明中图像采集所用成像系统1搭载在平台3上，主要由脉冲激光器、选通成像器件和时序控制器组成。其中脉冲激光器可以为半导体激光器、固体激光器等激光器，优选半导体激光器，选通成像器件可以为ICCD、ICMOS等，优选为ICCD。脉冲激光器发射激光脉冲，对目标进行照明，形成反向传播的回波信号，通过时序控制器控制脉冲激光器和选通成像器件，选择合适的工作时序，利用选通成像器件采集回波信号，得到两帧图像，两帧图像中具有重叠的影像部分。

在平台3运动或目标2运动条件下，如图1a和1b所示，目标2与成像系统1间的相对运动会产生目标2位移，导致两帧图像间像素不一一对应。针对两帧图像利用特征匹配及拓扑结构匹配实现两幅图像全局匹配，得到像素一一对应的两幅图像，进而对两幅图像的重叠区域进行超分辨率三维成像算法获取目标三维信息，实现三维重建，图1c示出了在平台3运动或目标2运动下三维成像的示意图。

具体的，如附图2所示，针对平台3运动或目标2运动条件下，本发明提供的单目时域拓扑匹配三维成像方法具体为：

步骤A：利用成像系统1采集A、B帧图像；

成像系统1中的脉冲激光器发射激光脉冲，对目标进行照明，形成后向传播的回波信号，通过时序控制器控制成像系统1中的脉冲激光器和选通成像器件，选择合适的工作时序，利用选通成像器件采集回波信号，得到A、B帧图像。

步骤B：对A、B帧图像分别进行特征点提取及特征描述；

首先，分别对A、B帧图像提取特征点，特征点的提取采用具有空间尺度不变性的surf(Speeded Up Robust Features)方法，该方法对光照变换和空间变换具有较强的鲁棒性；

欲进行特征点的匹配，必须提取出特征点的特征向量并利用两个向量的相似程度判断两个点是否为相互对应的点，特征向量用于对特征点进行特征描述，利用特征向量的方向和模来确定特征点与邻域的灰度梯度大小和方向。

步骤C：利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对；

采用特征向量的欧氏距离(Euclidean Distance)作为两幅图像特征点的相似性度量，进行特征匹配，特征匹配优选采用双向匹配方法，可以得到鲁棒性强的特征点对，双向特征匹配方法为如下：

步骤C1：以A帧图像中的特征点作为基准，寻找B帧图像中与A帧图像中的特征点匹配的特征点，得到A向B的特征点对；

步骤C2：以B帧图像中的特征点作为基准，寻找A帧图像中与B帧图像中的特征点匹配的特征点，得到B向A的特征点对；

步骤C3：对C1、C2中两次单向匹配中的特征点对进行筛选，提取公共特征点对作为最终的匹配特征点对，提高特征点对匹配鲁棒性。

步骤D：根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构；

图3给出了构建拓扑结构及拓扑匹配的示意图，在A帧图像中，以匹配得到的特征点为结点，连接近邻结点构成三角形拓扑子区域，对子区域进行编号，构建整幅图像的拓扑结构，并按照拓扑结构进行拓扑分割，三角形拓扑子区域构建的原则如下：

a：三角形区域内无结点，

b：三角形区域三条边上无结点，

c：三角形内无其他三角形边穿过。

B帧图像中的拓扑结构依据得到的匹配特征点对一一对应的关系构建与A图中一一对应的拓扑结构。

步骤E：对A、B帧图像进行拓扑匹配，对B帧图像进行几何修正，得到A、B帧图像像素一一对应的重叠区域；

构建一一对应的拓扑结构后，对A、B帧图像中目标产生的位置变换和几何变化进行修正，按照拓扑子区域的编号依次选择两幅图像中一一对应的拓扑子区域，以A帧图像为基准，利用拓扑子区域的三角形结构对B帧图像中对应的拓扑子区域进行几何变换，使得两个子区域具有相同的几何形状及灰度分布，几何变换过程中需增加或删除部分像素点，其中增加的像素点灰度信息需满足如下条件：

a：增加的像素点的灰度信息参考邻域像素灰度信息进行插值，

b：增加的像素点的灰度信息与其邻域像素点的灰度信息关系与A帧图中该对应像素邻域灰度信息变化关系一致。

修正两幅图像拓扑子区域的几何形状和灰度信息分布关系后，需保证对应拓扑子区域在两幅图像中具有相同的位置信息，这一步同样以A帧图像为基准，依次将匹配后的B帧图像拓扑子区域按相应A帧图像子区域的位置信息进行排放，得到拓扑子区域位置信息一致的A、B两幅图像。通过以上处理，两幅图像实现全区域匹配，得到重叠区域像素的一一对应关系。

步骤F：对A、B帧图像重叠区域进行超分辨率三维重建，由公式(1)获得目标的三维图像；

最后对两幅图像的重叠区域利用三角形或梯形超分辨率三维成像算法获取目标三维信息。超分辨率三维成像是通过回波展宽效应构造满足特定几何形状的距离能量包络，通过两幅空间交叠的切片图像间的距离能量相关性建立像素灰度比与距离能量比的映射关系，利用三维反演算法获取目标距离信息，而后根据几何透射投影理论便可反演获得每个像素对应的空间单元的三维空间信息，进而实现三维重建。

上述的获得目标三维距离后，根据几何透射投影理论便可反演获得每个像素对应的空间单元的三维空间信息为：

$\left\{\begin{array}{c}{X}_i=\frac{x_i}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\\ \begin{array}{cc}{Y}_j=\frac{y_j}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}& (i\∈\[1,I\],j\∈\[1,J\])\end{array}\\ z_{ij}=\frac{f}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\end{array}\right.---\left(1\right)$

公式(1)中，f为成像系统的焦距，该焦距可由成像镜头的出场参数获得，x_i和y_j为选通图像中第i行第j列像素在像平面坐标系下的x轴和y轴像素坐标，X_i、Y_j和Z_i，j为选通图像中第i行第j列像素在摄像机坐标系下对应的空间单元的三维空间坐标，r_i，j为选通图像中第i行第j列像素对应的空间距离，I为总行数，J为总列数。

步骤G：完毕，输出目标的三维图像。

为了验证本发明的有效性，以下对图2中所示的方法进行了实例验证。图4a为在动平台条件下利用图像采集系统拍摄实物的A、B帧灰度图，B帧图像中目标相对于A帧图像中目标位置角度发生变化。图4b为拓扑匹配前后A、B帧图像使用超分辨率三维成像得到的三维图像，从图中可以看出因像素不一一对应，拓扑匹配前无法得到目标有效三维信息；利用特征匹配、拓扑结构匹配对A、B帧图像进行全局匹配后，获得的重叠区域像素一一对应，可得到目标三维有效信息，目标距离成像设备的距离为34m。从图4a及图4b中看出，利用单目时域拓扑匹配成像方法可用于可动平台或动目标的高分辨率三维成像工作。

本领域技术人员应当理解，尽管本发明实施例中步骤4、5以A帧图像为基准，对B帧图像相应构建拓扑结构及进行几何变换，本发明同样可以B帧图像为基准，对B帧图像相应构建拓扑结构及进行几何变换。

应注意，附图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本发明实施例的内容。

实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种单目时域拓扑匹配三维成像方法，其特征在于，包括以下步骤：

步骤A：对目标(2)采集A、B帧图像，其中A、B帧图像中具有重叠的影像部分；

步骤B：对A、B帧图像分别进行特征点提取及特征描述；

步骤C：利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对；

步骤D：根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构；

步骤E：对A、B帧图像进行拓扑匹配，对B帧图像进行几何修正，得到A、B帧图像像素一一对应的重叠区域；

步骤F：对A、B帧图像的重叠区域进行超分辨率三维重建，实现目标(2)的三维成像。

2.根据权利要求1所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤C包括：

步骤C1：以A帧图像中的特征点作为基准，寻找B帧图像中与A帧图像中的特征点匹配的特征点，得到A帧图形向B帧图像的特征点对；

步骤C2：以B帧图像中的特征点作为基准，寻找A帧图像中与B帧图像中的特征点匹配的特征点，得到B帧图形向A帧图形的特征点对；

步骤C3：对步骤C1和步骤C2中两次单向匹配中的特征点对进行筛选，提取公共特征点对作为最终的匹配特征点对。

3.根据权利要求1所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤D包括：

步骤D1：在A帧图像中，以匹配得到的特征点对的特征点为结点，连接近邻结点构成三角形拓扑子区域，对所述拓扑子区域进行编号，构建整幅图像的拓扑结构；

步骤D2：在B帧图像中依据得到的匹配特征点对一一对应的关系构建具有与A帧图像中一一对应拓扑子区域的拓扑结构。

4.根据权利要求3所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤E包括：

步骤E1：按照拓扑子区域的编号依次选择A、B幅图像中一一对应的拓扑子区域，以A帧图像为基准，利用拓扑子区域的三角形结构对B帧图像中对应的拓扑子区域进行几何变换，使得两个对应拓扑子区域具有相同的几何形状及灰度分布；

步骤E2：以A帧图像为基准，依次将几何变换后B帧图像拓扑子区域按相应A帧图像拓扑子区域的位置信息进行排放，得到对应拓扑子区域位置信息一致的A、B两幅图像。

5.根据权利要求1所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤F包括：

步骤F1：通过所述步骤E中得到的具有像素一一对应的重叠区域的A、B帧图像间的距离能量相关性建立像素灰度比与距离能量比的映射关系，利用三维反演算法获取目标距离信息；

步骤F2：根据几何透射投影理论反演获得每个像素对应的空间单元的三维空间信息，实现三维重建。

6.根据权利要求5所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤F2中采用公式(1)获得每个像素对应的空间单元的三维空间信息：

$\left\{\begin{array}{c}{X}_i=\frac{x_i}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\\ Y_j=\frac{y_j}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j},(i\∈\[1,I\],j\∈\[1,J\])\\ Z_{i,j}=\frac{f}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\end{array}\right.---\left(1\right)$

其中，f为成像系统的焦距，x_i和y_j为选通图像中第i行第j列像素在像平面坐标系下的x轴和y轴像素坐标，X_i、Y_j和Z_i，j为选通图像中第i行第j列像素在摄像机坐标系下对应的空间单元的三维空间坐标，r_i，j为选通图像中第i行第j列像素对应的空间距离，I为总行数，J为总列数。

7.根据权利要求1-6中任一所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤A中通过单目的成像系统(1)采集A帧图像和B帧图像，所述成像系统(1)搭载在平台(3)上，所述平台(3)相对于目标(2)旋转平移。

8.根据权利要求7所述的单目时域拓扑匹配三维成像方法，其特征在于：所述成像系统(1)包括脉冲激光器、选通成像器件和时序控制器，所述脉冲激光器发射激光脉冲，对目标(2)进行照明，形成反向传播的回波信号，所述选通成像器件采集回波信号，得到A帧图像和B帧图像，所述时序控制器控制脉冲激光器和选通成像器件，选择工作时序。

9.根据权利要求8所述的单目时域拓扑匹配三维成像方法，其特征在于：

所述脉冲激光器为半导体激光器或固体激光器，和/或，

所述选通成像器件为ICCD或ICMOS。

10.根据权利要求1-6中任一所述的单目时域拓扑匹配三维成像方法，其特征在于，步骤F之后还包括：

步骤G：输出目标(2)的三维图像。