CN103438863A - 距离选通编码超分辨率三维成像方法 - Google Patents

Abstract

本发明公开了一种距离选通编码超分辨率三维成像方法，其包括：步骤1、按照选通编码规则生成编码工作时序，以对脉冲激光器和选通成像器件进行时域编码调制产生所需的激光脉冲序列和选通脉冲序列；步骤2、在选通脉冲序列和激光脉冲序列卷积作用下，在空域产生M个具有三角形能量包络特征的选通编码空间采样序列GCS，并对成像视场内待三维成像的感兴趣区进行空间编码采样，生成M幅选通编码图像；步骤3、通过对所述M幅选通编码图像中N条不同码道的信号进行三角形超分辨率三维成像解调实现三维重建，获取感兴趣区的三维空间信息。

Description

距离选通编码超分辨率三维成像方法

技术领域

本发明涉及三维成像技术领域，尤其涉及一种基于三角形能量包络的距离选通编码超分辨率三维成像属于三维成像方法。 

背景技术

距离选通三维成像技术是一种新型的主动式光学三维成像技术，可广泛应用于水下成像、避障导航、目标身份识别和地形地貌测绘等领域，特别是复杂背景或恶劣天气环境下的低对比度目标探测。 

目前距离选通三维成像技术主要有三种：步进延时扫描三维成像、增益调制三维成像和超分辨率三维成像。步进延时扫描三维成像主要是通过距离向上的精细切片扫描后获取大量的空间切片图像，然后切片图像空间叠加实现三维重构的，该技术代表性研究单位是丹麦科技大学。增益调制三维成像是通过对成像器件选通门的增益控制获取两幅图像反演目标三维信息的，其中一幅图是选通增益为固定值时获得的空间切片图像，另一幅图是对选通门增益进行线性或非线性调制后获得的空间切片图像，该图像包含目标的距离增益信息，根据两幅切片图像间的能量关系进行三维重构，该技术代表性研究单位是浙江大学和哈尔滨工业大学。超分辨率三维成像是通过回波展宽效应构造满足特定几何形状的距离能量包络，可通过两幅图像反演获得目标的三维信息，该技术代表性研究单位是法德圣路易斯研究院和中国科学院半导体研究所，其中前者是通过梯形距离能量包络实现三维重构的，后者是通过三角形距离能量包络实现三维成像的。上述距离选通三维成像技术中，步进延时扫描三维成像的数据量大、实时性差；增益调制三维成像和超分辨率三维成像的数据量小，实时性好，但是相同系统参数下，超分辨率三维成像的距离分辨率高于增益调制三维成像。虽然如此，但欲获取大景深场景或目标的高距离分辨率三维空间信息，传统的超分辨率三维成像仍存在很大问题。以中国科学院半导体研究所提出的 距离选通超分辨率三维成像方法为例(王新伟等，一种距离选通超分辨率三维成像装置及方法，中国发明专利，申请号：201210430995.6)，如图1(b)所示，采用该发明专利中的方法可通过两幅具有三角形距离能量包络的选通图像反演获取图1(a)中树的三维图像，但是欲获得大景深感兴趣区的三维图像，同时保持与图1(b)中相同的距离分辨率，则只能采用与图1(b)中具有相同景深大小的三角形距离能量包络空间切片扫描大景深感兴趣区，如图1(c)所示，通过增加图像数量的方式实现大景深、高分辨率三维成像，即通过获取N+1幅具有三角形距离能量包络的选通图像反演大景深感兴趣区的三维图像，该方案虽然较传统的步进延时扫描三维成像降低了数据量，并提高了实时性，但是依然存在数据量较大和实时性较差的问题，无法实现避障导航、目标侦察等应用领域所需的高实时性、大景深、高分辨率三维成像。 

发明内容

(一)要解决的技术问题 

针对上述现有技术存在的不足之处，为了进一步提高超分辨率三维成像的距离分辨率，满足对于大景深高分辨率三维信息获取的应用需求，本发明的主要目的在于提出一种基于三角形能量包络的距离选通编码三维成像的方法，以实现对大景深场景的高距离分辨率三维重建目的。 

(二)技术方案 

为达到上述目的，本发明提供的技术方案如下： 

一种距离选通编码超分辨率三维成像方法，其包括： 

步骤1、按照选通编码规则生成编码工作时序，以对脉冲激光器和选通成像器件进行时域编码调制产生所需的激光脉冲序列和选通脉冲序列； 

步骤2、在选通脉冲序列和激光脉冲序列卷积作用下，在空域产生M个具有三角形能量包络特征的选通编码空间采样序列GCS，并对成像视场内待三维成像的感兴趣区进行空间编码采样，生成M幅选通编码图像； 

步骤3、通过对所述M幅选通编码图像中N条不同码道的信号进行三角形超分辨率三维成像解调实现三维重建，获取感兴趣区的三维空间信息。 

(三)有益效果 

从上述技术方案可以看出，本发明具有以下有益效果： 

1、利用本发明，由于采用三角形超分辨率三维成像解调，扩大了像素灰度比动态范围，所以，相对于传统的梯形超分辨率三维成像解调算法，具有更高的距离分辨率 

2、利用本发明，由于采用编码的方式实现距离选通超分辨率三维成像，所以，相对于未采用编码技术的基于三角形能量包络的距离选通超分辨率三维成像，相同工作景深下具有更高的距离分辨率，可兼顾大工作景深和高距离分辨率的应用需求，并可压缩数据量，提高实时性。 

附图说明

图1是传统距离选通超分辨率三维成像原理示意图； 

图2是本发明中基于三角形能量包络的距离选通编码超分辨率三维成像方法流程图； 

图3是本发明中激光脉冲和选通脉冲卷积作用下的三角形距离能量包络示意图； 

图4(a)～图4(b)是本发明中基于三角形能量包络的距离选通编码超分辨率三维成像中编码工作时序及选通编码空间采样序列、选通编码图像形成的码道代码示意图； 

图5(a)～图5(b)是本发明中选通编码图像数量为3时的GCS工作时序及GCS、码道代码示例图； 

图6(a)～图6(e)是本发明中选通编码图像及反演获得的中工作场景三维图像、GCS1～GCS3对应的选通编码图像及基于选通编码图像反演获得的三维图像。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。 

图2示出了本发明公开的基于三角形能量包络的距离选通编码超分辨率三维成像方法流程图。如图2所示，该方法包括： 

步骤1、采用距离选通成像技术，按照选通编码规则生成编码工作时序，对脉冲激光器和选通成像器件进行时域编码调制产生所需的激光脉冲序列和选通脉冲序列； 

步骤2、在选通脉冲序列和激光脉冲序列卷积作用下，每个选通脉冲可与激光脉冲实现一次选通成像，从而在空域生成M个具有三角形能量包络特征的选通编码空间采样序列(Gate-coding Spatial Sampling Series，简称GCS)，并根据所述选通编码空间采样序列对成像视场内感兴趣区进行空间编码采样，生成M幅选通编码图像； 

步骤3、通过对这M幅选通编码图像中N条不同码道的信号进行三角形超分辨率三维成像解调实现三维重建，获取目标的三维空间信息。 

本发明中实现上述成像方法的成像系统主要由脉冲激光器、选通成像器件和时序控制器组成。脉冲激光器作为照明光源，发射激光脉冲，对目标进行照明，形成后向传播的回波信号；选通成像器件则作为具有选通功能的成像器件，通过控制选通门的开关，实现回波信号的采集；时序控制器则是产生脉冲激光器和选通成像器件所需的工作时序。 

图3示出了本发明中激光脉冲和选通脉冲卷积作用下的三角形距离能量包络示意图。如图3所示，在距离选通成像中，以脉冲激光器作为照明光源，并以选通成像器件作为探测器，通过时序控制器控制选通脉冲2和激光脉冲1之间的延时τ可实现对距离为τc/2的空间切片的选通成像，即在经历延时τ之后的时刻，选通成像器件的选通门才开启，并持续开启一定时间t_g后关闭选通门，因此，只有选通门开启时间内选通成像器件才会接收来自照明光源照射目标形成的回波信号，其它时间均不采集回波信号，从而实现对距离系统τc/2远、厚度为(t_L+t_g)c/2的空间切片的成像。当激光脉冲1的脉宽t_L与选通脉冲2的门宽t_g相等且二者均为矩形方波时，选通空间切片的距离能量包络为三角形，从而在选通脉冲2和激光脉冲1卷积作用下，便可产生具有三角形能量包络特征的空间采样区。空间采样区的上升沿称为头信号区3，空间采样区的下降沿称为尾信号区4，非空间采样区称为无信号区5。本发明利用这种三角形能量包络特征对激光脉 冲序列和选通脉冲序列进行编码生成M个具有三角形能量包络特征的选通编码空间采样序列。 

图4示出了本发明中基于三角形能量包络的距离选通编码超分辨率三维成像编码示意图。如图4(a)所示，一个GCS由不同码道的码元构成，不同GCS中同一码道内的码元对应于三维空间中同一码道空间采样区。所述GCS是在编码工作时序下由激光脉冲序列与选通脉冲序列卷积作用产生的。在设计编码工作时序时，需遵循以下选通编码规则： 

(1)头信号区3、尾信号区4和无信号区5分别用符号“+1”、“-1”和“0”表示，码元长度为D＝t_gc/2＝t_Lc/2，其中t_g为选通门宽，t_L为激光脉宽，c为光的传播速度。 

(2)元素+1、-1和0存在以下关系：-1仅能排在+1之后，0仅能排在-1或0之后，+1仅能排在-1或0之后。 

(3)码道代码须具有唯一性。 

(4)每一码道的码道代码中必须含有+1和-1元素。 

在该规则下，选通编码空间采样序列便可用0、+1和-1以代码的形式表示，如图4(b)所示，因此，三维空间感兴趣区可视为由很多不同的码道空间采样区构成，码道空间采样区对应的码道代码具有唯一性，不同的码道空间采样区对应不同的码道代码。 

编码工作时序由时序控制器产生。该选通编码工作时序是指成像器件一帧的曝光时间t_exp里，脉冲激光器发射一个激光脉冲1，相应地选通成像器件开启多次，形成多个选通脉冲2，如图4(a)所示。欲形成M个GCS则相应的需要M个与之对应的选通脉冲序列。在成像器件一帧曝光时间里一个选通脉冲序列可由激光脉冲与按照选通编码规则设计的选通编码空间采样序列反卷积获得。在编码工作时序下，激光器发射一个激光脉冲，相应地选通成像器件按照设计的一个选通脉冲序列开启多次，这样激光脉冲和该选通脉冲序列卷积后形成一个具有三角形能量包络特征的GCS，对成像视场内感兴趣区进行空间编码采样，生成一幅选通编码图像。一个GCS对应生成一幅选通编码图像，多个不同GCS对应生成多个不同的选通编码图像。在空间编码采样的作用下，一幅选通编码图像会呈现条纹式图样特征，每条条纹对应GCS中的一个三角形包络，而该三角距离能量 包络正是由一个激光脉冲和一个选通脉冲序列中的一个选通脉冲卷积作用生成的。每个GCS由N条码道组成，码道的数量由用于三维成像解调的选通编码图像数量决定。当选通编码图像数量为M时，考虑选通编码规则和码道代码的唯一性，则码道数为： 

N＝3^M-2^M+1+1  (1) 

公式(1)中M和N均为自然数，M为用于三维重建的选通编码图像数量，N为选通编码图像中用于三维重建的码道数。 

成像视场内感兴趣区是指成像视场范围内欲进行三维成像的空间区域，其距离向上的成像区间为[τc/2，(τ+Nt_g)c/2]，其中，τ为感兴趣区相对于成像器件对应的延时，即第1码道相对于激光脉冲的延时，N为码道数，c为光的传播速度，t_g为选通脉冲的门宽。感兴趣区的工作景深为： 

D_DOV＝Nt_gc/2  (2) 

公式(2)中D_DOV为成像视场内感兴趣的工作景深，即该感兴趣区在距离向上的长度。在应用中，感兴趣区工作景深是人为设置的，因此，可根据感兴趣区工作景深D_DOV，可由公式(2)计算获得选通门宽t_g的大小  $t_g=\frac{{2D}_{\mathrm{DOV}}}{\mathrm{Nc}}.$

通过M个GCS对成像视场内感兴趣区进行空间编码采样后，可获得M幅选通编码图像，通过对这M幅选通编码图像进行三角形超分辨率三维成像解调便可对感兴趣区进行三维重建。其解调过程为： 

对M幅选通编码图像汇总的N条不同码道的信号进行解调，获取同一码道中的+1和-1元素对应图像像素灰度比，如图4(a)所示，对于码道1可获取GCS1中的尾信号区(-1)和GCS2中头信号区(+1)的图像像素灰度比，然后基于三角形距离能量包络建立距离能量比与图像像素灰度比的关系，从而反演出该码道每个像素对应的空间距离： 

$r_{i,j}=\frac{[\mathrm{\τ}+(n-1)t_g]c}{2}+\frac{t_{L}c}{2({\mathrm{\ϵ}}_{i,j}+1)}(i\∈[1,I],j\∈[1,J],n\∈[1,N\left]\right)---\left(3\right)$

公式(3)中，r_i，j为选通编码图像中第i行第j列像素对应的空间单元的距离，ε_i，j为选通编码图像中第i行第j列像素所隶属码道中-1元素与+1 元素对应的像素灰度比，I为选通编码图像的行数，J为选通编码图像的列数，N为选通编码图像的码道数。获得目标距离后，根据几何透视投影理论便可反演获得每个像素对应的空间单元的三维空间信息： 

$\left\{\begin{array}{c}{X}_i=\frac{x_i}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\\ Y_j=\frac{y_j}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\\ Z_{i,j}=\frac{f}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\end{array}\right.(i\∈[1,I],j\∈[1,J\left]\right)---\left(4\right)$

公式(4)中，f为成像系统的焦距，该焦距可由成像镜头的出厂参数获得，x_i和y_j为选通编码图像中第i行第j列像素在像平面坐标系下的x轴和y轴像素坐标，X_i、Y_j和Z_i，j为选通编码图像中第i行第j列像素在摄像机坐标系下对应的空间单元的三维空间坐标。 

与图1示出的现有技术相比，在相同距离分辨率下，数据量压缩为图1(c)中数据量的M/(N+1)，其中M和N满足公式(1)。空间编码技术的引入可有效解决大景深和高分辨率的矛盾，进一步提高了实时性和压缩了数据量。 

根据本发明的另一实施例，所述基于基于三角形能量包络的距离选通编码超分辨率三维成像方法包括： 

步骤1：设置用于三角形超分辨率三维成像解调的选通编码图像数量M； 

步骤2：根据公式(1)由选通编码图像数量M计算码道数N； 

步骤3：根据选通编码规则设计M个GCS，每个GCS码道数为N； 

步骤4：根据成像视场内感兴趣区7的工作景深，由公式(2)计算获得选通脉冲门宽。在本发明优选实施例中，由于激光脉冲脉宽与选通脉冲门宽大小相等，因而，同时获得了激光脉冲脉宽； 

步骤5：设计编码工作时序，由步骤3中设计的M个GCS与激光脉冲反卷积获得选通脉冲序列，从而完成编码工作时序的设计； 

步骤6：脉冲激光器和选通成像器件按照编码工作时序工作，对成像视场内感兴趣区7进行空间编码采样，输出M幅选通编码图像； 

步骤7：三维重建：对获取的M幅选通编码图像中的N条不同码道的信号进行三角形超分辨率三维成像解调，由公式(3)和(4)反演获得目标三维空间信息； 

步骤8：完毕，输出三维图像。 

对于基于三角形能量包络的距离选通编码超分辨率三维成像，本发明以选通编码图像数量为3为例进行了仿真实验。当选通编码图像数量为3时，由公式(1)可得码道数为12。 

图5给出了选通编码图像数量为3时的编码工作时序及GCS示例图，以及与之对应的码道代码。 

图6给出了本发明中选通编码图像及反演获得的三维图像示例图。实验中，如图6(a)所示，以一斜平面为目标8，由成像系统9在成像视场内感兴趣7内对其进行成像；成像视场内感兴趣区7的工作景深即成像视场内感兴趣区7距离向上的长度为360m，对应的距离向的成像区间为[600，960]m，相应地，选通门宽和激光脉宽均为200ns，码元长度为30m。在图3的编码工作时序下，图6(b)-(d)分别给出了不同GCS对应的选通编码图像。由于目标为斜平面，因此，图6(b)-(d)的选通编码图像具有平行的条纹图样特征，每条条纹对应于GCS序列中的一个三角形包络，而该三角形包络正是一个激光脉冲和一个选通脉冲卷积作用形成的。图6(e)为对选通编码图像进行三角形超分辨率三维成像解调获得目标8的三维图像。实验表明本发明可基于三角形能量包络的距离选通编码三维成像实现对大景深场景的高距离分辨率三维成像。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (12)

1.一种距离选通编码超分辨率三维成像方法，其包括：

步骤1、按照选通编码规则生成编码工作时序，以对脉冲激光器和选通成像器件进行时域编码调制产生所需的激光脉冲序列和选通脉冲序列；

步骤2、在选通脉冲序列和激光脉冲序列卷积作用下，在空域产生M个具有三角形能量包络特征的选通编码空间采样序列GCS，并对成像视场内待三维成像的感兴趣区进行空间编码采样，生成M幅选通编码图像；

步骤3、通过对所述M幅选通编码图像中N条不同码道的信号进行三角形超分辨率三维成像解调实现三维重建，获取感兴趣区的三维空间信息。

2.根据权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，对成像视场内的感兴趣区进行空间编码采样时，采用脉冲激光器作为照明光源，采用选通成像器件作为探测器，通过控制选通脉冲和激光脉冲之间的延时实现对成像视场内的感兴趣区的选通切片成像。

3.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述编码工作时序指选通成像器件一帧的曝光时间中，脉冲激光发射一个激光脉冲，而选通成像器件在选通脉冲序列的选通下开启多次。

4.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述选通编码图像呈条纹式图样特征，且每条条纹对应GCS中的一个三角距离能量包络。

5.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述三角距离能量包络是由一个激光脉冲和一个选通脉冲序列中的选通脉冲卷积产生的，其中激光脉冲和选通脉冲均为矩形方波，且激光脉宽等于选通门宽。

6.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述GCS由对应选通编码图像不同码道的码元构成，不同GCS中对应同一码道的码元对应三维空间中同一码道空间采样区。

7.如权利要求6所述的距离选通编码超分辨率三维成像方法，其特征在于，所述选通编码图像的码道数由进行三维重建时所用的选通编码图像数量决定，具体如下计算：

N＝3^M-2^M+1+1

其中，M和N均为自然数，M为用于三维重建的选通编码图像数量，N为选通编码图像中用于三维重建的码道数。

8.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述成像视场内待三维成像的感兴趣区的成像区间为[τc/2，(τ+Nt_g)c/2]，其中，τ为感兴趣区相对于成像器件的延时，N为选通编码图像的码道数，c为光的传播速度，t_g为选通脉冲的门宽。

9.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述感兴趣区的工作景深为：

D_DOV＝Nt_gc/2

其中，N为选通编码图像的码道数，c为光的传播速度，t_g为选通脉冲的门宽。

10.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，所述感兴趣区中像素的三维空间信息如下获得：

$\left\{\begin{array}{c}{X}_i=\frac{x_i}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\\ Y_j=\frac{y_j}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\\ Z_{i,j}=\frac{f}{\sqrt{x_i^2+y_j^2+f^2}}{r}_{i,j}\end{array}\right.$

其中，f为成像器件的焦距，x_i和y_j为选通编码图像中第i行第j列像素在像平面坐标系下的x轴和y轴像素坐标，X_i、Y_j和Z_i，j为选通编码图像中第i行第j列像素在摄像机坐标系下的三维空间坐标；r_i，j为选通编码图像中第i行第j列像素对应的空间距离，如下计算：

$r_{i,j}=\frac{[\mathrm{\τ}+(n-1)t_g]c}{2}+\frac{t_{L}c}{2({\mathrm{\ϵ}}_{i,j}+1)}(i\∈[1,I],j\∈[1,J],n\∈[1,N\left]\right)$

其中，ε_i，j为选通编码图像中第i行第j列像素所属码道中-1元素与+1元素对应的图像像素灰度比，I为选通编码图像的行数，J为选通编码图像的列数，N为选通编码图像的码道数。

11.如权利要求1所述的距离选通编码超分辨率三维成像方法，其特征在于，步骤1中，通过以下步骤获得激光脉冲和选通脉冲序列：

步骤11、设置进行三维重建的选通编码图像数量，并根据选通编码图像数量计算进行三维重建的码道数，即选通编码图像的码道数；

步骤12、根据选通编码规则设计M个GCS，每个GCS对应的码道数与所述三维重建的码道数相同，M为选通编码图像数量；

步骤13、根据待三维成像的成像视场内感兴趣区的工作景深，计算获得选通脉冲门宽，使得激光脉冲的脉宽等于选通脉冲的门宽；

步骤14、根据得到的M个GCS与激光脉冲反卷积得到选通脉冲序列，完成编码工作时序。

12.如权利要求11所述的距离选通编码超分辨率三维成像方法，其特征在于，步骤11中如下计算选通编码图像的码道数：

N＝3^M-2^M+1+1

其中，M和N均为自然数，M为用于三维重建的选通编码图像数量，N为选通编码图像中用于三维重建的码道数；

步骤13中如下计算选通脉冲门宽：

$t_g=\frac{{2D}_{\mathrm{DOV}}}{\mathrm{Nc}}$

其中，D_DOV为成像视场内感兴趣的工作景深，c为光的传播速度。

Images