CN110545379A - 一种采用dmd的并行时空域联合压缩成像方法及装置 - Google Patents

Abstract

本发明提出了一种采用DMD的并行时空域联合压缩成像方法及装置。将空间域压缩成像技术与时间域压缩成像技术相结合，利用数字微镜器件DMD，使目标光信息在空域调制的同时进行时域调制，而探测器只需接收经过时、空域调制后的低速低分辨率图像。最后使用恢复算法从调制图像中恢复原高速高分辨率图像。本发明方法能够同时扩展相机的空间分辨率和时间分辨率，在不改变相机的前提下获得更高时间分辨率和空间分辨率的图像序列。同时，时空域压缩成像具有很高的压缩比，可以显著的减少采集的数据量，降低高速高分辨率视频对传输带宽的要求，使高速高分辨率成像系统成本更低且更易实现。

Description

一种采用DMD的并行时空域联合压缩成像方法及装置

技术领域

本发明涉及一种采用DMD的并行时空域联合压缩成像方法及装置，具体涉及一种采用数字微镜阵列DMD和低速低分辨率相机的时域空域联合压缩感知的成像方法及实现系统，属于压缩成像和高速高分辨成像领域。

背景技术

高时间分辨率和高空间分辨率一直是成像领域孜孜不倦追求的目标。高空间分辨率可以获得目标场景更丰富的细节信息；高时间分辨率可以获得动态目标更详细的变化过程。然而高时间分辨率且高空间分辨率的图像采集设备制造存在技术难题或者成本高昂。这主要是因为在数据读取及传输带宽一定的条件下，采集设备的空间分辨率和时间分辨率相互制约，高空间分辨率和高时间分辨率都会产生大量的数据，系统在这两方面性能上很难同时提高。而提升数据带宽需要更高的技术工艺且成本高昂。因此，研究在现有成像设备的条件下获得更高时间分辨率和高空间分辨率的成像技术，具有十分重要的意义。

近年来，压缩感知技术因其在信号压缩领域的卓越表现受到研究工作者的广泛关注。由于压缩感知技术在信号被探测前进行压缩且具有很高的压缩比，因此可以显著的降低对采集设备和传输带宽的要求。在成像领域，压缩感知技术主要被应用于两个方面：一是基于变换域稀疏或梯度稀疏的空域压缩成像，二是基于时间域稀疏的时域压缩成像。空域压缩成像可以扩展相机的空间分辨率，但是其需要采集多帧低分辨率图才能重构出一帧高分辨率图像，即牺牲时间分辨率换取高空间分辨率。时域压缩成像技术利用动态目标时域稀疏的特性，将多帧图像调制后累积到一帧图像上，可实现相机时间分辨率的扩展。然而这两种压缩成像技术都只能提升时间分辨率和空间分辨率中的一个(其中空域压缩成像降低了相机的时间分辨率)，无法实现时间分辨率和空间分辨率同时提升。本发明将采用DMD实现并行时空域联合压缩成像。

目前已有研究工作者在结合时域、空域压缩成像方面进行了初步探讨。TreeapornV等在论文Space–time compressive imaging中描述了时空域压缩成像的概念和方法，进行了模拟实验，但是文中尚未建立切实可行的物理成像模型，以及如何实现时空域压缩成像。Harmany Z T等在论文Spatio-temporal compressed sensing with coded aperturesand keyed exposures和Compressive coded aperture keyed exposure imaging withoptical flow reconstruction中采用编码孔径和键控曝光的技术讨论了时空域压缩成像，并对其数学模型进行了分析和讨论。然而使用编码孔径进行图像探测调制矩阵设计复杂且计算量大，此外文中也未给出详细的成像系统。Ke Jun等的论文Temporal CompressedMeasurements for Block-wise Compressive Imaging将时域压缩成像技术应用于分块式空域压缩成像，使得空域压缩成像不再牺牲相机的时间分辨率，但是此方法未能同时提升相机的时间分辨率和空间分辨率。

本发明利用DMD的高速高分辨率特性，同时对运动场景进行时间和空间上的压缩成像，采集时空域联合压缩成像测量值，通过恢复算法获得高空间分辨率高时间分辨率的恢复数据。

发明内容

本发明的目的是为了解决高时间分辨率且高空间分辨率的图像难以获取或成像设备造价高昂的问题，提出了一种在时间域和空间域同时进行压缩成像的方法及装置。

为达到上述目的，本发明采用的技术方案是：首先设计时空域联合压缩成像调制矩阵，然后将此矩阵作为调制模板加载到空间光调制器DMD上，使其对目标光信息进行调制；继而使用低速低分辨率相机对调制后的多帧图像进行下采样并累计积分，获得调制后的低分辨率低速图像。采集到的调制图像使用恢复算法即可恢复出原高速高分辨率图像。

一种采用DMD的并行时空域联合压缩成像方法，具体步骤如下：

步骤一：运动的目标或动态场景通过光学系统成像到DMD上，得到动态光信息；

将运动目标或动态场景拆分为多帧连续微小变化的原始图像X，并将其按顺序分为n组，每组图像数量一致；若有剩余图像且不足一组，则舍弃剩余图像；每组中图像间差异极小，因此可认为每组中图像相同；n组图像即共有n帧待测图像；

步骤二：生成时空域调制模板并使用时空域调制模板对目标进行调制；

生成时空域调制模板；因为DMD加载二值模板的速度最快，则使用随机二值矩阵作为调制模板(随机二值矩阵是指矩阵中只有0和1，二者随机出现且出现概率相同)，生成随机二值矩阵C∈R^m×n×k作为调制模板，其中R表示实数集，上标m×n×k表示数据维度；k表示模板个数；m、n表示模板的尺寸，同时也是高分辨率图像的尺寸；

然后利用调制模板对目标进行调制；将调制模板加载到DMD上，使DMD按照设定的模板对入射光进行调制，调制结果记为Y_tem，数学表示如下：

Y_tem ⁱ＝Cⁱ⊙Xⁱ，i＝1，2，...，k (1)

式中，上标i表示图像或模板第几帧，即，Xⁱ表示第i帧原图，Cⁱ表示第i个模板，Y_tem ⁱ表示第i帧调制图像；⊙表示矩阵的点乘(即两个矩阵中的对应位置相乘)；

步骤三：成像系统将调制后的光信息成像到相机探测阵列上；由于DMD的分辨率高于相机，因此需要将多个微镜反射的光线聚焦到相机的一个像素点上，以实现降采样，即空域压缩；

记相机采集的低分辨率图分辨率为md×nd，空域压缩(即空域下采样)是将调制后的调制图像Y_tem下采样为空域下采样图像Y_mid，数学表示如下：

式中，上标i含义与上文相同，下标r、s分别表示调制图像Y_tem的行、列坐标，即表示调制图像Y_tem的第i帧图像在第r行第s列处的值；r、s的值为：

r＝(p-1)×d+1∶p×d (3)

s＝(q-1)×d+1∶q×d (4)

p、q分别表示矩阵Y_mid内数据的行、列坐标，取值范围为p＝1，2，...，md，p＝表示空域下采样图像Y_mid的第i帧图像在第p行第q列处的值；d表示空域压缩比；冒号：表示从前一个数开始递增，步长为1，直至后一个数为止，如z1：z2＝z1,z1+1,z1+2,…,z2-1,z2；

步骤四：相机在一个周期内对入射到相机探测单元上的光进行积分，以实现时域压缩，最终得到空域、时域均降采样后的图像；

时域压缩(即时域下采样)后获得最终采集到的压缩图像Y，数学表示为：

式中，i的含义与上文相同，Y_mid ⁱ表示空域下采样图像Y_mid的第i帧；

相机采集数据的时间应和DMD加载模板的时间对应，即需要控制模块发出触发信号控制DMD和相机的动作同步；

步骤五：使用恢复算法对步骤四压缩后的低分辨率积分图像进行恢复，得到高分辨率图像；

步骤五所述的图像恢复算法采用维纳算法；

一种采用DMD的并行时空域联合压缩成像装置，包括成像光路模块、光调制模块、数据采集模块、控制模块和数据处理模块。

所述成像光路模块，包括两组成像透镜；作用分别是将目标成像到数字微镜阵列DMD上和将DMD成像到探测器的探测平面上。

所述光调制模块，包括DMD和与之配套的控制板；作用是存储设计好的调制模板矩阵并在DMD上按照设定的顺序加载，对成像到DMD上的图像进行调制。

所述数据采集模块，包括图像采集相机；作用是接收调制后的图像。

所述控制模块，包括触发控制线；作用是将DMD控制板发出的触发信号传导给相机，使相机在接收到触发信号后开始曝光。目的是严格控制光调制模块和数据采集模块动作同步。

所述数据处理模块，包括计算机；作用是运行时空域压缩成像恢复算法，利用调制模板矩阵从相机拍摄的低速低分辨率图像中重构出原高分辨率高速图像。

运动目标或场景经由成像光路模块的成像透镜成像到光调制模块的DMD上；DMD受控制板控制，按照预设的规则循环加载并播放调制模板，对来自目标的光信息进行调制，同时每次循环播放调制模板时向控制模块的触发控制线发出触发信号；调制后的光信息再由成像光路模块的成像透镜成像到数据采集模块的相机上；相机在接收到来自触发线的触发信号后开始曝光，按照设定的时间曝光一定时间，获得多帧累积的下采样图像；获得的图像上传至数据处理模块的计算机上，通过算法的求解获得最终的高速高分辨率图像。

有益效果

1.本发明通过空域压缩成像与时域压缩成像技术突破了相机空间分辨率和时间分辨率的限制，使得利用低速低分辨率相机、DMD、成像光路和控制设备即可采集高速高分辨率图像序列。

2.本发明利用连续图像的时间、空间相关性，通过应用压缩成像方法，在数据采集前对数据进行了压缩，使得只需采集少量数据即可完成多帧高分辨率图像的记录，显著的减少了采集、存储、传输的数据量。

附图说明

图1为时空域压缩成像原理示意图；

图2为所述系统的装置结构图；

图3为所述系统的模块构成框图；

图4为系统控制模块触发信号图，其中图a为实施例1中时域2帧的触发控制信号，图b为实施例2中时域3帧的触发控制信号；

图5为时空域压缩成像图像调制及采集过程示意图；

图6为实施例1中的两帧模拟原图，其中图6a是原图的第一帧，图6b是原图的第二帧；

图7为实施例1中恢复出的两帧高分辨率图，其中图7a是恢复的第一帧图像，与图6a对应；图7b是恢复的第二帧图像，与图6b对应；

图8为实施例2中低速低分辨率图及其调制图，其中图8a为实施例2中未经调制的低速低分辨率图；图8b为调制后的低速低分辨率图；

图9为实施例2中恢复出的三帧高分辨率图，图9a是恢复的第一帧高分辨率图；图9b是恢复的第二帧图像；图9c是恢复的第三帧图像；

其中，1-运动目标或场景，2-成像透镜，3-数字微镜阵列DMD，4-DMD控制板，5-成像透镜，6-相机，7-触发线，8-计算机。

具体实施方式

下面结合附图与实施例，对本发明方法做进一步详细说明。

实施例1

如图1所示，将分辨率为256×256，像素深度为8bits，连续微小变化的8帧图像，使用时空域调制模板进行调制，降采样后获得1帧分辨率为64×64的低分辨率图像。最后使用恢复算法从64×64的低分辨率图像中恢复出2帧分辨率为256×256的恢复图像，从而实现从采集的低速低分辨率图像到恢复出的图像空间分辨率16倍(4×4)，时间分辨率2倍的提升。

步骤一：运动的目标或动态场景通过光学系统成像到DMD上。

本实施例使用的目标为8帧连续微小变化的原始图像X，分辨率为256×256，像素深度为8bits。将X分为两组，前四帧一组记为P₁，后四帧一组记为P₂(如图1中P₁、P₂)，由于每组中不同图像的变化极小，可认为每组中四帧图像相同，即认为只有两帧待测的高分辨率图像。

步骤二：生成时空域调制模板并使用时空域调制模板对目标进行调制。

生成时空域调制模板。因为DMD加载二值模板的速度最快，所以本实施例使用随机二值矩阵作为调制模板(随机二值矩阵是指矩阵中只有0和1，二者随机出现且出现概率相同)。生成随机二值矩阵C∈R^m×n×k作为调制模板，其中R表示实数集，上标m×n×k表示数据维度；k表示模板个数；m、n表示模板的尺寸，同时也是待恢复的高分辨率图像的尺寸。本实施例中，k＝8，m×n＝256×256。

然后利用调制模板对目标进行调制(如图5所示)。将模板加载到DMD上，使DMD按照设定的模板对入射光进行调制，数学表示如下：

Y_tem ⁱ＝Cⁱ⊙Xⁱ，i＝1，2，...，k (6)

式中，上标i表示图像或模板第几帧，即，Xⁱ表示第i帧原图，Cⁱ表示第i个模板，Y_tem ⁱ表示第i帧调制图像；⊙表示矩阵的点乘(即两个矩阵中的对应位置相乘)。

步骤三：成像系统将调制后的光信息成像到相机探测阵列上。由于DMD的分辨率高于相机，因此需要将多个微镜反射的光线聚焦到相机的一个像素点上，以实现降采样，即空域压缩。

记相机采集的低分辨率图分辨率为md×nd，实施例1中为64×64。空域压缩(即空域下采样)是将调制后的分辨率为256×256的调制图像Y_tem下采样为分辨率为64×64的空域下采样图像Y_mid。数学表示如下：

式中，上标i含义与上文相同，下标r、s分别表示调制图像Y_tem的行、列坐标，即表示调制图像Y_tem的第i帧图像在第r行第s列处的值；r、s的值为：

r＝(p-1)×d+1∶p×d (8)

s＝(q-1)×d+1∶q×d (9)p、q分别表示矩阵Y_mid内数据的行、列坐标，取值范围为p＝1,2,…,md，p＝1,2,…,nd；表示空域下采样图像Y_mid的第i帧图像在第p行第q列处的值；d表示空域压缩比；冒号：表示从前一个数开始递增，步长为1，直至后一个数为止，如z1：z2＝z1,z1+1,z1+2,…,z2-1,z2；

步骤四：相机在一个周期内对入射到相机探测单元上的光进行积分，以实现时域压缩，最终得到空域、时域均降采样后的图像(如图5中Y所示)。

时域压缩(即时域下采样)后获得最终采集到的压缩图像Y，数学表示为：

式中，i的含义与上文相同，Y_mid ⁱ表示空域下采样图像Y_mid的第i帧；

值得注意的是，相机采集数据的时间应和DMD加载模板的时间对应，即需要控制模块发出触发信号控制DMD和相机的动作同步。控制信号的波形如图4所示。图4a是实施例1的触发控制信号，DMD和相机均视为高电平有效，即DMD高电平加载调制模板，相机高电平曝光，接收光信号。系统开始工作时，DMD和相机同时获得一个高电平，DMD开始加载调制模板，相机开始曝光；实施例1需要加载8帧模板，故DMD有8段高电平信号用来加载8帧模板；相机在DMD加载8帧模板期间累积曝光，采集调制后的光信息，而且由于步骤一中将8帧图像分为P₁、P₂两组，因此可以认为相机的曝光时间也可以分为两部分，前一部分接收为P₁图像的调制信息，后一部分接收P₂图像的调制信息。

步骤五：使用恢复算法对压缩后的低分辨率积分图像进行恢复，得到高分辨率图像。

使用恢复算法从压缩图像Y中重构原始图像实施例使用的恢复算法是维纳算法。利用压缩图像Y、调制矩阵C和先验知识(维纳算法需要与待测目标相似的高分辨率图作训练集)，重构出原始图像

本实例中，由于k2/k1＝8/4＝2，最终可恢复出2帧高分辨率图像。因此，本实例使用时空域压缩成像方法实现了图像的空间分辨率16倍(4×4)的提升，同时实现了时间分辨率2倍的提升。恢复效果如图7所示，其中图7a为恢复的第一帧，图7b为恢复的第二帧。为了定量的分析恢复效果，计算了恢复图像的峰值信噪比(PSNR)，其定义如下：

式中，lg(·)表示取以10为底的对数，X(i,j)理论上是原图在(i,j)位置处的像素值，但是由于使用的原图有8帧，而实际恢复的图像只有两帧，所以式(12)中的X由P₁、P₂两组图像中4帧图像的平均值代替如图6所示(其中图6a为模拟原图的第一帧，图6b为模拟原图的第二帧)，为恢复图像在(i,j)位置处的像素值。计算的两帧图像的PSNR值分别为32.68、32.99。

实现上述方法的装置，如图2、图3所示，包括成像光路模块、光调制模块、数据采集模块、控制模块和数据处理模块。

所述成像光路模块，包括成像透镜2和成像透镜5；作用分别是将目标1成像到DMD3上和将DMD 3成像到探测器6的探测平面上。

所述光调制模块，包括DMD 3和与之配套的控制板4；作用是存储设计好的调制模板矩阵并在DMD 3上按照设定的顺序加载，对成像到DMD 3上的图像进行调制。

所述数据采集模块，包括图像采集相机6；作用是接收调制后的图像。

所述控制模块，包括触发控制线7；作用是将DMD的控制板4发出的触发信号传导给相机6，使相机在接收到触发信号后开始曝光。目的是严格控制光调制模块和数据采集模块动作同步。

所述数据处理模块，包括计算机8；作用是运行时空域压缩成像恢复算法，利用调制模板矩阵从相机6拍摄的低速低分辨率图像中重构出原高分辨率高速图像。

运动目标或场景1经由成像光路模块的成像透镜2成像到光调制模块的数DMD 3上；DMD 3受控制板4控制，按照预设的规则循环加载并播放调制模板，对来自目标1的光信息进行调制，同时按照预设的规则向控制模块的触发控制线7发出触发信号；调制后的光信息再由成像光路模块的成像透镜5成像到数据采集模块的相机6上；相机6在接收到来自触发线7的触发信号后开始曝光，按照预设的时间曝光特定时间，获得多帧累积的下采样图像；获得的图像上传至数据处理模块的计算机8上，通过算法的求解获得最终的高速高分辨率图像。

实施例2

实施例2的操作步骤同样如图1所示，区别是提升了时域压缩比并更换了拍摄目标。目标分辨率改为128×128，空域压缩比为4:1，时域压缩比为12:1，即k1＝4，k2＝12。因为k2/k1＝3，所以最终将从调制的低分辨率图像中恢复3帧高分辨率图像。即图1中X应为12帧图像，分为3组，并最终恢复出3帧高分辨率图像(图1的X中P2之后再加4帧图像作为P3，中同样加入一帧P3)。此外，DMD和相机的控制信号也应发生相应的改变，如图4b所示，DMD应包含12个高电平，相机的曝光时间也相应加长。其余步骤和实施例1相同。图8a是不经过调制的低速低分辨率图像；图8b是采用本专利的方法调制后的图像。图9是采用一步恢复算法从调制图像(图8b)中重构出的3帧高分辨率图像，其中图9a是恢复出的高分辨率图像的第一帧，图9b是第二帧，图9c是第三帧。图9中的两条横线是辅助线，目的是清晰地显示三帧图像的区别。因为目标的移速很慢，直接观察难以发现三帧图像的差异。若目标移动幅度增大的话，重构效果会变差。对比图9a、图9b、图9c和图8a可以发现，重构出的图像相比于原低速低分辨率图像实现了空间分辨率16倍(4×4)，时间分辨率3倍的提升。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种采用DMD的并行时空域联合压缩成像方法，其特征在于：

步骤一：运动的目标或动态场景通过光学系统成像到数字微镜阵列DMD上，得到动态光信息；

将运动目标或动态场景拆分为多帧连续微小变化的原始图像X，并将其按顺序分为n组，每组图像数量一致；若有剩余图像且不足一组，则舍弃剩余图像；每组中图像间差异极小，则认为每组中图像相同；n组图像即共有n帧待测图像；

步骤二：生成时空域调制模板并使用时空域调制模板对目标进行调制；

生成时空域调制模板；因为DMD加载二值模板的速度最快，则使用随机二值矩阵作为调制模板，生成随机二值矩阵C∈R^m×n×k作为调制模板，其中R表示实数集，上标m×n×k表示数据维度；k表示模板个数；m、n表示模板的尺寸，同时也是待恢复的高分辨率图像的尺寸；

然后利用调制模板对目标进行调制；将调制模板加载到DMD上，使DMD按照设定的模板对入射光进行调制，调制结果记为Y_tem，数学表示如下：

Y_tem ⁱ＝Cⁱ⊙Xⁱ，i＝1，2，...，k (1)

式中，上标i表示图像或模板第几帧，即，Xⁱ表示第i帧原图，Cⁱ表示第i个模板，Y_tem ⁱ表示第i帧调制图像；⊙表示矩阵的点乘；

步骤三：成像系统将调制后的光信息成像到相机探测阵列上；由于DMD的分辨率高于相机，因此需要将多个微镜反射的光线聚焦到相机的一个像素点上，以实现降采样，即空域压缩；

记相机采集的低分辨率图分辨率为md×nd，空域压缩(即空域下采样)是将调制后的调制图像Y_tem下采样为空域下采样图像Y_mid，数学表示如下：

式中，上标i含义与上文相同，下标r、s分别表示调制图像Y_tem的行、列坐标，即表示调制图像Y_tem的第i帧图像在第r行第s列处的值；r、s的值为：

r＝(p-1)×d+1：p×d (3)

s＝(q-1)×d+1：q×d (4)

p、q分别表示矩阵Y_mid内数据的行、列坐标，取值范围为p＝1，2，...，md，p＝1，2，...，nd；表示空域下采样图像Y_mid的第i帧图像在第p行第q列处的值；d表示空域压缩比；冒号：表示从前一个数开始递增，步长为1，直至后一个数为止，如z1：z2＝z1，z1+1，z1+2，...，z2-1，z2；

步骤四：相机在一个周期内对入射到相机探测单元上的光进行积分，以实现时域压缩，最终得到空域、时域均降采样后的图像；

时域压缩后获得最终采集到的压缩图像Y，数学表示为：

式中，i的含义与上文相同，Y_mid ⁱ表示空域下采样图像Y_mid的第i帧；

相机采集数据的时间应和DMD加载模板的时间对应，即需要控制模块发出触发信号控制DMD和相机的动作同步；

步骤五：使用恢复算法对步骤四压缩后的低分辨率积分图像进行恢复，得到高分辨率图像。

2.如权利要求1所述方法，其特征在于：步骤五所述的图像恢复算法采用维纳算法。

3.实现如权利要求1或2所述方法的装置，其特征在于：包括成像光路模块、光调制模块、数据采集模块、控制模块和数据处理模块；

运动目标或场景经由成像光路模块的成像透镜成像到光调制模块的DMD上；DMD受控制板控制，按照预设的规则循环加载并播放调制模板，对来自目标的光信息进行调制，同时按照预设的规则向控制模块的触发控制线发出触发信号；调制后的光信息再由成像光路模块的成像透镜成像到数据采集模块的相机上；相机在接收到来自触发线的触发信号后开始曝光，按照预设的时间曝光特定时间，获得多帧累积的下采样图像；获得的图像上传至数据处理模块的计算机上，通过算法的求解获得最终的高速高分辨率图像；

所述成像光路模块，包括两组成像透镜；作用分别是将目标成像到DMD上和将DMD成像到探测器的探测平面上；

所述光调制模块，包括DMD和与之配套的控制板；作用是存储设计好的调制模板矩阵并在DMD上按照设定的顺序加载，对成像到DMD上的图像进行调制；

所述数据采集模块，包括图像采集相机；作用是接收调制后的图像；

所述控制模块，包括触发控制线；作用是将DMD的控制板发出的触发信号传导给相机，使相机在接收到触发信号后开始曝光；目的是严格控制光调制模块和数据采集模块动作同步；

所述数据处理模块，包括计算机；作用是运行时空域压缩成像恢复算法，利用调制模板矩阵从相机拍摄的低速低分辨率图像中重构出原高分辨率高速图像。