CN103986936B - 一种视频压缩采集系统及其采集方法 - Google Patents

Abstract

本发明涉及一种视频压缩采集系统及其采集方法。视频压缩采集系统将景物通过物镜成像于无源光信号调制器件的调制面，高精度位移装置使无源光信号调制器件产生精密位移及连续变换的调制效应，景物的视频信号经无源光信号调制器件的变换调制，再由面阵探测器完成积分和采集，经面阵探测器采集的压缩图像信号可重建并获得景物的原始视频信号。本发明提供的视频压缩采集方法，通过光学压缩手段直接实现视频数据的并行压缩和采集，继而高保真的重建原始视频数据。该方法能大比率压缩视频数据采集量，减轻视频采集的数据管理负担，尤其适用于高分辨率高帧频视频信号的采集。

Description

一种视频压缩采集系统及其采集方法

技术领域

本发明涉及一种视频压缩成像装置及其视频压缩采集方法，特别涉及一种视频压缩采集系统及其视频压缩采集的方法。

背景技术

遥感成像、机器视觉、生物成像等诸多领域的应用发展对高帧频高分辨率图像连续采集技术提出了新的要求。在过往十年中，随着探测器性能和图像采集技术的不断提升，数字相机单幅图像的像素数由“兆”（百万）量级迈入“吉”（十亿）量级，图像帧频由每秒百帧突破每秒千帧达到每秒万帧，这使大阵列图像的高频采集所获视频的数据率达到每秒“艾”（百亿）像素的量级。如此高的数据率给系统带宽和存储容量等数据管理资源带来极大负担，高带宽的数据输出和存储又增大了成像系统所需耗费的电功率，这使高分辨率高帧率的视频采集技术难以被应用于资源受限的平台，其实际应用能力受到了限制。

为克服大数据率成像的数据管理问题，先前技术在数据传输和存储两端对其进行压缩和解压缩，这在一定程度上减轻了数据管理资源面临的巨大负担。然而，额外的数据压缩和数据解压过程需通过特定的数据处理模块予以实现，后者提高了系统设计和构成的复杂度，增加了硬件开销，此外，数据的压缩和解压进一步增加了成像数据的处理耗时和功率开销。

压缩感知技术在过去十年得到了持续研究和广泛关注。在本发明作出之前，文献“Single-Pixel Imaging via Compressive Sampling”（IEEE SIGNAL PROCESSINGMAGAZINE，MARCH 2008，83-91,2008）和“ Development of a DMD-based CompressiveSampling Hyperspectral Imaging (CS-HSI) System”（Proc. of SPIE，7932,79320I,2013）报道了将成像技术与压缩感知技术融合，成功研制了种类繁多的压缩成像系统。压缩成像系统首先对景物的光学信息进行一定的预处理，再将目标信息投射至面阵、线阵直至点探测器上，成像信息经空间维的压缩后，探测器采集到的是关于景物原始信息的压缩图像，基于压缩图像利用最优化算法可对目标原始信息进行重建。近年来，压缩成像从最初的灰度成像拓展至彩色成像、光谱成像等方向，并已被成功应用于偏振成像、层析成像等应用领域。

中国发明专利“基于分离式二维压缩感知理论的压缩成像系统”（CN102821236A），该成像系统采用顺序结构，将图像通过聚焦透镜成像于数字微镜器件DMD，由构造的随机行测量矩阵控制DMD的微镜角度对图像的行信息进行处理；将获取的行信息通过微透镜阵列聚焦于线阵CMOS图像传感器上，由构造的随机列测量矩阵控制CMOS传感器像素读取对图像的列信息进行处理，至此实现一次成像过程，通过一定次数的成像过程获取图像的压缩信息，完成整个压缩成像。所述方法的不足主要有两点：一是其与现有众多基于压缩感知的压缩成像方法一样，实现了图像信息在空间维的压缩，但无法实现连续视频图像数据在时间维的压缩，二是其选取了数字微镜器件（DMD）实现图像信息的预处理，这需要额外耗费巨大的电功率和信号带宽。中国发明专利“基于压缩感知的高光谱成像仪及成像方法”（CN101893552A），成像仪包括透镜组、色散元件、空间光调制器、线列探测器和外围电路;被采集的线光源经过色散元件在空间上分开形成由空间维和光谱维组成的面光源,该面光源通过空间光调制器调制后在空间维的方向上重新汇聚,形成由光谱维组成的线光源,由线列探测器完成采样和量化;其成像方法是利用得到的高光谱压缩观测向量,通过分组及重构,得到高光谱图像。所述的方法实现了光谱数据立方体中一维空间信号和一维光谱信号的压缩，使三维光谱数据立方体得以降维至一维采集，但仅实现了采集目标的光谱图像，无法对连续视频信号在时间域的压缩及采集。

现有的压缩成像技术在成像过程中实现了数据的并行压缩，大幅减小了成像数据量，在机器视觉、生物成像等领域展现出一定的应用能力。然而，现有压缩成像技术具有如下几处缺陷：1.当前的压缩成像技术主要被用以实现成像信息在空间域或频域的压缩，但尚未实现信息在时间维的压缩，这使现有压缩成像技术仅能用以采集离散图像，无法实现连续视频的获取，难以满足现有应用亟需的高帧频特别是超高帧频的视频采集需要；2.现有压缩成像装置借助于空间光调制器、数字微镜器件等光电器件实现对景物光学信息的预处理，对上述面阵器件进行的选址和显示控制需要耗费大量控制信息，上述新增的控制数据开销折损了压缩成像技术本身对数据采集量的降低效用，当器件面阵大、像素个数多时，上述折损效应愈加明显；3.现有压缩装置光电器件的驱动和显示在较大程度上增加了系统的功率开销，这使得现有压缩成像技术的使用受限于功率有限的应用平台（如遥感平台、野外工程车辆等）；4.当采用现有压缩成像技术对运动目标进行成像时，难以依据目标的运动状态开展有效的运动补偿，所获图像具有运动模糊，这不利于空间目标探测、产品流水在线监测、生物瞬态现象等运动目标的场景拍摄。

发明内容

本发明所要解决的问题是针对现有压缩成像技术存在的不足，提供一种视频的压缩采集系统。

实现本发明发明目的的技术方案是提供一种视频压缩采集系统，它包括物镜、无源光信号调制器件、高精度位移装置、位移装置驱动器、聚焦镜头和面阵探测器；景物经物镜成像于无源光信号调制器件，无源光信号调制器件对景物的光信号进行空间调制；面阵探测器的焦平面与无源光信号调制器件的调制平面，通过聚焦镜头呈共轭成像关系，在面阵探测器的焦平面上采集得到经调制的视频图像的压缩积分图像；所述的高精度位移装置为微米级位移步长的直流步进电机，所述的无源光信号调制器件为透射式或反射式的编码掩摸板；所述的面阵探测器为灰度探测器。

本发明技术方案的一个优选方案是：所述的面阵探测器为面阵CCD探测器或面阵CMOS探测器。所述的编码掩摸板，其调制图案为二元化的编码矩阵或随机矩阵。所述的高精度位移装置其位移精度高于或等于探测器像元尺寸；高精度位移装置的位移总长度大于或等于调制器件的调制单元尺寸与视频采集压缩率的乘积；高精度位移装置完成单次位移的时间大于或等于采集视频的帧间间隔与视频采集压缩率的乘积。

本发明技术方案还包括一种视频压缩采集方法，包括如下步骤：

（1）成像配准步骤

将景物通过物镜成像于无源光信号调制器件的调制单元阵列上，经调制单元阵列调制的出射光由聚焦镜头聚焦至面阵探测器焦平面；

（2）一个数据采集周期内的视频压缩采集步骤

无源光信号调制器件与位移装置连接，驱动器控制位移装置在小于或等于面阵探测器单次曝光采集帧数对应的总时间间隔内移动预设的距离，位移装置每完成一次位移，无源光信号调制器件的调制图案得以改变；

面阵探测器在预设的数据采集周期内完成一次或若干次的曝光，在面阵探测器的曝光间隔内，面阵探测器的焦平面上采集经调制图案调制的景物的视频信号；每次曝光采集得到曝光时间内相应的调制图像的积分压缩图像；

（3）一个数据采集周期内的视频重建步骤

基于一个数据采集周期内得到的所有累积压缩图像，采用图像识别算法，得到景物在对应的这个数据采集周期内具有的运动矢量；

采用最优化算法，重建一个对应数据采集周期内景物的原始视频图像；

（4）数据采集周期内步骤的重复

重复步骤（2）和（3），直至完成所需视频的压缩采集与重建。

在步骤（2）的视频压缩采集步骤中，经偶数个数据采集周期后位移装置回到位移初始位置。在步骤（3）的视频重建步骤中，采用运动补偿算法，消除重建视频图像的运动模糊现象。

本发明提供的视频压缩采集方法，通过光学压缩手段直接实现视频数据的并行压缩和采集，继而高保真的重建原始视频数据。该方法能大比率压缩视频数据采集量，减轻视频采集的数据管理负担，特别适用于高分辨率及高帧频参数下的视频采集要求。基于此方法的视频采集系统硬件开销低，无需消耗额外的光电信号处理功率和带宽，能依据视频采集要求实现可变化的数据压缩率，并能有效消除运动目标引起的视频图像运动模糊。

本发明提供的视频压缩采集系统，将景物通过物镜成像于无源光信号调制器件的调制单元阵列上，经调制单元阵列调制的出射光由聚焦镜头聚焦至面阵探测器焦平面；驱动器控制位移装置在满足帧频要求的时间间隔内移动预设的距离，完成一次位移后，用以实现空间调制的调制图案发生变换，其对景物实施调制后的光信号被持续积分至焦平面。探测器在预设的曝光积分时间内逐次完成曝光，每次曝光获得的是积分时间内若干调制图像的累积信号。计算机采集该信号后，经数据解算可重建特定帧数的视频图像，在数据重建过程中加以修复算法还可消除视频图像中可能存在的运动模糊。

本发明提供的视频压缩采集系统中，无源光信号调制器件的作用是实现入射光信号的空间调制，经特定工艺制备的编码掩摸板即可满足要求，调制单元的尺寸可经视频采集压缩率和视频图像分辨率的综合考虑后设计并确定，其上调制图案一般选自二元化的特定编码图案或随机图案，选用无源器件消除了信号调制所需的功率及带宽损耗。高精度位移装置的作用是保证与其连接的无源光信号调制器件在视频采集期间能实现连续的精密位移，高精度位移装置的位移步长需比调制器件的调制单元尺寸低一至二个数量级，其单次位移所需时间应满足视频帧频要求，高精度直流步进电机可满足要求。位移装置驱动器的作用是为高精度位移装置提供位移驱动和控制信号。聚焦镜头的作用是将调制信号聚焦至面阵探测器的焦平面上。面阵探测器为灰度探测器，一般选自面阵CCD探测器或面阵CMOS探测器，其积分时间和采样间隔应能满足视频压缩采集的压缩率要求。

与现有技术相比，本发明具有如下的有益效果：

1、能实现高分辨率高帧频视频的连续压缩采集，在视频采集过程中大比率的压缩采集数据量，经压缩数据重建的视频数据具有良好的分辨率和数据保真度。

2、使用无源光学器件实现视频光学信息的预处理，并加以位移装置实现无源光学器件预处理变换，消除了光电信息预处理器件所需的控制信息流，降低了信息预处理所需的功率消耗。

3、基于连续视频压缩采集结果，在视频数据重建过程中，可通过后续算法消减运动拖影，减轻图像的运动模糊，实现视频图像的自修复。

4、依据应用需求，通过对无源光电器件位移方式和探测器积分间隔的控制，可以灵活有效的调节视频采集的实际压缩率。

5、具有良好的功能拓展性，将本技术与偏振成像、光谱成像等技术融合，可实现兼顾偏振成像、光谱成像等功能的视频压缩采集。

附图说明

图1是本发明实施例提供的一种视频压缩采集系统的结构示意图。

图2是本发明实施例利用所提供的视频压缩采集系统，在一个数据采集周期内的视频压缩采样和视频图像重建流程示意图。

其中：1、景物； 2、物镜 ；3、无源光信号调制器件（passive light modulator） ；4、聚焦镜头 ；5、面阵探测器； 6、高精度位移装置 ；7、位移装置驱动器；8、场景视频第1至第6帧图像数据； 9、场景视频第7至第12帧图像数据； 10、场景视频第13至第18帧图像数据； 11、探测器第1次曝光时无源调制器件的调制图案； 12、探测器第2次曝光时无源调制器件的调制图案 ；13、探测器第3次曝光时无源调制器件的调制图案 ；14、探测器第1次曝光采集的视频压缩图像 ；15、探测器第2次曝光采集的视频压缩图像 ；16、探测器第3次曝光采集的视频压缩图像； 17、基于一个数据采集周期内采集的视频压缩图像重建获得的景物原始视频图像。

具体实施方式

下面结合附图及实施例对本发明技术方案作进一步描述。

实施例1

参见附图1，它是本实施例提供的一种视频压缩采集成像系统的结构示意图。将视频压缩采集系统置于景物1正前方的适当位置，并完成成像所需的对准和调焦；景物1经由物镜2成像在无源光信号调制器件3的调制面上；调制器件的调制单元阵列（在本实施例中选用随机二值化阵列）对入射光信号实施振幅调制（本实施例选用透射式的调制），经振幅调制的光信号再由成像透镜4聚焦至面阵探测器5的焦平面上。视频压缩采集系统的视频图像采样压缩率的理论最大值，为无源光信号调制器件3调制单元尺寸与面阵探测器5像元尺寸的比值，在系统设计时，这一比率应被设为一个几至几十量级的整数（本实施例中将这一比率设为18）。无源光信号调制器件3被可靠的固定于高精度位移装置6上，高精度位移装置的位移精度应不低于面阵探测器5的像元尺寸，高精度位移装置的位移总长应不小于调制器件的调制单元尺寸与视频采集压缩率的乘积。在数据采样的一个周期内，高精度位移装置6在位移装置控制器7的驱动下，完成距离为无源光信号调制器件调制单元尺寸的位移，该位移使在任意数据采样周期内，无源光信号调制器件3实际用以调制的调制图案保持持续有效的变化。由于高精度位移装置6的行程是有限的，在相邻两个数据采样周期内，高精度位移装置6的位移方向应被依次设定为相反的方向，这使经过偶数次数据采样周期后，高精度位移装置6均可回到位移坐标的初始原点。在每个数据采样周期内，面阵探测器5执行一次或若干次相同时间间隔的曝光(为便于说明，本实施例中将曝光次数设为3)。在相邻曝光间隔内，高精度位移装置6在位移装置控制器7的驱动下完成特定距离的位移，该距离应同时满足如下条件：一是不应大于无源光信号调制器件调制单元尺寸，二是该值应为面阵探测器5像元尺寸的整数倍（依照先前设定，本实施例将该值定为6）。综上，在一个数据采样周期内，面阵探测器5采集到经一次或若干次曝光（本实施例中为3次）得到的一幅或若干幅(本实施例中为3幅)视频压缩积分图像，计算机以其作为输入，经由最优化算法重建，可获得一个数据采样周期内特定数量（即视频图像采样压缩率的理论最大值，本实施例中为18）的景物视频图像。

参见附图2，它是本实施例利用图1所示的视频压缩采集成像系统，提供的在一个数据采集周期内的视频压缩采样和视频图像重建的流程示意图。由图1和2可以看到，在一个数据采集周期内，面阵探测器5分三次曝光采集景物的18帧视频数据。探测器第一次曝光采集场景视频的第1至第6帧得到图像数据8，上述图像数据经无源调制器件的调制图案11调制，探测器采集的是6帧调制图像的积分压缩图像14。完成第一次曝光后，高精度位移装置6在位移装置控制器7的驱动下完成特定距离的位移，无源光信号调制器件3的调制图案11相应的变为调制图案12，调制图案12对场景视频的第7至第12帧图像数据9实施调制，探测器第2次曝光采集这些调制图像的积分压缩图像15。完成第2次曝光后，高精度位移装置6继续完成特定距离的位移，无源光信号调制器件3的调制图案12相应的变为调制图案13，调制图案13对场景视频的第13至第18帧图像数据10实施调制，探测器第3次曝光采集这些调制图像的积分压缩图像16。依据积分图像，采用特定最优化算法（如阈值迭代法、梯度投射法等）可以实现景物原始视频图像的重建，即可由积分图像14、积分图像15、积分图像16联合重建景物的第1至第18帧原始视频图像17。在之后的数据采集周期内，重复上述流程，可不间断的实现景物原始视频的压缩采样与重建。基于一定数量数据采集周期内采集的视频压缩图像，采用最优化法算法（如差分法等）对景物目标运动矢量进行估计和判定，再以运动补偿算法（如盲反卷积法等）进行处理，可有效降低重建视频图像的运动模糊。

Claims (7)

1.一种视频压缩采集系统，其特征在于：它包括物镜（2）、无源光信号调制器件（3）、高精度位移装置（6）、位移装置驱动器（7）、聚焦镜头（4）和面阵探测器（5）；景物经物镜（2）成像于无源光信号调制器件，无源光信号调制器件对景物的光信号进行空间调制；面阵探测器（5）的焦平面与无源光信号调制器件（3）的调制平面，通过聚焦镜头（4）呈共轭成像关系，在面阵探测器（5）的焦平面上采集得到经调制的视频图像的压缩积分图像；所述的高精度位移装置(6)为微米级位移步长的直流步进电机，所述的无源光信号调制器件(3)为透射式或反射式的编码掩摸板，无源光信号调制器件(3)被固定于高精度位移装置(6)上；所述的面阵探测器(5)为灰度探测器。

2.根据权利要求1所述的一种视频压缩采集系统，其特征在于：所述的面阵探测器为面阵CCD探测器或面阵CMOS探测器。

3.根据权利要求1所述的一种视频压缩采集系统，其特征在于：所述的编码掩摸板，其调制图案为二元化的编码矩阵或随机矩阵。

4.根据权利要求1所述的一种视频压缩采集系统，其特征在于：所述的高精度位移装置其位移精度高于或等于探测器像元尺寸；高精度位移装置的位移总长度大于或等于调制器件的调制单元尺寸与视频采集压缩率的乘积；高精度位移装置完成单次位移的时间大于或等于采集视频的帧间间隔与视频采集压缩率的乘积。

5.一种视频压缩采集方法，其特征在于包括如下步骤：

（1）成像配准步骤

将景物通过物镜成像于无源光信号调制器件的调制单元阵列上，经调制单元阵列调制的出射光由聚焦镜头聚焦至面阵探测器焦平面；

（2）一个数据采集周期内的视频压缩采集步骤

无源光信号调制器件与位移装置连接，驱动器控制位移装置在小于或等于面阵探测器单次曝光采集帧数对应的总时间间隔内移动预设的距离，位移装置每完成一次位移，无源光信号调制器件的调制图案得以改变；

面阵探测器在预设的数据采集周期内完成一次或若干次的曝光，在面阵探测器的曝光间隔内，面阵探测器的焦平面上采集经调制图案调制的景物的视频信号；每次曝光采集得到曝光时间内相应的调制图像的积分压缩图像；

（3）一个数据采集周期内的视频重建步骤

基于一个数据采集周期内得到的所有累积压缩图像，采用图像识别算法，得到景物在对应的这个数据采集周期内具有的运动矢量；

采用最优化算法，重建一个对应数据采集周期内景物的原始视频图像；

（4）数据采集周期内步骤的重复

重复步骤（2）和（3），直至完成所需视频的压缩采集与重建。

6.根据权利要求5所述的一种视频压缩采集方法，其特征在于：在步骤（2）的视频压缩采集步骤中，经偶数个数据采集周期后位移装置回到位移初始位置。

7.根据权利要求5所述的一种视频压缩采集方法，其特征在于：在步骤（3）的视频重建步骤中，采用运动补偿算法，消除重建视频图像的运动模糊现象。