CN109348103B - 一种基于时间编码的相机时间分辨率倍增方法与装置 - Google Patents

Abstract

本发明提供一种基于时间编码的相机时间分辨率倍增方法，包括：步骤S1、对于三维时空体E(x，y，t)，将单次曝光时间分解的若干时间点为t_i∈{t₁,t₂,…,t_N}；步骤S2、在每个时间点上引入曝光编码图案H(x,y,t，与时空体E(x,y,t直接相乘形成编码图像I(x,y,t，即I(x,y,t)＝E(x,y,t)×H(x,y,t)；步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像，记为：

步骤S4、在上式中采用压缩感知算法重建得到各时间点的图像E(x,y,t_i)。本发明方法解决了现有技术中相机时间分辨率难以提升的技术问题，能够在不牺牲空间分辨率的情况下，提高相机的时间分辨率。

Description

一种基于时间编码的相机时间分辨率倍增方法与装置

技术领域

本发明涉及图像处理技术领域，具体而言，尤其涉及一种基于时间编码的相机时间分辨率倍增方法与装置。

背景技术

随着科技的进步与发展，高帧数相机的应用越加广泛。高速摄像机能记录各种瞬间变化过程，这对于观察及分析各种高速机械运作，物体运动，化学反应，动物行为分析等起着十分重要的作用。由于相机带宽限制，相机单位时间内获取的像素信息是有限的，时间分辨率的提高必然会导致空间分辨率的降低。以实时传输相机为例，目前商用最快速的接口CoaxPress，最大传输速度为1.5GB/s，对于300万分辨率的相机，最大帧率为500帧，在硬件层面上提高相机的整体带宽，如提高相机读取和写入信息速度或组建相机阵列，会大大增加硬件成本、功耗和系统复杂度。

此外，利用软件算法对视频进行时间维度的超分辨率能够在一定程度上提高视频的帧频，例如在A.Gupta,P.Bhat,M.Dontcheva,O.Deussen,B.Curless,and M.Cohen,“Enhancing and Experiencing Space-Time Resolution with Videos and Stills,”inIEEE International Conference on Computational Photography(ICCP),2009,pp.1–9.中，通过高分辨率低帧数图像和低分辨率高帧数视频合成高帧数高分辨率视频，但是这种方法会导致目标非规则运动模糊和弱化，时间超分辨率能力有限。

发明内容

根据上述提出相机时间分辨率低，提升困难的技术问题，而提供一种基于时间编码的相机时间分辨率倍增方法，能够在不牺牲空间分辨率的情况下，能够提高相机的时间分辨率。

本发明采用的技术手段如下：

一种基于时间编码的相机时间分辨率倍增方法，其特征在于包括以下步骤：

步骤S1、对于三维时空体E(x,y,t)，将单次曝光时间分解的若干时间点记为t_i∈{t₁,t₂,…,t_N}；

步骤S2、在每个时间点上引入曝光编码图案H(x,y,t)，与时空体E(x,y,t)直接相乘形成编码图像I(x,y,t)，即I(x,y,t)＝E(x,y,t)×H(x,y,t)；

步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像，记为：

步骤S4、采用压缩感知重建方法基于上式求解E(x,y,t_i)。

进一步地，所述步骤S4中，采用压缩感知重建方法基于上式求解E(x,y,t_i)具体包括：

将求解问题转化为以下形式：

式中，H是由H(x,y,t_i)构成的曝光编码矩阵，E是将E(x,y,t_i)按照辞书式排列写出的列向量，而

是

按照辞书式排列的列向量，TV(E)表示对三维时空体E的变分约束，其形式可写为：

采用Bregman Splitting算法、两步阙值迭代收缩算法(TwIST)算法以及ADMM算法中的一种对上式进行求解。

进一步地，步骤S2中所述曝光编码矩阵为高斯随机编码图案、伯努利编码图案、随机二进制编码图案及Hadamard编码图案中的一种。

本发明还提供了一种实现上述方法的基于时间编码的相机时间分辨率倍增装置，主要包括镜头、高速空间光调制器、中继系统和图像传感器；

系统工作时，镜头将外界景物成像到空间光调制器上，所述空间光调制器通过加载不同的编码图案，实现对目标场景的调制，调制后的像通过中继系统成像到图像传感器上。

进一步地，所述中继系统为远心镜头。

进一步地，所述空间光调制器的调制速度应不低于相机帧频与倍增倍率之间的乘积。

本发明还提供了一种使用上述装置的方法，其特征在于，步骤包括：

步骤A1、对空间光调制器与图像传感器之间进行标定，测量得到转换矩阵T；

步骤A2、基于随机二进制分布生成的六张二进制编码图案，将其加载于空间光调制器上；

步骤A3、设定相机曝光时间为6ms，空间光调制器的调制帧频为1000Hz，实现在一个曝光时间内空间光调制器改变编码图像；

步骤A4、系统采集图像，并采用两步阙值迭代收缩算法对所采集的图像进行求解，求解得到超时间分辨率图像。

较现有技术相比，本发明具有以下优点：

1、本发明在不提高相机带宽的情况下，通过对视频的时空编码，单位时间内提高了相机获取信息数量，降低了高分辨率高帧数相机的硬件需求。

2、本发明不过分依赖对视频图像运动的模拟，对物体的不规则运动重构拥有较强的适应能力。

综上，应用本发明的技术方案能够在不牺牲空间分辨率的情况下，能够提高相机的时间分辨率。因此，本发明的技术方案解决了现有技术中的相机时间分辨率低，提升困难的技术问题。

基于上述理由本发明可在图像处理等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明超时间分辨率编码成像原理图。

图2为本发明装置结构示意图。

图3为本发明装置的使用方法流程图。

图4为本发明方法时空编码图案。

图5为本发明方法采集编码图像。

图6为本发明方法分解后的图像。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种基于时间编码的相机时间分辨率倍增方法，时间编码成像过程包括如下步骤：

步骤S1、对于三维时空体E(x,y,t)，将单次曝光时间分解的若干时间点记为t_i∈{t₁,t₂,...,t_N}；

步骤S2、在每个时间点上引入曝光编码图案H(x,y,t)，与时空体E(x,y,t)直接相乘形成编码图像I(x,y,t)，即I(x,y,t)＝E(x,y,t)×H(x,y,t)；

步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像，记为：

步骤S4、采用压缩感知重建方法基于上式求解E，本发明中采用了压缩感知重建方法。压缩感知理论表明如果信号在某个域是稀疏的，即只有少数系数有值而大部分系数为0，就可以以少量的信息无失真的恢复信号。由于自然图片和视频在变分域通常具有很好的稀疏性，因此根据压缩感知原理，将求解问题转化为以下形式：

式中，H是由H(x,y,t_i)构成的曝光编码矩阵，E是将E(x,y,t)按照辞书式排列写出的列向量，而

是

按照辞书式排列的列向量，TV(E)表示对三维视频集E的变分约束，其形式可写为：

曝光编码图案为高斯随机编码图案、伯努利编码图案、随机二进制编码图案及Hadamard编码图案中的一种。

采用Bregman Splitting算法、两步阙值迭代收缩算法(TwIST)算法以及ADMM算法中的一种对上式进行求解。

如图2所示，本发明提供了一种实现上述方法的基于时间编码的相机时间分辨率倍增装置，主要包括镜头、高速空间光调制器、中继系统和图像传感器；

系统工作时，镜头将外界景物成像到空间光调制器上，所述空间光调制器通过加载不同的编码图案，实现对目标场景的调制，调制后的像通过中继系统成像到图像传感器上。中继系统为远心镜头，空间光调制器在曝光时间内能够快速的变换多张编码图案，从而将多帧目标场景编码于一帧图像中，为满足上述要求，调制速度应不低于相机帧频与倍增倍率之间的乘积。为保证确定高速空间光调制器的像元与图像传感器像元之间的对应关系，需要首先对两者关系进行标定，标定中可打开空间光调制器单个像元(其余像元保持关闭)，记录图像传感器上的图像，从而得到该输入像元所对应的转换矩阵。随后，依次打开空间光调制器上每个像元，重复上述过程，标定得到空间光调制器的像元与图像传感器像元之间的转换矩阵，记为T。

理想情况下，转换矩阵T应该是一个对角矩阵，即空间光调制器的像元与图像传感器像元之间满足一一映射关系，但实际中由于中继系统中可能存在误差等因素，转换矩阵T并非是对角矩阵。此时，在式(2)可改写为：

如图3所示，本发明还提供了一种使用上述装置的方法，步骤包括：

步骤A1、对空间光调制器与图像传感器之间进行标定，测量得到转换矩阵T；

步骤A2、基于随机二进制分布生成的六张二进制编码图案，将其加载于空间光调制器上；

步骤A3、设定相机曝光时间为6ms，空间光调制器的调制帧频为1000Hz，实现在一个曝光时间内空间光调制器改变编码图像；

步骤A4、系统采集图像，并采用两步阙值迭代收缩算法对所采集的图像进行求解，求解得到超时间分辨率图像。

实施例1：

实验中所使用的主要设备如下：所使用的空间光调制器采用DMD器件为DLP 4500，最高调制帧频为1000Hz，像元间距为7.6微米；所使用图像传感器的分辨率为2048x2048，像元间距为5.5微米，成像仅使用中间256*256区域进行成像；为保证空间光调制器与图像传感器之间接近于一一映射，因此选择了放大倍率为1.3的双远心镜头作为中继镜。利用上述实验仪器，依据设计的原理图组建实验装置。

实验步骤包括：

步骤A1、对空间光调制器与图像传感器之间进行标定，测量得到转换矩阵T；

步骤A2、基于随机二进制分布生成的六张二进制编码图案，将其加载于空间光调制器上，编码图案如图4所示；

步骤A3、设定相机曝光时间为6ms，空间光调制器的调制帧频为1000Hz，实现在一个曝光时间内空间光调制器改变编码图像；

步骤A4、系统采集图像，采集结果如图5所示；并采用两步阙值迭代收缩算法对所采集的图像进行求解，求解得到超时间分辨率图像，求解得到六张超时间分辨率图像如图6所示。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于时间编码的相机时间分辨率倍增方法，其特征在于,包括以下步骤：

步骤S1、对于三维时空体E(x,y,t)，将单次曝光时间分解的若干时间点记为t_i∈{t₁,t₂,...,t_N}；

步骤S2、在每个时间点上引入曝光编码图案H(x,y,t)，与所述三维时空体E(x,y,t)直接相乘形成编码图像I(x,y,t)，即I(x,y,t)＝E(x,y,t)×H(x,y,t)；

步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像，记为：

步骤S4、在上式中采用压缩感知算法重建得到各时间点的图像E(x,y,t_i)；

所述步骤S4中，采用压缩感知重建方法基于上式求解E(x,y,t_i)具体包括：

将求解问题转化为以下形式：

式中，H是由H(x,y,t_i)构成的曝光编码矩阵，E是将E(x,y,t)按照辞书式排列写出的列向量，而

是

按照辞书式排列的列向量，TV(E)表示对三维时空体E的变分约束，其形式可写为：

采用Bregman Splitting算法、两步阈值迭代收缩算法以及ADMM算法中的一种对上式进行求解。

2.根据权利要求1所述的基于时间编码的相机时间分辨率倍增方法，其特征在于，步骤S2中所述曝光编码图案为高斯随机编码图案、伯努利编码图案、随机二进制编码及Hadamard编码图案中的一种。

3.一种基于时间编码的相机时间分辨率倍增装置，基于权利要求1-2任意一项权利要求所述的基于时间编码的相机时间分辨率倍增方法实现，其特征在于，包括：镜头、高速空间光调制器、中继系统和图像传感器；

系统工作时，镜头将外界景物成像到空间光调制器上，所述空间光调制器通过加载不同的编码图案，实现对目标场景的调制，调制后的成像通过中继系统成像到图像传感器上；所述空间光调制器的调制速度不低于相机帧频与倍增倍率之间的乘积。

4.根据权利要求3所述的一种基于时间编码的相机时间分辨率倍增装置，其特征在于，所述中继系统为远心镜头。

5.一种使用基于时间编码的相机时间分辨率倍增装置的方法，基于权利要求1-2任意一项权利要求所述的基于时间编码的相机时间分辨率倍增方法实现，其特征在于，包括以下步骤：

步骤A1、对空间光调制器与图像传感器之间进行标定，测量得到转换矩阵T；

步骤A2、基于随机二进制分布生成的六张二进制编码图案，将其加载于空间光调制器上；

步骤A3、设定相机曝光时间为6ms，空间光调制器的调制帧频为1000Hz，实现在一个曝光时间内空间光调制器改变编码图像；

步骤A4、系统采集图像，并采用两步阈值迭代收缩算法对所采集的图像进行求解，求解得到超时间分辨率图像。

Images