CN109348103A - 一种基于时间编码的相机时间分辨率倍增方法与装置 - Google Patents
一种基于时间编码的相机时间分辨率倍增方法与装置 Download PDFInfo
- Publication number
- CN109348103A CN109348103A CN201811260835.5A CN201811260835A CN109348103A CN 109348103 A CN109348103 A CN 109348103A CN 201811260835 A CN201811260835 A CN 201811260835A CN 109348103 A CN109348103 A CN 109348103A
- Authority
- CN
- China
- Prior art keywords
- time
- camera
- image
- spatial light
- temporal resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种基于时间编码的相机时间分辨率倍增方法,包括:步骤S1、对于三维时空体E(x,y,t),将单次曝光时间分解的若干时间点为ti∈{t1,t2,…,tN};步骤S2、在每个时间点上引入曝光编码图案H(x,y,t,与时空体E(x,y,t直接相乘形成编码图像I(x,y,t,即I(x,y,t)=E(x,y,t)×H(x,y,t);步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像,记为:步骤S4、在上式中采用压缩感知算法重建得到各时间点的图像E(x,y,ti)。本发明方法解决了现有技术中相机时间分辨率难以提升的技术问题,能够在不牺牲空间分辨率的情况下,提高相机的时间分辨率。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,尤其涉及一种基于时间编码的相机时间分辨率倍增方法与装置。
背景技术
随着科技的进步与发展,高帧数相机的应用越加广泛。高速摄像机能记录各种瞬间变化过程,这对于观察及分析各种高速机械运作,物体运动,化学反应,动物行为分析等起着十分重要的作用。由于相机带宽限制,相机单位时间内获取的像素信息是有限的,时间分辨率的提高必然会导致空间分辨率的降低。以实时传输相机为例,目前商用最快速的接口CoaxPress,最大传输速度为1.5GB/s,对于300万分辨率的相机,最大帧率为500帧,在硬件层面上提高相机的整体带宽,如提高相机读取和写入信息速度或组建相机阵列,会大大增加硬件成本、功耗和系统复杂度。
此外,利用软件算法对视频进行时间维度的超分辨率能够在一定程度上提高视频的帧频,例如在A.Gupta,P.Bhat,M.Dontcheva,O.Deussen,B.Curless,and M.Cohen,“Enhancing and Experiencing Space-Time Resolution with Videos and Stills,”inIEEE International Conference on Computational Photography(ICCP),2009,pp.1–9.中,通过高分辨率低帧数图像和低分辨率高帧数视频合成高帧数高分辨率视频,但是这种方法会导致目标非规则运动模糊和弱化,时间超分辨率能力有限。
发明内容
根据上述提出相机时间分辨率低,提升困难的技术问题,而提供一种基于时间编码的相机时间分辨率倍增方法,能够在不牺牲空间分辨率的情况下,能够提高相机的时间分辨率。
本发明采用的技术手段如下:
一种基于时间编码的相机时间分辨率倍增方法,其特征在于包括以下步骤:
步骤S1、对于三维时空体E(x,y,t),将单次曝光时间分解的若干时间点记为ti∈{t1,t2,…,tN};
步骤S2、在每个时间点上引入曝光编码图案H(x,y,t),与时空体E(x,y,t)直接相乘形成编码图像I(x,y,t),即I(x,y,t)=E(x,y,t)×H(x,y,t);
步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像,记为:
步骤S4、采用压缩感知重建方法基于上式求解E(x,y,ti)。
进一步地,所述步骤S4中,采用压缩感知重建方法基于上式求解E(x,y,ti)具体包括:
将求解问题转化为以下形式:
式中,H是由H(x,y,ti)构成的曝光编码矩阵,E是将E(x,y,ti)按照辞书式排列写出的列向量,而是按照辞书式排列的列向量,TV(E)表示对三维时空体E的变分约束,其形式可写为:
采用Bregman Splitting算法、两步阙值迭代收缩算法(TwIST)算法以及ADMM算法中的一种对上式进行求解。
进一步地,步骤S2中所述曝光编码矩阵为高斯随机编码图案、伯努利编码图案、随机二进制编码图案及Hadamard编码图案中的一种。
本发明还提供了一种实现上述方法的基于时间编码的相机时间分辨率倍增装置,主要包括镜头、高速空间光调制器、中继系统和图像传感器;
系统工作时,镜头将外界景物成像到空间光调制器上,所述空间光调制器通过加载不同的编码图案,实现对目标场景的调制,调制后的像通过中继系统成像到图像传感器上。
进一步地,所述中继系统为远心镜头。
进一步地,所述空间光调制器的调制速度应不低于相机帧频与倍增倍率之间的乘积。
本发明还提供了一种使用上述装置的方法,其特征在于,步骤包括:
步骤A1、对空间光调制器与图像传感器之间进行标定,测量得到转换矩阵T;
步骤A2、基于随机二进制分布生成的六张二进制编码图案,将其加载于空间光调制器上;
步骤A3、设定相机曝光时间为6ms,空间光调制器的调制帧频为1000Hz,实现在一个曝光时间内空间光调制器改变编码图像;
步骤A4、系统采集图像,并采用两步阙值迭代收缩算法对所采集的图像进行求解,求解得到超时间分辨率图像。
较现有技术相比,本发明具有以下优点:
1、本发明在不提高相机带宽的情况下,通过对视频的时空编码,单位时间内提高了相机获取信息数量,降低了高分辨率高帧数相机的硬件需求。
2、本发明不过分依赖对视频图像运动的模拟,对物体的不规则运动重构拥有较强的适应能力。
综上,应用本发明的技术方案能够在不牺牲空间分辨率的情况下,能够提高相机的时间分辨率。因此,本发明的技术方案解决了现有技术中的相机时间分辨率低,提升困难的技术问题。
基于上述理由本发明可在图像处理等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明超时间分辨率编码成像原理图。
图2为本发明装置结构示意图。
图3为本发明装置的使用方法流程图。
图4为本发明方法时空编码图案。
图5为本发明方法采集编码图像。
图6为本发明方法分解后的图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明提供了一种基于时间编码的相机时间分辨率倍增方法,时间编码成像过程包括如下步骤:
步骤S1、对于三维时空体E(x,y,t),将单次曝光时间分解的若干时间点记为ti∈{t1,t2,...,tN};
步骤S2、在每个时间点上引入曝光编码图案H(x,y,t),与时空体E(x,y,t)直接相乘形成编码图像I(x,y,t),即I(x,y,t)=E(x,y,t)×H(x,y,t);
步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像,记为:
步骤S4、采用压缩感知重建方法基于上式求解E,本发明中采用了压缩感知重建方法。压缩感知理论表明如果信号在某个域是稀疏的,即只有少数系数有值而大部分系数为0,就可以以少量的信息无失真的恢复信号。由于自然图片和视频在变分域通常具有很好的稀疏性,因此根据压缩感知原理,将求解问题转化为以下形式:
式中,H是由H(x,y,ti)构成的曝光编码矩阵,E是将E(x,y,t)按照辞书式排列写出的列向量,而是按照辞书式排列的列向量,TV(E)表示对三维视频集E的变分约束,其形式可写为:
曝光编码图案为高斯随机编码图案、伯努利编码图案、随机二进制编码图案及Hadamard编码图案中的一种。
采用Bregman Splitting算法、两步阙值迭代收缩算法(TwIST)算法以及ADMM算法中的一种对上式进行求解。
如图2所示,本发明提供了一种实现上述方法的基于时间编码的相机时间分辨率倍增装置,主要包括镜头、高速空间光调制器、中继系统和图像传感器;
系统工作时,镜头将外界景物成像到空间光调制器上,所述空间光调制器通过加载不同的编码图案,实现对目标场景的调制,调制后的像通过中继系统成像到图像传感器上。中继系统为远心镜头,空间光调制器在曝光时间内能够快速的变换多张编码图案,从而将多帧目标场景编码于一帧图像中,为满足上述要求,调制速度应不低于相机帧频与倍增倍率之间的乘积。为保证确定高速空间光调制器的像元与图像传感器像元之间的对应关系,需要首先对两者关系进行标定,标定中可打开空间光调制器单个像元(其余像元保持关闭),记录图像传感器上的图像,从而得到该输入像元所对应的转换矩阵。随后,依次打开空间光调制器上每个像元,重复上述过程,标定得到空间光调制器的像元与图像传感器像元之间的转换矩阵,记为T。
理想情况下,转换矩阵T应该是一个对角矩阵,即空间光调制器的像元与图像传感器像元之间满足一一映射关系,但实际中由于中继系统中可能存在误差等因素,转换矩阵T并非是对角矩阵。此时,在式(2)可改写为:
如图3所示,本发明还提供了一种使用上述装置的方法,步骤包括:
步骤A1、对空间光调制器与图像传感器之间进行标定,测量得到转换矩阵T;
步骤A2、基于随机二进制分布生成的六张二进制编码图案,将其加载于空间光调制器上;
步骤A3、设定相机曝光时间为6ms,空间光调制器的调制帧频为1000Hz,实现在一个曝光时间内空间光调制器改变编码图像;
步骤A4、系统采集图像,并采用两步阙值迭代收缩算法对所采集的图像进行求解,求解得到超时间分辨率图像。
实施例1:
实验中所使用的主要设备如下:所使用的空间光调制器采用DMD器件为DLP 4500,最高调制帧频为1000Hz,像元间距为7.6微米;所使用图像传感器的分辨率为2048x2048,像元间距为5.5微米,成像仅使用中间256*256区域进行成像;为保证空间光调制器与图像传感器之间接近于一一映射,因此选择了放大倍率为1.3的双远心镜头作为中继镜。利用上述实验仪器,依据设计的原理图组建实验装置。
实验步骤包括:
步骤A1、对空间光调制器与图像传感器之间进行标定,测量得到转换矩阵T;
步骤A2、基于随机二进制分布生成的六张二进制编码图案,将其加载于空间光调制器上,编码图案如图4所示;
步骤A3、设定相机曝光时间为6ms,空间光调制器的调制帧频为1000Hz,实现在一个曝光时间内空间光调制器改变编码图像;
步骤A4、系统采集图像,采集结果如图5所示;并采用两步阙值迭代收缩算法对所采集的图像进行求解,求解得到超时间分辨率图像,求解得到六张超时间分辨率图像如图6所示。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于时间编码的相机时间分辨率倍增方法,其特征在于,包括以下步骤:
步骤S1、对于三维时空体E(x,y,t),将单次曝光时间分解的若干时间点记为ti∈{t1,t2,…,tN};
步骤S2、在每个时间点上引入曝光编码图案H(x,y,t),与所述三维时空体E(x,y,t)直接相乘形成编码图像I(x,y,t),即I(x,y,t)=E(x,y,t)×H(x,y,t);
步骤S3、将曝光时间内对所有时间点的曝光编码图像相加得到图像传感器所记录的单张时间编码图像,记为:
步骤S4、在上式中采用压缩感知算法重建得到各时间点的图像E(x,y,ti)。
2.根据权利要求1所述的基于时间编码的相机时间分辨率倍增方法,其特征在于,所述步骤S4中,采用压缩感知重建方法基于上式求解E(x,y,ti)具体包括:
将求解问题转化为以下形式:
式中,H是由H(x,y,ti)构成的曝光编码矩阵,E是将E(x,y,t)按照辞书式排列写出的列向量,而是按照辞书式排列的列向量,TV(E)表示对三维时空体E的变分约束,其形式可写为:
采用Bregman Splitting算法、两步阙值迭代收缩算法(TwIST)算法以及ADMM算法中的一种对上式进行求解。
3.根据权利要求1所述的基于时间编码的相机时间分辨率倍增方法,其特征在于,步骤S2中所述曝光编码图案为高斯随机编码图案、伯努利编码图案、随机二进制编码及Hadamard编码图案中的一种。
4.一种基于时间编码的相机时间分辨率倍增装置,其特征在于,主要包括:镜头、高速空间光调制器、中继系统和图像传感器;
系统工作时,镜头将外界景物成像到空间光调制器上,所述空间光调制器通过加载不同的编码图案,实现对目标场景的调制,调制后的像通过中继系统成像到图像传感器上。
5.根据权利要求4所述的一种基于时间编码的相机时间分辨率倍增装置,其特征在于,所述中继系统为远心镜头。
6.根据权利要求4所述的一种基于时间编码的相机时间分辨率倍增装置,其特征在于,所述空间光调制器的调制速度应不低于相机帧频与倍增倍率之间的乘积。
7.一种使用基于时间编码的相机时间分辨率倍增装置的方法,其特征在于,包括以下步骤:
步骤A1、对空间光调制器与图像传感器之间进行标定,测量得到转换矩阵T;
步骤A2、基于随机二进制分布生成的六张二进制编码图案,将其加载于空间光调制器上;
步骤A3、设定相机曝光时间为6ms,空间光调制器的调制帧频为1000Hz,实现在一个曝光时间内空间光调制器改变编码图像;
步骤A4、系统采集图像,并采用两步阙值迭代收缩算法对所采集的图像进行求解,求解得到超时间分辨率图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811260835.5A CN109348103B (zh) | 2018-10-26 | 2018-10-26 | 一种基于时间编码的相机时间分辨率倍增方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811260835.5A CN109348103B (zh) | 2018-10-26 | 2018-10-26 | 一种基于时间编码的相机时间分辨率倍增方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109348103A true CN109348103A (zh) | 2019-02-15 |
CN109348103B CN109348103B (zh) | 2021-05-25 |
Family
ID=65312258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811260835.5A Active CN109348103B (zh) | 2018-10-26 | 2018-10-26 | 一种基于时间编码的相机时间分辨率倍增方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109348103B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102818631A (zh) * | 2012-07-30 | 2012-12-12 | 中国科学院上海光学精密机械研究所 | 基于随机波前相位调制的压缩光谱成像系统 |
CN103398729A (zh) * | 2013-07-31 | 2013-11-20 | 中国科学院空间科学与应用研究中心 | 一种基于压缩感知的稀疏孔径成像系统及方法 |
US20140168482A1 (en) * | 2012-12-14 | 2014-06-19 | Inview Technology Corporation | Overlap patterns and image stitching for multiple-detector compressive-sensing camera |
CN103954357A (zh) * | 2014-04-22 | 2014-07-30 | 中国科学院上海光学精密机械研究所 | 压缩光谱成像系统测量矩阵的获取方法 |
CN103986936A (zh) * | 2014-05-30 | 2014-08-13 | 苏州大学 | 一种视频压缩采集系统及其采集方法 |
CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及系统 |
CN104394309A (zh) * | 2014-12-16 | 2015-03-04 | 中国科学院国家天文台 | 一种图像稳定的超分辨率成像系统及方法 |
CN105763816A (zh) * | 2016-01-31 | 2016-07-13 | 天津大学 | 一种基于逐像素编码曝光的高速高分辨率成像方法 |
CN107564068A (zh) * | 2017-08-18 | 2018-01-09 | 南京理工大学 | 一种针对孔径编码超分辨光学传递函数的标定方法 |
CN108156399A (zh) * | 2018-01-19 | 2018-06-12 | 哈尔滨工业大学深圳研究生院 | 基于压缩感知理论的单像素相机视频成像系统 |
-
2018
- 2018-10-26 CN CN201811260835.5A patent/CN109348103B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102818631A (zh) * | 2012-07-30 | 2012-12-12 | 中国科学院上海光学精密机械研究所 | 基于随机波前相位调制的压缩光谱成像系统 |
US20140168482A1 (en) * | 2012-12-14 | 2014-06-19 | Inview Technology Corporation | Overlap patterns and image stitching for multiple-detector compressive-sensing camera |
CN103398729A (zh) * | 2013-07-31 | 2013-11-20 | 中国科学院空间科学与应用研究中心 | 一种基于压缩感知的稀疏孔径成像系统及方法 |
CN103954357A (zh) * | 2014-04-22 | 2014-07-30 | 中国科学院上海光学精密机械研究所 | 压缩光谱成像系统测量矩阵的获取方法 |
CN103986936A (zh) * | 2014-05-30 | 2014-08-13 | 苏州大学 | 一种视频压缩采集系统及其采集方法 |
CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及系统 |
CN104394309A (zh) * | 2014-12-16 | 2015-03-04 | 中国科学院国家天文台 | 一种图像稳定的超分辨率成像系统及方法 |
CN105763816A (zh) * | 2016-01-31 | 2016-07-13 | 天津大学 | 一种基于逐像素编码曝光的高速高分辨率成像方法 |
CN107564068A (zh) * | 2017-08-18 | 2018-01-09 | 南京理工大学 | 一种针对孔径编码超分辨光学传递函数的标定方法 |
CN108156399A (zh) * | 2018-01-19 | 2018-06-12 | 哈尔滨工业大学深圳研究生院 | 基于压缩感知理论的单像素相机视频成像系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109348103B (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cheng et al. | BIRNAT: Bidirectional recurrent neural networks with adversarial training for video snapshot compressive imaging | |
Shi et al. | Image compressed sensing using convolutional neural network | |
Wang et al. | Hyperreconnet: Joint coded aperture optimization and image reconstruction for compressive hyperspectral imaging | |
US10593021B1 (en) | Motion deblurring using neural network architectures | |
Yuan et al. | Snapshot compressive imaging: Theory, algorithms, and applications | |
Yan et al. | Attention-guided network for ghost-free high dynamic range imaging | |
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
Cheng et al. | Memory-efficient network for large-scale video compressive sensing | |
Wang et al. | Metasci: Scalable and adaptive reconstruction for video compressive sensing | |
Cheng et al. | Recurrent neural networks for snapshot compressive imaging | |
Xue et al. | Wavelet-based residual attention network for image super-resolution | |
Wang et al. | Spatial-temporal transformer for video snapshot compressive imaging | |
CN110933429B (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
CN108416723B (zh) | 基于全变分正则化和变量分裂的无透镜成像快速重构方法 | |
Yang et al. | Ensemble learning priors driven deep unfolding for scalable video snapshot compressive imaging | |
KR102095443B1 (ko) | 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치 | |
Meng et al. | Deep unfolding for snapshot compressive imaging | |
Xiang et al. | Spatiotemporal self-attention modeling with temporal patch shift for action recognition | |
Song et al. | Deep memory-augmented proximal unrolling network for compressive sensing | |
CN110650340A (zh) | 一种时空复用的压缩视频成像方法 | |
Panikkasseril Sethumadhavan et al. | Transform domain pyramidal dilated convolution networks for restoration of under display camera images | |
Cheng et al. | Optimizing image compression via joint learning with denoising | |
Du et al. | Low-light image enhancement and denoising via dual-constrained Retinex model | |
Shedligeri et al. | A unified framework for compressive video recovery from coded exposure techniques | |
Nguyen et al. | Convolutional neural network for Fourier ptychography video reconstruction: learning temporal dynamics from spatial ensembles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |