CN104539851B - 一种基于像元优化编码曝光的高速成像系统及方法 - Google Patents
一种基于像元优化编码曝光的高速成像系统及方法 Download PDFInfo
- Publication number
- CN104539851B CN104539851B CN201410829580.5A CN201410829580A CN104539851B CN 104539851 B CN104539851 B CN 104539851B CN 201410829580 A CN201410829580 A CN 201410829580A CN 104539851 B CN104539851 B CN 104539851B
- Authority
- CN
- China
- Prior art keywords
- relay lens
- light
- polarization
- exposure
- polarization beam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title abstract description 3
- 238000000034 method Methods 0.000 title description 11
- 230000010287 polarization Effects 0.000 claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 description 3
- 238000009738 saturating Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明属于光学领域，具体涉及一种基于像元优化编码曝光的高速成像系统及方法。该系统包括物镜、第一中继透镜、偏振分束器、第二中继透镜、空间光调制器、第三中继透镜和图像传感器；物镜、第一中继透镜、偏振分束器、第二中继透镜、空间光调制器依次设置在自然光的光轴上；第三中继透镜和图像传感器依次设置在偏振分束器的上方；通过该系统可以获得包含多帧图像信息的单帧编码曝光图像I；通过学习随机视频，得到过完备字典D，在采用重构算法，解算出系数α，最终得到高分辨率多帧视频图像E。本发明的系统及方法能够避免目前图像传感器的硬件限制，最终实现高速高分辨率成像。
Description
技术领域
本发明属于光学领域，具体涉及一种基于像元优化编码曝光的高速成像系统及方法。
背景技术
目前相机技术面临着时间分辨率和空间分辨率很难同时提高的根本矛盾。虽然数码相机能得到高分辨率(大面阵相机)的图像，但是高速摄影视频相机通常只能得到相对较低的像素分辨率。而且在不提高硬件资源的前提下很难获得高分辨率图像。这些限制主要是由于成像探测器的硬件系统如读出电路和模数转换器(ADC)引起的。虽然可以通过增加模数转换器和帧缓存电路来增加读出电路，但这又会在每个像素中引入更多的晶体管从而增加资源消耗和降低填充因子。
目前很多相机厂商都会采取一种叫“Thin-out”的妥协模式，该模式直接通过降低空间分辨率来获取更高的时间分辨率，最终图像质量也会退化。
发明内容
为了解决背景技术中存在的上述技术问题，本发明提供一种基于像元优化编码曝光，并对采样函数进行设置以满足目前图像传感器的硬件限制最终实现高速高分辨率成像的基于像元优化编码曝光的高速成像系统及方法。
本发明的具体技术方案是：
一种基于像元优化编码曝光的高速成像系统，其特征在于：包括物镜、第一中继透镜、偏振分束器、第二中继透镜、空间光调制器、第三中继透镜和图像传感器；
所述物镜、第一中继透镜、偏振分束器、第二中继透镜、空间光调制器依次设置在自然光的光轴上；
所述第三中继透镜和图像传感器依次设置在偏振分束器的上方；
自然光依次通过物镜、第一中继透镜和第二中继透镜进入偏振分束器；所述偏振分束器将自然光分束成S偏振光和P偏振光；所述S偏振光经偏振分束器反射出外部空间；所述P偏振光依次经过第二中继透射入射至空间光调制器；所述空间光调制器将接收的P偏振光一部分转换为S偏振光经偏振分束器反射后经过第三中继透镜后被图像传感器接收；另一部分未被转换的P偏振光经原路返回。
根据上述的基于像元优化编码曝光的高速成像系统，现提供该系统的成像方法，其特征在于，包括以下步骤：
1)通过学习随机视频，利用K-SVD算法，得到过完备字典D；
2)依据上述的系统，获取包含多帧图像信息的单帧编码曝光图像I；
2.1)设定空间光调制器的采样函数S；
2.2)利用空间光调制器完成对图像传感器入射光的调制，得到包含多帧图像信息的单帧编码曝光图像I；
3)计算高分辨率多帧视频图像E；
3.1)利用重构算法，解算系数α；
具体计算公式是：I＝S*E＝S*D*α
3.2)利用系数α，恢复出高分辨率多帧视频图像E；
具体计算公式是：
E＝D*α。
上述方法所述的采样函数为二进制函数；所述采样函数在图像传感器曝光时间内单个像元有且只有一次曝光。
本发明的优点在于：
1、本发明的方法利用通过学习随机视频得到的过完备字典，较目前采用的离散余弦变换(Discrete Cosine Transform DCT)和离散小波变换(Discrete WaveletsTransform DWT)具有更加理想的紧支撑水平，并且计算量大大减少，能够有效地应用于图像降噪以及图像压缩。
2、本发明利用空间光调制器(LCoS)完成入射光调制，实现采样函数在图像传感器曝光时间内单个像元有且仅有一次曝光，使得该方法及系统能够应用于现有的图像传感器。
3、本发明利用空间光调制器和偏振分束器协调工作，实现了图像传感器的行和列同时寻址的功能。
附图说明：
图1为本发明提供的基于像元编码优化曝光的高速成像系统结构简图。
1-物镜、2-第一中继透镜、3-偏振分束器、4-第二中继透镜、5-空间光调制器、6-第三中继透镜、7-图像传感器。
具体实施方式：
参见图1，本发明提供了一种基于空间光调制器(LCoS)的像元优化编码曝光高速成像系统。包括物镜1、第一中继透镜2、偏振分束器3、第二中继透镜4、空间光调制器5、第三中继透镜6和图像传感器7。
物镜1、第一中继透2镜、偏振分束器3、第二中继透镜4、空间光调制器5依次设置在自然光的光轴上；
第三中继透镜3和图像传感器7依次设置在偏振分束器3的上方；
自然光依次通过物镜1、第一中继透镜2进入偏振分束器3；偏振分束器3将自然光分束成S偏振光和P偏振光；S偏振光经偏振分束器3反射出外部空间；P偏振光依次经过第二中继透4射入射至空间光调制器5；空间光调制器5将接收的P偏振光一部分转换为S偏振光经偏振分束器3反射后经过第三中继透镜6后被图像传感器7接收；另一部分未被转换的P偏振光经原路返回。
具体的工作过程，如下所述：
自然光首先通过物镜1、第一中继透镜2、，然后通过偏振分束器3，偏振分束器将自然光分束成S偏振光和P偏振光，并将S偏振光向下反射至外部空间，P偏振光通过偏振光分光器3。
然后，P偏振光在空间光调制器(LCoS)5上成像并反射回来。当空间光调制器(LCoS)5的某个像元“开”时(图中白色表示)，P偏振光转换成S偏振光，当其“关”时(图中黑色表示)，其反射光与入射光偏振态相同(P偏振)。对于反射光，只有S偏振光能被图像传感器7接受并成像，P偏振光将通过偏振光分光器3。至此，利用空间光调制器(LCoS)5实现了对入射光的调制。
在一次图像传感器7曝光时间内，空间光调制器(LCoS)5依据采样函数显示多帧二进制图像。例如：其工作频率是图像传感器7帧频的15倍左右。如果图像传感器机7的积分曝光时间为15ms(66Hz)，空间光调制器(LCoS)5工作频率为1000Hz，那么就能从一帧编码曝光图像中得到15帧的视频。
本发明的方法原理是基于公式：I＝S*E；
其中，I表示多帧图像信息的单帧编码曝光图像；E表示高分辨率多帧视频图像；S表示采样函数；
该方法的具体步骤是：
步骤1)通过学习随机视频，利用K-SVD算法，得到过完备字典D；
K-SVD算法由Aharon M等人于2006年提出(Aharon M,Elad M,Bruckstein AM.The K-SVD:An Algorithm for Designing of Overcomplete Dictionaries forSparse Representation[J].IEEE Transactions on Signal Processing,2006,54(11):4311-4322.)，是目前一个比较受欢迎的字典学习算法，K-SVD算法可以理解成广义的K-Means算法，当K-SVD算法中只用一个原子近似表示每个信号时就退化为K-Means聚类算法。该算法利用奇异值分解方式代替MOD(Method of Optimal Directions)中求解逆矩阵逐个更新原子，训练出了与图像几何结构相匹配的冗余字典。
步骤2)依据上述系统，获取包含多帧图像信息的单帧编码曝光图像I；
步骤2.1)设定空间光调制器的采样函数S；
需要说明的是：为了克服当前图像传感器没有列寻址的限制，本发明提供的采样函数满足以下条件：
1、采样函数必须是是二进制数，即：S(x,y,t)∈{0,1}.在任何时刻，单个像元要么收集光线(1-开)要么不收集光线(0-关)。
2、采样函数在图像传感器曝光时间内单个像元有且只有一次曝光。由于图像传感器中不是每个像元都有片上缓存。所以在一次相机曝光积分时间里每个像元只能有一次连续的曝光。
像元曝光起始时刻设置如下：首先，从图像传感器的左上角的一个M×M块(标记为p0)开始，随机选择p0内像素的曝光开始时间。并使这些M2个像素的总的“开”时间覆盖整个相机曝光积分时间：t＝1…N。其中N为从编码曝光图像中恢复出的帧数；
第二步，将矩阵块M×M向右移动一列，标记为p1,其与p0有M-1列是重叠的，对于这些重叠的像元保持与之前相同的曝光开始时间。对于p1中新的一列，按照之前p0的方法，随机设置这些像元的曝光开始时间。第三部，重复迭代第二步，直到所有像元都设置了曝光开始时间。
步骤2.2)利用空间光调制器完成对图像传感器入射光的调制，得到包含多帧图像信息的单帧编码曝光图像I；
步骤3)计算高分辨率多帧视频图像E；
步骤3.1)利用重构算法，解算系数α；
具体计算公式是：I＝S*E＝S*D*α
步骤3.2)利用系数α，恢复出高分辨率多帧视频图像E；
具体计算公式是：
E＝D*α。
Claims (2)
1.一种基于像元优化编码曝光的高速成像系统的成像方法，
所述成像系统包括物镜、第一中继透镜、偏振分束器、第二中继透镜、空间光调制器、第三中继透镜和图像传感器；
所述物镜、第一中继透镜、偏振分束器、第二中继透镜、空间光调制器依次设置在自然光的光轴上；
所述第三中继透镜和图像传感器依次设置在偏振分束器的上方；
自然光依次通过物镜、第一中继透镜和第二中继透镜进入偏振分束器；所述偏振分束器将自然光分束成S偏振光和P偏振光；所述S偏振光经偏振分束器反射出外部空间；所述P偏振光依次经过第二中继透射入射至空间光调制器；所述空间光调制器将接收的P偏振光一部分转换为S偏振光经偏振分束器反射后经过第三中继透镜后被图像传感器接收；另一部分未被转换的P偏振光经原路返回；
其特征在于，包括以下步骤：
1)通过学习随机视频，利用K-SVD算法，得到过完备字典D；
2)依据所述成像系统，获取包含多帧图像信息的单帧编码曝光图像I；
2.1)设定空间光调制器的采样函数S；
2.2)利用空间光调制器完成对图像传感器入射光的调制，得到包含多帧图像信息的单帧编码曝光图像I；
3)计算高分辨率多帧视频图像E；
3.1)利用重构算法，解算系数α；
具体计算公式是：I＝S*E＝S*D*α
3.2)利用系数α，恢复出高分辨率多帧视频图像E；
具体计算公式是：
E＝D*α。
2.根据权利要求1所述的基于像元优化编码曝光的高速成像系统的成像方法，其特征在于：所述采样函数为二进制函数；所述采样函数在图像传感器曝光时间内单个像元有且只有一次曝光。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410829580.5A CN104539851B (zh) | 2014-12-26 | 2014-12-26 | 一种基于像元优化编码曝光的高速成像系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410829580.5A CN104539851B (zh) | 2014-12-26 | 2014-12-26 | 一种基于像元优化编码曝光的高速成像系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104539851A CN104539851A (zh) | 2015-04-22 |
| CN104539851B true CN104539851B (zh) | 2018-02-02 |
Family
ID=52855311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410829580.5A Expired - Fee Related CN104539851B (zh) | 2014-12-26 | 2014-12-26 | 一种基于像元优化编码曝光的高速成像系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104539851B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110221524A (zh) * | 2018-03-01 | 2019-09-10 | 联士光电（深圳）有限公司 | 一种基于lcos技术的led曝光机 |
| CN110308125B (zh) * | 2019-07-11 | 2020-11-03 | 清华大学 | 三维显微层析计算摄像方法及装置 |
| CN110809102B (zh) * | 2019-10-11 | 2020-10-30 | 北京理工大学 | 基于二值调制的成像加速方法及装置 |
| CN111275690B (zh) * | 2020-01-22 | 2023-04-11 | 中国科学院西安光学精密机械研究所 | 一种短波红外探测器像元编码曝光的仿真方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6310713B2 (en) * | 1997-04-07 | 2001-10-30 | International Business Machines Corporation | Optical system for miniature personal displays using reflective light valves |
| CN101413789B (zh) * | 2007-10-18 | 2010-09-29 | 鸿富锦精密工业（深圳）有限公司 | 表面轮廓检测装置及其检测方法 |
| CN102436072A (zh) * | 2011-12-30 | 2012-05-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种新型光学数字信号处理系统 |
| CN102679905A (zh) * | 2012-01-10 | 2012-09-19 | 天津大学 | 像素级自适应数字光学亮度衰减方法及衰减装置 |
| CN204316623U (zh) * | 2014-12-26 | 2015-05-06 | 中国科学院西安光学精密机械研究所 | 一种基于像元优化编码曝光的高速成像系统 |
-
2014
- 2014-12-26 CN CN201410829580.5A patent/CN104539851B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104539851A (zh) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Image compressed sensing using convolutional neural network | |
| Cheng et al. | Recurrent neural networks for snapshot compressive imaging | |
| CN104539851B (zh) | 一种基于像元优化编码曝光的高速成像系统及方法 | |
| CN110612722B (zh) | 对数字光场图像编码和解码的方法和设备 | |
| Han et al. | Tensor FISTA-Net for real-time snapshot compressive imaging | |
| CN112911304B (zh) | 基于编码的双路视频压缩装置及压缩视频重建方法 | |
| US9398273B2 (en) | Imaging system, imaging apparatus, and imaging method | |
| CN102638659A (zh) | 基于cmos-tdi模式的高分辨率成像系统及方法 | |
| CN111899193B (zh) | 一种基于低照度图像增强算法的刑侦摄影系统及方法 | |
| US10944923B2 (en) | Code division compression for array cameras | |
| US11861814B2 (en) | Apparatus and method for sensing image based on event | |
| Llull et al. | Compressive sensing for video using a passive coding element | |
| CN113658128A (zh) | 图像模糊程度确定方法、数据集构建方法与去模糊方法 | |
| Cao et al. | Oodhdr-codec: Out-of-distribution generalization for hdr image compression | |
| CN204316623U (zh) | 一种基于像元优化编码曝光的高速成像系统 | |
| US8428381B2 (en) | Image compression method with variable quantization parameter | |
| CN115994865A (zh) | 一种颤振模糊图像的复原方法、采集复原装置及监控系统 | |
| Yan et al. | Compressive sampling for array cameras | |
| US20220058774A1 (en) | Systems and Methods for Performing Image Enhancement using Neural Networks Implemented by Channel-Constrained Hardware Accelerators | |
| Dai et al. | Adaptive video compressed sampling in the wavelet domain | |
| Li et al. | Compressed sensing imaging system based on improved theoretical model and its weighted iterative strategy | |
| Dekel | Adaptive compressed image sensing based on wavelet-trees | |
| Gowthami et al. | A novel approach towards high-performance image compression using multilevel wavelet transformation for heterogeneous datasets | |
| CN107872632B (zh) | 用于p-相位数据压缩的设备和方法 | |
| CN113573076A (zh) | 视频编码的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180202 Termination date: 20181226 |