CN115277997A - 一种单次测量的压缩感知超分辨率成像系统及其成像方法 - Google Patents
一种单次测量的压缩感知超分辨率成像系统及其成像方法 Download PDFInfo
- Publication number
- CN115277997A CN115277997A CN202210700512.3A CN202210700512A CN115277997A CN 115277997 A CN115277997 A CN 115277997A CN 202210700512 A CN202210700512 A CN 202210700512A CN 115277997 A CN115277997 A CN 115277997A
- Authority
- CN
- China
- Prior art keywords
- signal
- resolution
- compressed sensing
- lens
- fourier transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000005259 measurement Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 17
- 238000011084 recovery Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 17
- 238000012634 optical imaging Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种单次测量的压缩感知超分辨率成像系统及其成像方法，包括与探测镜头依次连接的傅里叶透镜、空间光调制器、逆傅里叶透镜和哈特曼传感器；本发明还公开了一种单次测量的压缩感知超分辨率成像方法；本发明通过依次设置有傅里叶透镜、空间光调制器、逆傅里叶透镜和哈特曼传感器；使用空间光调制器对入射光场信号进行随机相位调制，扩展信号空间带宽积，并结合稀疏选择机制，能在不增加探测器阵元数的条件下，仅仅经过一次曝光测量就可以重建远大于探测器像元数的高分辨率图像。
Description
技术领域
本发明涉及压缩感知技术领域，具体涉及一种单次测量的压缩感知超分辨率成像系统及其成像方法。
背景技术
Nyquist采样定理指出：为避免信息丢失，实现无失真恢复原始信号，采样率至少要两倍于信号带宽。所以模拟信号的数字化往往需要很高的采样率。随着人们对光学成像方法的分辨率的要求越来越高，对于传感器的性能和硬件处理能力提出了更高的要求，例如在消费电子领域由一开始百万像素级的数码相机的出现到现在的千万级像素的普及，越来越多的海量的像素信息的分析和处理是一个极大的挑战。而另一方面，在实际应用中，为了降低存储、处理和传输的成本，常采用压缩方式以较少的关键系数信息表示信号，大量的非重要的数据被抛弃，这种高采样再压缩的过程浪费了大量的采样资源。
如果信号本身是可以压缩的，能否直接采样压缩数据，用远低于奈奎斯特采样定理要求的速率采样信号，同时又可以完全恢复信号；压缩感知为解决上述问题提供了全新的理论框架，压缩采样核心思想是将压缩与采样合并进行，使用与压缩基不相关的观测矩阵将信号投影到低维信号上，通过采集少量的信号投影值就可实现信号的准确或近似重构，其优点在于信号的投影测量数据量远远小于传统采样方法所获的数据量，突破了香农采样定理的瓶颈，使得使用低分辨率的传感器获取高分辨率的信号成为可能，信号的采样率不再取决于信号的带宽，而取决于信号的稀疏度。
目前压缩感知已经被应用到光学成像，雷达，无线通信等很多领域，在压缩传感中，一个非常重要的问题就是测量矩阵的设计，研究表明传感矩阵必须满足约束等距性条件，即测量矩阵应满足以下特征：1)其列向量满足一定的线性独立性；2)其列向量体现某种类似噪声的独立随机性；目前常见的能使传感矩阵满足约束等距性的测量矩阵包括高斯矩阵，一致球矩阵、二值随机矩阵、局部傅立叶矩阵、局部哈达玛矩阵以及托普利兹矩阵等，最著名的美国RICE大学的“单像素”压缩数码照相机利用的就是二值随机矩阵，随机矩阵重建的性能比较好。但是目前所有使用随机测量矩阵的压缩感知成像方法中存在的普遍问题如下：
1、随机矩阵的硬件难于实现，例如美国RICE大学的“单像素”压缩数码照相机，其设计原理是通过光路将成像目标投影到一个数字微镜器件(DMD)上,其反射光由透镜聚焦到单个光敏探测器上,数字微镜器件由数字电压信号控制微镜片的机械运动以实现对入射光线的调整,相当于产生0-1随机测量矩阵，其光路方法结构和微镜控制都比较复杂；
2、实时性比较差，难以满足实际需求，在随机观测矩阵中为了重构原始高分辨率图像，需要重复测量M(M＞＞1)次，在许多应用场景中都有运动目标的出现，尤其对于实时运动场景成像，多次测量是绝对不允许的。
发明内容
本发明的目的在于提供一种单次测量的压缩感知超分辨率成像系统及其成像方法，该单次测量的压缩感知超分辨率成像系统通过依次设置有傅里叶透镜、空间光调制器、逆傅里叶透镜和哈特曼传感器；使用空间光调制器对入射光场信号进行随机相位调制，扩展信号空间带宽积，并结合稀疏选择机制，能在不增加探测器阵元数的条件下，仅仅经过一次曝光测量就可以重建远大于探测器像元数的高分辨率图像。
本发明的目的可以通过以下技术方案实现：
一种单次测量的压缩感知超分辨率成像系统，包括与探测镜头依次连接的傅里叶透镜、空间光调制器、逆傅里叶透镜和哈特曼传感器。
一种单次测量的压缩感知超分辨率成像方法，步骤如下：
S1：对进入探测镜头的原始高分辨率图像进行傅里叶变换，得到图像的频域信号；
S2：将傅里叶变换后频域信号通过一个空间光学调制器，在通过它各个像素的频域信号上加入一个预先设置好的随机相位，经过随机相位调制后的信号为
其中随机相位调制设置为一个
维矩阵
其各元素为exp(-jπθ(k,j)),θ(k,j)为[-1,1]均匀分布的随机变量，
定义任意两个相同维数矩阵之间的运算⊙为它们相应元素的乘积；
S3：对相位调制后的信号进行逆傅里叶变换，其光信号为
其中F-1表示逆Fourier变换；
S4：使用哈特曼传感器测量逆傅里叶变换后光信号的强度和相位，哈特曼传感器中的探测器的分辨率小于光学方法成像的分辨率，探测器的位置可以随机地放在光场内的任何一个位置，同时探测器的边界不出光场的像面；
S5：对采集到的强度和相位信息使用稀疏重建算法重建原始光学方法的高分辨率图像，重建原始图像的分辨率达到探测器的4～16倍。
作为本发明进一步的方案：在S1中；进入系统后将入射光线离散化信号为x，信号维度为
维，经过Fourier变换透镜后为F(x)。
作为本发明进一步的方案：在S5中；将ΔS列向量化，稀疏表示基函数可以选用haar小波基，恢复算法可以选用正交匹配追踪或者L1算法。
本发明的有益效果：
(1)本发明一种单次测量的压缩感知超分辨率成像系统及其成像方法硬件实现相对容易，方法中使用空间光调制器在光学成像方法的频谱处对相位进行调制，就可以扩展信号的空间带宽积，使用哈特曼传感器完成压缩采样，哈特曼传感器的位置可以在像面所在平面上的任意位置，这对于方法的结构要求比较低，不需要精密光学平台和复杂的控制部件；
(2)本发明一种单次测量的压缩感知超分辨率成像系统及其成像方法实时性好，可以实现视频或运动场景的压缩感知，这是相比较传统的压缩感知光学成像方法的最大优点。原因在于使用空间光调制器扩展了原始信号的空间带宽积，使得仅仅单次曝光采样获得的数据就可以重构出原始高分辨图像，重建原始图像的分辨率可以达到探测器的4-16倍，同时不需要特殊的重建恢复算法。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明原理图；
图2为原始高分辨率图像；
图3为相位调制后傅里叶逆变换图像；
图4为M＝4，采样中心和光场中心重合时的低分辨率图像；
图5为经过图4重建的高分辨率图像；
图6为M＝4，采样中心和光场中心不重合时的低分辨率图像；
图7为经过图6重建的高分辨率图像；
图8为M＝16时采样的低分辨率图像；
图9为经过图8重建的高分辨率图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-图9所示，本发明公开了一种单次测量的压缩感知超分辨率成像系统，包括与探测镜头依次连接的傅里叶透镜、空间光调制器、逆傅里叶透镜和哈特曼传感器。
本发明公开了还一种单次测量的压缩感知超分辨率成像系统方法，其步骤如下：
W1、原始图像如图2所示，进入方法后将入射光场离散化信号为x，信号维度为
维，经过Fourier变换透镜后为F(x)，F(·)表示傅里叶变换；
W2、在频谱处放置一个空间光调制器SLM，典型的SLM由液晶像素组成，每个像素可独立控制，在通过它的各个像素的光线中加入一个随机相位；
随机相位调制在数学上可以描述为一个
维矩阵
其各元素为exp(-jπθ(k,j)),θ(k,j)为[-1,1]均匀分布的随机变量，
定义任意两个相同维数矩阵之间的运算⊙为它们相应元素的乘积；
经过随机相位调制后的信号为
W3、调制后的信号通过逆Fourier变换透镜，其光信号为
其中F-1表示逆Fourier变换，结果如图3所示；
当没有随机相位调制
则Fourier逆变换透镜处的出射信号即为原信号，而经过相位调制后改变了原信号频谱相位的相关性，使得具有“白噪声”的性质，从而在逆Fourier变换后，信号的能量在像平面上均匀散布；
W4、经过随机相位调制后使用哈特曼传感器进行稀疏采样，因为信号的能量在像平面上均匀散布，图像的任何一行或一列都包含其它列和行的信息，所以采样原始信号调制后的一部分就有可能重构图像，因此哈特曼传感器采样所需探测器阵列的阵元数只需要信号S的1/M，M＞1；
相当于使用rect窗口函数取信号S的一部分，得到ΔS＝rect*S，其中窗口的大小为信号S的1/M，位置可以是随机的，图4是M＝4，传感器的中心和光场的中心重合时的采样图像，图6是M＝4，传感器的中心和光场的中心不重合时的采样图像，图8是M＝16时的采样图像；
W5、将ΔS列向量化，稀疏表示基函数可以选用haar小波基，恢复算法可以选用正交匹配追踪(Orthogonal Matching Pursuit，OMP)或者其它L1恢复算法，在W4中使用哈特曼传感器的原因在于重建中不仅需要强度信息还需要相位信息，而普通的CCD和CMOS传感器无法测量相位；
使用哈特曼传感器的强度和相位信息重构小波稀疏表示稀疏α，再经过反变换就可以重构原始高分辨率图像，图5是经过图4重建的结果，图7是经过图6重建的结果，可见采样的位置不会影响重建的精度和结果，图9是经过图8重建的结果，随着M的增加，重构的精度会降低，能够解释为采样的信息不够，一般以内都可以重建较高分辨率图像。
本发明的核心点之一：本发明一种单次测量的压缩感知超分辨率成像方法，硬件实现相对容易，方法中使用空间光调制器在光学成像方法的频谱处对相位进行调制，就可以扩展信号的空间带宽积，使用哈特曼传感器完成压缩采样，哈特曼传感器的位置可以在像面所在平面上的任意位置，这对于方法的结构要求比较低，不需要精密光学平台和复杂的控制部件；
本发明的核心点之二：本发明一种单次测量的压缩感知超分辨率成像系统及其成像方法实时性好，可以实现视频或运动场景的压缩感知，这是相比较传统的压缩感知光学成像方法的最大优点。原因在于使用空间光调制器扩展了原始信号的空间带宽积，使得仅仅单次曝光采样获得的数据就可以重构出原始高分辨图像，重建原始图像的分辨率可以达到探测器的4-16倍，同时不需要特殊的重建恢复算法。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (4)
1.一种单次测量的压缩感知超分辨率成像系统，其特征在于，包括与探测镜头依次连接的傅里叶透镜、空间光调制器、逆傅里叶透镜和哈特曼传感器。
2.一种单次测量的压缩感知超分辨率成像方法,其特征在于，包括如下步骤：
S1：对进入探测镜头的原始高分辨率图像进行傅里叶变换，得到图像的频域信号；
S2：将傅里叶变换后频域信号通过一个空间光学调制器，在通过它各个像素的频域信号上加入一个预先设置好的随机相位，经过随机相位调制后的信号为
其中随机相位调制设置为一个
维矩阵
其各元素为exp(-jπθ(k,j)),θ(k,j)为[-1,1]均匀分布的随机变量，
定义任意两个相同维数矩阵之间的运算⊙为它们相应元素的乘积；
S3：对相位调制后的信号进行逆傅里叶变换，其光信号为
其中F-1表示逆Fourier变换；
S4：使用哈特曼传感器测量逆傅里叶变换后光信号的强度和相位，哈特曼传感器中的探测器的分辨率小于光学方法成像的分辨率，探测器的位置可以随机地放在光场内的任何一个位置，同时探测器的边界不出光场的像面；
S5：对采集到的强度和相位信息使用稀疏重建算法重建原始光学方法的高分辨率图像，重建原始图像的分辨率达到探测器的4～16倍。
3.根据权利要求2所述的一种单次测量的压缩感知超分辨率成像方法,其特征在于，S1中，进入系统后将入射光线离散化信号为x，信号维度为
维，经过Fourier变换透镜后为F(x)。
4.根据权利要求2所述的一种单次测量的压缩感知超分辨率成像方法,其特征在于，S5中，将ΔS列向量化，稀疏表示基函数可以选用haar小波基，恢复算法可以选用正交匹配追踪或者L1算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210700512.3A CN115277997A (zh) | 2022-06-20 | 2022-06-20 | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210700512.3A CN115277997A (zh) | 2022-06-20 | 2022-06-20 | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115277997A true CN115277997A (zh) | 2022-11-01 |
Family
ID=83761773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210700512.3A Pending CN115277997A (zh) | 2022-06-20 | 2022-06-20 | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115277997A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107580164A (zh) * | 2017-09-11 | 2018-01-12 | 陕西美星恒祺新能源科技有限公司 | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 |
| CN109211790A (zh) * | 2017-07-03 | 2019-01-15 | 南开大学 | 一种基于傅里叶功率谱探测的单像素相位成像方法 |
-
2022
- 2022-06-20 CN CN202210700512.3A patent/CN115277997A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109211790A (zh) * | 2017-07-03 | 2019-01-15 | 南开大学 | 一种基于傅里叶功率谱探测的单像素相位成像方法 |
| CN107580164A (zh) * | 2017-09-11 | 2018-01-12 | 陕西美星恒祺新能源科技有限公司 | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Baraniuk et al. | Compressive video sensing: Algorithms, architectures, and applications | |
| Arce et al. | Compressive coded aperture spectral imaging: An introduction | |
| Xiong et al. | Snapshot hyperspectral light field imaging | |
| US9743024B2 (en) | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure | |
| US8970740B2 (en) | Overlap patterns and image stitching for multiple-detector compressive-sensing camera | |
| US9277139B2 (en) | Generating modulation patterns for the acquisition of multiscale information in received signals | |
| US20130070138A1 (en) | Number Of Pixels In Detector Arrays Using Compressive Sensing | |
| EP2590399B1 (en) | Hadamard enhanced sensor | |
| Diaz et al. | Adaptive grayscale compressive spectral imaging using optimal blue noise coding patterns | |
| WO1998046007A1 (en) | Imaging system & method | |
| Zhang et al. | MEMS-based super-resolution remote sensing system using compressive sensing | |
| Yuan | Compressive dynamic range imaging via Bayesian shrinkage dictionary learning | |
| Oktem et al. | Computational spectral and ultrafast imaging via convex optimization | |
| Llull et al. | Temporal compressive sensing for video | |
| CN107580164A (zh) | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 | |
| EP3143583B1 (en) | System and method for improved computational imaging | |
| KR101986998B1 (ko) | 하이퍼스펙트럼 이미지 장치 | |
| CN110736539B (zh) | 一种基于压缩感知的凝视型光谱成像系统 | |
| Thapa et al. | Less is more: compressive sensing in optics and image science | |
| CN103986936A (zh) | 一种视频压缩采集系统及其采集方法 | |
| Marcia et al. | Compressive optical imaging: Architectures and algorithms | |
| CN115277997A (zh) | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 | |
| Huang et al. | High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model | |
| US20140211000A1 (en) | Sensing Signals with Affine-Harmonically Related Rows of Kronecker-Product Matrices | |
| Huang et al. | Compressive sensing-based super-resolution multispectral imaging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221101 |