CN113114882B - 一种高采样效率的傅里叶单像素成像方法 - Google Patents

Abstract

本发明公开了一种高采样效率的傅里叶单像素成像方法，首先利用空间光调制技术对目标物体图像的傅里叶谱进行采样密度变化的稀疏采样，进而对所获得的傅里叶谱施行L1‑Magic压缩感知算法，最终重建出物体图像。本发明利用自然图像在傅里叶域能量高度集中的特性，通过对重要性高的傅里叶系数进行高概率采样作为约束，使压缩感知算法可以通过凸优化求解出未被采样的且重要性高的傅里叶系数，并将所节省的测量用于采集重要性较低的傅里叶系数，最终使收集到的空间信息最大化，从而实现了以少量的测量次数重建出清晰的物体图像，实现高采样效率的单像素成像。本发明所实现的高采样效率特征可使本发明应用于动态场景的单像素成像。

Description

一种高采样效率的傅里叶单像素成像方法

技术领域

本发明涉及光学成像技术领域，特别是一种高采样效率的傅里叶单像素成像方法。

背景技术

单像素成像在宏观和微观领域得到广泛的应用。目前，单像素成像技术在宏观方面的应用主要包括彩色成像、三维成像、多模态成像、免图像的运动物体探测与三维追踪等，以及微观方面的数字全息显微术、光场显微术、焦点扫描显微术等。

相比多像素阵列探测器(例如CCD、CMOS)，单像素探测器可以工作在更宽的光谱范围、非视距、弱光环境等条件下，尤其在成本昂贵的多像素阵列探测器不能工作的情况下(例如远红外、紫外光、X光、太赫兹等)，单像素成像有助于解决非可见光成像的难题，单像素探测器相比多像素阵列探测器还具有更高的量子效率、更低的暗噪声和更短的响应时间等优点，在一些特殊成像领域如生物医学成像或远距离3D成像更具优势。

傅里叶单像素成像是一种基扫描单像素成像技术，即利用傅里叶基底图案进行空间光调制，由单像素探测器进行待测场景的反射光、透射光或者散射光强的探测，将获得的光强信号经过重建算法重建出目标场景图像。相比其他基扫描单像素成像方法，傅里叶单像素成像采样效率更高。而且傅里叶基底图案能够通过两平面波相干产生，使得在那些没有空间光调制器可用的波长范围也能够进行成像。

然而傅里叶单像素成像技术与其他单像素成像技术一样，都面临着成像效率和成像质量相互制衡这一难题。如果想重建一张分辨率高、细节丰富的图像，需要获取更多的测量数据，也就是需要更长的数据获取时间。对于快速成像尤其是动态成像的话，重建一帧图像所用的数据获取时间很长，会导致运动模糊现象。所以，提高傅里叶单像素成像的效率是十分重要的。

发明内容

本发明的目的在于解决现有技术的不足，针对在傅里叶单像素成像领域中成像效率与成像质量相互制衡的难题，提出一种高采样效率的傅里叶单像素成像方法，即对目标物体图像的傅里叶谱进行采样密度变化的稀疏采样，通过对重要性高的傅里叶系数进行高密度采样作为约束，使L1-Magic压缩感知算法可以通过凸优化求解出未被采样的且重要性高的傅里叶系数，并将所节省的测量用于采集重要性较低的傅里叶系数，最终使收集到的空间信息最大化。本发明可以实现以少量的测量次数重建出清晰的物体图像，实现高采样效率的单像素成像该方法，进一步可以应用于动态场景的单像素成像。

本发明的目的通过下述技术方案实现：

1、对目标场景图像的傅里叶谱进行非均匀密度采样，采样密度相对于傅里叶系数的重要性的关系符合函数分布；然后，利用被采样的傅里叶系数进行空间光调制，产生对应的结构光；接着将结构光投射到目标场景，之后再进行结构光探测以及重建算法处理，最终重建出目标场景图像。

2、傅里叶系数的重要性高低取决于系数的幅值，幅值越大则重要性越高，反之亦然。使用大量自然图像进行逆傅里叶变换，将所得到的傅里叶谱全部叠加起来，再根据叠加后的傅里叶系数的幅值从大到小对傅里叶系数进行排列，得到一个重要性降序排列向量，对重要性高的傅里叶系数实施高概率采样，对重要性低的傅里叶系数实施低概率采样。

3、目标场景图像的傅里叶谱通过如下步骤获取得到：

(1)先根据所需成像分辨率的大小A×B，将大量彩色自然图像裁剪成分辨率为A×B的彩色图像，然后将这些彩色图像转换成灰度图像，接着对这些灰度图像进行二维傅里叶变换得到多张傅里叶谱；

(2)将这些傅里叶谱叠加起来得到一张总的傅里叶谱，傅里叶系数个数为A×B，傅里叶系数幅值大的代表其重要性高，傅里叶系数幅值小的代表其重要性低。实值图像的傅里叶谱具有共轭对称性，所以只需要选择对称的其中一块区域，对该区域内的所有傅里叶系数(个数为P，P为正整数)，根据幅值大小进行降序排序，得到一个重要性降序排列向量；

(3)指定采样率，生成一个离散高斯函数

其中，k＝0,1,2,...,P-1，对应各个傅里叶系数在重要性降序排列向量中的位置，g(k)表示第k个傅里叶系数对应的高斯函数值，所以生成的高斯函数的离散点数与重要性降序排列向量的大小一致。σ是标准差，其值取决于采样率η，当采样率小于50％的时候，σ与η存在如下函数关系：

σ＝(2η)²/π

当采样率大于50％的时候，σ与η无明显的函数关系。高斯函数的值域范围为(0,1]；

(4)生成一个与重要性降序排列向量大小一致的随机数向量r(k)，该随机数向量中每个随机数的范围为[0,1]，将该随机数向量与高斯函数进行比较，如果g(k)＞r(k)，那么在重要性降序排列向量中对应的第k个傅里叶系数就会被采样。由此最终得到一个高斯采样路径，该路径中所包含的傅里叶系数个数为M。

4、每个被采样的傅里叶系数都对应一组N张正弦条纹图案，组内的正弦条纹图案具有相同的空间频率(f_x,f_y)但不同的相位

其中，第i张正弦条纹图案的初相位为

利用被采样的傅里叶系数进行空间光调制的过程如下：

利用空间光调制器按照重要性降序排列向量中傅里叶系数的排列顺序以及每组正弦条纹图案的初相位从小到大的顺序来显示所生成的正弦条纹图案，令照明光源的照明光投射于空间光调制器，此时利用空间光调制器对照明光源产生的照明光场进行调制，产生含有正弦条纹图案的结构光。

5、空间光调制器采用N步相移法产生一套大小为A×B像素，空间频率为(f_x,f_y)，初相位为

的正弦条纹图案，其中，第i张正弦条纹图案的初相位为

结构光中的正弦条纹图案的生成过程如下：

根据不同的初相位，利用如下公式生成每个傅里叶系数对应空间频率(f_x,f_y)的多灰度级的正弦条纹图案

然后利用Floyd-Steinberg误差扩散二值化算法对所得正弦条纹图案进行二值化，最终生成的一套正弦条纹图案一共有M×N张图案，坐标x、y完成归一化，坐标取值范围为[0,1]。

6、将结构光投射到目标场景，并生成一束反射光，根据该束光信号，得到对应的M×N个信号幅值：

设场景的x-O-y投影面为I(x,y)，经正弦条纹图案

投射到场景后所得反射光的信号幅值表示为二维图像I与正弦图案P的内积：

记录光电探测器记录x-O-y投影面的对应N步相移正弦条纹图案的N个信号幅值分别为D₁,D₂,...,D_N；

基于M×N个信号幅值，计算出与所用的正弦条纹图案空间频率一致的傅里叶系数，然后使用L1-Magic重建算法重建出场景图像。

7、利用空间光调制技术对目标场景图像的傅里叶谱进行高斯采样，然后采用L1-Magic压缩感知算法对所获得的傅里叶谱进行处理，最终通过数值计算重建出目标场景图像。

本发明相对于现有技术具有如下的优点及效果：

1、在本发明中，傅里叶谱的采样密度相对于傅里叶系数的重要性服从一维高斯函数分布，即对重要性高的傅里叶系数实施高概率采样，对重要性低的傅里叶系数实施低概率采样，有助于显著提高傅里叶单像素成像的采样效率，从而使得本发明的方法在大大减少采样次数的情况下也能保证成像的质量，符合各领域的需求，产业化前景广阔。

2、本发明采用的是对目标物体图像的傅里叶谱进行采样密度变化的稀疏采样，利用自然图像在傅里叶域能量高度集中的特性，通过对重要性高的傅里叶系数进行高概率采样作为约束，使L1-Magic压缩感知算法可以通过凸优化求解出未被采样的且重要性高的傅里叶系数，并将所节省的测量数据用于采集重要性较低的傅里叶系数，也就是说，L1-Magic压缩感知算法在已测量/采样的傅里叶系数作为约束下，可以恢复出那些未被测量/采样的、且重要性高的傅里叶系数，因此可以省下来一些测量次数。而这些节省下来的测量，可以用来测量那些难以被压缩感知算法恢复的、重要性较低的傅里叶系数。最终使采集到的空间信息最大化，从而实现了以少量的测量次数重建出清晰的物体图像，实现高采样效率的单像素成像。本发明所实现的高采样效率特征可使本发明应用于动态场景的单像素成像。另外，与现有的能提高成像效率的傅里叶单像素成像技术比较，例如只采集低频傅里叶系数的方法、符合幂函数的变密度随机采样路径策略等，本发明在相同的采样率下能够重建出更高质量、更小噪声、更多细节的场景图像，即使在很低的采样率之下，本发明也能重建出清晰的图像。

3、本发明将非均匀密度采样策略应用于傅里叶谱，还与刷新频率高的空间光调制器结合使用，有利于实现快速单像素成像。

附图说明

图1为本发明傅里叶单像素成像装置的示意图。

图2为本发明高采样效率的傅里叶单像素成像方法的流程图。

图3为实施例中用于投影的正弦条纹图案的示意图。

图4为实施例中实验所重建的结果示意图。

标号说明：1-控制设备；2-空间光调制器；3-照明光源；4-成像系统；5-场景；6-透镜；7-光电探测器；8-数据采集卡。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图1为本实施例傅里叶单像素成像装置的示意图，装置包括控制设备1、照明模块、待探测场景5以及探测模块。

照明模块具有空间光调制器2、照明光源3、成像系统4。探测模块具有透镜6、光电探测器7和数据采集卡8。

其中，控制设备用于对目标场景图像的傅里叶谱进行非均匀密度采样，得到M个被采样的傅里叶系数。目标场景图像的傅里叶谱可预先生成并存储在控制设备中，采样密度相对于傅里叶系数的重要性的关系可符合一定的函数分布例如一维高斯函数分布。

控制设备连接空间光调制器，用于控制空间光调制器产生一组正弦条纹图案；该组图案包含每个被采样的傅里叶系数所对应的一组正弦条纹图案，且每组包含N张正弦条纹图案。

控制设备连接并控制照明光源，照明光源和空间光调制器设置在照明光源的照明光光路上，照明光源的照明光投射于空间光调制器，空间光调制器用于对照明光源产生的照明光场进行调制，产生含有正弦条纹图案的结构光。

空间光调制器、成像系统、待探测的目标场景5和光电探测器沿着光传播路径依次设置，结构光经过成像系统投射到目标场景，并生成一束反射光。

光电探测器用于获取场景的反射光信号。

数据采集卡连接光电探测器，用于采集光电探测器所得的光信号并输出对应的M×N个信号幅值。

控制设备连接数据采集卡，用于处理M×N个信号幅值以重建出一张目标场景图像。

在本实施例中，空间光调制器可采用数字微镜装置，其显示二值化图案的刷新频率为Q Hz(例如10000Hz)，即每秒可以显示Q(例如10000)张不同的二值化正弦条纹图案，一套M×N张正弦条纹图案投影完并得到对应的信号幅值可以重建出一张特定采样率的场景图像。

控制设备为计算机。照明光源为白光LED。成像系统为投影透镜。光电探测器为硅带放大探测器，型号可为Thorlabs-PDA101A。数据采集卡的型号可为NationalInstruments 6363 USB。

本实施例还公开了一种高采样效率的傅里叶单像素成像方法，所述方法可应用于上述装置，首先是对目标场景图像的傅里叶谱进行非均匀密度采样，采样密度相对于傅里叶系数的重要性的关系符合函数分布，傅里叶系数的重要性高低取决于傅里叶系数系数的幅值，幅值越大则重要性越高，反之亦然；然后，利用被采样的傅里叶系数进行空间光调制，产生对应的结构光；接着将结构光投射到目标场景，之后再进行结构光探测以及重建算法处理，最终重建出目标场景图像。

对于本实施例，傅里叶谱的采样密度相对于傅里叶系数的重要性服从一维高斯函数分布，即对重要性高的傅里叶系数实施高概率采样，对重要性低的傅里叶系数实施低概率采样，如图2所示，方法详细步骤如下：

(1)先根据所需成像分辨率的大小A×B，将大量彩色自然图像裁剪成分辨率为A×B的彩色图像，然后将这些彩色图像转换成灰度图像，接着对这些灰度图像进行二维傅里叶变换得到大量傅里叶谱。

(2)将这些傅里叶谱叠加起来得到一张总的傅里叶谱，傅里叶系数个数为A×B，幅值大的代表其傅里叶系数重要性高，幅值小的代表其傅里叶系数重要性低。

(3)根据叠加后的傅里叶系数的幅值，按照从大到小的顺序对傅里叶系数进行排列，得到一个重要性降序排列向量，对重要性高的傅里叶系数实施高概率采样，对重要性低的傅里叶系数实施低概率采样。

这里，本实施例所需的成像分辨率A×B为256×256，则傅里叶谱叠加后，傅里叶系数个数为256×256。当实值图像行数A与列数B都为偶数的时候，其离散傅里叶谱具有不完全的共轭对称性，实值傅里叶系数个数为4，一半的复值傅里叶系数个数为(A×B)/2-2。所以在本实施例中，共有32770个傅里叶系数需要进行降序排列，最终得到一个大小为32770的重要性降序排列向量。

(4)指定采样率，生成一个离散高斯函数

k＝0,1,2,...,32769，对应各个傅里叶系数在重要性降序排列向量中的位置，g(k)表示第k个傅里叶系数对应的高斯函数值，所以生成的高斯函数的离散点数与重要性降序排列向量的大小一致。σ是标准差，其值取决于采样率η，当采样率小于50％的时候，σ与η存在如下函数关系：

σ＝(2η)²/π,

当采样率大于50％的时候，σ与η无明显的函数关系。高斯函数的值域范围为(0,1]。

(5)生成一个大小与重要性降序排列向量大小一致(即为32770)的随机数向量r(k)，该随机数向量中每个随机数的范围为[0,1]。

将该随机数向量与高斯函数进行比较，如果g(k)＞r(k)，那么在重要性降序排列向量中对应的第k个傅里叶系数就会被采样。这样就得到了一个高斯采样路径，该路径中所包含的傅里叶系数个数为M。本实施例采样率定为10％，因此高斯采样路径共包含傅里叶系数个数为M＝3277。当采样率不同，需要被采集的傅里叶系数也不同，也就是高斯采样路径不同；而尽管采样率相同，需要被采集的傅里叶系数也不一定会相同，可见，采样存在着随机性。

(6)采用N步相移法产生一组大小为A×B像素、空间频率为(f_x,f_y)、初相位为

的正弦条纹图案，其中，第i张正弦条纹图案的初相位为

根据不同的初相位，利用如下公式生成每个傅里叶系数对应空间频率(f_x,f_y)的多灰度级的正弦条纹图案

然后利用Floyd-Steinberg误差扩散二值化算法对所得正弦条纹图案进行二值化，最终一套正弦条纹图案，其中一共有M×N张图案，坐标x、y完成归一化，坐标取值范围为[0,1]。

在本实施例中，控制设备是控制空间光调制器采用3步相移法来生成所需要的全部正弦条纹图案，每个被采样的傅里叶系数都对应一组3张正弦条纹图案，组内的正弦条纹图案具有相同的空间频率(f_x,f_y)但不同的相位

图案原始像素为256×256，为了充分利用空间光调制器的分辨率768×1024，将图案上采样至512×512，然后经过抖动算法最终得到二值化图案。一套正弦条纹图案一共包含M×N＝3277×3＝9831张。

如图3所示，图3中的(a)～(c)图表示的是正弦条纹图案二值化的过程，图3的(d)～(f)表示的是一组3步相移的正弦条纹图案，f_x＝1/256,f_y＝2/256，初相位表示为

其中i＝1,2,3。

当然，本实施例的3步相移法是其中一种方式，在其他实施例中还可替换为其他多步相移法。

(7)利用空间光调制器按照重要性降序排列向量中傅里叶系数的排列顺序以及每组正弦条纹图案的初相位从小到大的顺序来显示所生成的正弦条纹图案，令照明光源的照明光投射于空间光调制器，此时利用空间光调制器对照明光源产生的照明光场进行调制，产生含有正弦条纹图案的结构光。

(8)结构光经过成像系统投射到场景，并生成一束反射光，由光电探测器探测并接收，所得光信号由数据采集卡采集并得到对应的M×N＝9831个信号幅值，然后传输给控制设备。

(9)由控制设备处理接收到的M×N个信号，计算出与所用的正弦条纹图案空间频率一致的傅里叶系数，然后使用L1-Magic重建算法重建出场景图像。

其中，数据采集卡根据光信号得到信号幅值，具体为：

设场景的x-O-y投影面为I(x,y)，经正弦条纹图案

投射到场景后所得反射光的信号幅值表示为二维图像I与正弦图案P的内积：

利用光电探测器记录x-O-y投影面的对应N步相移正弦条纹图案的N个信号幅值分别为D₁,D₂,...,D_N。

本实施例是对应3步相移正弦条纹图案的3个信号幅值分别为D₁,D₂,D₃。

然后利用下式

便得到空间频率为f_x,f_y的傅里叶系数的大小

j代表的是虚部。得到了欠采样的傅里叶谱之后，便可以经过L1-Magic重建算法重建出场景图像。由于本实施例正弦条纹图案原始像素为256×256，因此，重建的场景图像像素数相应的为256×256。

本实施例还以一对瓷娃娃加上一块分辨率板当背景作为场景，通过本实施例方法重建出场景图像，如图4中的(a)图是采样率为10％所重建的场景图像，其分辨率大小为256×256，测量次数为9831，图4中的(b)图是采样率为100％所重建的场景图像。图4中的(a)图和4(b)图均可以看出图中的瓷娃娃及分辨率板，当采样率为100％，可以很清楚地看到图中瓷娃娃及分辨率板的细节，可见，本实施例重建的场景图像是可以重建出清晰、高质量的物体图像的。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种高采样效率的傅里叶单像素成像方法，其特征在于，首先，对目标场景图像的傅里叶谱进行非均匀密度采样，采样密度相对于傅里叶系数的重要性的关系符合函数分布；然后，利用被采样的傅里叶系数进行空间光调制，产生对应的结构光；接着将结构光投射到目标场景，之后再进行结构光探测以及重建算法处理，最终重建出目标场景图像；

对目标场景图像的傅里叶谱进行非均匀密度采样的过程如下：

(1)先根据所需成像分辨率的大小A×B，将多张彩色自然图像裁剪成分辨率为A×B的彩色图像，然后将这些彩色图像转换成灰度图像，接着对这些灰度图像进行二维傅里叶变换得到多张傅里叶谱；

(2)将这些傅里叶谱叠加起来得到一张总的傅里叶谱，傅里叶系数个数为A×B，傅里叶系数幅值大的代表其重要性高，傅里叶系数幅值小的代表其重要性低；实值图像的傅里叶谱具有共轭对称性，所以只需要选择对称的其中一块区域，该区域内有P个傅里叶系数，对该区域内的所有傅里叶系数按照傅里叶系数幅值大小进行降序排序，从而得到一个重要性降序排列向量，便于之后对重要性高的傅里叶系数实施高概率采样，对重要性低的傅里叶系数实施低概率采样；

(3)指定采样率，生成一个离散高斯函数：

其中，k＝0,1,2,...,P-1，对应各个傅里叶系数在重要性降序排列向量中的位置；g(k)表示第k个傅里叶系数对应的高斯函数值，所以生成的高斯函数的离散点数与重要性降序排列向量的大小一致；σ是标准差，其值取决于采样率η，当采样率小于50％的时候，σ与η存在如下函数关系：

σ＝(2η)²/π；

高斯函数的值域范围为(0,1]；

(4)生成一个与重要性降序排列向量大小一致的随机数向量r(k)，该随机数向量中每个随机数的范围为[0,1]，将该随机数向量与高斯函数进行比较，如果g(k)＞r(k)，那么在重要性降序排列向量中对应的第k个傅里叶系数就会被采样，由此最终得到一个高斯采样路径，该路径中所包含的傅里叶系数个数为M。

2.根据权利要求1所述的傅里叶单像素成像方法，其特征在于，傅里叶谱的采样密度相对于傅里叶系数的重要性服从一维高斯函数分布，即对重要性高的傅里叶系数实施高概率采样，对重要性低的傅里叶系数实施低概率采样。

3.根据权利要求1所述的傅里叶单像素成像方法，其特征在于，傅里叶系数的重要性高低取决于傅里叶系数的幅值，幅值越大则重要性越高，幅值越小则重要性越低。

4.根据权利要求1所述的傅里叶单像素成像方法，其特征在于，每个被采样的傅里叶系数都对应一组N张正弦条纹图案，组内的正弦条纹图案具有相同的空间频率(f_x,f_y)但不同的相位

其中，第i张正弦条纹图案的初相位为

利用被采样的傅里叶系数进行空间光调制的过程如下：

利用空间光调制器按照重要性降序排列向量中傅里叶系数的排列顺序以及每组正弦条纹图案的初相位从小到大的顺序来显示所生成的正弦条纹图案，令照明光源的照明光投射于空间光调制器，此时利用空间光调制器对照明光源产生的照明光场进行调制，产生含有正弦条纹图案的结构光。

5.根据权利要求4所述的傅里叶单像素成像方法，其特征在于，空间光调制器采用N步相移法产生一套大小为A×B像素，空间频率为(f_x,f_y)，初相位为

的正弦条纹图案，其中，第i张正弦条纹图案的初相位为

i＝1,2,...,N，N≥3；

结构光中的正弦条纹图案的生成过程如下：

根据不同的初相位，利用如下公式生成每个傅里叶系数对应空间频率(f_x,f_y)的多灰度级的正弦条纹图案

然后利用Floyd-Steinberg误差扩散二值化算法对所得正弦条纹图案进行二值化，最终生成的一套正弦条纹图案，一共有M×N张图案，坐标x、y完成归一化，坐标取值范围为[0,1]。

6.根据权利要求5所述的傅里叶单像素成像方法，其特征在于，将结构光投射到目标场景，并生成一束反射光，根据该束光信号，得到对应的M×N个信号幅值：

设场景的x-O-y投影面为I(x,y)，经正弦条纹图案

投射到场景后所得反射光的信号幅值表示为二维图像I与正弦图案P的内积：

记录光电探测器记录x-O-y投影面的对应N步相移正弦条纹图案的N个信号幅值分别为D₁,D₂,...,D_N；

基于M×N个信号幅值，计算出与所用的正弦条纹图案空间频率一致的傅里叶系数，然后使用L1-Magic重建算法重建出场景图像。

7.根据权利要求1所述的高采样效率的傅里叶单像素成像方法，其特征在于，利用空间光调制技术对目标场景图像的傅里叶谱进行高斯采样，然后采用L1-Magic压缩感知算法对所获得的傅里叶谱进行处理，最终通过数值计算重建出目标场景图像。

Images