CN110319790A - 一种基于彩色散斑场的全彩色计算鬼成像方法 - Google Patents

Abstract

本发明公开了一种基于彩色散斑场的全彩色计算鬼成像方法，使用投影仪连续向待成像物体投射不同的经过编码的彩色散斑图案，采用单像素探测器连续采集待成像物体的反射光信号，然后恢复待成像物体的彩色信息，可以实现高质量的全彩色计算鬼成像；此外，采用Hadamard矩阵均分成三个子矩阵；并分别进行颜色编码，最后堆叠形成三幅双色散斑图案的方式，可以在保证高质量成像的基础上，大大降低计算时间。

Description

一种基于彩色散斑场的全彩色计算鬼成像方法

技术领域

本发明属于鬼成像技术领域，具体涉及一种基于彩色散斑场的全彩色计算鬼成像方法。

背景技术

鬼成像(GI)，也被称为对应成像，是一种成像技术，在过去几十年中越来越流行。与传统鬼成像相比，GI是一种对应成像方法，它利用两束光束在没有空间分辨率光电探测器的情况下对物体进行成像。GI系统有两个相关的光束：一个是信号光束，在照亮物体后由桶形光电探测器测量；另一个是参考光束，它不穿过物体，直接由电荷耦合器件(CCD)测量。

GI是一种通过光电流相干测量获取目标信息的方法。它的第一个演示使用了双光子源；因此，由于源光子的纠缠，图像被解释为量子现象。后来的实验和理论工作表明，利用旋转毛玻璃产生的伪热光可以进行GI。然而，伪热光可以看作是经典的电磁波，可以用量子描述来处理双光子的光探测统计数据。

最近，研究人员提出了许多对鬼成像的扩展。为了简化光学系统，大大缩短成像时间，提出了计算GI，例如迭代GI、差分GI、标准化GI和压缩GI等。

为了在特定情况下对未知场景进行全面采样，许多研究人员采用了不同的光源。使用此策略，图像将从一组连续测量中重构，并且使用不同的探测器可以在多种情况下成像，这些情况对于多像素图像传感器来说是具有挑战性或不可能的。例如，在波长上成像，如红外、太赫兹和X射线以及原子成像。

以前的方法是用来重建灰度图像的；但是，现在正在考虑彩色GI的可能性。此外，由于 GI是由两个光束的强度交叉相关产生的，因此使用实时伪彩色编码技术比使用相同技术的经典光学成像更好地克服了光干扰的影响。一些经典的光学相干理论表明，具有伪热光源的双色GI可以获得高质量的恢复图像。此外，一些实验还研究了颜色GI，发现在编码方案中，使用热源或轨道角动量GI可以获得单色和彩色鬼图像。彩色物体的成功成像进一步扩展了 GI技术的应用：传统的伪彩色编码成像技术只有在使用多波长光源(包含多种颜色的光源) 的情况下才能获得失真的彩色图像。后来的实验表明，使用旋转磨砂玻璃板和计算GI获得的 GI颜色与光源的颜色相同。这种伪彩色成像方案称为基于空间光调制的伪彩色重影编码成像。与其他方法相比，该方法可以在不改变光源和空间滤波器的情况下获得不同颜色的图像。该成像方案也明显适用于其他伪彩色编码成像技术，例如等密度伪彩色编码。但是一般来说，这几种恢复彩色物体或单像素图像的鬼成像需要三个光谱过滤单像素光电探测器进行采集。

发明内容

有鉴于此，本发明的目的是提供一种基于彩色散斑场的全彩色计算鬼成像方法，可以提高成像质量。

一种全彩色计算鬼成像方法，使用投影仪连续向待成像物体投射不同的经过编码的彩色散斑图案，采用单像素探测器连续采集待成像物体的反射光信号，然后恢复待成像物体的彩色信息，实现全彩色计算鬼成像；其中，所述彩色散斑图案由三幅双色散斑图案叠加而成；三幅双色散斑图案分别为红色和黑色像素点组合，绿色和黑色像素点组合以及蓝色和黑色像素点组合而成。

较佳的，三幅双色散斑图案中两种颜色的分布方式服从均匀随机分布。

较佳的，所述恢复待成像物体的彩色信息的方法为：

设投影仪投射的彩色散斑图案的数量为N幅，则三种双色散斑图案各自的数量也均为N 幅，各自的序列表示为(S_1r，S_2r…S_ir…S_Nr)，(S_1g，S_2g…S_ig…S_Ng)，(S_1b，S_2b…S_ib…S_Nb)；将每种双色散斑图案序列排列成为新的矩阵S_r(M×N)，S_g(M×N)，S_b(M×N)；其中，M＝m×n×3；m×n表示彩色散斑图案的大小；

投影仪每次投影一幅彩色散斑图案，单像素探测器对应接收一个光强信号，则接收的N 个光强值(b₁，b₂…b_i…b_N)，写成光强序列B(1×N)；

将待成像物体对彩色散斑图案中各像素点上红、绿或蓝色波段的反射率采用三个矩阵表示，分别为O_r(m×n)、O_g(m×n)和O_b(m×n)；

则成像方程表示为：

B＝OS；

其中，S＝(S_r S_g S_b)，O＝(O_r O_g O_b)

通过求解成像方程，得到待成像物体的彩色信息。

较佳的，求解成像方程的具体方法为：

O＝(B-<B>)S^T。

较佳的，求解成像方程的具体方法为：

O＝(B-<B>)(S^T)^-1。

较佳的，投影仪每次播放双色散斑图案时，将双色散斑图案的矩阵除以像素探测器对各自波段光的响应程度值k_r，k_g，k_b。

较佳的，确定单像素探测器对红绿蓝三个不同波长光的响应程度的方法为：通过播放红绿蓝三个颜色的图样来进行标定，得出三者响应程度的相对值。

较佳的，所述三幅双色散斑图案的获取方法为：建立a×b个大小为a×b的且互相正交的Hadamard矩阵；针对每一个Hadamard矩阵，将其均分成三个子矩阵；将其中一个子矩阵中数值为1的位置置为红色，数值为-1的位置置为黑色；其中一个子矩阵中数值为1的位置置为绿色，数值为-1的位置置为黑色；最后一个子矩阵中数值为1的位置置为蓝色，数值为 -1的位置置为黑色；将三个矩阵重新堆叠，得到与待成像目标物尺寸匹配的矩阵，投影得到三幅双色散斑图案。

较佳的，投影仪每次投影一幅彩色散斑图案，单像素探测器对应接收一个光强信号，则接收的a×b个光强值，写成光强序列B；则恢复得到的待成像物体的彩色信息为：O＝BH；H 表示播放的a×b个Hadamard矩阵的堆叠矩阵；其中，a和b最小取值为2。

较佳的，将Hadamard矩阵进行均分的方法为：将Hadamard矩阵展开成行向量，舍弃该行向量整除3后余下的元素，得到3个子矩阵。

本发明具有如下有益效果：

本发明的一种基于彩色散斑场的全彩色计算鬼成像方法，使用投影仪连续向待成像物体投射不同的经过编码的彩色散斑图案，采用单像素探测器连续采集待成像物体的反射光信号，然后恢复待成像物体的彩色信息，可以实现高质量的全彩色计算鬼成像；此外，采用Hadamard 矩阵均分成三个子矩阵；并分别进行颜色编码，最后堆叠形成三幅双色散斑图案的方式，可以在保证高质量成像的基础上，大大降低计算时间。

附图说明

图1为本发明的均匀分布的多色斑点图案；

图2为本发明采用的基于hadamard的彩色散斑图案；

图3为模拟中使用的目标物；

图4为本发明实施例中的待成像物体图像；

图5(a)为MS-TGI方法重建的图像，图5(b)为MS-PGI方法重建的图像，图5(c) 为MS-HIS方法重建的图像。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

相比于普通的黑白二值化散斑场或灰度级散斑场，本发明使用投影仪连续向待成像物体投射不同的经过编码的彩色散斑图案，采用单像素探测器连续采集成像物体的反射光信号，然后恢复成像物体的彩色信息，实现全彩色计算鬼成像；其中，所述彩色散斑图案由三幅单色散斑图案(此处认为黑色的值为零)叠加而成；三幅单色散斑图案分别为红色和黑色像素点组合，绿色和黑色像素点组合以及蓝色和黑色像素点组合而成，如图1所示；为了保证色彩不失真，每幅单色色散斑图案中非黑比例应该相同。

本发明的成像原理如下：对彩色物体而言，可以用矩阵(m×n×3)来表示该物体对红绿蓝三个特定波段的反射率，其中用O_r(m×n)、O_g(m×n)和O_b(m×n)分别表示彩色物体对三个波段反射率的矩阵。为了方便数学运算，把上述三个矩阵分别展开为行向量并合成一个新的行向量O(1×M)，其中M＝m×n×3；

0＝[O_r O_g O_b] (1)

对彩色散斑场而言，投影播放N个大小为m×n的彩色散斑序列S₁，S₂…S_i…S_N(1≤i≤N)，每个散斑S_i都可以看作由S_ir(m×n)，S_ig(m×n)，S_ib(m×n)三个通道组成，将每组单色散斑序列 (S_1r，S_2r…S_ir…S_Nr)，(S_1g，S_2g…S_ig…S_Ng)，(S_1b，S_2b…S_ib…S_Nb)依次展开排列为三个新的矩阵 S_r(M×N)，S_g(M×N)，S_b(M×N)。当彩色散斑序列S_i投射到物体上时，由单像素探测器采集N个光强值(b₁，b₂…b_i…b_N)，即得到光强序列B(1×N)。

B＝k_rO_rS_r+k_gO_gS_g+k_bO_bS_b (2)

其中k_r，k_g，k_b为实常数，表示单像素探测器对红绿蓝三个不同波长光的响应程度的相对值。可以通过播放红绿蓝三个颜色的图样来进行标定，得出三者响应程度的相对值，并在播放散斑序列时播放S_r′，S_g′，S_b′来消除它们的加权影响，其中：

将(3)，(4)，(5)代入(2)式即有：

类似于(1)式，可令：

即有：

B＝OS (8)

而传统鬼成像(TGI)的恢复算法可以表示为：

这里<B>为光强序列的算术平均，即由于本发明所提出的第一类散斑序列是服从均匀随机分布的，其中各个散斑场的稀疏度s为定值，即所有的散斑序列的光强和为定值，换言之，的值为常数，所以差分鬼成像(DGI)、归一化鬼成像(NGI)与传统鬼成像(TGI)的效果相当。

然后，将(8)式代入(9)可得：

由于<B>为常数，可以近似认为：

由(11)式可以明确看出，当满足SS^T＝nE(n为常数，E为单位阵)时，即S为正交矩阵时，此时在理想条件下可以完美恢复出原始物体的像，故决定这种成像质量的关键因素在于S的正交性上，所以通过某些方式提高S的正交性可以提高其信噪比。而近年来提出的伪逆鬼成像(PGI)可由下式表示：

即将原始的S^T由它的伪逆替代，相比于原始算法可以优化它的正交性，事实上当采样率达到100％且S^T为非奇异矩阵时，可以直接求逆，理想条件下是可以完美恢复出图像的。但是该方法普遍存在的问题是求伪逆(或在非奇异方阵时求逆)的过程中运算量大且耗时长。但是在实用中往往可以事先求得该系统的伪逆作为已知参数，剩余的运算量只有一个简单的矩阵乘法而已，理论上的运算量和耗时与传统的鬼成像相当。

因此，本发明提出使用Hadamard矩阵作为测量矩阵，Hadamard矩阵是只由-1或1组成的天然的正交矩阵；但是原始Hadamard矩阵只能应用到黑白物体成像上，且对目标物尺寸大小有相应的限制；因此，本发明将Hadamard矩阵均分成三个子矩阵，如图2所示，将其中一个子矩阵中数值为1的位置置为红色，数值为-1的位置置为黑色；其中一个子矩阵中数值为 1的位置置为绿色，数值为-1的位置置为黑色；最后一个子矩阵中数值为1的位置置为蓝色，数值为-1的位置置为黑色；将三个矩阵重新堆叠，得到与待成像目标物尺寸匹配的矩阵，投影得到三幅双色散斑图案，再由三幅单色散斑图案合成一幅彩色散斑图案。

通过建立a×b个大小为a×b的且互相正交的Hadamard矩阵，则投影仪投影a×b个彩色散斑图案，其中，a×b的值越大，恢复图像的分辨率越高，因此a和b的值根据实际需求确定；a和b最小取值均为2。

每次投影，单像素探测器对应接收一个光强信号，则接收的a×b个光强值，写成光强序列B；则恢复得到的待成像物体的彩色信息为：

这种算法与(9)式类似，只是用H替换S；H表示播放的a×b个Hadamard矩阵的堆叠矩阵。

需要说明的是，由于Hadamard矩阵必须是方阵且阶数必须是2的幂，如果是128×128的 Hadamard矩阵，则不能均分为3份，但可以将其分开成70×78×3个像素，余4个像素；虽然不能被平均分开，但是本发明只用保证过采样，即前者的像素个数大于分开后的像素个数，就能完美恢复。事实上使用上述划分方式只多采样了4个像素点，对于计算机或者采集者而言是可以忽略的。然后70×78×3个像素值自然的合成出一张彩色散斑场，并记录两者一一对应的线性映射关系，在最后恢复图像时利用映射关系参数进行计算，就能恢复出图像。

另外，本方法也需要进行颜色校正，与(3)至(5)式类似，同时对于Hadamard矩阵中的-1值的物理意义可以通过作差的方式来实现。

本发明先进行计算机仿真，模拟了在使用彩色散斑场的前提下，上述三种算法的成像质量、耗时以及稀疏度对成像质量的影响。如图3所示，在计算机仿真中，本发明选取一个彩色的大小为70×78×3的CNU三个字母图案为成像目标。对于成像质量，这里使用峰值信噪比 (PSNR)作为评价指标，即：

这里MAX_o＝255，代表其为8bit图像，而选用RGB三个通道的峰值信噪比的算术平均来对彩色图像进行评价，一般来说，峰值信噪比的值越大，成像质量越好。

本发明分别绘制了各种算法的成像质量和成像时间随采样率变化的曲线。这里MS-HSI的欠采样机制与前两种不同，故主要比较了MS-TGI与MS-PGI两种算法。

将多色散斑图案数除以像素数，计算出采样率；“inf”表示完全恢复。“t(MS-PGI)”包括找到伪逆矩阵并乘以矩阵所需的时间。然而，t(MS-PGI 1)不包括寻找伪逆的时间。在成像质量上，随着采样率的增加，MS-PGI的信噪比要远高于MS-TGI，并且在理想条件下，采样率为100％时，MS-PGI可以完美恢复；在成像时间上，MS-TGI远小于MS-PGI的时间，但是当提前求出S的伪逆后，在算法上的时间是与MS-TGI相当的。所以，在实际情况下，这种策略具有很强的可行性。

另外，本发明研究了稀疏度s与成像质量的关系，Hadamard矩阵的稀疏度是一个定值。如图5(a)所示。可以清楚地看出，在两种成像方式下，稀疏度越小对信噪比的贡献越高。对于这种现象本发明可以认为是稀疏度s与矩阵S的正交性有积极的内在联系，即s越小，S的正交性越好(从图中可以看出曲线的波动性较大，这是因为这一种彩色散斑是服从随机均匀分布的，它的成像质量同时受它自身正交性的影响。由于无法控制随机分布散斑场的正交性，所以必然存在较大的波动性)。由(11)式，将不同稀疏度的SS^T绘制出图像如图5(b)和(c)所示，可以明显看出s越小，SS^T的背景噪声越小，即越接近单位阵，这意味着可以人为的调控稀疏度s来改善MS-TGI和MS-PGI的成像质量。但是稀疏度s的升高意味着光强的幅值将大幅降低，对探测器的各项要求(灵敏度、信噪比)则随之增加，所以需要在事先了解到探测器的各项指标的基础上来调控最适合的稀疏度s，进而优化成像质量。

本实施例中，由投影仪先后播放两组散斑序列(一组是均匀分布的散斑场，稀疏度s＝0.2，另一组由Hadamard矩阵线性映射而得到的散斑场，两组散斑序列尺寸均为70×79，数目均为 70×79×3，即可认为采样率sr＝1)，通过偏振片后投射到目标物上(如图4)，再经过会聚透镜与偏振片后由单点探测器进行快速采集。其中两个偏振片处于消光状态，其作用是尽可能消除直接反射的光。

最后对使用均匀分布的彩色散斑场所采集的光强序列通过MS-TGI与MS-PGI两种算法进行处理，对使用Hadamard彩色散斑场所采集的光强序列通过MS-HIS算法处理，得到的实验结果如图5所示。与仿真情况大致相符。在相同的采样率下，MS-PGI与MS-HIS的成像质量要远高于MS-TGI，同时MS-PGI的背景噪声更小，但是MS-HSI在细节的处理上优于MS-PGI。在采集时间上三者相当，在算法时间上MS-TGI与MS-HSI相当，而MS-PGI要花费大量时间去求伪逆。但是，当能实现精细调控彩色散斑场时，完全可以在成像前就计算出其对应的伪逆矩阵，这样，它所耗费的时间也与MS-TGI或MS-PGI相当。由于本发明直接使用投影仪来播放散斑序列，这导致了播放速度限制在60帧每秒，同时也限制了它的采集时间。在后续的研究中本发明将寻找更快的精细调制多波长光源的方案。然而，使用旋转磨砂玻璃控制多波段光源时，MS-TGI和MS-PGI通常具有较高的损伤阈值。本发明更直观地展示了表1中三种方法的优缺点，其中本发明使用“A”、“B”和“C”对每个特征进行评级。因此，可以根据需要灵活选择这三个程序。

表1.三种方法的比较

总的来说，本发明使用基于彩色散斑场成功地实现了对彩色物体的单个单点探测器的恢复成像，并对彩色物体的鬼成像的成像策略进行了实验并优化，为实时的彩色鬼成像或单像素成像的实际运用打下了基础。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全彩色计算鬼成像方法，其特征在于，使用投影仪连续向待成像物体投射不同的彩色散斑图案，采用单像素探测器连续采集待成像物体的反射光信号，然后恢复待成像物体的彩色信息，实现全彩色计算鬼成像；其中，所述彩色散斑图案由三幅双色散斑图案叠加而成；三幅双色散斑图案分别为红色和黑色像素点组合，绿色和黑色像素点组合以及蓝色和黑色像素点组合而成。

2.如权利要求1所述的一种全彩色计算鬼成像方法，其特征在于，三幅双色散斑图案中两种颜色的分布方式服从均匀随机分布。

3.如权利要求2所述的一种计算鬼成像方法，其特征在于，所述恢复待成像物体的彩色信息的方法为：

设投影仪投射的彩色散斑图案的数量为N幅，则三种双色散斑图案各自的数量也均为N幅，各自的序列表示为(S_1r，S_2r…S_ir…S_Nr)，(S_1g，S_2g…S_ig…S_Ng)，(S_1b，S_2b…S_ib…S_Nb)；将每种双色散斑图案序列排列成为新的矩阵S_r(M×N)，S_g(M×N)，S_b(M×N)；其中，M＝m×n×3；m×n表示彩色散斑图案的大小；

投影仪每次投影一幅彩色散斑图案，单像素探测器对应接收一个光强信号，则接收的N个光强值(b₁，b₂…b_i…b_N)，写成光强序列B(1×N)；

将待成像物体对彩色散斑图案中各像素点上红、绿或蓝色波段的反射率采用三个矩阵表示，分别为O_r(m×n)、O_g(m×n)和O_b(m×n)；

则成像方程表示为：

B＝OS；

其中，S＝(S_r S_g S_b)，O＝(O_r O_g O_b)

通过求解成像方程，得到待成像物体的彩色信息。

4.如权利要求3所述的一种全彩色计算鬼成像方法，其特征在于，求解成像方程的具体方法为：

O＝(B-<B>)S^T。

5.如权利要求3所述的一种全彩色计算鬼成像方法，其特征在于，求解成像方程的具体方法为：

O-(B-<B>)(S^T)^-1。

6.如权利要求4或5所述的一种全彩色计算鬼成像方法，其特征在于，投影仪每次播放双色散斑图案时，将双色散斑图案的矩阵除以像素探测器对各自波段光的响应程度值k_r，k_g，k_b。

7.如权利要求3所述的一种全彩色计算鬼成像方法，其特征在于：确定单像素探测器对红绿蓝三个不同波长光的响应程度的方法为：通过播放红绿蓝三个颜色的图样来进行标定，得出三者响应程度的相对值。

8.如权利要求1所述的一种全彩色计算鬼成像方法，其特征在于，所述三幅双色散斑图案的获取方法为：建立a×b个大小为a×b的且互相正交的Hadamard矩阵；针对每一个Hadamard矩阵，将其均分成三个子矩阵；将其中一个子矩阵中数值为1的位置置为红色，数值为-1的位置置为黑色；其中一个子矩阵中数值为1的位置置为绿色，数值为-1的位置置为黑色；最后一个子矩阵中数值为1的位置置为蓝色，数值为-1的位置置为黑色；将三个矩阵重新堆叠，得到与待成像目标物尺寸匹配的矩阵，投影得到三幅双色散斑图案；其中，a和b均至少取2。

9.如权利要求8所述的一种全彩色计算鬼成像方法，其特征在于，投影仪每次投影一幅彩色散斑图案，单像素探测器对应接收一个光强信号，则接收的a×b个光强值，写成光强序列B；则恢复得到的待成像物体的彩色信息为：O＝BH；H表示播放的a×b个Hadamard矩阵的堆叠矩阵；其中，a和b最小取值为2。

10.如权利要求8所述的一种全彩色计算鬼成像方法，其特征在于，将Hadamard矩阵进行均分的方法为：将Hadamard矩阵展开成行向量，舍弃该行向量整除3后余下的元素，得到3个子矩阵。