CN111833248B - 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统 - Google Patents

Abstract

本发明公开了一种基于部分哈达玛矩阵的超分辨率鬼成像方法及系统，针对原有鬼成像系统数据采集量大的弊端，利用部分哈达玛矩阵代替原有计算鬼成像系统的随机光斑，并在该系统中加入超分辨率处理环节。该系统由于在采集时做了测量方法优化，所以对于一般物体而言所需数据采集量与储存量较小，在初步成像时计算量较小且成像时间短。在采用合适的超分辨率处理方法处理后，对于初步结果可以快速处理得到清晰图像。该方法可用于水下，遥感等多个传统成像方式成像效果差的复杂场景。

Description

基于部分哈达玛矩阵的超分辨率鬼成像方法及系统

技术领域

本发明属于成像探测图像识别领域，具体涉及一种基于部分哈达玛测量超分辨率计算鬼成像方法及系统。

背景技术

鬼成像的原理是利用光场的二阶相关性得到成像场景或物体，因此需要进行多次测量。之前的方法都是对投射随机光斑产生的光强信息进行成像，但是由于随机光斑之间的相关性较强，需要大量测量才能得到一个较好结果。

目前，在鬼成像技术中，压缩感知被广泛应用。由于直接用压缩感知算法计算量大、成像时间长等缺点，近年来利用压缩感知与深度学习结合进行鬼成像的方法已经出现，此方法首先利用压缩感知算法进行欠采样成像，极大减少了计算时间，再结合深度学习网络便可将成像效果提高。但此方法在进行光强信息采集时仍应用随机方式欠采样采集，信息重合的可能性较高，采样效率较低，存在冗余信息，采样率调高又使成像时间极大提高，所以成像效果并不理想。

发明内容

本发明的目的在于提供一种基于部分哈达玛测量超分辨率计算鬼成像方法及系统，不仅减少了测量次数，提高了成像速率与质量，还降低了鬼成像装置的复杂程度，降低了成像系统的成本。本发明基于将随机光斑改为合适的测量矩阵，然后计算鬼成像之后进行超分辨率处理以提高成像效果，降低了测量数和计算量。

为此，本发明采取如下技术手段：

一种基于对抗网络的超分模型构建方法，包括以下步骤：

步骤1：对任意已知高分辨率图像集进行增强处理；

步骤2：对步骤1增强处理后得到的图像集进行不同倍率的下采样得到下采样图像集；

所述下采样图像集为与增强处理后得到的图像集中的图像一一对应的下采样图像；

步骤3：对步骤2得到下采样图像集进行模糊核噪声处理；

步骤4：将步骤1得到的增强处理后得到的图像集与步骤3得到的模糊核噪声处理后的下采样图像集组成图像对，即训练数据为含噪高低分辨率图像对，作为对抗网络生成模型的输入，进行训练直至收敛，得到基于对抗网络的超分模型。

进一步，所述增强处理包括旋转增强以及翻转增强。

进一步，所述模糊核噪声包括散焦模糊、运动模糊或高斯噪声中一种或多种。

进一步，对模型进行训练包括：该模型包括残差块和两层亚像素卷积层，输入数据先经过残差块的特征提取，再由两层亚像素卷积层进行放大处理，最后经过一层核大小为1×1的卷积，重建出4倍超分辨率图像。

本发明还提供一种基于对抗网络的超分模型，该模型采用上述构建方法进行构建，该模型的输入对象为待处理的低分辨率图像，输出对象为高分辨率图像。

本发明还提供一种基于部分哈达玛矩阵的超分辨率鬼成像方法，包括如下步骤：

步骤(1)：从N×N大小的部分哈达玛矩阵中随机选取M行，形成M个

大小的测量矩阵，M、N均为自然数且M≤N；

步骤(2)：将M个测量矩阵进行空间光调，产生对应分布的光斑投射到待成像物体上采集光强信息，得到M个光强信息；

步骤(3)：将M个光强信息与N×N大小的部分哈达玛矩阵进行计算鬼成像关联计算得到低分辨率图像；

步骤(4)：将步骤(3)中的低分辨率图像输入到上所述的超分模型中，得到待成像物体的高分辨率图像。

最后，本发明提出一种基于部分哈达玛矩阵的超分辨率鬼成像系统，用于实现上述的一种基于部分哈达玛矩阵的超分辨率鬼成像方法，包括计算机、空间光调制器、单像素探测器和数据采集模块；

所述计算机包括上述超分模型，用于对部分哈达玛矩阵进行存储并产生测量矩阵、以及计算鬼成像关联计算与超分辨率处理；

所述空间光调制器对上述测量矩阵进行处理，产生对应分布的光斑投射到待成像物体上被单像素探测器检测；

所述数据采集模块采集单像素探测器检测到的光强信息，上传至计算机计算鬼成像关联计算得到低分辨率图像；

将上述低分辨率图像输入到计算机中的超分模型中进行超分辨率处理，得到待成像物体的高分辨率图像。

本发明与现有技术相比，具有以下优点：

1、本发明首先提出一种超分模型，在进行计算鬼成像后可针对不同场景的含噪图片灵活采用超分模型实现成像效果进一步的提高，使得图像恢复更加自然，符合人类视觉特点。

2、本发明的鬼成像方法，用压缩感知测量矩阵代替随机投射散斑，所选矩阵满足有限等距(RIP)性质，RIP性质保证了感知矩阵不会把两个不同的K稀疏信号映射到同一个集合中，保证了原空间到稀疏空间的一一映射关系。使用部分哈达玛测量矩阵测量次数减少，从而降低了数据储存量与计算复杂度，使得成像时间变短，对采集图像设备与成像硬件设备要求较低。一般情况下，在分辨率达到32×32时，部分哈达玛的效果已经较为理想，此时测量次数仅为1024次。

3、本发明的鬼成像系统，在电脑上产生一个部分哈达玛测量矩阵后可直接存储并实现对空间光调制器的控制，而无需多次生成矩阵，省去每次生成后存储矩阵的时间。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于部分哈达玛矩阵的超分辨率计算鬼成像装置的示意图。

图2是基于部分哈达玛矩阵的超分辨率计算鬼成像的流程图。

图3(a)、图3(b)和图3(c)是用于验证本发明的标准图像。

图4(a)、图4(b)和图4(c)是本发明基于部分哈达玛矩阵的所得到的初步成像结果。

图5(a)、图5(b)和图5(c)是本发明基于部分哈达玛矩阵的超分辨率计算鬼成像装置所得到的成像结果。

图6是传统方法采用随机散斑投射在32×32分辨率的测量下的计算鬼成像效果。

具体实施方式

本发明所述生成对抗网络模型，是现有模型，包括生成器和判别器，将本申请的高低分辨率图像对作为输入，具体是指低分辨率图像作为生成器的输入，以对应的高分辨率图像作为判别器(类似标签的作用)，输出的是一个概率值，以此概率值对生成对抗网络模型进行训练直至收敛，最终得到超分模型。

哈达玛矩阵是由+1和-1元素构成的正交方阵。形式如下：

在原有哈达玛矩阵上增加其随机性可得到部分哈达玛矩阵。具体构造方法为：首先生成一个N×N大小的哈达玛矩阵，然后随机的从中选取M行向量，构成一个大小为M×N的测量矩阵。由于哈达玛矩阵是正交矩阵，从中选取M行之后得到的

大小的部分哈达玛矩阵还是具有较强的非相关性和部分正交性，所以与其他确定性测量矩阵相比，该矩阵精确重建所需要的测量数较少，也就是说在同一的测量数量下，部分哈达玛矩阵的重建效果比较好。

本发明所述的鬼成像关联计算，为现有的方法。本发明对此不做限定。

实施例1：

本实施例提出一种超分模型的构建方法，具体步骤如下：

步骤1：对任意已知高分辨率图像集进行增强处理，以扩充图像集；

步骤2：对步骤1增强处理后得到的图像集进行不同倍率的下采样得到下采样图像集，即低分辨率图像集；

所述下采样图像集为与增强处理后得到的图像集中的图像一一对应的下采样图像；

步骤3：对步骤2得到下采样图像集进行模糊核噪声处理，得到含噪低分辨率图像集；考虑鬼成像实验过程会有噪声干扰，所以加入模糊核噪声(散焦模糊、运动模糊、高斯噪声)来生成低分辨率图像；

步骤4：将步骤1得到的增强处理后得到的图像集与步骤3得到的模糊核噪声处理后的下采样图像集组成图像对，即模型的训练输入对象为含噪高低分辨率图像对，作为对抗网络生成模型的输入，进行训练直至收敛，得到基于对抗网络的超分模型，输出高分辨率图像。

步骤4中的对抗网络生成模型，是现有模型，本发明是对该模型的输入量进行了改进。以下仅做简单介绍：该模型主要由残差块和亚像素卷积层组成，包括卷积、ReLU激活层，其中中间层为跳跃连接叠加的残差块，每层卷积核大小为3×3，特征通道64个，步长为1。输入图像先经过卷积层的特征提取，再由两层亚像素卷积层进行放大处理，最后经过一层核大小为1×1的卷积，重建出4倍大的SR图像。

亚像素卷积层网络的输入是原始低分辨率图像，输出是2倍大的输入图像，其过程为：LR图像经过4个特征通道的卷积操作，得到4张特征图，再对每个相同位置所对应的像素进行有序排列，让每个小块合并成长宽放大为2倍的图像。经过两次上述同样结构的亚像素卷积层，最终获得4倍SR放大图像。在生成网络结构中，残差块每一层的结果与上一层的输出使用跳跃连接相叠加。再经过一层卷积，其结果与第一层卷积的结果叠加，可以防止底层特征丢失。

损失函数为L＝ηL_MSE+λL_VGG+L_GAN，

其中，η、λ为平衡不同损失项的系数。

其中W、H分别表示图像的长和宽，I^LR表示低分辨率图像，I^HR表示原始高分辨率图像。根据I^HR与G生成的图像之间的误差得到MSE，可以提高信噪比，但导致高频细节的缺失。

φ_i,j表示第i个最大池化层前的第j个卷积层的特征图。本项将某一层的特征图作为参考，计算其与生成图像之间的欧氏距离，让生成器生成更加逼真的细节。

为对抗损失，N表示像素个数。L_GAN计算重建的SR图像被判断为真实HR图像的概率，可以使整体图像视觉效果大大提高。

实施例2：

本实施例提供一种基于部分哈达玛矩阵的超分辨率鬼成像方法，包括如下步骤：

步骤(1)：从N×N大小的部分哈达玛矩阵中随机选取M行，形成M个

大小的测量矩阵，M、N均为自然数且M≤N：

首先电脑通过matlab软件产生N×N大小的部分哈达玛测量矩阵，将此测量矩阵的每一列重塑为

大小的测量矩阵，得到M个矩阵；

步骤(2)：将M个测量矩阵进行空间光调，产生与测量矩阵一一对应分布的光斑投射到待成像物体上采集光强信息，得到M个光强信息：

送入空间光调制器，光经过空间光调制器产生对应分布的光斑投射到物体上(物体为原始目标)，然后用桶探测器对物体进行光强信息的采集；

步骤(3)：对M个光强信息与N×N大小的部分哈达玛矩阵通过鬼成像关联计算得到低分辨率图像：

将光强信息送回计算机与之前产生的哈达玛测量矩阵进行计算鬼成像得到初步结果.

步骤(4)：最后对图像运用生成对抗网络进行超分辨率重建得到较为满意的视觉效果。

实施例3：

本实施例提供一种基于部分哈达玛矩阵的超分辨率鬼成像系统，包括：包括计算机、空间光调制器、单像素探测器和数据采集模块；

所述计算机包括所述基于对抗网络的超分模型，用于对部分哈达玛矩阵进行存储并产生测量矩阵；

所述空间光调制器用于对上述测量矩阵进行处理，产生对应分布的光斑投射到待成像物体上；

所述单像素探测器用于检测待成像物体上的光强信息；

所述数据采集模块用于采集单像素探测器检测到的光强信息，上传至计算机得到低分辨率图像；

所述计算机还用于通过将数据采集模块得到的低分辨率图像进行鬼成像关联计算与超分辨率处理得到待成像物体的高分辨率图像。

实施例4：

本实施例具体实施一种基于实施例3的采用部分哈达玛矩阵测量的鬼成像系统，如图1所示，基于部分哈达玛矩阵的超分辨率计算鬼成像的系统包括光源1、空间光调制器2、计算机3、投影镜头4、目标物体5、汇聚透镜6、单像素探测器7和数据采集模块8；

计算机1产生部分哈达玛矩阵进行存储并控制空间光调制器2，光源3经过空间光调制器2后到投影镜头4产生投影光斑照射目标物体5，反射经过汇聚透镜6被单像素探测器7检测到并由数据采集模块8进行数据采集，最终上传到计算机1中进行计算鬼成像关联计算。

本实施例计算鬼成像的方法，如图2所示，包括如下步骤：

1、电脑生成部分哈达玛矩阵投射散斑；

电脑生成M×M大小的哈达玛测量矩阵H_M，将其每一列随机排列得到部分哈达玛测量矩阵H′_M，将其中的-1用0替换得到矩阵B_M。将B_M中每一列重塑成一个小矩阵B_m，则小矩阵大小为

小矩阵在(i,j)处的值为B_m(i,j)。

2、光源发出的光经过空间光调制器，照射到待成像物体被桶探测器接收；

空间光调制器根据1中B_m(i,j)的‘1’的对应空间位置投射光到不同物体上，物体(如图3所示)在像素点(i,j)处的像素值为X(i,j)。然后用一个光强采集设备(桶探测器)得到一个总光强值，使用M个测量矩阵得到一个由不同空间位置投射所得的光强值列向量G_m(X)

在实验中，使用分辨率为32×32时，则具体使用测量次数M为32×32＝1024。

3、计算鬼成像初步成像；

根据计算鬼成像公式计算出图案各点相对值从而得到目标图案

其中，

4、根据3中成像结果选择合适的方法提高成像质量。

3中成像结果分辨率为32×32，如图4所示。因其主要问题是分辨率较低，所以对其进行超分辨率处理。

经过处理后，得到分辨率为128×128的图像，如图5所示。

在相同成像条件下，对图3(a)采用随机光强散斑得到分辨率为32×32的图像如图6所示，可以看到在传统方法下做1024次测量的计算鬼成像效果并不理想。

本发明的方法经实验验证，结果是可行的：在这个研究中，我们先选取合适大小的部分哈达玛测量矩阵进行光强信息采集然后计算鬼成像，然后将得到的图像输入网络进行超分辨率重建处理以得到更好的效果。在实验中，我们分别对几种不同物体成像以避免偶然性结果。我们选择的标准是没有背景噪声的图像，选择这些物体的原因是物体图像具有不同的类别和形状特征，方便观察矩阵会不会出现仅对一类物体效果好的现象。我们进行多个分辨率的实验来选取合适的分辨率，目的是选择出一个成像效果可接受并对硬件设备要求较低的分辨率。

综合几种物体成像效果来看，我们得出，满足对硬件条件要求最低但成像效果比较稳定且可以接受的分辨率为32×32。此时，成像时间为0.08s，为128×128分辨率下的成像时间的七十五分之一。将成像结果用超分模型恢复到128×128分辨率时视觉效果良好。

在实施例中，成像分辨率选择为32×32(即M＝1024)仅对于一般物体而言，而不能理解为对本发明的限制。对于一些细节信息较多的目标物体，可适当提高分辨率来进行计算鬼成像。

Claims (5)

1.一种基于部分哈达玛矩阵的超分辨率鬼成像方法，其特征在于，包括如下步骤：

步骤(1)：从N×N大小的部分哈达玛矩阵中随机选取M行，形成M个M×M大小的测量矩阵，M、N均为自然数且M≤N；

步骤(2)：将M个测量矩阵进行空间光调，产生与测量矩阵一一对应分布的光斑投射到待成像物体上采集光强信息，得到M个光强信息；

步骤(3)：对M个光强信息与N×N大小的部分哈达玛矩阵通过鬼成像关联计算得到低分辨率图像；

步骤(4)：将步骤(3)中的低分辨率图像输入到基于对抗网络的超分模型中，得到待成像物体的高分辨率图像；

所述基于对抗网络的超分模型的构建方法如下：

步骤1：对任意已知高分辨率图像集进行增强处理；

步骤2：对步骤1增强处理后得到的图像集进行不同倍率的下采样得到下采样图像集；

所述下采样图像集为与增强处理后得到的图像集中的图像一一对应的下采样图像；

步骤3：对步骤2得到下采样图像集进行模糊核噪声处理；

步骤4：将步骤1得到的增强处理后得到的图像集与步骤3得到的模糊核噪声处理后的下采样图像集组成图像对，作为生成对抗网络模型的输入，进行训练直至收敛，得到基于对抗网络的超分模型。

2.如权利要求1所述的基于部分哈达玛矩阵的超分辨率鬼成像方法，其特征在于，步骤1中，所述增强处理包括旋转增强以及翻转增强。

3.如权利要求1所述的基于部分哈达玛矩阵的超分辨率鬼成像方法，其特征在于，步骤3中，所述模糊核噪声包括散焦模糊、运动模糊或高斯噪声中一种或多种。

4.如权利要求1所述的基于部分哈达玛矩阵的超分辨率鬼成像方法，其特征在于，步骤4中，对模型进行训练包括：该模型包括残差块和两层亚像素卷积层，输入数据先经过残差块的特征提取，再由两层亚像素卷积层进行放大处理，最后经过一层核大小为1×1的卷积，重建出4倍超分辨率图像。

5.一种基于部分哈达玛矩阵的超分辨率鬼成像系统，用于实现如权利要求1所述的一种基于部分哈达玛矩阵的超分辨率鬼成像方法，其特征在于，包括计算机、空间光调制器、单像素探测器和数据采集模块；

所述计算机包括所述基于对抗网络的超分模型，用于对部分哈达玛矩阵进行生成存储并产生测量矩阵；

所述空间光调制器用于对上述测量矩阵进行处理，产生对应分布的光斑投射到待成像物体上；

所述单像素探测器用于检测待成像物体上的光强信息；

所述数据采集模块用于采集单像素探测器检测到的光强信息，上传至计算机得到低分辨率图像；

所述计算机还用于通过将数据采集模块得到的低分辨率图像进行鬼成像关联计算与超分辨率处理得到待成像物体的高分辨率图像。

Images