CN114266702B - 基于压缩感知和深度光学的高速超分辨成像方法及装置 - Google Patents

Abstract

本申请公开了一种基于压缩感知和深度光学的高速超分辨成像方法及装置，其中，方法包括：基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络，进而对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对三维视觉信号在时域进行编码，生成第二编码信息，并通过重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。由此，解决了相关技术采用分布式方法解决高速成像和超分辨成像问题，导致无法同时考虑时间与空间两个维度，视觉信息采集的效率和通量较低，无法有效满足成像需求的技术的问题。

Description

基于压缩感知和深度光学的高速超分辨成像方法及装置

技术领域

本申请涉及光学元件技术领域，特别涉及一种基于压缩感知和深度光学的高速超分辨成像方法及装置。

背景技术

许多实际应用需要同时捕获场景的空间精细结构和高速时间动态变化，比如：从显微成像中的物理/化学现象观测、荧光成像等到宏观成像中的电视广播、监视和自动驾驶等。然而，直接记录如此高通量的视觉数据，给成像系统带来了极大的压力，这些数据的采集、存储和处理可能会导致产生极高的时间成本、功耗、空间/内存占用以及人力资源成本。此外，设计和建造此类成像系统的成本高昂，且难以便携。幸运的是，计算成像通过设计相应的重建算法将部分负担从成像硬件转移到后处理算法，进而降低采集带宽，提高采集通量，因此，如何使用低速低分辨传感器对真实高速场景的高维信息进行计算采集和高速超分辨重构，具有十分重要的研究意义。

一方面，作为一种空域光学调制元件的代表，衍射光学元件具有尺寸小、设计空间灵活、离轴成像性能好等优势，并且能被成功应用于超分辨成像、全光谱成像、深度成像、大动态范围成像等方向，其结合衍射光学元件和点扩散函数设计，从而依据传感器的特性端到端联合设计光学元件并优化重构算法，可以提供一种有效的计算成像范式。

另一方面，由于硬件采集带宽的限制，后端的重建算法成为了最近的研究热点。压缩感知理论保证了数据可以从较少的观测值中恢复出来，依靠压缩感知理论，很多压缩成像采集系统被提出用以实现高速成像。凭借精心设计的网络结构和强大的泛化能力，深度学习技术为重构算法提供了实现平台，近几年依托于深度学习的压缩成像重建算法也层出不穷。

然而，要想进一步提高视觉信息采集的效率和通量，需要同时考虑时间和空间两个维度。针对高速成像和超分辨成像分别有相应的研究工作，逐个考虑这两个问题并各个击破是一种解决思路，但是这种分布式的做法往往无法得到最优结果，相关技术的研究少之又少，有待改善。

发明内容

本申请提供一种基于压缩感知和深度光学的高速超分辨成像方法及装置，以解决相关技术采用分布式方法解决高速成像和超分辨成像问题，导致无法同时考虑时间与空间两个维度，视觉信息采集的效率和通量较低，无法有效满足成像需求的技术等问题。

本申请第一方面实施例提供一种基于压缩感知和深度光学的高速超分辨成像方法，包括以下步骤：基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络；基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息；以及基于所述第一编码信息和所述第二编码信息，通过所述重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。

可选地，在本申请的一个实施例中，所述基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息，包括：在光学系统的傅里叶平面放置相位调制元件，以在像平面上获得清晰图像卷积点扩散函数的结果，编码为空域超分辨成像提供支持的高频空域信息，得到所述第一编码信息。

可选地，在本申请的一个实施例中，所述基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息，包括：采用随机二值图像编码视频帧，在时域压缩编码为时域超分辨成像提供支持的场景信息，得到所述第二编码信息。

可选地，在本申请的一个实施例中，所述采用随机二值图像编码视频帧，包括：由空间光调制器采集0或1的随机二值图像。

可选地，在本申请的一个实施例中，所述空间光调制器为硅基液晶或者数字微镜装置。

可选地，在本申请的一个实施例中，在采集所述0或1的随机二值图像之后，还包括：对所述随机二值图像进行归一化处理，得到对比度满足预设条件的编码图像；利用所述编码图像对观测图像进行能量归一化处理，得到预处理后的观测图像，以进行重建。

本申请第二方面实施例提供一种基于压缩感知和深度光学的高速超分辨成像装置，包括：优化模块，用于基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络；编码模块，用于基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息；以及成像模块，用于基于所述第一编码信息和所述第二编码信息，通过所述重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。

可选地，在本申请的一个实施例中，所述编码模块，进一步用于：在光学系统的傅里叶平面放置相位调制元件，以在像平面上获得清晰图像卷积点扩散函数的结果，编码为空域超分辨成像提供支持的高频空域信息，得到所述第一编码信息。

可选地，在本申请的一个实施例中，所述编码模块，包括：获取单元，用于采用随机二值图像编码视频帧，在时域压缩编码为时域超分辨成像提供支持的场景信息，得到所述第二编码信息。

可选地，在本申请的一个实施例中，所述获取单元，进一步用于：由空间光调制器采集0或1的随机二值图像。

可选地，在本申请的一个实施例中，所述空间光调制器为硅基液晶或者数字微镜装置。

可选地，在本申请的一个实施例中，所述编码模块，还包括：第一处理单元，用于对所述随机二值图像进行归一化处理，得到对比度满足预设条件的编码图像；第二处理单元，用于利用所述编码图像对观测图像进行能量归一化处理，得到预处理后的观测图像，以进行重建。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于压缩感知和深度光学的高速超分辨成像方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的基于压缩感知和深度光学的高速超分辨成像方法。

本申请实施例根据衍射光学和压缩感知理论，利用深度学习框架优化点扩散函数和重构网络，进而实现对三维视觉信号在空域和时域的双重编码，并根据编码信息通过重构网络对观测图像进行重建，生成成像结果，实现了高维视觉信号的高效采集和重建，可有效提高采集图像的分辨率，并通过搭建原型系统进行原理验证和为产品开发奠定基础。由此，解决了相关技术采用分布式方法解决高速成像和超分辨成像问题，导致无法同时考虑时间与空间两个维度，视觉信息采集的效率和通量较低，无法有效满足成像需求的技术等问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种基于压缩感知和深度光学的高速超分辨成像方法的流程图；

图2为根据本申请一个具体实施例的优化得到的点扩散函数和相位图案；

图3为根据本申请一个具体实施例的系统装置原型图；

图4为根据本申请一个具体实施例的编码采集成像光路图；

图5为根据本申请一个具体实施例的实采数据结果图；

图6为根据本申请一个具体实施例的高速超分辨成像模型与重构框架图；

图7为根据本申请一个具体实施例的基于压缩感知和深度光学的高速超分辨成像方法的原理示意图；

图8为根据本申请实施例提供的一种基于压缩感知和深度光学的高速超分辨成像装置的结构示意图；

图9为根据本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于压缩感知和深度光学的高速超分辨成像方法及装置。针对上述背景技术中心提到的相关技术采用分布式方法解决高速成像和超分辨成像问题，无法同时考虑时间与空间两个维度，导致无法进一步提高视觉信息采集的效率和通量的问题，本申请提供了一种基于压缩感知和深度光学的高速超分辨成像方法，在该方法中，根据衍射光学和压缩感知理论，利用深度学习框架优化点扩散函数和重构网络，进而实现对三维视觉信号在空域和时域的双重编码，并根据编码信息通过重构网络对观测图像进行重建，生成成像结果，实现了高维视觉信号的高效采集和重建，可有效提高采集图像的分辨率，并通过搭建原型系统进行原理验证和为产品开发奠定基础。由此，解决了相关技术采用分布式方法解决高速成像和超分辨成像问题，导致无法同时考虑时间与空间两个维度，视觉信息采集的效率和通量较低，无法有效满足成像需求的技术等问题。

具体而言，图1为本申请实施例所提供的一种基于压缩感知和深度光学的高速超分辨成像方法的流程示意图。

如图1所示，该基于压缩感知和深度光学的高速超分辨成像方法，包括以下步骤：

在步骤S101中，基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络。

其中，衍射光学理论，可以在光学系统的傅里叶平面放置相位调制元件，在像平面上获得清晰图像卷积点扩散函数的结果，编码高频空域信息，为空域超分辨成像提供支持。

压缩感知理论，可以采用随机二值图像编码视频帧，在时域压缩编码场景信息，为时域超分辨（高速）成像提供支持。

深度学习框架，可以把点扩散函数实现为神经网络中可训练的参数，使用残密集网络实现空间超分辨以及双向循环网络实现时域压缩感知解码，具有端到端联合优化的特点，更有效地利用三维视觉数据的结构，从而改进传统重建算法的性能。

本申请实施例可以根据衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络，具体体现为：基于深度学习的参数联合优化，通过建立衍射光学元件和视频单帧压缩共同作用的成像模型，在深度学习框架中使点扩散函数参数化，并采用双向循环超分辨神经网络作为重建模块，端到端优化点扩散函数和重建模块。把优化得到的点扩散函数作为目标，采用相位恢复算法迭代得到相位图像，从而获得衍射光学元件的参数，例如，如图2所示，优化的点扩散函数为11*11像素，经过补全后输入相位恢复算法，收敛后得到优化的相位图案，用于进一步加工衍射光学元件。

本申请实施例基于衍射光学理论和压缩感知理论，可以分别为空域超分辨率成像和时域超分辨（高速）成像提供支持，有利于联合解决高速成像和超分辨成像问题，可以同时考虑时间与空间两个维度，且构建深度学习框架，具有端到端联合优化的特点，能更有效地利用三维视觉数据的结构，从而改进传统重建算法的性能，从而进一步提高视觉信息采集的效率和通量。

在步骤S102中，基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对三维视觉信号在时域进行编码，生成第二编码信息。

具体地，本申请实施例可以使用优化后的点扩散函数设计衍射光学元件和空间光调制器进行双重编码：首先，对三维视觉信号在空域进行编码，生成第一编码信息；其次，采用随机采样矩阵对三维视觉信号在时域进行编码，生成第二编码信息。本申请实施例通过分别在空域和时域进行编码，有利于联合解决高速成像和超分辨成像问题，可以同时考虑时间与空间两个维度，从而进一步提高视觉信息采集的效率和通量。

其中，空间光调制器会在后续进行详细阐述。

可选地，在本申请的一个实施例中，基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对三维视觉信号在时域进行编码，生成第二编码信息，包括：在光学系统的傅里叶平面放置相位调制元件，以在像平面上获得清晰图像卷积点扩散函数的结果，编码为空域超分辨成像提供支持的高频空域信息，得到第一编码信息。

在实际执行过程中，本申请实施例可以通过步骤S101获得的衍射光学原件参数，加工制作相位板，并将其放置于主镜头的傅里叶平面上，进而在像平面上获得清晰图像卷积点扩散函数的结果，并通过点扩散函数，对三维视觉信号在空域进行编码。

具体地，如图3所示，本申请实施例可以利用光刻技术，加工8台阶的相位板（光学衍射元件），放置于主镜头的前焦面处，进而实现空域编码。

可选地，在本申请的一个实施例中，基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对三维视觉信号在时域进行编码，生成第二编码信息，包括：采用随机二值图像编码视频帧，在时域压缩编码为时域超分辨成像提供支持的场景信息，得到第二编码信息。

作为一种可能实现的方式，本申请实施例可以采用二值随机采样矩阵对三维视觉信号在时域进行压缩编码，具体体现在：本申请实施例在将相位板放置于主镜头的傅里叶平面上后，可以通过高质量中继透镜把像平面中继到空间光调制器上，并通过快速变换空间光调制器显示的随机二值图像从而对高速场景进行时域编码。

具体地，如图4所示，本申请实施例可以将衍射光学元件放置于主透镜的傅里叶平面上，入射光线经过衍射光学元件的编码和主透镜的汇聚作用后，在像平面上形成经过点扩散函数卷积的模糊图像，然后经过一级中继在空间光调制器平面上被时域编码，编码后的图像经过二级中继被传感器像素阵列离散化和降采样采集。其中，两级中继透镜都是1倍的放大倍率，偏振片的作用在于减少杂光，提高信噪比。

可选地，在本申请的一个实施例中，采用随机二值图像编码视频帧，包括：由空间光调制器采集0或1的随机二值图像。

本申请实施例可以使用高速变化的空间光调制器，采集0或1的二值随机图像，实现空间光调制器编码图像的标定。

此处对空间光调制器进行详细阐述，可以理解的是，空间光调制器是指在主动控制下，可以通过液晶分子调制光场的某个参量，例如：通过调制光场的振幅、通过折射率调制相位、通过偏振面的旋转，调制偏振态或是实现非相干——相干光的转换，从而将一定的信息写入光波中，达到光波调制的目的。空间光调制器可以方便地将信息加载到一维或二维的光场中，利用光的宽带宽，多通道并行处理等优点对加载的信息进行快速处理。

可选地，在本申请的一个实施例中，空间光调制器为硅基液晶或者数字微镜装置。

举例而言，本申请实施例中的空间光调制器可以是硅基液晶（LCoS）或者数字微镜装置（DMD），需要注意的是，空间光调制器在使用过程中，需要采用黑丝绒布遮盖系统，避免侧面光线对成像的影响，同时减少灰尘的进入，保障系统的稳定和寿命，其具体的装置选用可以由本领域技术人员根据实际情况进行相应调整，在此不做具体限制。

可选地，在本申请的一个实施例中，在采集0或1的随机二值图像之后，还包括：对随机二值图像进行归一化处理，得到对比度满足预设条件的编码图像；利用编码图像对观测图像进行能量归一化处理，得到预处理后的观测图像，以进行重建。

具体地，本申请实施例可以通过采集空间光调制器的全0和全1图像，即采集随机二值图像，并做归一化处理，进而得到对比度高的编码图像，并采用点光源标定实际相位板产生的点扩散函数，实现对编码图像进行标定，并利用标定后的编码图像，对观测图像进行能量归一化处理，进而得到预处理后的观测图像。在一些具体的实施例中，如图5所示，在本申请实施例采用硅基液晶（LCoS）作为空间光调制器的情况下，实际单帧观测图像如第一排左一图所示，融合了8张低分辨率高速帧的信息，标定的LCoS图案之一如第一排左二图所示，其余图像为重建后的8帧高速高分辨图像，标定方法为：（1）LCoS显示全“1”图案并采集；（2） LCoS显示全“0”图案并采集；（3）LCoS显示随机二值图案并采集；（4）归一化处理。本申请实施例使用这种标定方法得到的图像具有更高的对比度。

本申请实施例通过归一化处理，将数据映射到0~1的范围内，更有利于进行数据处理，更加便捷快速。

在步骤S103中，基于第一编码信息和第二编码信息，通过重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。

本申请实施例可以把经过预处理的观测图像和实际标定的编码图像以及点扩散函数的参数带入深度网络并固定，通过加噪声精调重建网络的参数，对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。本申请实施例通过重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，有利于联合解决高速成像和超分辨成像问题，可以同时考虑时间与空间两个维度，从而改进传统重建算法的性能，从而进一步提高视觉信息采集的效率和通量，以及实采数据的鲁棒性。

综上，本申请实施例可以通过利用三维视觉数据在时域和空域存在冗余性，以及利用衍射光学和压缩感知原理，建立高速超分辨成像模型。其中，空域冗余性来自自然图像固有的邻域属性，同一邻域内部像素之间并非独立存在，而是具有一定的相关性；时域的属性则由于自然场景的位置在不同时刻是连续的，从而保持相似的结构属性，所以在不同时刻的图像具有一定的相关性。

具体地，如图6所示，高分辨率高速自然场景经过位于衍射光学元件编码，在焦平面上得到经过点扩散函数卷积的模糊图像，再经过空间光调制器不同图案的时域编码和像素阵列的降采样采集，在图像传感器得到低分辨率的单帧观测图像。本申请实施例结合标定的空间光调制器图案，首先对观测图像做能量归一化预处理，然后输入双向循环超分辨网络，网络的输出则为高分辨率高速图像序列。在设计阶段，通过仿真数据集训练点扩散函数和重建网络的参数；在实际推理阶段，对优化设计的点扩散函数使用相位恢复算法得到衍射光学元件的相位图案，采用实际标定的LCoS图案和点扩散函数图案，对训练好的网络模型进行精调，从实际观测值恢复得到高速视频帧。

下面结合图2至图7对本申请的一个具体实施例进行详细阐述。

如图7所示，本申请实施例包括以下步骤：

步骤S701：建立光学成像模型。主要包括衍射光学模型和视频单曝光压缩成像模型的建立，衍射元件位于相机的傅里叶平面上，在像平面产生特定形状的点扩散函数，对图像进行空域编码；采用空间光调制器在像面进行时域编码，最后在传感器平面进行压缩采集。

步骤S702：优化点扩散函数和重建模块。本申请实施例基于深度学习的参数联合优化，通过建立上述成像模型，在深度学习框架中使点扩散函数参数化，并采用双向循环超分辨神经网络作为重建模块，端到端优化点扩散函数和重建模块。把优化得到的点扩散函数作为目标，采用相位恢复算法迭代得到相位图案，从而获得衍射光学元件的参数。

举例而言，如图2所示，优化的点扩散函数为11*11像素，经过补全后输入相位恢复算法，收敛后得到优化的相位图案，可用于进一步加工衍射光学元件。

步骤S703：高速超分辨采集装置的设计和搭建。首先通过上述获得的衍射光学元件参数，加工制作相位板，并放置于主镜头的傅里叶平面上；通过高质量中继透镜把像平面中继到空间光调制器上，通过快速变换空间光调制器显示的随机二值图案从而对高速场景进行时域编码；最后通过高质量中继透镜把经过编码的图像中继到传感器平面从而进行单曝光采集，得到观测图像。

具体地，如图4所示，本申请实施例可以采用以下编码采集光路，将衍射光学元件放置于主透镜的傅里叶平面上，入射光线经过衍射光学元件的编码和主透镜的汇聚作用后，在像平面上形成经过点扩散函数卷积的模糊图像，然后经过一级中继在空间光调制器平面上被时域编码，编码后的图像经过二级中继被传感器像素阵列离散化和降采样采集。两级中继透镜都是1倍的放大倍率，偏振片的作用在于减少杂光，提高信噪比。

如图6所示，本申请实施例在搭建原型中，可以利用光刻技术加工8台阶的相位板（光学衍射元件），放置于主镜头的前焦面处，实现空域编码；采用硅基液晶（LCoS）作为空间光调制器进行时域编码，采用CMOS作为图像传感器。使用过程中，采用黑丝绒布遮盖系统，避免侧面光线对成像的影响，同时减少灰尘的进入，保障系统的稳定和寿命。

步骤S704：实际高速场景的采集与恢复。主要包括空间光调制器编码图案的标定，实际单曝光观测值的采集，深度学习重建模块针对实际空间光调制器编码图案的精调和针对实采观测值的推理。

其实采数据结果如图5所示，实际单帧观测图像如第一排左一图所示，融合了8张低分辨率高速帧的信息，标定的LCoS图案之一如第一排左二图所示，标定方法为：（1）LCoS显示全“1”图案并采集；（2） LCoS显示全“0”图案并采集；（3）LCoS显示随机二值图案并采集；（4）归一化处理。这种标定方法得到的图案具有更高的对比度。其余图像为重建后的8帧高速高分辨图像。

根据本申请实施例提出的基于压缩感知和深度光学的高速超分辨成像方法，根据衍射光学和压缩感知理论，利用深度学习框架优化点扩散函数和重构网络，进而实现对三维视觉信号在空域和时域的双重编码，并根据编码信息通过重构网络对观测图像进行重建，生成成像结果，实现了高维视觉信号的高效采集和重建，可有效提高采集图像的分辨率，并通过搭建原型系统进行原理验证和为产品开发奠定基础。由此，解决了相关技术采用分布式方法解决高速成像和超分辨成像问题，导致无法同时考虑时间与空间两个维度，视觉信息采集的效率和通量较低，无法有效满足成像需求的技术等问题。

其次参照附图描述根据本申请实施例提出的基于压缩感知和深度光学的高速超分辨成像装置。

图8是本申请实施例的基于压缩感知和深度光学的高速超分辨成像装置的方框示意图。

如图8所示，该基于压缩感知和深度光学的高速超分辨成像装置10包括：优化模块100、编码模块200和成像模块300。

具体地，优化模块100，用于基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络。

编码模块200，用于基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对三维视觉信号在时域进行编码，生成第二编码信息。

成像模块300，用于基于第一编码信息和第二编码信息，通过重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。

可选地，在本申请的一个实施例中，编码模块200进一步用于：在光学系统的傅里叶平面放置相位调制元件，以在像平面上获得清晰图像卷积点扩散函数的结果，编码为空域超分辨成像提供支持的高频空域信息，得到第一编码信息。

可选地，在本申请的一个实施例中，编码模块200包括：获取单元。

其中，获取单元，用于采用随机二值图像编码视频帧，在时域压缩编码为时域超分辨成像提供支持的场景信息，得到第二编码信息。

可选地，在本申请的一个实施例中，获取单元进一步用于，由空间光调制器采集0或1的随机二值图像。

可选地，在本申请的一个实施例中，空间光调制器为硅基液晶或者数字微镜装置。

可选地，在本申请的一个实施例中，编码模块200，还包括：第一处理单元和第二处理单元。

第一处理单元，用于对随机二值图像进行归一化处理，得到对比度满足预设条件的编码图像。

第二处理单元，用于利用编码图像对观测图像进行能量归一化处理，得到预处理后的观测图像，以进行重建。

需要说明的是，前述对基于压缩感知和深度光学的高速超分辨成像方法实施例的解释说明也适用于该实施例的基于压缩感知和深度光学的高速超分辨成像装置，此处不再赘述。

根据本申请实施例提出的基于压缩感知和深度光学的高速超分辨成像装置，根据衍射光学和压缩感知理论，利用深度学习框架优化点扩散函数和重构网络，进而实现对三维视觉信号在空域和时域的双重编码，并根据编码信息通过重构网络对观测图像进行重建，生成成像结果，实现了高维视觉信号的高效采集和重建，可有效提高采集图像的分辨率，并通过搭建原型系统进行原理验证和为产品开发奠定基础。由此，解决了相关技术采用分布式方法解决高速成像和超分辨成像问题，导致无法同时考虑时间与空间两个维度，视觉信息采集的效率和通量较低，无法有效满足成像需求的技术等问题。

图9为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。

处理器902执行程序时实现上述实施例中提供的基于压缩感知和深度光学的高速超分辨成像方法。

进一步地，电子设备还包括：

通信接口903，用于存储器901和处理器902之间的通信。

存储器901，用于存放可在处理器902上运行的计算机程序。

存储器901可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。

处理器902可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于压缩感知和深度光学的高速超分辨成像方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种基于压缩感知和深度光学的高速超分辨成像方法，其特征在于，包括以下步骤：

基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络；

基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息；以及

基于所述第一编码信息和所述第二编码信息，通过所述重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。

2.根据权利要求1所述的方法，其特征在于，所述基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息，包括：

在光学系统的傅里叶平面放置相位调制元件，以在像平面上获得清晰图像卷积点扩散函数的结果，编码为空域超分辨成像提供支持的高频空域信息，得到所述第一编码信息。

3.根据权利要求1或2所述的方法，其特征在于，所述基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息，包括：

采用随机二值图像编码视频帧，在时域压缩编码为时域超分辨成像提供支持的场景信息，得到所述第二编码信息。

4.根据权利要求3所述的方法，其特征在于，所述采用随机二值图像编码视频帧，包括：

由空间光调制器采集0或1的随机二值图像。

5.根据权利要求4所述的方法，其特征在于，所述空间光调制器为硅基液晶或者数字微镜装置。

6.根据权利要求4或5所述的方法，其特征在于，在采集所述0或1的随机二值图像之后，还包括：

对所述随机二值图像进行归一化处理，得到对比度满足预设条件的编码图像；

利用所述编码图像对观测图像进行能量归一化处理，得到预处理后的观测图像，以进行重建。

7.一种基于压缩感知和深度光学的高速超分辨成像装置，其特征在于，包括：

优化模块，用于基于衍射光学和压缩感知理论，建立衍射光学元件和视频单帧压缩共同作用的成像模型，并利用深度学习框架端到端优化点扩散函数和重构网络；

编码模块，用于基于优化后的点扩散函数设计衍射光学元件，对三维视觉信号在空域进行编码，生成第一编码信息，并采用随机采样矩阵对所述三维视觉信号在时域进行编码，生成第二编码信息；以及

成像模块，用于基于所述第一编码信息和所述第二编码信息，通过所述重构网络对时域和空域压缩采集的单帧低分辨观测图像进行重建，生成成像结果。

8.根据权利要求7所述的装置，其特征在于，所述编码模块，进一步用于在光学系统的傅里叶平面放置相位调制元件，以在像平面上获得清晰图像卷积点扩散函数的结果，编码为空域超分辨成像提供支持的高频空域信息，得到所述第一编码信息。

9.根据权利要求7或8所述的装置，其特征在于，所述编码模块包括：

获取单元，用于采用随机二值图像编码视频帧，在时域压缩编码为时域超分辨成像提供支持的场景信息，得到所述第二编码信息。

10.根据权利要求9所述的装置，其特征在于，所述获取单元，进一步用于由空间光调制器采集0或1的随机二值图像。

11.根据权利要求10所述的装置，其特征在于，所述空间光调制器为硅基液晶或者数字微镜装置。

12.根据权利要求10或11所述的装置，其特征在于，所述编码模块，还包括：

第一处理单元，用于对所述随机二值图像进行归一化处理，得到对比度满足预设条件的编码图像；

第二处理单元，用于利用所述编码图像对观测图像进行能量归一化处理，得到预处理后的观测图像，以进行重建。

13.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的基于压缩感知和深度光学的高速超分辨成像方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的基于压缩感知和深度光学的高速超分辨成像方法。

Images