CN117876837B - 基于深度展开网络的近红外单像素成像方法及系统 - Google Patents

基于深度展开网络的近红外单像素成像方法及系统 Download PDF

Info

Publication number
CN117876837B
CN117876837B CN202410270553.2A CN202410270553A CN117876837B CN 117876837 B CN117876837 B CN 117876837B CN 202410270553 A CN202410270553 A CN 202410270553A CN 117876837 B CN117876837 B CN 117876837B
Authority
CN
China
Prior art keywords
imaging
pixel
near infrared
network
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410270553.2A
Other languages
English (en)
Other versions
CN117876837A (zh
Inventor
付莹
田烨
姚旭日
李和松
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202410270553.2A priority Critical patent/CN117876837B/zh
Publication of CN117876837A publication Critical patent/CN117876837A/zh
Application granted granted Critical
Publication of CN117876837B publication Critical patent/CN117876837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请提出了一种基于深度展开网络的近红外单像素成像方法及系统,该方法包括:基于单像素成像原理,构建有监督的近红外单像素成像训练数据集;构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过训练数据集对深度展开成像网络进行训练;根据近红外单像素成像原理搭建成像光路,通过成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值;将一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像。该方法基于深度展开网络,能够在欠采样的基础上实现高质量、高效率和高鲁棒性的近红外单像素成像。

Description

基于深度展开网络的近红外单像素成像方法及系统
技术领域
本申请涉及计算成像技术领域,尤其涉及一种基于深度展开网络的近红外单像素成像方法及系统。
背景技术
目前,成像系统已经广泛应用于各个领域中,对各项技术的发展起到重要作用。而随着对成像系统性能的需求不断提升,高性能、低成本、小体积和轻量化成为当今成像系统需要具备的重要特征。
然而,传统光学成像技术由于受强度成像机理、探测器技术水平、光学系统设计和成像衍射极限等一系列固有因素制约,已无法满足与日俱增的对成像系统的需求。为了克服这些局限性,利用计算成像技术将光学调控与信息处理技术相结合,可以突破传统成像系统的限制,为成像领域的发展开辟了新的前景。
其中,单像素成像技术作为一种新型的计算成像技术,近年来受到了广泛关注。其与传统的采用面阵探测器的阵列成像相比,显著降低了图像传感器的成本,尤其适用于近红外波段等非可见光波段的成像场景。并且,与可见光波段范围单像素成像相比,近红外波段单像素成像不易受到悬浮颗粒物和大气散射等因素影响,并对雾、霾等具有更好的穿透性,非常适用于安防监控和深空探测等领域。
相关技术中,通过近红外单像素成像系统进行成像时,采集的每个测量值都包含目标场景的高度压缩和混叠的信息,根据奈奎斯特采样定理,重建具有N像素的图像至少需要M=N个测量值才能保证具有较高分辨率的场景图像。而由于目前用于近红外单像素成像系统的相关设备的最高刷新率等参数的限制,长采集时间是近红外单像素成像面临的巨大挑战。这一问题从根本上导致了目前近红外单像素成像系统的成像质量和效率之间的冲突。
因此,如何在欠采样情况下实现高质量和高效率的近红外单像素成像,成为目前亟需解决的技术问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种基于深度展开网络的近红外单像素成像方法,该方法基于Transformer模型和广义交替投影算法框架的深度展开成像网络,能够在欠采样的基础上实现高质量、高效率以及对噪声鲁棒性较高的近红外单像素成像。
本申请的第二个目的在于提出一种基于深度展开网络的近红外单像素成像系统;
本申请的第三个目的在于提出一种电子设备;
本申请的第四个目的在于提出一种计算机可读存储介质。
为达上述目的,本申请的第一方面在于提出一种基于深度展开网络的近红外单像素成像方法,该方法包括以下步骤:
基于单像素成像原理,构建有监督的近红外单像素成像训练数据集;
构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过所述训练数据集对所述深度展开成像网络进行训练;
根据近红外单像素成像原理搭建成像光路,通过所述成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值;
将所述一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像。
可选地,根据本申请的一个实施方式,所述基于单像素成像原理,构建有监督的近红外单像素成像训练数据集,包括:选取公开数据集中的多个图像作为训练场景图像,根据单像素成像原理对每个所述训练场景图像进行处理,以生成所述训练数据集;
其中,通过以下公式表示所述单像素成像原理:
其中,x为训练场景,为采样矩阵,y为单像素测量值。
可选地,根据本申请的一个实施方式,所述深度展开成像网络由预设数量个重复模块组成,每个所述重复模块包括:交替投影模块和Transformer深度先验模块,所述通过所述训练数据集对所述深度展开成像网络进行训练,包括最小化以下公式表示的损失函数:
其中,I表示重复模块的数量,表示第i个重复模块输出的图像重建结果,iI
可选地,根据本申请的一个实施方式,所述构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,包括:
在每个所述交替投影模块与对应的所述Transformer深度先验模块之间,设置级间的特征融合机制。
可选地,根据本申请的一个实施方式,通过以下公式计算第i个交替投影模块的输出:
其中,是第i个交替投影模块的输出;
通过以下公式计算第i个Transformer深度先验模块的输出:
其中,是Transformer深度先验模块的降噪函数。
可选地,根据本申请的一个实施方式,所述采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值,包括:通过所述训练数据集使用的采样矩阵对所述目标场景的信息进行编码调制。
为达上述目的,本申请的第二方面还提出了一种基于深度展开网络的近红外单像素成像系统,包括以下模块:
数据构建模块,用于基于单像素成像原理,构建有监督的近红外单像素成像训练数据集;
网络训练模块,用于构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过所述训练数据集对所述深度展开成像网络进行训练;
数据采集模块,用于根据近红外单像素成像原理搭建成像光路,通过所述成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值;
重建模块,用于将所述一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像。
为达上述目的,本申请第三方面还提出了一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的基于深度展开网络的近红外单像素成像方法。
为达上述目的,本申请第四方面还提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中任一项所述的基于深度展开网络的近红外单像素成像方法。
本申请的实施例提供的技术方案至少带来以下有益效果:本申请构造了基于Transformer模型和广义交替投影算法框架的深度展开成像网络,通过交替投影模块指导成像网络的图像重建过程,不仅使成像网络具有可解释性,而且保证了成像结果的物理合理性和准确性。并通过Transformer深度先验模块,以数据驱动的方式学习精确的图像重建先验,使得成像网络具有强大的全局特征和局部特征的建模能力,进而可以有效提升欠采样条件下近红外目标场景的重建质量。从而本申请能够直接从欠采样的近红外单像素测量值中,重建出高质量的目标场景图像,而避免了耗时的迭代优化步骤,提高了近红外单像素成像的质量、效率和对噪声的鲁棒性。并且,本申请通过在成像网络中设计级间的特征融合机制,可以减轻由于交替投影模块和Transformer深度先验模块之间的连接造成的固有信息损失,进一步保证了深度展开成像的图像重建性能。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提出的一种基于深度展开网络的近红外单像素成像方法的流程图;
图2为本申请实施例提出的一种深度展开成像网络的结构示意图;
图3为本申请实施例提出的一种近红外单像素成像光路的结构示意图;
图4为本申请实施例提出的一种实验结果对比意图;
图5为本申请实施例提出的一种基于深度展开网络的近红外单像素成像系统的结构示意图;
图6为本申请实施例提出的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
需要说明的是,本申请实施的基于深度展开网络的近红外单像素成像方法,作为一种可能的实现方式,可以由本申请提出的基于深度展开网络的近红外单像素成像方法系统执行,该基于深度展开网络的近红外单像素成像方法统可以应用于任一电子设备中,以使该电子设备可以执行对目标场景的近红外单像素成像功能。
下面参考附图描述本发明实施例所提出的一种基于深度展开网络的近红外单像素成像方法、系统及电子设备。
图1为本申请实施例提出的一种基于深度展开网络的近红外单像素成像方法的流程图,如图1所示,该方法包括以下步骤:
步骤S101:基于单像素成像原理,构建有监督的近红外单像素成像训练数据集。
具体的,根据单像素成像原理,选取已有的数据集中的大量图像来构建后续对深度展开成像网络进行训练的训练数据,以生成监督的近红外单像素成像训练数据集。
在本申请一个实施例中,基于单像素成像原理,构建有监督的近红外单像素成像训练数据集,包括:选取公开数据集中的多个图像作为训练场景图像,根据单像素成像原理对每个训练场景图像进行处理,以生成训练数据集。
举例而言,根据实际需要,从各种可获得的公开数据集中选取一个数据集,并结合所需的成像精度和分配的计算资源等因素确定从该数据集中选取的图像。比如,采用公开数据集STL-10中的100000个图像作为训练时所使用的场景图像。然后,根据单像素成像原理生成每个图像对应的一维单像素测量值,从而构造监督的近红外单像素成像训练数据集。
其中,通过以下公式表示单像素成像原理:
其中,x为训练场景,为采样矩阵,y为单像素测量值。
即,对于选取的每个训练场景图像均通过采样矩阵确定对应的单像素测量值,每个图像和对应的单像素测量值作为近红外单像素成像训练数据集中的一组数据。
步骤S102:构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过训练数据集对深度展开成像网络进行训练。
具体的,基于Transformer模型和广义交替投影算法框架,确定深度展开成像网络包含的各个模块和整体结构,再通过步骤S101中获得的训练数据集对构建出的深度展开成像网络进行训练,训练完成后的成像网络能够直接从欠采样的近红外单像素测量值中重建高质量目标场景图像。
在本申请一个实施例中,构建的深度展开成像网络如图2所示。虚线框内表示该网络,深度展开成像网络由预设数量(I)个重复模块组成,图2中由重复模块1至重复模块I表示,每个重复模块均包括:一个交替投影模块和一个Transformer深度先验模块。
具体而言,在本实施例中,深度展开成像网络为交替投影模块和Transformer深度先验模块迭代构成的端到端网络。交替投影模块将单像素光学成像模型融入到深度展开成像网络中,使网络具有可解释性,并确保重建结果的物理合理性和准确性。Transformer深度先验模块使深度展开成像网络具有强大的全局特征和局部特征的建模能力,能够有效提升欠采样条件下近红外目标场景的重建质量。
需要说明的是,在本实施例中为了减轻由于交替投影模块和Transformer深度先验模块之间的连接造成的固有信息损失,在构建该深度展开成像网络时,还包括:在每个交替投影模块与对应的Transformer深度先验模块之间,设置级间的特征融合机制。从而可以进一步保证了深度展开成像网络的重建性能。
举例而言,如图2所示,在每个重复模块内,交替投影模块的输出值传输至Transformer深度先验模块作为输入。当前Transformer深度先验模块的输出值传输至下一个重复模块内交替投影模块作为输入,同时,当前Transformer深度先验模块的输出值还传输至下一个重复模块内的Transformer深度先验模块作为输入。
从而,可以通过以下公式计算第i个交替投影模块的输出:
其中,是第i个交替投影模块的输出;
通过以下公式计算第i个Transformer深度先验模块的输出:
其中,是Transformer深度先验模块的降噪函数,/>表示第i个重复模块输出的图像重建结果,i表示任一模块,iII表示重复模块的数量。
进一步的,采用训练数据集对构建出的深度展开成像网络进行训练时,所采用的损失函数Loss通过以下公式表示:
本申请实施例中各个公式中的某些参数若在之前公式中已出现,则表示的含义相同,均不再赘述。
由此,本申请通过最小化上述损失函数的方式对深度展开成像网络进行训练,具体训练过程可以参照相关技术中的深度学习模型的训练方法,此处不再赘述。
步骤S103:根据近红外单像素成像原理搭建成像光路,通过成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值。
具体的,将本次成像任务中实际需要成像的场景作为目标场景,根据近红外单像素成像原理搭建成像光路,通过成像光路中的近红外单像素探测器,采集目标场景对应的一维欠采样近红外单像素测量值。其中,本申请中近红外单像素探测器不需要如现有技术中需要采集较多的测量值,仅需要采集少量的测量值即可实现在目标场景的高质量重建。
作为一种可能的实现方式,搭建成像光路如图3所示,在该光路中包括向目标场景发射光线的光源1、第一透镜2、近红外中继透镜3、数字微镜器件(DMD)4、第二透镜5、滤光片6、雪崩光电二极管(APD)7、光子计数器8和计算机9等。各个组件之间的连接关系如图3所示,可协同实现采集目标场景的测量值的功能。在本实施例中,利用结构光对目标场景图像进行调制,通过没有空间分辨能力的单像素探测器获得一维测量光信号,根据结构光和一维测量光信号之间的关联性重建图像。其中,通过训练数据集使用的采样矩阵对采集的目标场景的信息进行编码调制,以与训练完成的深度展开成像网络相匹配。由此实现了通过近红外单像素探测器采集对应的欠采样一维单像素测量值。
步骤S104:将一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像。
具体的,从实际采集获得的一维欠采样近红外单像素测量值中重建高质量的目标场景图像,即将近红外单像素探测器所获得的单像素测量值输入到步骤S102中训练完成的近红外单像素深度展开成像网络中,从而获得该网络输出的实际测量值所对应的高质量重建目标场景。
举例而言,如图2所示,将分辨率板作为目标场景,通过成像光路中的采样矩阵对目标场景进行采样,将获得实际的测量值输入训练完成的深度展开成像网络进行运算,该网络输出对目标场景重建后的图像,即本示例中的分辨率板重建图像。
综上所述,本申请实施例的基于深度展开网络的近红外单像素成像方法,构造了基于Transformer模型和广义交替投影算法框架的深度展开成像网络,通过交替投影模块指导成像网络的图像重建过程,不仅使成像网络具有可解释性,而且保证了成像结果的物理合理性和准确性。并通过Transformer深度先验模块,以数据驱动的方式学习精确的图像重建先验,使得成像网络具有强大的全局特征和局部特征的建模能力,进而可以有效提升欠采样条件下近红外目标场景的重建质量。从而该方法能够直接从欠采样的近红外单像素测量值中,重建出高质量的目标场景图像,而避免了耗时的迭代优化步骤,提高了近红外单像素成像的质量、效率和对噪声的鲁棒性。并且,该方法通过在成像网络中设计级间的特征融合机制,可以减轻由于交替投影模块和Transformer深度先验模块之间的连接造成的固有信息损失,进一步保证了深度展开成像的图像重建性能。
基于上述实施例,为了验证该基于深度展开网络的近红外单像素成像方法的有效性,在本申请一个实施例中通过进行实际的实验,获取相关的实验结果,将本申请的近红外单像素成像方法与其他现有的单像素成像方法的成像结果进行对比。
具体而言,在本实施例中,设置相同的实验条件进行仿真,在仿真中,采用公共数据集Set12作为目标场景,分辨率设置为,采样矩阵选择随机二值采样矩阵,采样率设置为2%-30%。为了定量地比较不同单像素成像方法的成像效果,使用峰值信噪比(Peaksignal to noise ratio,PSNR)和结构相似性(Structural similarity,SSIM)衡量图像重建结果的空间质量和视觉效果。对于每个方法,将数据集中所有重建图像的峰值信噪比PSNR和结构相似性SSIM进行平均,得到如以下表1所示的实验结果
表1 Set12数据集上单像素重建结果表
从表1可以看出,本申请的基于深度展开网络的近红外单像素成像方法,在空间质量和视觉效果上明显优于其他现有的单像素成像方法。
为了进一步验证本申请的基于深度展开网络的近红外单像素成像方法的有效性,将该方法与其他现有的近红外单像素成像方法进行对比。在真实实验中,采用分辨率板作为目标场景,采样矩阵选择大小的随机二值采样矩阵,采样率设置为10%,成像对比结果如图4所示。
由此可知,在其他相关成像方法对应的成像结果图像中,重建出的图像较为模糊,无法清晰的看出图像内容。而本申请的近红外单像素成像方法实现了最佳的成像效果,重建图像具有更精细的图像细节和更低的噪声。而其他现有的近红外单像素成像方法在成像结果中表现出严重的图像失真和较高的噪声。
为了实现上述实施例,本申请还提出了一种基于深度展开网络的近红外单像素成像系统,图5为本申请实施例提出的一种基于深度展开网络的近红外单像素成像系统的结构示意图,如图5所示,该系统包括数据构建模块100、网络训练模块200、数据采集模块300和重建模块400。
其中,数据构建模块100,用于基于单像素成像原理,构建有监督的近红外单像素成像训练数据集。
网络训练模块200,用于构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过训练数据集对深度展开成像网络进行训练。
数据采集模块300,用于根据近红外单像素成像原理搭建成像光路,通过成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值。
重建模块400,用于将一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像。
具体的,数据采集模块300根据近红外单像素成像原理,搭建近红外单像素成像光路,利用采样矩阵对于目标场景进行编码调制,并通过近红外单像素探测器采集对应的欠采样一维单像素测量值。
网络训练模块200采用构造的监督数据集,对基于Transformer和广义交替投影算法框架的近红外单像素深度展开成像网络进行训练,使该网络实现低采样条件下高质量且高效的近红外单像素成像。
重建模块400利用训练好的近红外单像素深度展开成像网络,从获得的近红外单像素测量值中重建高质量目标场景的图像。
在本申请一个实施例中,数据构建模块100具体用于:选取公开数据集中的多个图像作为训练场景图像,根据单像素成像原理对每个所述训练场景图像进行处理,以生成训练数据集;
其中,通过以下公式表示单像素成像原理:
其中,x为训练场景,为采样矩阵,y为单像素测量值。
在本申请一个实施例中,深度展开成像网络由预设数量个重复模块组成,每个重复模块包括:交替投影模块和Transformer深度先验模块,网络训练模块200具体用于最小化以下公式表示的损失函数:
其中,I表示重复模块的数量,表示第i个重复模块输出的图像重建结果,iI
在本申请一个实施例中,网络训练模块200还用于在每个交替投影模块与对应的Transformer深度先验模块之间,设置级间的特征融合机制。
在本申请一个实施例中,数据采集模块300具体用于通过训练数据集使用的采样矩阵对目标场景的信息进行编码调制。
综上所述,本申请实施例的基于深度展开网络的近红外单像素成像系统,构造了基于Transformer模型和广义交替投影算法框架的深度展开成像网络,通过交替投影模块指导成像网络的图像重建过程,不仅使成像网络具有可解释性,而且保证了成像结果的物理合理性和准确性。并通过Transformer深度先验模块,以数据驱动的方式学习精确的图像重建先验,使得成像网络具有强大的全局特征和局部特征的建模能力,进而可以有效提升欠采样条件下近红外目标场景的重建质量。从而该系统能够直接从欠采样的近红外单像素测量值中,重建出高质量的目标场景图像,而避免了耗时的迭代优化步骤,提高了近红外单像素成像的质量、效率和对噪声的鲁棒性。并且,该系统通过在成像网络中设计级间的特征融合机制,可以减轻由于交替投影模块和Transformer深度先验模块之间的连接造成的固有信息损失,进一步保证了深度展开成像的图像重建性能。
为了实现上述实施例,本申请还提出了一种电子设备,如图6所示,该电子设备600包括:处理器610;用于存储处理器610可执行指令的存储器620;其中,处理器610被配置为执行指令,以实现如上述第一方面实施例中任一所述的基于深度展开网络的近红外单像素成像方法。
为了实现上述实施例,本申请还提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面实施例中任一所述的基于深度展开网络的近红外单像素成像方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于深度展开网络的近红外单像素成像方法,其特征在于,包括以下步骤:
基于单像素成像原理,构建有监督的近红外单像素成像训练数据集;
构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过所述训练数据集对所述深度展开成像网络进行训练;
根据近红外单像素成像原理搭建成像光路,通过所述成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值;
将所述一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像;
其中,所述深度展开成像网络由预设数量个重复模块组成,每个所述重复模块包括:交替投影模块和Transformer深度先验模块,所述通过所述训练数据集对所述深度展开成像网络进行训练,包括最小化以下公式表示的损失函数:
其中,I表示重复模块的数量,表示第i个重复模块输出的图像重建结果,iI;
通过以下公式计算第i+1个交替投影模块的输出:
其中,是第i+1个交替投影模块的输出;
通过以下公式计算第i+1个Transformer深度先验模块的输出:
其中,是Transformer深度先验模块的降噪函数。
2.根据权利要求1所述的基于深度展开网络的近红外单像素成像方法,其特征在于,所述基于单像素成像原理,构建有监督的近红外单像素成像训练数据集,包括:
选取公开数据集中的多个图像作为训练场景图像,根据单像素成像原理对每个所述训练场景图像进行处理,以生成所述训练数据集;
其中,通过以下公式表示所述单像素成像原理:
其中,x为训练场景,为采样矩阵,y为单像素测量值。
3.根据权利要求1所述的基于深度展开网络的近红外单像素成像方法,其特征在于,所述构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,还包括:
在每个所述交替投影模块与对应的所述Transformer深度先验模块之间,设置级间的特征融合机制。
4.根据权利要求2所述的基于深度展开网络的近红外单像素成像方法,其特征在于,所述采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值,包括:
通过所述训练数据集使用的采样矩阵对所述目标场景的信息进行编码调制。
5.一种基于深度展开网络的近红外单像素成像系统,其特征在于,包括以下模块:
数据构建模块,用于基于单像素成像原理,构建有监督的近红外单像素成像训练数据集;
网络训练模块,用于构建基于Transformer模型和广义交替投影算法框架的深度展开成像网络,并通过所述训练数据集对所述深度展开成像网络进行训练;
数据采集模块,用于根据近红外单像素成像原理搭建成像光路,通过所述成像光路中的近红外单像素探测器,采集当前待成像的目标场景对应的一维欠采样近红外单像素测量值;
重建模块,用于将所述一维欠采样近红外单像素测量值输入训练完成的深度展开成像网络,获取根据测量值重建的目标场景图像;
其中,所述深度展开成像网络由预设数量个重复模块组成,每个所述重复模块包括:交替投影模块和Transformer深度先验模块,所述通过所述训练数据集对所述深度展开成像网络进行训练,包括最小化以下公式表示的损失函数:
其中,I表示重复模块的数量,表示第i个重复模块输出的图像重建结果,iI;
通过以下公式计算第i+1个交替投影模块的输出:
其中,是第i+1个交替投影模块的输出;
通过以下公式计算第i+1个Transformer深度先验模块的输出:
其中,是Transformer深度先验模块的降噪函数。
6.根据权利要求5所述的基于深度展开网络的近红外单像素成像系统,其特征在于,所述网络训练模块,还用于:
在构建的每个交替投影模块与对应的Transformer深度先验模块之间,设置级间的特征融合机制。
7.一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-4中任一项所述的基于深度展开网络的近红外单像素成像方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于深度展开网络的近红外单像素成像方法。
CN202410270553.2A 2024-03-11 2024-03-11 基于深度展开网络的近红外单像素成像方法及系统 Active CN117876837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410270553.2A CN117876837B (zh) 2024-03-11 2024-03-11 基于深度展开网络的近红外单像素成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410270553.2A CN117876837B (zh) 2024-03-11 2024-03-11 基于深度展开网络的近红外单像素成像方法及系统

Publications (2)

Publication Number Publication Date
CN117876837A CN117876837A (zh) 2024-04-12
CN117876837B true CN117876837B (zh) 2024-06-07

Family

ID=90596958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410270553.2A Active CN117876837B (zh) 2024-03-11 2024-03-11 基于深度展开网络的近红外单像素成像方法及系统

Country Status (1)

Country Link
CN (1) CN117876837B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013201439A1 (en) * 2005-03-04 2013-03-28 Lifescan, Inc. Adult pancreatic derived stromal cells
CN109741412A (zh) * 2018-12-28 2019-05-10 北京工业大学 一种基于非局部自回归模型的压缩感知核磁成像重建方法
CN110175971A (zh) * 2019-05-27 2019-08-27 大连海事大学 一种多光谱单像素成像的深度学习图像重构方法
CN111259991A (zh) * 2020-02-28 2020-06-09 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN111833248A (zh) * 2020-06-19 2020-10-27 西北大学 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统
CN113724146A (zh) * 2021-07-14 2021-11-30 北京理工大学 基于即插即用先验的单像素成像方法
CN114757842A (zh) * 2022-04-07 2022-07-15 山东大学 基于即插即用广义交替投影算法的彩色计算鬼成像方法
CN115953334A (zh) * 2022-12-16 2023-04-11 哈尔滨工业大学 一种基于时域和频域相协调的傅立叶单像素成像重构方法
CN116228899A (zh) * 2022-12-23 2023-06-06 北京理工大学 一种监督与无监督学习联合的单像素成像方法和装置
WO2023109719A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 一种太赫兹单像素超分辨成像方法和系统
CN116579966A (zh) * 2023-07-11 2023-08-11 江西师范大学 一种图像重建方法、装置、电子设备及存储介质
CN116797488A (zh) * 2023-07-07 2023-09-22 大连民族大学 一种基于特征融合与注意力嵌入的低照度图像增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2847823A2 (en) * 2012-05-09 2015-03-18 Duke University Metamaterial devices and methods of using the same
EP3581919B1 (en) * 2018-06-15 2022-03-23 IMEC vzw An imaging apparatus and a method for imaging an object
CN110425986B (zh) * 2019-07-17 2020-10-16 北京理工大学 基于单像素传感器的三维计算成像方法及装置
EP3839483B1 (en) * 2019-12-19 2023-07-26 Imec VZW An illuminator, an imaging apparatus and a system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013201439A1 (en) * 2005-03-04 2013-03-28 Lifescan, Inc. Adult pancreatic derived stromal cells
CN109741412A (zh) * 2018-12-28 2019-05-10 北京工业大学 一种基于非局部自回归模型的压缩感知核磁成像重建方法
CN110175971A (zh) * 2019-05-27 2019-08-27 大连海事大学 一种多光谱单像素成像的深度学习图像重构方法
CN111259991A (zh) * 2020-02-28 2020-06-09 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN111833248A (zh) * 2020-06-19 2020-10-27 西北大学 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统
CN113724146A (zh) * 2021-07-14 2021-11-30 北京理工大学 基于即插即用先验的单像素成像方法
WO2023109719A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 一种太赫兹单像素超分辨成像方法和系统
CN114757842A (zh) * 2022-04-07 2022-07-15 山东大学 基于即插即用广义交替投影算法的彩色计算鬼成像方法
CN115953334A (zh) * 2022-12-16 2023-04-11 哈尔滨工业大学 一种基于时域和频域相协调的傅立叶单像素成像重构方法
CN116228899A (zh) * 2022-12-23 2023-06-06 北京理工大学 一种监督与无监督学习联合的单像素成像方法和装置
CN116797488A (zh) * 2023-07-07 2023-09-22 大连民族大学 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN116579966A (zh) * 2023-07-11 2023-08-11 江西师范大学 一种图像重建方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"光学感前计算技术及其卫星遥感应用综述 (特邀)";李天宇 等;《激光与光电子学进展》;20240131;第61卷(第2期);全文 *
"基于物理模型与数据驱动的单像素成像研究";刘守佩;《中国优秀硕士学位论文全文数据库信息科技辑》;20240115(第01期);全文 *

Also Published As

Publication number Publication date
CN117876837A (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
JP6214562B2 (ja) 適応型多次元データ分解
Zhao et al. Unbounded high dynamic range photography using a modulo camera
CN110533607B (zh) 一种基于深度学习的图像处理方法、装置及电子设备
US11687773B2 (en) Learning method and recording medium
CN113870132A (zh) 计算鬼成像采样过程中的噪声消除方法、系统及相关组件
CN112525851A (zh) 一种太赫兹单像素成像方法及其系统
WO2023109719A1 (zh) 一种太赫兹单像素超分辨成像方法和系统
CN113066143B (zh) 分布式量子成像方法、装置、系统及计算机可读存储介质
CN108225561A (zh) 压缩光谱成像系统、重建方法、装置及终端设备
CN111833265A (zh) 一种基于组稀疏循环调制的鬼成像图像恢复方案
CN108469685B (zh) 一种超分辨率关联成像系统及成像方法
CN112113661B (zh) 一种深度学习型快照式光谱成像装置及其探测方法
Chen et al. Very power efficient neural time-of-flight
CN113709325A (zh) 基于Hadamard频域变换矩阵阈值滤波的单像素成像方法
CN112203068A (zh) 单像素成像方法、系统、装置及介质
CN111598792B (zh) 基于非局部正则化的相位恢复方法和装置
CN117876837B (zh) 基于深度展开网络的近红外单像素成像方法及系统
CN117221739A (zh) 一维调制高分辨率扫描式单像素成像方法及存储介质
CN114859377B (zh) 一种运动目标实时捕获单像素成像方法及设备
CN112950472B (zh) 单像素成像方法和装置
CN113029364B (zh) 分布式鲁棒的像素超分辨成像方法及计算机设备
CN112435189A (zh) 一种基于自编码网络的计算鬼成像方法及系统
CN112907444A (zh) 一种基于复数域零样本学习的太赫兹图像超分辨重建方法
CN116681595B (zh) 一种基于多峰psf的远距离计算超分辨率成像装置
Macwan et al. A survey on various techniques of super resolution imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant