CN110175971B - 一种多光谱单像素成像的深度学习图像重构方法 - Google Patents

一种多光谱单像素成像的深度学习图像重构方法 Download PDF

Info

Publication number
CN110175971B
CN110175971B CN201910447672.XA CN201910447672A CN110175971B CN 110175971 B CN110175971 B CN 110175971B CN 201910447672 A CN201910447672 A CN 201910447672A CN 110175971 B CN110175971 B CN 110175971B
Authority
CN
China
Prior art keywords
multispectral
image
neural network
plus
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910447672.XA
Other languages
English (en)
Other versions
CN110175971A (zh
Inventor
赵明
霍凤月
田芷铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201910447672.XA priority Critical patent/CN110175971B/zh
Publication of CN110175971A publication Critical patent/CN110175971A/zh
Application granted granted Critical
Publication of CN110175971B publication Critical patent/CN110175971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多光谱单像素成像的深度学习图像重构方法,包括:测量过程和重构过程,测量过程是利用编码图案对目标场景进行编码,而后利用多光谱探测器记录不同波长对应的光强。在物理方式实现多光谱单像素探测后,基于深度神经网络的图像重建方法,实现从所有的探测信号Yc中重构出原始信号X的过程。该深度神经网络由线性映射网络和卷积神经网络组成,将C个测量向量按列拼接在一起形成一个新的矩阵Y′,线性映射网络以Y′为输入数据初步对数据进行线性处理,而后将线性处理结果经过卷积神经网络进行通道间的信息融合处理,最终重建得到待观测图像X。本发明的技术方案解决了现有技术中的算法复杂度高、重建时间较长,且对采样率要求较高的问题。

Description

一种多光谱单像素成像的深度学习图像重构方法
技术领域
本发明涉及单像素成像技术和深度学习技术领域,具体而言,尤其涉及一种多光谱单像素成像的深度学习图像重构方法。
背景技术
多光谱成像技术是新一代光电探测技术,兴起于20世纪80年代,90年代后形成研发热潮,至今仍在迅速发展之中。多光谱成像技术不同于传统的单一宽波段成像技术,而是将成像技术和光谱测量技术相结合,获取的信息不仅包括二维空间信息,还包含随波长分布的光谱辐射信息。丰富的目标光谱信息结合目标空间影像极大提高了目标探测的准确性、扩展了传统探测技术的功能。该技术已广泛应用于陆地海洋地理遥感,大气、土壤和水体的污染物遥感监测,医疗光谱成像诊断,军事目标侦查探测等多个军事和民用领域。
单像素成像技术是一种新兴的成像技术,其利用二维空间编码图样对探测目标进行调制,然后利用单像素检测器来测量平均光强,最后根据探测光强和编码图样重建所探测目标。单像素成像为多光谱成像提供了一种新的技术途径,利用多个单像素探测器分别探测不同波段的光波,可以获取多光谱图像。
单像素成像的重建算法主要是基于压缩感知的重建算法;压缩感知重建算法利用信号的稀疏性对图像重构问题进行约束,常用的方法主要有以OMP算法、StOMP算法、Regularized OMP算法以及CoSaMP算法为代表的贪婪算法和以内点法、梯度投影算法、迭代阈值法、Bregman迭代法和交替方向法为代表的基于l1范数的凸优化算法。尽管目前对压缩感知重建算法进行了大量的研究,但基于压缩感知的图像重建的主要问题是算法复杂度高,需要大量的迭代运算,重建时间较长,且对采样率要求较高。
针对多光谱单像素成像,本项目组于2016年在Optical Engineering期刊中发表的“Color single-pixel imaging based on multiple measurement vectors model”中提出了联合多维观测向量的重构算法,利用多光谱图像多波段结构特性来提髙成像质量,但本质上还是基于压缩感知的图像重构算法,重建质量仍有待提升。
发明内容
根据上述提出基于压缩感知的图像重建的算法复杂度高,需要大量的迭代运算,重建时间较长,且对采样率要求较高的技术问题,而提供一种多光谱单像素成像的深度学习图像重构方法。本发明主要利用压缩测量目标场景获得采样信号,使用深度神经网络对采样信号进行处理,重建图像。该方法采样率低,重建时间短,重建质量好。
本发明采用的技术手段如下:
一种多光谱单像素成像的深度学习图像重构方法,包括测量过程和重构过程,所述测量过程步骤如下:
步骤S1:利用编码图案对目标场景进行编码;假设多光谱图像X大小为N×N,颜色通道个数为C,采样率为p,则采样次数为M=p*N2,根据压缩感知理论,得到C个大小为M×1的测量向量Yc,多光谱单像素成像的正向模型表示为:
Yc=ΦXc(c=1,…,C) (1)
式中,
Figure BDA0002074142680000021
表示不同波段通过压缩测量获得的测量值,
Figure BDA0002074142680000022
表示单个颜色通道图像,c表示第c个通道,
Figure BDA0002074142680000023
是测量矩阵;
步骤S2:利用多光谱探测器记录不同波长对应的光强;单像素成像可采用两种方式:主动式成像或被动式成像;
主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体,而后利用探测器记录相应光强;
被动式成像通过成像镜头将物体成像在空间光调制器,而后通过探测器记录相应光强;
上述过程中,所述空间光调制器通过加载预定的编码图案实现对景物的编码;
步骤S3:在物理方式实现多光谱单像素探测后,再从所有的探测信号Yc中重构出信号X实现图像重构的过程;
所述实现图像重构的过程如下:
步骤1:建立样本数据;
步骤2:训练深度神经网络,深度神经网络由线性映射网络和卷积神经网络组成;
步骤3:将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′,大小为CM×1,线性映射网络以Y′为输入数据初步对数据进行线性处理;
步骤4:将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理,重建得到待观测图像X。
进一步地,所述步骤1建立样本数据的具体过程如下:
步骤101:选用数据集中的部分多光谱图像,对其进行缩放处理保证图像具有相同分辨率;
步骤102:将上述进行缩放处理后的图像按照一定的比例建立训练图像数据集
Figure BDA0002074142680000031
和验证图像数据集
Figure BDA0002074142680000032
I1和I2分别是训练集和验证集中样本数量;
步骤103:将上述训练图像数据集
Figure BDA0002074142680000033
和验证图像数据集
Figure BDA0002074142680000034
依照公式(1)进行模拟多光谱单像素压缩测量,即
Figure BDA0002074142680000035
根据上述模拟结果分别形成训练样本数据集
Figure BDA0002074142680000036
和验证样本数据集
Figure BDA0002074142680000037
进一步地,所述步骤2中的训练深度神经网络的过程如下:
步骤201:设定误差损失函数为:
Figure BDA0002074142680000038
式中,
Figure BDA0002074142680000039
表示训练图像数据集中第i个多光谱数据中的c通道图像,Yc (i),train表示第i个多光谱数据中的c通道图像对应的压缩测量值,Γ(·;θ)为所建立的深度神经网络,θ为待训练网络参数;
步骤202:将所述损失函数根据链式求导法则,由后向前逐层求导,然后采用随机梯度下降方法更新深度神经网络参数θ;
步骤203:通过反复对深度神经网络参数进行迭代优化,观察训练样本和验证样本的误差损失函数结果,直到能够满足系统的精度为止,保存深度神经网络模型,并对模型进行测试。
进一步地,所述深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层,第一扩张卷积层(扩张因子为1)加激活层、第二扩张卷积层(扩张因子为2)加批量归一化层加激活层、第三扩张卷积层(扩张因子为3)加批量归一化层加激活层、第四扩张卷积层(扩张因子为4)加批量归一化层加激活层、第五扩张卷积层(扩张因子为3)加批量归一化层加激活层、第六扩张卷积层(扩张因子为2)加批量归一化层加激活层、第七扩张卷积层(扩张因子为1)。
进一步地,所述的多光谱探测器可采用两种方式实现对每个波长仅采用一个单像素探测器:
方式1:在单像素光电探测器前端增加滤光片,实现对不同波长的探测;
方式2:通过光栅等分光元件进行光谱分光,将不同波长光波投影到CCD探测器上。
进一步地,所述测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。
较现有技术相比,本发明具有以下优点:
1、本发明提供的多光谱单像素成像的深度学习图像重构方法,首先压缩测量目标场景获得采样信号,通过使用深度神经网络对采样信号进行处理,重建图像。该方法采样率低,重建时间短,重建质量好等优点。
2、为了验证模型对实际多光谱单像素采集数据的处理结果,组建了实验系统,所用的数字光投影仪为TI公司LightCrafter 4500,其内部可加载编码图案进行投影,实验中加载编码图案为深度神经网络训练中所采用的编码图案;所用的单像素探测器为滨松公司的光电倍增管,为实现多光谱测量,在光电倍增管前段放置不同波长的滤光片。
基于上述理由本发明可在单像素成像技术和深度学习等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明深度神经网络结构图。
图2为本发明实施例中随机高斯测量矩阵。
图3为本发明实施例训练网络损失函数曲线。
图4为本发明实施例深度神经网络训练中原始图像与重构结果对比图。
图5为本发明实施例采集数据试验系统示意图。
图6为本发明实施例实际实验测试结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例
本实施例中以三个波长的多光谱单像素成像为例,说明本发明基于深度学习的多光谱单像素成像图像重构方法。
本发明提供了一种多光谱单像素成像的深度学习图像重构方法,该网络的输入是多光谱单像素压缩测量数据,测量过程步骤如下:
步骤S1:利用编码图案对目标场景进行编码;假设多光谱图像X大小为N×N,颜色通道个数为C,采样率为p,则采样次数为M=p*N2,根据压缩感知理论,得到C个大小为M×1的测量向量Yc,多光谱单像素成像的正向模型表示为:
Yc=ΦXc(c=1,…,C) (1)
式中,
Figure BDA0002074142680000061
表示不同波段通过压缩测量获得的测量值,
Figure BDA0002074142680000062
表示单个颜色通道图像,c表示第c个通道,
Figure BDA0002074142680000063
是测量矩阵;测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。
步骤S2:利用多光谱探测器记录不同波长对应的光强;单像素成像可采用两种方式:主动式成像或被动式成像;
主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体,而后利用探测器记录相应光强;
被动式成像通过成像镜头将物体成像在空间光调制器,而后通过探测器记录相应光强;
上述过程中,所述空间光调制器通过加载预定的编码图案实现对景物的编码;
多光谱探测器可采用两种方式实现对每个波长仅采用一个单像素探测器:
方式1:在单像素光电探测器前端增加滤光片,实现对不同波长的探测;
方式2:通过光栅等分光元件进行光谱分光,将不同波长光波投影到CCD探测器上。
步骤S3:在物理方式实现多光谱单像素探测后,再从所有的探测信号Yc中重构出信号X实现图像重构的过程;
如图1所示,深度神经网络采用了线性映射网络和卷积神经网络,深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层,第一扩张卷积层(扩张因子为1)加激活层、第二扩张卷积层(扩张因子为2)加批量归一化层加激活层、第三扩张卷积层(扩张因子为3)加批量归一化层加激活层、第四扩张卷积层(扩张因子为4)加批量归一化层加激活层、第五扩张卷积层(扩张因子为3)加批量归一化层加激活层、第六扩张卷积层(扩张因子为2)加批量归一化层加激活层、第七扩张卷积层(扩张因子为1)。
在本具体实施例中,使用的图像大小为128x128,颜色通道数为3,采样率为10%,各层网络所用参数如表1所示:
表1多光谱单像素成像的深度学习图像重构网络参数列表
输出图像大小 输出通道数 卷积核尺寸 步长 扩张因于
输入层 4914x1 1 - - -
卷积层 3x1 16384 1638x1 (1638,1) -
Sub-pixel卷积层 384x128 1 - - -
Reshape层 128x128 3 - - -
第一扩张卷积层 128x128 96 3x3 (1,1) 1
第二扩张卷积层 128x128 96 3x3 (1,1) 2
第三扩张卷积层 128x128 96 3x3 (1,1)) 3
第四扩张卷积层 128x128 96 3x3 (1,1) 4
第五扩张卷积层 128x128 96 3x3 (1,1) 3
第六扩张卷积层 128x128 96 3x3 (1,1) 2
第七扩张卷积层 128x128 3 3x3 (1,1) 1
输出层 128x128 3 - - -
本实施例中使用了随机高斯型测量矩阵,如图2所示,给出三个随机高斯测量图案,其他满足RIP条件的压缩感知测量矩阵也可按照相同原理应用。
实现图像重构的过程如下:
步骤1:建立样本数据;
步骤101:选用ImageNet数据集中40000张多光谱图像,将这些图像缩放到大小为128x128;
步骤102:将上述进行缩放处理后的图像按照9∶1的比例建立训练图像数据集
Figure BDA0002074142680000071
和验证图像数据集
Figure BDA0002074142680000072
I1和I2分别是训练集和验证集中样本数量;
步骤103:将上述训练图像数据集
Figure BDA0002074142680000073
和验证图像数据集
Figure BDA0002074142680000074
依照公式(1)进行模拟多光谱单像素压缩测量,即
Figure BDA0002074142680000075
根据上述模拟结果分别形成训练样本数据集
Figure BDA0002074142680000076
和验证样本数据集
Figure BDA0002074142680000077
步骤2:训练深度神经网络,深度神经网络由线性映射网络和卷积神经网络组成;
步骤201:设定误差损失函数为:
Figure BDA0002074142680000081
式中,
Figure BDA0002074142680000082
表示训练图像数据集中第i个多光谱数据中的c通道图像,Yc (i),train表示第i个多光谱数据中的c通道图像对应的压缩测量值,Γ(·;θ)为所建立的深度神经网络,θ为待训练网络参数;
步骤202:将所述损失函数根据链式求导法则,由后向前逐层求导,然后采用随机梯度下降方法更新深度神经网络参数θ;
步骤203:通过反复对深度神经网络参数进行迭代优化,观察训练样本和验证样本的误差损失函数结果,直到能够满足系统的精度为止,保存深度神经网络模型,并对模型进行测试。
步骤3:将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′,大小为CM×1,线性映射网络以Y′为输入数据初步对数据进行线性处理;
步骤4:将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理,重建得到待观测图像X。
为了验证本发明的重构能力,在此展示损失函数曲线及验证结果。训练损失函数曲线如图3所示。真实图像与验证结果如图4所示(因附图需为黑白图,故将每个通道分开展示)。
为了验证模型对实际多光谱单像素采集数据的处理结果,组建了多光谱单像素成像实验系统,系统示意图如图5所示。所用的数字光投影仪为TI公司LightCrafter 4500,其内部可加载编码图案进行投影,实验中加载编码图案为深度学习训练中所采用的编码图案;所用的单像素探测器为滨松公司的光电倍增管,为实现多光谱测量,在光电倍增管前段放置不同波长的滤光片。
多光谱单像素成像实验系统的工作过程如下:利用数字光投影仪将编码图案依次照射目标场景,与此同时,三个单谱段探测的单像素探测器同步探测场景反射光在红、绿、蓝波段的强度,并将光强信号通过模数转换器传输至计算机。计算机通过光强信号的重构,最终获得场景的多光谱图像。如图2所示,系统采集数据作为网络的输入,测试训练好的模型,选用的目标场景是背景为黑色,字母为多光谱的字母图,测试结果如图6所示(因附图需为黑白图,故将每个通道分开展示)。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种多光谱单像素成像的深度学习图像重构方法,包括测量过程和重构过程,所述测量过程步骤如下:
步骤S1:利用编码图案对目标场景进行编码;假设多光谱图像X大小为N×N,颜色通道个数为C,采样率为p,则采样次数为M=p*N2,根据压缩感知理论,得到C个大小为M×1的测量向量Yc,多光谱单像素成像的正向模型表示为:
Yc=ΦXc(c=1,...,C) (1)
式中,
Figure FDA0003792059840000011
表示不同波段通过压缩测量获得的测量值,
Figure FDA0003792059840000012
表示单个颜色通道图像,c表示第c个通道,
Figure FDA0003792059840000013
是测量矩阵;
步骤S2:利用多光谱探测器记录不同波长对应的光强;单像素成像可采用两种方式:主动式成像或被动式成像;
主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体,而后利用探测器记录相应光强;
被动式成像通过成像镜头将物体成像在空间光调制器,而后通过探测器记录相应光强;
上述过程中,所述空间光调制器通过加载预定的编码图案实现对景物的编码;
步骤S3:在物理方式实现多光谱单像素探测后,再从所有的探测信号Yc中重构出信号X实现图像重构的过程;
其特征在于,所述实现图像重构的过程如下:
步骤1:建立样本数据;
步骤2:训练深度神经网络,深度神经网络由线性映射网络和卷积神经网络组成;
步骤3:将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′,大小为CM×1,线性映射网络以Y′为输入数据初步对数据进行线性处理;
步骤4:将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理,重建得到待观测图像X。
2.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法,其特征在于,所述步骤1建立样本数据的具体过程如下:
步骤101:选用数据集中的部分多光谱图像,通道数为C,对其进行缩放处理保证图像具有相同分辨率;
步骤102:将上述进行缩放处理后的图像按照一定的比例建立训练图像数据集
Figure FDA0003792059840000021
和验证图像数据集
Figure FDA0003792059840000022
I1和I2分别是训练集和验证集中样本数量;
步骤103:将上述训练图像数据集
Figure FDA0003792059840000023
和验证图像数据集
Figure FDA0003792059840000024
依照公式(1)进行模拟多光谱单像素压缩测量,即
Figure FDA0003792059840000025
根据上述模拟结果分别形成训练样本数据集
Figure FDA0003792059840000026
和验证样本数据集
Figure FDA0003792059840000027
3.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法,其特征在于,所述步骤2中的训练深度神经网络的过程如下:
步骤201:设定误差损失函数为:
Figure FDA0003792059840000028
式中,
Figure FDA0003792059840000029
表示训练图像数据集中第i个多光谱数据中的c通道图像,
Figure FDA00037920598400000210
表示第i个多光谱数据中的c通道图像对应的压缩测量值,Γ(·;θ)为所建立的深度神经网络,θ为待训练网络参数;
步骤202:将所述损失函数根据链式求导法则,由后向前逐层求导,然后采用随机梯度下降方法更新深度神经网络参数θ;
步骤203:通过反复对深度神经网络参数进行迭代优化,观察训练样本和验证样本的误差损失函数结果,直到能够满足系统的精度为止,保存深度神经网络模型,并对模型进行测试。
4.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法,其特征在于,所述深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层,第一扩张卷积层扩张因子为1加激活层、第二扩张卷积层扩张因子为2加批量归一化层加激活层、第三扩张卷积层扩张因子为3加批量归一化层加激活层、第四扩张卷积层扩张因子为4加批量归一化层加激活层、第五扩张卷积层扩张因子为3加批量归一化层加激活层、第六扩张卷积层扩张因子为2加批量归一化层加激活层、第七扩张卷积层扩张因子为1。
5.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法,其特征在于,所述测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。
CN201910447672.XA 2019-05-27 2019-05-27 一种多光谱单像素成像的深度学习图像重构方法 Active CN110175971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910447672.XA CN110175971B (zh) 2019-05-27 2019-05-27 一种多光谱单像素成像的深度学习图像重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910447672.XA CN110175971B (zh) 2019-05-27 2019-05-27 一种多光谱单像素成像的深度学习图像重构方法

Publications (2)

Publication Number Publication Date
CN110175971A CN110175971A (zh) 2019-08-27
CN110175971B true CN110175971B (zh) 2022-09-16

Family

ID=67696293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910447672.XA Active CN110175971B (zh) 2019-05-27 2019-05-27 一种多光谱单像素成像的深度学习图像重构方法

Country Status (1)

Country Link
CN (1) CN110175971B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216687B2 (en) 2019-05-15 2022-01-04 Getac Technology Corporation Image detection scanning method for object surface defects and image detection scanning system thereof
CN110751700B (zh) * 2019-10-17 2022-09-06 南昌大学 用于单像素成像的采样和重建集成深度学习网络的训练方法
CN112683787A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 物件表面检测系统及其基于人工神经网络的检测方法
CN111047681B (zh) * 2019-11-07 2022-03-22 北京理工大学 基于深度学习的单像素三维端到端重建方法及装置
US20220405972A1 (en) * 2019-11-15 2022-12-22 Sony Group Corporation An imaging sensor, an image processing device and an image processing method
US11133100B2 (en) * 2019-11-21 2021-09-28 GE Precision Healthcare LLC System and methods for reconstructing medical images using deep neural networks and recursive decimation of measurement data
CN111340183B (zh) * 2020-02-12 2022-08-16 南京理工大学 基于深度学习的散射成像装置和方法
CN111551252B (zh) * 2020-04-24 2021-08-17 浙江大学 一种基于神经网络的光谱响应设计方法
CN111697974B (zh) * 2020-06-19 2021-04-16 广东工业大学 一种压缩感知重构方法及装置
CN113820012B (zh) * 2020-06-19 2022-07-22 华为技术有限公司 一种多光谱图像处理方法及装置
CN112257773B (zh) * 2020-10-19 2022-06-10 重庆邮电大学 基于无线传感器网络多测量向量的机械装备故障诊断方法
CN112200264B (zh) * 2020-10-26 2023-08-15 北京理工大学 基于散射复用的高通量免成像分类方法与装置
CN112784711A (zh) * 2021-01-08 2021-05-11 清华大学 运动物体检测方法和装置
CN112881308B (zh) * 2021-01-22 2022-04-08 浙江大学 一种基于宽光谱编码和深度学习的光谱相机
CN113048907B (zh) * 2021-02-08 2022-04-22 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置
CN112950507B (zh) * 2021-03-08 2023-02-10 四川大学 基于深度学习提高散射环境下单像素彩色成像性能的方法
CN113325648A (zh) * 2021-07-07 2021-08-31 台州安奇灵智能科技有限公司 一种基于宾主液晶可调滤光片的光谱成像系统
CN113595941A (zh) * 2021-07-08 2021-11-02 武汉大学 深度学习的压缩感知大规模mimo信道估计方法及系统
CN115880207A (zh) * 2021-09-26 2023-03-31 深圳先进技术研究院 图像构建方法
CN113920297B (zh) * 2021-12-14 2022-03-18 南京理工大学 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法
CN115290004B (zh) * 2022-10-08 2023-02-28 南京理工大学 一种基于压缩感知与hsi的水下并行单像素成像方法
CN116164841B (zh) * 2023-04-26 2023-07-07 中国科学院长春光学精密机械与物理研究所 基于计算增强型像元分光光谱成像芯片的光谱重构方法
CN117876837B (zh) * 2024-03-11 2024-06-07 北京理工大学 基于深度展开网络的近红外单像素成像方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015516A1 (zh) * 2014-07-29 2016-02-04 暨南大学 一种使用单像素探测器的光学成像方法
CN106997581A (zh) * 2017-03-01 2017-08-01 杭州电子科技大学 一种利用深度学习重建高光谱图像的方法
CN107084789A (zh) * 2017-04-01 2017-08-22 上海理工大学 基于稀疏先验的单像素探测器光谱反射率重构方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015516A1 (zh) * 2014-07-29 2016-02-04 暨南大学 一种使用单像素探测器的光学成像方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106997581A (zh) * 2017-03-01 2017-08-01 杭州电子科技大学 一种利用深度学习重建高光谱图像的方法
CN107084789A (zh) * 2017-04-01 2017-08-22 上海理工大学 基于稀疏先验的单像素探测器光谱反射率重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的多光谱图像多标签场景分类;李一松;《电子设计工程》;20181205(第23期);全文 *

Also Published As

Publication number Publication date
CN110175971A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175971B (zh) 一种多光谱单像素成像的深度学习图像重构方法
Arce et al. Compressive coded aperture spectral imaging: An introduction
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
CN104154998B (zh) 一种基于压缩感知的计算多光谱成像图谱的重构方法
EP3832359A1 (en) Method and device for imaging of lensless hyperspectral image
CN204788661U (zh) 基于压缩感知的计算多光谱成像系统
US20120263382A1 (en) Optimized orthonormal system and method for reducing dimensionality of hyperspectral images
Tao et al. Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering
CN110443865B (zh) 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN114419392A (zh) 高光谱快照图像恢复方法、装置、设备及介质
CN109087262B (zh) 一种多视图光谱图像的重建方法、存储介质
CN112489200B (zh) 一种火焰光谱的三维重建装置和方法
CN117392327A (zh) 一种基于先验图像和自编码器模型的高光谱图像重构方法
CN116579959B (zh) 用于高光谱图像的融合成像方法及装置
CN115855839B (zh) 一种基于admm框架的改进空谱融合高光谱计算重构方法
CN108801457B (zh) 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法
Martínez et al. Efficient transfer learning for spectral image reconstruction from RGB images
CN114636704B (zh) 一种基于深度学习的太赫兹连续波三维层析成像方法
CN107895063A (zh) 一种压缩高光谱掩膜优化方法
CN111667434B (zh) 一种基于近红外增强的弱光彩色成像方法
Ma et al. Conveyor x-ray tomosynthesis imaging with optimized structured sequential illumination
Wei et al. Rapid hyperspectral imaging system via sub-sampling coding
Zhang et al. Sub-pixel dispersion model for coded aperture snapshot spectral imaging
Zhao et al. Efficient spectral single-pixel imaging via Morton frequency-domain scanning
CN112229514B (zh) 液晶高光谱计算成像系统的三维数据重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant