CN116433551A - 基于双光路rgb融合的高分辨率高光谱成像方法及装置 - Google Patents

基于双光路rgb融合的高分辨率高光谱成像方法及装置 Download PDF

Info

Publication number
CN116433551A
CN116433551A CN202310696883.3A CN202310696883A CN116433551A CN 116433551 A CN116433551 A CN 116433551A CN 202310696883 A CN202310696883 A CN 202310696883A CN 116433551 A CN116433551 A CN 116433551A
Authority
CN
China
Prior art keywords
noise
rgb
image
representing
frequency information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310696883.3A
Other languages
English (en)
Other versions
CN116433551B (zh
Inventor
李树涛
吴耀航
佃仁伟
郭安静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310696883.3A priority Critical patent/CN116433551B/zh
Publication of CN116433551A publication Critical patent/CN116433551A/zh
Application granted granted Critical
Publication of CN116433551B publication Critical patent/CN116433551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双光路RGB融合的高分辨率高光谱成像方法及装置，本发明方法包括：将针对同一场景两个光路的RGB图像进行融合得到融合图像
Figure ZY_2
；对时间步
Figure ZY_5
从最大时间步数T开始进行逆序均匀采样；首先计算时间步
Figure ZY_10
为最大时间步数T时的加噪高频信息
Figure ZY_4
；然后针对每一个时间步
Figure ZY_6
，根据时间步
Figure ZY_7
的加噪高频信息
Figure ZY_9
求解时间步
Figure ZY_1
的加噪高频信息
Figure ZY_11
直至
Figure ZY_12
时获得无噪高频信息
Figure ZY_14
；最终将融合图像
Figure ZY_3
和无噪高频信息
Figure ZY_8
相加得到高光谱图像
Figure ZY_13
。本发明旨在针对同一场景两个光路的RGB图像获得高分辨率的高光谱图像，从而显著提升高光谱图像的获取精度，大幅降低高光谱图像的获取成本。

Description

基于双光路RGB融合的高分辨率高光谱成像方法及装置
技术领域
本发明涉及高光谱成像技术领域，具体涉及一种基于双光路RGB融合的高分辨率高光谱成像方法及装置。
背景技术
高光谱成像以窄带记录现实世界的场景光谱，其中每个波段捕获特定光谱波长的信息，与普通RGB图像相比，高光谱图像具有更多通道，储存了更丰富的场景信息，基于这一特点，高光谱图像在遥感、医学诊断、目标检测等领域有广泛的应用。传统高光谱相机光路复杂，难以实现高分辨率和高信噪比成像，导致高光谱图像应用价值的降低，并且通过现有成像设备获取高分辨率高光谱图像存在成本高昂的问题，如何精确、低成本地获取高分辨率的高光谱图像这一关键技术问题吸引了众多关注。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于双光路RGB融合的高分辨率高光谱成像方法及装置，本发明旨在针对同一场景两个光路的RGB图像获得高空间分辨率的高光谱图像，从而显著提升高光谱图像的获取精度，大幅降低高光谱图像的获取成本。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于双光路RGB融合的高分辨率高光谱成像方法，包括：
S101，将针对同一场景两个光路的RGB图像进行融合得到融合图像
Figure SMS_1
；
S102，对时间步
Figure SMS_2
从最大时间步数T开始进行逆序均匀采样；
S103，首先计算时间步
Figure SMS_4
为最大时间步数T时的加噪高频信息/>
Figure SMS_7
；然后针对每一个时间步/>
Figure SMS_10
，根据时间步/>
Figure SMS_3
的加噪高频信息/>
Figure SMS_6
以及下式求解时间步/>
Figure SMS_9
的加噪高频信息/>
Figure SMS_11
直至/>
Figure SMS_5
时获得无噪高频信息/>
Figure SMS_8
：
Figure SMS_12
，
上式中，
Figure SMS_15
表示时间步/>
Figure SMS_17
的加噪权重/>
Figure SMS_21
的累乘，/>
Figure SMS_14
表示时间步/>
Figure SMS_20
的加噪权重，/>
Figure SMS_22
为预先训练好的噪声预测网络，/>
Figure SMS_23
和/>
Figure SMS_13
为两个光路的RGB图像，/>
Figure SMS_16
为时间步/>
Figure SMS_18
的方差项，/>
Figure SMS_19
为高斯噪声；
S104，将融合图像
Figure SMS_24
和无噪高频信息/>
Figure SMS_25
相加得到高光谱图像/>
Figure SMS_26
。
可选地，步骤S101中进行融合得到融合图像
Figure SMS_27
的函数表达式为：
Figure SMS_28
，
Figure SMS_29
，
上式中，
Figure SMS_30
和/>
Figure SMS_31
分别为两条光路的相机采样函数矩阵的广义逆，/>
Figure SMS_32
和/>
Figure SMS_33
为两个光路的RGB图像的光谱上采样结果，/>
Figure SMS_34
和/>
Figure SMS_35
为两个光路的RGB图像。
可选地，步骤S103中加噪高频信息
Figure SMS_36
的计算函数表达式为：
Figure SMS_37
，
上式中，表示时间步/>
Figure SMS_39
的加噪权重/>
Figure SMS_40
的累乘，/>
Figure SMS_41
表示对两个光路的RGB图像进行光谱上采样然后沿通道维进行逐像素相加得到高频信息，/>
Figure SMS_42
表示高斯噪声的标签值，且有：
Figure SMS_43
，
Figure SMS_44
，
上式中，
Figure SMS_47
和/>
Figure SMS_49
为中间变量，/>
Figure SMS_51
和/>
Figure SMS_45
表示两个光路的RGB图像的训练样本，/>
Figure SMS_48
和
Figure SMS_50
为两个光路的RGB图像的训练样本对应的高光谱图像，/>
Figure SMS_52
和/>
Figure SMS_46
分别为两条光路的相机采样函数矩阵的广义逆。
可选地，步骤S202中时间步
Figure SMS_53
的方差项的计算函数表达式为：
Figure SMS_54
，
上式中，
Figure SMS_55
表示加噪权重/>
Figure SMS_56
的累乘，/>
Figure SMS_57
表示加噪权重/>
Figure SMS_58
的累乘，/>
Figure SMS_59
表示时间步/>
Figure SMS_60
的加噪权重。
可选地，所述噪声预测网络包括：
光谱融合模块SFM，用于将针对同一场景两个光路的RGB图像进行融合得到图像
Figure SMS_61
；
信息激活模块IAM，用于将光谱融合获得的图像
Figure SMS_62
、当前时刻t的加噪高频信息
Figure SMS_63
沿着通道维逐像素相加进行信息激活得到激活后的加噪高频信息/>
Figure SMS_64
；
多尺度噪声预测模块NPRDM，用于将激活后的加噪高频信息
Figure SMS_65
进行多尺度噪声预测得到高斯噪声/>
Figure SMS_66
。
可选地，所述光谱融合模块SFM进行光谱融合的函数表达式为：
Figure SMS_67
，
上式中，
Figure SMS_68
表示光谱融合获得的图像，/>
Figure SMS_69
表示卷积核为3×3的二维卷积层，/>
Figure SMS_70
表示沿通道维堆叠操作，/>
Figure SMS_71
表示光谱上采样操作，/>
Figure SMS_72
和/>
Figure SMS_73
表示同一场景的两张RGB图像的训练样本；所述信息激活模块IAM进行信息激活的函数表达式为：
Figure SMS_74
，
上式中，
Figure SMS_75
代表GELU激活层，/>
Figure SMS_76
表示卷积核为3×3的二维卷积层，
Figure SMS_77
表示光谱融合获得的图像，/>
Figure SMS_78
表示当前时刻t的加噪高频信息；所述多尺度噪声预测模块NPRDM将激活后的加噪高频信息/>
Figure SMS_79
进行多尺度噪声预测得到高斯噪声/>
Figure SMS_80
包括：
S201，将激活后的加噪高频信息
Figure SMS_81
利用噪声提取模块NEB得到特征/>
Figure SMS_82
；所述噪声提取模块NEB包括依次相连的卷积核为3×3的二维卷积层、GELU激活层以及卷积核为3×3的二维卷积层；
S202，将特征
Figure SMS_83
首先通过卷积核为4×4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征/>
Figure SMS_84
；将特征/>
Figure SMS_85
首先通过卷积核为4×4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征/>
Figure SMS_86
；
S203，将特征
Figure SMS_87
首先通过卷积核为2×2的二维反卷积层进行通道上采样，再与特征/>
Figure SMS_88
堆叠后利用噪声提取模块NEB得到特征/>
Figure SMS_89
；将特征/>
Figure SMS_90
首先通过卷积核为2×2的二维反卷积层进行通道上采样，再与特征/>
Figure SMS_91
堆叠后利用噪声提取模块NEB得到特征/>
Figure SMS_92
通过卷积核为3×3的二维卷积层得到高斯噪声/>
Figure SMS_93
。
可选地，步骤S103之前还包括训练噪声预测网络：
S301，基于成像模型建立下式所示的高光谱图像
Figure SMS_94
和RGB图像/>
Figure SMS_95
的映射关系：
Figure SMS_96
，
上式中，
Figure SMS_97
为光谱上采样矩阵，/>
Figure SMS_98
为高频信息；
S302，获取用于作为训练数据的RGB-高光谱图像对
Figure SMS_100
、/>
Figure SMS_103
，/>
Figure SMS_106
和/>
Figure SMS_101
表示同一场景两个光路的RGB图像的训练样本，/>
Figure SMS_102
和/>
Figure SMS_104
表示/>
Figure SMS_105
和/>
Figure SMS_99
对应的高光谱图像；
S303，根据成像模型将
Figure SMS_107
和/>
Figure SMS_108
同一场景两个光路的RGB图像进行光谱上采样，然后沿通道维进行逐像素相加得到高频信息/>
Figure SMS_109
；
S304，生成高斯噪声的标签值
Figure SMS_110
，并对时间步数/>
Figure SMS_111
进行顺序均匀采样；
S305，分别设定各个时间步
Figure SMS_112
的加噪权重/>
Figure SMS_113
，并计算各个时间步/>
Figure SMS_114
的加噪高频信息
Figure SMS_115
；
S306，将加噪高频信息
Figure SMS_116
、同一场景两个光路的RGB图像/>
Figure SMS_117
和/>
Figure SMS_118
、时间步数/>
Figure SMS_119
三个参数送入噪声预测网络，并采用损失函数进行梯度下降优化从而得到训练好的噪声预测网络，所述损失函数的函数表达式为：
Figure SMS_120
，
上式中，
Figure SMS_121
表示噪声预测网络的网络参数/>
Figure SMS_122
的梯度，/>
Figure SMS_123
为高斯噪声的标签值，
Figure SMS_124
为噪声预测网络预测得到的噪声。
此外，本发明还提供一种基于双光路RGB融合的高分辨率高光谱成像装置，包括分光棱镜、高透滤光片、第一RGB传感器、第二RGB传感器和图像处理模块，所述分光棱镜输出的一路光线经过高透滤光片在第一RGB传感器中形成同一场景的第一个光路的RGB图像，所述分光棱镜输出的另一路光线在第二RGB传感器形成同一场景的第二个光路的RGB图像，所述第一RGB传感器、第二RGB传感器分别与图像处理模块相连，所述图像处理模块用于被编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法以将同一场景两个光路的RGB图像进行高光谱成像得到高光谱图像
Figure SMS_125
。
此外，本发明还提供一种基于双光路RGB融合的高分辨率高光谱成像装置，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法。
和现有技术相比，本发明主要具有下述优点：
1、本发明基于高光谱图像和RGB图像的映射关系，借助了基于噪声预测网络的扩散模型实现了对高光谱图像高频信息的准确预测，从而能够基于所输入的RGB图像，获取高空间分辨率（1000×1000以上）的高光谱图像，可高效解决通过现有成像设备获取高分辨率高光谱图像极其困难的问题，大幅降低高分辨率高光谱图像的获取成本。
2、本发明基于双光路RGB融合的高分辨率高光谱成像装置借助简便的分路成像方案，实现了对场景信息中特征光谱的高效互补采样，显著提升成像信息的信噪比。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中噪声预测网络的结构示意图。
图3为本发明实施例中成像装置的结构示意图。
具体实施方式
如图1 ，本实施例基于双光路RGB融合的高分辨率高光谱成像方法包括：
S101，将针对同一场景两个光路的RGB图像进行融合得到融合图像
Figure SMS_126
；
S102，对时间步
Figure SMS_127
从最大时间步数T开始进行逆序均匀采样；
S103，首先计算时间步
Figure SMS_129
为最大时间步数T时的加噪高频信息/>
Figure SMS_134
；然后针对每一个时间步/>
Figure SMS_136
，根据时间步/>
Figure SMS_128
的加噪高频信息/>
Figure SMS_131
以及下式求解时间步/>
Figure SMS_133
的加噪高频信息/>
Figure SMS_135
直至/>
Figure SMS_130
时获得无噪高频信息/>
Figure SMS_132
：
Figure SMS_137
，
上式中，
Figure SMS_140
表示时间步/>
Figure SMS_143
的加噪权重/>
Figure SMS_147
的累乘，/>
Figure SMS_139
表示时间步/>
Figure SMS_144
的加噪权重，/>
Figure SMS_149
为预先训练好的噪声预测网络，/>
Figure SMS_150
和/>
Figure SMS_138
为两个光路的RGB图像，/>
Figure SMS_142
为时间步/>
Figure SMS_145
的方差项，/>
Figure SMS_148
为高斯噪声，且有/>
Figure SMS_141
，当且仅当t＞1时，取/>
Figure SMS_146
；
S104，将融合图像
Figure SMS_151
和无噪高频信息/>
Figure SMS_152
相加得到高光谱图像/>
Figure SMS_153
，可表示为：
Figure SMS_154
。
本实施例中，步骤S101中进行融合得到融合图像
Figure SMS_155
的函数表达式为：
Figure SMS_156
，
Figure SMS_157
，
上式中，
Figure SMS_158
和/>
Figure SMS_159
分别为两条光路的相机采样函数矩阵的广义逆，/>
Figure SMS_160
和/>
Figure SMS_161
为两个光路的RGB图像的光谱上采样结果，/>
Figure SMS_162
和/>
Figure SMS_163
为两个光路的RGB图像。
本实施例中，步骤S103中加噪高频信息
Figure SMS_164
的计算函数表达式为：
Figure SMS_165
，
上式中，
Figure SMS_166
表示时间步/>
Figure SMS_167
的加噪权重/>
Figure SMS_168
的累乘，/>
Figure SMS_169
表示对两个光路的RGB图像进行光谱上采样然后沿通道维进行逐像素相加得到高频信息，/>
Figure SMS_170
表示高斯噪声的标签值，且有：
Figure SMS_171
，
Figure SMS_172
，
上式中，
Figure SMS_175
和/>
Figure SMS_177
为中间变量，/>
Figure SMS_178
和/>
Figure SMS_173
表示两个光路的RGB图像的训练样本，/>
Figure SMS_176
和
Figure SMS_179
为两个光路的RGB图像的训练样本对应的高光谱图像，/>
Figure SMS_180
和/>
Figure SMS_174
分别为两条光路的相机采样函数矩阵的广义逆。
本实施例中，步骤S202中时间步
Figure SMS_181
的方差项的计算函数表达式为：
Figure SMS_182
，
上式中，
Figure SMS_183
表示加噪权重/>
Figure SMS_184
的累乘，/>
Figure SMS_185
表示加噪权重/>
Figure SMS_186
的累乘，/>
Figure SMS_187
表示时间步/>
Figure SMS_188
的加噪权重。
如图2所示，本实施例中的噪声预测网络包括：
光谱融合模块SFM，用于将针对同一场景两个光路的RGB图像进行融合得到图像
Figure SMS_189
；
信息激活模块IAM，用于将光谱融合获得的图像
Figure SMS_190
、当前时刻t的加噪高频信息
Figure SMS_191
沿着通道维逐像素相加进行信息激活得到激活后的加噪高频信息/>
Figure SMS_192
；
多尺度噪声预测模块NPRDM，用于将激活后的加噪高频信息
Figure SMS_193
进行多尺度噪声预测得到高斯噪声/>
Figure SMS_194
。
参见图2，光谱融合模块SFM进行光谱融合的函数表达式为：
Figure SMS_195
，
上式中，
Figure SMS_196
表示光谱融合获得的图像，/>
Figure SMS_197
表示卷积核为3×3的二维卷积层，/>
Figure SMS_198
表示沿通道维堆叠操作，/>
Figure SMS_199
表示光谱上采样操作（本实施例中通过3×3的二维卷积操作实现），/>
Figure SMS_200
和/>
Figure SMS_201
表示同一场景的两张RGB图像的训练样本；
参见图2，信息激活模块IAM进行信息激活的函数表达式为：
Figure SMS_202
，
上式中，
Figure SMS_203
代表GELU激活层，/>
Figure SMS_204
表示卷积核为3×3的二维卷积层，
Figure SMS_205
表示光谱融合获得的图像，/>
Figure SMS_206
表示当前时刻t的加噪高频信息；
参见图2，多尺度噪声预测模块NPRDM将激活后的加噪高频信息
Figure SMS_207
进行多尺度噪声预测得到高斯噪声/>
Figure SMS_208
包括：
S201，将激活后的加噪高频信息
Figure SMS_209
利用噪声提取模块NEB得到特征/>
Figure SMS_210
，可表示为：
Figure SMS_211
；
S202，将特征
Figure SMS_212
首先通过卷积核为4×4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征/>
Figure SMS_213
；将特征/>
Figure SMS_214
首先通过卷积核为4×4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征/>
Figure SMS_215
；可表示为：
Figure SMS_216
，
Figure SMS_217
，
S203，将特征
Figure SMS_218
首先通过卷积核为2×2的二维反卷积层进行通道上采样，再与特征/>
Figure SMS_219
堆叠后利用噪声提取模块NEB得到特征/>
Figure SMS_220
；将特征/>
Figure SMS_221
首先通过卷积核为2×2的二维反卷积层进行通道上采样，再与特征/>
Figure SMS_222
堆叠后利用噪声提取模块NEB得到特征/>
Figure SMS_223
通过卷积核为3×3的二维卷积层得到高斯噪声/>
Figure SMS_224
；可表示为：
Figure SMS_225
，
Figure SMS_226
，
Figure SMS_227
，
参见图2可知，噪声提取模块NEB包括依次相连的卷积核为3×3的二维卷积层、GELU激活层以及卷积核为3×3的二维卷积层；图2中，
Figure SMS_228
代表卷积核为4×4的二维卷积层，起通道下采样的作用；/>
Figure SMS_229
代表卷积核为2×2的二维反卷积层，起通道上采样作用；多尺度噪声预测模块NPRDM内部为噪声提取模块NEB和通道操作模块（通过卷积实现通道下采样和通过反卷积实现通道上采样）的U型残差级联结构。
本实施例中，步骤S101～S104为基于噪声预测网络的扩散模型的反向过程；实际应用时仅需要进行扩散模型的反向过程。此外，作为一种可选的实施方式，本实施例步骤S103之前还包括训练噪声预测网络（即扩散模型的前向过程），实际应用时该网络已预先训练完毕，无需再进行训练噪声预测网络（即扩散模型的前向过程），在此列出是为了原理逻辑叙述的完整性。具体地，训练噪声预测网络包括：
S301，基于成像模型建立下式所示的高光谱图像
Figure SMS_230
和RGB图像/>
Figure SMS_231
的映射关系：
Figure SMS_232
，
上式中，
Figure SMS_233
为光谱上采样矩阵，/>
Figure SMS_234
为高频信息；
S302，获取用于作为训练数据的RGB-高光谱图像对
Figure SMS_237
、/>
Figure SMS_238
，/>
Figure SMS_240
和/>
Figure SMS_235
表示同一场景两个光路的RGB图像的训练样本，/>
Figure SMS_239
和/>
Figure SMS_241
表示/>
Figure SMS_242
和/>
Figure SMS_236
对应的高光谱图像；
S303，根据成像模型将
Figure SMS_243
和/>
Figure SMS_244
同一场景两个光路的RGB图像进行光谱上采样，然后沿通道维进行逐像素相加得到高频信息/>
Figure SMS_245
，可表示为：
Figure SMS_246
，
Figure SMS_247
，
上式中，
Figure SMS_249
和/>
Figure SMS_251
为中间变量，/>
Figure SMS_253
和/>
Figure SMS_248
表示两个光路的RGB图像的训练样本，/>
Figure SMS_252
和
Figure SMS_254
为两个光路的RGB图像的训练样本对应的高光谱图像，/>
Figure SMS_255
和/>
Figure SMS_250
分别为两条光路的相机采样函数矩阵的广义逆；
S304，生成高斯噪声的标签值
Figure SMS_256
，并对时间步数/>
Figure SMS_257
进行顺序均匀采样，即
Figure SMS_258
，其中，/>
Figure SMS_259
表示标准正态分布，/>
Figure SMS_260
表示最大时间步数；
S305，分别设定各个时间步
Figure SMS_261
的加噪权重/>
Figure SMS_262
，并计算各个时间步/>
Figure SMS_263
的加噪高频信息
Figure SMS_264
：
Figure SMS_265
，
上式中，
Figure SMS_266
表示时间步/>
Figure SMS_267
的加噪权重/>
Figure SMS_268
的累乘（/>
Figure SMS_269
），/>
Figure SMS_270
表示对两个光路的RGB图像进行光谱上采样然后沿通道维进行逐像素相加得到高频信息，/>
Figure SMS_271
表示高斯噪声的标签值；
S306，将加噪高频信息
Figure SMS_272
、同一场景两个光路的RGB图像/>
Figure SMS_273
和/>
Figure SMS_274
、时间步数/>
Figure SMS_275
三个参数送入噪声预测网络，并采用损失函数进行梯度下降优化从而得到训练好的噪声预测网络（本实施例中记为/>
Figure SMS_276
），损失函数的函数表达式为：
Figure SMS_277
，
上式中，
Figure SMS_278
表示噪声预测网络的网络参数/>
Figure SMS_279
的梯度，/>
Figure SMS_280
为高斯噪声的标签值，
Figure SMS_281
为噪声预测网络预测得到的噪声。重复训练直至噪声预测网络的损失函数收敛，完成前向加噪过程，从而可得到训练好的噪声预测网络/>
Figure SMS_282
。
综上所述，本实施例基于双光路RGB融合的高分辨率高光谱成像方法充分考虑了成像模型，建立了高光谱图像和RGB图像的映射关系，借助扩散模型实现了对高光谱图像高频信息的准确预测，从而能够基于所输入的RGB图像，获取高分辨率高光谱图像，可高效解决通过现有成像设备获取高分辨率高光谱图像极其困难的问题，大幅降低高分辨率高光谱图像的获取成本；本实施例基于双光路RGB融合的高分辨率高光谱成像方法基于双光路RGB融合的高分辨率高光谱成像装置借助简便的分路成像方案，实现了对场景信息中特征光谱的高效互补采样，显著提升成像信息的信噪比。
如图3所示，本实施例基于双光路RGB融合的高分辨率高光谱成像装置包括分光棱镜1、高透滤光片2、第一RGB传感器3、第二RGB传感器4和图像处理模块，分光棱镜1输出的一路光线经过高透滤光片2在第一RGB传感器3中形成同一场景的第一个光路的RGB图像（仅允许波长＞500nm的光线进入），分光棱镜1输出的另一路光线在第二RGB传感器4形成同一场景的第二个光路的RGB图像，第一RGB传感器3、第二RGB传感器4分别与图像处理模块相连，图像处理模块用于被编程或配置以执行前述基于双光路RGB融合的高分辨率高光谱成像方法以将同一场景两个光路的RGB图像进行高光谱成像得到高光谱图像
Figure SMS_283
。采用本实施例的高光谱成像装置拍摄场景时，光线经过分光棱镜分为两条光路，一条光路含高透滤光片2和第一RGB传感器3，另一条光路含第二RGB传感器4，分别通过两条光路获取采样信息不同的两张RGB图像；然后利用图像处理模块执行前文基于双光路RGB融合的高分辨率高光谱成像方法以将同一场景两个光路的RGB图像进行高光谱成像得到高分辨率的高光谱图像/>
Figure SMS_284
。本实施例基于双光路RGB融合的高分辨率高光谱成像装置能够基于两张RGB图像，通过执行前文基于双光路RGB融合的高分辨率高光谱成像方法获得高分辨率高光谱图像，从而显著提升高光谱图像的获取精度，大幅降低高光谱图像的获取成本。本实施例中，第一RGB传感器3、第二RGB传感器4均采用IMX296C RGB传感器以用于获取固定采样的RGB图像，此外也可以根据需要采用其他所需型号的RGB传感器，且与一般RGB传感器相同，其前端均包含目镜镜头结构。光线在经过目镜之前先通过高透滤光片2，仅允许波长大于500nm的光线进入第一RGB传感器3，用于获取带通采样的RGB图像，从而获得采样信息不同的两张RGB图像。
此外，本实施例还提供一种基于双光路RGB融合的高分辨率高光谱成像装置，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，包括：
S101，将针对同一场景两个光路的RGB图像进行融合得到融合图像
Figure QLYQS_1
；
S102，对时间步
Figure QLYQS_2
从最大时间步数T开始进行逆序均匀采样；
S103，首先计算时间步
Figure QLYQS_4
为最大时间步数T时的加噪高频信息/>
Figure QLYQS_10
；然后针对每一个时间步/>
Figure QLYQS_11
，根据时间步/>
Figure QLYQS_5
的加噪高频信息/>
Figure QLYQS_6
以及下式求解时间步/>
Figure QLYQS_8
的加噪高频信息/>
Figure QLYQS_9
直至
Figure QLYQS_3
时获得无噪高频信息/>
Figure QLYQS_7
：
Figure QLYQS_12
，
上式中，
Figure QLYQS_14
表示时间步/>
Figure QLYQS_17
的加噪权重/>
Figure QLYQS_19
的累乘，/>
Figure QLYQS_13
表示时间步/>
Figure QLYQS_15
的加噪权重，/>
Figure QLYQS_18
为预先训练好的噪声预测网络，/>
Figure QLYQS_20
和/>
Figure QLYQS_16
为两个光路的RGB图像，/>
Figure QLYQS_21
为时间步/>
Figure QLYQS_22
的方差项，/>
Figure QLYQS_23
为高斯噪声；
S104，将融合图像
Figure QLYQS_24
和无噪高频信息/>
Figure QLYQS_25
相加得到高光谱图像/>
Figure QLYQS_26
。
2.根据权利要求1所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S101中进行融合得到融合图像
Figure QLYQS_27
的函数表达式为：
Figure QLYQS_28
，
Figure QLYQS_29
，
上式中，
Figure QLYQS_30
和/>
Figure QLYQS_31
分别为两条光路的相机采样函数矩阵的广义逆，/>
Figure QLYQS_32
和/>
Figure QLYQS_33
为两个光路的RGB图像的光谱上采样结果，/>
Figure QLYQS_34
和/>
Figure QLYQS_35
为两个光路的RGB图像。
3.根据权利要求1所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S103中加噪高频信息
Figure QLYQS_36
的计算函数表达式为：
Figure QLYQS_37
，
上式中，
Figure QLYQS_38
表示时间步/>
Figure QLYQS_39
的加噪权重/>
Figure QLYQS_40
的累乘，/>
Figure QLYQS_41
表示对两个光路的RGB图像进行光谱上采样然后沿通道维进行逐像素相加得到高频信息，/>
Figure QLYQS_42
表示高斯噪声的标签值，且有：
Figure QLYQS_43
，
Figure QLYQS_44
，
上式中，
Figure QLYQS_46
和/>
Figure QLYQS_49
为中间变量，/>
Figure QLYQS_52
和/>
Figure QLYQS_45
表示两个光路的RGB图像的训练样本，/>
Figure QLYQS_48
和/>
Figure QLYQS_50
为两个光路的RGB图像的训练样本对应的高光谱图像，/>
Figure QLYQS_51
和/>
Figure QLYQS_47
分别为两条光路的相机采样函数矩阵的广义逆。
4.根据权利要求3所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S202中时间步
Figure QLYQS_53
的方差项的计算函数表达式为：
Figure QLYQS_54
，
上式中，
Figure QLYQS_55
表示加噪权重/>
Figure QLYQS_56
的累乘，/>
Figure QLYQS_57
表示加噪权重/>
Figure QLYQS_58
的累乘，/>
Figure QLYQS_59
表示时间步/>
Figure QLYQS_60
的加噪权重。
5.根据权利要求1所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，所述噪声预测网络包括：
光谱融合模块SFM，用于将针对同一场景两个光路的RGB图像进行融合得到图像
Figure QLYQS_61
；
信息激活模块IAM，用于将光谱融合获得的图像
Figure QLYQS_62
、当前时刻t的加噪高频信息/>
Figure QLYQS_63
沿着通道维逐像素相加进行信息激活得到激活后的加噪高频信息/>
Figure QLYQS_64
；
多尺度噪声预测模块NPRDM，用于将激活后的加噪高频信息
Figure QLYQS_65
进行多尺度噪声预测得到高斯噪声/>
Figure QLYQS_66
。
6.根据权利要求5所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，所述光谱融合模块SFM进行光谱融合的函数表达式为：
Figure QLYQS_67
，
上式中，
Figure QLYQS_68
表示光谱融合获得的图像，/>
Figure QLYQS_69
表示卷积核为3×3的二维卷积层，/>
Figure QLYQS_70
表示沿通道维堆叠操作，/>
Figure QLYQS_71
表示光谱上采样操作，/>
Figure QLYQS_72
和/>
Figure QLYQS_73
表示同一场景的两张RGB图像的训练样本；所述信息激活模块IAM进行信息激活的函数表达式为：
Figure QLYQS_74
，
上式中，
Figure QLYQS_75
代表GELU激活层，/>
Figure QLYQS_76
表示卷积核为3×3的二维卷积层，/>
Figure QLYQS_77
表示光谱融合获得的图像，/>
Figure QLYQS_78
表示当前时刻t的加噪高频信息；所述多尺度噪声预测模块NPRDM将激活后的加噪高频信息/>
Figure QLYQS_79
进行多尺度噪声预测得到高斯噪声/>
Figure QLYQS_80
包括：
S201，将激活后的加噪高频信息
Figure QLYQS_81
利用噪声提取模块NEB得到特征/>
Figure QLYQS_82
；所述噪声提取模块NEB包括依次相连的卷积核为3×3的二维卷积层、GELU激活层以及卷积核为3×3的二维卷积层；
S202，将特征
Figure QLYQS_83
首先通过卷积核为4×4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征/>
Figure QLYQS_84
；将特征/>
Figure QLYQS_85
首先通过卷积核为4×4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征/>
Figure QLYQS_86
；
S203，将特征
Figure QLYQS_87
首先通过卷积核为2×2的二维反卷积层进行通道上采样，再与特征
Figure QLYQS_88
堆叠后利用噪声提取模块NEB得到特征/>
Figure QLYQS_89
；将特征/>
Figure QLYQS_90
首先通过卷积核为2×2的二维反卷积层进行通道上采样，再与特征/>
Figure QLYQS_91
堆叠后利用噪声提取模块NEB得到特征/>
Figure QLYQS_92
通过卷积核为3×3的二维卷积层得到高斯噪声/>
Figure QLYQS_93
。
7.根据权利要求6所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S103之前还包括训练噪声预测网络：
S301，基于成像模型建立下式所示的高光谱图像
Figure QLYQS_94
和RGB图像/>
Figure QLYQS_95
的映射关系：
Figure QLYQS_96
，
上式中，
Figure QLYQS_97
为光谱上采样矩阵，/>
Figure QLYQS_98
为高频信息；
S302，获取用于作为训练数据的RGB-高光谱图像对
Figure QLYQS_101
、/>
Figure QLYQS_103
，/>
Figure QLYQS_105
和/>
Figure QLYQS_100
表示同一场景两个光路的RGB图像的训练样本，/>
Figure QLYQS_102
和/>
Figure QLYQS_104
表示/>
Figure QLYQS_106
和/>
Figure QLYQS_99
对应的高光谱图像；
S303，根据成像模型将
Figure QLYQS_107
和/>
Figure QLYQS_108
同一场景两个光路的RGB图像进行光谱上采样，然后沿通道维进行逐像素相加得到高频信息/>
Figure QLYQS_109
；
S304，生成高斯噪声的标签值
Figure QLYQS_110
，并对时间步数/>
Figure QLYQS_111
进行顺序均匀采样；
S305，分别设定各个时间步
Figure QLYQS_112
的加噪权重/>
Figure QLYQS_113
，并计算各个时间步/>
Figure QLYQS_114
的加噪高频信息/>
Figure QLYQS_115
；
S306，将加噪高频信息
Figure QLYQS_116
、同一场景两个光路的RGB图像/>
Figure QLYQS_117
和/>
Figure QLYQS_118
、时间步数/>
Figure QLYQS_119
三个参数送入噪声预测网络，并采用损失函数进行梯度下降优化从而得到训练好的噪声预测网络，所述损失函数的函数表达式为：
Figure QLYQS_120
，
上式中，
Figure QLYQS_121
表示噪声预测网络的网络参数/>
Figure QLYQS_122
的梯度，/>
Figure QLYQS_123
为高斯噪声的标签值，
Figure QLYQS_124
为噪声预测网络预测得到的噪声。
8.一种基于双光路RGB融合的高分辨率高光谱成像装置，其特征在于，包括分光棱镜（1）、高透滤光片（2）、第一RGB传感器（3）、第二RGB传感器（4）和图像处理模块，所述分光棱镜（1）输出的一路光线经过高透滤光片（2）在第一RGB传感器（3）中形成同一场景的第一个光路的RGB图像，所述分光棱镜（1）输出的另一路光线在第二RGB传感器（4）形成同一场景的第二个光路的RGB图像，所述第一RGB传感器（3）、第二RGB传感器（4）分别与图像处理模块相连，所述图像处理模块用于被编程或配置以执行权利要求1～7中任意一项所述基于双光路RGB融合的高分辨率高光谱成像方法以将同一场景两个光路的RGB图像进行高光谱成像得到高光谱图像
Figure QLYQS_125
。
9.一种基于双光路RGB融合的高分辨率高光谱成像装置，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～7中任意一项所述基于双光路RGB融合的高分辨率高光谱成像方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～7中任意一项所述基于双光路RGB融合的高分辨率高光谱成像方法。
CN202310696883.3A 2023-06-13 2023-06-13 基于双光路rgb融合的高分辨率高光谱成像方法及装置 Active CN116433551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310696883.3A CN116433551B (zh) 2023-06-13 2023-06-13 基于双光路rgb融合的高分辨率高光谱成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310696883.3A CN116433551B (zh) 2023-06-13 2023-06-13 基于双光路rgb融合的高分辨率高光谱成像方法及装置

Publications (2)

Publication Number Publication Date
CN116433551A true CN116433551A (zh) 2023-07-14
CN116433551B CN116433551B (zh) 2023-08-22

Family

ID=87080094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310696883.3A Active CN116433551B (zh) 2023-06-13 2023-06-13 基于双光路rgb融合的高分辨率高光谱成像方法及装置

Country Status (1)

Country Link
CN (1) CN116433551B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267684A1 (en) * 2013-03-15 2014-09-18 Chemlmage Corporation System and method for detecting contamination in food using hyperspectral imaging
US20200400571A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Hyperspectral imaging with fixed pattern noise cancellation
CN114240756A (zh) * 2021-12-16 2022-03-25 北京邮电大学 一种基于字典原子嵌入的rgb图像光谱信息重构方法
CN114972022A (zh) * 2022-04-18 2022-08-30 北京理工大学 一种基于非对齐rgb图像的融合高光谱超分辨率方法和系统
CN114998109A (zh) * 2022-08-03 2022-09-02 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
US20220329767A1 (en) * 2019-10-01 2022-10-13 University Of Washington System and method for analyzing surface features using a low-dimensional color space camera
CN115311187A (zh) * 2022-10-12 2022-11-08 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质
US20220366536A1 (en) * 2021-04-13 2022-11-17 Hunan University High-resolution hyperspectral computational imaging method and system and medium
KR20220169868A (ko) * 2021-06-21 2022-12-28 주식회사 리매진 초분광 이미지 생성 장치 및 방법
CN116091916A (zh) * 2022-11-22 2023-05-09 南京信息工程大学 一种多尺度从rgb图像重建对应的高光谱图像算法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267684A1 (en) * 2013-03-15 2014-09-18 Chemlmage Corporation System and method for detecting contamination in food using hyperspectral imaging
US20200400571A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Hyperspectral imaging with fixed pattern noise cancellation
US20220329767A1 (en) * 2019-10-01 2022-10-13 University Of Washington System and method for analyzing surface features using a low-dimensional color space camera
US20220366536A1 (en) * 2021-04-13 2022-11-17 Hunan University High-resolution hyperspectral computational imaging method and system and medium
KR20220169868A (ko) * 2021-06-21 2022-12-28 주식회사 리매진 초분광 이미지 생성 장치 및 방법
CN114240756A (zh) * 2021-12-16 2022-03-25 北京邮电大学 一种基于字典原子嵌入的rgb图像光谱信息重构方法
CN114972022A (zh) * 2022-04-18 2022-08-30 北京理工大学 一种基于非对齐rgb图像的融合高光谱超分辨率方法和系统
CN114998109A (zh) * 2022-08-03 2022-09-02 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN115311187A (zh) * 2022-10-12 2022-11-08 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN116091916A (zh) * 2022-11-22 2023-05-09 南京信息工程大学 一种多尺度从rgb图像重建对应的高光谱图像算法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUTAO LI: "Learning the external and internal priors for multispectral and hyperspectral image fusion", 《SCIENCE CHINA INFORMATION SCIENCES》, vol. 66, pages 1 - 15 *
YAQIAN LONG: "Dual Self-Attention Swin Transformer for Hyperspectral Image Super-Resolution", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 61, pages 1 - 12 *
宋蓓蓓 等: "Res2-Unet 深度学习网络的RGB-高光谱图像重建", 《光学精密工程》, vol. 30, no. 13, pages 1606 - 1619 *

Also Published As

Publication number Publication date
CN116433551B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
EP3414539B1 (en) Color matching across multiple sensors in an optical system
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
WO2021063341A1 (zh) 图像增强方法以及装置
Hua et al. A normalized convolutional neural network for guided sparse depth upsampling.
JP5075648B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US20160155241A1 (en) Target Detection Method and Apparatus Based On Online Training
CN114757831B (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
JP4442413B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2023202400A1 (zh) 分割模型的训练方法及装置、图像识别方法及装置
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
CN111429371B (zh) 图像处理方法、装置及终端设备
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN107220945B (zh) 多重退化的极模糊图像的复原方法
WO2022247232A1 (zh) 一种图像增强方法、装置、终端设备及存储介质
Kan et al. A GAN-based input-size flexibility model for single image dehazing
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
Garduño-Ramón et al. A new method for inpainting of depth maps from time-of-flight sensors based on a modified closing by reconstruction algorithm
CN116433551B (zh) 基于双光路rgb融合的高分辨率高光谱成像方法及装置
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN116109538A (zh) 一种基于简单门单元特征提取的图像融合方法
Soma et al. An efficient and contrast-enhanced video de-hazing based on transmission estimation using HSL color model
Conde et al. Bsraw: Improving blind raw image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant