CN113743001B - 面向光谱超分辨率重建的滤光片设计方法、滤光片及系统 - Google Patents
面向光谱超分辨率重建的滤光片设计方法、滤光片及系统 Download PDFInfo
- Publication number
- CN113743001B CN113743001B CN202110930163.XA CN202110930163A CN113743001B CN 113743001 B CN113743001 B CN 113743001B CN 202110930163 A CN202110930163 A CN 202110930163A CN 113743001 B CN113743001 B CN 113743001B
- Authority
- CN
- China
- Prior art keywords
- layer
- filter
- reconstruction
- hyperspectral image
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013461 design Methods 0.000 title claims abstract description 25
- 230000003287 optical effect Effects 0.000 title claims description 58
- 230000003595 spectral effect Effects 0.000 title claims description 56
- 230000004044 response Effects 0.000 claims abstract description 114
- 238000001228 spectrum Methods 0.000 claims abstract description 89
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000006835 compression Effects 0.000 claims description 30
- 238000007906 compression Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011084 recovery Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向光谱超分辨率重建的滤光片设计方法、滤光片及系统，本发明设计方法包括采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数的步骤，所述滤光片响应参数优化模型包括：滤光片响应曲线学习层，用于基于滤光片组响应参数模拟滤光片，并将高光谱图像训练数据中的高光谱图像样本生成对应的多通道图像；高光谱图像重构网络，用于从多通道图像重构获得重构后的高光谱图像。本发明基于滤光片响应曲线学习层、高光谱图像重构网络能够解决联合优化存在的超参数问题，实现滤光片组响应参数和高光谱图像重构网络同时达到最优，利用该方案成像硬件可给出更优的光谱恢复结果。
Description
技术领域
本发明涉及面向光谱超分辨重建的滤光片设计技术，具体涉及面向光谱超分辨率重建的滤光片设计方法、滤光片及系统。
背景技术
高光谱图像较RGB图像具备更高的光谱分辨率，能够准确捕捉物质的光谱差异，已被广泛应用于遥感、航天、医疗、工业和汽车等领域。然而，为了保证相机具备较高的信噪比，同时光谱分辨率和空间分辨率是相互制约的，目前的高光谱成像设备往往成像时间慢、获取的图像空间分辨率低、体积巨大且携带不方便。这些缺点阻碍着高光谱技术的推广、发展和应用，迫使人们常常放弃性能而选择性价比更高的彩色相机或者多光谱相机。另一方面，通过特定响应的滤光片获取单通道图像、多滤光片组合的方式获取多光谱图像的技术已十分成熟。这些滤光片响应往往是窄带通高透滤光片，滤光片之间的关联关系弱，不适用于恢复多光谱图像的高光谱信息。因此，结合先进的深度学习技术，寻找更优的滤光片响应组合，实现可快速成像、具备高空间分辨率、小巧易携带的高光谱成像设备具备重大意义。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，解决上述最优滤光片组合和响应函数设计难题，提供一种面向光谱超分辨率重建的滤光片设计方法、滤光片及系统，本发明基于滤光片响应曲线学习层、高光谱图像重构网络能够解决联合优化存在的超参数问题，实现滤光片组响应参数和高光谱图像重构网络同时达到最优，利用该方案成像硬件可给出更优的光谱恢复结果。
为了解决上述技术问题，本发明采用的技术方案为：
一种面向光谱超分辨率重建的滤光片设计方法，包括采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数的步骤，所述滤光片响应参数优化模型包括：
滤光片响应曲线学习层，用于基于滤光片组响应参数模拟滤光片，并将高光谱图像训练数据中的高光谱图像样本生成对应的多通道图像；
高光谱图像重构网络，用于从多通道图像重构获得重构后的高光谱图像。
可选地，所述滤光片响应曲线学习层的函数表达式为：
M=Dot(H,R)
上式中，M表示滤光片响应曲线学习层输出的多通道图像，Dot表示在光谱维上的矩阵乘法，H表示输入的w×h×l的高光谱图像，R为滤光片的滤光片响应参数，其中得到的多通道图像M的尺寸为w×h×n，滤光片响应参数R大小为的l×n，w为高光谱图像的宽度，h为高光谱图像的高度，l为高光谱图像的光谱波段数，n为滤光片组的滤光片数量。
可选地，所述高光谱图像重构网络包括输出卷积层和堆叠的多个迭代反投影光谱重构模块，所述堆叠的多个迭代反投影光谱重构模块中第一个迭代反投影光谱重构模块的输入端与滤光片响应曲线学习层的输出端相连、最后一个迭代反投影光谱重构模块的输出端通过输出卷积层输出重构后的高光谱图像，所述迭代反投影光谱重构模块包括依次相连的特征压缩层、光谱重构层、滤光片光谱响应学习层、投影误差层、误差光谱上采样层、微调误差层以及特征加和层，其中滤光片光谱响应学习层与滤光片响应曲线学习层共享滤光片的滤光片响应参数。
可选地，所述特征压缩层包含64个1×1大小的卷积核，且特征压缩层的函数表达式如下式所示：
F t 0=σ(w t 0 F t-1 + b t 0)
上式中，F t 0为特征压缩层压缩后得到的精馏特征，F t-1 为输入的堆叠特征，σ为激活函数，w t 0为特征压缩层的卷积核权重，b t 0为特征压缩层的偏置量，t为迭代阶段；
所述光谱重构层包含l个3×3大小的卷积核，且光谱重构层的函数表达式如下式所示：
H t =σ(w t 1 F t 0+ b t 1)
上式中，H t 为光谱重构层重构出的高光谱图像，σ为激活函数，w t 1为光谱重构层的卷积核权重，b t 1为光谱重构层的偏置量；
所述滤光片光谱响应学习层的函数表达式如下式所示：
M t =Dot(H t ,R)
上式中，M t 为滤光片光谱响应学习层得到的多通道图像，Dot表示在光谱维上的矩阵乘法， R为滤光片的滤光片响应参数，且所述滤光片光谱响应学习层与滤光片响应曲线学习层复用；
所述投影误差层的函数表达式如下式所示：
e t M = M t - M
上式中，e t M 为投影误差层得到的重构误差，M表示滤光片响应曲线学习层输出的多通道图像；
所述误差光谱上采样层包含64个3×3大小的卷积核，且误差光谱上采样层的函数表达式如下式所示：
e t H =w t 2 e t M +b t 2
上式中，e t H 为误差光谱上采样层进行光谱上采样得到的误差特征，w t 2为误差光谱上采样层的卷积核权重，b t 2为误差光谱上采样层的偏置量；
所述微调误差层为包含2层卷积层和一个激活层的残差模块，且每个卷积层有64个3×3大小的卷积核，且微调误差层的函数表达式如下式所示：
e t F =(w t 4 σ′(w t 3 e t H +b t 3)+b t 4)+e t H
上式中，e t F 为残差模块微调得到的误差特征，σ′为激活函数，w t 3和w t 4为残差模块2层卷积层的卷积核权重，b t 3和b t 4为残差模块2层卷积层的偏置量；
所述特征加和层的函数表达式如下式所示：
F t =F t 0+e t F
上式中，F t 为特征加和层进行特征加和得到的堆叠特征，F t 0为特征压缩层压缩后得到的精馏特征。
可选地，所述输出卷积层的函数表达式如下式所示：
上式中，表示重构后的高光谱图像，/>为卷积核权重，c为特征堆叠操作，/>为偏置量，F 1～F t 分别为最后一个迭代反投影光谱重构模块在第1～t个迭代阶段输出的堆叠特征，t为迭代反投影光谱重构模块的总数量；所述采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数时，采用的误差函数为：
上式中，net{w,R}表示滤光片响应参数优化模型的所有参数w以及滤光片的滤光片响应参数R，H(^)表示重构后的高光谱图像，H表示输入的高光谱图像，N为高光谱图像训练数据中的高光谱图像样本数量。
此外，本发明还提供一种面向光谱超分辨率重建的滤光片设计系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述面向光谱超分辨率重建的滤光片设计方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述面向光谱超分辨率重建的滤光片设计方法的计算机程序。
此外，本发明还提供一种滤光片，所述滤光片的滤光片响应参数为采用所述面向光谱超分辨率重建的滤光片设计方法得到的滤光片响应参数。
此外，本发明还提供一种高光谱相机，包括相机本体和设于相机本体进光侧的滤光片，所述滤光片为所述的滤光片。
此外，本发明还提供一种高光谱图像成像系统，包括：
高光谱相机，包括相机本体和设于相机本体进光侧的滤光片，所述滤光片为所述的滤光片，所述高光谱相机用于通过滤光片采集获得的多通道图像；
数据处理装置，用于将得到的多通道图像通过所述高光谱图像重构网络得到重构后的高光谱图像。
和现有技术相比，本发明主要具有下述优点：本发明设计方法包括采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数的步骤，所述滤光片响应参数优化模型包括：滤光片响应曲线学习层，用于基于滤光片组响应参数模拟滤光片，并将高光谱图像训练数据中的高光谱图像样本生成对应的多通道图像；高光谱图像重构网络，用于从多通道图像重构获得重构后的高光谱图像。本发明基于滤光片响应曲线学习层、高光谱图像重构网络模仿滤光片响应过程，将滤光片响应过程嵌入到高光谱图像重构网络，可通过不断迭代和重复该过程实现参数优化，能够解决联合优化存在的超参数问题，不会因为非最优的滤光片响应而使得光谱恢复网络优化方向错误而导致陷入滤光片响应非最优、光谱恢复网络非最优的局部最优情况，实现滤光片组响应参数和高光谱图像重构网络同时达到最优，利用该方案成像硬件可给出更优的光谱恢复结果。
附图说明
图1为本发明实施例方法的基本原理示意图。
图2为本发明实施例中滤光片响应曲线学习层的结构示意图。
图3为本发明实施例中滤光片响应参数优化模型的构建及训练流程示意图。
图4为本发明实施例中高光谱图像重构网络的结构示意图。
图5为本发明实施例中残差模块的结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细描述，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本实施例面向光谱超分辨率重建的滤光片设计方法，包括采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数的步骤，所述滤光片响应参数优化模型包括：
滤光片响应曲线学习层，用于基于滤光片组响应参数模拟滤光片，并将高光谱图像训练数据中的高光谱图像样本生成对应的多通道图像；
高光谱图像重构网络，用于从多通道图像重构获得重构后的高光谱图像。
参见图2，滤光片响应曲线学习层，用于基于滤光片组响应参数模拟滤光片（滤光片1～滤光片n一共n个滤光片）以将高光谱图像训练数据中的高光谱图像样本生成对应的多通道图像。本实施例中，滤光片响应曲线学习层的函数表达式为：
M=Dot(H,R)
上式中，M表示滤光片响应曲线学习层输出的多通道图像，Dot表示在光谱维上的矩阵乘法，H表示输入的w×h×l的高光谱图像，R为滤光片的滤光片响应参数，其中得到的多通道图像M的尺寸为w×h×n，滤光片响应参数R大小为的l×n，w为高光谱图像的宽度，h为高光谱图像的高度，l为高光谱图像的光谱波段数，n为滤光片组的滤光片数量。基于上述记载可知，构建滤光片响应曲线学习层时需要预先确定滤光片组的滤光片数量n。
高光谱图像重构网络用于从多通道图像重构获得重构后的高光谱图像，其可以根据需要此采用现有各类已知的高光谱图像重构网络来实现上述功能。但是，作为一种优先的实施方式，为了更好地实现基于深度学习的滤光片学习与光谱恢复联合优化，参见图4，本实施例中的高光谱图像重构网络包括输出卷积层和堆叠的多个迭代反投影光谱重构模块，堆叠的多个迭代反投影光谱重构模块中第一个迭代反投影光谱重构模块的输入端与滤光片响应曲线学习层的输出端相连、最后一个迭代反投影光谱重构模块的输出端通过输出卷积层输出重构后的高光谱图像，迭代反投影光谱重构模块包括依次相连的特征压缩层、光谱重构层、滤光片光谱响应学习层、投影误差层、误差光谱上采样层、微调误差层以及特征加和层，其中滤光片光谱响应学习层与滤光片响应曲线学习层共享滤光片的滤光片响应参数，可更好地实现基于深度学习的滤光片学习与光谱恢复联合优化，解决联合优化存在的超参数问题，实现滤光片响应函数和光谱恢复网络同时达到最优，利用该方案成像硬件可给出更优的光谱恢复结果。
特征压缩层用于对输入的特征实现通道压缩，精馏出高效特征。本实施例中，特征压缩层包含64个1×1大小的卷积核，且特征压缩层的函数表达式如下式所示：
F t 0=σ(w t 0 F t-1 + b t 0)
上式中，F t 0为特征压缩层压缩后得到的精馏特征，F t-1 为输入的堆叠特征，σ为激活函数（本实施例中在该层使用修正线性单元ReLU作为激活函数），w t 0为特征压缩层的卷积核权重，b t 0为特征压缩层的偏置量，t为迭代阶段；
光谱重构层用于对压缩得到特征恢复出高光谱图像。本实施例中，光谱重构层包含l个（预先定义的待成像的高光谱图像的通道数量）3×3大小的卷积核，且光谱重构层的函数表达式如下式所示：
H t =σ(w t 1 F t 0+ b t 1)
上式中，H t 为光谱重构层重构出的高光谱图像，σ为激活函数（本实施例中在该层使用修正线性单元ReLU作为激活函数），w t 1为光谱重构层的卷积核权重，b t 1为光谱重构层的偏置量；
滤光片光谱响应学习层用于对恢复的高光谱图像投影到光谱采样空间，得到多通道图像。本实施例中，滤光片光谱响应学习层的函数表达式如下式所示：
M t =Dot(H t ,R)
上式中，M t 为滤光片光谱响应学习层得到的多通道图像，Dot表示在光谱维上的矩阵乘法， R为滤光片的滤光片响应参数，且所述滤光片光谱响应学习层与滤光片响应曲线学习层复用（即层复用）；
投影误差层用于将重建的多通道图像减去网络输入的多通道图像得到投影（重建）误差。本实施例中，投影误差层的函数表达式如下式所示：
e t M = M t - M
上式中，e t M 为投影误差层得到的重构误差（投影误差），M表示滤光片响应曲线学习层输出的多通道图像；
误差光谱上采样层用于对重构误差进行光谱上采样。本实施例中，误差光谱上采样层包含64个3×3大小的卷积核，且误差光谱上采样层的函数表达式如下式所示：
e t H =w t 2 e t M +b t 2
上式中，e t H 为误差光谱上采样层进行光谱上采样得到的误差特征，w t 2为误差光谱上采样层的卷积核权重，b t 2为误差光谱上采样层的偏置量；
微调误差层用于对误差光谱上采样层的光谱上采样进行修正得到误差特征。如图5所示，微调误差层为包含两个卷积层和一个激活层的残差模块，通过残差学习对迭代反投影得到的误差进一步精细特征提取。本实施例中，每个卷积层有64个3×3大小的卷积核，且微调误差层的函数表达式如下式所示：
e t F =(w t 4 σ′(w t 3 e t H +b t 3)+b t 4)+e t H
上式中，e t F 为残差模块微调得到的误差特征，σ′为激活函数（本实施例中在该层使用带偏修正线性单元LeakyReLU作为激活函数），w t 3和w t 4为残差模块2层卷积层的卷积核权重，b t 3和b t 4为残差模块的两层卷积层的偏置量；
特征加和层用于将特征压缩层压缩后得到的精馏特征、微调误差层输出的误差特征相加得到最终的堆叠特征。本实施例中，特征加和层的函数表达式如下式所示：
F t =F t 0+e t F
上式中，F t 为特征加和层进行特征加和得到的堆叠特征，F t 0为特征压缩层压缩后得到的精馏特征。
参见图4，利用滤光片响应曲线学习层对输入的高光谱图像光谱下采样，随后堆叠迭代反投影光谱重构模块形成可联合训练的高光谱图像重构网络，不同阶段的特征采用稠密连接并堆叠向前传输，最终设置一个卷积层重构出高光谱图像，该卷积层卷积核的数量为l，卷积核大小为3×3。本实施例中，输出卷积层的函数表达式如下式所示：
上式中，表示重构后的高光谱图像，/>为卷积核权重，c为特征堆叠操作，/>为偏置量，F 1～F t 分别为最后一个迭代反投影光谱重构模块在第1～t个迭代阶段输出的堆叠特征，t为迭代反投影光谱重构模块的总数量。
参见图2和图4，滤光片响应参数优化模型首先利用滤光片组光谱响应学习层对输入的高光谱图像光谱模糊得到多通道图像；然后将多通道图像输入到迭代反投影模块中完成特征压缩-光谱重构-模拟光谱采样-反投影-误差上采样-残差学习微调-特征加和这一系列操作；得到的特征送入下一个迭代反投影模块重复上述操作，其中每个迭代反投影模块中的模拟光谱采样均采用光谱响应学习层完成，所有的光谱响应学习层共享权重；每个迭代反投影模块的输出采用稠密连接向前传输，最后通过一个卷积层重构最终的高光谱图像。
参见图3，在构建并训练滤光片响应参数优化模型的步骤包括：首先为确定数量的滤光片组建立光谱响应学习层；然后构建用于光谱恢复的迭代反投影学习模块，并堆叠这些模块形成光谱重构网络，融合不同阶段特征提升重构效果；最后训练整体网络，进而重建出高光谱图像。本实施例中，采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数时，采用的误差函数为：
上式中，net{w,R}表示滤光片响应参数优化模型的所有参数w以及滤光片的滤光片响应参数R，H(^)表示重构后的高光谱图像，H表示输入的高光谱图像，N为高光谱图像训练数据中的高光谱图像样本数量。
综上所述，本实施例方法包括确定光谱超分辨率成像方案中选用的滤光片数量，并建立滤光片光谱响应学习层。构建迭代反投影光谱重构模块，模块中包含：特征压缩层-光谱重构层-滤光片光谱响应学习层-投影误差层-误差光谱上采样层-残差学习精调模块-特征加和层。利用光谱响应学习层对输入的高光谱图像光谱下采样，随后堆叠迭代反投影光谱重构模块形成端到端可训练的高光谱重构网络。将现有已辐射校正的高光谱数据集切块构建训练数据集，训练构建的整体高光谱重构网络，优化参数。本实施例方法能够给出更优的滤光片组合和光谱响应曲线，同时联合优化的光谱恢复网络可以恢复出更准确的高光谱图像。本实施例方法能够应用于皮肤疾病辅助诊断、农业病虫害识别、日用产品真伪鉴别等实际应用领域。
此外，本实施例还提供一种面向光谱超分辨率重建的滤光片设计系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述面向光谱超分辨率重建的滤光片设计方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述面向光谱超分辨率重建的滤光片设计方法的计算机程序。
此外，本实施例还提供一种滤光片，所述滤光片的滤光片响应参数为采用前述面向光谱超分辨率重建的滤光片设计方法得到的滤光片响应参数。
此外，本实施例还提供一种高光谱相机，包括相机本体和设于相机本体进光侧的滤光片，所述滤光片为前述的滤光片。
此外，本实施例还提供一种高光谱图像成像系统，包括：
高光谱相机，包括相机本体和设于相机本体进光侧的滤光片，所述滤光片为前述的滤光片，高光谱相机用于通过滤光片采集获得的多通道图像；
数据处理装置，用于将得到的多通道图像通过前述高光谱图像重构网络得到重构后的高光谱图像。需要说明的是，在训练滤光片响应参数优化模型时优选采用前述高光谱图像重构网络可实现联合参数的优化，但是在将得到的多通道图像通过前述高光谱图像重构网络得到重构后的高光谱图像，对高光谱图像重构网络的选择则无上述要求，可根据需要采用现有各类可从多通道图像恢复出高光谱图像的深度学习神经网络模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种面向光谱超分辨率重建的滤光片设计方法，其特征在于，包括采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数的步骤，所述滤光片响应参数优化模型包括：
滤光片响应曲线学习层，用于基于滤光片组响应参数模拟滤光片，并将高光谱图像训练数据中的高光谱图像样本生成对应的多通道图像；
高光谱图像重构网络，用于从多通道图像重构获得重构后的高光谱图像；
所述滤光片响应曲线学习层的函数表达式为：
M=Dot(H,R)
上式中，M表示滤光片响应曲线学习层输出的多通道图像，Dot表示在光谱维上的矩阵乘法，H表示输入的w×h×l的高光谱图像，R为滤光片的滤光片响应参数，其中得到的多通道图像M的尺寸为w×h×n，滤光片响应参数R大小为的l×n，w为高光谱图像的宽度，h为高光谱图像的高度，l为高光谱图像的光谱波段数，n为滤光片组的滤光片数量；
所述高光谱图像重构网络包括输出卷积层和堆叠的多个迭代反投影光谱重构模块，所述堆叠的多个迭代反投影光谱重构模块中第一个迭代反投影光谱重构模块的输入端与滤光片响应曲线学习层的输出端相连、最后一个迭代反投影光谱重构模块的输出端通过输出卷积层输出重构后的高光谱图像，所述迭代反投影光谱重构模块包括依次相连的特征压缩层、光谱重构层、滤光片光谱响应学习层、投影误差层、误差光谱上采样层、微调误差层以及特征加和层，其中滤光片光谱响应学习层与滤光片响应曲线学习层共享滤光片的滤光片响应参数；
所述特征压缩层包含64个1×1大小的卷积核，且特征压缩层的函数表达式如下式所示：
Ft 0=σ(wt 0 Ft-1+ bt 0)
上式中，Ft 0为特征压缩层压缩后得到的精馏特征，Ft-1为输入的堆叠特征，σ为激活函数，wt 0为特征压缩层的卷积核权重，bt 0为特征压缩层的偏置量，t为迭代阶段；
所述光谱重构层包含l个3×3大小的卷积核，且光谱重构层的函数表达式如下式所示：
Ht=σ(wt 1Ft 0+ bt 1)
上式中，Ht为光谱重构层重构出的高光谱图像，σ为激活函数，wt 1为光谱重构层的卷积核权重，bt 1为光谱重构层的偏置量；
所述滤光片光谱响应学习层的函数表达式如下式所示：
Mt=Dot(Ht,R)
上式中，Mt为滤光片光谱响应学习层得到的多通道图像，Dot表示在光谱维上的矩阵乘法， R为滤光片的滤光片响应参数，且所述滤光片光谱响应学习层与滤光片响应曲线学习层复用；
所述投影误差层的函数表达式如下式所示：
et M= Mt - M
上式中，et M为投影误差层得到的重构误差，M表示滤光片响应曲线学习层输出的多通道图像；
所述误差光谱上采样层包含64个3×3大小的卷积核，且误差光谱上采样层的函数表达式如下式所示：
et H=wt 2 et M +bt 2
上式中，et H为误差光谱上采样层进行光谱上采样得到的误差特征，wt 2为误差光谱上采样层的卷积核权重，bt 2为误差光谱上采样层的偏置量；
所述微调误差层为包含2层卷积层和一个激活层的残差模块，且每个卷积层有64个3×3大小的卷积核，且微调误差层的函数表达式如下式所示：
et F=(wt 4σ′(wt 3 et H +bt 3)+bt 4)+et H
上式中，et F为残差模块微调得到的误差特征，σ′为激活函数，wt 3和wt 4为残差模块2层卷积层的卷积核权重，bt 3和bt 4为残差模块2层卷积层的偏置量；
所述特征加和层的函数表达式如下式所示：
Ft=Ft 0+et F
上式中，Ft为特征加和层进行特征加和得到的堆叠特征，Ft 0为特征压缩层压缩后得到的精馏特征。
2.根据权利要求1所述的面向光谱超分辨率重建的滤光片设计方法，其特征在于，所述输出卷积层的函数表达式如下式所示：
上式中，表示重构后的高光谱图像，/>为卷积核权重，c为特征堆叠操作，/>为偏置量，F1～Ft分别为最后一个迭代反投影光谱重构模块在第1～t个迭代阶段输出的堆叠特征，t为迭代反投影光谱重构模块的总数量；所述采用高光谱图像训练数据和滤光片响应参数优化模型来训练获得最优的滤光片响应参数时，采用的误差函数为：
上式中，net{w,R}表示滤光片响应参数优化模型的所有参数w以及滤光片的滤光片响应参数R，H^表示重构后的高光谱图像，H表示输入的高光谱图像，N为高光谱图像训练数据中的高光谱图像样本数量。
3.一种面向光谱超分辨率重建的滤光片设计系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1或2所述面向光谱超分辨率重建的滤光片设计方法的步骤。
4.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1或2所述面向光谱超分辨率重建的滤光片设计方法的计算机程序。
5.一种滤光片，其特征在于，所述滤光片的滤光片响应参数为采用权利要求1或2所述面向光谱超分辨率重建的滤光片设计方法得到的滤光片响应参数。
6.一种高光谱相机，包括相机本体和设于相机本体进光侧的滤光片，其特征在于，所述滤光片为权利要求5所述的滤光片。
7.一种高光谱图像成像系统，其特征在于，包括：
高光谱相机，包括相机本体和设于相机本体进光侧的滤光片，所述滤光片为权利要求5所述的滤光片，所述高光谱相机用于通过滤光片采集获得的多通道图像；
数据处理装置，用于将得到的多通道图像通过所述高光谱图像重构网络得到重构后的高光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110930163.XA CN113743001B (zh) | 2021-08-13 | 2021-08-13 | 面向光谱超分辨率重建的滤光片设计方法、滤光片及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110930163.XA CN113743001B (zh) | 2021-08-13 | 2021-08-13 | 面向光谱超分辨率重建的滤光片设计方法、滤光片及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743001A CN113743001A (zh) | 2021-12-03 |
| CN113743001B true CN113743001B (zh) | 2023-12-12 |
Family
ID=78731030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110930163.XA Active CN113743001B (zh) | 2021-08-13 | 2021-08-13 | 面向光谱超分辨率重建的滤光片设计方法、滤光片及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743001B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071237B (zh) * | 2023-03-01 | 2023-06-20 | 湖南大学 | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070110797A (ko) * | 2006-05-15 | 2007-11-20 | 소니 가부시끼 가이샤 | 촬상 장치 및 방법, 및 촬상 소자 |
| CA2898970A1 (en) * | 2013-03-05 | 2014-09-12 | Halliburton Energy Services, Inc. | System, method and computer program product for photometric system design and environmental ruggedization |
| CN111579506A (zh) * | 2020-04-20 | 2020-08-25 | 湖南大学 | 基于深度学习的多摄像头高光谱成像方法、系统及介质 |
| CN112037132A (zh) * | 2020-08-31 | 2020-12-04 | 广东工业大学 | 一种多孔径紧凑型多光谱成像系统及深度学习图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
-
2021
- 2021-08-13 CN CN202110930163.XA patent/CN113743001B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070110797A (ko) * | 2006-05-15 | 2007-11-20 | 소니 가부시끼 가이샤 | 촬상 장치 및 방법, 및 촬상 소자 |
| CA2898970A1 (en) * | 2013-03-05 | 2014-09-12 | Halliburton Energy Services, Inc. | System, method and computer program product for photometric system design and environmental ruggedization |
| CN111579506A (zh) * | 2020-04-20 | 2020-08-25 | 湖南大学 | 基于深度学习的多摄像头高光谱成像方法、系统及介质 |
| CN112037132A (zh) * | 2020-08-31 | 2020-12-04 | 广东工业大学 | 一种多孔径紧凑型多光谱成像系统及深度学习图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于卷积神经网络的光学遥感图像船只检测;欧阳颖卉;林;李树涛;;包装工程(15);全文 * |
| 基于小波包的多尺度高光谱图像超分辨率网络;王立国;毕天屹;石瑶;;黑龙江大学自然科学学报(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743001A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111579506B (zh) | 基于深度学习的多摄像头高光谱成像方法、系统及介质 | |
| Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
| EP3467721B1 (en) | Method and device for generating feature maps by using feature upsampling networks | |
| CN110353675B (zh) | 基于图片生成的脑电信号情感识别方法及装置 | |
| CN109416727B (zh) | 一种人脸图像中眼镜去除方法及装置 | |
| CN109509235B (zh) | Ct图像的重建方法、装置、设备及存储介质 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110009573B (zh) | 模型训练、图像处理方法、装置、电子设备及存储介质 | |
| CN112581414B (zh) | 一种卷积神经网络、图像处理的方法及电子设备 | |
| WO2024027095A1 (zh) | 基于双rgb图像融合的高光谱成像方法、系统及介质 | |
| CN113743001B (zh) | 面向光谱超分辨率重建的滤光片设计方法、滤光片及系统 | |
| CN111652059B (zh) | 基于计算鬼成像的目标识别模型构建、识别方法及装置 | |
| CN106327422A (zh) | 一种图像风格化重建方法及装置 | |
| FR2544939A1 (fr) | Systeme et procede de reprojection d'images acquises par retroprojection en tomodensitographie | |
| CN111553867A (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN110738660A (zh) | 基于改进U-net的脊椎CT图像分割方法及装置 | |
| WO2020041882A1 (en) | Neural network trained system for producing low dynamic range images from wide dynamic range images | |
| CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
| CN114418850A (zh) | 一种融合图卷积的有参考图像超分辨率重构方法 | |
| CN114581613A (zh) | 一种基于轨迹约束的人体模型姿态和形状优化方法和系统 | |
| CN115499566A (zh) | 基于深度计算光学元件的端到端高质量消色差成像系统 | |
| CN116563916A (zh) | 基于注意力融合的循环人脸超分辨率方法及系统 | |
| CN115439849B (zh) | 基于动态多策略gan网络的仪表数字识别方法及系统 | |
| CN116245968A (zh) | 基于Transformer的LDR图像生成HDR图像的方法 | |
| CN115937345A (zh) | 一种基于深度学习的光声图像重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |