CN117073840A - 基于优化计算成像的多光谱成像方法、系统及相关设备 - Google Patents
基于优化计算成像的多光谱成像方法、系统及相关设备 Download PDFInfo
- Publication number
- CN117073840A CN117073840A CN202311323891.XA CN202311323891A CN117073840A CN 117073840 A CN117073840 A CN 117073840A CN 202311323891 A CN202311323891 A CN 202311323891A CN 117073840 A CN117073840 A CN 117073840A
- Authority
- CN
- China
- Prior art keywords
- multispectral
- imaging
- multispectral imaging
- unit
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 155
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001228 spectrum Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 60
- 238000011156 evaluation Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 21
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 15
- 229910052681 coesite Inorganic materials 0.000 claims description 11
- 229910052906 cristobalite Inorganic materials 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 229910052682 stishovite Inorganic materials 0.000 claims description 11
- 229910052905 tridymite Inorganic materials 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000009396 hybridization Methods 0.000 claims description 8
- 238000002591 computed tomography Methods 0.000 claims description 4
- 239000012528 membrane Substances 0.000 claims description 4
- 230000035772 mutation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000002601 radiography Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 230000003287 optical effect Effects 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 6
- 238000010183 spectrum analysis Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 239000000377 silicon dioxide Substances 0.000 description 4
- 235000012239 silicon dioxide Nutrition 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明适用于计算光谱成像技术领域，尤其涉及一种基于优化计算成像的多光谱成像方法、系统及相关设备。本发明提出了一种结合光谱分析和计算成像的多光谱成像方法及系统，该方法通过差分进化算法设计具有光学效果的成像单元，在将其结合到彩色传感器的成像单元中，从而扩大光谱重建的波段范围，优化了多光谱数据的采集效果，另外，该方法还通过构建深度神经网络DNN来提高光谱成像重建的精度，这样的设计不但降低了多光谱成像系统的实现成本，还进一步提高了多光谱成像的质量。
Description
技术领域
本发明适用于计算光谱成像技术领域，尤其涉及一种基于优化计算成像的多光谱成像方法、系统及相关设备。
背景技术
光谱成像技术是一种将成像技术与光谱探测技术结合在一起的前沿技术。该技术可以获得同一目标物体的空间信息和光谱信息，并利用多个通道的图像数据堆叠成一个三维的数据立方体，为图像处理提供丰富的空间信息和光谱信息，在各种行业领域均具有广泛的应用。
现有的主要光谱成像技术包括：
一、专用高光谱成像技术，如采用光栅、LCTF（Liquid Crystal Tunable Filter，液晶可调谐滤光片）、AOTF（Acousto-Optic Tunable Filter，声光可调谐滤波器）等技术进行高光谱成像，但这类设备设计复杂，价格昂贵，光谱采集实时性不高；
二、采用多镜头、多滤光片和多传感器进行多光谱成像，这种方法的优点是能实现光谱实时采集，但缺点是体积较大，多镜头图像需要进行像素对齐等处理，无法扩展为光学变倍变焦等；
三、采用单镜头，及棱镜分光，加上多滤光片和多传感器进行多光谱成像，这种方法优点是能实现光谱实时采集，缺点是光损失较大；
四、计算成像，该方法通常采用彩色传感器拍摄彩色RGB图像，并以此重建光谱图像，其波段范围集中在400nm~700nm的可见光区域，但这种方法不能对近红外和红外波段范围进行成像，而且计算重建的精度不高。
发明内容
本发明提供一种基于优化计算成像的多光谱成像方法、系统及相关设备，旨在解决现有技术发多光谱成像方案存在的成像波段小、实现成本高的问题。
为解决上述技术问题，第一方面，本发明提供一种基于优化计算成像的多光谱成像方法，所述多光谱成像方法包括以下步骤：
S101、获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；
S102、将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；
S103、根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；
S104、通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；
S105、将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，得到多光谱重构模型；
S106、将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，再通过所述多光谱重构模型输出得到多光谱成像结果。
更进一步地，步骤S102包括以下子步骤：
S1021、确定所述差分进化算法的控制参数，包括：种群大小、缩放因子、杂交概率与最大差分进化代数；
S1022、根据所述膜系参数，按照所述种群大小和所述缩放因子随机产生种群；
S1023、根据预设评价算法计算所述种群中每个个体的适应度值；
S1024、判断所述差分进化算法是否达到预设差分进化终止条件：若是，则根据所述适应度值输出其中最优个体对应的所述最优膜系参数；若否，执行步骤S1025；
S1025、将所述种群根据所述杂交概率进行变异交叉，得到中间种群；
S1026、在当前所述种群和所述中间种群进行随机个体选择，得到新一代的种群；
S1027、更新差分进化代数，返回步骤S1023。
更进一步地，所述种群中每个个体对应的所述膜系参数的厚度区间为10nm~300nm。
更进一步地，所述预设差分进化终止条件为：
所述差分进化代数达到所述最大差分进化代数；或，
所述种群中的所述个体的所述适应度值达到预设最优阈值。
更进一步地，所述预设评价算法具体为：
S201、确定评价最大迭代次数，以及用于构建所述预设多光谱重构网络的预设光谱数据和彩色传感器响应曲线；
S202、通过时域有限差分法计算当前所述个体对应的所述膜系参数的光谱响应曲线；
S203、初始化所述预设多光谱重构网络的权重；
S204、判断评价迭代次数是否到达所述评价最大迭代次数：若是，则将所述预设多光谱重构网络的训练损失值作为所述个体的所述适应度值进行输出；若否，则执行步骤S205；
S205、通过所述预设光谱数据和所述彩色传感器响应曲线计算出图像强度数据；
S206、将所述图像强度数据作为所述预设多光谱重构网络的输入，并进行所述预设多光谱重构网络的前向传播，输出为得到第二光谱训练数据，通过损失函数计算所述光谱训练数据和所述第二光谱训练数据之间的所述训练损失值；
S207、根据所述训练损失值对所述权重进行更新；
S208、更新所述评价迭代次数，返回步骤S204。
更进一步地，所述损失函数为MRAE。
更进一步地，所述预设多光谱重构网络基于DNN。
第二方面，本发明还提供一种基于优化计算成像的多光谱成像系统，包括：
参数获取模块，用于获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；
差分进化模块，用于将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；
单元组合模块，用于根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；
数据对构建模块，用于通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；
有监督训练模块，用于将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，再通过所述多光谱重构模型得到多光谱重构模型；
多光谱成像模块，用于将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，输出得到多光谱成像结果。
第三方面，本发明还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于优化计算成像的多光谱成像程序，所述处理器执行所述基于优化计算成像的多光谱成像程序时实现如上述实施例中任意一项所述的基于优化计算成像的多光谱成像方法中的步骤。
第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于优化计算成像的多光谱成像程序，所述基于优化计算成像的多光谱成像程序被处理器执行时实现如上述实施例中任意一项所述的基于优化计算成像的多光谱成像方法中的步骤。
本发明所达到的有益效果，在于提出了一种结合光谱分析和计算成像的多光谱成像方法及系统，该方法通过差分进化算法设计具有光学效果的成像单元，在将其结合到彩色传感器的成像单元中，从而扩大光谱重建的波段范围，优化了多光谱数据的采集效果，另外，该方法还通过构建深度神经网络DNN来提高光谱成像重建的精度，这样的设计不但降低了多光谱成像系统的实现成本，还进一步提高了多光谱成像的质量。
附图说明
图1是本发明实施例提供的基于优化计算成像的多光谱成像方法的步骤流程框图；
图2是本发明实施例构建的多光谱成像单元的结构示意图；
图3是本发明实施例构建的多光谱成像第一单元的光谱响应曲线示意图；
图4是本发明实施例构建的多光谱成像第二单元的光谱响应曲线示意图；
图5是本发明实施例构建的多光谱成像单元的光谱响应曲线示意图；
图6是本发明实施例提供的基于优化计算成像的多光谱成像系统的结构示意图；
图7是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1是本发明实施例提供的基于优化计算成像的多光谱成像方法的步骤流程框图，所述多光谱成像方法包括以下步骤：
S101、获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围。
具体的，本发明实施例中的所述多光谱成像第一单元是一种光学结构片，在实施过程中可以通过N层SiO2和TiO2交替镀膜实现。
S102、将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数。
差分进化（Differential Evolution，DE）是进化算法的一个变种，通常用于解决连续优化问题，其基本的思想为通过对候选解进行差分变异来生成新的解，并使用目标函数对新解进行评估和选择，差分进化算法的优点是具有较好的全局搜索能力和收敛性能，而且对目标函数的连续性和可导性要求较低，适合用于非线性、非凸、高维度的优化问题。本发明实施例中使用差分进化算法来求解最优膜系参数，具体的，步骤S102包括以下子步骤：
S1021、确定所述差分进化算法的控制参数，包括：种群大小、缩放因子、杂交概率与最大差分进化代数；
S1022、根据所述膜系参数，按照所述种群大小、所述缩放因子随机产生种群；
S1023、根据预设评价算法计算所述种群中每个个体的适应度值；
S1024、判断所述差分进化算法是否达到预设差分进化终止条件：若是，则根据所述适应度值输出其中最优个体对应的所述最优膜系参数；若否，执行步骤S1025；
S1025、将所述种群根据所述杂交概率进行变异交叉，得到中间种群；
S1026、在当前所述种群和所述中间种群进行随机个体选择，得到新一代的种群；
S1027、更新差分进化代数，返回步骤S1023。
所述种群中每个个体对应的所述膜系参数的厚度区间为10nm~300nm。
示例性的，本发明实施例中，所述多光谱成像第一单元的层数为15层，按1nm间隔作为可选择的厚度，在10nm~300nm之间有291种选择，一共会有291^15种组合解，该解空间十分庞大，并且实际上膜厚的变化是连续的，因而该解空间实际上是更加庞大的，最优膜系参数难以探索。为寻找最优的膜系参数，本发明实施例引入差分进化算法来帮助寻找最优膜系参数，其中，种群的每个个体为一组N层的SiO2和TiO2交替镀膜的膜系参数。
所述预设差分进化终止条件为：
所述差分进化代数达到所述最大差分进化代数；或，
所述种群中的所述个体的所述适应度值达到预设最优阈值。
所述预设评价算法具体为：
S201、确定评价最大迭代次数，以及用于构建所述预设多光谱重构网络的预设光谱数据和彩色传感器响应曲线；
S202、通过时域有限差分法（FDTD）计算当前所述个体对应的所述膜系参数的光谱响应曲线；
S203、初始化所述预设多光谱重构网络的权重；
S204、判断评价迭代次数是否到达所述评价最大迭代次数，若是，则将所述预设多光谱重构网络的训练损失值作为所述个体的所述适应度值进行输出；若否，则继续执行步骤S205；
S205、通过所述预设光谱数据和所述彩色传感器响应曲线计算出图像强度数据；
S206、将所述图像强度数据作为所述预设多光谱重构网络的输入，并进行所述预设多光谱重构网络的前向传播，输出为得到第二光谱训练数据， 通过损失函数计算所述光谱训练数据和所述第二光谱训练数据之间的所述训练损失值；
S207、根据所述训练损失值对所述权重进行更新；
S208、更新所述评价迭代次数，返回步骤S204。
本发明实施例中的所述图像强度数据可以通过以下方式进行计算：
；
其中，I’c表示红、绿、蓝通道的图像强度数据，c表示红、绿、蓝三通道，H（x，y，λ）表示输入的所述光谱训练数据，（x，y）表示像素空间坐标，λ表示波长，Sc表示所述彩色传感器响应曲线，Filter（λ）表示所述所述多光谱成像第一单元的光谱响应曲线。
更进一步地，所述损失函数为MRAE。
损失函数采用平均相对绝对误差（Mean Relative Absolute Error，MRAE）是一种衡量预测值与真实值之间相对绝对误差的评估指标。
更进一步地，所述预设多光谱重构网络基于DNN。
本发明实施例采用深度神经网络（Deep Neural Network，DNN）作为计算成像过程中使用的重构算法。DNN是一种复杂的神经网络，由多个全连接层组成，每层包含多个神经元，其中输入层接受输入信号，输出层产生输出信号，中间的隐藏层用于增强模型的学习能力，深度神经网络能够学习测量值和对应光谱响应值的映射关系。本发明实施例在步骤S102中结合差分进化算法对所述深度神经网络的权重等参数进行了调整，使得在后续有监督训练前能够确定网络模型的结构。
S103、根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元。
示例性的，请参照图2，图2是本发明实施例构建的多光谱成像单元的结构示意图，由于所述多光谱成像第一单元（结构片）是通过作为多光谱成像第二单元（彩色传感器）的参数求优得到的，因此本发明实施例中可以通过将所述多光谱成像第一单元与多光谱成像第二单元进行贴合的方式来实现组合。
S104、通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对。
S105、将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，得到多光谱重构模型。
有监督训练是一种神经网络模型的训练方式，通过在步骤S104中构建彩色-多光谱数据对，能够通过数据对图像集的方式对所述预设多光谱重构网络进行有监督训练，从而提高作为计算成像重构算法的预设多光谱重构网络的重构精度。
S106、将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，再通过所述多光谱重构模型输出得到多光谱成像结果。
本发明实施例还提供一种实施效果的示例，以15层SiO2和TiO2交替镀膜，每层的厚度为10nm~300nm之间的结构片为例，将一组膜系参数为：SiO2（191 nm）、TiO2（234 nm）、SiO2（143 nm）、TiO2（245 nm）、SiO2（149 nm）、TiO2（105 nm）、SiO2（290 nm）、TiO2（250nm）、SiO2（180 nm）、TiO2（287 nm）、SiO2（139 nm）、TiO2（257 nm）、SiO2（217 nm）、TiO2（113nm）、SiO2（123 nm）的数据输入至FDTD，并计算出该结构片（多光谱成像第一单元）的光谱响应曲线，其曲线效果如图3所示。
本发明实施例以索尼IMX273彩色传感器作为所述多光谱成像第二单元，其归一化光谱响应曲线如图4所示。
以图3和图4的曲线对应的结构分别作为所述多光谱成像第一单元与所述多光谱成像第二单元，并将其贴合得到的所述多光谱成像单元的光谱响应曲线如图5所示。可以看出，加入了所述多光谱成像第一单元后进行成像的述多光谱成像单元，其光谱采集波段得到了扩展，使得成像的效果得到了提高。
本发明所达到的有益效果，在于提出了一种结合光谱分析和计算成像的多光谱成像方法及系统，该方法通过差分进化算法设计具有光学效果的成像单元，在将其结合到彩色传感器的成像单元中，从而扩大光谱重建的波段范围，优化了多光谱数据的采集效果，另外，该方法还通过构建深度神经网络DNN来提高光谱成像重建的精度，这样的设计不但降低了多光谱成像系统的实现成本，还进一步提高了多光谱成像的质量。
本发明实施例还提供一种基于优化计算成像的多光谱成像系统300，请参照图6，图6是本发明实施例提供的基于优化计算成像的多光谱成像系统的结构示意图，其包括：
参数获取模块301，用于获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；
差分进化模块302，用于将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；
单元组合模块303，用于根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；
数据对构建模块304，用于通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；
有监督训练模块305，用于将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，再通过所述多光谱重构模型得到多光谱重构模型；
多光谱成像模块306，用于将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，输出得到多光谱成像结果。
所述基于优化计算成像的多光谱成像系统300能够实现如上述实施例中的基于优化计算成像的多光谱成像方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机设备，请参照图7，图7是本发明实施例提供的计算机设备的结构示意图，所述计算机设备400包括：存储器402、处理器401及存储在所述存储器402上并可在所述处理器301上运行的基于优化计算成像的多光谱成像程序。
所述处理器401调用所述存储器402存储的基于优化计算成像的多光谱成像程序，执行本发明实施例提供的基于优化计算成像的多光谱成像方法中的步骤，请结合图1，具体包括以下步骤：
S101、获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围。
S102、将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数。
步骤S102包括以下子步骤：
S1021、确定所述差分进化算法的控制参数，包括：种群大小、缩放因子、杂交概率与最大差分进化代数；
S1022、根据所述膜系参数，按照所述种群大小、所述缩放因子随机产生种群；
S1023、根据预设评价算法计算所述种群中每个个体的适应度值；
S1024、判断所述差分进化算法是否达到预设差分进化终止条件：若是，则根据所述适应度值输出其中最优个体对应的所述最优膜系参数；若否，执行步骤S1025；
S1025、将所述种群根据所述杂交概率进行变异交叉，得到中间种群；
S1026、在当前所述种群和所述中间种群进行随机个体选择，得到新一代的种群；
S1027、更新差分进化代数，返回步骤S1023。
所述种群中每个个体对应的所述膜系参数的厚度区间为10nm~300nm。
所述预设差分进化终止条件为：
所述差分进化代数达到所述最大差分进化代数；或，
所述种群中的所述个体的所述适应度值达到预设最优阈值。
所述预设评价算法具体为：
S201、确定评价最大迭代次数，以及用于构建所述预设多光谱重构网络的预设光谱数据和彩色传感器响应曲线；
S202、通过时域有限差分法计算当前所述个体对应的所述膜系参数的光谱响应曲线；
S203、初始化所述预设多光谱重构网络的权重；
S204、判断评价迭代次数是否到达所述评价最大迭代次数：若是，则将所述预设多光谱重构网络的训练损失值作为所述个体的所述适应度值进行输出；若否，则执行步骤S205；
S205、通过所述预设光谱数据和所述彩色传感器响应曲线计算出图像强度数据；
S206、将所述图像强度数据作为所述预设多光谱重构网络的输入，并进行所述预设多光谱重构网络的前向传播，输出为得到第二光谱训练数据，通过损失函数计算所述光谱训练数据和所述第二光谱训练数据之间的所述训练损失值；
S207、根据所述训练损失值对所述权重进行更新；
S208、更新所述评价迭代次数，返回步骤S204。
更进一步地，所述损失函数为MRAE。
更进一步地，所述预设多光谱重构网络基于DNN。
S103、根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元。
S104、通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对。
S105、将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，得到多光谱重构模型。
S106、将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，再通过所述多光谱重构模型输出得到多光谱成像结果。
本发明实施例提供的计算机设备400能够实现如上述实施例中的基于优化计算成像的多光谱成像方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于优化计算成像的多光谱成像程序，该基于优化计算成像的多光谱成像程序被处理器执行时实现本发明实施例提供的基于优化计算成像的多光谱成像方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过基于优化计算成像的多光谱成像程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（Random Access Memory，简称RAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。
Claims (10)
1.一种基于优化计算成像的多光谱成像方法，其特征在于，所述多光谱成像方法包括以下步骤：
S101、获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；
S102、将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；
S103、根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；
S104、通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；
S105、将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，得到多光谱重构模型；
S106、将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，再通过所述多光谱重构模型输出得到多光谱成像结果。
2.如权利要求1所述的基于优化计算成像的多光谱成像方法，其特征在于，步骤S102包括以下子步骤：
S1021、确定所述差分进化算法的控制参数，包括：种群大小、缩放因子、杂交概率与最大差分进化代数；
S1022、根据所述膜系参数，按照所述种群大小和所述缩放因子随机产生种群；
S1023、根据预设评价算法计算所述种群中每个个体的适应度值；
S1024、判断所述差分进化算法是否达到预设差分进化终止条件：若是，则根据所述适应度值输出其中最优个体对应的所述最优膜系参数；若否，执行步骤S1025；
S1025、将所述种群根据所述杂交概率进行变异交叉，得到中间种群；
S1026、在当前所述种群和所述中间种群进行随机个体选择，得到新一代的种群；
S1027、更新差分进化代数，返回步骤S1023。
3.如权利要求2所述的基于优化计算成像的多光谱成像方法，其特征在于，所述种群中每个个体对应的所述膜系参数的厚度区间为10nm~300nm。
4.如权利要求2所述的基于优化计算成像的多光谱成像方法，其特征在于，所述预设差分进化终止条件为：
所述差分进化代数达到所述最大差分进化代数；或，
所述种群中的所述个体的所述适应度值达到预设最优阈值。
5.如权利要求2所述的基于优化计算成像的多光谱成像方法，其特征在于，所述预设评价算法具体为：
S201、确定评价最大迭代次数，以及用于构建所述预设多光谱重构网络的预设光谱数据和彩色传感器响应曲线；
S202、通过时域有限差分法计算当前所述个体对应的所述膜系参数的光谱响应曲线；
S203、初始化所述预设多光谱重构网络的权重；
S204、判断评价迭代次数是否到达所述评价最大迭代次数：若是，则将所述预设多光谱重构网络的训练损失值作为所述个体的所述适应度值进行输出；若否，则执行步骤S205；
S205、通过所述预设光谱数据和所述彩色传感器响应曲线计算出图像强度数据；
S206、将所述图像强度数据作为所述预设多光谱重构网络的输入，并进行所述预设多光谱重构网络的前向传播，输出为得到第二光谱训练数据，通过损失函数计算所述光谱训练数据和所述第二光谱训练数据之间的所述训练损失值；
S207、根据所述训练损失值对所述权重进行更新；
S208、更新所述评价迭代次数，返回步骤S204。
6.如权利要求5所述的基于优化计算成像的多光谱成像方法，其特征在于，所述损失函数为MRAE。
7.如权利要求1所述的基于优化计算成像的多光谱成像方法，其特征在于，所述预设多光谱重构网络基于DNN。
8.一种基于优化计算成像的多光谱成像系统，其特征在于，包括：
参数获取模块，用于获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；
差分进化模块，用于将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；
单元组合模块，用于根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；
数据对构建模块，用于通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；
有监督训练模块，用于将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，再通过所述多光谱重构模型得到多光谱重构模型；
多光谱成像模块，用于将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，输出得到多光谱成像结果。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于优化计算成像的多光谱成像程序，所述处理器执行所述基于优化计算成像的多光谱成像程序时实现如权利要求1-7中任意一项所述的基于优化计算成像的多光谱成像方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于优化计算成像的多光谱成像程序，所述基于优化计算成像的多光谱成像程序被处理器执行时实现如权利要求1-7中任意一项所述的基于优化计算成像的多光谱成像方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311323891.XA CN117073840B (zh) | 2023-10-13 | 2023-10-13 | 基于优化计算成像的多光谱成像方法、系统及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311323891.XA CN117073840B (zh) | 2023-10-13 | 2023-10-13 | 基于优化计算成像的多光谱成像方法、系统及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117073840A true CN117073840A (zh) | 2023-11-17 |
| CN117073840B CN117073840B (zh) | 2023-12-29 |
Family
ID=88704571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311323891.XA Active CN117073840B (zh) | 2023-10-13 | 2023-10-13 | 基于优化计算成像的多光谱成像方法、系统及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117073840B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004006262A1 (de) * | 2004-02-09 | 2005-09-01 | Infineon Technologies Ag | Abbildungseinrichtung und Verfahren zum Entwerfen und Beschreiben einer Abbildungseinrichtung |
| WO2010016930A2 (en) * | 2008-08-08 | 2010-02-11 | Lpi-Europe, S.L. | Imaging optics designed by the simultaneous multiple surface method |
| CN106054190A (zh) * | 2016-07-21 | 2016-10-26 | 电子科技大学 | 基于频谱优化建模的双基地前视sar频域成像方法 |
| US20180095212A1 (en) * | 2016-10-03 | 2018-04-05 | Tipd, Llc | Volume Holographic Optical Elements for Imaging with Reduced Aberrations |
| US20230119549A1 (en) * | 2021-10-14 | 2023-04-20 | Samsung Electronics Co., Ltd. | Optical Element for Deconvolution |
-
2023
- 2023-10-13 CN CN202311323891.XA patent/CN117073840B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004006262A1 (de) * | 2004-02-09 | 2005-09-01 | Infineon Technologies Ag | Abbildungseinrichtung und Verfahren zum Entwerfen und Beschreiben einer Abbildungseinrichtung |
| WO2010016930A2 (en) * | 2008-08-08 | 2010-02-11 | Lpi-Europe, S.L. | Imaging optics designed by the simultaneous multiple surface method |
| CN106054190A (zh) * | 2016-07-21 | 2016-10-26 | 电子科技大学 | 基于频谱优化建模的双基地前视sar频域成像方法 |
| US20180095212A1 (en) * | 2016-10-03 | 2018-04-05 | Tipd, Llc | Volume Holographic Optical Elements for Imaging with Reduced Aberrations |
| US20230119549A1 (en) * | 2021-10-14 | 2023-04-20 | Samsung Electronics Co., Ltd. | Optical Element for Deconvolution |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117073840B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cozzolino et al. | Nonlocal CNN SAR image despeckling | |
| Tuna et al. | Single-frame super resolution of remote-sensing images by convolutional neural networks | |
| CN113011567B (zh) | 一种卷积神经网络模型的训练方法及装置 | |
| Zeng et al. | Computational image speckle suppression using block matching and machine learning | |
| Gu et al. | A single image dehazing method using average saturation prior | |
| Shi et al. | No-reference stereoscopic image quality assessment using a multi-task CNN and registered distortion representation | |
| Zheng et al. | Underwater image enhancement using improved CNN based defogging | |
| Afonso et al. | A total variation recursive space-variant filter for image denoising | |
| Azarang et al. | Image fusion in remote sensing by multi-objective deep learning | |
| CN117409330B (zh) | 水生植被识别方法、装置、计算机设备和存储介质 | |
| Lei et al. | Inception residual attention network for remote sensing image super-resolution | |
| CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
| CN114332182B (zh) | 基于多特征约束的sar图像配准方法、设备和介质 | |
| Lv et al. | Blind dehazed image quality assessment: a deep CNN-based approach | |
| Chen et al. | Attentive generative adversarial network for removing thin cloud from a single remote sensing image | |
| Chetouani et al. | Image quality assessment without reference by combining deep learning-based features and viewing distance | |
| Xia et al. | Fog removal and enhancement method for UAV aerial images based on dark channel prior | |
| CN117073840B (zh) | 基于优化计算成像的多光谱成像方法、系统及相关设备 | |
| Karalı et al. | Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues | |
| Zheng et al. | An Underwater Image Restoration Deep Learning Network Combining Attention Mechanism and Brightness Adjustment | |
| Chong et al. | Hyperspectral anomaly detection via super-resolution reconstruction with an attention mechanism | |
| Li et al. | Blind quality assessment of multi-exposure fused images considering the detail, structure and color characteristics | |
| Ashraf et al. | Alternative solutions for determining the spectral band weights for the subtractive resolution merge technique | |
| Kandi et al. | New method for obtaining proper initial clusters to perform FCM algorithm for colour image clustering | |
| Borhen Eddine et al. | Blind image quality assessment method based on a particle swarm optimization support vector regression fusion scheme |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |