CN111551252B - 一种基于神经网络的光谱响应设计方法 - Google Patents
一种基于神经网络的光谱响应设计方法 Download PDFInfo
- Publication number
- CN111551252B CN111551252B CN202010332612.6A CN202010332612A CN111551252B CN 111551252 B CN111551252 B CN 111551252B CN 202010332612 A CN202010332612 A CN 202010332612A CN 111551252 B CN111551252 B CN 111551252B
- Authority
- CN
- China
- Prior art keywords
- spectral
- spectrum
- network
- neural network
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 173
- 230000004044 response Effects 0.000 title claims abstract description 83
- 238000013461 design Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000001228 spectrum Methods 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 22
- 238000005457 optimization Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 11
- 238000000701 chemical imaging Methods 0.000 abstract description 4
- 238000012938 design process Methods 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 6
- 239000004038 photonic crystal Substances 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 239000010409 thin film Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000010408 film Substances 0.000 description 4
- 239000002086 nanomaterial Substances 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005293 physical law Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 238000001748 luminescence spectrum Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- -1 micro-nano devices Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于神经网络的光谱响应设计方法。光谱响应不同的光谱调制器的组合可以看成是神经网络的一个线性连接层,同时使用另一神经网络对这一线性连接层参数的生成添加限制条件,通过对整个神经网络的训练,不仅可以实现对光谱调制器光谱响应的优化,而且能够直接生成对应的设计参数,从而应用于光谱识别、光谱探测以及光谱成像等场景。相比于传统的优化方法,本发明的优化目标明确,更易于评估优化结果的优劣,优化效果更好;而且实现了硬件与软件的协同设计,可以灵活地调整设计参数以适应不同的应用场景;同时还避免了过度依赖经验的设计过程,为光谱调制器件的反向设计提供了高通用性的设计框架。
Description
技术领域
本发明属于光电检测、光谱分析、光电器件以及光学成像领域。本发明可以应用于各种光谱仪、光谱成像装置、光谱探测器的光谱响应设计,从而应用于光谱分析与高分辨成像、农业农产品检测以及卫生医药与健康领域。
背景技术
光谱仪、光谱成像等光谱探测技术为人们了解物质特性、识别目标提供了极大的便利。传统的光谱探测设备由于结构复杂、体积大、笨重、昂贵等缺点难以进入消费者的生活。近年来,随着压缩感知和机器学习等软件算法被引入光谱检测中,大批的计算型光谱探测技术涌现出来,从而有希望改善传统光谱仪的这些缺点。传统光谱探测设备分辨率的提高依赖于窄带滤光片的个数或者色散元件的色散能力,而计算型光谱探测设备由于对滤光片等光谱调制器的光谱曲线进行了优化设计,通过使用算法重构出光谱,可以使光谱通道数大于光谱调制器的个数,大大降低设备的体积、重量、复杂程度以及成本。
计算型光谱探测技术的核心难题之一是如何优化得到一组光谱探测器或光谱调制器的光谱响应,以达到更高的光谱分辨率、更准确的光谱识别率,实现更好的探测效果。计算型光谱探测技术一般是根据压缩感知原理进行设计。根据压缩感知原理,如果光谱信号为稀疏信号,那么可以使用满足独立同分布的随机矩阵作为测量矩阵。然而现实中的光谱调制器(滤光片、宽谱光源等)光谱响应曲线都具有一定的连续性和光滑性,不可能严格满足随机分布。另一方面,满足某种统计学分布规律的数值组合有很多种,仅用这一条原则来生成光谱响应曲线,并不能得出确定的最优解,而不同的优化结果之间也往往无法定量评估孰优孰劣。
另一个困扰计算型光谱探测技术发展的问题是如何设计光谱调制器件的物理参数,以使其光谱响应符合优化得出的光谱响应曲线。目前计算型光谱探测系统中的光谱调制器件多种多样,包括光学薄膜滤光片、量子点滤光片、光子晶体、超表面微纳器件等等。这些器件中,光学薄膜的反向设计工艺较为成熟,但由于其光谱响应对膜层厚度极其敏感,加工时微小的误差可能引起光谱曲线的巨大改变;而诸如微纳器件、量子点等新材料的反向设计尚不成熟,设计效果依赖于设计者的经验。现有对光谱调制器的设计方法大都为基于选择的设计,即在给定的光谱调制器集合中选择出光谱响应最符合设计要求的一组作为最优设计。虽然这种方法可以定量评估最优性,但这种方法无法保证所选择的光谱响应曲线集合能够覆盖所有可能的设计,从而很难进一步优化系统的表现。
近年来,随着人工智能和机器学习算法的发展,出现了一些使用深度学习进行系统优化和硬件设计的方法。在光谱优化方面,针对光谱重构、光谱识别具等体应用场景,深度学习方法可以通过设定具体的损失函数实现优化效果的定量评估,从而优化出一组目标光谱响应曲线。但是由于器件反向设计较为困难,实际中很难设计出具有目标光谱响应的光谱调制器,人们仍然只能依靠设计经验向曲线的优化过程添加限制条件,以使器件便于设计。这就极大地降低了优化的自由度,从而降低了优化效果。虽然近期也出现了利用深度学习进行反向设计的尝试,但是其稳定性还需提高。基于深度学习的反向设计网络很难达到正向预测网络的拟合精度。
发明内容
本发明针对现有技术的不足,提供了一种基于神经网络的光谱响应设计方法。光谱响应不同的光谱调制器的组合可以看成是一个神经网络的线性连接层。借助对神经网络的训练方法,可以实现对光谱调制器光谱响应曲线的优化。同时训练一个高拟合精度的正向预测网络,将此网络的输出作为所述线性连接层的权重,则权重的更新依赖于正向预测网络输入参数的变化,在对光谱响应曲线优化的同时实现了光谱调制器的硬件设计。由于神经网络训练过程中的损失函数对训练目标做出了明确的定义,所以能够避免对光谱响应曲线集合完备性的依赖,更易于评估优化结果的最优性。由于本发明采用正向预测网络对优化过程中的权重更新进行限制,从而可以直接得出易于物理实现的硬件设计参数。而且整个流程中只使用了高精度的正向预测网络而未采用反向设计网络,提高了设计精度。本发明最可终用于光谱识别、光谱探测以及光谱成像等应用。
本发明的具体技术方案如下:一种基于神经网络的光谱响应设计方法,该方法包括以下步骤:
(1)确定目标光谱的光谱通道数N以及光谱调制器的个数M。
(2)构建光谱感知网络;所述光谱感知网络的第一层为输入单元数为N,输出单元数为M的线性连接层,该线性连接层为硬件层;根据神经网络线性连接层的数学特性,硬件层描述了M个光谱调制器对输入的目标光谱的调制过程,即硬件层的第i(i=1,2,…,N)个输入单元与第j(j=1,2,…,M)个输出单元之间的权重项wji表示第j个光谱调制器在第i个光谱通道处的光谱响应值,第j个输出单元的响应值代表目标光谱经过第j个光谱调制器后探测器的响应;硬件层之后为若干神经网络连接层,负责对硬件层的输出响应值做进一步处理,以使整个光谱感知网络实现光谱重构、光谱识别等特定功能。
(3)构建正向预测网络;所述正向预测网络的输入单元数为P,对应于P个控制光谱调制器光谱响应的物理参数;输出单元数为N,对应于光谱调制器在N个光谱通道处的响应值;训练正向预测网络,以达到根据物理参数预测光谱响应的功能。
(4)向所述光谱感知网络中添加一组参数pjk(j=1,2,…,M;k=1,2,…,P),表示控制第j个光谱调制器光谱响应的第k个物理参数。硬件层的权重项wji由参数pjk输入至正向预测网络生成,对wji的初始化和更新即转化为对物理参数pjk的初始化和更新。
(5)训练光谱感知网络;将所述光谱感知网络的硬件层的所有偏置项bj(j=1,2,…,M)设置为0且在训练过程中不进行更新,选择已知的光谱数据集对光谱感知网络进行训练,不断更新参数pjk;当训练过程完成后,所得的参数pj1,pj2,…,pjP即为优化得到的第j个光谱调制器的设计参数,将其输入到正向预测网络,得到的权重值wj1,wj2,…,wjN即为第j个光谱调制器的光谱响应曲线。
进一步地,所述步骤(1)中,所述光谱通道数N的计算公式如下:
N=(λmax-λmin)/Δλ
其中,λmin、λmax分别为目标光谱波长的最小值和最大值,Δλ为光谱分辨率;
进一步地,所述步骤(2)中,所述神经网络连接层为软件层;各软件层的结构和单元数等参数由设计者根据具体应用场景确定,以实现对光谱信号的重构、分类或识别等处理功能;根据对应的功能确定用于训练光谱感知网络的损失函数。
与现有技术相比,本发明具有以下有益的技术效果:
(1)可以定量评估光谱响应设计的最优性。由于训练过程中有确定的损失函数作为优化目标,即可定量评估设计所得的光谱响应曲线的最优性,解决了传统设计方法所得光谱响应无法定量评估的问题。
(2)可以提高设计过程的优化效果。本发明不需要在光谱响应曲线集合中选取,而是由训练过程直接生成,避免了由于所选曲线集合不能覆盖所有设计可能性而造成的设计结果欠佳。
(3)可以提高设计的灵活性。通过对正向预测网络对光谱响应所需满足的物理条件做了严格而又完善的限制,同时保证了优化效果和物理设计的可行性。
(4)设计过程比传统的方法更加简便,可以直接生成光谱调制器件所需的物理参数而无需进行硬件设计。
(5)设计结果的针对性更强。本发明为数据驱动的硬件与软件的协同设计,能够针对所选数据集达到更好的效果。
附图说明
图1为光谱调制器的工作过程示意图;
图2为神经网络中的神经元示意图;
图3为光谱感知网络训练过程示意图。
具体实施方式
下面结合实施例和附图来详细说明本发明,但本发明并不限于此。
所实现的一种基于神经网络的光谱响应设计方法,包括:
(1)确定目标光谱范围λmin、λmax以及光谱分辨率Δλ,则λmin、λmax之间的光谱通道数N=(λmax-λmin)/Δλ。确定光谱调制器的个数M。
(2)构建一个神经网络,称该网络为光谱感知网络。将该网络的第一层设置为输入单元数为N,输出单元数为M的线性连接层,称所述线性连接层为硬件层。则硬件层的第i(i=1,2,…,N)个输入单元与第j(j=1,2,…,M)个输出单元之间的权重项wji代表第j个光谱调制器在第i个光谱通道处的光谱响应值。
(3)在硬件层之后设置若干神经网络连接层,称为软件层。各软件层的结构和单元数等参数由设计者根据具体应用场景确定,以实现对光谱信号的重构、分类或识别等处理功能。根据对应的功能确定用于训练光谱感知网络的损失函数。
(4)构建另一个神经网络,称该网络为正向预测网络。正向预测网络的输入单元数为P,对应于P个控制光谱调制器光谱响应的物理参数;输出单元数为N,对应于光谱调制器在N个光谱通道处的响应值。训练正向预测网络,以达到根据物理参数预测光谱响应的功能。
(5)向所述光谱感知网络中添加一组参数pjk(j=1,2,…,M;k=1,2,…,P),代表控制第j个光谱调制器光谱响应的第k个物理参数。那么硬件层的权重项wji即可由参数pjk输入至正向预测网络生成,对wji的初始化和更新即转化为对pjk的初始化和更新。
(6)将所述光谱感知网络的硬件层的所有偏置项bj(j=1,2,…,M)设置为0且在训练过程中不进行更新,选择用于训练的光谱数据集。对光谱感知网络进行训练,不断更新参数pjk。当训练过程完成时,参数pj1,pj2,…,pjP即为针对该光谱数据集优化得到的第j个光谱调制器的设计参数。将参数pj1,pj2,…,pjP输入到正向预测网络得到的权重值wj1,wj2,…,wjN即为优化得到的第j个光谱调制器的光谱响应曲线。
本发明原理如下:
如图1所示,设目标物体的光谱为P(λ),M个光谱调制装置的光谱为S1(λ),S2(λ),…,SM(λ),λmin至λmax为光谱探测设备可探测的光谱范围。则经第j(j=1,2,…,M)个光谱调制装置后,探测器所获得的该点光谱强度信号Ij可表示为
式中,若光谱调制装置为发光式调制,则P(λ)为物体的反射率光谱、Sj(λ)为发光光谱;若光谱调制装置为滤光式调制,则P(λ)为物体的发光光谱、Sj(λ)为透射率光谱。
设Δλ为光谱探测设备的光谱分辨率,则λmin、λmax之间的光谱通道数N=(λmax-λmin)/Δλ。将光谱范围离散化为分辨率为Δλ的序列λ1,λ2,…,λN,则探测过程可表示为
令Pi=P(λi),Sji=Sj(λi),则
注意到上式恰好与神经网络中的线性连接神经元的响应方程有相同形式,其中Sji对应于后一层第j个神经元与前一层第i个神经元的连接权重wji。对于所有光谱调制器,上式可用矩阵的形式写为
也就是说,这M个光谱调制器可以看成是一个神经网络的线性连接层,其中第j个光谱调制器在光谱通道i处的响应Sji对应于后一层第j个神经元与前一层第i个神经元的连接权重wji(如图2所示)。而这M个光谱调制器的输出值I1,I2,…,IM可以继续作为一个输入单元数为M的神经网络的输入,从而实现光谱探测、光谱分类、光谱识别等光谱感知功能。对这个光谱感知网络进行训练即可得到优化的光谱响应Sji(wji)。
由于wji有实际的物理意义,所以在训练过程中对wji的初始化和更新需要添加相应的限制条件,以使得wji遵循一定的物理规律和加工要求。传统的做法是向训练时的损失函数中添加对wji的正则化项,以使wji符合某种要求(如非负、光滑等)。但是由于正则化项一般很难描述复杂的物理规律,使用这种方法训练生成的光谱响应可能难以被设计实现。而过度严格的正则化则容易使优化效果变差,错过找到物理上最优解的机会。
对利用神经网络进行反向硬件设计的研究发现,神经网络可以很好地预测某一类物理设计对应的光谱表现,其拟合精度远远高于根据光谱曲线反向设计物理参数的精度。利用神经网络的这一特点,可以提前训练好一个正向预测网络,其输入参数即为满足物理条件和加工要求的物理参数,输出为对应的光谱响应。在训练光谱感知网络时,将光谱响应参数wji链接到正向预测网络的输出,对wji的初始化和更新即转化为对正向预测网络输入参数的初始化和更新。这样就相当于添加了使wji符合物理规律和加工要求的限制条件,避免了设计所得的光谱调制器件难以达到所需光谱的情况。同时由于神经网络可以方便地通过反向传播来传递误差,加入正向传播网络限制后的光谱感知网络的训练速度并不会有明显降低,这对于一些仿真过程极为耗时的器件设计(如光子晶体、超表面等)来说有巨大的优势。
基于以上分析,构建一个神经网络,称该网络为光谱感知网络,并将该网络的第一层设置为输入单元数为N,输出单元数为M的线性连接层,称所述线性连接层为硬件层。则硬件层的第i(i=1,2,…,N)个输入单元与第j(j=1,2,…,M)个输出单元之间的权重wji代表第j个光谱调制器在第i个光谱通道处的响应值Sji。由于硬件层的权重项对应于光谱响应值而偏置项没有对应的物理意义,故需将硬件层的所有偏置项bj(j=1,2,…,M)设置为0,且在训练过程中不进行更新。在硬件层之后设置若干层神经网络,称为软件网络。软件网络的输出单元数可根据需要实现的不同功能设置为不同的数目(如光谱探测应设置为重构光谱通道数,光谱分类应设置为光谱类别数等)。软件网络各层的结构、单元数、层数均可以灵活设计以实现更好的拟合效果。
构建另一个神经网络,称该网络为正向预测网络。正向预测网络的输入单元数为P,对应于P个控制光谱调制器光谱响应的物理参数;输出单元数为N,对应于光谱调制器在N个光谱通道处的响应值。训练正向预测网络,以达到根据物理参数预测光谱响应的功能。
向所述光谱感知网络中添加一组参数pjk(j=1,2,…,M;k=1,2,…,P),代表控制第j个光谱调制器光谱响应的第k个物理参数。那么硬件层的权重项wji即可由参数pjk输入至正向预测网络生成,对wji的初始化和更新即转化为对pjk的初始化和更新。光谱感知网络的训练过程示意图如图3所示。
设置神经网络的损失函数,对光谱感知网络进行训练,不断更新参数pjk。当训练过程完成时,参数pj1,pj2,…,pjP即为针对该光谱数据集优化得到的第j个光谱调制器的设计参数。将参数pj1,pj2,…,pjP输入到正向预测网络得到的权重值wj1,wj2,…,wjN即为优化得到的第j个光谱调制器的光谱响应曲线。
通过这种方法,不仅能实现对光谱调制器光谱响应的设计,同时还实现了软件与硬件的协同设计。训练完成后,只需要将参数pj1,pj2,…,pjP作为光谱调制器的设计参数,设计出的光谱调制器光谱响应即为优化得到的光谱响应曲线。将光线经每个光谱调制器调制后的强度值输入到训练得到的软件网络,即可实现对光谱的探测、分类或识别等功能。
实施例1
所实现的一种基于神经网络的光谱响应设计方法,具体方案如下:
(1)确定目标光谱范围λmin=420nm、λmax=720nm以及光谱分辨率Δλ=1nm,则λmin、λmax之间的光谱通道数N=(λmax-λmin)/Δλ=300。确定光谱调制器为光学薄膜滤光片,其个数M=50。
(2)构建一个神经网络,称该网络为光谱感知网络。将该网络的第一层设置为输入单元数为300,输出单元数为50的线性连接层,称所述线性连接层为硬件层。则硬件层的第i(i=1,2,…,300)个输入单元与第j(j=1,2,…,50)个输出单元之间的权重项wji代表第j个滤光片在第i个光谱通道处的光谱响应值。
(3)在硬件层之后设置软件层网络,具体设置方法为设置一层批归一化层(BatchNormalization Layer),在其后设置修正线性单元(Rectified Linear Unit),在其后顺序设置3组线性连接层(Fully Connected Layer)、批归一化层(Batch NormalizationLayer)以及修正线性单元(Rectified Linear Unit),其中线性连接层的输出单元数目分别为1000、1000、300。其输出数据为光谱曲线,整个光谱感知网络的功能是光谱探测。其损失函数为输入光谱曲线与输出光谱曲线的均方误差。
(4)构建另一个神经网络,称该网络为正向预测网络。正向预测网络的输入单元数P=20,对应于滤光片的20个膜层厚度;输出单元数为300,对应于滤光片在300个光谱通道处的响应值。训练正向预测网络,以达到根据膜层厚度预测滤光片光谱响应的功能。
(5)向所述光谱感知网络中添加一组参数pjk(j=1,2,…,50;k=1,2,…,20),代表控制第j个滤光片光谱响应的第k层厚度。那么硬件层的权重项wji即可由参数pjk输入至正向预测网络生成,对wji的初始化和更新即转化为对pjk的初始化和更新。
(6)将所述光谱感知网络的硬件层的所有偏置项bj(j=1,2,…,50)设置为0且在训练过程中不进行更新,选择CAVE Multispectral Image Database作为用于训练的光谱数据集。对光谱感知网络进行训练,不断更新参数pjk。当训练过程完成时,参数pj1,pj2,…,pjP即为针对该光谱数据集优化得到的第j个滤光片的膜系厚度。将参数pj1,pj2,…,pjP输入到正向预测网络得到的权重值wj1,wj2,…,wjN即为优化得到的第j个滤光片的光谱响应曲线。
(7)使用参数{pjk}设计生产出的50个滤光片可用于组成光谱探测设备的滤光片阵列,待测物体发出的光经过每个滤光片被探测器探测到,转化为数字信号,将这些数字信号输入至训练后的软件层网络,即可重构得到光谱数据。该设备可以进一步应用于农产品检测等光谱分析领域。
实施例2
所实现的一种基于神经网络的光谱响应设计方法,具体方案如下:
(1)确定目标光谱范围λmin=380nm、λmax=780nm以及光谱分辨率Δλ=2nm,则λmin、λmax之间的光谱通道数N=(λmax-λmin)/Δλ=200。确定光谱调制器为光子晶体器件,其个数M=16。
(2)构建一个人工神经网络,并将该网络的第一层设置为输入单元数为200,输出单元数为16的线性连接层,称所述线性连接层为硬件层。则硬件层的第i(i=1,2,…,200)个输入单元与第j(j=1,2,…,16)个输出单元之间的权重wji代表第j个光谱调制器在第i个光谱通道处的响应值。
(3)在硬件层之后设置软件层网络,具体设置方法为设置泄漏修正线性单元(Leaky Rectified Linear Unit),在其后顺序设置5组线性连接层(Fully ConnectedLayer)、批归一化层(Batch Normalization Layer)以及泄漏修正线性单元(LeakyRectified Linear Unit),其中线性连接层的输出单元数目分别为500、800、800、200、20。其输出数据为光谱类别,整个光谱感知网络的功能是光谱分类。其损失函数为输出光谱类别标签与光谱数据标签的交叉熵。
(4)构建另一个神经网络,称该网络为正向预测网络。正向预测网络的输入单元数为4,分别对应于控制光子晶体光谱响应的微纳结构宽度、长度、间距和角度;输出单元数为200,对应于光谱调制器在200个光谱通道处的响应值。训练正向预测网络,以达到根据微纳结构参数预测光谱响应的功能。
(5)向所述光谱感知网络中添加一组参数pjk(j=1,2,…,16;k=1,2,3,4),代表控制第j个光谱调制器光谱响应的第k个微纳结构参数。那么硬件层的权重项wji即可由参数pjk输入至正向预测网络生成,对wji的初始化和更新即转化为对pjk的初始化和更新。
(6)将所述光谱感知网络的硬件层的所有偏置项bj(j=1,2,…,16)设置为0且在训练过程中不进行更新,选择Harvard Dataset作为用于训练的光谱数据集。对光谱感知网络进行训练,不断更新参数pjk。当训练过程完成时,参数pj1,pj2,…,pjP即为针对该光谱数据集优化得到的第j个光谱调制器的微纳结构参数。将参数pj1,pj2,…,pjP输入到正向预测网络得到的权重值wj1,wj2,…,wjN即为优化得到的第j个光谱调制器的光谱响应曲线。
(7)使用参数{pjk}设计生产出的16个光子晶体滤光片可集成至CMOS探测器芯片上制成光谱成像芯片,待测物体发出的光经过每个滤光片被探测器探测到,转化为数字信号,将这些数字信号输入至训练后的软件层网络,即可得到光谱分类数据。该设备可以进一步应用于农产品检测、识别等光谱分析领域。
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于神经网络的光谱响应设计方法,其特征在于,该方法包括以下步骤:
(1)确定目标光谱的光谱通道数N以及光谱调制器的个数M;
(2)构建光谱感知网络;所述光谱感知网络的第一层为输入单元数为N,输出单元数为M的线性连接层,该线性连接层为硬件层;根据神经网络线性连接层的数学特性,硬件层描述了M个光谱调制器对输入的目标光谱的调制过程,即硬件层的第i(i=1,2,…,N)个输入单元与第j(j=1,2,…,M)个输出单元之间的权重项wji表示第j个光谱调制器在第i个光谱通道处的光谱响应值,第j个输出单元的响应值代表目标光谱经过第j个光谱调制器后探测器的响应;硬件层之后为若干神经网络连接层,负责对硬件层的输出响应值做进一步处理,以使整个光谱感知网络实现光谱重构和光谱识别;
(3)构建正向预测网络;所述正向预测网络的输入单元数为P,对应于P个控制光谱调制器光谱响应的物理参数;输出单元数为N,对应于光谱调制器在N个光谱通道处的响应值;训练正向预测网络,以达到根据物理参数预测光谱响应的功能;
(4)向所述光谱感知网络中添加一组参数pjk(j=1,2,…,M;k=1,2,…,P),表示控制第j个光谱调制器光谱响应的第k个物理参数;硬件层的权重项wji由参数pjk输入至正向预测网络生成,对wji的初始化和更新即转化为对物理参数pjk的初始化和更新;
(5)训练光谱感知网络;将所述光谱感知网络的硬件层的所有偏置项bj(j=1,2,…,M)设置为0且在训练过程中不进行更新,选择已知的光谱数据集对光谱感知网络进行训练,不断更新参数pjk;当训练过程完成后,所得的参数pj1,pj2,…,pjP即为优化得到的第j个光谱调制器的设计参数,将其输入到正向预测网络,得到的权重值wj1,wj2,…,wjN即为第j个光谱调制器的光谱响应曲线。
2.根据权利要求1所述的一种基于神经网络的光谱响应设计方法,其特征在于,所述步骤(1)中,所述光谱通道数N的计算公式如下:
N=(λmax-λmin)/Δλ
其中,λmin、λmax分别为目标光谱波长的最小值和最大值,Δλ为光谱分辨率。
3.根据权利要求1所述的一种基于神经网络的光谱响应设计方法,其特征在于,所述步骤(2)中,所述神经网络连接层为软件层;各软件层的结构和单元数由设计者根据具体应用场景确定,以实现对光谱信号的重构、分类或识别;根据对应的功能确定用于训练光谱感知网络的损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010332612.6A CN111551252B (zh) | 2020-04-24 | 2020-04-24 | 一种基于神经网络的光谱响应设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010332612.6A CN111551252B (zh) | 2020-04-24 | 2020-04-24 | 一种基于神经网络的光谱响应设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111551252A CN111551252A (zh) | 2020-08-18 |
CN111551252B true CN111551252B (zh) | 2021-08-17 |
Family
ID=72007601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010332612.6A Active CN111551252B (zh) | 2020-04-24 | 2020-04-24 | 一种基于神经网络的光谱响应设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111551252B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926157B (zh) * | 2021-03-10 | 2023-06-27 | 中国计量大学 | 一种基于神经网络的光栅滤光片结构优化方法 |
CN114329900A (zh) * | 2021-11-30 | 2022-04-12 | 浪潮电子信息产业股份有限公司 | 一种基于神经网络的器件参数获取方法、系统及相关组件 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447891A (zh) * | 2019-01-09 | 2019-03-08 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的高质量成像方法 |
CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130169959A1 (en) * | 2011-07-08 | 2013-07-04 | Optopo Inc. d/b/a Centice Corp. | Zero order sensing to increase light collection in a spectrometer |
US10718669B2 (en) * | 2018-09-12 | 2020-07-21 | Datacolor, Inc. | Re-calibrating color measurement instruments based on user-made color selections |
-
2020
- 2020-04-24 CN CN202010332612.6A patent/CN111551252B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447891A (zh) * | 2019-01-09 | 2019-03-08 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的高质量成像方法 |
CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111551252A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106897737B (zh) | 一种基于超限学习机的高光谱遥感图像地物分类方法 | |
EP2161555B1 (en) | Coating color database creating method, search method using the database, their system, program, and recording medium | |
CN111551252B (zh) | 一种基于神经网络的光谱响应设计方法 | |
CN105103166B (zh) | 用于涂料配制的纹理评估的系统和方法 | |
CN108846473A (zh) | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 | |
CN109902862A (zh) | 一种融合时间注意力机制的时间序列预测系统 | |
CN107798383B (zh) | 改进的核极限学习机定位方法 | |
CN112881308B (zh) | 一种基于宽光谱编码和深度学习的光谱相机 | |
CN107664532A (zh) | 使用稀疏转移集合转移校准模型 | |
CN115731191A (zh) | 一种基于神经网络的窄波段光谱成像方法 | |
CN116340796A (zh) | 时序数据分析方法、装置、设备及存储介质 | |
Zhou et al. | Dyed fabric illumination estimation with regularized random vector function link network | |
Feng et al. | Hyperspectral band selection based on ternary weight convolutional neural network | |
CN110533109A (zh) | 一种喷涂生产监测数据的存储及特征分析方法及其装置 | |
CN114399642A (zh) | 一种卷积神经网络荧光光谱特征提取方法 | |
CN110070004A (zh) | 一种应用于深度学习的近地高光谱数据扩展方法 | |
CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
Ghosh et al. | Machine learning based illuminance estimation from rgb sensor in a wireless network | |
CN111091532B (zh) | 一种基于多层感知机的遥感影像色彩评价方法和系统 | |
Kavuncuoğlu et al. | Artificial Intelligence (AI) algorithms for evaluation of optical fiber scintillation detector performance | |
Rao et al. | Classification of land cover usage from satellite images using deep learning algorithms | |
CN115423091A (zh) | 一种条件对抗神经网络训练方法、场景生成方法和系统 | |
CN115188480A (zh) | 一种基于纳米光子储备池计算的传染病预测方法 | |
Zhang et al. | Feature importance measure of a multilayer perceptron based on the presingle-connection layer | |
CN114841461A (zh) | 基于时序缺失感知和多源因素融合的空气质量集成预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |