CN116862819B - 基于液晶可调谐滤波器的近红外高光谱成像方法及系统 - Google Patents

基于液晶可调谐滤波器的近红外高光谱成像方法及系统 Download PDF

Info

Publication number
CN116862819B
CN116862819B CN202310639819.1A CN202310639819A CN116862819B CN 116862819 B CN116862819 B CN 116862819B CN 202310639819 A CN202310639819 A CN 202310639819A CN 116862819 B CN116862819 B CN 116862819B
Authority
CN
China
Prior art keywords
near infrared
network
target
image
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310639819.1A
Other languages
English (en)
Other versions
CN116862819A (zh
Inventor
李晖
李诗琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202310639819.1A priority Critical patent/CN116862819B/zh
Publication of CN116862819A publication Critical patent/CN116862819A/zh
Application granted granted Critical
Publication of CN116862819B publication Critical patent/CN116862819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提出了基于液晶可调谐滤波器的近红外高光谱成像方法及系统，涉及计算机成像技术领域；该方法包括以下步骤：获得目标场景下的目标可见光图像；通过预先训练的网络模型，得到与所述目标可见光图像对应的多张近红外高光谱目标图像，多张所述近红外高光谱目标图像均在指定波段内；在保证图像的质量的前提下，采用低成本获取可见光‑近红外高光谱数据集的方案，利用网络模型达到生成可见光‑近红外高光谱图像，实现了将光谱重构从可见光扩展到近红外，适用于各个场景各类领域，用于需要获取此类数据集的并且没有昂贵高光谱相机的研究领域。

Description

基于液晶可调谐滤波器的近红外高光谱成像方法及系统
技术领域
本发明涉及计算机成像技术领域，具体而言，涉及基于液晶可调谐滤波器的近红外高光谱成像方法及系统。
背景技术
当前基于可见光高光谱成像系统已被提出，光谱成像系统可以通过获得物体的连续光谱来编码高光谱图像，高光谱图像以窄波段记录真实的场景光谱，其中每个波段捕获特定光谱波长的信息，与正常的RGB图像相比，高光谱图像有更多的光谱波段来存储更丰富的信息，并描绘出更多捕获场景的细节；光谱成像技术按照编码方式可主要分为点扫描，线扫描，光谱扫描和快照式，无论选择扫描式还是快照式进行光谱成像都会有一些缺点，例如成像速度慢，应用场景有限制，成本高等，所以基于深度学习的计算光谱成像方法成为当前的研究热点。
基于深度学习的计算光谱成像技术是基于数据驱动的，其重建质量主要依赖于数据集。目前此技术仅涉及到可见光的光谱成像且用于光谱成像的数据集仅包含RGB图像和其对应的400-700nm的高光谱图像对；然而，许多实验仅可以在近红外波段内辨别产品真假，检测产品质量等，如果使用高光谱相机获取可见光-近红外光谱图像进而来检测这些产品，需要的费用太高。
发明内容
本发明的目的在于提供基于液晶可调谐滤波器的近红外高光谱成像方法及系统，以解决上述背景技术中存在的问题。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供了基于液晶可调谐滤波器的近红外高光谱成像方法，包括以下步骤：
获得目标场景下的目标可见光图像；
通过预先训练的网络模型，得到与目标可见光图像对应的多张近红外高光谱目标图像，多张近红外高光谱目标图像均在指定波段内。
本发明的有益效果是：在保证图像的质量的前提下，采用低成本获取可见光-近红外高光谱数据集的方案，利用网络模型达到生成可见光-近红外高光谱图像，实现了将光谱重构从可见光扩展到近红外，适用于各个场景各类领域，用于需要获取此类数据集的并且没有昂贵高光谱相机的研究领域。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，上述预置的网络模型通过以下方式建立：
获得测试场景的可见光图像，并通过预置的目标滤波器获得在不同电压下的测试场景下的多张近红外光谱图像，多张近红外光谱图像的光谱范围均在指定波段内；
根据每张近红外光谱图像，获得每张近红外光谱图像对应的高光谱图像；
根据可见光图像和对应的多张高光谱图像，分别建立初始样本和基于深度学习的初始模型；
通过初始样本对初始模型进行训练，得到满足预置的训练结束条件的网络模型。
采用上述进一步方案的有益效果是：通过测试场景中的可见光图像和对应的多张高光谱图像，建立初始样本和基于深度学习的初始模型，并通过初始样本对初始模型进行训练，这样的好处是获得精度更高的网络模型。
进一步，上述网络模型是基于以下方式训练得到的：
将初始样本中的可见光图像输入初始模型，得到多张近红外高光谱预测图像；
根据各张高光谱图像和各张近红外高光谱预测图像，确定初始模型的损失值；
若损失值满足训练结束条件，将满足训练结束条件的初始模型确定为网络模型，若损失值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到损失值满足训练结束条件。
采用上述进一步方案的有益效果是：通过高光谱图像和近红外高光谱预测图像来确定初始模型的损失值，通过损失值来判断初始模型是否合格，达到获得高精度的网络模型的目的。
进一步，上述通过预置的目标滤波器获得在不同电压下的预置场景下的多张近红外光谱图像，包括：
计算得到在指定波段内的每个波段点对应的实际参数，实际参数包括目标滤波器的液晶层厚度和光谱响应曲线；
基于预置的反向设计网络，通过指定波段内预置的测试光谱曲线获得预测参数，预测参数包括目标滤波器的液晶层厚度和光谱响应曲线；
基于预置的正向建模网络，通过预置的测试参数获得在指定波段内的预测光谱曲线，测试参数包括目标滤波器的液晶层厚度和光谱响应曲线；
将反向设计网络与正向建模网络连接，根据测试光谱曲线、实际参数、预测参数、测试参数和预测光谱曲线，获得目标制备参数；
通过目标制备参数获得与目标制备参数对应的目标滤波器；
通过向目标滤波器施加不同的电压，获得在不同的电压下的预置场景下的多张近红外光谱图像。
采用上述进一步方案的有益效果是：反向设计网络与正向建模网络来获得目标滤波器，这样的好处是得到精度更高的目标滤波器，并为后续的通过目标滤波器获得近红外光谱图像做准备。
进一步，上述将反向设计网络与正向建模网络连接，根据测试光谱曲线、实际参数、预测参数、测试参数和预测光谱曲线，获得目标制备参数，包括：
通过训练得到训练合格的正向建模网络，将训练合格的正向建模网络连接反向设计网络；
将预测光谱曲线输入反向设计网络，得到制备样本参数；
通过制备样本参数和测试参数，确定反向设计网络的第一误差值；
若第一误差值满足预设的第一合格条件，将满足第一合格条件的制备样本参数确定为目标制备参数，若第一误差值不满足第一合格条件，调整反向设计网络的网络参数，并基于调整后的网络参数重新训练反向设计网络，直到第一误差值满足第一合格条件。
采用上述进一步方案的有益效果是：根据制备样本参数和测试参数确定第一误差值，使正向建模网络的精度更高。
进一步，上述训练合格的正向建模网络是通过以下方式训练得到的：
通过测试参数对应的预测光谱曲线和测试参数对应的真实光谱曲线，确定正向建模网络的第二误差值；
若第二误差值满足预设的第二合格条件，将满足第二合格条件的正向建模网络确定为训练合格的正向建模网络，若第二误差值不满足第二合格条件，调整正向建模网络的网络参数，并基于调整后的网络参数重新训练反向设计网络，直到第二误差值满足第二合格条件。
进一步，上述根据每张近红外光谱图像，获得每张近红外光谱图像对应的高光谱图像，包括：
对近红外光谱图像进行图像增强处理，得到图像增强后的多张近红外光谱图像；
将图像增强后的多张近红外光谱图像裁剪为统一大小；
根据统一大小的多张近红外光谱图像，得到每张近红外光谱图像对应的高光谱图像。
第二方面，本申请实施例提供了基于液晶可调谐滤波器的近红外高光谱成像系统，包括：
获取模块，用于获得目标场景下的目标可见光图像；
高光谱图像模块，用于通过预先训练的网络模型，得到与目标可见光图像对应的多张近红外高光谱目标图像，多张近红外高光谱目标图像均在指定波段内。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。
第四方面，本申请实施例提供了一种非暂态计算机可读存储介质，其特征在于，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中的方法流程图；
图2为本发明实施例中基于液晶可调谐滤波器的近红外高光谱成像系统的连接示意图；
图3为本发明实施例中电子设备的连接示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
实施例
第一方面，本实施例提供基于液晶可调谐滤波器的近红外高光谱成像方法，包括以下步骤：
S1、获得目标场景下的目标可见光图像；
其中，获得的目标可见光图像也即是RGB图像，通过传统的摄像设备即能够获得。
S2、通过预先训练的网络模型，得到与目标可见光图像对应的多张近红外高光谱目标图像，多张近红外高光谱目标图像均在指定波段内。
其中，将目标可见光图像输入到训练好的网络模型中，网络模型输出与目标可见光图像对应的多张近红外高光谱目标图像，并且多张近红外高光谱目标图像的波段均在指定的波段内。
具体地，为了获取场景中更多的可见光以及红外光谱信息，将可见光高光谱重构扩展到近红外区域，即通过输入一张RGB图像即可得到400nm-900nm中、间隔为10nm的51张高光谱图像，即实现可见光-近红外高光谱图像的重构；在保证图像的质量的前提下，采用低成本获取可见光-近红外高光谱数据集的方案，用于需要获取此类数据集的并且没有昂贵高光谱相机的研究领域；利用网络模型达到生成可见光-近红外高光谱图像，实现了将光谱重构从可见光扩展到近红外，适用于各个场景各类领域。
可选的，上述预置的网络模型通过以下方式建立：
获得测试场景的可见光图像，并通过预置的目标滤波器获得在不同电压下的测试场景下的多张近红外光谱图像，多张近红外光谱图像的光谱范围均在指定波段内；
其中，通过预置的目标滤波器获得近红外光谱图像时，可以通过搭建光谱成像系统来实现，光谱成像系统可以是在传统的镜头、近红外CCD、半透半反镜等基于传统多组镜头组合成的镜头前加装液晶可调谐滤波器(目标滤波器)，在光谱成像系统搭建完成后进一步启动系统，通过拍摄某一场景，对光谱成像系统的镜头进行调整焦光圈和可变亮度光圈，以保证图像清晰以及系统正常运行。
可选的，上述通过预置的目标滤波器获得在不同电压下的预置场景下的多张近红外光谱图像，包括：
计算得到在指定波段内的每个波段点对应的实际参数，实际参数包括目标滤波器的液晶层厚度和光谱响应曲线；
基于预置的反向设计网络，通过指定波段内预置的测试光谱曲线获得预测参数，预测参数包括目标滤波器的液晶层厚度和光谱响应曲线；
基于预置的正向建模网络，通过预置的测试参数获得在指定波段内的预测光谱曲线，测试参数包括目标滤波器的液晶层厚度和光谱响应曲线；
将反向设计网络与正向建模网络连接，根据测试光谱曲线、实际参数、预测参数、测试参数和预测光谱曲线，获得目标制备参数；
其中，目标滤波器的目标制备参数是通过预置的正向建模网络和反向设计网络来获得的，在获得目标制备参数后，通过目标制备参数从而制造获得满足条件的目标滤波器。
具体地，对于测试光谱曲线、预测参数、测试参数和预测光谱曲线的获取，可以利用LCTF的透过率公式和MATLAB仿真软件来获取；目标滤波器的光谱响应曲线指的是每个中心波长对应的400-900nm每点所对应的透过率；其中，反向设计网络，网络结构可以由全连接层、归一化层、激活层、和dropout层组成，反向设计网络输入是光谱响应曲线，输出是液晶层的厚度，具体网络结构为:光谱响应曲线条数-FC-2000-BN-Rule-FC-1000-BN-Rule-FC-100-BN-Rule-FC-液晶层厚度-sigmoid；其中，正向建模网络输入是液晶层的厚度，输出是光谱响应曲线，具体网络结构为：液晶层厚度-FC-200-BN-Rule-FC-1000-BN-Rule-FC-1000-dropout-BN-Rule-FC-光谱响应曲线条数-sigmoid；最后通过反向设计网络和正向建模网络获得目标滤波器的目标制备参数。
可选的，上述将反向设计网络与正向建模网络连接，根据测试光谱曲线、实际参数、预测参数、测试参数和预测光谱曲线，获得目标制备参数，包括：
通过训练得到训练合格的正向建模网络，将训练合格的正向建模网络连接反向设计网络；
可选的，训练合格的正向建模网络是通过以下方式训练得到的：
通过测试参数对应的预测光谱曲线和测试参数对应的真实光谱曲线，确定正向建模网络的第二误差值；
若第二误差值满足预设的第二合格条件，将满足第二合格条件的正向建模网络确定为训练合格的正向建模网络，若第二误差值不满足第二合格条件，调整正向建模网络的网络参数，并基于调整后的网络参数重新训练反向设计网络，直到第二误差值满足第二合格条件。
其中，反向设计网络和正向建模网络也使需要进行训练的，来进一步提高反向设计网络和正向建模网络的精度，其中，第一步可以利用数据集，先对正向建模网络进行训练，然后，将训练良好的正向建模网络(训练合格的正向建模网络)与反向设计网络进行连接；第二步，由于正向建模网络已训练完成，则正向建模网络中的权值是固定的，反向设计网络中的权值被训练以降低代价函数，定义为预测响应与目标响应之间的误差(第二误差值)；通过向正向建模网络中输入中心波长(测试参数)，利用网络获得预测光谱曲线，再将预测光谱曲线与真实光谱曲线进行对比，看结果是否达到消除侧峰(第一误差值看是否满足第一合格条件)，如果没有，可以改变训练次数，增大数据集，如果效果明显，输出滤波器的目标制备参数。
将预测光谱曲线输入反向设计网络，得到制备样本参数；
通过制备样本参数和测试参数，确定反向设计网络的第一误差值；
若第一误差值满足预设的第一合格条件，将满足第一合格条件的制备样本参数确定为目标制备参数，若第一误差值不满足第一合格条件，调整反向设计网络的网络参数，并基于调整后的网络参数重新训练反向设计网络，直到第一误差值满足第一合格条件。
其中，在反向设计网络和正向建模网络都合格后，便输出目标滤波器的目标制备参数。
通过目标制备参数获得与目标制备参数对应的目标滤波器；
其中，目标滤波器的制备可以通过以下方式实现：滤波器主要由偏振片、液晶盒、波片构成；
液晶盒制作的基本过程可以是:
A、清洗镀有ITO透明电极的玻璃基片；
B、定向层制作:在镀有ITO的一面，使用电动甩膜机，采用“spin-coating法”甩上一层均匀的聚酰亚胺定向层，在180℃下加热两个小时使定向层固化；
C、取向:使用绒布，对固化后的定向层进行摩擦定向，绒布对定向层的相对转动的方向决定了定向层的取向方向；
D、制盒:两片玻璃ITO面相对，中间垫上所需厚度的隔离物Spacer，将两玻璃使用紫外曝光胶进行固定后，向玻璃夹层加入液品，由于毛细作用，液晶将逐渐渗入玻璃夹层，如果提高温度，渗入速度将加快。如果液品渗入后产生气泡，可以使用对液品加温后逐渐降低至室温的方法去除气泡。静置一段时间使液晶在液晶盒中分布均匀后，使用紫外曝光胶封装。
E、黏贴电极:使用银胶将导线黏贴在ITO玻璃上，加热使银胶固化，再使用紫外曝光胶将银胶和导线与ITO玻璃封在一起。
将制作好的液晶盒与波片使用折射率匹配硅油连接，用紫外曝光胶封装在一起，再沿45°方向贴上偏振片，以完成目标滤波器的制备。
通过向目标滤波器施加不同的电压，获得在不同的电压下的预置场景下的多张近红外光谱图像。
根据每张近红外光谱图像，获得每张近红外光谱图像对应的高光谱图像；
可选的，上述根据每张近红外光谱图像，获得每张近红外光谱图像对应的高光谱图像，包括：
对近红外光谱图像进行图像增强处理，得到图像增强后的多张近红外光谱图像；
将图像增强后的多张近红外光谱图像裁剪为统一大小；
根据统一大小的多张近红外光谱图像，得到每张近红外光谱图像对应的高光谱图像。
具体地，对采集到的同一场景的光谱图像(近红外光谱图像)，先利用python中的surf配准库进行图像配准，然后对所有图像裁剪成统一大小，再利用插值获取目标滤波器没有涉及到的其他波段的光谱图像，最后将这些光谱图像制作成.mat形式的高光谱图像。
根据可见光图像和对应的多张高光谱图像，分别建立初始样本和基于深度学习的初始模型；
通过初始样本对初始模型进行训练，得到满足预置的训练结束条件的网络模型。
可选的，网络模型是基于以下方式训练得到的：
将初始样本中的可见光图像输入初始模型，得到多张近红外高光谱预测图像；
根据各张高光谱图像和各张近红外高光谱预测图像，确定初始模型的损失值；
若损失值满足训练结束条件，将满足训练结束条件的初始模型确定为网络模型，若损失值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到损失值满足训练结束条件。
第二方面，本申请实施例提供了基于液晶可调谐滤波器的近红外高光谱成像系统，包括：
获取模块，用于获得目标场景下的目标可见光图像；
高光谱图像模块，用于通过预先训练的网络模型，得到与目标可见光图像对应的多张近红外高光谱目标图像，多张近红外高光谱目标图像均在指定波段内。
可选的，上述高光谱图像模块包括：
图像子模块，用于获得测试场景的可见光图像，并通过预置的目标滤波器获得在不同电压下的测试场景下的多张近红外光谱图像，多张近红外光谱图像的光谱范围均在指定波段内；
高光谱图像子模块，用于根据每张近红外光谱图像，获得每张近红外光谱图像对应的高光谱图像；
建立子模块，用于根据可见光图像和对应的多张高光谱图像，分别建立初始样本和基于深度学习的初始模型；
训练子模块，用于通过初始样本对初始模型进行训练，得到满足预置的训练结束条件的网络模型。
可选的，上述训练子模块包括：
输入单元，用于将初始样本中的可见光图像输入初始模型，得到多张近红外高光谱预测图像；
损失值计算单元，用于根据各张高光谱图像和各张近红外高光谱预测图像，确定初始模型的损失值；
判断单元，用于若损失值满足训练结束条件，将满足训练结束条件的初始模型确定为网络模型，若损失值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到损失值满足训练结束条件。
可选的，上述图像子模块包括：
第一单元，用于计算得到在指定波段内的每个波段点对应的实际参数，实际参数包括目标滤波器的液晶层厚度和光谱响应曲线；
第二单元，用于基于预置的反向设计网络，通过指定波段内预置的测试光谱曲线获得预测参数，预测参数包括目标滤波器的液晶层厚度和光谱响应曲线；
第三单元，用于基于预置的正向建模网络，通过预置的测试参数获得在指定波段内的预测光谱曲线，测试参数包括目标滤波器的液晶层厚度和光谱响应曲线；
第四单元，用于将反向设计网络与正向建模网络连接，根据测试光谱曲线、实际参数、预测参数、测试参数和预测光谱曲线，获得目标制备参数；
第五单元，用于通过目标制备参数获得与目标制备参数对应的目标滤波器；
第六单元，用于通过向目标滤波器施加不同的电压，获得在不同的电压下的预置场景下的多张近红外光谱图像。
可选的，上述第四单元包括：
第一子单元，用于通过训练得到训练合格的正向建模网络，将训练合格的正向建模网络连接反向设计网络；
第二子单元，用于将预测光谱曲线输入反向设计网络，得到制备样本参数；
第三子单元，用于通过制备样本参数和测试参数，确定反向设计网络的第一误差值；
第四子单元，用于若第一误差值满足预设的第一合格条件，将满足第一合格条件的制备样本参数确定为目标制备参数，若第一误差值不满足第一合格条件，调整反向设计网络的网络参数，并基于调整后的网络参数重新训练反向设计网络，直到第一误差值满足第一合格条件。
可选的，上述第一子单元包括：
第五子单元，用于通过测试参数对应的预测光谱曲线和测试参数对应的真实光谱曲线，确定正向建模网络的第二误差值；
第六子单元，用于若第二误差值满足预设的第二合格条件，将满足第二合格条件的正向建模网络确定为训练合格的正向建模网络，若第二误差值不满足第二合格条件，调整正向建模网络的网络参数，并基于调整后的网络参数重新训练反向设计网络，直到第二误差值满足第二合格条件。
可选的，上述高光谱图像子模块包括：
图像增强单元，用于对近红外光谱图像进行图像增强处理，得到图像增强后的多张近红外光谱图像；
图像裁剪单元，用于将图像增强后的多张近红外光谱图像裁剪为统一大小；
高光谱图像单元，用于根据统一大小的多张近红外光谱图像，得到每张近红外光谱图像对应的高光谱图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。
第四方面，本申请实施例提供了一种非暂态计算机可读存储介质，其特征在于，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.基于液晶可调谐滤波器的近红外高光谱成像方法，其特征在于，包括以下步骤：
获得目标场景下的目标可见光图像；
通过预先训练的网络模型，得到与所述目标可见光图像对应的多张近红外高光谱目标图像，多张所述近红外高光谱目标图像均在指定波段内；
其中，所述网络模型通过以下方式建立：
获得测试场景的可见光图像，并通过预置的目标滤波器获得在不同电压下的测试场景下的多张近红外光谱图像，多张所述近红外光谱图像的光谱范围均在指定波段内；
根据每张所述近红外光谱图像，获得每张所述近红外光谱图像对应的高光谱图像；
根据所述可见光图像和对应的多张所述高光谱图像，分别建立初始样本和基于深度学习的初始模型；
通过初始样本对初始模型进行训练，得到满足预置的训练结束条件的所述网络模型；
其中，所述网络模型是基于以下方式训练得到的：
将所述初始样本中的所述可见光图像输入所述初始模型，得到多张近红外高光谱预测图像；
根据各张所述高光谱图像和各张所述近红外高光谱预测图像，确定所述初始模型的损失值；
若所述损失值满足所述训练结束条件，将满足所述训练结束条件的初始模型确定为所述网络模型，若所述损失值不满足所述训练结束条件，调整所述初始模型的模型参数，并基于调整后的模型参数重新训练所述初始模型，直到所述损失值满足所述训练结束条件；
其中，所述通过预置的目标滤波器获得在不同电压下的预置场景下的多张近红外光谱图像，包括：
计算得到在所述指定波段内的每个波段点对应的实际参数，所述实际参数包括所述目标滤波器的液晶层厚度和光谱响应曲线；
基于预置的反向设计网络，通过所述指定波段内预置的测试光谱曲线获得预测参数，所述预测参数包括所述目标滤波器的液晶层厚度和光谱响应曲线；
基于预置的正向建模网络，通过预置的测试参数获得在所述指定波段内的预测光谱曲线，所述测试参数包括所述目标滤波器的液晶层厚度和光谱响应曲线；
将所述反向设计网络与所述正向建模网络连接，根据所述测试光谱曲线、所述实际参数、所述预测参数、所述测试参数和所述预测光谱曲线，获得目标制备参数；
通过所述目标制备参数获得与所述目标制备参数对应的目标滤波器；
通过向所述目标滤波器施加不同的电压，获得在不同的电压下的预置场景下的多张所述近红外光谱图像；
其中，所述将所述反向设计网络与所述正向建模网络连接，根据所述测试光谱曲线、所述实际参数、所述预测参数、所述测试参数和所述预测光谱曲线，获得目标制备参数，包括：
通过训练得到训练合格的所述正向建模网络，将所述训练合格的正向建模网络连接所述反向设计网络；
将所述预测光谱曲线输入所述反向设计网络，得到制备样本参数；
通过所述制备样本参数和所述测试参数，确定所述反向设计网络的第一误差值；
若所述第一误差值满足预设的第一合格条件，将满足所述第一合格条件的制备样本参数确定为所述目标制备参数，若所述第一误差值不满足所述第一合格条件，调整所述反向设计网络的网络参数，并基于调整后的网络参数重新训练所述反向设计网络，直到所述第一误差值满足所述第一合格条件；
其中，目标滤波器的制备通过以下方式实现：滤波器主要由偏振片、液晶盒、波片构成；
液晶盒制作的基本过程是:
A、清洗镀有ITO透明电极的玻璃基片；
B、定向层制作:在镀有ITO 的一面，使用电动甩膜机，采用“spin-coating法”甩上一层均匀的聚酰亚胺定向层，在180℃下加热两个小时使定向层固化；
C、取向:使用绒布，对固化后的定向层进行摩擦定向，绒布对定向层的相对转动的方向决定了定向层的取向方向；
D、制盒:两片玻璃ITO面相对，中间垫上所需厚度的隔离物Spacer，将两玻璃使用紫外曝光胶进行固定后，向玻璃夹层加入液品，由于毛细作用，液晶将逐渐渗入玻璃夹层，如果提高温度，渗入速度将加快；如果液品渗入后产生气泡，可以使用对液品加温后逐渐降低至室温的方法去除气泡；静置一段时间使液晶在液晶盒中分布均匀后，使用紫外曝光胶封装；
E、黏贴电极:使用银胶将导线黏贴在ITO玻璃上，加热使银胶固化，再使用紫外曝光胶将银胶和导线与ITO玻璃封在一起；
将制作好的液晶盒与波片使用折射率匹配硅油连接，用紫外曝光胶封装在一起，再沿45°方向贴上偏振片，以完成目标滤波器的制备。
2.根据权利要求1所述的基于液晶可调谐滤波器的近红外高光谱成像方法，所述训练合格的正向建模网络是通过以下方式训练得到的：
通过所述测试参数对应的所述预测光谱曲线和所述测试参数对应的真实光谱曲线，确定所述正向建模网络的第二误差值；
若所述第二误差值满足预设的第二合格条件，将满足所述第二合格条件的正向建模网络确定为所述训练合格的正向建模网络，若所述第二误差值不满足所述第二合格条件，调整所述正向建模网络的网络参数，并基于调整后的网络参数重新训练所述反向设计网络，直到所述第二误差值满足所述第二合格条件。
3.根据权利要求1所述的基于液晶可调谐滤波器的近红外高光谱成像方法，其特征在于，所述根据每张所述近红外光谱图像，获得每张所述近红外光谱图像对应的高光谱图像，包括：
对所述近红外光谱图像进行图像增强处理，得到图像增强后的多张所述近红外光谱图像；
将图像增强后的多张所述近红外光谱图像裁剪为统一大小；
根据统一大小的多张所述近红外光谱图像，得到每张所述近红外光谱图像对应的高光谱图像。
4.基于液晶可调谐滤波器的近红外高光谱成像系统，其特征在于，包括：
获取模块，用于获得目标场景下的目标可见光图像；
高光谱图像模块，用于通过预先训练的网络模型，得到与所述目标可见光图像对应的多张近红外高光谱目标图像，多张所述近红外高光谱目标图像均在指定波段内；
所述高光谱图像模块包括：
图像子模块，用于获得测试场景的可见光图像，并通过预置的目标滤波器获得在不同电压下的测试场景下的多张近红外光谱图像，多张所述近红外光谱图像的光谱范围均在指定波段内；
高光谱图像子模块，用于根据每张所述近红外光谱图像，获得每张所述近红外光谱图像对应的高光谱图像；
建立子模块，用于根据所述可见光图像和对应的多张所述高光谱图像，分别建立初始样本和基于深度学习的初始模型；
训练子模块，用于通过初始样本对初始模型进行训练，得到满足预置的训练结束条件的所述网络模型；
所述训练子模块包括：
输入单元，用于将所述初始样本中的所述可见光图像输入所述初始模型，得到多张近红外高光谱预测图像；
损失值计算单元，用于根据各张所述高光谱图像和各张所述近红外高光谱预测图像，确定所述初始模型的损失值；
判断单元，用于若所述损失值满足所述训练结束条件，将满足所述训练结束条件的初始模型确定为所述网络模型，若所述损失值不满足所述训练结束条件，调整所述初始模型的模型参数，并基于调整后的模型参数重新训练所述初始模型，直到所述损失值满足所述训练结束条件；
所述图像子模块包括：
第一单元，用于计算得到在所述指定波段内的每个波段点对应的实际参数，所述实际参数包括所述目标滤波器的液晶层厚度和光谱响应曲线；
第二单元，用于基于预置的反向设计网络，通过所述指定波段内预置的测试光谱曲线获得预测参数，所述预测参数包括所述目标滤波器的液晶层厚度和光谱响应曲线；
第三单元，用于基于预置的正向建模网络，通过预置的测试参数获得在所述指定波段内的预测光谱曲线，所述测试参数包括所述目标滤波器的液晶层厚度和光谱响应曲线；
第四单元，用于将所述反向设计网络与所述正向建模网络连接，根据所述测试光谱曲线、所述实际参数、所述预测参数、所述测试参数和所述预测光谱曲线，获得目标制备参数；
第五单元，用于通过所述目标制备参数获得与所述目标制备参数对应的目标滤波器；
第六单元，用于通过向所述目标滤波器施加不同的电压，获得在不同的电压下的预置场景下的多张所述近红外光谱图像；
所述第四单元包括：
第一子单元，用于通过训练得到训练合格的所述正向建模网络，将所述训练合格的正向建模网络连接所述反向设计网络；
第二子单元，用于将所述预测光谱曲线输入所述反向设计网络，得到制备样本参数；
第三子单元，用于通过所述制备样本参数和所述测试参数，确定所述反向设计网络的第一误差值；
第四子单元，用于若所述第一误差值满足预设的第一合格条件，将满足所述第一合格条件的制备样本参数确定为所述目标制备参数，若所述第一误差值不满足所述第一合格条件，调整所述反向设计网络的网络参数，并基于调整后的网络参数重新训练所述反向设计网络，直到所述第一误差值满足所述第一合格条件；
其中，目标滤波器的制备通过以下方式实现：滤波器主要由偏振片、液晶盒、波片构成；
液晶盒制作的基本过程是:
A、清洗镀有ITO透明电极的玻璃基片；
B、定向层制作:在镀有ITO 的一面，使用电动甩膜机，采用“spin-coating法”甩上一层均匀的聚酰亚胺定向层，在180℃下加热两个小时使定向层固化；
C、取向:使用绒布，对固化后的定向层进行摩擦定向，绒布对定向层的相对转动的方向决定了定向层的取向方向；
D、制盒:两片玻璃ITO面相对，中间垫上所需厚度的隔离物Spacer，将两玻璃使用紫外曝光胶进行固定后，向玻璃夹层加入液品，由于毛细作用，液晶将逐渐渗入玻璃夹层，如果提高温度，渗入速度将加快；如果液品渗入后产生气泡，可以使用对液品加温后逐渐降低至室温的方法去除气泡；静置一段时间使液晶在液晶盒中分布均匀后，使用紫外曝光胶封装；
E、黏贴电极:使用银胶将导线黏贴在ITO玻璃上，加热使银胶固化，再使用紫外曝光胶将银胶和导线与ITO玻璃封在一起；
将制作好的液晶盒与波片使用折射率匹配硅油连接，用紫外曝光胶封装在一起，再沿45°方向贴上偏振片，以完成目标滤波器的制备。
5.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现权利要求1-3中任一项所述的方法。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行权利要求1-3中任一项所述的方法。
CN202310639819.1A 2023-05-29 2023-05-29 基于液晶可调谐滤波器的近红外高光谱成像方法及系统 Active CN116862819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310639819.1A CN116862819B (zh) 2023-05-29 2023-05-29 基于液晶可调谐滤波器的近红外高光谱成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310639819.1A CN116862819B (zh) 2023-05-29 2023-05-29 基于液晶可调谐滤波器的近红外高光谱成像方法及系统

Publications (2)

Publication Number Publication Date
CN116862819A CN116862819A (zh) 2023-10-10
CN116862819B true CN116862819B (zh) 2024-04-09

Family

ID=88227572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310639819.1A Active CN116862819B (zh) 2023-05-29 2023-05-29 基于液晶可调谐滤波器的近红外高光谱成像方法及系统

Country Status (1)

Country Link
CN (1) CN116862819B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288020A (zh) * 2005-08-31 2008-10-15 独立行政法人科学技术振兴机构 使用了向列型液晶的液晶显示装置
CN108388055A (zh) * 2018-03-02 2018-08-10 北京航空航天大学 一种基于Lyot-Solc复合结构的液晶可调谐滤波器
JP2018200257A (ja) * 2017-05-29 2018-12-20 国立大学法人東北大学 時分割分光イメージング分析システム及び時分割分光イメージング分析方法
CN112926157A (zh) * 2021-03-10 2021-06-08 中国计量大学 一种基于神经网络的光栅滤光片结构优化方法
CN114913101A (zh) * 2022-04-15 2022-08-16 武汉工程大学 多光谱光场重建方法、装置、电子设备及存储介质
CN114972803A (zh) * 2022-04-18 2022-08-30 北京理工大学 一种基于联合优化的快照式光谱成像方法和系统
CN116091917A (zh) * 2022-12-01 2023-05-09 广东工业大学 一种基于光谱扩展方法的农作物目标检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212180A1 (en) * 2007-03-02 2008-09-04 Jingyun Zhang Polarization independent raman imaging with liquid crystal tunable filter
TWI732544B (zh) * 2020-05-05 2021-07-01 國立中正大學 二維材料薄膜檢測方法及二維材料薄膜檢測系統
US11668970B2 (en) * 2020-12-01 2023-06-06 Sharp Kabushiki Kaisha Display device
CN112801881B (zh) * 2021-04-13 2021-06-22 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288020A (zh) * 2005-08-31 2008-10-15 独立行政法人科学技术振兴机构 使用了向列型液晶的液晶显示装置
JP2018200257A (ja) * 2017-05-29 2018-12-20 国立大学法人東北大学 時分割分光イメージング分析システム及び時分割分光イメージング分析方法
CN108388055A (zh) * 2018-03-02 2018-08-10 北京航空航天大学 一种基于Lyot-Solc复合结构的液晶可调谐滤波器
CN112926157A (zh) * 2021-03-10 2021-06-08 中国计量大学 一种基于神经网络的光栅滤光片结构优化方法
CN114913101A (zh) * 2022-04-15 2022-08-16 武汉工程大学 多光谱光场重建方法、装置、电子设备及存储介质
CN114972803A (zh) * 2022-04-18 2022-08-30 北京理工大学 一种基于联合优化的快照式光谱成像方法和系统
CN116091917A (zh) * 2022-12-01 2023-05-09 广东工业大学 一种基于光谱扩展方法的农作物目标检测方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Hui li等.Photoelectric hybrid neural network based on ZnO nematic liquid crystal microlens array for hyperspectral imaging.Optics Express.2023,第31卷(第05期),摘要，正文第7644页第1段-第7657页第1段，图1. *
Learning hyperspectral images from RGB images via a coarse-to-fine CNN;Shaohui MEI等;SCIENCE CHINA;20220531;第65卷;第152102:1–152102:14页 *
Photoelectric hybrid neural network based on ZnO nematic liquid crystal microlens array for hyperspectral imaging;Hui li等;Optics Express;第31卷(第05期);摘要，正文第7644页第1段-第7657页第1段，图1 *
Snapshot Multispectral Light-Field Imaging Based on Nematic Liquid-Crystal Microlens Array via Deep Learning;Hui Li等;ADVANCED ENGINEERING MATERIALS;20230922;第25卷(第22期);第1-12页 *
含液晶扩散片的高分辨率光场成像系统;何燕成等;光学 精密工程;20220531;第30卷(第09期);第1038-1046页 *
彩色视频到高光谱视频的深度学习重建;李慧群;中国优秀硕士学位论文全文数据库 信息科技辑;20190815(第08期);第I138-631页 *
液晶光谱成像技术研究进展;沈志学;李剑峰;张大勇;龙燕;刘海涛;张翠娟;黄立贤;;光学与光电技术;20110210;第09卷(第01期);第82-87页 *

Also Published As

Publication number Publication date
CN116862819A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
Herrmann et al. CNN-based thermal infrared person detection by domain adaptation
Ikoma et al. Depth from defocus with learned optics for imaging and occlusion-aware depth estimation
Ahmed et al. Residual interpolation for division of focal plane polarization image sensors
Wu et al. Polarization image demosaicking using polarization channel difference prior
Yu et al. Multiple attentional path aggregation network for marine object detection
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
Li et al. End-to-end learned single lens design using fast differentiable ray tracing
Liu et al. End-to-end computational optics with a singlet lens for large depth-of-field imaging
Wan et al. Benchmarking single-image reflection removal algorithms
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
Liu et al. GridDehazeNet+: An enhanced multi-scale network with intra-task knowledge transfer for single image dehazing
Usmani et al. Three-dimensional polarimetric image restoration in low light with deep residual learning and integral imaging
Sun et al. Tuning IR-cut filter for illumination-aware spectral reconstruction from RGB
He et al. Single-shot hyperspectral imaging based on dual attention neural network with multi-modal learning
CN116862819B (zh) 基于液晶可调谐滤波器的近红外高光谱成像方法及系统
Baek et al. Lensless polarization camera for single-shot full-Stokes imaging
Cui et al. Neural invertible variable-degree optical aberrations correction
Liang et al. Method for reconstructing a high dynamic range image based on a single-shot filtered low dynamic range image
Celona et al. Blind quality assessment of authentically distorted images
Xie et al. Dual camera snapshot high-resolution-hyperspectral imaging system with parallel joint optimization via physics-informed learning
CN113160104B (zh) 一种基于密集连接网络的图像融合方法
CN116468821A (zh) 一种基于深度学习和多模光纤散斑的抗扰动成像方法
CN116542865A (zh) 一种基于结构重参数化的多尺度实时去雾方法及装置
CN114863224A (zh) 训练方法、图像质量检测方法、装置和介质
Feng et al. Specular highlight removal based on an iterative light field method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant