CN111175239A - 深度学习下的彩绘类文物成像高光谱无损检测与识别系统 - Google Patents

深度学习下的彩绘类文物成像高光谱无损检测与识别系统 Download PDF

Info

Publication number
CN111175239A
CN111175239A CN202010062570.9A CN202010062570A CN111175239A CN 111175239 A CN111175239 A CN 111175239A CN 202010062570 A CN202010062570 A CN 202010062570A CN 111175239 A CN111175239 A CN 111175239A
Authority
CN
China
Prior art keywords
imaging
lens
hyperspectral
subsystem
cultural relics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010062570.9A
Other languages
English (en)
Other versions
CN111175239B (zh
Inventor
蓝金辉
罗帆
申小盼
张辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202010062570.9A priority Critical patent/CN111175239B/zh
Publication of CN111175239A publication Critical patent/CN111175239A/zh
Application granted granted Critical
Publication of CN111175239B publication Critical patent/CN111175239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G01N2021/1725—Modulation of properties by light, e.g. photoreflectance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1772—Array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1782—In-depth resolution

Abstract

本发明提供一种深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其包括镜头及滤波子系统、高速成像子系统和分析处理模块；其中，镜头及滤波子系统用于在高速成像子系统的控制下，采集文物的高光谱图像；高速成像子系统用于控制镜头及滤波子系统的工作参数，并实现高光谱图像的传输和存储；分析处理模块用于对采集的高光谱图像进行处理和分析，完成文物的识别与信息提取，并以图形界面的方式显示结果。本发明可对彩绘类文物进行快速识别与信息获取，实现一种专业化、成像化、快速测量与智能获取文物信息的检测与识别系统，满足文物保护与研究领域对文物类专用光谱仪的需求。

Description

深度学习下的彩绘类文物成像高光谱无损检测与识别系统
技术领域
本发明涉及目标分类与识别技术领域，特别是指一种深度学习下的彩绘类文物成像高光谱无损检测与识别系统。
背景技术
高光谱成像技术多用于壁画、古画、油画和古代手稿等彩绘类文物的识别与信息挖掘，目前在彩绘类文物高重现性无损检测与识别领域少有专用仪器。
而针对彩绘类文物，现有的光谱仪存在以下问题：1)成像波段范围较窄，不能完全覆盖文物研究所需波段；2)没有对有效波段进行选择，没有确定彩绘类文物有效光谱测量范围，光谱覆盖范围内有较多无用波段，造成大量的数据冗余，导致无用信息较多、处理速度较慢；3)仪器成像有效波段内光谱分辨率低，波段数少，不能满足对彩绘类文物的检测识别要求；4)设备没有集成彩绘类文物识别算法，无法获取文物参数，不能满足对文物分析与保护的需求。另外受技术和经验的限制，文物研究者虽然可以通过现有的光谱仪获得文物的高光谱数据，却无法分析处理得到有效结果。因此在彩绘类文物研究、保护领域亟需一种专用的高光谱成像高重现性无损检测与识别装置。
发明内容
本发明要解决的技术问题是提供一种深度学习下的彩绘类文物成像高光谱无损检测与识别系统，以至少部分解决现有成像光谱仪器所存在的体积大、成像速度慢和无法针对彩绘类文物进行现场快速识别的问题。
为解决上述技术问题，本发明提供如下技术方案：
一种深度学习下的彩绘类文物成像高光谱无损检测与识别系统，所述系统包括镜头及滤波子系统、高速成像子系统和分析处理模块；其中，
所述镜头及滤波子系统用于在所述高速成像子系统的控制下，采用自适应光谱快速探测技术对待测文物的高光谱图像进行采集；
所述高速成像子系统用于控制所述镜头及滤波子系统的工作参数，并实现对所述镜头及滤波子系统所采集的高光谱图像的传输和存储；
所述分析处理模块用于对采集的高光谱图像进行处理和分析，完成对待测文物的信息识别与信息提取，并以图形界面的方式显示识别及提取结果。
进一步地，所述镜头及滤波子系统包括前置镜头、宽谱段自抗扰分光器以及成像镜头；其中，
所述前置镜头用于在光源将成像波段光线投射在待测文物上后，采集待测文物大视场的图像数据，并将采集的图像数据聚焦在宽谱段自抗扰分光器上；
所述宽谱段自抗扰分光器选取所需波段将其图像呈现在所述成像镜头上进行成像，实现对待测文物的高光谱图像采集。
进一步地，所述宽谱段自抗扰分光器包括声光可调谐滤波器、自跟随前馈控制模块以及驱动模块；其中，
所述驱动模块与所述高速成像子系统通信连接，用于在所述高速成像子系统的控制下，为所述声光可调谐滤波器提供射频功率信号；
所述声光可调谐滤波器包括声光晶体和键合在其上的双路超声换能器，用于基于驱动模块提供的射频功率信号，通过超声换能器将电信号转换为超声信号后与入射复色光进行周期性调制，产生所需波长的衍射光；
所述自跟随前馈控制模块用于对超声换能器输出信号实现自跟随与矫正。
进一步地，所述宽谱段自抗扰分光器的设计，包括：
建立所述声光可调谐滤波器的动态模型，并将其储存在系统中；在单次系统自检时，通过设定信号组更新已有被控对象模型；
调整所述驱动模块传送至所述声光可调谐滤波器的射频功率，改变分光后的输出光强，实现高精度扫描模式可变的可控扫描；
构建双路超声换能器，通过基于所建立的动态模型下的自跟随前馈控制模块，对所述超声换能器的输出信号实现自动跟随与矫正；
通过所述双路超声换能器进行入射光周期性调制，产生所需波长的衍射。
进一步地，所述高速成像子系统包括FPGA控制器和存储模块；
所述FPGA控制器用于在系统启动时完成所述镜头及滤波子系统的初始化配置，控制所述镜头及滤波子系统采集待测文物的高光谱图像，并将采集的高光谱图像保存至存储模块中，以及将高光谱图像上传至所述分析处理模块。
进一步地，所述自适应光谱快速探测技术，包括：
所述FPGA控制器通过通信协议对高速数据通路进行配置，更新声光可调谐滤波器模型，并发送行解码信号对镜头及滤波子系统进行启动和模式配置；
所述镜头及滤波子系统在所述FPGA控制器的控制下，通过所述自跟随前馈控制模块控制光路波段转换，采集高光谱图像，并输出所采集的高光谱图像；
所述FPGA控制器通过内部的串并转换器，将所述镜头及滤波子系统输出的串行图像数据转换为并行数据，使用预配置精简协议的大带宽数据通道，将并行数据存入高速外部缓冲内存芯片中，然后保存至所述存储模块中；
综合不同波段的前置镜头或成像镜头，实现对所需波段的大面阵感光。
进一步地，所述分析处理模块具体用于：基于预先构建的谱信息特征矩网络对采集的高光谱图像进行处理和分析，完成对待测文物的信息识别与信息提取，并将识别及提取结果以图形界面的方式显示到屏幕上。
进一步地，所述谱信息特征矩网络包括谱信息卷积核、多层特征矩和循环神经网络；所述谱信息特征矩网络的构建过程，包括：
构建彩绘类文物敏感波段知识库；
根据所述彩绘类文物敏感波段知识库，设计谱信息卷积形式与多层特征矩，建立谱信息特征矩阵循环神经网络，并进行训练。
进一步地，所述谱信息卷积核为低相关数据依赖一维卷积核；所述一维卷积核与循环神经网络保留了高光谱图谱关系与相关波段位置信息。
进一步地，所述系统使用GTX高速通信作为内部通信。
本发明的上述技术方案的有益效果如下：
本发明通过建立彩绘类文物敏感波段知识库，获得不同颜料对光的辐射和反射敏感波长的关系。在宽谱段自抗扰分光器的可调谐滤波过程中实现对高光谱成像的高分辨率小型化设计，并通过自适应光谱快速探测技术实现仪器采集过程的快速化。通过基于FPGA的高速数据传输实现对所采集高光谱的大带宽数据传输，并建立高效的数据储存方法。最终将采集的数据通过谱信息特征矩网络，实现对目标隐藏信息的挖掘。各部分密切相关，并相互提供数据或算法上的支持，可实现对彩绘类文物的专业化、成像化、智能化的快速测量与识别。
附图说明
图1为本发明实施例提供的深度学习下的彩绘类文物成像高光谱无损检测与识别系统的结构示意图；
图2为本发明实施例提供的基于FPGA的高光谱数据高速传输与存储方法示意图；
图3为本发明实施例提供的成像系统分光结构示意图；
图4为本发明实施例提供的宽谱段自抗扰分光器的示意图；
图5为本发明实施例提供的自适应光谱快速探测技术示意框图；
图6为本发明实施例提供的基于文物敏感波段知识库的谱信息特征矩网络的工作流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本实施例针对现有高光谱成像及目标识别设备存在的成像波段范围较窄，没有对有效波段进行选择，不能满足对彩绘类文物的检测识别要求，且设备没有集成彩绘类文物识别算法，无法获取文物参数的现状，提供一种深度学习下的彩绘类文物成像高光谱无损检测与识别系统。
如图1所示，本实施例提供的深度学习下的彩绘类文物成像高光谱无损检测与识别系统包括镜头及滤波子系统、高速成像子系统和分析处理模块；其中，
镜头及滤波子系统用于在高速成像子系统的控制下，采用自适应光谱快速探测技术对待测文物的高光谱图像进行采集；
高速成像子系统用于控制镜头及滤波子系统的工作参数，并实现对镜头及滤波子系统所采集的高光谱图像的传输和存储；
分析处理模块用于对采集的高光谱图像进行处理和分析，完成对待测文物的信息识别与信息提取，并以图形界面的方式显示识别及提取结果。
进一步地，上述镜头及滤波子系统包括前置镜头、宽谱段自抗扰分光器和成像镜头；上述高速成像子系统包括FPGA控制器和存储模块；其中，宽谱段自抗扰分光器包括声光可调谐滤波器AOTF、自跟随前馈控制模块和驱动模块；
FPGA控制器用于在系统启动时，通过通信通道与宽波段光功率超微调激光光源建立连接，将系统运行前的初始化数据发送给镜头及滤波子系统的各配置模块，完成镜头及滤波子系统的初始化配置，利用测试信号探测并更新AOTF模型，完成装置的初始化；控制镜头及滤波子系统采集待测文物的高光谱图像；
系统通过主动光源将成像波段光线投射在文物上，镜头及滤波子系统通过前置镜头采集前置镜头大视场的图像数据，传入孔型光阑，经过前置镜头准直后的光线完全聚焦在分光器件AOTF上，AOTF选取所需波段将其图像呈现在成像镜头上进行成像，实现对待测文物的高光谱图像采集；
FPGA控制器将采集的高光谱图像保存至存储模块中或通过高速总线存储在分析处理模块；后端处理算法在分析处理模块上对采集到数据进行处理和分析，完成文物识别与信息提取，并以图形界面的方式显示分析处理结果。
其中，分析处理模块可以采用嵌入式系统直接集成到本实施例的彩绘类文物成像高光谱无损检测与识别系统中，与FPGA控制器进行通信，实现对采集的高光谱图像的分析处理；也即将本实施例的镜头及滤波子系统、高速成像子系统以及分析处理模块集成到一起，将本实施例的彩绘类文物成像高光谱无损检测与识别系统做成一种内部集成有高光谱图像分析处理算法的专用光谱仪；
当然，可以理解的是，该分析处理模块也可以采用上位机实现；也即将本实施例的镜头及滤波子系统与高速成像子系统集成在一起，做成光谱仪，然后通过该光谱仪采集文物的高光谱图像，并将采集的高光谱图像传输至上位机中，利用上位机对采集的高光谱图像进行分析处理，并将结果显示在其屏幕上。
如图2所示，本实施例提供的基于FPGA控制器的高光谱数据高速传输与存储方法，包括：
将各个分离的子系统模块、功能和数据等集成到相互关联的、统一协调的本实施例的系统中，从而满足系统的设计要求；其中，
本实施例系统使用GTX(Gigabit Transceiver)高速通信作为内部通信；GTX可以满足数据高速、低延时的传输，依靠FPGA的高速信号处理能力和GTX的高速数据传输能力，将本系统的光学部分、电路部分、机械部分和识别算法紧密联系在一起，在确定有效波段的基础上，实现精准的器件同步与协同控制。
在数据存储方面，本实施例采用的数据表结构设计采用了数据存储规范，即：普通属性表组+光谱数据表组，采用了光谱数据表的存储模式波段集中整合式。在此表中应用了两种大对象数据类型Clob和Blob，即文本型大对象和二进制型大对象。这里Blob字段中的光谱数据采用了BIP模式存储的*.img数据文件格式。该数据文件格式的数据结构为：按照从第一像素点到最后一个像素点所有波段光谱反射率值以二进制的方式顺序排列在该文件中。
如图3所示，本实施例提供的成像系统分光结构，包括：声光可调谐滤波器、自跟随前馈控制模块和驱动模块；其中，
驱动模块与FPGA控制器通信连接，在FPGA控制器的控制下，为声光可调谐滤波器提供射频功率信号；声光可调谐滤波器包括声光晶体和键合在其上的双路超声换能器，用于基于驱动模块提供的射频功率信号，通过超声换能器将电信号转换为超声信号后与入射复色光进行周期性调制，产生所需波长的衍射光；自跟随前馈控制模块用于对超声换能器输出信号实现自跟随与矫正。
当满足布拉格衍射条件时，入射光将在AOTF内发生反常布拉格衍射，衍射光的波长与驱动电信号的频率的关系如下式所示：
Figure BDA0002374964530000061
式中，fa表示AOTF的驱动频率；λ0表示光波在真空中的波长；ni表示介质对入射光的折射率；nd表示衍射光的折射率；Va表示超声波频率；θi表示入射光角度；θd表示衍射光偏转角度。
AOTF器件分出的光的波长只与驱动频率有关。可通过改变驱动电信号的频率改变衍射光的波长，达到滤光作用。其内部声光晶体的透过范围截止至中波红外范围，可满足本实施例波长可见近红外高光谱分光器件的使用需求。
本实施例的可见近红外AOTF分光器件，具备以下能力：1)声光可调谐滤波器对入射复色光进行衍射，从中选出波长为λ的单色光。单色光的波长λ与射频频率f存在一一对应的关系，只要通过电信号的调谐即可快速改变输出光的波长。2)声光可调谐滤波器具有很好的光谱可重复性和自定标特性。安装位置固定之后，分光得到的波长仅与高频驱动源射频信号的频率有关。3)声光可调谐滤波器可以实现快速分光并可以提供扫描波长采样。驱动电路直接与分析处理模块连接，实现可控扫描，具有单点、扫描两种模式。4)可以通过调整传送至声光可调谐滤波器的射频功率，改变分光后的输出光强。
如图4所示，上述宽谱段自抗扰分光器的设计，包括：
建立声光可调谐滤波器的动态模型，并将其储存在系统中；可采用非线性高次数据拟合函数作为预载分光器模型。在单次系统自检时，通过设定信号组更新已有被控对象模型；其中信号组的选取参考其工作过程与极端情况，选用调制的正弦型号与阶跃信号等作为信号组进行模型修正；
通过调整驱动模块传送至声光可调谐滤波器的射频功率，改变分光后的输出光强，实现高精度扫描模式可变的可控扫描，同时具有单点、扫描两种模式；
构建双路超声换能器实现对两路超声换能器的控制，通过基于所建立的动态模型下的自跟随前馈控制模块，对超声换能器的输出信号实现自动跟随与矫正，实现对温度等时变干扰的自抗扰控制；
通过双路超声换能器进行入射光周期性调制，产生所需波长的衍射。
本实施例提出双路AOTF系统，将成像波段分为可见光波段和近红外波段两个波段。双路AOTF系统采用两个超声换能器，分别接入两路频率不同的驱动信号，实现对两路超声换能器的控制。并基于所建立AOTF模型与闭环控制，对超声换能器输出信号实现自动跟随与矫正；
其中,驱动模块用于给AOTF提供功率信号，通过超声换能器将电信号转换为超声信号后与入射光进行周期性调制，最终产生所需波长的衍射光。AOTF信号源主要由FPGA、信号发生器DDS及转换电路组成，经过低通滤波电路后产生稳定的高频小信号，此时未加功率放大，故信号功率比较低。最终AOTF驱动信号源在设定的宽带范围内满足：频率稳定无杂波并且输出小信号功率稳定等条件，可使成像系统工作的光谱范围达到设计要求。采用两级放大电路对双路AOTF的驱动信号源进行放大，由于DDS芯片的输出信号功率小于1mW，故采用具有较高线性度、稳定性比较好的A类功率放大芯片作为第一级功放大芯片。第二级采用的是具有耐高温且高功率的高频功放MOS管。
如图5所示，本实施例的自适应光谱快速探测技术，包括：
现场更新分光器模型、传感器针对性预配置、精简协议的大带宽数据通道；使用预先配置与模型自校准的系统参数，实现预配置精简协议的大带宽数据通道，并结合针对性的数据储存结构，实现自适应光谱快速探测。
其中，高速数据通路的设计基于FPGA电路、缓存电路、USB3.0数据传输电路的高速数字图像采集系统，具有可靠性高、数据不丢失、抗干扰性强、便于数据传输和处理等优点，单路I/O采集速度可达800Mbps，满足本系统要求；
传感器针对性预配置的设计以FPGA控制器作为主处理模块，通过通信协议对高速数据通路进行配置，通过通信协议向图像传感器发送寄存器配置指令，更新声光可调谐滤波器模型，配置完成后，发送控制信号和行解码信号对镜头及滤波子系统进行启动和模式配置；
镜头及滤波子系统在FPGA的控制下，通过自跟随前馈控制模块控制光路波段转换，实现对待测文物的高光谱图像采集，并通过低电压差分信号(LVDS)输出图像数据，FPGA通过内部的串并转换器，将串行图像数据转换为并行数据，使用预配置精简协议的大带宽数据通道，将并行数据存入高速外部缓冲内存芯片中，然后把缓存中所有数据读出，保存到高速存储模块中；综合可见光波段图像传感器与短波红外成像探测器，实现对所需波段的大面阵感光。
更新分光器模型的设计为单次系统自检时更新已有被控对象模型，使用设定信号组进行器件动态性能测量以修正已有模型。为双路超声换能器控制的实现提供模型基础，并通过基于所建立模型下的自跟随前馈闭环控制，对超声换能器输出信号实现自动跟随与矫正。实现光谱仪的快速准确成像。
进一步地，本实施例的分析处理模块具体用于：基于预先构建的谱信息特征矩网络对采集的高光谱图像进行处理和分析，完成对待测文物的信息识别与信息提取，并将识别及提取结果以图形界面的方式显示到屏幕上。
如图6所示，上述谱信息特征矩网络包括谱信息卷积核、多层特征矩和循环神经网络；该谱信息特征矩网络的构建过程，包括：
构建彩绘类文物敏感波段知识库；
根据彩绘类文物敏感波段知识库，设计谱信息卷积形式与多层特征矩，建立同时处理高光谱图谱信息的谱信息特征矩阵循环神经网络，并根据建立的知识库进行网络训练；将采集到的实时高光谱信息送入识别网络，通过异构高速计算平台实时处理，实现对目标的信息识别与信息挖掘。
具体地，上述网络结构由谱信息卷积层、池化层、全连接层和输出层组成，最终完成分类与识别，可根据训练结果实现对高光谱数据的精确识别。选用文物敏感波段的光谱卷积核进行卷积操作，保留其空间位置信息，进行图像上采样与特征识别，完成同时提取空间和光谱信息。
本实施例使用Relu函数作为激活函数g，来加速大带宽高光谱数据的在线识别，该函数可以表达为下式：
Relu＝max(0,x)
将上述得到的特征经池化与全连接后输入到循环神经网络。给定按序列输入的光谱特征学习数据Z＝{Z1，Z1…Zτ}，待处理的序列为特征图序列，此时序列的演进方向被称为“谱特征步”。对时间谱特征步x，循环神经网络的循环单元有如下表示：
h(x)＝f(s(x-1)，Z(x)，θ)
式中，h称为循环神经网络的系统状态，s是内部谱特征状态，最终通过序列分类器得到识别分类结构。
上述彩绘类文物敏感波段知识库的建立，包括：
建立包含彩绘类文物颜料种类、成分与光谱信息对应关系的高光谱数据库，揭示彩绘类文物颜料光谱敏感机理，建立敏感波段穿透性新模型；获得不同颜料对光的辐射和反射敏感波长的关系，进而确定仪器的光谱敏感范围。
进一步地，上述谱信息卷积核为低相关数据依赖一维卷积核；一维卷积核与循环神经网络的设计保留了高光谱图谱关系与相关波段位置信息；
本实施例根据文物敏感波段知识库获得的卷积核可针对性的提高网络对文物目标的识别效果与识别速度；并且使用的卷积核为低相关数据依赖一维卷积核，结合异构计算平台可以实现神经网络高并行计算。
本实施例通过建立彩绘类文物敏感波段知识库，获得不同颜料对光的辐射和反射敏感波长关系。在宽谱段自抗扰分光器的可调谐滤波过程中实现对高光谱成像的高分辨率小型化设计，并通过自适应光谱快速探测技术实现仪器采集过程的快速化。通过基于FPGA的高速数据传输实现对所采集高光谱的大带宽数据传输，并建立高效的数据储存方法。最终将采集的数据通过谱信息特征矩网络，实现对目标隐藏信息的挖掘。各部分密切相关，并相互提供数据或算法上的支持，可实现对彩绘类文物的专业化、成像化、智能化的快速测量与识别。
此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，包括镜头及滤波子系统、高速成像子系统和分析处理模块；其中，
所述镜头及滤波子系统用于在所述高速成像子系统的控制下，采用自适应光谱快速探测技术对待测文物的高光谱图像进行采集；
所述高速成像子系统用于控制所述镜头及滤波子系统的工作参数，并实现对所述镜头及滤波子系统所采集的高光谱图像的传输和存储；
所述分析处理模块用于对采集的高光谱图像进行处理和分析，完成对待测文物的信息识别与信息提取，并以图形界面的方式显示识别及提取结果。
2.如权利要求1所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述镜头及滤波子系统包括前置镜头、宽谱段自抗扰分光器以及成像镜头；其中，
所述前置镜头用于在光源将成像波段光线投射在待测文物上后，采集待测文物大视场的图像数据，并将采集的图像数据聚焦在宽谱段自抗扰分光器上；
所述宽谱段自抗扰分光器选取所需波段将其图像呈现在所述成像镜头上进行成像，实现对待测文物的高光谱图像采集。
3.如权利要求2所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述宽谱段自抗扰分光器包括声光可调谐滤波器、自跟随前馈控制模块以及驱动模块；其中，
所述驱动模块与所述高速成像子系统通信连接，用于在所述高速成像子系统的控制下，为所述声光可调谐滤波器提供射频功率信号；
所述声光可调谐滤波器包括声光晶体和键合在其上的双路超声换能器，用于基于驱动模块提供的射频功率信号，通过超声换能器将电信号转换为超声信号后与入射复色光进行周期性调制，产生所需波长的衍射光；
所述自跟随前馈控制模块用于对超声换能器输出信号实现自跟随与矫正。
4.如权利要求3所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述宽谱段自抗扰分光器的设计，包括：
建立所述声光可调谐滤波器的动态模型，并将其储存在系统中；在单次系统自检时，通过设定信号组更新已有被控对象模型；
调整所述驱动模块传送至所述声光可调谐滤波器的射频功率，改变分光后的输出光强，实现高精度扫描模式可变的可控扫描；
构建双路超声换能器，通过基于所建立的动态模型下的自跟随前馈控制模块，对所述超声换能器的输出信号实现自动跟随与矫正；
通过所述双路超声换能器进行入射光周期性调制，产生所需波长的衍射。
5.如权利要求4所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述高速成像子系统包括FPGA控制器和存储模块；
所述FPGA控制器用于在系统启动时完成所述镜头及滤波子系统的初始化配置，控制所述镜头及滤波子系统采集待测文物的高光谱图像，并将采集的高光谱图像保存至存储模块中，以及将高光谱图像上传至所述分析处理模块。
6.如权利要求5所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述自适应光谱快速探测技术，包括：
所述FPGA控制器通过通信协议对高速数据通路进行配置，更新声光可调谐滤波器模型，并发送行解码信号对镜头及滤波子系统进行启动和模式配置；
所述镜头及滤波子系统在所述FPGA控制器的控制下，通过所述自跟随前馈控制模块控制光路波段转换，采集高光谱图像，并输出所采集的高光谱图像；
所述FPGA控制器通过内部的串并转换器，将所述镜头及滤波子系统输出的串行图像数据转换为并行数据，使用预配置精简协议的大带宽数据通道，将并行数据存入高速外部缓冲内存芯片中，然后保存至所述存储模块中；
综合不同波段的前置镜头或成像镜头，实现对所需波段的大面阵感光。
7.如权利要求1所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述分析处理模块具体用于：基于预先构建的谱信息特征矩网络对采集的高光谱图像进行处理和分析，完成对待测文物的信息识别与信息提取，并将识别及提取结果以图形界面的方式显示到屏幕上。
8.如权利要求7所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述谱信息特征矩网络包括谱信息卷积核、多层特征矩和循环神经网络；所述谱信息特征矩网络的构建过程，包括：
构建彩绘类文物敏感波段知识库；
根据所述彩绘类文物敏感波段知识库，设计谱信息卷积形式与多层特征矩，建立谱信息特征矩阵循环神经网络，并进行训练。
9.如权利要求8所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述谱信息卷积核为低相关数据依赖一维卷积核；所述一维卷积核与循环神经网络保留了高光谱图谱关系与相关波段位置信息。
10.如权利要求1-9任一项所述的深度学习下的彩绘类文物成像高光谱无损检测与识别系统，其特征在于，所述系统使用GTX高速通信作为内部通信。
CN202010062570.9A 2020-01-19 2020-01-19 深度学习下的彩绘类文物成像高光谱无损检测与识别系统 Active CN111175239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062570.9A CN111175239B (zh) 2020-01-19 2020-01-19 深度学习下的彩绘类文物成像高光谱无损检测与识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062570.9A CN111175239B (zh) 2020-01-19 2020-01-19 深度学习下的彩绘类文物成像高光谱无损检测与识别系统

Publications (2)

Publication Number Publication Date
CN111175239A true CN111175239A (zh) 2020-05-19
CN111175239B CN111175239B (zh) 2021-01-15

Family

ID=70656493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062570.9A Active CN111175239B (zh) 2020-01-19 2020-01-19 深度学习下的彩绘类文物成像高光谱无损检测与识别系统

Country Status (1)

Country Link
CN (1) CN111175239B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113440093A (zh) * 2021-07-19 2021-09-28 山东第一医科大学附属省立医院(山东省立医院) 一种消化道分泌物随镜检测系统
CN114384043A (zh) * 2022-01-07 2022-04-22 重庆大学 柔性近红外陷波片及其制作工艺和应用于文物检测的方法及系统
RU2779967C1 (ru) * 2021-10-21 2022-09-16 Федеральное государственное бюджетное учреждение науки Научно-технологический центр уникального приборостроения Российской академии наук (НТЦ УП РАН) Способ получения пространственно-спектральных характеристик оптического излучения со спектральным сканированием

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190904A1 (en) * 2003-02-28 2004-09-30 Masaji Noguchi Wavelength selection module comprising variable wavelength selecting section for selecting a plurality of wavelengths
CN101620008A (zh) * 2009-07-31 2010-01-06 北京航空航天大学 一种适用于野外遥感的便携式地面高光谱成像光谱仪
US20120062697A1 (en) * 2010-06-09 2012-03-15 Chemimage Corporation Hyperspectral imaging sensor for tracking moving targets
CN205037969U (zh) * 2015-09-22 2016-02-17 中国科学院上海技术物理研究所 一种基于可变osk射频调制的增益程控声光光谱探测系统
CN205545633U (zh) * 2016-04-01 2016-08-31 安徽理工大学 一种基于红外热成像的夜间辅助驾驶系统
US20170146403A1 (en) * 2012-11-26 2017-05-25 Chemimage Corporation System and method for detecting target materials using a vis-nir detector
CN107976408A (zh) * 2017-10-17 2018-05-01 中国科学院遥感与数字地球研究所 一种文物无损检测装置
CN108460342A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于卷积网和循环神经网络的高光谱图像分类方法
CN109115339A (zh) * 2018-05-16 2019-01-01 中北大学 一种基于aotf和强度调制高速高光谱全偏振成像装置及方法
CN109285167A (zh) * 2018-09-20 2019-01-29 西北大学 一种基于深度学习的提取彩绘陶器图案方法
CN110108658A (zh) * 2019-06-10 2019-08-09 中国科学院合肥物质科学研究院 一种污染气体红外光谱识别方法及系统
CN110197212A (zh) * 2019-05-20 2019-09-03 北京邮电大学 图像分类方法、系统及计算机可读存储介质
CN110516668A (zh) * 2019-08-16 2019-11-29 浙江理工大学 一种基于高光谱成像技术的蜂蜜掺假检测方法和装置
CN110532901A (zh) * 2019-08-12 2019-12-03 北京邮电大学 基于多目标检测的深度学习智能光谱分析方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190904A1 (en) * 2003-02-28 2004-09-30 Masaji Noguchi Wavelength selection module comprising variable wavelength selecting section for selecting a plurality of wavelengths
CN101620008A (zh) * 2009-07-31 2010-01-06 北京航空航天大学 一种适用于野外遥感的便携式地面高光谱成像光谱仪
US20120062697A1 (en) * 2010-06-09 2012-03-15 Chemimage Corporation Hyperspectral imaging sensor for tracking moving targets
US20170146403A1 (en) * 2012-11-26 2017-05-25 Chemimage Corporation System and method for detecting target materials using a vis-nir detector
CN205037969U (zh) * 2015-09-22 2016-02-17 中国科学院上海技术物理研究所 一种基于可变osk射频调制的增益程控声光光谱探测系统
CN205545633U (zh) * 2016-04-01 2016-08-31 安徽理工大学 一种基于红外热成像的夜间辅助驾驶系统
CN107976408A (zh) * 2017-10-17 2018-05-01 中国科学院遥感与数字地球研究所 一种文物无损检测装置
CN108460342A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于卷积网和循环神经网络的高光谱图像分类方法
CN109115339A (zh) * 2018-05-16 2019-01-01 中北大学 一种基于aotf和强度调制高速高光谱全偏振成像装置及方法
CN109285167A (zh) * 2018-09-20 2019-01-29 西北大学 一种基于深度学习的提取彩绘陶器图案方法
CN110197212A (zh) * 2019-05-20 2019-09-03 北京邮电大学 图像分类方法、系统及计算机可读存储介质
CN110108658A (zh) * 2019-06-10 2019-08-09 中国科学院合肥物质科学研究院 一种污染气体红外光谱识别方法及系统
CN110532901A (zh) * 2019-08-12 2019-12-03 北京邮电大学 基于多目标检测的深度学习智能光谱分析方法及系统
CN110516668A (zh) * 2019-08-16 2019-11-29 浙江理工大学 一种基于高光谱成像技术的蜂蜜掺假检测方法和装置

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
LIANG HAIDA: "Advances in multispectral and hyperspectral imaging for archaeology and art conservation", 《APPLIED PHYSICS A》 *
PENG JINYE等: "Extracting Painted Pottery Pattern Information Based on", 《2018 EIGHTH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING THEORY，TOOLS AND APPLICATIONS》 *
POLAK ADAM等: "Hyperspectral imaging combined with data classification techniques as an aid for artwork authentication", 《JOURNAL OF CULTURAL HERITAGE》 *
WANG ZHENG等: "Fake modern Chinese painting identification based on spectral–spatial feature fusion on hyperspectral image", 《MULTIDIM SYST SIGN PROCESS》 *
侯妙乐等: "高光谱成像技术在彩绘文物分析中的研究综述", 《光谱学与光谱分析》 *
张号逵等: "深度学习在高光谱图像分类领域的研究现状与展望", 《自动化学报》 *
彭开香: "《过程控制》", 31 January 2016, 冶金工业出版社 *
杨金红等: "一种改进的高光谱数据自适应波段选择方法", 《遥感技术与应用》 *
王成: "《生物医学光学》", 28 February 2017, 东南大学出版社 *
王晓宇等: "基于药材光谱数据的前馈控制技术在三七醇提过程中的应用研究", 《中国中药杂志》 *
谢忠红等: "基于高光谱图像和深度学习的菠菜新鲜度检测", 《农业工程学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113440093A (zh) * 2021-07-19 2021-09-28 山东第一医科大学附属省立医院(山东省立医院) 一种消化道分泌物随镜检测系统
CN113440093B (zh) * 2021-07-19 2022-11-25 山东第一医科大学附属省立医院(山东省立医院) 一种消化道分泌物随镜检测系统
RU2779967C1 (ru) * 2021-10-21 2022-09-16 Федеральное государственное бюджетное учреждение науки Научно-технологический центр уникального приборостроения Российской академии наук (НТЦ УП РАН) Способ получения пространственно-спектральных характеристик оптического излучения со спектральным сканированием
CN114384043A (zh) * 2022-01-07 2022-04-22 重庆大学 柔性近红外陷波片及其制作工艺和应用于文物检测的方法及系统
CN114384043B (zh) * 2022-01-07 2024-03-22 重庆大学 柔性近红外陷波片及其制作工艺和应用于文物检测的方法及系统

Also Published As

Publication number Publication date
CN111175239B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
US8352205B2 (en) Multivariate optical elements for nonlinear calibration
JP3436529B2 (ja) 光分析システム及びその方法
US9804028B2 (en) External cavity laser source
CN106323471B (zh) 一种基于dlp技术和压缩感知理论的超灵敏光谱检测方法及系统
US9041932B2 (en) Conformal filter and method for use thereof
CN112285504B (zh) 多谱段日盲窄带紫外成像仪及其检测不同放电状态的方法
CN111175239B (zh) 深度学习下的彩绘类文物成像高光谱无损检测与识别系统
CN107044959B (zh) 显微多模态融合光谱检测系统
CN112130316B (zh) 多通道多谱段滤光片结构及其应用、方法
CN102353451A (zh) 二次声光可调滤波超光谱成像方法和装置
CN111443045B (zh) 光谱成像分析系统及光谱成像分析方法
CN105628671A (zh) 一种用于获取喇曼散射光谱的装置及方法
US9329086B2 (en) System and method for assessing tissue oxygenation using a conformal filter
CN106841065A (zh) 紫外‑可见光‑近红外透反射光谱测量装置和测量方法
CN107655832B (zh) 基于啁啾上转换的飞秒二维红外光谱采集方法及系统
JP5985709B2 (ja) 判別フィルタ設計方法、判別方法、判別フィルタセット、判別装置、および、プログラム
CN207816830U (zh) 变波长激发及光谱范围可调的拉曼光谱仪
CN113281323A (zh) 一种复杂体系中有机污染物特征信息提取方法及其快速检测方法、系统
CN112862077A (zh) 多模光纤结合深度学习网络替代传统光谱仪的系统及方法
Das Portable UV–Visible Spectroscopy–Instrumentation, Technology, and Applications
Zhou et al. Multispectral single pixel imaging based on spatial and spectral dimension decoupling
CN113390507B (zh) 光谱信息获取方法及光谱探测装置
CN107389204A (zh) 红外焦平面探测器弱光谱信号的测试平台及其方法
WO2021113660A1 (en) Systems and methods for in situ optimization of tunable light emitting diode sources
CN108844912A (zh) 一种作物长势光谱智能分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant