CN113095188A - 一种基于深度学习的拉曼光谱数据分析方法与装置 - Google Patents
一种基于深度学习的拉曼光谱数据分析方法与装置 Download PDFInfo
- Publication number
- CN113095188A CN113095188A CN202110354545.2A CN202110354545A CN113095188A CN 113095188 A CN113095188 A CN 113095188A CN 202110354545 A CN202110354545 A CN 202110354545A CN 113095188 A CN113095188 A CN 113095188A
- Authority
- CN
- China
- Prior art keywords
- raman spectrum
- model
- raman
- spectrum data
- data analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001237 Raman spectrum Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000007405 data analysis Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 31
- 239000000126 substance Substances 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000001069 Raman spectroscopy Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 16
- 239000000523 sample Substances 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229920002521 macromolecule Polymers 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及一种基于深度学习的拉曼光谱数据分析方法与装置，包括以下步骤：物质拉曼光谱数据特性分析；人工标注物质拉曼光谱数据类别，建立拉曼光谱训练集、验证集与测试集；针对拉曼光谱数据预处理、光谱易受到环境光干扰、同类型组织拉曼光谱数据具有差异性问题，构建基于多尺度特征融合的深度残差神经网络模型，利用ResNet50作为模型主干网络，融合拉曼光谱特征信息，提高光谱空间语义信息表征能力；使用训练集对拉曼光谱分析模型进行训练，在验证集与测试集上对模型进行性能评估；最后，将训练的模型部署至边缘计算设备，构建拉曼光谱数据分析装置。本发明对拉曼光谱数据进行高效、准确的分析与识别，可应用于不同类型拉曼光谱设备。
Description
技术领域
本专利涉及拉曼光谱数据分析领域，尤其涉及一种基于深度学习的拉曼光谱数据分析方法与装置。
背景技术
拉曼光谱技术是以拉曼效应为基础建立起来的分子结构表征技术，已被广泛应用于材料、生物医学、石油化工、高分子等领域。拉曼光谱信号中含有丰富的分子指纹信息，需要结合数据统计方法对锋位、峰值和谱带光谱特征进行分析，进而识别探测的物质属性。然而，拉曼光谱信息中常常伴有强荧光背景噪声和外界环境干扰信息，同时，由于不同拉曼光谱检测设备性能问题，探测的同类型物质拉曼光谱信息具有一定的差异性，因此，对物质拉曼光谱数据分析具有一定的影响，降低了物质识别的准确度。
传统拉曼光谱分析方法流程为：光谱数据预处理、特征提取与分类，其中，预处理主要通过多项式拟合基线矫正法去除光谱的荧光背景噪声与干扰信息；特征提取主要采用主成分分析法提取拉曼光谱数据主要特征，降低数据维度；分类主要采用传统机器学习方法(如线性判别器、支持向量机)对物质拉曼光谱进行识别。然而，传统拉曼光谱分析方法在预处理和降维过程中，容易造成拉曼光谱信息损失，降低物质识别准确率。同时，传统的机器学习方法优势在于处理二分类问题，针对分类问题，需要设计相应的策略，增加建模复杂度；另外，当数据维度较高时，支持向量机优化过程容易产生维度爆炸问题。鉴于现有技术中存在的缺陷，本发明依托深度学习理论与方法，提出一种基于深度学习的拉曼光谱数据分析方法与装置，实现对物质拉曼光谱分析与识别。
发明内容
本发明的目的包括三个：(1)解决预处理造成的拉曼光谱原始数据特征信息丢失问题；(2)解决由于环境光干扰造成的物质拉曼光谱识别准确率低问题；(3)解决由于同类型物质拉曼光谱数据具有差异性造成的拉曼光谱识别准确率低问题。基于以上三个目的，本发明提供一种基于深度学习的拉曼光谱数据分析方法与装置。
为了实现上述目的，本发明采用的技术方案如下：
一种基于深度学习的拉曼光谱数据分析方法与装置，包括以下几个步骤：
步骤1：针对某类型物质拉曼光谱数据，分析其锋位、峰值、谱带空间位置等特征信息，建立物质拉曼光谱分子表征表；
步骤2：根据分析的物质拉曼光谱信息，人工标注拉曼光谱数据类别，采用数据扩容技术增加对应物质拉曼光谱数据样本量，建立模型训练数据集、验证集与测试集；
步骤3：构建基于多尺度特征融合的深度残差神经网络模型，在该模型中，利用ResNet50作为模型主干网络，融合网络的3、4、5层拉曼光谱特征信息，提高光谱空间语义信息表征能力，模型损失函数为交叉熵-抑制损失函数；
步骤4：利用训练集训练基于多尺度特征融合的深度残差神经网络模型，验证集对训练网络进行评估与调参；
步骤5：使用测试集测试基于多尺度特征融合的深度残差神经网络模型性能，并输出物质拉曼光谱分析结果；
步骤6：依据步骤5获得的训练模型，将其部署至边缘计算设备，进而构建拉曼光谱数据分析装置。
上述方案中，步骤2，建立某类型物质拉曼光谱数据样本集，其具体步骤如下：
步骤21：为了避免建立的深度学习模型训练过程中倾向于数值较大的特征信息，需要对拉曼光谱数据进行归一化处理，将拉曼光谱数据特征归于统一数值量级。
步骤22：为了扩充拉曼光谱数据样本容量、增加样本多样性，本发明采用两种数据扩容方法：(1)在拉曼光谱数据幅度值中添加白噪声信号；(2)向左右两个方向平移拉曼光谱信号。
上述方案中，所述步骤3，构建基于多尺度特征融合的深度残差神经网络模型，在该模型中，利用ResNet50作为模型主干网络，融合网络的3、4、5层拉曼光谱特征信息，提高光谱空间语义信息表征能力，模型损失函数为交叉熵-抑制损失函数，其具体步骤如下：
步骤31：本发明构建的拉曼光谱数据分析模型主干网络采用ResNet50，在该网络基础上建立多尺度特征融合结构，其用于融合不同尺度(尺寸)拉曼光谱特征信息；ResNet50包含5个模组，其中后4个模组由两种类型残差块组成，分别为Conv_block和Identity_block；为了提高光谱数据的空间语义表征能力，本发明抽取第三个至第五个模组输出的拉曼光谱数据特征信息，其输出表示为{C3,C4,C5}，每个输出通过1×1卷积生成256个特征图，对应的3层结构表示为{M3,M4,M5}；然后，本发明将每层特征进行自底向上融合，具体步骤为：M5层特征图尺度通过上采样(Upsampling)扩充至与M4层相同的特征图尺度大小；然后，将上采样特征信息与M4融合(相加)，融合后的特征信息再经过上采样层，其尺度扩充至与M3层相同尺度；最后，将融合后上采样信息再与M3融合(相加)，最终获得融合后的拉曼光谱特征信息。
步骤32：为了抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化，本发明在训练损失函数中引入拉曼特征信息一致性监督约束项，其建立的交叉熵-抑制损失函数表达式为：
式中
为模型输出的评估值，yn是拉曼光谱类别目标值，w为模型权重(权值)，λ1和λ2分别为约束项1和约束项2的调整因子，其中，约束项2用于抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化。
一种基于深度学习的拉曼光谱数据分析的装置，使用上述任何一项的一种基于深度学习的拉曼光谱数据分析方法，步骤6，将已训练的模型部署至边缘计算设备，构建拉曼光谱数据分析装置，其具体步骤如下：
步骤61：依据步骤5训练的模型，首先，将模型编译为静态.pd模型文件；然后，.pd模型文件进一步编译为openvino模型；最后，生成适用于装置软件开发语言调用的openvino模型接口。
优选的，步骤62：在边缘计算设备上，设计拉曼光谱数据分析软件上位机程序，调用openvino模型接口；搭建拉曼光谱数据分析硬件装置，包括：边缘计算设备、光谱仪、拉曼探头、激光器、显示屏。
本发明提出的基于多尺度特征融合的深度残差神经网络模型与装置，具有以下优点：
1、本发明无需对原始拉曼光谱数据进行预处理，如去除基线、背景噪音，其可直接用于训练本发明提出的端到端深度学习模型。
2、本发明构建的网络将ResNet50第三个至第五个模组输出的拉曼光谱数据特征信息进行融合，提高了拉曼光谱特征空间语义信息表征能力，有效的抑制了环境光对拉曼光谱数据的干扰。
3、本发明在训练损失函数中引入拉曼特征信息一致性监督约束项，有效的抑制了相邻拉曼频移(波数)对应的拉曼幅度值大范围变化，降低了同类型物质拉曼光谱差异性对物质识别准确率的影响。
4、本发明采用Pytorch深度学习框架编程实现，同时易于拓展和使用，在物质拉曼光谱分析领域具有一定的实际应用价值。
5、本发明采用openvino部署方案，该方案易于将模型嵌入至多种开发语言，如C/C++、Java、C Sharp、LabVIEW等，同时部署的程序能够在多种终端运行，如边缘计算设备、工控机等。
附图说明
图1为多尺度特征融合的深度残差神经网络模型示意图；
图2为基于深度学习的拉曼光谱数据分析装置图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。本实例为利用拉曼光谱分析某种肿瘤组织，以该实例说明本发明提供的一种基于深度学习的拉曼光谱数据分析方法与装置。
如图1和图2所示，本发明构建的拉曼光谱数据分析模型主干网络采用ResNet50，在该网络基础上建立多尺度特征融合结构，其用于融合不同尺度(尺寸)拉曼光谱特征信息；在训练损失函数中引入拉曼特征信息一致性监督约束项，抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化，提高物质拉曼光谱识别准确率；采用openvino部署方案，搭建基于深度学习的拉曼光谱数据分析装置。本方案具体步骤如下：
步骤1：利用便携式拉曼光谱设备采集某种肿瘤组织拉曼光谱数据，分析肿瘤组织拉曼光谱锋位、峰值、谱带空间位置等特征信息，建立肿瘤组织拉曼光谱分子表征表；
步骤2：本实例的肿瘤组织分类类别包括四类：肿瘤组织1、肿瘤组织2、肿瘤组织3、正常组织，然后，通过专家对四种组织类别进行人工标注。采用数据扩容技术增加对应肿瘤组织拉曼光谱数据样本量，建立模型训练数据集、验证集与测试集，具体步骤如下：
步骤21：为了避免建立的深度学习模型训练过程中倾向于数值较大的特征信息，需要对拉曼光谱数据进行归一化处理，将拉曼光谱数据特征归于统一数值量级。本发明采用线性归一化(Min-Max Scaling)方法对拉曼光谱数据进行线性变换，将数据映射至[0,1]范围内，归一化公式如下：
式中X为拉曼光谱原始数据，Xmax为原始拉曼光谱数据最大值，Xmin为原始拉曼光谱数据最小值。
步骤22：为了扩充拉曼光谱数据样本容量、增加样本多样性，本发明采用两种数据扩容方法：(1)在拉曼光谱数据幅度值中添加白噪声信号；(2)向左右两个方向平移拉曼光谱，具体实现方式如下：
(1)在每条生物组织拉曼光谱数据幅度值(归一化后)上加入服从正态分布的随机白噪声，其范围为[-1,1]，其表达式如下：
x(i)＝x(i)+α1·v
式中x(i)表示第i条拉曼光谱数据，α1为白噪声调整系数(如0.01)，v为随机白噪声数值。
(2)每条光谱随机向左或者向右移动[0,4]波数，对移动后的拉曼光谱数据进行一维插值拟合，然后，求取原波数位置下的拉曼光谱幅度值。
利用ResNet50作为模型主干网络，融合网络的3、4、5层拉曼光谱特征信息，提高光谱空间语义信息表征能力，模型损失函数为交叉熵-抑制损失函数，具体步骤如下：
步骤31：本实例构建的基于多尺度特征融合的深度残差神经网络模型示意图，如图1所示。模型主要由四层结构组成：主干网络层、特征融合层、特征提取层和全连接层，其中主干网络层采用ResNet50，特征提取层包含6个一维卷积层，全连接层包含2个隐藏层。
步骤32：本发明构建的拉曼光谱数据分析模型主干网络采用ResNet50，在该网络基础上建立多尺度特征融合结构，其用于融合不同尺度(尺寸)拉曼光谱特征信息。ResNet50包含5个模组，如图1所示，其中后4个模组由两种类型残差块组成，分别为Conv_block和Identity_block。为了提高光谱数据的空间语义表征能力，本发明抽取第三个至第五个模组输出的拉曼光谱数据特征信息，其输出表示为{C3,C4,C5}，每个输出通过1×1卷积生成256个特征图，对应的3层结构表示为{M3,M4,M5}。然后，本发明将每层特征进行自底向上融合，具体步骤为：M5层特征图尺度通过上采样(Upsampling)扩充至与M4层相同的特征图尺度大小，然后，将上采样特征信息与M4融合(相加)，融合后的特征信息再经过上采样层，其尺度扩充至与M3层相同尺度，最后，将融合后上采样信息再与M3融合(相加)，最终获得融合后的拉曼光谱特征信息。
步骤33：为了抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化，本发明在训练损失函数中引入拉曼特征信息一致性监督约束项，其建立的训练损失函数表达式为：
式中
为模型输出的评估值，yn是拉曼光谱类别目标值，w为模型权重(权值)，Shift为波数偏移算子，λ1和λ2分别为约束项1和约束项2的调整因子，其中，约束项2用于抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化。
步骤4：利用训练集训练基于多尺度特征融合的深度残差神经网络模型，验证集对训练网络进行评估与调参，具体步骤如下：
步骤41：模型训练开始前，需设置本实例模型训练参数，包括学习率、衰减率、批处理大小、epoch次数等参量。
步骤42：利用验证集评估训练的模型的误差率与肿瘤组织拉曼光谱数据分类准确率，进而对训练模型进行调参，以达到模型最高分类正确率，并保存最优模型参数，用于模型测试使用。
步骤5：使用测试集测试基于多尺度特征融合的深度残差神经网络模型性能，并输肿瘤组织拉曼光谱分类结果，具体步骤如下：
步骤51：已训练的模型在测试集上进行评估，本实例利用混淆矩阵分析模型输出的4种肿瘤组织拉曼光谱分类结果，同时，采用准确率(Accuray)、精度(Precision)和召回率(Rcall)作为模型评估指标。
已训练的模型在测试集上进行评估，四种类型组织拉曼光谱测试集样本数量分别为：500条肿瘤组织1拉曼光谱、600条肿瘤组织2拉曼光谱、550条肿瘤组织3拉曼光谱、700条正常组织拉曼光谱。
本发明采用混淆矩阵作为模型评估方法，该方法主要用于比较分类结果和实际值之间的关系。混淆矩阵的每一列代表了组织预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了组织数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目。本发明方法获得的混淆矩阵如表1所示。
表1本发明方法的混淆矩阵
步骤52：本发明方法与传统的拉曼光谱分类方法性能进行了比较，传统方法包括：主成分分析方法(PCA)结合线性判别器(LDA)、主成分分析方法(PCA)结合支持向量机(SVM)，三种分类方法评估结果如表2和表3所示。
表2 PCA+LDA方法的混淆矩阵
表3 PCA+SVM方法的混淆矩阵
步骤6：依据步骤5获得的训练模型，将其部署至边缘计算设备，进而构建拉曼光谱数据分析装置。
步骤61：首先，将模型编译为静态.pd模型文件；然后，.pd模型文件进一步编译为openvino模型；最后，生成适用于LabVIEW开发语言调用的openvino模型接口。
步骤62：在LabVIEW开发环境中编写拉曼光谱数据分析软件上位机程序，调用openvino模型接口，在边缘计算设备上部署程序。
步骤63：搭建拉曼光谱数据分析硬件装置，包括：边缘计算设备、光谱仪、拉曼探头、激光器、显示屏。装置工作流程为：激光器作为激发光源通过激发光纤传送至拉曼探头，激发光照射于肿瘤组织并激发拉曼光谱，再通过接收光纤传送至光谱仪，光谱仪通过串口将拉曼光谱信号传送至上位机，拉曼光谱数据分析软件对组织拉曼光谱数据进行识别，结果显示于上位机显示屏。
综上，本发明提出的基于多尺度特征融合的深度残差神经网络模型与装置，具有：无需对原始拉曼光谱数据进行预处理，其可直接用于训练本发明提出的端到端深度学习模型；提高了拉曼光谱特征空间语义信息表征能力，有效的抑制了环境光对拉曼光谱数据的干扰；有效的抑制了相邻拉曼频移(波数)对应的拉曼幅度值大范围变化，降低了同类型物质拉曼光谱差异性对物质识别准确率的影响；同时易于拓展和使用，在物质拉曼光谱分析领域具有一定的实际应用价值，可适用范围广。
本发明已经通过上述实例进行了说明，但应当理解的是，上述实例只是用于举例和说明的目的。因此，凡在技术领域中通过逻辑分析、推理或者有限实验得到技术方法，皆应当属于描述的实例保护范围内。
Claims (6)
1.一种基于深度学习的拉曼光谱数据分析方法，其特征在于，包括以下几个步骤：
步骤1：针对某类型物质拉曼光谱数据，分析其锋位、峰值、谱带空间位置等特征信息，建立物质拉曼光谱分子表征表；
步骤2：根据分析的物质拉曼光谱信息，人工标注拉曼光谱数据类别，采用数据扩容技术增加对应物质拉曼光谱数据样本量，建立模型训练数据集、验证集与测试集；
步骤3：构建基于多尺度特征融合的深度残差神经网络模型，在该模型中，利用ResNet50作为模型主干网络，融合网络的3、4、5层拉曼光谱特征信息，提高光谱空间语义信息表征能力，模型损失函数为交叉熵-抑制损失函数；
步骤4：利用训练集训练基于多尺度特征融合的深度残差神经网络模型，验证集对训练网络进行评估与调参；
步骤5：使用测试集测试基于多尺度特征融合的深度残差神经网络模型性能，并输出物质拉曼光谱分析结果；
步骤6：依据步骤5获得的训练模型，将其部署至边缘计算设备，进而构建拉曼光谱数据分析装置。
2.根据权利要求1所述的一种基于深度学习的拉曼光谱数据分析方法，其特征在于，所述步骤2，建立某类型物质拉曼光谱数据样本集，其具体步骤如下：
步骤21：为了避免建立的深度学习模型训练过程中倾向于数值较大的特征信息，需要对拉曼光谱数据进行归一化处理，将拉曼光谱数据特征归于统一数值量级；
步骤22：为了扩充拉曼光谱数据样本容量、增加样本多样性，本发明采用两种数据扩容方法：(1)在拉曼光谱数据幅度值中添加白噪声信号；(2)向左右两个方向平移拉曼光谱信号。
3.根据权利要求1所述的一种基于深度学习的拉曼光谱数据分析方法，其特征在于，所述步骤3，构建基于多尺度特征融合的深度残差神经网络模型，在该模型中，利用ResNet50作为模型主干网络，融合网络的3、4、5层拉曼光谱特征信息，提高光谱空间语义信息表征能力，模型损失函数为交叉熵-抑制损失函数，其具体步骤如下：
步骤31：本发明构建的拉曼光谱数据分析模型主干网络采用ResNet50，在该网络基础上建立多尺度特征融合结构，其用于融合不同尺度(尺寸)拉曼光谱特征信息；ResNet 50包含5个模组，其中后4个模组由两种类型残差块组成，分别为Conv_block和Identity_block；为了提高光谱数据的空间语义表征能力，本发明抽取第三个至第五个模组输出的拉曼光谱数据特征信息，其输出表示为{C3,C4,C5}，每个输出通过1×1卷积生成256个特征图，对应的3层结构表示为{M3,M4,M5}；后，本发明将每层特征进行自底向上融合，具体步骤为：M5层特征图尺度通过上采样(Upsampling)扩充至与M4层相同的特征图尺度大小；然后，将上采样特征信息与M4融合(相加)，融合后的特征信息再经过上采样层，其尺度扩充至与M3层相同尺度；最后，将融合后上采样信息再与M3融合(相加)，最终获得融合后的拉曼光谱特征信息。
4.根据权利要求3所述的一种基于深度学习的拉曼光谱数据分析方法，其特征在于，步骤32：为了抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化，在训练损失函数中引入拉曼特征信息一致性监督约束项，其建立的交叉熵-抑制损失函数表达式为：
式中
为模型输出的评估值，yn是拉曼光谱类别目标值，w为模型权重(权值)，λ1和λ2分别为约束项1和约束项2的调整因子，其中，约束项2用于抑制相邻拉曼频移(波数)对应的拉曼幅度值大范围变化。
5.一种基于深度学习的拉曼光谱数据分析的装置，使用权利要求1-4任何一项所述的一种基于深度学习的拉曼光谱数据分析方法，其特征在于，所述步骤6，将已训练的模型部署至边缘计算设备，构建拉曼光谱数据分析装置，其具体步骤如下：
步骤61：依据步骤5训练的模型，首先，将模型编译为静态.pd模型文件；然后，.pd模型文件进一步编译为openvino模型；最后，生成适用于装置软件开发语言调用的openvino模型接口。
6.根据权利要求5所述的一种基于深度学习的拉曼光谱数据分析的装置，其特征在于，步骤62：在边缘计算设备上，设计拉曼光谱数据分析软件上位机程序，调用openvino模型接口；搭建拉曼光谱数据分析硬件装置，包括：边缘计算设备、光谱仪、拉曼探头、激光器、显示屏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110354545.2A CN113095188A (zh) | 2021-04-01 | 2021-04-01 | 一种基于深度学习的拉曼光谱数据分析方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110354545.2A CN113095188A (zh) | 2021-04-01 | 2021-04-01 | 一种基于深度学习的拉曼光谱数据分析方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113095188A true CN113095188A (zh) | 2021-07-09 |
Family
ID=76672617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110354545.2A Pending CN113095188A (zh) | 2021-04-01 | 2021-04-01 | 一种基于深度学习的拉曼光谱数据分析方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095188A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989578A (zh) * | 2021-12-27 | 2022-01-28 | 季华实验室 | 拉曼光谱的峰位分析方法、系统、终端设备及介质 |
| CN114067169A (zh) * | 2021-10-15 | 2022-02-18 | 浙江工业大学 | 一种基于卷积神经网络的拉曼光谱分析方法 |
| CN114295600A (zh) * | 2021-12-30 | 2022-04-08 | 西北大学 | 一种改进的拉曼光谱多元数据分析及成像方法 |
| CN114417937A (zh) * | 2022-01-26 | 2022-04-29 | 山东捷讯通信技术有限公司 | 一种基于深度学习的拉曼光谱去噪方法 |
| CN114692773A (zh) * | 2022-04-08 | 2022-07-01 | 浙江工业大学 | 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 |
| CN115294434A (zh) * | 2022-09-15 | 2022-11-04 | 南京航空航天大学 | 一种基于分子谱像特征采集与融合的多模态学习卷积神经网络模型的实施方法 |
| CN116363440A (zh) * | 2023-05-05 | 2023-06-30 | 北京建工环境修复股份有限公司 | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026586A1 (en) * | 2017-07-19 | 2019-01-24 | Vispek Inc. | Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence |
| CN109858477A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 |
| CN110363728A (zh) * | 2019-07-25 | 2019-10-22 | 上海尊溢商务信息咨询有限公司 | 一种基于语义分割的图像trimap生成方法 |
| CN110956260A (zh) * | 2018-09-27 | 2020-04-03 | 瑞士电信公司 | 神经架构搜索的系统和方法 |
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| CN112036433A (zh) * | 2020-07-10 | 2020-12-04 | 天津城建大学 | 一种基于CNN的Wi-Move行为感知方法 |
| CN112101277A (zh) * | 2020-09-24 | 2020-12-18 | 湖南大学 | 一种图像语义特征约束的遥感目标检测方法 |
| CN112200770A (zh) * | 2020-09-08 | 2021-01-08 | 浙江大学山东工业技术研究院 | 一种基于拉曼光谱和卷积神经网络的肿瘤检测方法 |
| CN112564974A (zh) * | 2020-12-08 | 2021-03-26 | 武汉大学 | 一种基于深度学习的物联网设备指纹识别方法 |
-
2021
- 2021-04-01 CN CN202110354545.2A patent/CN113095188A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026586A1 (en) * | 2017-07-19 | 2019-01-24 | Vispek Inc. | Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence |
| CN110956260A (zh) * | 2018-09-27 | 2020-04-03 | 瑞士电信公司 | 神经架构搜索的系统和方法 |
| CN109858477A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 |
| CN110363728A (zh) * | 2019-07-25 | 2019-10-22 | 上海尊溢商务信息咨询有限公司 | 一种基于语义分割的图像trimap生成方法 |
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| CN112036433A (zh) * | 2020-07-10 | 2020-12-04 | 天津城建大学 | 一种基于CNN的Wi-Move行为感知方法 |
| CN112200770A (zh) * | 2020-09-08 | 2021-01-08 | 浙江大学山东工业技术研究院 | 一种基于拉曼光谱和卷积神经网络的肿瘤检测方法 |
| CN112101277A (zh) * | 2020-09-24 | 2020-12-18 | 湖南大学 | 一种图像语义特征约束的遥感目标检测方法 |
| CN112564974A (zh) * | 2020-12-08 | 2021-03-26 | 武汉大学 | 一种基于深度学习的物联网设备指纹识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENTENG；LINIZHU,YONGQIANGTAN，SIFANZENG ANDET AL: "《Synthesis and structures of high-entropy pyrochlore oxides》", 《JOURNAL OF THE EUROPEAN CERAMIC SOCIETY》 * |
| 董家林: "《基于深度学习的血液制品拉曼光谱分析方法研究及应用》", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067169A (zh) * | 2021-10-15 | 2022-02-18 | 浙江工业大学 | 一种基于卷积神经网络的拉曼光谱分析方法 |
| CN113989578A (zh) * | 2021-12-27 | 2022-01-28 | 季华实验室 | 拉曼光谱的峰位分析方法、系统、终端设备及介质 |
| CN114295600A (zh) * | 2021-12-30 | 2022-04-08 | 西北大学 | 一种改进的拉曼光谱多元数据分析及成像方法 |
| CN114417937A (zh) * | 2022-01-26 | 2022-04-29 | 山东捷讯通信技术有限公司 | 一种基于深度学习的拉曼光谱去噪方法 |
| CN114417937B (zh) * | 2022-01-26 | 2024-06-14 | 山东捷讯通信技术有限公司 | 一种基于深度学习的拉曼光谱去噪方法 |
| CN114692773A (zh) * | 2022-04-08 | 2022-07-01 | 浙江工业大学 | 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 |
| CN115294434A (zh) * | 2022-09-15 | 2022-11-04 | 南京航空航天大学 | 一种基于分子谱像特征采集与融合的多模态学习卷积神经网络模型的实施方法 |
| CN116363440A (zh) * | 2023-05-05 | 2023-06-30 | 北京建工环境修复股份有限公司 | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 |
| CN116363440B (zh) * | 2023-05-05 | 2023-12-19 | 北京建工环境修复股份有限公司 | 基于深度学习的土壤中有色微塑料的识别检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113095188A (zh) | 一种基于深度学习的拉曼光谱数据分析方法与装置 | |
| US7689023B2 (en) | Color unmixing and region of interest detection in tissue samples | |
| CN109858477A (zh) | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 | |
| Hu et al. | Identification of mine water inrush using laser-induced fluorescence spectroscopy combined with one-dimensional convolutional neural network | |
| Wu et al. | Identification and quantification of counterfeit sesame oil by 3D fluorescence spectroscopy and convolutional neural network | |
| CN107818298A (zh) | 用于机器学习物质识别算法的通用拉曼光谱特征提取方法 | |
| CN107679569A (zh) | 基于自适应超图算法的拉曼光谱物质自动识别方法 | |
| CN112712108A (zh) | 一种拉曼光谱多元数据分析方法 | |
| CN104680185B (zh) | 基于边界点重分类的高光谱图像分类方法 | |
| CN113030001B (zh) | 一种水果糖度检测方法及系统 | |
| CN102982339A (zh) | 一种高光谱特征变量选取的方法 | |
| EP2892005A2 (en) | Data processing apparatus, data display system, sample data obtaining system, method for processing data, program, and computer-readable storage medium | |
| CN108304770A (zh) | 一种基于时频分析算法结合深度学习理论的气液两相流流型的方法 | |
| CN109472287A (zh) | 基于二维Gabor小波的三维荧光光谱特征提取方法 | |
| CN111914916A (zh) | 基于双路卷积融合神经网络的高光谱图像分类模型及方法 | |
| Yin et al. | Non-destructive detection of foreign contaminants in toast bread with near infrared spectroscopy and computer vision techniques | |
| CN116030310A (zh) | 一种基于激光诱导击穿光谱技术的样品分类方法及系统 | |
| CN112712857A (zh) | 一种基于wgan对抗生成网络生成生物拉曼光谱数据的方法 | |
| CN111426657B (zh) | 一种溶解性有机物三维荧光谱图的识别比对方法 | |
| CN117949429A (zh) | 基于拉曼光谱和多模态混合式模型的杏仁产地鉴别方法 | |
| Huang et al. | The application of wavelet transform of Raman spectra to facilitate transfer learning for gasoline detection and classification | |
| CN111222543A (zh) | 物质识别方法和设备及计算机可读存储介质 | |
| Abady et al. | An efficient technique for detecting document forgery in hyperspectral document images | |
| CN116028863A (zh) | 一种基于深度学习和拉曼光谱的抗生素药物的分类识别方法 | |
| CN112733769B (zh) | 基于多波段熵率超像素分割的高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |
|
| RJ01 | Rejection of invention patent application after publication |