CN114264626A

CN114264626A - 一种基于时间序列残差网络的织物无损定量分析方法

Info

Publication number: CN114264626A
Application number: CN202111557145.8A
Authority: CN
Inventors: 池明旻; 彭博; 陶贇; 邱亦宁
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2021-12-18
Filing date: 2021-12-18
Publication date: 2022-04-01

Abstract

本发明公开了一种基于时间序列残差网络的织物无损定量分析方法，针对相邻波段具有相关性的光谱数据，采用先抽取局部特征，再进行含量预测的建模思路。具体地，本发明使用一维卷积网络与残差结构进行局部特征的提取，同时消除无损检测条件下数据中存在的干扰，再将抽取过后的特征送入全连接网络，产生所关心的成分含量的百分比预测值。此方法能实现织物含量预测模型的端到端训练，利用卷积模块替代了传统预处理方法，并利用全连接网络建立了波形特征与所关心成分含量之间的非线性关系，误差小于常见的统计方法，且便于操作。

Description

一种基于时间序列残差网络的织物无损定量分析方法

技术领域

本发明属于近红外分析技术领域，具体涉及一种织物无损定量分析方法。

背景技术

织物定性定量分析，对于产品质量把控与外贸销售有着至关重要的作用，但传统化学法或电镜法存在着操作繁琐，效率低，破坏样品，污染环境等缺点，近红外光谱能反映有机物的化学键组成，配合相关统计方法，能实现无损高精度的织物定性定量分析，正逐渐成为研究焦点。

在近红外分析领域，当前主流方法是基于统计模型对近红外光谱进行回归分析，尤其是偏最小二乘方法使用最广泛，辅助手段包括光谱平滑与求导预处理，光谱校正，光谱波段选择，降维等。随着深度学习的发展，也有少量采用BPNN进行回归模型建模的尝试。

现有方法如PLS、BPNN，这些方法依然是线性的或者是浅层的网络模型，非实验室条件的下的无损检测数据中存在的复杂因素会严重干扰此类模型在具体应用时的表现。目前已有基于1D CNN建模的尝试，并且这些工作通常是在较为平衡的数据上进行的，并没有考虑到在大规模采样时可能面临的实际数据不平衡的问题。

发明内容

本发明的目的在于提供一种成分预测误差低、不同成分组合效果好的织物无损定量分析方法，可克服大规模采样时可能面临的实际数据不平衡的问题。

类比传统近红外定量分析模型，本发明提供的织物无损定量分析方法，是基于时间序列残差网络技术的。类比传统近红外定量分析模型，本发明将传统的预处理-降维-线性回归模式整合到统一的网络模型中，利用卷积残差网络建模传统的预处理过程，利用非线性的全连接网络建模降维-线性回归过程，不仅引入了非线性的建模方法，更贴近紧密结合织物的光谱特性，也将预处理过程转变为可训练的模块，替代了传统的预处理排列组合试错。此外还针对实际数据中常常存在的严重的含量分布不均匀问题提出了相应的类似重采样的平衡方案。

本发明提供的基于时间序列残差网络的织物无损定量分析方法，具体步骤如下：

(1)在相同条件下无损地采集特定组分范围的织物近红外高光谱数据，并记录其成分含量标记；将数据集划分为训练集和验证集两部分；

(2)将训练集近红外光谱数据送入时间序列残差网络进行训练，利用MSE作为损失函数，误差项根据标签分布做一定的平衡后再被反向传播；

(3)利用验证集数据评估不同学习率下的模型，选择表现最好的模型作为最终的模型；

(4)确认待检测织物在模型检测范围中，使用最优的神经网络模型进行织物组分定量分析。

本发明步骤(1)中，所述采集织物近红外高光谱数据，要求采集环境相对稳定，采集设备配置相对统一；将数据集中明显存在锯齿噪声的数据剔除。标记每个样本的成分含量，并将最终得到的数据集划分为训练集和验证集，注意同一匹布上的采样结果不可以同时分配到训练集和验证集中。

其中，锯齿噪声检测的做法如下：

首先利用平滑滤波器处理待判别的反射谱，并计算平滑后的反射谱与原始谱之间的距离，此处使用两个向量之间的L1距离。若该距离大于指定阈值，则标记为存在严重噪声并准备剔除。

本发明步骤(2)中，所述时间序列残差网络，包括：两个子模块，分别为光谱特征提取模块与成分含量预测模块；光谱特征提取模块包括一维卷积网络与残差网络，使用一维卷积网络加残差结构进行特征抽取，最终将n*1的反射谱数据变换为n*16的特征表示；成分含量预测模块利用全局平均池化将n*16的特征表示压缩为16维向量，将特征表示迅速压缩，再通过全连接网络与ReLU激活函数得到所关心的成分含量预测值；模型输入为原始光谱反射率序列，输出为需要预测的成分含量值。

本发明步骤(2)中，所述标签分布做平衡，具体标签分布由下面定义的权重进行平衡：

其中，分母表示标签值介于i-window及i+window之间的样本数目，通常，window取0.025，分子表示标签值介于0到1之间的样本数目，也即总的样本数目，其中y_i表示第i个样本的标签值。

所述权重表示了为达到均匀分布，对应成分含量的数据需重采样的次数，将该权重乘到相关数据的MSE损失项上，隐式地实现数据的平衡，最终的带平衡因子的MSE形式如下：

本发明步骤(3)中，所述选择最优模型，包括：

由于对损失项进行了乘法操作，导致梯度发生成倍的变化，故在原始学习率左右涉及若干个候选学习率，在每种学习率下分别训练与验证模型。训练时使用的带平衡因子的 MSE，验证对比时使用的评价指标为MSE，比较不同学习率配置下得到的模型在验证集上的表现，选择最优的一组作为最终使用的模型。

本发明在5个二组分纺织品数据集上的实验结果表明所提出的网络和目前常用方法相比有着更低的成分预测误差，在不同成分组合上的表现更加稳定。说明所提出的方法的有效性优于常用方法，且无需繁琐的预处理摸索过程。

附图说明

图1为本发明提供的模型训练流程图。

图2为提出的时序序列网络模型概览图，包含特征提取模块以及预测模块两个部分。

具体实施方式

下面结合附图详细说明本发明的具体实施例。然而，应当将本发明理解成并不局限于以下描述的这种实施方式，并且本发明的技术理念可以与其他公知技术或功能与那些公知技术相同的其他技术组合实施。

在以下具体实施例的说明中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“轴向”、“径向”等词语理解为方便用语，而不应当理解为限定性词语。

参照图1，模型训练流程，包括步骤S1-S5具体如下：

步骤S1—采集近红外反射谱

从相关企业获取有标记的样布，且集中收集特定成分组合的大量样布，在相对稳定的温度湿度下，采用相同设备配置的近红外光谱仪集中采集反射谱数据，采集波段为900nm-1700nm，采集时注意标注含量信息作为标签值。

针对模型训练划分出训练集和验证集，并额外准备一组测试集数据用于同其他模型的最终效果比较。

步骤S2—噪声数据剔除

首先通过肉眼观察的方式选出一组噪声严重必须剔除的反射谱数据，并将在此过程种未被认定为噪声过大的数据也取出，基于S21中提出的方法计算两组数据中每个反射谱与其平滑过后的波形之间的距离，进而选择出一个可以区分出噪声数据和正常数据的距离度量阈值，并采用该阈值过滤剩下的数据。

步骤S3—网络前馈

请参看图2，反射谱输入需经过三个带残差结构的一维卷积模块，这三个模块依次将数据维度由n*1变换为n*8，n*16及n*16。在每个模块中，首先通过一个卷积核大小为7 的一维卷积层将数据通道数变换为该模块最终要输出的通道数，再通过批归一化层进行数据归一化，随后使用卷积核大小为5，3的两个卷积层进行一维卷积，并在每个卷积层后也进行批归一化。最后，将经过该模块第一个卷积层和批归一化层的输出加到当前输出上，一起作为该模块的输出送入下一模块中。

在预测模块中，首先利用全局平均池化将数据从n*16变换为16维向量，具体变换方式即将一个通道的所有值取平均来代表该通道，然后通过一层全连接层将16维向量变换为单个值，最后通过ReLU激活函数将单个值映射到(0,1)的区间中，作为所关心成分的预测值。

步骤S4—平衡损失

在计算网络模型的损失函数时，采用如下方式：

其中，w_i表示第i个样本按照步骤S41计算得到的权重。

学习率超参搜索

训练数据批次大小为8。优化器采用Adam，学习率从集合{1e-2,1e-3,1e-4,1e-5,1e-6}中选取，并取验证集上效果最好的学习率来训练最终的模型。

本发明的时序序列网络与常用方法的预测效果对比，见表1所示。

表1

Claims

1.一种基于时间序列残差网络的织物无损定量分析方法，其特征在于，具体步骤如下：

（1）在相同条件下无损地采集特定组分范围的织物近红外高光谱数据，并记录其成分含量标记；将数据集划分为训练集和验证集两部分；

（2）将训练集近红外光谱数据送入时间序列残差网络进行训练，利用MSE作为损失函数，误差项根据标签分布做一定的平衡后再被反向传播；

（3）利用验证集数据评估不同学习率下的模型，选择表现最好的模型作为最终的模型；

（4）确认待检测织物在模型检测范围中，使用最优的神经网络模型进行织物组分定量分析。

2.根据权利要求1所述的织物无损定量分析方法，其特征在于，步骤（1）中所述采集织物近红外高光谱数据，要求采集环境相对稳定，采集设备配置相对统一；将数据集中明显存在锯齿噪声的数据剔除；同一匹布上的采样结果不同时分配到训练集和验证集中。

3.根据权利要求2所述的织物无损定量分析方法，其特征在于，步骤（1）中所述锯齿噪声检测的做法如下：

首先利用平滑滤波器处理待判别的反射谱，并计算平滑后的反射谱与原始谱之间的距离，此处使用两个向量之间的L1距离；若该距离大于指定阈值，则标记为存在严重噪声并准备剔除。

4.根据权利要求1所述的织物无损定量分析方法，其特征在于，步骤（2）中所述时间序列残差网络，包括两个模块：光谱特征提取模块与成分含量预测模块；光谱特征提取模块包括一维卷积网络与残差网络，使用一维卷积网络加残差结构进行特征抽取，最终将n*1的反射谱数据变换为n*16的特征表示；成分含量预测模块利用全局平均池化将n*16的特征表示压缩为16维向量，将特征表示迅速压缩，再通过全连接网络与ReLU激活函数得到所关心的成分含量预测值；模型输入为原始光谱反射率序列，输出为需要预测的成分含量值。

5.根据权利要求4所述的织物无损定量分析方法，其特征在于，步骤（2）中所述标签分布做平衡，由下面定义的权重进行平衡：

, （1）

其中，分母表示标签值介于i-window及i+window之间的样本数目，分子表示标签值介于0到1之间的样本数目，也即总的样本数目，其中

表示第i个样本的标签值；

；（2）。

6.根据权利要求1所述的织物无损定量分析方法，其特征在于，步骤（3）中所述选择最优模型，包括：

由于对损失项进行了乘法操作，导致梯度发生成倍的变化，故在原始学习率左右涉及若干个候选学习率，在每种学习率下分别训练与验证模型；训练时使用的带平衡因子的MSE，验证对比时使用的评价指标为MSE，比较不同学习率配置下得到的模型在验证集上的表现，选择最优的一组作为最终使用的模型。