CN112529107B

CN112529107B - 基于可见光图像识别的等离子体温度瞬态诊断方法和系统

Info

Publication number: CN112529107B
Application number: CN202011580816.8A
Authority: CN
Inventors: 杨勇; 杨帅; 李传; 余子恒
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2022-05-31
Anticipated expiration: 2040-12-28
Also published as: CN112529107A

Abstract

本发明公开了基于可见光图像识别的等离子体温度瞬态诊断方法和系统，属于图像识别技术领域。本发明利用机器学习和卷积神经网络模型进行等离子体温度诊断，一方面，一旦建立等离子体放电可见光图像与其等离子体温度参数对应数据集，并训练建立诊断模型后，后期的诊断可不需使用光谱仪等设备，只需使用通用图像采集设备采集新工况下等离子体放电的可见光图像，即可实时预测该工况下的等离子体温度参数，实验设备简单，预测过程自动完成，无需人工拟合。另一方面，机器学习卷积神经网络的优点是不需要人工设计并提取图像数据的特征，能够直接对图像的像素进行卷积处理，提取到图像特征，这样的处理方式和人类大脑视觉系统的处理方式十分相近。

Description

基于可见光图像识别的等离子体温度瞬态诊断方法和系统

技术领域

本发明属于机器学习图像识别技术领域，更具体地，涉及基于可见光图像识别的等离子体温度瞬态诊断方法和系统。

背景技术

温度是表征等离子体性质的一个重要参数，对等离子体温度的诊断成为了当今研究的热点之一。目前主要的等离体子温度诊断方法包括：发射光谱法和激光干涉法。激光干涉法所用仪器设备复杂，对实施例条件要求高，且不适合在小空间下使用。发射光谱法作为一种不介入诊断技术，不会干扰被测物理量的物理场，且对设备要求低于激光干涉，因此得到广泛使用。其主要思想是采集等离子体放电的谱带信息，利用高斯线性函数对发射光谱进行拟合，计算转动温度和振动温度。但发射光谱法需要高分辨光谱仪与ICCD相机联用才能获得相应的等离子体温度参数，实施例设备复杂，且需对光谱数据进行人工拟合等后期处理，工作量大而且效率低下，无法实时获得等离子体的温度参数。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了基于可见光图像识别的等离子体温度瞬态诊断方法和系统，其目的在于将机器学习的方法应用到等离子体温度诊断，实现设备简单快捷、工作量小、高效率、高准确率的等离子体温度诊断。

为实现上述目的，按照本发明的第一方面，提供了一种基于可见光图像识别的等离子体温度瞬态诊断方法，该方法包括：

训练阶段：

S1.对于每种工况，使用图像采集设备采集等离子体放电可见光图像的同时使用光谱仪获取等离子体放电光谱样本；

S2.将采集到的光谱样本输入至拟合好的线性回归模型，得到等离子体温度参数，所述线性回归模型以等离子体放电理论光谱中不同波长对应的光谱强度作为自变量，以等离子体转动温度和振动温度为因变量；

S3.建立等离子体放电可见光图像与等离子体温度参数一一对应的数据集；

S4.使用数据集对基于卷积神经网络的等离子体温度诊断模型进行训练，得到训练好的等离子体温度诊断模型；

应用阶段：

T1.使用通用图像采集设备采集新工况下等离子体放电的可见光图像；

T2.将采集到的等离子体放电的可见光图像输入至训练好的等离子体温度诊断模型，得到该工况下的等离子体温度参数。

优选地，所述图像采集设备为RGB图像采集设备。

有益效果：本发明利用卷积神经网络训练得到的等离子体温度诊断模型，可直接识别通用图像采集设备获取的RGB可见光图像，不再需要使用光谱仪等设备，采集设备简单快捷，避免了复杂的人工处理。

优选地，所述线性回归模型采用岭回归或LASSO线性回归模型。

有益效果：本发明建立了理论光谱图像数据与等离子体转动温度、振动温度对应关系的数据集，采用机器学习线性回归的方法对该数据集进行训练和学习，从而实现对实验采集的光谱样本进行自动的温度拟合，避免了人工拟合工作量大、主观因素强、拟合效果难以量化的缺点。

优选地，所述等离子体温度诊断模型采用卷积神经网络VGG16。

有益效果：本发明采用卷积神经网络模型进行温度诊断，能够实现自动的特征提取，泛化能力强，准确率和处理效率也很高。本发明通过对比分析不同Keras典型卷积神经网络模型应用于本实施例等离子体温度参数诊断的性能，采用性能最优、适用性最强的VGG16网络模型，从而达到最佳的等离子体温度参数诊断效果。

优选地，所述等离子体温度诊断模型采用以VGG16为基础改进的网络：

使用节点数为数据集温度类别数的全连接层作为新的输出层；

在去除顶层3个全连接层的VGG16网络模型与新的输出层之间依次添加1024节点且采用ReLU激活函数的全连接层、BN层和Dropout层。

有益效果：本发明通过对比分析上述优化手段及其组合对VGG16网络模型性能的影响，得到VGG16网络模型的最佳优化方式，进一步提高了等离子体温度诊断模型的识别准确率和泛化能力。

优选地，训练卷积神经网络模型的过程中采用了迁移学习、数据扩增与数据增强。

有益效果：本发明在数据集的建立和训练过程中采用了数据扩增和增强手段增加样本容量和样本多样性，在模型训练时利用迁移学习加载了典型卷积神经网络模型的预训练权重，这些手段对解决卷积神经网络模型在小样本数据条件下难以训练的问题有很大帮助，提升了模型的训练效率、准确率以及泛化能力。

优选地，等离子体放电为气体放电等离子体。

有益效果：本发明利用空气中的针板放电产生气体放电等离子体，只需利用光谱仪获取氮气发射光谱第二正系谱带数据即可实现等离子体转动温度和振动温度的精准拟合。

为实现上述目的，按照本发明的第二方面，提供了一种基于可见光图像识别的等离子体温度瞬态诊断系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的一种基于可见光图像识别的等离子体温度瞬态诊断方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

本发明利用机器学习卷积神经网络模型来进行等离子体温度诊断，一方面，一旦建立等离子体放电可见光图像与其等离子体温度参数对应的数据集，并进行相应训练建立诊断模型后，后期的诊断可不需要再使用光谱仪等设备，只需使用通用的图像采集设备采集新工况下等离子体放电的可见光图像，即可实时预测该工况下的等离子体温度参数，实验设备简单快捷，预测过程自动完成，无需人工拟合等离子体温度。另一方面，机器学习卷积神经网络的优点是不需要人工设计并提取图像数据的特征，能够直接对图像的像素进行卷积处理，提取到图像特征，这样的处理方式和人类大脑视觉系统的处理方式十分相近。此外，卷积神经网络中对于池化层的使用可以大大减少网络需要训练的参数，很大程度上提高了模型的训练效率。这种方法不需要人为进行特征提取，泛化性、实用性强，准确率、处理效率也非常高。

附图说明

图1是本发明提供的等离子体温度瞬态诊断技术路线图；

图2是本发明提供的等离子体温度瞬态诊断方法流程图；

图3是本发明提供的实验装置示意图；

图4是本发明提供的基于机器学习的等离子体温度预测流程图；

图5是本发明提供的卷积神经网络模型结构示意图；

图6是本发明采用全部优化手段的网络模型结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

近年来，机器学习技术飞速发展，在图像处理与图像识别领域展现出较大的优势，更加适用于图像特征的学习和表达。这也为等离子体的温度诊断提供了一个新的技术方向。本发明利用此项技术建立基于可见光图像的等离子体温度瞬态诊断平台，平台搭建完成之后可不再需要使用光谱仪等设备，只需使用通用的图像采集设备采集新工况下等离子体放电的可见光图像，即可实时预测该工况下的等离子体温度参数，实施例设备简单快捷，避免了复杂的人工处理，具有泛化性、实用性强，准确率、处理效率高的特点。

本发明提供了一种基于可见光图像识别的等离子体温度瞬态诊断方法，包括以下步骤：

建立理论光谱图像与等离子体转动温度、振动温度对应关系的数据集，采用机器学习的方法搭建线性回归模型，对该数据集进行训练和学习，该模型可用于对实施例采集的光谱图像数据进行温度拟合，避免了人工拟合工作量大、主观因素强、拟合效果难以量化的缺点。

利用光谱仪采集大气压下等离子体放电的发射光谱(特定波段的光谱图像)，利用上述机器学习线性回归的方法对其进行自动拟合，获得光谱样本所对应的等离子体温度参数，在采集光谱数据的同时利用单反相机采集相同等离子体工况下的可见光图像，从而建立起等离子体可见光图像与其等离子体温度参数一一对应的数据集。

从等离子体可见光图像到其温度参数的预测本质上可以归于机器学习的分类问题，采用机器学习卷积神经网络模型的方法对上述数据集进行训练、学习和预测，包括以下步骤：

将采集到的等离子体放电可见光图像按照不同温度参数标签分类，通过局部正方形裁剪突出图像主体特征信息，同时避免后续数据缩放导致图像伸缩变形，丢失部分图像本身具有的特征信息。为提升模型的准确率和泛化能力，采用数据扩增手段增加训练数据，扩增数据集。常用方法包括图像的翻转、旋转、裁剪、亮度、饱和度、对比度、色度变化等。数据扩增操作可利用Python语言程序实现图像的批量处理和多线程处理，可极大提高处理效率。

对于有监督的机器学习，采用均匀随机抽样的方式，将上述扩增后的数据集划分为训练集、验证集和测试集，训练集用于图像数据样本的学习，通过特征的提取和分析来建立分类器，主要用于模型的训练。验证集主要用于模型参数的调整，用训练集训练好的模型参数对验证数据集进行验证，根据验证集上的结果再去调整分类器的参数。测试集不参与模型的训练过程，主要用于测试模型性能的优劣，通常作为网络模型性能检验最关键的标准。

在将图像数据输入卷积神经网络之前，需要对数据进行预处理。图像数据预处理的流程包括数据的读取、解码、缩放、增强和标准化。预处理后的图像数据可直接用于网络模型的训练。

进一步地，按照卷积神经网络模型的结构(输入层、卷积层、池化层、全连接层以及输出层)搭建网络模型，采用迁移学习的方法在训练开始时加载Keras典型网络模型的预训练权重，并追加不同节点数的全连接层实现模型的搭建。

迁移学习是深度学习中常用的一种方法。在计算机视觉和自然语言处理任务中，迁移学习通常是将预训练好的模型及参数作为新模型训练的起点，通常这些预训练的模型在神经网络开发的时候已经消耗了巨大的时间和计算资源，迁移学习可以将已学习到的参数和能力直接迁移到新的相关问题上。这对解决卷积神经网络在小样本条件下难以训练的问题有很大帮助，同时能够很大程度上减少网络训练带来的开销，提升训练效率。

模型参数方面，设置优化器、损失函数以及度量指标参数，调试合适的初始学习率。在模型训练过程中，利用早停法避免模型出现严重过拟合问题，早停法是在训练过程中计算模型在验证集上的表现，当模型在验证集上的表现开始下降或者没有提升的时候，停止训练，这样就能避免继续训练导致过拟合的问题。此外，采用学习率调度器实现根据迭代次数动态衰减的学习率，可以兼顾训练效率与后期的稳定性。

针对模型的过拟合问题提出了在追加层部分采用ReLU激活函数、BN层和Dropout层三种优化方案。对不同网络模型的性能进行比较，并针对部分模型分析不同优化手段及其组合的作用效果，旨在解决过拟合的问题，提升模型的泛化能力。

预测实施例部分，利用模型参数的保存和加载可实现训练结果的快速转化，直接对新工况下的等离子体图像进行温度预测，输出预测不同温度的概率分布，并利用温度乘以概率再求和计算出其温度期望值，以此期望值作为等离子体温度参数的最终预测结果。

搭建等离子体测试平台，采集等离子体瞬态可见光图像，将前期建立得智能诊断模型应用于等离子体瞬态参数测试，并将模型预测结果与等离子体发射光谱法得到的结果进行比对，分析可能误差原因，通过迭代对已有模型进行改进，扩充数据集进行进一步训练和学习，保证等离子体温度预测的准确性。

实施例

本发明的等离子体温度瞬态诊断技术路线及方法流程如图1和图2所示。按照图3示意图搭建实施例装置平台，高压直流电源选用正极性和负极性以扩大数据样本的多样性，电压调节范围在数十千伏以内。选取10MΩ限流电阻串接在回路中以避免产生过大电流而引起设备损坏。实施例中采用的放电类型为空气中的针板放电，考虑影响针板放电等离子体温度的因素为电极间的电压大小U以及针板之间的距离d，因此通过改变这两个参数值便可改变放电等离子体的温度状态。实施例中示波器用于测量针板之间的电压以及回路中的电流。

实施例装置采集部分，利用Andor光谱仪采集等离子体放电360nm～380nm波长范围内的光谱图像数据(此波段对应氮气的第二正系谱带)，利用机器学习的线性回归模型训练理论光谱图像到温度的预测模型，便能直接对实施例光谱的转动温度和振动温度进行预测。在测量光谱数据的同时，用单反相机(固定曝光时间和其他拍摄参数)拍摄与光谱数据对应的相同工况下的等离子体可见光图像，便可以得到等离子体可见光图像到其转动温度、振动温度的数据集。

基于机器学习的等离子体温度预测流程如图4所示。为增加数据多样性，对图像数据做左右翻转和80％裁剪的扩增处理，数量上相当于扩增到原来的3倍。在将图像输入到卷积神经网络模型之前，需要对图像数据进行预处理，包括数据的读取、解码、缩放、增强和标准化。其中数据缩放指将图像缩放至224×224像素大小，以满足卷积神经网络模型对图像输入尺寸的要求；数据增强采用随机亮度和随机饱和度处理，预处理后的图像数据可直接用于网络模型的训练。

图5展示了卷积神经网络模型的结构示意图，更具体地讲，本实施例搭建的卷积神经网络模型为加载预训练权重的典型卷积神经网络模型再追加不同节点数的全连接层，对全连接层部分采取一定的优化手段以缓解训练中的过拟合问题。实施例中比较了不同网络模型和不同优化手段的作用效果，全优化的卷积神经网络结构见图6。模型参数方面，采用Adam优化器和多分类的对数损失函数，初始学习率设置为1e10-5，并将准确率设置为度量指标参数。在模型训练过程中，利用早停法避免模型出现严重过拟合问题。

模型训练部分，利用上述卷积神经网络模型对采集到的不同温度等离子体数据集进行训练和学习，训练、验证、测试数据集按照3:1:1的比例划分，得到的训练、验证准确率的值用于评估模型的过拟合程度，据此调整模型参数，得到的测试准确率的值作为评估模型预测性能的关键指标。实施例中对比分析得到的性能最优网络模型为：使用节点数为数据集温度类别数的全连接层作为新的输出层；在去除顶层3个全连接层的VGG16网络模型与新的输出层之间依次添加1024节点的全连接层和Dropout层。实施例中利用最优模型经过简单初步训练之后的5组温度分类问题在测试集上的准确率已接近90％。

预测实施例中，预测给定等离子体图像的温度只需计算其预测温度的期望值(预测类型温度乘以其概率再求和)。利用发射光谱分析法对该图像的实际温度进行测量并与预测结果进行对比，对差异较大的图像进行数据集的扩增，迭代并不断修正网络模型的参数，从而达到较为理想的等离子体温度预测效果。

本发明可适用于气体放电等离子体(包括气体电晕放电、电弧放电等不同状态)。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于可见光图像识别的等离子体温度瞬态诊断方法，其特征在于，该方法包括：

训练阶段：

应用阶段：

2.如权利要求1所述的方法，其特征在于，所述图像采集设备为RGB图像采集设备。

3.如权利要求1所述的方法，其特征在于，所述线性回归模型采用岭回归或LASSO线性回归模型。

4.如权利要求1所述的方法，其特征在于，所述等离子体温度诊断模型采用卷积神经网络VGG16。

5.如权利要求1所述的方法，其特征在于，所述等离子体温度诊断模型采用以VGG16为基础改进的网络：

在去除顶层3个全连接层的VGG16网络模型与新的输出层之间依次添加1024节点且采用ReLU激活函数的全连接层、BN 层和 Dropout 层。

6.如权利要求4或5所述的方法，其特征在于，训练卷积神经网络模型的过程中采用了迁移学习、数据扩增与数据增强。

7.如权利要求1至5任一项所述的方法，其特征在于，等离子体放电为气体放电等离子体。

8.一种基于可见光图像识别的等离子体温度瞬态诊断系统，其特征在于，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至7任一项所述的一种基于可见光图像识别的等离子体温度瞬态诊断方法。