CN108985376A - 一种基于卷积-循环神经网络的回转窑序列工况识别方法 - Google Patents

一种基于卷积-循环神经网络的回转窑序列工况识别方法 Download PDF

Info

Publication number
CN108985376A
CN108985376A CN201810784814.7A CN201810784814A CN108985376A CN 108985376 A CN108985376 A CN 108985376A CN 201810784814 A CN201810784814 A CN 201810784814A CN 108985376 A CN108985376 A CN 108985376A
Authority
CN
China
Prior art keywords
image
rotary kiln
layer
recognition
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810784814.7A
Other languages
English (en)
Other versions
CN108985376B (zh
Inventor
周晓杰
马文科
张茜
丁进良
柴天佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201810784814.7A priority Critical patent/CN108985376B/zh
Publication of CN108985376A publication Critical patent/CN108985376A/zh
Application granted granted Critical
Publication of CN108985376B publication Critical patent/CN108985376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积‑循环神经网络的回转窑序列工况识别方法，涉及图像分类与模式识别技术领域。该方法首先对采集的不同工况下连续时间的回转窑烧成带视频序列信息进行预处理；并采用PCA主元分析法对感兴趣区域进行初步特征提取和降维；然后设计CNN‑RNN卷积循环神经网络，进一步提取图像特征和图像序列间的动态信息；采用随机搜索超参数优化方法选择卷积‑循环神经网络的最优超参数，从而获得最优的CNN‑RNN神经网络分类器模型，实现回转窑图像序列的工况识别。本发明提供的基于卷积‑循环神经网络的回转窑序列工况识别方法，既能利用图像空间特征又能够利用图像序列之间关联信息和动态特征，在回转窑图像序列工况识别问题上能够取得更好的分类效果。

Description

一种基于卷积-循环神经网络的回转窑序列工况识别方法
技术领域
本发明涉及图像分类与模式识别技术领域，尤其涉及一种基于卷积-循环神经网络的回转窑序列工况识别方法。
背景技术
回转窑长达百米且处于不断旋转中，其结构的特殊性和工艺的复杂性使得回转窑烧结过程机理复杂，包括物料的物理化学反应，燃料燃烧，气体、物料、内衬间传热，气体、物料运动等多个耦合过程。由于回转窑烧结过程存在着熟料质量指标难以在线测量，与熟料质量密切相关的关键工艺参数烧成状态难以准确识别等难题，导致现有的回转窑烧结过程仍处于“人工看火”开环操作阶段。根据熟料煅烧温度的要求，烧成状态通常可以分为以下三种：当前温度高于所需温度区间时，烧成状态为“过烧结”；当前温度低于所需温度区间时，烧成状态为“欠烧结”，其余为“正烧结”。烧成状态反映了回转窑内烧成带温度场分布信息和熟料烧结状况信息，直接决定了熟料质量指标。看火操作人员通过观察窑内烧成带状况，辅以过程变量，识别当前烧成状态，继而调节控制变量使得被控变量位于适宜的范围之内，以实现生料的充分燃烧获得合格的熟料。然而，人工烧成状态的识别结果受到操作人员的经验、责任心和关注度等主观因素的制约，易造成熟料质量指标不稳定、窑内衬使用寿命短、窑运转率低、产能低、能耗高、人工劳动强度大等问题。如何模仿优秀操作人员的看火经验，利用机器学习与图像处理技术的研究成果，以“机器看火”取代“人工看火”，消除人为因素，众多的学者做了大量深入的研究。
基于图像处理的方法对回转窑熟料烧结工况进行识别，是近几年的一个研究热点。回转窑火焰图像颜色和纹理等特征和熟料烧成状态有直接的关系，很多学者做了大量基于图像处理技术的熟料烧成状态识别研究。王补宣等(图像处理技术用于发光火焰温度分布测量的研究[J].工程热物理学报，1989，10(4)：446-448.)提出一种基于图像处理方法来测定回转窑内没分火焰温度分布的方法。具体的，检测窑内小范围火焰温度分布情况，推测窑内温度与火焰图像亮度之间的度量关系，黑体炉作为标定对象，建立图像灰度与窑内温度的变化关系，进而建立图像亮度和温度之间的多项式回归模型。陈岩(熟料窑计算机集中控制[J].轻金属，2000(3)：54-56.)采用图像处理方法，从回转窑烧成带火焰图像中提取温度等级信息，再将其作为闭环控制的反馈信号，从而实现回转窑烧成带温度的闭环实现。姜慧研等(基于双快速行进法的图像分割方法的研究[J].系统仿真学报，2008，20(3)：803-806.)采用改进的双快速行进法对回转窑火焰图像进行图像分割，分割出黑把子去、火焰去和物料区。本方法结合能量衰减方程能够最大程度的去除区域间耦合，进而提取出各个显著区域的最本质特征。最后采用支持向量机和概率神经网络进行烧结工况的识别。魏兆一(光流算法及其在回转窑窑况识别中的应用研究[D].东北大学，2005.)采用改进的基于张量的光流算法在回转窑实际图像序列上进行图像分割与特征提取，采用成熟的分类器对烧成状态进行识别，为回转窑熟料烧成状态的自动控制提供依据。
由于受窑内大量的烟雾、粉尘干扰，得到的火焰图像感兴趣区域会产生较严重的耦合，采用基于图像分割的方法不能对感兴趣区域进行有效分割，造成烧成状态的识别结果不可靠。李帷韬(水泥回转窑烧成状态识别与熟料质量指标软测量的研究[D].东北大学，2012.)针对基于图像分割方法进行烧成状态识别存在的问题，不对回转窑火焰图像进行分割，而是采用基于尺度不变特征转换算法，来提取火焰图像感兴趣区域关键点信息，取得了不错的效果。但是因为图像质量较低，各个显著区域存在强烈的耦合，导致该算法提取的关键点个数较少，无法很好的完成回转窑熟料烧成状态识别工作。吴小勋(基于烧成带图像的回转窑熟料烧结工况识别方法研究[M].东北大学，2014.)基于前人的研究成果，创新的采用了基于深度学习的独立子空间分析算法对图像中的感兴趣区域进行无监督的分层学习，提取各个显著区域图像的低层信息，在特征分类中取得了不错的识别效果。但是该方法的研究对象仅仅是火焰灰度图像，并未考虑图像的多通道编码问题，也没有考虑回转窑熟料烧结工况的时序关系。蔡元强(基于卷积独立子空间分析的回转窑熟料烧结工况识别方法研究[M].东北大学，2015.)针对之前基于静态图像的回转窑熟料烧结工况识别方法的缺陷，将视皮层认知计算理论和深度学习方法应用到熟料烧成状态识别这个具体问题中，提出了基于烧成带视频图像的回转窑熟料烧结工况识别方法，实现了在视频序列基础上进行特征提取以及工况识别。半监督学习能够在减少标签数据样本使用的同时，提高模型的识别精度。高鹏超(基于改进慢特征分析特征提取的水泥回转窑建模研究[D].东北大学，2016.)利用了回转窑多变量时间序列数据的特点，提出了半监督降维的方法ST-SSFA，能够提取出更易于识别的特征。夏克江(基于半监督独立成分分析和隐马尔可夫模型的回转窑熟料烧结工况识别方法[D].东北大学，2016.)利用三种工况的图像序列，训练了三种GMM-HMM进行工况判别。
因此，结合“人工看火”的模式和经验，在充分总结前人研究的基础之上，有效利用视频序列间动态信息，研究基于时间序列动态分类结合深度卷积-循环神经网络的动态分类器的回转窑熟料烧结工况识别方法，从而对回转窑熟料烧成状态进行更加实时可靠的判断，是一个非常有挑战的课题。
发明内容
针对现有技术的缺陷，本发明提供一种基于卷积-循环神经网络的回转窑序列工况识别方法，实现对水泥回转窑图像序列的工况识别。
一种基于卷积-循环神经网络的回转窑序列工况识别方法，包括以下步骤：
步骤1：采集回转窑的视频图像序列并进行图像数据预处理，具体方法为：
使用摄像机在回转窑窑头的看火孔前对回转窑火焰录制视频，以采集不同工况下连续时间的回转窑烧成带视频序列，并对采集的回转窑图像进行图像数据预处理；
所述回转窑图像数据预处理包括感兴趣区域提取、图像灰度化、向量化和标准化；
所述感兴趣区域提取是指：回转窑烧成带的视频图像中的烧成状态信息主要集中在三个主要的显著区域，即火焰区域、物料区域和黑把子区域；因摄像机安装在窑头的位置固定，所以显著区域在视频图像中的位置也相对固定，因此首先需要对视频图像进行显著区域划分，去除窑壁区域无关的信息，使用显著区域的视频数据作为输入数据；采用更具有代表性的黑把子区域作为识别数据；
步骤2：由于回转窑图像规模较大，且包含一定噪声，同时，在图像数据预处理后灰度值的变量之间存在很大的相关性，因此需要对图像数据进行去相关的白化处理；采用主成分分析法(Principal Component Analysis，即PCA)对步骤1的图像视频序列进行去相关性的白化处理，同时实现对图像数据进行维数约减，实现特征的初步降维，以减少后续的特征规模；
步骤3：构建深度卷积-循环神经网络模型，利用经过PCA处理后的图像数据训练该深度卷积-循环神经网络；
回转窑图像序列经过图像预处理和PCA初步特征提取后，每一帧图像转化成一维向量，连续的图像序列按时间展开则形成一个二维矩阵；用深度卷积-循环神经网络进一步学习图像空间维和时间维的特征表达；然后，输出层对所得到的特征进行全连接，通过softmax方法实现各种工况的概率统计，并选择出概率最大的工况输出，从而实现工况识别；
所述深度卷积-循环神经网络模型包括卷积层，循环层和输出层三部分；
所述卷积层的输入数据为一个实时识别周期TP内的回转窑图像序列，经图像数据预处理后转换为一个二维矩阵；卷积层采用三层卷积结构，每层卷积操作的目的在于进一步学习图像的特征表达，在每层卷积操作的具体实现过程中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用ReLU非线性函数作为激活函数；另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层；
所述循环层中选择具有二层堆叠结构的GRU单元；循环层的输入是卷积层的输出展开并拼接后得到的1≤t≤T，T为一个识别周期Tp中的T张回转窑图像；经过二层堆叠结构的GRU单元处理后为1≤t≤T，也是最后一层输出层的输入向量；在循环层的具体实现过程中，对于二层堆叠的GRU单元，在每层网络中设置了相同的隐节点个数；同时，为了提高模型的泛化性能，防止模型过拟合，在每层GRU单元中也设置了dropout层；
所述输出层包括全连接层和Softmax层组成；每个实时识别周期内的图像序列数据通过预处理和PCA降维后，经过卷积层在图像空间维进一步的特征提取和循环层在时间维上对关联信息的特征提取后成为既包含图像信息又包含关联信息的特征向量1≤t≤T；对于分类任务，输出层首先要将转化为一个固定长度的特征向量，采用在一个实时识别周期上取平均值的方式进行池化，即然后将获得的特征向量通过一个全连接层得到输出x(f)，如下公式所示：
其中，wout为全连接层中的权重参数矩阵，而bout为全连接层中的偏置向量；
则x(f)同时为最后一层Softmax层的输入，得到该识别周期图像类别的预测概率如下公式所示：
其中，c＝1、2、...、C，C为图像的类别，函数返回值为包含C个类别分量的概率向量，每个分量对应一个输出类别的预测概率；
通过对每一个样本的预测概率分布和该样本的真实标签向量y计算交叉熵，得到目标函数：
其中，N为训练样本个数，yi为第i训练个样本的真实标签，为第i个训练样本的预测概率，θ为深度卷积-循环神经网络模型需要训练的参数；
引入L2正则化策略，对标准代价函数J＇(θ)增加一个参数范数惩罚项Ω(θ)，以限制深度卷积-循环神经网络模型的学习能力，正则化之后的目标函数记做J(θ)，如下公式所示：
J(θ)＝J＇(θ)+λΩ(θ)
其中，λ∈[0，∞)为权衡范数惩罚项Ω和标准代价函数J＇(θ)相对贡献的超参数，当λ取0时，即没有正则项，λ越大，表示正则化惩罚越大；
最后，采用Adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组深度卷积-循环神经网络模型参数，最终实现回转窑图像序列的工况识别；
步骤4：采用随机搜索超参数优化方法选择深度卷积-循环神经网络的最优超参数，获得最优的神经网络模型；
步骤5：实时获取回转窑火焰图像，通过最优的深度卷积-循环神经网络模型对回转窑的实时工况进行识别。
由上述技术方案可知，本发明的有益效果在于：本发明提供的一种基于卷积-循环神经网络的回转窑序列工况识别方法，采用卷积神经网络和循环神经网络集成的深度神经网络模型来解决回转窑图像序列工况识别的问题。相比于传统的只使用静态图片的方法，本方法既能够利用图像空间特征又能够利用连续图像序列之间关联信息和动态特征，因此在回转窑图像序列工况识别问题上能够取得更好的分类效果。
附图说明
图1为本发明实施例提供的一种基于卷积-循环神经网络的回转窑序列工况识别方法的流程图；
图2为本发明实施例提供的回转窑烧结工况识别方法图；
图3为本发明实施例提供的深度卷积-循环神经网络的结构图；
图4为本发明实施例提供的随机搜索超参数优化过程中生成的随机实验效率曲线图；
图5为本发明实施例提供的随机搜索超参数优化过程中生成的有效维度图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以某厂的回转窑为例，使用本发明的基于卷积-循环神经网络的回转窑序列工况识别方法对该回转窑的序列工况进行识别。
一种基于卷积-循环神经网络的回转窑序列工况识别方法，如图1和图2所示，包括以下步骤：
步骤1：采集回转窑的视频图像序列并进行图像数据预处理，具体方法为：
使用摄像机在回转窑窑头的看火孔前对回转窑火焰录制视频，以采集不同工况下连续时间的回转窑烧成带视频序列，并对采集的回转窑图像进行图像数据预处理；
回转窑图像数据预处理包括感兴趣区域提取、图像灰度化、向量化和标准化；
感兴趣区域提取是指：回转窑烧成带的视频图像中的烧成状态信息主要集中在三个主要的显著区域，即火焰区域、物料区域和黑把子区域；因摄像机安装在窑头的位置固定，所以显著区域在视频图像中的位置也相对固定，因此首先需要对视频图像进行显著区域划分，去除窑壁区域无关的信息，使用显著区域的视频数据作为输入数据；采用更具有代表性的黑把子区域作为识别数据；
本实施例从某氧化铝厂3#回转窑中采集了熟料烧结过程的视频，每一个视频样本都是一个完整的烧结过程的记录，其中包括“过烧态”、“正烧态”和“欠烧态”三个烧结过程不同的状态。对回转窑烧结过程进行视频采集时，得到的视频的每一帧的宽度为384，高度为288，帧速率为30帧每秒，总共采集了两段298个具有代表性的回转窑烧成带连续视频样本，每一个视频的长度为10秒，并对第一段298个视频进行标定，其中有80个过烧工况下的视频数据，69个正烧结工况下的视频数据，余下的150个为欠烧工况下的视频数据。
同时，为了验证设计的模型在训练样本较小的情况下是否仍有较好的性能，对训练数据进行处理，分别得到大样本数据集(全部的训练数据，包含298个训练样本)和小样本数据集(30％的训练数据，包含90个训练样本)。并且整个实验按照交叉验证的思想进行，在大小样本数据集中，我们各从训练数据中抽取50％作为验证集。另外，为了检验我们模型的普适性，小样本数据集中的30％的训练数据都是从整个训练数据中随机抽取的，而且每次实验都做了5次，以降低结果的随机性。
本实施例抽取黑把子区域的视频作为实验数据，黑把子区域的位置坐标划分为：[(101，94)，(101，233)，(180，94)，(180，233)]，这样得到的黑把子区域的尺寸为80×140。原始视频样本的组织形式为其次是图像灰度化，样本为Xi∈R80×140×300，i＝1，...，298，图像向量化，样本为Xi∈R11200×300，i＝1，...，298。
步骤2：由于回转窑图像规模较大，且包含一定噪声，同时，在图像数据预处理后灰度值的变量之间存在很大的相关性，因此需要对图像数据进行去相关的白化处理；采用主成分分析法(Principal Component Analysis，PCA)对步骤1的图像视频序列进行去相关性的白化处理，同时实现对图像数据进行维数约减，实现特征的初步降维，以减少后续的特征规模；
在图像视频序列PCA初步提取特征并降维中，视频图像维度高，而且具有大量的噪声，会造成模型复杂，训练速度过慢等问题，因此需要对数据进行维度约减预处理。采用简单的特征提取方法，即使用PCA降维方法，通过计算样本的协方差矩阵，然后对协方差矩阵进行特征值分解，取前d个最小特征值对应的特征向量作为投影矩阵。
本实施例中，对图像预处理后所得数据进行PCA白化降维，样本变为Xi∈R15×300，i＝1，...，298，其中降维维度15由PCA特征谱选择得出。
步骤3：构建如图3所示的深度卷积-循环神经网络模型，利用经过PCA处理后的图像数据训练该深度卷积-循环神经网络；
回转窑图像序列经过图像预处理和PCA初步特征提取后，每一帧图像转化成一维向量，连续的图像序列按时间展开则形成一个二维矩阵；用深度卷积-循环神经网络进一步学习图像空间维和时间维的特征表达；然后，输出层对所得到的特征进行全连接，通过softmax方法实现各种工况的概率统计，并选择出概率最大的工况输出，从而实现工况识别；
深度卷积-循环神经网络模型包括卷积层，循环层和输出层三部分；
卷积层的输入数据为一个实时识别周期TP内的回转窑图像序列，经图像数据预处理后转换为一个二维矩阵；卷积层采用三层卷积结构，每层卷积操作的目的在于进一步学习图像的特征表达，在每层卷积操作的具体实现过程中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用ReLU非线性函数作为激活函数；另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层；
循环层中选择具有二层堆叠结构的GRU单元；循环层的输入是卷积层的输出展开并拼接后得到的1≤t≤T，T为一个识别周期Tp中的T张回转窑图像；经过二层堆叠结构的GRU单元处理后为1≤t≤T，也是最后一层输出层的输入向量；在循环层的具体实现过程中，对于二层堆叠的GRU单元，在每层网络中设置了相同的隐节点个数；同时，为了提高模型的泛化性能，防止模型过拟合，在每层GRU单元中也设置了dropout层；
输出层包括全连接层和Softmax层组成；每个实时识别周期内的图像序列数据通过预处理和PCA降维后，经过卷积层在图像空间维进一步的特征提取和循环层在时间维上对关联信息的特征提取后成为既包含图像信息又包含关联信息的特征向量1≤t≤T；对于分类任务，输出层首先要将转化为一个固定长度的特征向量，采用在一个实时识别周期上取平均值的方式进行池化，即然后将获得的特征向量通过一个全连接层得到输出x(f)，如下公式所示：
其中，wout为全连接层中的权重参数矩阵，而bout为全连接层中的偏置向量；
则x(f)同时为最后一层Softmax层的输入，得到该识别周期图像类别的预测概率如下公式所示：
其中，c＝1、2、...、C，C为图像的类别，函数返回值为包含C个类别分量的概率向量，每个分量对应一个输出类别的预测概率；
通过对每一个样本的预测概率分布和该样本的真实标签向量y计算交叉熵，得到目标函数：
其中，N为训练样本个数，yi为第i训练个样本的真实标签，为第i个训练样本的预测概率，θ为深度卷积-循环神经网络模型需要训练的参数；
引入L2正则化策略，对标准代价函数J＇(θ)增加一个参数范数惩罚项Ω(θ)，以限制深度卷积-循环神经网络模型的学习能力，正则化之后的目标函数记做J(θ)，如下公式所示：
J(θ)＝J＇(θ)+λΩ(θ)
其中，λ∈[0，∞)为权衡范数惩罚项Ω和标准代价函数J＇(θ)相对贡献的超参数，当λ取0时，即没有正则项，λ越大，表示正则化惩罚越大；
最后，采用Adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组深度卷积-循环神经网络模型参数，最终实现回转窑图像序列的工况识别；
本实施例中，将经过PCA初步提取的特征向量Xi∈R15×300，i＝1，...，298，经过第一层，第二层，第三层卷积处理后的特征向量分别记为x(1)，x(2)，x(3)。在三层卷积操作完成后，将特征向量x(3)展开，并以向量形式进行拼接最后获得完整的卷积特征向量x(con)，将其作为循环层的输入送入到RNN中，循环层选用二层堆叠结构的GRU单元，经过二层堆叠结构的GRU单元处理后为(1≤t≤T)然后将获得的特征向量通过一个全连接层得到输出x(f)并作为最后一层Softmax层的输入，得到该识别周期图像类别的预测概率。
本实施例中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用ReLU非线性函数作为激活函数，另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层。对于二层堆叠的GRU单元，在每层网络中设置了相同的隐节点个数。同时，为了提高模型的泛化性能，防止模型过拟合，在每层GRU单元中也设置了dropout层。同时，采用Adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组网络模型参数，最终实现回转窑图像序列的工况识别。
步骤4：采用随机搜索超参数优化方法选择卷积-循环神经网络的最优超参数，获得最优的神经网络模型；
步骤4.1：根据构建的深度卷积-循环神经网络设置合理的超参数范围，如表1所示；
表1 神经网络模型超参数范围
步骤4.2：采用随机搜索超参数优化算法并根据上述超参数范围进行128次随机实验，同时生成如图4所示的随机实验效率曲线；
步骤4.3：将128组随机实验用高斯回归过程拟合生成如图5所示的超参数有效维度图，根据超参数有效维度图再次微调有效维度的超参数，最终得出最优超参数表，如表2所示：
表2 最优超参数表
其中，Data为数据集，Small为小数据样本集，Big为大数据样本集，I.D.＝INTER_DIM为RNN中的隐节点个数；R.K.P.＝RNN_KEEP_PROB为循环层的dropout率；LOSS＝LOSS_REGULAR为正则化中的惩罚项系数；L.R.＝LEARN_RATE为Adam优化算法的学习率；B.1，B.2＝BATA1，BATA2为Adam优化算法的矩估计的指数衰减速率；C.L.＝CONV_LENGTH为3层卷积层中的卷积核大小；C.N.＝CON_NUM为每层卷积核的数量；C.K.P＝CNN_KEEP_PROB为卷积层的dropout率。
步骤5：实时获取回转窑火焰图像，通过最优的卷积-循环神经网络模型对回转窑的实时工况进行识别。
本实施例，根据最优超参数表得出最优的卷积-循环神经网络模型，在大小两个数据集上进行仿真测试，同时，本实施例还将得到的仿真测试结果与当前工况识别的主流方法SVM的测试结果进行了对比，结果如表3所示：
表3 工况识别主流方法和本发明方法结果对比
小样本数据集 大样本数据集
SVM 67.68±6.83 91.14±1.56
CNN-RNN 77.4±1.17 98.4±0.38
仿真实验表明，本发明的基于卷积-循环神经网络的水泥回转窑图像序列工况识别方法具有更好的识别效果，相比于传统的静态分类器的方法，本发明方法既能够利用图像空间特征又能够利用连续图像序列之间关联信息和动态特征，因此能够取得更好的分类效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (3)

1.一种基于卷积-循环神经网络的回转窑序列工况识别方法，其特征在于：包括以下步骤：
步骤1：采集回转窑的视频图像序列并进行图像数据预处理；
步骤2：采用主成分分析法(Principal Component Analysis，即PCA)对步骤1的图像视频序列进行去相关性的白化处理，同时实现对图像数据进行维数约减，实现特征的初步降维，以减少后续的特征规模；
步骤3：构建深度卷积-循环神经网络模型，利用经过PCA处理后的图像数据训练该深度卷积-循环神经网络；
回转窑图像序列经过图像预处理和PCA初步特征提取后，每一帧图像转化成一维向量，连续的图像序列按时间展开则形成一个二维矩阵；用深度卷积-循环神经网络进一步学习图像空间维和时间维的特征表达；然后，输出层对所得到的特征进行全连接，通过softmax方法实现各种工况的概率统计，并选择出概率最大的工况输出，从而实现工况识别；
步骤4：采用随机搜索超参数优化方法选择深度卷积-循环神经网络的最优超参数，获得最优的神经网络模型；
步骤5：实时获取回转窑火焰图像，通过最优的深度卷积-循环神经网络模型对回转窑的实时工况进行识别。
2.根据权利要求1所述的一种基于卷积-循环神经网络的回转窑序列工况识别方法，其特征在于：所述步骤1的具体方法为：
使用摄像机在回转窑窑头的看火孔前对回转窑火焰录制视频，以采集不同工况下连续时间的回转窑烧成带视频序列，并对采集的回转窑图像进行图像数据预处理；
所述回转窑图像数据预处理包括感兴趣区域提取、图像灰度化、向量化和标准化；
所述感兴趣区域提取是指：回转窑烧成带的视频图像中的烧成状态信息主要集中在三个主要的显著区域，即火焰区域、物料区域和黑把子区域；因摄像机安装在窑头的位置固定，所以显著区域在视频图像中的位置也相对固定，因此首先需要对视频图像进行显著区域划分，去除窑壁区域无关的信息，使用显著区域的视频数据作为输入数据；采用更具有代表性的黑把子区域作为识别数据。
3.根据权利要求1所述的一种基于卷积-循环神经网络的回转窑序列工况识别方法，其特征在于：步骤3所述深度卷积-循环神经网络模型包括卷积层，循环层和输出层三部分；
所述卷积层的输入数据为一个实时识别周期TP内的回转窑图像序列，经图像数据预处理后转换为一个二维矩阵；卷积层采用三层卷积结构，每层卷积操作的目的在于进一步学习图像的特征表达，在每层卷积操作的具体实现过程中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用ReLU非线性函数作为激活函数；另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层；
所述循环层中选择具有二层堆叠结构的GRU单元；循环层的输入是卷积层的输出展开并拼接后得到的T为一个识别周期Tp中的T张回转窑图像；经过二层堆叠结构的GRU单元处理后为也是最后一层输出层的输入向量；在循环层的具体实现过程中，对于二层堆叠的GRU单元，在每层网络中设置了相同的隐节点个数；同时，为了提高模型的泛化性能，防止模型过拟合，在每层GRU单元中也设置了dropout层；
所述输出层包括全连接层和Softmax层组成；每个实时识别周期内的图像序列数据通过预处理和PCA降维后，经过卷积层在图像空间维进一步的特征提取和循环层在时间维上对关联信息的特征提取后成为既包含图像信息又包含动态关联信息的特征向量对于分类任务，输出层首先要将转化为一个固定长度的特征向量，采用在一个实时识别周期上取平均值的方式进行池化，即然后将获得的特征向量通过一个全连接层得到输出x(f)，如下公式所示：
其中，wout为全连接层中的权重参数矩阵，而bout为全连接层中的偏置向量；
则x(f)同时为最后一层Softmax层的输入，得到该识别周期图像类别的预测概率如下公式所示：
其中，c＝1、2、...、C,C为图像的类别，函数返回值为包含C个类别分量的概率向量，每个分量对应一个输出类别的预测概率；
通过对每一个样本的预测概率分布和该样本的真实标签向量y计算交叉熵，得到代价函数：
其中，N为训练样本个数，yi为第i训练个样本的真实标签，为第i个训练样本的预测概率，θ为深度卷积-循环神经网络模型需要训练的参数；
引入L2正则化策略，对标准代价函数J＇(θ)增加一个参数范数惩罚项Ω(θ)，以限制深度卷积-循环神经网络模型的学习能力，正则化之后的目标函数记做J(θ)，如下公式所示：
J(θ)＝J＇(θ)+λΩ(θ)
其中，λ∈[0，∞)为权衡范数惩罚项Ω和标准代价函数J＇(θ)相对贡献的超参数，当λ取0时，即没有正则项，λ越大，表示正则化惩罚越大；
最后，采用Adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组深度卷积-循环神经网络模型参数，最终实现回转窑图像序列的工况识别。
CN201810784814.7A 2018-07-17 2018-07-17 一种基于卷积-循环神经网络的回转窑序列工况识别方法 Active CN108985376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810784814.7A CN108985376B (zh) 2018-07-17 2018-07-17 一种基于卷积-循环神经网络的回转窑序列工况识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810784814.7A CN108985376B (zh) 2018-07-17 2018-07-17 一种基于卷积-循环神经网络的回转窑序列工况识别方法

Publications (2)

Publication Number Publication Date
CN108985376A true CN108985376A (zh) 2018-12-11
CN108985376B CN108985376B (zh) 2022-02-01

Family

ID=64549405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810784814.7A Active CN108985376B (zh) 2018-07-17 2018-07-17 一种基于卷积-循环神经网络的回转窑序列工况识别方法

Country Status (1)

Country Link
CN (1) CN108985376B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993055A (zh) * 2019-02-21 2019-07-09 北京以萨技术股份有限公司 一种基于神经网络的连续异常图像检测方法
CN110309973A (zh) * 2019-07-01 2019-10-08 中冶赛迪重庆信息技术有限公司 一种基于视频智能算法的转炉喷溅预测方法及系统
CN110308240A (zh) * 2019-05-24 2019-10-08 深圳大学 一种电子鼻快速识别方法
CN110443119A (zh) * 2019-06-25 2019-11-12 中车工业研究院有限公司 车厢内货物状态识别方法及装置
CN110555479A (zh) * 2019-09-05 2019-12-10 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法
CN110795694A (zh) * 2019-09-29 2020-02-14 太原理工大学 一种基于卷积神经网络的燃烧系统氧含量预测方法
CN111126454A (zh) * 2019-12-05 2020-05-08 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111222798A (zh) * 2020-01-13 2020-06-02 湖南师范大学 一种复杂工业过程关键性指标软测量方法
CN111428632A (zh) * 2020-03-23 2020-07-17 中国科学院重庆绿色智能技术研究院 一种绞车状态检测方法及矿工行为检测方法
CN111639610A (zh) * 2020-06-03 2020-09-08 北京思湃德信息技术有限公司 一种基于深度学习的火情识别方法及系统
CN111680715A (zh) * 2020-05-08 2020-09-18 湖南大学 考虑类别不平衡的回转窑烧结状态识别方法
CN111798940A (zh) * 2020-06-28 2020-10-20 南方科技大学 一种基于深度神经网络算法预测超导材料的方法及装置
CN112001527A (zh) * 2020-07-29 2020-11-27 中国计量大学 多特征融合深度神经网络的工业生产过程目标数据预测方法
CN112634995A (zh) * 2020-12-21 2021-04-09 绍兴数鸿科技有限公司 一种基于人工智能的苯酚裂解参数自动优化方法和装置
CN113033620A (zh) * 2021-03-04 2021-06-25 湖南工业大学 一种基于随机森林的多信息融合回转窑产品质量分类识别方法
CN113065602A (zh) * 2021-04-13 2021-07-02 华中科技大学 一种压裂泵凡尔故障的诊断方法和装置
CN113307435A (zh) * 2021-05-25 2021-08-27 中煤能源研究院有限责任公司 一种基于动态pca蒸发结晶固液分离系统及方法
CN113591654A (zh) * 2021-07-22 2021-11-02 中南大学 一种基于长时程深度特征的锌浮选工况识别方法
CN113902640A (zh) * 2021-10-09 2022-01-07 天津大学 一种基于半监督域转换神经网络的图像去雾系统及其方法
CN114001360A (zh) * 2021-12-31 2022-02-01 南京沃谱瑞环境研究院有限公司 一种基于物联网的焚烧回转窑智能控制方法及其系统
CN114527731A (zh) * 2022-02-22 2022-05-24 中国矿业大学 基于监督概率慢特征分析的工业过程运行状态评价方法
CN114818914A (zh) * 2022-04-24 2022-07-29 重庆大学 基于相空间和光流图像的多变量时间序列的分类方法
CN115376614A (zh) * 2022-04-14 2022-11-22 齐鲁工业大学 基于卷积神经网络与注意力机制结合的关键路径识别方法
CN116930401A (zh) * 2023-09-19 2023-10-24 常州建昊建筑鉴定检测有限公司 建筑工程保温材料燃烧性能检测设备及方法
CN117635200A (zh) * 2024-01-09 2024-03-01 广东赛博威信息科技有限公司 一种基于全域数据洞察的智能运营平台及其方法
CN114818914B (zh) * 2022-04-24 2024-05-24 重庆大学 基于相空间和光流图像的多变量时间序列的分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578111A (zh) * 2013-11-13 2014-02-12 武汉科技大学 基于火焰图像结构相似性的回转窑烧成状态识别方法
CN106981198A (zh) * 2017-05-24 2017-07-25 北京航空航天大学 用于旅行时间预测的深度学习网络模型及其建立方法
CN107202952A (zh) * 2017-07-06 2017-09-26 北京信息科技大学 基于小波神经网络的回转窑故障诊断方法、故障诊断gui及系统
CN107862331A (zh) * 2017-10-31 2018-03-30 华中科技大学 一种基于时间序列及cnn的不安全行为识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578111A (zh) * 2013-11-13 2014-02-12 武汉科技大学 基于火焰图像结构相似性的回转窑烧成状态识别方法
CN106981198A (zh) * 2017-05-24 2017-07-25 北京航空航天大学 用于旅行时间预测的深度学习网络模型及其建立方法
CN107202952A (zh) * 2017-07-06 2017-09-26 北京信息科技大学 基于小波神经网络的回转窑故障诊断方法、故障诊断gui及系统
CN107862331A (zh) * 2017-10-31 2018-03-30 华中科技大学 一种基于时间序列及cnn的不安全行为识别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUA CHEN ET AL: "Recognition of the Temperature Condition of a Rotary Kiln Using Dynamic Features of a Series of Blurry Flame Images", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
WEITAO LI ET AL: "Burning state recognition of rotary kiln using ELMs with heterogeneous features", 《NEUROCOMPUTING》 *
吴昊 等: "基于改进 LRCN 模型的驾驶行为图像序列识别方法", 《江苏大学学报（自然科学版）》 *
周晓杰 等: "基于火焰图像显著区域特征学习与分类器融合的回转窑烧结工况识别", 《控制与决策》 *
艾红 等: "动态递归小波神经网络在回转窑故障诊断中的应用", 《自动化仪表》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993055A (zh) * 2019-02-21 2019-07-09 北京以萨技术股份有限公司 一种基于神经网络的连续异常图像检测方法
CN110308240A (zh) * 2019-05-24 2019-10-08 深圳大学 一种电子鼻快速识别方法
CN110443119A (zh) * 2019-06-25 2019-11-12 中车工业研究院有限公司 车厢内货物状态识别方法及装置
CN110309973A (zh) * 2019-07-01 2019-10-08 中冶赛迪重庆信息技术有限公司 一种基于视频智能算法的转炉喷溅预测方法及系统
CN110309973B (zh) * 2019-07-01 2023-06-02 中冶赛迪信息技术(重庆)有限公司 一种基于视频智能算法的转炉喷溅预测方法及系统
CN110555479A (zh) * 2019-09-05 2019-12-10 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法
CN110555479B (zh) * 2019-09-05 2023-05-16 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法
CN110795694A (zh) * 2019-09-29 2020-02-14 太原理工大学 一种基于卷积神经网络的燃烧系统氧含量预测方法
CN111126454A (zh) * 2019-12-05 2020-05-08 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111126454B (zh) * 2019-12-05 2024-03-26 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111222798B (zh) * 2020-01-13 2023-04-07 湖南师范大学 一种复杂工业过程关键性指标软测量方法
CN111222798A (zh) * 2020-01-13 2020-06-02 湖南师范大学 一种复杂工业过程关键性指标软测量方法
CN111428632A (zh) * 2020-03-23 2020-07-17 中国科学院重庆绿色智能技术研究院 一种绞车状态检测方法及矿工行为检测方法
CN111680715A (zh) * 2020-05-08 2020-09-18 湖南大学 考虑类别不平衡的回转窑烧结状态识别方法
CN111639610A (zh) * 2020-06-03 2020-09-08 北京思湃德信息技术有限公司 一种基于深度学习的火情识别方法及系统
CN111798940A (zh) * 2020-06-28 2020-10-20 南方科技大学 一种基于深度神经网络算法预测超导材料的方法及装置
CN112001527B (zh) * 2020-07-29 2024-01-30 中国计量大学 多特征融合深度神经网络的工业生产过程目标数据预测方法
CN112001527A (zh) * 2020-07-29 2020-11-27 中国计量大学 多特征融合深度神经网络的工业生产过程目标数据预测方法
CN112634995A (zh) * 2020-12-21 2021-04-09 绍兴数鸿科技有限公司 一种基于人工智能的苯酚裂解参数自动优化方法和装置
CN112634995B (zh) * 2020-12-21 2024-05-31 绍兴数鸿科技有限公司 一种基于人工智能的苯酚裂解参数自动优化方法和装置
CN113033620A (zh) * 2021-03-04 2021-06-25 湖南工业大学 一种基于随机森林的多信息融合回转窑产品质量分类识别方法
CN113033620B (zh) * 2021-03-04 2022-08-05 湖南工业大学 一种基于随机森林的多信息融合回转窑产品质量分类识别方法
CN113065602A (zh) * 2021-04-13 2021-07-02 华中科技大学 一种压裂泵凡尔故障的诊断方法和装置
CN113307435B (zh) * 2021-05-25 2022-12-13 中煤能源研究院有限责任公司 一种基于动态pca蒸发结晶固液分离系统及方法
CN113307435A (zh) * 2021-05-25 2021-08-27 中煤能源研究院有限责任公司 一种基于动态pca蒸发结晶固液分离系统及方法
CN113591654B (zh) * 2021-07-22 2023-09-01 中南大学 一种基于长时程深度特征的锌浮选工况识别方法
CN113591654A (zh) * 2021-07-22 2021-11-02 中南大学 一种基于长时程深度特征的锌浮选工况识别方法
CN113902640A (zh) * 2021-10-09 2022-01-07 天津大学 一种基于半监督域转换神经网络的图像去雾系统及其方法
CN114001360B (zh) * 2021-12-31 2022-04-26 南京沃谱瑞环境研究院有限公司 一种基于物联网的焚烧回转窑智能控制方法及其系统
CN114001360A (zh) * 2021-12-31 2022-02-01 南京沃谱瑞环境研究院有限公司 一种基于物联网的焚烧回转窑智能控制方法及其系统
CN114527731B (zh) * 2022-02-22 2023-12-26 中国矿业大学 基于监督概率慢特征分析的工业过程运行状态评价方法
CN114527731A (zh) * 2022-02-22 2022-05-24 中国矿业大学 基于监督概率慢特征分析的工业过程运行状态评价方法
CN115376614A (zh) * 2022-04-14 2022-11-22 齐鲁工业大学 基于卷积神经网络与注意力机制结合的关键路径识别方法
CN114818914A (zh) * 2022-04-24 2022-07-29 重庆大学 基于相空间和光流图像的多变量时间序列的分类方法
CN114818914B (zh) * 2022-04-24 2024-05-24 重庆大学 基于相空间和光流图像的多变量时间序列的分类方法
CN116930401A (zh) * 2023-09-19 2023-10-24 常州建昊建筑鉴定检测有限公司 建筑工程保温材料燃烧性能检测设备及方法
CN117635200A (zh) * 2024-01-09 2024-03-01 广东赛博威信息科技有限公司 一种基于全域数据洞察的智能运营平台及其方法

Also Published As

Publication number Publication date
CN108985376B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN108985376A (zh) 一种基于卷积-循环神经网络的回转窑序列工况识别方法
Zhao et al. A visual long-short-term memory based integrated CNN model for fabric defect image classification
US11663489B2 (en) Machine learning systems and methods for improved localization of image forgery
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
CN109670528A (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN101236608B (zh) 基于图片几何结构的人脸检测方法
CN108537136A (zh) 基于姿态归一化图像生成的行人重识别方法
CN109241982A (zh) 基于深浅层卷积神经网络的目标检测方法
Liao et al. Triplet-based deep similarity learning for person re-identification
CN109063649A (zh) 基于孪生行人对齐残差网络的行人重识别方法
Zhang et al. A survey on face anti-spoofing algorithms
CN108596044B (zh) 基于深度卷积神经网络的行人检测方法
Sandeep et al. Analyzing and processing of astronomical images using deep learning techniques
Wang et al. BS-SiamRPN: Hyperspectral video tracking based on band selection and the Siamese region proposal network
Sharma et al. Deepfakes Classification of Faces Using Convolutional Neural Networks.
CN114882391A (zh) 基于多特征融合和改进级联森林的mswi过程燃烧状态识别方法
Shen et al. Facial expression recognition based on bidirectional gated recurrent units within deep residual network
Lyu et al. Image-based process monitoring using deep belief networks
CN115984924A (zh) 一种基于类脑技术的自然场景下的表情识别方法
Zhang et al. Apple leaf disease recognition method based on Siamese dilated Inception network with less training samples
Grabe et al. Fashion style generation: evolutionary search with gaussian mixture models in the latent space
CN108197573A (zh) 基于镜像图的lrc和crc偏差结合的人脸识别方法
Fu et al. Forgery face detection via adaptive learning from multiple experts
Zhang et al. An Adaptive Template Update Network for Siamese Trackers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant