CN107844770A - 一种基于视频的电熔镁炉异常工况自动识别系统 - Google Patents

一种基于视频的电熔镁炉异常工况自动识别系统 Download PDF

Info

Publication number
CN107844770A
CN107844770A CN201711071383.1A CN201711071383A CN107844770A CN 107844770 A CN107844770 A CN 107844770A CN 201711071383 A CN201711071383 A CN 201711071383A CN 107844770 A CN107844770 A CN 107844770A
Authority
CN
China
Prior art keywords
mrow
image
bounding box
video
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711071383.1A
Other languages
English (en)
Inventor
卢绍文
王克栋
郭章
王金鑫
李鹏琦
程盟盟
赵磊
刘晓丽
丁进良
王良勇
柴天佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201711071383.1A priority Critical patent/CN107844770A/zh
Publication of CN107844770A publication Critical patent/CN107844770A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2649—Burner

Abstract

本发明涉及一种基于视频的电熔镁炉异常工况自动识别系统，通过图像信息采集模块采集电熔镁砂生产现场工况信息，传输至样本生成模块；样本生成模块对训练样本进行生成，通过label‑image软件对图像做标签处理和人工分类标签处理，将处理后的视频、图像信息传输到检测分类模块；检测分类模块通过相应算法对视频、图像信息进行特征提取及处理，得到工况识别系统的智能检测、分类模型；显示单元运用检测分类模块处理完毕的智能检测、分类模型，将新的测试视频、图像信息通过可视化方式显示出来。本发明识别效果相比单方面使用电流、电压等非可视化的信息有明显的改善，硬件装置构成合理，操作方便、成本低，判别准确率高，代替人工巡检。

Description

一种基于视频的电熔镁炉异常工况自动识别系统
技术领域
本发明涉及一种模式识别与人工智能技术领域中的设备工况识别系统，具体为一种基于视频的电熔镁炉异常工况自动识别系统。
背景技术
电熔镁砂具有熔点高、结构致密、抗氧化性强、耐压强度高、耐腐蚀性强、化学性能稳定等特性，是重要的战略性原材料。
在我国，高品位的电熔镁砂的制备主要是通过电弧炉熔炼再结晶来完成。原料氧化镁砂在炉中熔炼的过程可人为地分为：启炉、加料、正常冶炼、欠烧和排气异常等工况。其中，欠烧和排气异常工况属于异常工况。欠烧工况是由于在某段时间部分生料燃烧不充分而没有完全达到熔融状态，致使熔池内电阻低于正常值，使得熔池内电流过高，产生的电弧过于强烈，进而导致炉体温度局部过高引起。倘若未能及时处理，将导致炉壁烧穿，造成巨大经济损失，高温熔液泄露还可能危及现场工人的安全；排气异常工况是由于某段时间部分生料熔融后在熔池内形成巨大的气泡，在炉体进行排气的时候，气泡在炉口破裂，会导致熔融的电熔镁飞溅而出，高温的火星会危及现场工人的安全。
目前，电熔镁炉异常工况的预警主要依靠现场工人的不间断巡检。工人通过观察生产过程中炉口火焰的形态、亮度、火星，以及炉壁是否有烧红区域等特征，根据经验来预先判断可能发生的异常工况。人工巡检的主要问题是：1)判断的准确性与操作人员的经验和状态的相关，容易漏检、误检；2)现场生产环境恶劣(强光、高温、灰尘、蒸汽等)，劳动强度大，危险性高，不适于工人长时间现场巡检。因此，企业急需智能的异常工况判别技术，能够稳定、准确地在异常工况刚发生的时候预警，把人从这项工作中解放出来。
以前的自动识别技术是通过实时采集的电极电流、电压来判断，但是准确性较低，可视化程度弱，尚无法代替人工观察。这是因为现场工况的可视化特征仍是判断异常工况最快捷和可靠的依据，电流电压的波动只能辅助判断。
发明内容
针对现有技术中电熔镁炉异常工况的预警主要依靠现场工人的不间断巡检实现，具有漏检、误检以及危险性高等不足，本发明要解决的问题是提供一种可提高电熔镁生产品质、可视化程度高、降低工人劳动强度的基于视频的电熔镁炉异常工况自动识别系统。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于视频的电熔镁炉异常工况自动识别系统，通过图像信息采集模块采集电熔镁砂生产现场工况信息，传输至样本生成模块；
样本生成模块对训练样本进行生成，通过label-image软件对图像做标签处理和人工分类标签处理，将处理后的视频、图像信息传输到检测分类模块；
检测分类模块通过相应算法对视频、图像信息进行特征提取及处理，得到工况识别系统的智能检测、分类模型；
显示单元运用检测分类模块处理完毕的智能检测、分类模型，将新的测试视频、图像信息通过可视化方式显示出来。
样本生成模块用于在异常工况训练样本较少时，通过深度卷积对抗网络(DCGAN)+TensorFlow深度学习框架对异常工况较少的图像做样本生成，增加异常工况图像，再重新放回到训练样本中进行训练和智能建模，得到完整、平衡的训练样本。
样本生成模块通过深度卷积对抗网络生成样本，深度卷积对抗网络是在生成式对抗网络的基础上增加卷积的环节，通过生成图片的生成式网络接收随机的噪声z，并将这个噪声生成图片，记做G(z)；通过判别网络，判别一张图片是不是“真实的”，通过生成式网络生成的图片去欺骗判别网络，判别网络则将生成式网络生成的图片和真实的输入图片进行区分，通过以下公式计算最终期望值来生成图片：
其中，G为生成图片的网络，D为判别网络，z为输入G网络的噪声数据，符合pz(z)分布，G(z)为G网络生成的图片；x代表真实数据，符合pdata(x)分布，data表示数据，p表示概率，pdata(x)为判别数据是否为真实数据的概率，为真实数据的期望，为是生成数据的期望；V(D，G)为判别网络和生成图片的网络的博弈结果输出值。
检测分类模块接收label-image软件对图像做标签处理后得到的带有火焰区域、欠烧区域、火星区域的位置信息与工况类别信息的xml文件；通过Darknet框架+YOLO算法把做过标签处理的镁炉原始RGB图像、位置和工况类别信息做训练，得到火焰区域、欠烧区域、火星区域的位置信息和工况类别信息的智能模型，以及体现模型准确率的置信度以及召回率，最后利用训练得到的智能模型实现在线视频中电熔镁炉的工况识别结果。
通过Darknet框架+YOLO算法把做过标签处理的镁炉原始RGB图像、位置和工况类别信息做训练，具体为：
将一幅图像分成S*S个网格，如果目标object的中心落在这个网格中，则这个网格就负责预测该目标object；
每个网格针对所含目标object预测B个边界框bounding box的坐标(x，y，w，h)，其中，对应边界框bounding box中心的坐标(x，y)、宽度值w和高度值h归一化到0-1之间；
边界框bounding box附带预测一个置信度confidence值，代表所预测的boundingbox中含有目标object的置信度和这个边界框bounding box预测的准确率两重信息，其值通过以下公式计算：
其中，Pr(Object)为包含目标的概率，为系统预测出来的框与原来图片中标记的框的重合程度；truth代表目标的实际值或实际位置，pred即predict，代表目标的预测值或预测位置；
如果有目标object落在这个网格里，则Pr(Object)取1，否则Pr(Object)取0；
预测的边界框bounding box和实际的地面真值ground truth之间的IoU值即系统预测出来的框与原来图片中标记的框的重合程度，计算方法即检测结果bounding box与原样本图片中标记的真值ground truth的交集比上它们的并集，即为检测的准确率：
对于S*S个网格，每个网格预测C种类别，输出为S*S*(5*B+C)的一个数据；其中，B为目标预测的边界框bounding box的个数，5为边界框bounding box的坐标(x，y，w，h)和置信值confidence这5种数据；
在测试的时候，每个网格预测的类别信息和bounding box预测的置信度confidence信息相乘，就得到每个bounding box的特定类别的置信得分class-specificconfidence score，公式如下：
Pr(Classi|Object)为每个网格预测的类别信息，Pr(Object)为每个boundingbox预测的confidence，表示预测的bounding box属于某一类的概率；
在得到每个bounding box的class-specific confidence score以后，设置阈值，滤掉得分低的多个bounding boxes，对保留的得分高的几个bounding boxes再进行非极大值抑制处理，得到最终的检测结果。
检测分类模块接收人工分类标签处理后的图像信息，应用Caffe深度学习框架结合基于CNN的AlexNet网络模型，对单帧整张图像进行CNN特征提取，并利用提取到的图像特征做训练，得到单帧图像工况分类智能模型和置信度，最后利用训练得到的智能模型实现电熔镁炉单帧图像的工况识别结果。
样本生成模块和检测分类模块由计算机软件实现，该计算机软件还包括相机时空标定子模块，对图像信息采集模块中的相机在使用前进行一次性标定，对原始数据进行预处理，实现对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正。
本发明具有以下有益效果及优点：
1.本发明提出并实现了基于视频的电熔镁炉异常工况自动识别系统，该系统能够实时在线的对电熔镁砂生产现场进行工况识别，识别效果相比单方面使用电流、电压等非可视化的信息有明显的改善，并对本发明进行了工业验证，证明了该系统设计的有效性。硬件装置构成合理、简洁，可以手持，也可以搭载在其他硬件平台(例如机器人或其他设备)上；上位机平台使用方便，操作快捷。
2.运用本发明方法可以快速地进行电熔镁炉的工况识别，不仅操作方便、成本低廉，而且判别准确率高，可以代替人工巡检。
附图说明
图1为发明基于视频的电熔镁炉异常工况自动识别系统流程图；
图2为本发明识别系统的总结构框图；
图3为本发明识别系统的相机标定算法示意图；
图4为本发明识别系统的DCGAN深度卷积对抗网络算法示意图；
图5为本发明基于视频的电熔镁炉异常工况自动识别系统的DCGAN深度卷积对抗网络生成训练样本效果示意图；
图6为本发明基于视频的电熔镁炉异常工况自动识别系统的YOLO算法示意图；
图7为本发明基于视频的电熔镁炉异常工况自动识别系统的最终工况识别效果示意图。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
本发明提出一种基于视频的电熔镁炉异常工况自动识别系统，本系统结合现场工人经验建立对异常工况视频图像的检测和分类模型，利用工业相机获取电熔镁砂生产现场过程图像，通过实时的图像分析，实现对异常工况在线识别。本发明对于提高电熔镁生产品质、增强可视化程度、降低工人劳动强度有积极意义。
如图1所示，本发明一种基于视频的电熔镁炉异常工况自动识别系统，通过图像信息采集模块采集电熔镁生产现场工况信息，传输至样本生成模块；
样本生成模块对训练样本进行生成，通过label-image软件对图像做标签处理和人工分类标签处理，将处理后的视频、图像信息传输到检测分类模块；
检测分类模块通过相应算法对视频、图像信息进行特征提取及处理，得到工况识别系统的智能检测、分类模型；
显示单元运用检测分类模块处理完毕的智能检测、分类模型，将新的测试视频、图像信息通过可视化方式显示出来。
样本生成模块用于在异常工况训练样本较少时，通过深度卷积对抗网络(DCGAN)+TensorFlow深度学习框架对异常工况较少的图像做样本生成，增加异常工况图像，再重新放回到训练样本中进行训练和智能建模，得到完整、平衡的训练样本。
检测分类模块接收label-image软件对图像做标签处理后得到的带有火焰区域、欠烧区域、火星区域的位置信息与工况类别信息的xml文件；通过Darknet框架+YOLO算法把做过标签处理的镁炉原始RGB图像、位置和工况类别信息做训练，得到火焰区域、欠烧区域、火星区域位置信息和工况类别信息的智能模型，以及体现模型准确性的置信度和召回率；最后利用训练得到的智能模型实现视频中电熔镁炉的工况识别结果。检测分类模块还接收人工分类标签处理后的图像信息，应用Caffe深度学习框架结合基于CNN的AlexNet网络模型，对单帧整张图像进行CNN特征提取，并利用提取到的图像特征做训练，得到单帧图像工况分类智能模型和置信度，最后利用训练得到的智能模型实现电熔镁炉单帧图像的工况识别结果。
样本生成模块和检测分类模块由计算机软件实现，该计算机软件还包括相机时空标定子模块，对图像信息采集模块中的相机在使用前进行一次性标定，对原始数据进行预处理，实现对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正。
本发明基于视频的电熔镁炉异常工况自动识别系统的硬件平台包括：工业相机、相机三脚架、以太网数据线以及带GPU加速的PC机。
工业相机构成了图像信息采集单元，实现对电熔镁生产现场工况信息的采集；相机三脚架为固定装置，实现对工业相机的固定与支撑；以太网数据线为信息传输单元，实现对工业相机采集的电熔镁生产现场图像信息的传输；PC机为主处理器，利用所包含的GPU器件实现对数据的处理与软件的运行；GPU为图形处理单元，其加速技术可以应用在系统和算法中，对于海量数据的处理有着巨大的优势。
本发明中，算法设计与软件实现包括：图像信息采集模块、样本生成模块、检测分类模块、以及显示模块，其中：
图像信息采集模块包括相机时空标定模块，通过原始数据的预处理过程实现对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正；
样本生成模块用于在异常工况训练样本较少时，用生成对抗网络(GAN)+TensorFlow深度学习框架对训练样本进行生成，以增加训练样本数量，训练出更好的模型，使工况识别效果更加准确。
检测分类模块包括实时检测和定位炉口火焰、炉壁欠烧区域、排气异常溅出的火星在整个电熔镁生产过程中的位置信息、工况类别信息以及在整个监控视频过程中对实时工况的识别过程两个处理流程，首先，用Darknet框架+YOLO算法对实时目标进行检测和初步识别。然后通过Caffe深度学习框架+AlexNet模型对单帧整张图像进行特征提取，并利用提取到的图像特征实现整个判别过程，增强工况识别效果。
基于视频的电熔镁炉异常工况自动识别系统的总结构框如图2所示，本实施例中，系统的硬件平台包括：信息采集模块以及附带GPU的PC机。整个算法以基于深度学习算法领域中的卷积神经网络(CNN)开源算法为基础，应用大量的开源框架对此算法进行改进和应用，并且对算法的软件实现进行改写并将其移植到Linux操作系统下的Ubuntu操作系统平台上，实现含有GAN(生成对抗网络)的电熔镁炉工况判别系统。
整个系统包括硬件平台、软件算法、上位机界面三部分。
工业相机负责采集目标物体(电熔镁炉)的RGB信息，通过以太网数据线连接计算机，并把采集到的信息传输到计算机中，计算机通过GPU的加速技术，对采集到的信息运用现有的软件算法进行处理，把处理完毕的信息用可视化方式显示。
图像信息采集模块由一个轻重量(小于500克)的Point Grey工业相机和一个轻质高强度的相机三脚架连接在一起。工业相机用于实时采集目标物体的RGB信息，并将信息发送至计算机。作为操作者只需要将该装置平稳地放在场景中，并将传感器朝向目标物体，传感器从场景捕获的实时图像信息便可以通过算法与软件在监控视频中产生精确的工况判别效果。并且可以标记出炉口火焰、炉壁欠烧、炉外火星的位置和区域，同时在标记出的位置信息的左上角输出分类的标签。
本实施方式中，红外热像仪采用的是Point Grey工业相机(FL3-GE-50S5C-/M-C)；以太网数据线用的是传输速度可达到每秒千兆的以太网数据线。
PC机为主处理器，用于获取工业相机采集到的基本信息，将传感器采集到的RGB信息通过Point Grey公司自带的FlyCapture SDK软件传输到计算机内，并进行保存。通过计算机应用软件和相应算法进行处理，最后把处理完毕的信息通过可视化方式显示出来。
GPU(本实施例采用的型号为NVIDIA GTX1080。)作为图形处理单元，对整个系统进行加速以达到实时性。由于传感器的输入分辨率高达1920*1080，因此每一帧的数据量都将十分巨大，如果仅仅使用CPU进行顺序操作，那将耗费巨大的运算时间和内存在海量数据的处理与分析上，对于系统高效实时的运行十分不利。而系统输入的数据是以像素为单位，它们由相机坐标系下的像素坐标进行索引，互相之间并没有相互联系，因此我们可以以每一个像素为单位对数据的坐标变换等运算，然后再将这些运算整合到一起进行下一步处理。由于算法执行可以满足的这个特性，因此我们可以利用GPU的并行计算进行加速。对于每一帧输入的图像数据我们从坐标原点开始依次提取出像素坐标，根据图像的分辨率得到需要的GPU线程数，根据提取出的像素坐标赋予对应的线程号，在线程中对每一个线程的像素点，提取出RGB值等，对其进行坐标变换等操作，最后将所有线程得到的运算结果再赋给图像对应坐标中，完成并行加速计算。
软件算法部分包括：相机标定算法、深度卷积对抗网络(DCGAN)算法、YOLO目标检测算法以及卷积神经网络(CNN)算法。
相机参数的标定，在本发明中用于实现对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正，即把传感器采集到的初始数据进行预处理(时空标定)。在图像识别领域以及机器视觉成像的测量过程中，为了使得空间中的某个点对应于各个坐标系下的三维坐标能与其在成像平面下图像中相对应像素点的联系，首先要做的是必须建立其相机成像物理模型所对应的数学模型，而这些模型的建立过程中不可或缺的参数就是相机参数。由于不同的相机结构工艺各有不同，因此这些参数必须要通过进行一些实验的测试才能获得。
相机数学模型为：
其中，u，v表示的是图像坐标系(u，v)，dx、dy为转换因子，ZC表示的是相机坐标系(XC,YC,ZC)中的Z轴，XW，YW，ZW表示的是世界坐标系(XW,YW,ZW)，fx、fy、R、T、α、β为待标定参数，M1为相机数学模型内参数矩阵，M2为外参数矩阵，代表矩阵[XW,YW,ZW]T，u0，v0为像素平面坐标系(u，v)的中心，0T为0矩阵的转置，旋转矩阵R和平移矩阵，t为相机的外部参数，R为3*3矩阵，t为3*1矩阵，0为(0，0，0)。
选择合适的方法对于相机标定结果的准确性和稳定性有着重要意义，同时也会直接的影响到相机在整个系统工作时所产生结果的准确性。相机的标定包括确定内参数的内部标定，确定外参数的外部标定，由于我们将两种传感器采集的数据作为输入量，因此还应包含确定两者输入信息时间一致性的时间同步标定。
本实施例中，本发明采用的相机标定方法为图3所示的国际上最常用的“张正友棋盘标定法”，标定过程在Linux系统下完成。
深度卷积对抗网络(DCGAN)算法，用于对异常工况较少的图像做样本生成，增加异常工况图像，得到完整、平衡的训练样本(启炉、加料、正常、欠烧、排气异常5种工况)。
样本生成模块中，DCGAN是基于GAN(生成式对抗网络)的基础上，增加了卷积的环节。GAN有两个网络，G(Generator)和D(Discriminator)，其结构如图4所示。G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z))＝0.5。这样我们的目的就达成了：得到了一个生成式的模型G，它可以用来生成图片。其核心原理如公式所示：
其中，x表示真实图片，z表示输入G网络的噪声，而G(z)表示G网络生成的图片。D(x)表示D网络判断真实图片是否真实的概率(因为x就是真实的，所以对于D来说，这个值越接近1越好)。而D(G(z))是D网络判断G生成的图片的是否真实的概率。G的目的：上面提到，D(G(z))是D网络判断G生成的图片是否真实的概率，G应该希望自己生成的图片“越接近真实越好”。也就是说，G希望D(G(z))尽可能得大，这时生成图片的网络G和判别网络D的博弈结果输出值V(D，G)会变小。因此我们看到式子的最前面的记号是minG。而D的目的：D的能力越强，D(x)应该越大，D(G(x))应该越小。这时V(D，G)会变大。因此式子对于D来说是求最大maxD。
DCGAN的原理和GAN是一样的，它只是把上述的G和D换成了两个卷积神经网络(CNN)。但并不是直接，DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有：1、取消所有pooling层：G网络中使用转置卷积(transposedconvolutional layer)进行上采样，D网络中用加入stride的卷积代替池化；2、在D和G中均使用归一化(batch normalization)；3、去掉全链接(FC)层，使网络变为全卷积网络；4、G网络中使用ReLU作为激活函数，最后一层使用tanh函数。5、D网络中使用LeakyReLU作为激活函数。
本实施方式中，采用TensorFlow深度学习框架来实现DCGAN，对异常工况较少的图像做样本生成，增加异常工况图像，最终得到完整、平衡的训练样本。生成效果如图5所示。
本实施例中，TensorFlow为一种深度学习框架，是谷歌公司研发的第二代人工智能学习系统。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。
本实施例中，开发平台在基于Linux的Ubuntu操作系统下完成，编程语言为Python语言，其优点为：优良的跨平台性、可面向对象、丰富的API。
YOLO目标检测算法，用于把做过标签处理的现场原始RGB图像、目标位置、工况类别信息(.xml文件)做训练，得到目标位置信息、工况类别信息的智能模型。并应用YOLO算法得到的智能模型，得到视频中的实时工况判别效果。其核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box的位置和bounding box所属的类别。
先前的检测系统多使用分类器(classifier)或者定位器(localizer)进行检测任务，把图片的不同局部位置和多种尺度输入到模型中去，图片得分较高的区域(region)作为检测目标。YOLO是一个全新的方法，把一整张图片一下子应用到一个神经网络中去。网络把图片分成不同的区域，然后给出每个区域的边框预测和概率，并依据概率大小对所有边框分配权重。最后，设置阈值，只输出得分(概率值)超过阈值的检测结果。
本实施例中，具体实现方法为：首先，将一幅图像分成S*S个网格(grid cell)，如果某个目标(object)的中心落在这个网格中，则这个网格就负责预测这个object。每个网格要针对于所含object预测B个边界框(bounding box)的坐标(x，y，w，h)，其中：对应边界框bounding box中心坐标的(x，y)、宽(w)和高(h)归一化到0-1之间。此外，bounding box除了要回归自身的位置之外，还要附带预测一个置信度(confidence)值。这个confidence代表了所预测的bounding box中含有object的置信度和这个box预测的准确率两重信息，其值是这样计算的：其中如果有object落在这个网格里，第一项取1，否则取0。第二项是预测的bounding box和实际真值(ground truth)之间的IoU值(系统预测出来的框与原来图片中标记的框的重合程度，计算方法即检测结果boundingbox与原来图片中标记的框(ground truth)的交集比上它们的并集，即为检测的准确率：然后，这S*S个网格，每个网格还要预测C种类别(本发明把电熔镁炉工况分为5类)。输出就是S*S*(5*B+C)的一个数据。然后，在测试的时候，每个网格预测的类别(class)信息和bounding box预测的置信度(confidence)信息相乘，就得到每个bounding box的特定类别的置信得分(class-specific confidence score)：
上述等式左边第一项就是每个网格预测的类别信息，第二、三项就是每个bounding box预测的confidence。这个乘积即表示了预测的bounding box属于某一类的概率，也有该box准确度的信息。最后，在得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行非极大值抑制(NMS)处理，就得到最终的检测结果。
本发明应用label-image软件对图像做打标签处理，得到带有火焰区域、欠烧区域、火星区域的位置信息与工况类别信息的xml文件；label-image作为在深度学习领域中的一种图片标注工具，其脚本语言为Python语言，适用于Windows、Linux以及iOS操作系统；应用Darknet深度学习框架，实现YOLO目标检测算法以及标签的训练过程，详细流程如图6所示。Darknet作为实现YOLO算法的一种开源神经网络代码框架，其脚本是用C语言和CUDA编写。它的优点是快速、易于安装和支持CPU和GPU计算。
为了实现实时性，对YOLO标签的训练采用GPU图形处理单元来实现。
GPU的密集型数据处理和并行数据计算问题在CUDA(Compute Unified DeviceArchitecture)并行计算架构中完成，并利用cuDNN计算库，有效提高整个网络的训练速度。
开发平台在Windows7操作系统下完成，编程语言为C语言和Python，其优点为：易操作、可移植性强、丰富的API。
卷积神经网络(Convolutional Neural Network，CNN)，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。单层神经网络模型公式为：
神经网络的参数(W，b)＝(W(1)，b(1))，其中，是第l层第j单元与第l+1层第i单元之间连接参数(权重)，是第l+1层第i单元的偏置项。表示第i单元的激活值(输出值)。当l＝1时，也就是第i个输入值(输入值的第i个特征)。对于给定参数集合W，b，神经网络就可以按照函数hW,b(x)来计算输出结果。
本发明应用的卷积神经网络为图像分类模型AlexNet网络结构，其包括6个卷积层(Convolution Layer)、3个池化层(Pooling Layer)、3个全链接层(Full-connetctedLayer)，以及一个Softxax层。Softmax层的作用为将神经元的输出变成概率的形式。
应用Caffe深度学习框架运行AlexNet模型，实现对单帧整张图像进行特征提取，并利用提取到的图像特征实现单帧图像的工况识别过程，增强识别效果。
Caffe全称Convolutional Architecture for Fast Feature Embedding，是一个清晰、可读性高、快速的深度学习框架。为了实现快速性，对样本在Caffe中的训练采用GPU图像处理单元来实现。
GPU处理密集型数据和并行数据计算问题在CUDA并行计算架构中完成，并利用cuDNN计算库，有效提高整个网络的训练速度。
可视化窗口将监控视频下的镁炉工况识别效果固定的显示在界面上，便于技术员观察电熔镁炉的当前工况识别的准确性以及实时报警情况。显示效果如图7所示。
本发明中，采用工业相机进一步搭建了实时图像采集装置；用label-image软件，对训练样本做标签处理；利用基于深度学习的检测和识别方法中的YOLO(You Only LookOnce)算法，设计了适用于工厂级环境的火焰和炉壁区域的实时检测和工况识别方法，并利用Caffe深度学习框架+AlexNet模型对单帧的整张现场图像进行识别，对工况判别结果进行增强；针对异常工况训练样本不足的问题，利用深度卷积对抗网络(DCGAN)+TensorFlow深度学习框架对异常工况的样本进行生成，再重新放回到训练样本中进行训练和智能建模。用C、C++和Python语言作为开发工具，开发了算法和应用软件。最终完成了基于视频的电熔镁炉异常工况自动识别系统。此方法不仅操作方便、成本低廉，而且判别准确率高，可以代替人工巡检。

Claims (8)

1.一种基于视频的电熔镁炉异常工况自动识别系统，其特征在于：
通过图像信息采集模块采集电熔镁砂生产现场工况信息，传输至样本生成模块；
样本生成模块对训练样本进行生成，通过label-image软件对图像做标签处理和人工分类标签处理，将处理后的视频、图像信息传输到检测分类模块；
检测分类模块通过相应算法对视频、图像信息进行特征提取及处理，得到工况识别系统的智能检测、分类模型；
显示单元运用检测分类模块处理完毕的智能检测、分类模型，将新的测试视频、图像信息通过可视化方式显示出来。
2.按权利要求1所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：样本生成模块用于在异常工况训练样本较少时，通过深度卷积对抗网络(DCGAN)+TensorFlow深度学习框架对异常工况较少的图像做样本生成，增加异常工况图像，再重新放回到训练样本中进行训练和智能建模，得到完整、平衡的训练样本。
3.按权利要求2所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：样本生成模块通过深度卷积对抗网络生成样本，深度卷积对抗网络是在生成式对抗网络的基础上增加卷积的环节，通过生成图片的生成式网络接收随机的噪声z，并将这个噪声生成图片，记做G(z)；通过判别网络，判别一张图片是不是“真实的”，通过生成式网络生成的图片去欺骗判别网络，判别网络则将生成式网络生成的图片和真实的输入图片进行区分，通过以下公式计算最终期望值来生成图片：
<mrow> <msub> <mi>min</mi> <mi>G</mi> </msub> <msub> <mi>max</mi> <mi>D</mi> </msub> <mi>V</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>,</mo> <mi>G</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>z</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>z</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>D</mi> <mo>(</mo> <mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，G为生成图片的网络，D为判别网络，z为输入G网络的噪声数据，符合pz(z)分布，G(z)为G网络生成的图片；x代表真实数据，符合pdata(x)分布，data表示数据，p表示概率，pdata(x)为判别数据是否为真实数据的概率，为真实数据的期望，为是生成数据的期望；V(D，G)为判别网络和生成图片的网络的博弈结果输出值。
4.按权利要求1所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：检测分类模块接收label-image软件对图像做标签处理后得到的带有火焰区域、欠烧区域、火星区域的位置信息与工况类别信息的xml文件；通过Darknet框架+YOLO算法把做过标签处理的镁炉原始RGB图像、位置和工况类别信息做训练，得到火焰区域、欠烧区域、火星区域的位置信息和工况类别信息的智能模型，以及体现模型准确率的置信度以及召回率，最后利用训练得到的智能模型实现在线视频中电熔镁炉的工况识别结果。
5.按权利要求4所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：通过Darknet框架+YOLO算法把做过标签处理的镁炉原始RGB图像、位置和工况类别信息做训练，具体为：
将一幅图像分成S*S个网格，如果目标object的中心落在这个网格中，则这个网格就负责预测该目标object；
每个网格针对所含目标object预测B个边界框bounding box的坐标(x，y，w，h)，其中，对应边界框bounding box中心的坐标(x，y)、宽度值w和高度值h归一化到0-1之间；
边界框bounding box附带预测一个置信度confidence值，代表所预测的bounding box中含有目标object的置信度和这个边界框bounding box预测的准确率两重信息，其值通过以下公式计算：
<mrow> <mi>c</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> <mi>i</mi> <mi>d</mi> <mi>e</mi> <mi>n</mi> <mi>c</mi> <mi>e</mi> <mo>=</mo> <mi>Pr</mi> <mrow> <mo>(</mo> <mi>O</mi> <mi>b</mi> <mi>j</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>IoU</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> </mrow> <mrow> <mi>t</mi> <mi>r</mi> <mi>u</mi> <mi>t</mi> <mi>h</mi> </mrow> </msubsup> <mo>;</mo> </mrow>
其中，Pr(Object)为包含目标的概率，为系统预测出来的框与原来图片中标记的框的重合程度；truth代表目标的实际值或实际位置，pred即predict，代表目标的预测值或预测位置；
如果有目标object落在这个网格里，则Pr(Object)取1，否则Pr(Object)取0；
预测的边界框bounding box和实际的地面真值ground truth之间的IoU值即系统预测出来的框与原来图片中标记的框的重合程度，计算方法即检测结果bounding box与原样本图片中标记的真值ground truth的交集比上它们的并集，即为检测的准确率：
6.按权利要求5所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：
对于S*S个网格，每个网格预测C种类别，输出为S*S*(5*B+C)的一个数据；其中，B为目标预测的边界框bounding box的个数，5为边界框bounding box的坐标(x，y，w，h)和置信值confidence这5种数据；
在测试的时候，每个网格预测的类别信息和bounding box预测的置信度confidence信息相乘，就得到每个bounding box的特定类别的置信得分class-specific confidencescore，公式如下：
<mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>Class</mi> <mi>i</mi> </msub> <mo>|</mo> <mi>O</mi> <mi>b</mi> <mi>j</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>Pr</mi> <mrow> <mo>(</mo> <mi>O</mi> <mi>b</mi> <mi>j</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>IoU</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> </mrow> <mrow> <mi>t</mi> <mi>r</mi> <mi>u</mi> <mi>t</mi> <mi>h</mi> </mrow> </msubsup> <mo>=</mo> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>Class</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>IoU</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> </mrow> <mrow> <mi>t</mi> <mi>r</mi> <mi>u</mi> <mi>t</mi> <mi>h</mi> </mrow> </msubsup> </mrow>
Pr(Classi|Object)为每个网格预测的类别信息，Pr(Object)为每个bounding box预测的confidence，表示预测的bounding box属于某一类的概率；
在得到每个bounding box的class-specific confidence score以后，设置阈值，滤掉得分低的多个bounding boxes，对保留的得分高的几个bounding boxes再进行非极大值抑制处理，得到最终的检测结果。
7.按权利要求1所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：检测分类模块接收人工分类标签处理后的图像信息，应用Caffe深度学习框架结合基于CNN的AlexNet网络模型，对单帧整张图像进行CNN特征提取，并利用提取到的图像特征做训练，得到单帧图像工况分类智能模型和置信度，最后利用训练得到的智能模型实现电熔镁炉单帧图像的工况识别结果。
8.按权利要求1所述的基于视频的电熔镁炉异常工况自动识别系统，其特征在于：样本生成模块和检测分类模块由计算机软件实现，该计算机软件还包括相机时空标定子模块，对图像信息采集模块中的相机在使用前进行一次性标定，对原始数据进行预处理，实现对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正。
CN201711071383.1A 2017-11-03 2017-11-03 一种基于视频的电熔镁炉异常工况自动识别系统 Pending CN107844770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711071383.1A CN107844770A (zh) 2017-11-03 2017-11-03 一种基于视频的电熔镁炉异常工况自动识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711071383.1A CN107844770A (zh) 2017-11-03 2017-11-03 一种基于视频的电熔镁炉异常工况自动识别系统

Publications (1)

Publication Number Publication Date
CN107844770A true CN107844770A (zh) 2018-03-27

Family

ID=61682354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711071383.1A Pending CN107844770A (zh) 2017-11-03 2017-11-03 一种基于视频的电熔镁炉异常工况自动识别系统

Country Status (1)

Country Link
CN (1) CN107844770A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680807A (zh) * 2018-05-17 2018-10-19 国网山东省电力公司青岛供电公司 基于条件生成式对抗网络的变压器故障诊断方法和系统
CN108897769A (zh) * 2018-05-29 2018-11-27 武汉大学 基于生成式对抗网络实现文本分类数据集扩展方法
CN109726741A (zh) * 2018-12-06 2019-05-07 江苏科技大学 一种多目标物体的检测方法及装置
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN110119685A (zh) * 2019-04-12 2019-08-13 天津大学 一种基于dcgan的红外人脸图像转化方法
CN110135266A (zh) * 2019-04-17 2019-08-16 浙江理工大学 一种基于深度学习的双摄像头电气火灾防控方法及系统
CN110490866A (zh) * 2019-08-22 2019-11-22 四川大学 基于深度特征融合的金属增材成形尺寸实时预测方法
CN110728712A (zh) * 2019-09-26 2020-01-24 中冶赛迪工程技术股份有限公司 基于机器视觉的炉口定位方法、装置、存储介质及电子终端
CN110795694A (zh) * 2019-09-29 2020-02-14 太原理工大学 一种基于卷积神经网络的燃烧系统氧含量预测方法
CN111582345A (zh) * 2020-04-29 2020-08-25 中国科学院重庆绿色智能技术研究院 一种小样本下复杂环境的目标识别方法
CN111597182A (zh) * 2020-05-20 2020-08-28 中国石油化工股份有限公司 一种基于卷积神经网络的抽油机驱动电机故障异常识别方法
CN111611835A (zh) * 2019-12-23 2020-09-01 珠海大横琴科技发展有限公司 一种船只检测方法及装置
CN112052744A (zh) * 2020-08-12 2020-12-08 成都佳华物链云科技有限公司 一种环境检测模型训练方法、环境检测方法及装置
CN112418155A (zh) * 2020-12-07 2021-02-26 成都川哈工机器人及智能装备产业技术研究院有限公司 一种检测地铁车侧巡检图像上工件的位置和类型的方法
EP3798779A1 (en) * 2019-09-25 2021-03-31 Honeywell International Inc. Method, apparatus, and computer program product for determining burner operating state
CN112949634A (zh) * 2021-03-08 2021-06-11 北京交通大学 一种铁路接触网鸟窝检测方法
CN113239326A (zh) * 2021-03-30 2021-08-10 浙江大学 考虑电熔接头不圆度与配合公差的最小熔区深度确定方法
CN113283849A (zh) * 2021-07-26 2021-08-20 山东新北洋信息技术股份有限公司 基于视频上下文联系的物流异常智能检测方法
CN113705614A (zh) * 2021-07-28 2021-11-26 东北大学 基于gan的复杂工业过程运行指标校正方法
CN114638783A (zh) * 2022-02-10 2022-06-17 中冶南方工程技术有限公司 一种基于图像识别的钢卷高度对中系统
CN114742800A (zh) * 2022-04-18 2022-07-12 合肥工业大学 基于改进Transformer的强化学习电熔镁炉工况识别方法
CN114842383A (zh) * 2022-04-29 2022-08-02 合肥工业大学 一种基于dvrl-vst的电熔镁炉工况视频识别方法
CN116229396A (zh) * 2023-02-17 2023-06-06 广州丰石科技有限公司 高速路面病害识别及告警方法
CN116385807A (zh) * 2023-05-30 2023-07-04 南京信息工程大学 一种异常图像样本生成方法及装置
CN116401604A (zh) * 2019-05-13 2023-07-07 北京绪水互联科技有限公司 进行冷头状态分类检测和寿命预测的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020635A (zh) * 2012-11-16 2013-04-03 大唐国际发电股份有限公司 回转窑内烧结带温度检测方法和系统
CN103248878A (zh) * 2013-05-23 2013-08-14 南车株洲电力机车有限公司 一种综采工作面异常状况的模式识别方法、装置与系统
US20140063458A1 (en) * 2011-02-25 2014-03-06 Canon Kabushiki Kaisha Image processing apparatus and image processing system for displaying information about ocular blood flow
CN105491349A (zh) * 2015-12-31 2016-04-13 天津市三特电子有限公司 皮带群组异常状态自动巡视检测系统及其检测方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063458A1 (en) * 2011-02-25 2014-03-06 Canon Kabushiki Kaisha Image processing apparatus and image processing system for displaying information about ocular blood flow
CN103020635A (zh) * 2012-11-16 2013-04-03 大唐国际发电股份有限公司 回转窑内烧结带温度检测方法和系统
CN103248878A (zh) * 2013-05-23 2013-08-14 南车株洲电力机车有限公司 一种综采工作面异常状况的模式识别方法、装置与系统
CN105491349A (zh) * 2015-12-31 2016-04-13 天津市三特电子有限公司 皮带群组异常状态自动巡视检测系统及其检测方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDMON等: "You Only Look Once: Unifified, Real-Time Object Detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
LIN FENG等: "Fault Detection for Fused Magnesium Process With Missing Data Method", 《2017 CHINESE AUTOMATION CONGRESS (CAC）》 *
吴小勋: "基于烧成带图像的回转窑熟料烧结工况识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
吴志伟: "嵌入式电熔镁炉智能控制系统研究", 《中国博士学位论文全文数据库 工程科技I辑》 *
王宇宁等: "基于YOLO算法的车辆实时检测", 《武汉理工大学学报》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680807A (zh) * 2018-05-17 2018-10-19 国网山东省电力公司青岛供电公司 基于条件生成式对抗网络的变压器故障诊断方法和系统
CN108897769A (zh) * 2018-05-29 2018-11-27 武汉大学 基于生成式对抗网络实现文本分类数据集扩展方法
CN109726741A (zh) * 2018-12-06 2019-05-07 江苏科技大学 一种多目标物体的检测方法及装置
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN110119685A (zh) * 2019-04-12 2019-08-13 天津大学 一种基于dcgan的红外人脸图像转化方法
CN110135266A (zh) * 2019-04-17 2019-08-16 浙江理工大学 一种基于深度学习的双摄像头电气火灾防控方法及系统
CN116401604A (zh) * 2019-05-13 2023-07-07 北京绪水互联科技有限公司 进行冷头状态分类检测和寿命预测的方法
CN110490866A (zh) * 2019-08-22 2019-11-22 四川大学 基于深度特征融合的金属增材成形尺寸实时预测方法
EP3798779A1 (en) * 2019-09-25 2021-03-31 Honeywell International Inc. Method, apparatus, and computer program product for determining burner operating state
US11321586B2 (en) 2019-09-25 2022-05-03 Honeywell International Inc. Method, apparatus, and computer program product for determining burner operating state
CN110728712A (zh) * 2019-09-26 2020-01-24 中冶赛迪工程技术股份有限公司 基于机器视觉的炉口定位方法、装置、存储介质及电子终端
CN110728712B (zh) * 2019-09-26 2023-04-07 中冶赛迪工程技术股份有限公司 基于机器视觉的炉口定位方法、装置、存储介质及电子终端
CN110795694A (zh) * 2019-09-29 2020-02-14 太原理工大学 一种基于卷积神经网络的燃烧系统氧含量预测方法
CN111611835A (zh) * 2019-12-23 2020-09-01 珠海大横琴科技发展有限公司 一种船只检测方法及装置
CN111582345A (zh) * 2020-04-29 2020-08-25 中国科学院重庆绿色智能技术研究院 一种小样本下复杂环境的目标识别方法
CN111597182A (zh) * 2020-05-20 2020-08-28 中国石油化工股份有限公司 一种基于卷积神经网络的抽油机驱动电机故障异常识别方法
CN112052744B (zh) * 2020-08-12 2024-02-09 成都佳华物链云科技有限公司 一种环境检测模型训练方法、环境检测方法及装置
CN112052744A (zh) * 2020-08-12 2020-12-08 成都佳华物链云科技有限公司 一种环境检测模型训练方法、环境检测方法及装置
CN112418155A (zh) * 2020-12-07 2021-02-26 成都川哈工机器人及智能装备产业技术研究院有限公司 一种检测地铁车侧巡检图像上工件的位置和类型的方法
CN112418155B (zh) * 2020-12-07 2023-07-11 成都川哈工机器人及智能装备产业技术研究院有限公司 一种检测地铁车侧巡检图像上工件的位置和类型的方法
CN112949634B (zh) * 2021-03-08 2024-04-26 北京交通大学 一种铁路接触网鸟窝检测方法
CN112949634A (zh) * 2021-03-08 2021-06-11 北京交通大学 一种铁路接触网鸟窝检测方法
CN113239326A (zh) * 2021-03-30 2021-08-10 浙江大学 考虑电熔接头不圆度与配合公差的最小熔区深度确定方法
CN113239326B (zh) * 2021-03-30 2023-11-03 浙江大学 考虑电熔接头不圆度与配合公差的最小熔区深度确定方法
CN113283849A (zh) * 2021-07-26 2021-08-20 山东新北洋信息技术股份有限公司 基于视频上下文联系的物流异常智能检测方法
CN113283849B (zh) * 2021-07-26 2021-11-02 山东建筑大学 基于视频上下文联系的物流异常智能检测方法
CN113705614A (zh) * 2021-07-28 2021-11-26 东北大学 基于gan的复杂工业过程运行指标校正方法
CN113705614B (zh) * 2021-07-28 2024-04-05 东北大学 基于gan的复杂工业过程运行指标校正方法
CN114638783A (zh) * 2022-02-10 2022-06-17 中冶南方工程技术有限公司 一种基于图像识别的钢卷高度对中系统
CN114742800A (zh) * 2022-04-18 2022-07-12 合肥工业大学 基于改进Transformer的强化学习电熔镁炉工况识别方法
CN114742800B (zh) * 2022-04-18 2024-02-20 合肥工业大学 基于改进Transformer的强化学习电熔镁炉工况识别方法
CN114842383A (zh) * 2022-04-29 2022-08-02 合肥工业大学 一种基于dvrl-vst的电熔镁炉工况视频识别方法
CN114842383B (zh) * 2022-04-29 2024-02-20 合肥工业大学 一种基于dvrl-vst的电熔镁炉工况视频识别方法
CN116229396A (zh) * 2023-02-17 2023-06-06 广州丰石科技有限公司 高速路面病害识别及告警方法
CN116229396B (zh) * 2023-02-17 2023-11-03 广州丰石科技有限公司 高速路面病害识别及告警方法
CN116385807B (zh) * 2023-05-30 2023-09-12 南京信息工程大学 一种异常图像样本生成方法及装置
CN116385807A (zh) * 2023-05-30 2023-07-04 南京信息工程大学 一种异常图像样本生成方法及装置

Similar Documents

Publication Publication Date Title
CN107844770A (zh) 一种基于视频的电熔镁炉异常工况自动识别系统
CN105678332B (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN110263686A (zh) 一种基于深度学习的施工工地图像安全帽检测方法
CN110598736A (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN107742093A (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN107332698A (zh) 一种面向明长城智能感知系统的安全态势感知系统及方法
CN108470138A (zh) 用于目标检测的方法和装置
CN113240688A (zh) 一种一体化洪涝灾害精准监测预警方法
CN109784204A (zh) 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
Wang et al. Investigation into recognition algorithm of helmet violation based on YOLOv5-CBAM-DCN
CN109544548A (zh) 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
CN110488150A (zh) 一种基于多算法融合的故障智能诊断方法
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及系统
CN111753712A (zh) 电力生产人员安全监测方法、系统以及设备
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN109284735B (zh) 鼠情监控方法、装置及存储介质
CN109191419A (zh) 基于机器学习的实时压板检测及状态识别系统及方法
CN110379036A (zh) 变电站智能巡检识别方法、系统、装置及存储介质
CN112685812A (zh) 一种动态监管方法、装置、设备及存储介质
CN113052295A (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN114544693A (zh) 一种基于目标检测的多种室内有害气体浓度异常检测方法及系统
CN111798516B (zh) 一种桥式起重机设备运行状态量的检测及误差分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327