CN115035328A - 转炉图像增量自动机器学习系统及其建立训练方法 - Google Patents
转炉图像增量自动机器学习系统及其建立训练方法 Download PDFInfo
- Publication number
- CN115035328A CN115035328A CN202210437673.8A CN202210437673A CN115035328A CN 115035328 A CN115035328 A CN 115035328A CN 202210437673 A CN202210437673 A CN 202210437673A CN 115035328 A CN115035328 A CN 115035328A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- converter
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010801 machine learning Methods 0.000 title claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 31
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 13
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 13
- 239000001301 oxygen Substances 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 7
- 238000007664 blowing Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 108091006146 Channels Proteins 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 244000208734 Pisonia aculeata Species 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims description 2
- 229910000831 Steel Inorganic materials 0.000 abstract description 7
- 239000010959 steel Substances 0.000 abstract description 7
- 230000008447 perception Effects 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 50
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000009628 steelmaking Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种转炉图像增量自动机器学习系统及其建立训练方法，形成转炉图像由感知到识别与研判的端到端解决方案，以应对炼钢厂在使用转炉炼钢的过程中存在喷溅、氧枪点火失败、氧枪漏水、拉后吹等异常现象。本发明能够在工厂等边缘设备进行部署，克服了工业上的机器视觉任务存在设备算力不足和实时检测的困难。相较于现阶段已有的面向智能工厂的图像识别方法，本发明提出的转炉图像增量自动机器学习系统在实际应用中优势明显。
Description
技术领域
本发明涉及一种图像处理及应用技术，特别涉及一种转炉图像增量自动机器学习系统及其建立训练方法。
背景技术
随着人工智能领域的成熟和应用，制造业的战略地位越来越受到重视。近年来，许多国家都制定并推出了各自制造业的发展战略，智能工厂已成为工业发展的主要方向。目前炼钢厂在使用转炉炼钢过程中，存在喷溅、氧枪点火失败、氧枪漏水、拉后吹等异常现象，不利于转炉高效稳定生产。例如，在转炉炼钢的过程中喷溅是不可避免的，喷溅不仅干扰了转炉炼钢的正常操作，而且其带出物含有大量的金属，从而减少了出钢量，增加了对钢铁的消耗。为了尽快发现转炉炼钢中的异常情况并及时采取预防措施，急需开发转炉场景智能识别分析系统，实现对转炉异常场景的智能分析。
如今计算机视觉领域开始广泛地使用深度学习和卷积神经网络，2017年开始提出轻量化网络的概念，兼顾网络训练的速度和精度，使其能够部署在边缘终端设备上。轻量化网络被广泛地用于工业工厂、无人驾驶、物联网边缘计算等场景的部署。基于深度学习和卷积神经网络表示学习的方法能够进行特征自动提取和自我学习，在图像分类方面取得了较大的突破。
发明内容
针对工业上的机器视觉任务中存在实时检测要求与设备算力不足矛盾问题，提出了一种转炉图像增量自动机器学习系统及其建立训练方法，基于深度学习的转炉异常识别，形成转炉图像由感知到识别与研判的端到端解决方案。在图像识别算法的设计上提出基于深度残差网络作为主干网络进行训练，有效地解决了神经网络梯度消失的问题，同时也减少或弥补了很多信息的损失。
本发明的技术方案为：一种转炉图像增量自动机器学习系统，从下至上依次包括数据层、业务层和用户层；
数据层：用于处理数据，采集实时转炉视频数据、预处理图像数据、在业务层驱动下图像识别标签数据，构成非结构化的数据库系统，对转炉异常典型场景数据分类存储；
业务层：用于对用户层图像增量和客户需求的核心驱动，同时也是下层数据层的数据驱动；包括用户模块和异常预警模块，异常预警模块负责模型的构建和预测，系统通过调用异常预警模块读取数据层的异常数据，将处理后的结果再返回到用户模块，其中包括各模型的参数和异常情况；用户模块将用户所需结果返回用户层；
用户层：用于给用户提供界面，在线增量图像、需求任务输入和结果展示。
优选的，摄像头精准监控转炉场景的颜色和形状，对喷溅、氧枪点火失败、氧枪漏水、拉后吹四类典型场景，摄像头输出转炉视频数据送数据层转换为转炉数据集存储和高质量图像数据输出，高质量图像数据送入业务层进行图像特征提取、识别，输出分类后异常图像至用户层。
优选的，业务层的异常预警模块使用图像特征提取算法对转炉图像关键特征进行提取，将非结构化的图像数据转化为特征空间中结构化的特征向量，通过向量拼接方式对特征进行融合，再通过转炉场景图像特征提取算法，将非结构化转炉图像数据转化为转炉典型场景识别，最终异常预警模块识别转炉异常场景并发出报警信息，并将异常预警模型参数信息和异常结果数据存入数据库。
一种转炉图像增量自动机器学习系统的数据层建立方法，通过视频摘要技术对收集到的转炉视频数据进行数据过滤、预处理和存储，形成完备的转炉场景训练数据集、验证数据集和测试数据集，用于业务层对四类典型场景分类识别；对转炉视频数据进行分帧处理，并采用数字图像处理技术对图像数据进行预处理，将预处理后的高质量图像数据导入至非结构化数据库系统，形成转炉图像数据库；通过领域专家标注训练数据集、验证数据集和测试数据集的有效数据，分别用于业务层模型的训练、验证和测试。
进一步，所述图像数据的预处理使用图像归一化配置，用来归一化输入的图像，存储和读取的图片默认为BGR通道顺序；预处理数据流程：读取图片，随机缩放抠图，以0.4的概率随机水平翻转图片再进行归一化，最后将图片格式转化为张量；配置文件中的四类典型场景标签通过one-hot编码的方式也转化为张量。
一种转炉图像增量自动机器学习系统的业务层建立方法，建立包括模型训练、模型验证、模型部署的完整的模型工具链；
模型训练的主干网络深度为18层，损失函数设置为交叉熵损失，首先读取由数据层经过预处理后的图像和标签数据，训练优化策略：优化器选择随机梯度下降，优化器的学习率初始设置，动量、权重衰减系数和训练轮次设置。
一种转炉图像增量自动机器学习系统训练方法，包括系统的模型流程构建、自动机器学习模型网络确定方法和算法的模型评估指标建立；
所述系统的模型流程构建：
1)在系统上创建模型，需要确定模型名称并选择模型实现的功能；
2)上传数据，待用户上传数据后，根据不同模型类型的数据要求进行数据标注；如果有本地已标注的数据，直接上传；
3)训练模型并校验效果，选择算法、配置训练数据及其他与任务相关的参数完成训练任务的启动；
4)模型训练完毕后支持可视化查看模型评估报告，并通过模型识别出转炉图像的四种异常情况；
5)最后发布模型，将效果满意的模型部署在服务器或本地设备上；
所述自动机器学习模型网络确定方法：对于选择主干网络，通过自动机器学习中的神经网络架构搜索及网络参数确定的方法，将参数训练和模型结构搜索解耦，先确定主干网络模型，再基于已确定的网络结构来训练参数，使得搜索后的神经网络与实际转炉图像识别的任务场景高度契合；
所述算法的模型评估指标：
准确率：图像分类模型的衡量指标，正确分类的样本数与总样本数之比，其值越接近1表示模型效果越好；
F1-score，对某类别而言为精确率和召回率的调和平均数，对图像识别分类模型来说，该指标越高效果越好；
精确率，对某类别而言为正确预测为该类别的样本数与预测为该类别的总样本数之比；
召回率，对某类别而言为正确预测为该类别的样本数与该类别的总样本数之比；MAP是物体检测算法中衡量算法效果的指标，对于物体检测任务，每一类object都可以计算出其精确率和召回率，在不同阈值下多次计算/试验，每个类都可以得到一条P-R曲线，曲线下的面积就是average。
本发明的有益效果在于：本发明转炉图像增量自动机器学习系统及其建立训练方法，系统通讯功能稳定，识别后形成的结构化数据存储能够大于6个月。模型具有自学习功能，可以实现自动更新计算模型的功能，模型可准确识别转炉喷溅的异常情况并发出报警信息，识别准确率超过95％。相较于现阶段已有的面向智能制造方法，本发明在实际应用中优势明显。
附图说明
图1为本发明面向智能工厂的转炉图像增量自动机器学习系统结构示意图；
图2为本发明数据层与业务层互动学习过程的示意图；
图3为本发明面向智能工厂的转炉图像增量自动机器学习异常识别流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示面向智能工厂的转炉图像增量自动机器学习系统结构示意图，系统从下至上依次包括数据层、业务层和用户层。
数据层：数据层主要处理的数据，如转炉视频数据、预处理后的高质量图像数据、标签数据，以便后续将数据输入到内置的算法进行训练；
业务层：业务层是上层用户层图像增量自动机器学习系统的核心驱动，同时也是下层数据层的数据驱动；包括用户模块和异常预警模块。异常预警模块是业务层的核心模块，负责模型的构建和预测，系统通过调用异常预警模块读取数据层的异常数据，将处理后的结果再返回到用户模块，其中包括各模型的参数和异常情况；用户模块将用户所需结果返回用户层；
用户层：用户层主要目的是为钢铁厂的工作人员提供界面，在线增量图像、需求任务输入和结果展示。用户层直接面对用户，输入实时监控数据，输出展示异常情况和异常视频回放。
本系统旨在形成转炉图像由感知到识别与研判的端到端解决方案。当监控视频中出现异常场景时，端到端的解决方案就会立即输出结构化预警数据，系统会自动形成记录或报警数据。
如图2所示数据层与业务层互动学习过程的示意图，最下层数据层，其核心是进行数据的处理和存储。首先开展转炉图像数据采集和识别研究。构建ImageNet(成像网)，通过安装工业摄像头以采集转炉图像，其中摄像头具体的安装方法为：将摄像头分别放置在转炉的炉口、炉身和炉底；炉口的摄像头监控氧枪漏水和氧枪点火失败的异常情况；炉身的摄像头监控拉后吹的异常情况；炉底的摄像头对准转炉正下方的地面，用于监控转炉喷溅的异常情况。安装后的摄像头能够精准监控转炉场景的颜色和形状，对喷溅、氧枪点火失败、氧枪漏水、拉后吹这四类典型场景进行识别与研判。其次，开展转炉图像预处理(datapreparing)的步骤，通过视频摘要技术对收集到的转炉视频数据进行数据过滤、预处理和存储，形成完备的转炉场景训练数据集(training set)、验证数据集(validation set)和测试数据集(testing set)，用于四类典型场景分类识别。其中，对转炉视频进行分帧处理，将分帧后的转炉图像采用数字图像处理技术形成高质量的图像数据集，再将其导入至非结构化的数据库系统，对四类典型场景数据分类存储。
数据层也包括图像标注的阶段。在系统运行的初期，模型不具备较强的图像识别能力和领域数据，需要通过领域专家去标注训练数据集、验证数据集和测试数据集的有效数据，分别用于之后模型的训练、验证和测试。随着数据集的增多，模型的图像识别能力也会随之增强。数据层中存储图像的类型格式为ImageNet格式。图像数据的预处理使用图像归一化配置，用来归一化输入的图像，存储和读取的图片默认为BGR通道顺序。预处理数据流程：读取图片，随机缩放抠图，以0.4的概率随机水平翻转图片再进行归一化，最后将图片格式转化为张量(Tensor)。配置文件中的标签(四类转炉异常场景)通过one-hot编码的方式也转化为张量(Tensor)。
业务层是上层用户层图像增量自动机器学习系统的核心驱动，同时也是下层数据层的数据驱动，是整个转炉图像增量自动机器学习系统的核心层。异常预警模块是业务层的核心模块，对转炉炼钢过程中可能发生的喷溅、氧枪漏水等异常情况及时发出预警。异常预警模块包括异常预警、实时监控和视频回放。异常预警模块包括模型训练、模型验证、模型部署等过程。通过一个完整的模型工具链，才可以获取比较满意的预测结果。
系统使用python作为编程语言，模型训练阶段使用一块NVIDIA GeForceRTX2080Ti显卡。预训练模型的主干网络(backbone)深度为18层，损失函数设置为交叉熵损失(cross entropy loss)。首先读取由数据层经过预处理后的图像和标签数据，决定数据中哪些键应该传递给检测器。训练优化策略：优化器选择随机梯度下降(Stochasticgradient descent,SGD)，优化器的学习率(learning rate)初始设置为0.01，动量(Momentum)为0.9，权重衰减系数(weight decay)为0.0001。一共训练20轮(epoch)，即累计扫描20次数据集，在epoch分别为5,12,15时，对学习率进行衰减。
如图3所示，在异常预警模块中内置了图像特征提取的算法，使用图像特征提取算法对转炉图像关键特征进行提取，从而将非结构化的图像数据转化为特征空间中结构化的特征向量。通过向量拼接方式对特征进行融合，使模型获取更全面的数据特征信息。再通过研究开发高效、精确、鲁棒的转炉场景图像特征提取算法，将非结构化转炉图像数据转化为表达能力更强的特征，再进行转炉典型场景识别与研判。最终要求该模块能够准确识别转炉异常场景并发出报警信息，并将模型参数信息和异常结果数据存入数据库。
提出图像特征提取的原理如下:1)在ImageNet上预训练Network；2)在转炉图像数据集上微调Network；3)在训练好的Network上使用神经网络架构搜索(NAS)的方法进行搜索，借鉴DARTS算法的思路，合理搜索拓扑空间，实现模型压缩；4)基于增量学习的想法，将当前学习到的模型参数、惩罚系数和样本回放池进行保存。
用户层：当监控视频中出现非正常典型场景时，端到端解决方案立即输出结构化预警数据，系统自动形成记录或报警数据。基于算法输出的结果，形成结构化的异常事件记录并以日志、数据库等形式存储，提供给后续数据分析和流程优化等环节进行使用。
用户操作该系统的模型构建流程：1)在系统上创建模型，需要确定模型名称并选择模型实现的功能。2)上传数据，待用户上传数据后，可根据不同模型类型的数据要求进行数据标注。如果有本地已标注的数据，也可以直接上传。3)训练模型并校验效果，选择算法、配置训练数据及其他与任务相关的参数完成训练任务的启动。4)模型训练完毕后支持可视化查看模型评估报告，并通过模型识别出转炉图像的四种异常情况。5)最后发布模型，将效果满意的模型部署在服务器或本地设备上。
系统建立训练方法主要包括系统的模型流程构建、自动机器学习模型网络确定方法和算法的模型评估指标建立；
系统的模型流程构建：首先在系统上创建模型，需要确定模型名称并选择模型实现的功能。第二步上传数据，待用户上传数据后，可根据不同模型类型的数据要求进行数据标注。如果有本地已标注的数据，也可以直接上传。第三步训练模型并校验效果，选择算法、配置训练数据及其他与任务相关的参数完成训练任务启动。模型训练完毕后支持可视化查看模型评估报告，并通过模型校验功能在线上传数据测试模型效果。最后发布模型，将效果满意的模型部署在服务器或本地设备上；
自动机器学习模型网络确定方法：多数图像识别方法直接用主干网络完成，由于本系统是面向智能工厂的转炉图像增量自动学习系统，针对物体目标检测的问题，每张图片不仅需要关注目标的类别，还要关注目标的具体位置，如物体在图片中的坐标及长宽。因此直接选择主干网络会导致模型性能的降低。通过自动机器学习中的神经网络架构搜索及网络参数确定的方法，将参数训练和模型结构搜索解耦，先确定主干网络模型，再基于已确定的网络结构来训练参数，使得搜索后的神经网络与实际转炉图像识别的任务场景高度契合，能获得较高的模型评估指标。
算法的模型评估指标：准确率，图像分类模型的衡量指标，正确分类的样本数与总样本数之比，其值越接近1表示模型效果越好。F1-score，对某类别而言为精确率和召回率的调和平均数，对图像识别等分类模型来说，该指标越高效果越好。精确率，对某类别而言为正确预测为该类别的样本数与预测为该类别的总样本数之比。召回率，对某类别而言为正确预测为该类别的样本数与该类别的总样本数之比。MAP(mean average precision)是物体检测算法中衡量算法效果的指标。对于物体检测任务，每一类object都可以计算出其精确率和召回率，在不同阈值下多次计算/试验，每个类都可以得到一条P-R曲线，曲线下的面积就是average。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种转炉图像增量自动机器学习系统，其特征在于，从下至上依次包括数据层、业务层和用户层；
数据层：用于处理数据，采集实时转炉视频数据、预处理图像数据、在业务层驱动下图像识别标签数据，构成非结构化的数据库系统，对转炉异常典型场景数据分类存储；
业务层：用于对用户层图像增量和客户需求的核心驱动，同时也是下层数据层的数据驱动；包括用户模块和异常预警模块，异常预警模块负责模型的构建和预测，系统通过调用异常预警模块读取数据层的异常数据，将处理后的结果再返回到用户模块，其中包括各模型的参数和异常情况；用户模块将用户所需结果返回用户层；
用户层：用于给用户提供界面，在线增量图像、需求任务输入和结果展示。
2.根据权利要求1所述转炉图像增量自动机器学习系统，其特征在于，摄像头精准监控转炉场景的颜色和形状，对喷溅、氧枪点火失败、氧枪漏水、拉后吹四类典型场景，摄像头输出转炉视频数据送数据层转换为转炉数据集存储和高质量图像数据输出，高质量图像数据送入业务层进行图像特征提取、识别，输出分类后异常图像至用户层。
3.根据权利要求2所述转炉图像增量自动机器学习系统，其特征在于，业务层的异常预警模块使用图像特征提取算法对转炉图像关键特征进行提取，将非结构化的图像数据转化为特征空间中结构化的特征向量，通过向量拼接方式对特征进行融合，再通过转炉场景图像特征提取算法，将非结构化转炉图像数据转化为转炉典型场景识别，最终异常预警模块识别转炉异常场景并发出报警信息，并将异常预警模型参数信息和异常结果数据存入数据库。
4.一种转炉图像增量自动机器学习系统的数据层建立方法，其特征在于，通过视频摘要技术对收集到的转炉视频数据进行数据过滤、预处理和存储，形成完备的转炉场景训练数据集、验证数据集和测试数据集，用于业务层对四类典型场景分类识别；对转炉视频数据进行分帧处理，并采用数字图像处理技术对图像数据进行预处理，将预处理后的高质量图像数据导入至非结构化数据库系统，形成转炉图像数据库；通过领域专家标注训练数据集、验证数据集和测试数据集的有效数据，分别用于业务层模型的训练、验证和测试。
5.根据权利要求4所述转炉图像增量自动机器学习系统的数据层建立方法，其特征在于，所述图像数据的预处理使用图像归一化配置，用来归一化输入的图像，存储和读取的图片默认为BGR通道顺序；预处理数据流程：读取图片，随机缩放抠图，以0.4的概率随机水平翻转图片再进行归一化，最后将图片格式转化为张量；配置文件中的四类典型场景标签通过one-hot编码的方式也转化为张量。
6.一种转炉图像增量自动机器学习系统的业务层建立方法，其特征在于，建立包括模型训练、模型验证、模型部署的完整的模型工具链；
模型训练的主干网络深度为18层，损失函数设置为交叉熵损失，首先读取由数据层经过预处理后的图像和标签数据，训练优化策略：优化器选择随机梯度下降，优化器的学习率初始设置，动量、权重衰减系数和训练轮次设置。
7.一种转炉图像增量自动机器学习系统训练方法，其特征在于，包括系统的模型流程构建、自动机器学习模型网络确定方法和算法的模型评估指标建立；
所述系统的模型流程构建：
1)在系统上创建模型，需要确定模型名称并选择模型实现的功能；
2)上传数据，待用户上传数据后，根据不同模型类型的数据要求进行数据标注；如果有本地已标注的数据，直接上传；
3)训练模型并校验效果，选择算法、配置训练数据及其他与任务相关的参数完成训练任务的启动；
4)模型训练完毕后支持可视化查看模型评估报告，并通过模型识别出转炉图像的四种异常情况；
5)最后发布模型，将效果满意的模型部署在服务器或本地设备上；
所述自动机器学习模型网络确定方法：对于选择主干网络，通过自动机器学习中的神经网络架构搜索及网络参数确定的方法，将参数训练和模型结构搜索解耦，先确定主干网络模型，再基于已确定的网络结构来训练参数，使得搜索后的神经网络与实际转炉图像识别的任务场景高度契合；
所述算法的模型评估指标：
准确率：图像分类模型的衡量指标，正确分类的样本数与总样本数之比，其值越接近1表示模型效果越好；
F1-score，对某类别而言为精确率和召回率的调和平均数，对图像识别分类模型来说，该指标越高效果越好；
精确率，对某类别而言为正确预测为该类别的样本数与预测为该类别的总样本数之比；
召回率，对某类别而言为正确预测为该类别的样本数与该类别的总样本数之比；MAP是物体检测算法中衡量算法效果的指标，对于物体检测任务，每一类object都可以计算出其精确率和召回率，在不同阈值下多次计算/试验，每个类都可以得到一条P-R曲线，曲线下的面积就是average。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210437673.8A CN115035328A (zh) | 2022-04-25 | 2022-04-25 | 转炉图像增量自动机器学习系统及其建立训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210437673.8A CN115035328A (zh) | 2022-04-25 | 2022-04-25 | 转炉图像增量自动机器学习系统及其建立训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035328A true CN115035328A (zh) | 2022-09-09 |
Family
ID=83119189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210437673.8A Pending CN115035328A (zh) | 2022-04-25 | 2022-04-25 | 转炉图像增量自动机器学习系统及其建立训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035328A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115679042A (zh) * | 2022-11-04 | 2023-02-03 | 唐山惠唐物联科技有限公司 | 一种lf炉精炼过程冶炼状态监控的方法和系统 |
| CN117576519A (zh) * | 2024-01-15 | 2024-02-20 | 浙江航天润博测控技术有限公司 | 图像识别模型训练优化方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015127795A1 (zh) * | 2014-02-25 | 2015-09-03 | 华为技术有限公司 | 存储医疗图像的方法、交互信息的方法和装置 |
| WO2020030950A1 (en) * | 2018-08-08 | 2020-02-13 | Abyssal S.A. | System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models |
| CN112115967A (zh) * | 2020-08-06 | 2020-12-22 | 中山大学 | 一种基于数据保护的图像增量学习方法 |
| WO2021136365A1 (zh) * | 2019-12-30 | 2021-07-08 | 第四范式（北京）技术有限公司 | 基于机器学习模型的应用开发方法、装置及电子设备 |
-
2022
- 2022-04-25 CN CN202210437673.8A patent/CN115035328A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015127795A1 (zh) * | 2014-02-25 | 2015-09-03 | 华为技术有限公司 | 存储医疗图像的方法、交互信息的方法和装置 |
| WO2020030950A1 (en) * | 2018-08-08 | 2020-02-13 | Abyssal S.A. | System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models |
| WO2021136365A1 (zh) * | 2019-12-30 | 2021-07-08 | 第四范式（北京）技术有限公司 | 基于机器学习模型的应用开发方法、装置及电子设备 |
| CN112115967A (zh) * | 2020-08-06 | 2020-12-22 | 中山大学 | 一种基于数据保护的图像增量学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 肖祥武等: "面向工业互联网的智慧电厂 仿生体系架构及信息物理系统", 《电工技术学报》, vol. 35, no. 23, 31 December 2020 (2020-12-31) * |
| 薛未业;王家海;: "基于机器学习的装配质量图像识别研究", 佳木斯大学学报(自然科学版), no. 01, 15 January 2020 (2020-01-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115679042A (zh) * | 2022-11-04 | 2023-02-03 | 唐山惠唐物联科技有限公司 | 一种lf炉精炼过程冶炼状态监控的方法和系统 |
| CN117576519A (zh) * | 2024-01-15 | 2024-02-20 | 浙江航天润博测控技术有限公司 | 图像识别模型训练优化方法、装置、电子设备及存储介质 |
| CN117576519B (zh) * | 2024-01-15 | 2024-04-09 | 浙江航天润博测控技术有限公司 | 图像识别模型训练优化方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN109858367B (zh) | 工人通过支撑不安全行为的视觉自动化检测方法及系统 | |
| CN115035328A (zh) | 转炉图像增量自动机器学习系统及其建立训练方法 | |
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN113869162A (zh) | 一种基于人工智能的违章识别方法及系统 | |
| CN115797357B (zh) | 一种基于改进YOLOv7的输电通道隐患检测方法 | |
| CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
| CN115471487A (zh) | 绝缘子缺陷检测模型构建及绝缘子缺陷检测方法、装置 | |
| CN118011994A (zh) | 一种基于跨模态工业大模型的故障诊断系统及方法 | |
| CN116629465A (zh) | 智能电网视频监控与风险预测响应系统 | |
| CN115830407A (zh) | 一种基于yolov4目标检测模型的电缆管线故障判别算法 | |
| CN114708518A (zh) | 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法 | |
| CN117726958B (zh) | 配电线路无人机巡检图像目标检测及隐患智能识别方法 | |
| CN118135469B (zh) | 一种管道cctv缺陷识别方法、系统、设备及存储介质 | |
| CN110956285A (zh) | 一种基于深度学习的装维施工规范性检测方法及系统 | |
| CN113850773A (zh) | 一种检测方法、装置、设备及计算机可读存储介质 | |
| KR102525491B1 (ko) | 구조물 손상검출 보고서 제공 방법 | |
| CN112101454A (zh) | 一种污水曝气分析方法 | |
| CN116128879A (zh) | 一种轻量化输电线路缺陷检测方法和装置 | |
| CN110827264A (zh) | 一种混凝土构件表观缺陷的评价系统 | |
| CN115187880A (zh) | 基于图像识别的通信光缆缺陷检测方法、系统及存储介质 | |
| CN115601674A (zh) | 一种输电工程烟雾隐患识别方法、装置及存储介质 | |
| CN114898181A (zh) | 用于涉爆视频的隐患违章识别方法及装置 | |
| CN112508946A (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
| CN116563770B (zh) | 车辆颜色的检测方法、装置及设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |