CN114774605B - 一种高炉堵铁口时间智能预报装置 - Google Patents

一种高炉堵铁口时间智能预报装置 Download PDF

Info

Publication number
CN114774605B
CN114774605B CN202210252838.4A CN202210252838A CN114774605B CN 114774605 B CN114774605 B CN 114774605B CN 202210252838 A CN202210252838 A CN 202210252838A CN 114774605 B CN114774605 B CN 114774605B
Authority
CN
China
Prior art keywords
component
module
video
blast furnace
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210252838.4A
Other languages
English (en)
Other versions
CN114774605A (zh
Inventor
桂卫华
王添宇
蒋朝辉
潘冬
董晋宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210252838.4A priority Critical patent/CN114774605B/zh
Publication of CN114774605A publication Critical patent/CN114774605A/zh
Application granted granted Critical
Publication of CN114774605B publication Critical patent/CN114774605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21B—MANUFACTURE OF IRON OR STEEL
    • C21B7/00—Blast furnaces
    • C21B7/24—Test rods or other checking devices
    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21B—MANUFACTURE OF IRON OR STEEL
    • C21B7/00—Blast furnaces
    • C21B7/12—Opening or sealing the tap holes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • C—CHEMISTRY; METALLURGY
    • C21—METALLURGY OF IRON
    • C21B—MANUFACTURE OF IRON OR STEEL
    • C21B2300/00—Process aspects
    • C21B2300/04—Modeling of the process, e.g. for control purposes; CII
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Materials Engineering (AREA)
  • Metallurgy (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高炉堵铁口时间智能预报装置，包括视频捕获单元和与视频捕获单元连接的边缘计算盒子，其中边缘计算盒子包括依次连接的视频处理单元、图像预处理单元、堵铁口时间预测单元以及预报单元，利用网络摄像头采集出铁口铁水的视频数据，然后将编码过的视频流数据传输到边缘计算盒子，在边缘计算盒子内部会依次对视频流进行解码、帧图像提取、图像预处理、堵铁口时间预测以及对高炉堵铁口时间进行预报，解决了现有技术无法准确预测高炉堵铁口时间的技术问题，利用边缘计算的方式进行实时推理与预报，这样处理可以降低网络传输的成本，避免冗余数据的存储，且可以在不干扰工厂原有网络系统的情况下方便地部署。

Description

一种高炉堵铁口时间智能预报装置
技术领域
本发明主要涉及高炉冶炼技术领域，特指一种高炉堵铁口时间智能预报装置。
背景技术
高炉炼铁是生产钢铁的重要环节，其产物是生成液态铁水。排放这些液态铁水的过程被称为出铁，其目的是为了防止炉内液位对高炉冶炼过程的干扰，并且可以防止冶炼过程中重大事故的发生。
在高炉炼铁的过程中，铁水不断产生，炉内液位不断升高，当液位达到一定高度时，需要利用机械臂钻开出铁口，使铁水从出铁口流出。在出铁过程中，随着铁水的流出，炉内液位下降，当下降到一定高度时，为了防止炉内气体从出铁口泄露，必须及时使用炮泥机将出铁口堵住，这个过程被称为堵铁口。堵铁口的时间至关重要，过早则炉内渣铁未放净，过晚则炉内气体喷出且容易造成安全隐患。因此，智能确定堵铁口时间对于提高高炉运行效率、保证高炉安全出铁具有重大意义。目前，炉前堵铁口操作多为工人目视判断并采用手动操作液压阀控制，缺乏安全保证和操作依据，全凭经验操作，主观干预太强，所以设备故障率高，可靠性差。
专利公开号CN111254243A发明专利通过建立表征高炉熔炼过程的条件参数、操作参数与堵铁口时间的优良操作模式库，以及判断在优良操作模式库中是否能匹配获得与当前工况对应且满足预设相似度条件的最优操作模式，若是，根据最优操作模式获得高炉堵铁口时间，否则建立投影寻踪回归模型，并基于投影寻踪回归模型对堵铁口时间进行预测。此发明只是利用了高炉熔炼过程的条件参数，没有利用出铁口的图像数据，而且其与预测方式是利用模式库匹配进行预测，没有利用学习能力强的智能算法，预测精度难以有保障。
发明内容
本发明提供的高炉堵铁口时间智能预报装置，解决了现有技术无法准确预测高炉堵铁口时间的技术问题。
为解决上述技术问题，本发明提出的高炉堵铁口时间智能预报装置包括：
视频捕获单元和与视频捕获单元连接的边缘计算盒子，其中边缘计算盒子包括依次连接的视频处理单元、图像预处理单元、堵铁口时间预测单元以及预报单元，其中：
视频捕获单元，用于获取铁水流视频；
视频处理单元，用于对铁水流视频进行处理，获得铁水流图像；
图像预处理单元，用于对铁水流图像进行预处理；
堵铁口时间预测单元，用于根据预处理后的铁水流图像获得高炉堵铁口预测时间；
预报单元，用于对高炉堵铁口时间进行预报。
进一步地，视频捕获单元包括高速相机，集成于高速相机上的网络摄像头、镜头防尘清扫模块、摄像头防振动模块、摄像头风冷模块、A/D转换模块、视频编码模块以及网络传输模块，其中：
镜头防尘清扫模块，用于对高速相机的镜头进行清扫处理，并在清扫处理后，自动盖上用于保护高速相机镜头的镜头盖，直至高速相机开始工作；
摄像头防振动模块，用于防止高速相机拍摄图像时发生振动；
摄像头风冷模块，用于对高速相机进行散热冷却；
A/D转换模块，用于将接收到的高帧率视频源模拟信号转换成高帧率视频源数字信号，并将高帧率视频源数字信号发送至视频编码模块；
视频编码模块，用于接收高帧率视频源数字信号，并利用编码算法将高帧率视频源数字信号进行编码压缩；
网络传输模块，用于利用rtsp协议对压缩过的高帧率视频源数字信号进行传输。
进一步地，视频处理单元包括依次连接的视频流获取模块、视频流解码模块以及帧图像提取模块，其中：
视频流获取模块，包括依次连接的rtspsrc组件和rtph264depay组件，其中：
rtspsrc组件，用于连接到rtsp服务器并从中读取视频流数据，以及将视频流数据的RTP包传给rtph264depay组件；
rtph264depay组件，用于从RTP包中提取H264视频流，并将H264视频流传给h264parse组件；
视频流解码模块，包括依次连接的h264parse组件和openh264dec组件，其中：
h264parse组件，用于解析H264视频流；
openh264dec组件，用于对解析后的H264视频流进行解码；
帧图像提取模块，包括依次连接的videorate组件、jpegenc组件、capsfilter以及multifilesink组件，其中：
videorate组件，用于根据解码后的H264视频流获取帧图像；
jpegenc组件和capsfilter组件，用于对帧图像进行编码；
multifilesink组件，用于将经过编码的帧图像按顺序命名写入缓存区。
进一步地，堵铁口时间预测单元包括依次连接的算法推理模块和后处理模块，其中算法推理模块包括nvinfer组件，后处理模块包括依次连接的nvmultistreamtiler组件、nvvideoconvert组件、nvdsosd组件、nvegltransform组件以及nveglglessink组件，其中：
nvinfer组件，用于通过深度网络推理模型对高炉堵铁口时间进行推理；
nvmultistreamtiler组件，用于将深度网络推理模型的输出数据平铺成2D数据，获得平铺数据；
nvvideoconvert组件，用于将平铺数据的格式从NV12格式转换成RGBA格式，获得高炉堵铁口预测时间；
nvdsosd组件，用于将高炉堵铁口预测时间渲染到帧图像中；
nvegltransform组件和nveglglessink组件，用于将高炉堵铁口预测时间进行显示。
进一步地，深度网络推理模型包括依次连接的卷积层、卷积模块、注意力模块、全局池化层和全连接层，其中：
卷积层，用于对输入的铁水流图像进行卷积运算，获得卷积特征图；
卷积模块，由预设个数的SKNet网络堆叠而成，且SKNet网络包括第一深度可分离卷积层、第二深度可分离卷积层、SKNet全局池化层、SKNet全连接层以及softmax运算层，其中：
第一深度可分离卷积层，用于通过第一预设尺寸的第一深度可分离卷积对卷积特征图进行深度可分离卷积运算，获得第一特征图；
第二深度可分离卷积层，用于通过第二预设尺寸的第二深度可分离卷积对卷积特征图进行深度可分离卷积运算，获得第二特征图；
SKNet全局池化层和SKNet全连接层，用于将第一特征图和第二特征图相加，从而获得混合特征图，并将混合特征图经过全局池化和全连接计算得到推理特征向量；
softmax运算层，用于将推理特征向量通过softmax运算获得第一权值向量和第二权值向量，并根据第一特征图、第二特征图、第一权值向量和第二权值向量获得铁水流图像特征；
注意力模块由预设个数的ViT网络堆叠而成，，用于提取铁水流图像特征中的全局铁水流特征；
全局池化层和全连接层，用于对全局铁水流特征进行全局池化和全连接计算，获得铁水流图像分类输出向量。
进一步地，第一深度可分离卷积和第二深度可分离卷积的计算公式为：
Figure BDA0003547445820000041
其中，
Figure BDA0003547445820000042
和
Figure BDA0003547445820000043
分别表示第一特征图和第二特征图，MBConv3(·)表示尺寸为3*3的深度可分离卷积计算，MBConv5(·)表示尺寸为5*5的深度可分离卷积计算，XSK表示卷积层输出的卷积特征图。
进一步地，深度网络推理模型采用的网络推理公式为：
Figure BDA0003547445820000044
其中，VSK-CoAtNets表示采用深度网络推理模型输出的铁水流图像分类输出向量，FC(·)表示全连接计算，GP(·)表示全局池化计算，
Figure BDA0003547445820000045
表示ViT网络堆叠n4层的计算，
Figure BDA0003547445820000046
表示表示ViT网络堆叠n3层的计算，
Figure BDA0003547445820000047
表示SKNet网络堆叠n1层的计算，
Figure BDA0003547445820000048
表示SKNet网络堆叠n2层的计算，XSK表示卷积层输出的卷积特征图。
进一步地，高炉堵铁口时间智能预报装置还包括与边缘计算盒子连接的显示屏和报警器，其中：
显示屏，用于显示边缘计算盒子输出的铁水流图像分类输出向量；
报警器，用于接收边缘计算盒子输出的警告信息，并发出警报。
与现有技术相比，本发明的优点在于：
本发明提供的高炉堵铁口时间智能预报装置，利用网络摄像头采集出铁口铁水的视频数据，然后将编码过的视频流数据传输到边缘计算盒子，在边缘计算盒子内部会依次对视频流进行解码、帧图像提取、图像预处理、堵铁口时间预测以及对高炉堵铁口时间进行预报，解决了现有技术无法准确预测高炉堵铁口时间的技术问题，利用边缘计算的方式进行实时推理与预报，这样处理可以降低网络传输的成本，避免冗余数据的存储，且可以在不干扰工厂原有网络系统的情况下方便地部署。
本发明的关键点：
(1)首次在CoAtNets网络结构中增加SKNet网络结构，结合了SKNet网络和ViT网络，融合了卷积神经网络和注意力机制二者的优势，既能够在铁水流图像分类任务中提取到铁水流形态纹理的细节信息，又可以学习到出铁口整体场景的全局信息和各部分的相对位置信息，提高了高炉出铁过程铁水流图像分类准确性；
(2)首次在SKNet网络中增加深度可分离卷积层结构，可精准获得铁水流特征，从而对铁水流图像的分类结果更准确，且通过加入深度可分离卷积层结构可使得网络更轻量；
(3)设计了带有防尘清扫、防振、风冷功能的网络摄像头，采集高炉铁口铁水流可见光视频图像信息，并通过rtsp协议传入边缘计算盒子进行一系列的视频图像处理，首次利用铁口铁水流视频图像信息预报堵铁口时间；
(4)设计了利用深度学习等智能算法预测堵铁口时间的方法，并利用Gstreamer和TensorRT框架加速整个推理预测过程；
(5)首次在高炉炼铁堵铁口任务上设计了预报装置，并在其中嵌入了上传操作日志和清扫网络摄像机镜头的功能，整个过程随出铁周期开始而开始，随出铁周期结束而结束，不需要人工在装置上进行二次操作；
(6)首次利用边缘计算模式实时处理高炉炼铁堵铁口任务，在数据安全、网络运输成本、计算存储成本、系统独立性等方面给钢铁企业带来了很大的方便。
附图说明
图1为本发明实施例二的高炉堵铁口时间智能预报装置的结构框图；
图2为本发明实施例二的视频捕获过程示意图；
图3为本发明实施例二的视频处理单元的结构框图；
图4为本发明实施例二的图像预处理单元的结构框图；
图5为本发明实施例二的堵铁口时间预测单元的结构框图；
图6为本发明实施例二的SK-CoAtNets网络结构框图；
图7为本发明实施例二的预报单元的结构框图。
附图标记：
U1、视频捕获单元；U2、视频处理单元；U3、图像预处理单元；U4、堵铁口时间预测单元；U5、预报单元；U11、镜头防尘清扫模块；U12、摄像头防振动模块；U13、摄像头风冷模块；U14、A/D转换模块；U15、视频编码模块；U16、网络传输模块；U21、视频流获取模块；U22、视频流解码模块；U23、帧图像提取模块；U31、图像裁剪模块；U32、图像增强模块；U33、批量处理模块；U41、算法推理模块；U42、后处理模块；U51、开始预报模块；U52、停止预报模块；U53、操作日志上传模块。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一
本发明实施例一提供的高炉堵铁口时间智能预报装置，包括视频捕获单元U1和与视频捕获单元U1连接的边缘计算盒子，其中边缘计算盒子包括依次连接的视频处理单元U2、图像预处理单元U3、堵铁口时间预测单元U4以及预报单元U5，其中：
视频捕获单元U1，用于获取铁水流视频；
视频处理单元U2，用于对铁水流视频进行处理，获得铁水流图像；
图像预处理单元U3，用于对铁水流图像进行预处理；
堵铁口时间预测单元U4，用于根据预处理后的铁水流图像获得高炉堵铁口预测时间；
预报单元U5，用于对高炉堵铁口时间进行预报。
本发明实施例提供的高炉堵铁口时间智能预报装置，利用网络摄像头采集出铁口铁水的视频数据，然后将编码过的视频流数据传输到边缘计算盒子，在边缘计算盒子内部会依次对视频流进行解码、帧图像提取、图像预处理、堵铁口时间预测以及对高炉堵铁口时间进行预报，解决了现有技术无法准确预测高炉堵铁口时间的技术问题，利用边缘计算的方式进行实时推理与预报，这样处理可以降低网络传输的成本，避免冗余数据的存储，且可以在不干扰工厂原有网络系统的情况下方便地部署。
实施例二
如图1所示，本发明实施例二提供的高炉堵铁口时间智能预报装置，包括视频捕获单元U1、视频处理单元U2、图像预处理单元U3、堵铁口时间预测单元U4以及预报单元U5，其中视频处理单元U2、图像预处理单元U3、堵铁口时间预测单元U4以及预报单元U5集成在边缘计算盒子中，下面对其逐一进行具体的说明。
1、视频捕获单元U1
本实施例的视频捕获单元U1如图2所示，视频捕获单元U1包括镜头防尘清扫模块U11、摄像头防振动模块U12、摄像头风冷模块U13、A/D转换模块U14、视频编码模块U15以及网络传输模块U16。镜头防尘清扫模块U11，用于在摄像机未工作时间内对摄像机的镜头进行清扫处理，清扫结束后，自动将保护镜头盖盖上以防止粉尘的掉落至镜头，直至相机开始工作。摄像头防振动模块U12，通过在摄像头外壳或镜头部分设置缓冲结构，防止在拍摄铁水图像的时候由于振动导致图像模糊不清。摄像头风冷模块U13将高速相机机身完全覆盖，通过外接风机加快风冷装置与高速相机机身之间空气的流动速率达到散热冷却的目的。A/D转换模块U14将接收到的高帧率视频源模拟信号转换成高帧率视频源数字信号，然后将高帧率视频源数字信号送至视频编码模块U15。视频编码模块U15利用编码算法将高帧率视频源数字信号进行编码压缩，然后利用rtsp协议将压缩过的高帧率视频源数字信号通过局域网传输到边缘计算盒子上进行后续的数据分析。
2.视频处理单元U2
具体地，本实施例的视频处理单元U2包括依次连接的视频流获取模块U21、视频流解码模块U22以及帧图像提取模块U23，其中：
视频流获取模块U21，包括依次连接的rtspsrc组件和rtph264depay组件，其中：
rtspsrc组件，用于连接到rtsp服务器并从中读取视频流数据，以及将视频流数据的RTP包传给rtph264depay组件；
rtph264depay组件，用于从RTP包中提取H264视频流，并将H264视频流传给h264parse组件；
视频流解码模块U22，包括依次连接的h264parse组件和openh264dec组件，其中：
h264parse组件，用于解析H264视频流；
openh264dec组件，用于对解析后的H264视频流进行解码；
帧图像提取模块U23，包括依次连接的videorate组件、jpegenc组件、capsfilter以及multifilesink组件，其中：
videorate组件，用于根据解码后的H264视频流获取帧图像；
jpegenc组件和capsfilter组件，用于对帧图像进行编码；
multifilesink组件，用于将经过编码的帧图像按顺序命名写入缓存区。
本实施例的视频处理单元U2如图3所示，为了提高处理过程的实时性和节省计算资源，本发明采用流式处理框架(Gstreamer)对视频进行处理。Gstreamer是一个支持Windows、Linux、Android、iOS的跨平台的多媒体框架，应用程序可以通过管道(Pipeline)的方式，将多媒体处理的各个步骤串联起来，达到预期的效果。一个GStreamer处理程序是由不同的组件(Element)连接而成，这些组件是构成一个视频流处理管道(Pipeline)的基本块。两个element必须通过pad才能连接起来，Pad是一个element的输入/输出接口，分为src pad(传出数据)和sink pad(接收数据)两种，其拥有当前element能处理数据类型的能力，会在连接时通过比较src pad和sink pad中所支持的能力，来选择最恰当的数据类型用于传输，如果element不支持，程序会直接退出。如图三中的获取视频流模块是由rtspsrc、rtph264depay、h264parse、openh264dec、videorate、jpegenc、capsfilter、multifilesink等组件构成,其中每个组件都实现了特定的功能：rtspsrc的作用是连接到rtsp服务器并从中读取视频流数据，并将视频流的RTP包传给下一个组件；rtph264depay从RTP包中提取H264视频，并将H264视频流传给下一个组件；h264parse负责解析H264视频流；openh264dec负责对H264视频进行解码；videorate负责从视频中获取帧图像；jpegenc负责对jpeg图像进行编码；multifilesink负责将经过编码的jpeg数据按顺序命名写入缓存区，便于后续环节利用multifilesrc从缓存区获取数据。
3.图像预处理单元U3
本实施例的图像预处理单元U3如图4所示，主要由两个框架组成：Gstreamer框架和Deepstream框架，其中Deepstream框架是一个在Gstreamer上进行再次封装的框架，可以看成是Gstreamer和TensorRT的结合。本实施例的图像预处理包括图像裁剪模块U31、图像增强模块U32以及批量处理模块U33。其中图像裁剪模块U31包括multifilesrc和jpegparse组件，图像增强模块U32包括nvv412decoder和custom_pro组件，批量处理模块U33包括nvstreammux组件。其中multifilesrc用于将从缓存区获取在视频处理单元U2中编过码的jpeg数据；jpegparse用于将jpeg流解析为jpeg图像，其寻找EOI边界，将连续流分割为单帧缓存区，还读取图像标题、搜索图像属性，如宽度、高度等；nvv412decoder用于对数据进行解码；custom_pro是一个gstreamer的用户自定义的组件，里面存放的是图像的预处理操作(如旋转、滤波等)，由于不同算法的预处理操作不一样，因此该组件由用户自定义；nvstreammux负责将多路数据组成批量(batch)，用于后续的算法计算。
4.堵铁口时间预测单元U4
本实施例的堵铁口时间预测单元U4如图5所示，本实施例的堵铁口时间预测单元U4包括算法推理模块U41和后处理模块U42，其中算法推理模块U41包括nvinfer组件，后处理模块U42包括nvmultistreamtiler、nvvideoconvert、nvdsosd、nvegltransform以及nveglglessink组件。本实施例的nvinfer负责对算法进行推理，该组件接受来自上游的批量数据，根据神经网络的需求在输入帧上执行转换(格式转换和缩放)，并将转换后的数据传递给低级库(low-level)。低级库对变换后的帧进行预处理(执行归一化和平均减法)，并生成最终的浮点RGB/BGR/灰度平面数据，该数据被传递到TensorRT引擎进行推断。nvinfer组件可以在三种模式下进行工作：1)Primary mode(在所有帧图上进行操作)；2)Secondarymode(对上游组件元数据中的对象进行操作)；3)Preprocessed Tensor Input mode(对已经经过预处理的张量进行操作)。在第三种模式下，nvinfer内部的预处理将完全跳过，并按原样将张量传递给TensorRT推理函数，无需任何修改，此模式支持全帧和ROI处理。TensorRT是一个由Nvidia公司研发的用于高性能深度学习推理的SDK。此SDK包含深度学习推理优化器和运行时环境，可让深度学习推理过程低延迟且高吞吐量。
nvmultistreamtiler组件用于将经过深度学习推理的批量数据平铺成2D数据，nvvideoconvert组件将平铺数据格式从NV12转换成RGBA格式(nvdsosd组件需要的数据格式)，nvdsosd组件将预测结果渲染到帧图中，nvegltransform和nveglelessink用于将预测结果显示到屏幕上。
本实施例的nvinfer组件，用于通过深度网络推理模型对高炉堵铁口时间进行推理，且本实施例的深度网络推理模型包括依次连接的卷积层、卷积模块、注意力模块、全局池化层和全连接层，其中：
卷积层，用于对输入的铁水流图像进行卷积运算，获得卷积特征图；
卷积模块，由预设个数的SKNet网络堆叠而成，且SKNet网络包括第一深度可分离卷积层、第二深度可分离卷积层、SKNet全局池化层、SKNet全连接层以及softmax运算层，其中：
第一深度可分离卷积层，用于通过第一预设尺寸的第一深度可分离卷积对卷积特征图进行深度可分离卷积运算，获得第一特征图；
第二深度可分离卷积层，用于通过第二预设尺寸的第二深度可分离卷积对卷积特征图进行深度可分离卷积运算，获得第二特征图；
SKNet全局池化层和SKNet全连接层，用于将第一特征图和第二特征图相加，从而获得混合特征图，并将混合特征图经过全局池化和全连接计算得到推理特征向量；
softmax运算层，用于将推理特征向量通过softmax运算获得第一权值向量和第二权值向量，并根据第一特征图、第二特征图、第一权值向量和第二权值向量获得铁水流图像特征；
注意力模块由预设个数的ViT网络堆叠而成，用于提取铁水流图像特征中的全局铁水流特征；
全局池化层和全连接层，用于对全局铁水流特征进行全局池化和全连接计算，获得铁水流图像分类输出向量。
具体地，本实施例的深度网络推理模型具体为SK-CoAtNets网络模型，网络参考CoAtNets模型结构，结合SKNet和ViT模型，融合了卷积神经网络和注意力机制二者的优势，既能够在铁水流图像分类任务中提取到铁水流形态纹理的细节信息，又可以学习到出铁口整体场景的全局信息和各部分的相对位置信息，提高了高炉出铁过程铁水流图像分类准确性。该网络模型结构如图6所示。模型输入的图像X最开始首先经过两层卷积运算(Conv)，得到SKNet的输入XSK，计算公式为：
XSK＝Conv(Conv(X)) (1)
本实施例对现有的SKNet进行改进，首先通过一个3×3尺寸的深度可分离卷积(MBConv3)计算得到第一特征图
Figure BDA0003547445820000091
和一个5×5尺寸的深度可分离卷积(MBConv5)计算得到第二特征图
Figure BDA0003547445820000101
使用深度可分离卷积可以大幅减少网络参数量，加快网络训练速度，其计算公式为，
Figure BDA0003547445820000102
Figure BDA0003547445820000103
将第一特征图和第二特征图相加得到混合特征图U，将混合特征图U经过全局池化(GP)和全连接(FC)计算得到特征向量z，其计算公式为：
Figure BDA0003547445820000104
z＝FC(GP(U)) (5)
将特征向量z通过softmax运算得到第一权值向量a和第二权值向量b，将
Figure BDA0003547445820000105
和
Figure BDA0003547445820000106
与第一权值向量a和第二权值向量b相乘得到SKNet最终的输出VSK，计算公式为：
a,b＝softmax(z) (6)
Figure BDA0003547445820000107
本实施例的SKNet网络使用残差模块促进网络表层信息向深层传递，防止训练中出现梯度消失现象。通过堆叠SKNet提取铁水流图像特征后，使用堆叠的ViT网络结构进一步提取特征图中全局特征，网络输出部分使用全局池化和全连接计算得到最终输出VSK-CoAtNets，该输出结果为一个表示当前铁水流图像属于各分类的得分的向量，网络整体推理公式为，
Figure BDA0003547445820000108
其中，VSK-CoAtNets表示采用深度网络推理模型输出的铁水流图像分类输出向量，FC(·)表示全连接计算，GP(·)表示全局池化计算，
Figure BDA0003547445820000109
表示ViT网络堆叠n4层的计算，
Figure BDA00035474458200001010
表示表示ViT网络堆叠n3层的计算，
Figure BDA00035474458200001011
表示SKNet网络堆叠n1层的计算，
Figure BDA00035474458200001012
表示SKNet网络堆叠n2层的计算，XSK表示所述卷积层输出的卷积特征图。将一个完整出铁过程分为10个阶段，通过对铁水流图像分类得到当前时刻在整个出铁过程中所处的阶段，当对铁水流图像的分类结果为第10类，即表示当前处在出铁过程中的最后一个阶段时，向预报单元(U5)发出堵铁口时间即将到达的报警信号。
具体地，本发明实施例通过深度网络推理模型对高炉堵铁口时间进行推理的算法流程为:
步骤1：输入的铁水流图像首先经过两层3×3的卷积层(Conv 3×3)进行卷积运算，得到高维特征图；
步骤2：将步骤1中计算得到的高维特征图输入卷积模块(Conv)中进行推理，卷积部分主要由改进后的SKNet堆叠而成。共经过两层卷积模块的推理，每一层卷积模块都引入残差结构，将输入与输出进行叠加后传入下一模块；
步骤3：将步骤2中得到的输出输入注意力模块(Attention)中进行推理，注意力模块主要由ViT堆叠而成。ViT网络由多头自注意力层(Multi-head Self-attention)和前馈网络层(FFN)组成，同样在各层中引入残差结构。经过两层注意力模块的推理后得到结果输入到下一步骤；
步骤4：将步骤3中得到的输出结果输入全局池化层(Global Pool)和全连接层(FC)进行推理，得到与分类类别相同长度的向量，取向量中最大元素所在的分类，即为分类模型得到的分类结果；
步骤5：在步骤4得到的分类结果到达第10类时向预报单元U5发出报警信号。
本实施例的深度网络推理模型具体为SK-CoAtNets网络模型，通过在CoAtNets网络结构中增加SKNet网络结构，结合了SKNet网络和ViT网络，融合了卷积神经网络和注意力机制二者的优势，既能够在铁水流图像分类任务中提取到铁水流形态纹理的细节信息，又可以学习到出铁口整体场景的全局信息和各部分的相对位置信息，提高了高炉出铁过程铁水流图像分类准确性。
进一步地，本实施例通过在SKNet网络中增加深度可分离卷积层结构，可精准获得铁水流特征，从而对铁水流图像的分类结果更准确，且通过加入深度可分离卷积层结构可使得网络更轻量。
5.预报单元U5
本实施例的预报单元U5包括开始预报模块U51、停止预报模块U52以及操作日志上传模块U53，且预报单元U5功能实现的流程图如图7所示，可以看出整个过程形成一个闭环，整个程序的运行随出铁周期开始而开始，随堵铁口而结束。此装置只用于预报和预警，因此需要工作人员的配合使用，如果到了该堵铁口的时间，工作人员由于其他业务繁忙一直没有堵铁口，连续预报时间超过了最大预报时间，装置将启动预警响应，并将工作人员未堵铁口的失职日志上传至数据中心。每个出铁周期的结束，此装置会启动摄像机前面的防尘清扫装置，清扫完毕后将镜头保护盖盖上，直至下一个出铁周期开始再启动。
本实施例以某炼铁厂2650m3高炉为实验平台，将本发明实施例的高炉堵铁口时间智能预报装置应用到该高炉的1号出铁口处。首先，本发明在出铁口的斜上方较远处安装好网络摄像机，使得摄像机在风冷模块启动的时候平均温度不超过50度，将网络摄像机的网线接入工厂的局域网，并分配一个网络地址。将边缘计算盒子放在工作人员操作室，通过网络地址连接到网络摄像头，从网络摄像头上实时获取视频流。边缘计算盒子的输出端连接着工作室操作屏幕和报警器，预报信息显示在操作屏幕上，警告信息直接传到报警器，使得报警器响应。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种高炉堵铁口时间智能预报装置，其特征在于，所述高炉堵铁口时间智能预报装置包括视频捕获单元(U1)和与所述视频捕获单元(U1)连接的边缘计算盒子，其中所述边缘计算盒子包括依次连接的视频处理单元(U2)、图像预处理单元(U3)、堵铁口时间预测单元(U4)以及预报单元(U5)，其中：
所述视频捕获单元(U1)，用于获取铁水流视频；
所述视频处理单元(U2)，用于对所述铁水流视频进行处理，获得铁水流图像；
所述图像预处理单元(U3)，用于对所述铁水流图像进行预处理；
所述堵铁口时间预测单元(U4)，用于根据预处理后的铁水流图像获得高炉堵铁口预测时间，其中所述堵铁口时间预测单元(U4)包括依次连接的算法推理模块(U41)和后处理模块(U42)，其中算法推理模块(U41)包括nvinfer组件，后处理模块(U42)包括依次连接的nvmultistreamtiler组件、nvvideoconvert组件、nvdsosd组件、nvegltransform组件以及nveglglessink组件，其中：
所述nvinfer组件，用于通过深度网络推理模型对高炉堵铁口时间进行推理，其中所述深度网络推理模型包括依次连接的卷积层、卷积模块、注意力模块、全局池化层和全连接层，其中：
所述卷积层，用于对输入的铁水流图像进行卷积运算，获得卷积特征图；
所述卷积模块，由预设个数的SKNet网络堆叠而成，且所述SKNet网络包括第一深度可分离卷积层、第二深度可分离卷积层、SKNet全局池化层、SKNet全连接层以及softmax运算层，其中：
所述第一深度可分离卷积层，用于通过第一预设尺寸的第一深度可分离卷积对所述卷积特征图进行深度可分离卷积运算，获得第一特征图；
所述第二深度可分离卷积层，用于通过第二预设尺寸的第二深度可分离卷积对所述卷积特征图进行深度可分离卷积运算，获得第二特征图，且所述第一深度可分离卷积和第二深度可分离卷积的计算公式为：
Figure FDA0004202189940000011
其中，
Figure FDA0004202189940000012
和
Figure FDA0004202189940000013
分别表示第一特征图和第二特征图，MBConv3(·)表示尺寸为3*3的深度可分离卷积计算，MBConv5(·)表示尺寸为5*5的深度可分离卷积计算，XSK表示所述卷积层输出的卷积特征图；
所述SKNet全局池化层和SKNet全连接层，用于将所述第一特征图和第二特征图相加，从而获得混合特征图，并将混合特征图经过全局池化和全连接计算得到推理特征向量；
所述softmax运算层，用于将所述推理特征向量通过softmax运算获得第一权值向量和第二权值向量，并根据所述第一特征图、第二特征图、第一权值向量和第二权值向量获得铁水流图像特征；
所述注意力模块由预设个数的ViT网络堆叠而成，用于提取所述铁水流图像特征中的全局铁水流特征；
所述全局池化层和全连接层，用于对所述全局铁水流特征进行全局池化和全连接计算，获得铁水流图像分类输出向量，且所述深度网络推理模型采用的网络推理公式为：
Figure FDA0004202189940000021
其中，VSK-CoAtNets表示采用深度网络推理模型输出的铁水流图像分类输出向量，FC(·)表示全连接计算，GP(·)表示全局池化计算，
Figure FDA0004202189940000022
表示ViT网络堆叠n4层的计算，
Figure FDA0004202189940000023
表示ViT网络堆叠n3层的计算，
Figure FDA0004202189940000024
表示SKNet网络堆叠n1层的计算，
Figure FDA0004202189940000025
表示SKNet网络堆叠n2层的计算，XSK表示所述卷积层输出的卷积特征图；
所述nvmultistreamtiler组件，用于将深度网络推理模型的输出数据平铺成2D数据，获得平铺数据；
所述nvvideoconvert组件，用于将平铺数据的格式从NV12格式转换成RGBA格式，获得高炉堵铁口预测时间；
所述nvdsosd组件，用于将高炉堵铁口预测时间渲染到帧图像中；
所述nvegltransform组件和nveglglessink组件，用于将高炉堵铁口预测时间进行显示；
所述预报单元(U5)，用于对所述高炉堵铁口时间进行预报。
2.根据权利要求1所述的高炉堵铁口时间智能预报装置，其特征在于，所述视频捕获单元(U1)包括高速相机，集成于所述高速相机上的网络摄像头、镜头防尘清扫模块(U11)、摄像头防振动模块(U12)、摄像头风冷模块(U13)、A/D转换模块(U14)、视频编码模块(U15)以及网络传输模块(U16)，其中：
所述镜头防尘清扫模块(U11)，用于对高速相机的镜头进行清扫处理，并在清扫处理后，自动盖上用于保护高速相机镜头的镜头盖，直至高速相机开始工作；
所述摄像头防振动模块(U12)，用于防止高速相机拍摄图像时发生振动；
所述摄像头风冷模块(U13)，用于对高速相机进行散热冷却；
所述A/D转换模块(U14)，用于将接收到的高帧率视频源模拟信号转换成高帧率视频源数字信号，并将所述高帧率视频源数字信号发送至视频编码模块(U15)；
所述视频编码模块(U15)，用于接收高帧率视频源数字信号，并利用编码算法将高帧率视频源数字信号进行编码压缩；
所述网络传输模块(U16)，用于利用rtsp协议对压缩过的高帧率视频源数字信号进行传输。
3.根据权利要求1所述的高炉堵铁口时间智能预报装置，其特征在于，所述视频处理单元(U2)包括依次连接的视频流获取模块(U21)、视频流解码模块(U22)以及帧图像提取模块(U23)，其中：
所述视频流获取模块(U21)，包括依次连接的rtspsrc组件和rtph264depay组件，其中：
所述rtspsrc组件，用于连接到rtsp服务器并从中读取视频流数据，以及将视频流数据的RTP包传给rtph264depay组件；
所述rtph264depay组件，用于从RTP包中提取H264视频流，并将H264视频流传给h264parse组件；
所述视频流解码模块(U22)，包括依次连接的h264parse组件和openh264dec组件，其中：
所述h264parse组件，用于解析H264视频流；
所述openh264dec组件，用于对解析后的H264视频流进行解码；
所述帧图像提取模块(U23)，包括依次连接的videorate组件、jpegenc组件、capsfilter以及multifilesink组件，其中：
所述videorate组件，用于根据解码后的H264视频流获取帧图像；
所述jpegenc组件和capsfilter组件，用于对帧图像进行编码；
所述multifilesink组件，用于将经过编码的帧图像按顺序命名写入缓存区。
4.根据权利要求3所述的高炉堵铁口时间智能预报装置，其特征在于，所述高炉堵铁口时间智能预报装置还包括与所述边缘计算盒子连接的显示屏和报警器，其中：
所述显示屏，用于显示所述边缘计算盒子输出的铁水流图像分类输出向量；
所述报警器，用于接收所述边缘计算盒子输出的警告信息，并发出警报。
CN202210252838.4A 2022-03-15 2022-03-15 一种高炉堵铁口时间智能预报装置 Active CN114774605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210252838.4A CN114774605B (zh) 2022-03-15 2022-03-15 一种高炉堵铁口时间智能预报装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210252838.4A CN114774605B (zh) 2022-03-15 2022-03-15 一种高炉堵铁口时间智能预报装置

Publications (2)

Publication Number Publication Date
CN114774605A CN114774605A (zh) 2022-07-22
CN114774605B true CN114774605B (zh) 2023-06-13

Family

ID=82425409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210252838.4A Active CN114774605B (zh) 2022-03-15 2022-03-15 一种高炉堵铁口时间智能预报装置

Country Status (1)

Country Link
CN (1) CN114774605B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115652003B (zh) * 2022-09-06 2024-01-09 中南大学 一种基于两阶段分类的高炉堵铁口时间在线监测方法及系统
CN115612765B (zh) * 2022-10-14 2023-05-26 合肥视展光电科技有限公司 一种高炉开铁口状态实时检测控制方法及系统
CN115595388B (zh) * 2022-10-14 2023-06-02 合肥视展光电科技有限公司 基于铁水流动状态的高炉出铁作业控制方法及电子设备
CN117636264A (zh) * 2024-01-25 2024-03-01 泉州装备制造研究所 一种基于边缘计算盒的工厂安全检测智能监控方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102719581A (zh) * 2011-03-29 2012-10-10 鞍钢股份有限公司 一种减轻炉缸内铁水环流的高炉出铁方法
CN207261364U (zh) * 2017-09-18 2018-04-20 马鞍山钢铁股份有限公司 一种高炉泥炮在线状态监控系统
JP2018145520A (ja) * 2017-03-01 2018-09-20 Ｊｆｅスチール株式会社 高炉炉熱予測装置及び高炉炉熱予測方法
CN108897354A (zh) * 2018-07-13 2018-11-27 广西大学 一种基于深度置信网络的铝熔炼过程炉膛温度预测方法
CN110184401A (zh) * 2019-05-10 2019-08-30 柳州钢铁股份有限公司 高炉出渣铁状态在线检测方法
WO2020027385A1 (ko) * 2018-08-01 2020-02-06 주식회사 포스코 고로의 잔여 출선량 예측 시스템 및 그 방법
CN111254243A (zh) * 2020-03-11 2020-06-09 中南大学 一种高炉出铁过程堵铁口时间智能确定方法及系统
CN111413516A (zh) * 2020-03-11 2020-07-14 中南大学 一种基于极化特征的铁水流速检测装置
CN111593151A (zh) * 2020-04-30 2020-08-28 柳州钢铁股份有限公司 高炉开铁口深度在线检测方法
AU2020102091A4 (en) * 2019-10-17 2020-10-08 Wuhan University Of Science And Technology Intelligent steel slag detection method and system based on convolutional neural network
CN112488415A (zh) * 2020-12-14 2021-03-12 国网江苏省电力有限公司经济技术研究院 基于经验模态分解和长短时记忆网络的电力负荷预测方法
CN113761787A (zh) * 2021-07-19 2021-12-07 中南大学 基于深度迁移网络的高炉铁水硅含量在线预测方法及系统
CN113870341A (zh) * 2021-09-02 2021-12-31 中南大学 基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102719581A (zh) * 2011-03-29 2012-10-10 鞍钢股份有限公司 一种减轻炉缸内铁水环流的高炉出铁方法
JP2018145520A (ja) * 2017-03-01 2018-09-20 Ｊｆｅスチール株式会社 高炉炉熱予測装置及び高炉炉熱予測方法
CN207261364U (zh) * 2017-09-18 2018-04-20 马鞍山钢铁股份有限公司 一种高炉泥炮在线状态监控系统
CN108897354A (zh) * 2018-07-13 2018-11-27 广西大学 一种基于深度置信网络的铝熔炼过程炉膛温度预测方法
WO2020027385A1 (ko) * 2018-08-01 2020-02-06 주식회사 포스코 고로의 잔여 출선량 예측 시스템 및 그 방법
CN110184401A (zh) * 2019-05-10 2019-08-30 柳州钢铁股份有限公司 高炉出渣铁状态在线检测方法
AU2020102091A4 (en) * 2019-10-17 2020-10-08 Wuhan University Of Science And Technology Intelligent steel slag detection method and system based on convolutional neural network
CN111413516A (zh) * 2020-03-11 2020-07-14 中南大学 一种基于极化特征的铁水流速检测装置
CN111254243A (zh) * 2020-03-11 2020-06-09 中南大学 一种高炉出铁过程堵铁口时间智能确定方法及系统
CN111593151A (zh) * 2020-04-30 2020-08-28 柳州钢铁股份有限公司 高炉开铁口深度在线检测方法
CN112488415A (zh) * 2020-12-14 2021-03-12 国网江苏省电力有限公司经济技术研究院 基于经验模态分解和长短时记忆网络的电力负荷预测方法
CN113761787A (zh) * 2021-07-19 2021-12-07 中南大学 基于深度迁移网络的高炉铁水硅含量在线预测方法及系统
CN113870341A (zh) * 2021-09-02 2021-12-31 中南大学 基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高炉铁水质量信息在线检测方法综述;蒋珂;《冶金自动化》;第46卷(第2期);19-33,45 *

Also Published As

Publication number Publication date
CN114774605A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114774605B (zh) 一种高炉堵铁口时间智能预报装置
US10506248B2 (en) Foreground detection for video stabilization
CN110418177B (zh) 视频编码方法、装置、设备和存储介质
CN110795990B (zh) 一种面向水下设备的手势识别方法
US10192114B2 (en) Method and apparatus for obtaining a vehicle history report from an image
CN110430436A (zh) 一种云手机视频压缩方法、系统、装置及存储介质
CN101218603A (zh) 使用压缩的原始图像的图像处理器的暂时图像缓冲器
TWI521473B (zh) 影像分析裝置、方法及電腦可讀取媒體
CN113473126A (zh) 视频流的处理方法、装置、电子设备及计算机可读介质
CN103051891B (zh) 确定数据流内分块预测编码的视频帧的块的显著值的方法和装置
US20240320971A1 (en) Pre-processing image frames based on camera statistics
US10210416B2 (en) Method and apparatus for receiving a broadcast radio service offer from an image
CN110418142A (zh) 一种基于视频感兴趣区域的编码方法、装置、存储介质
CN1886759A (zh) 对视频信号中的局部视觉时空细节的检测
CN117880520A (zh) 一种用于机车乘务员值乘标准化监控的数据管理方法
CN110365985A (zh) 图像处理方法及装置
CN115209147B (zh) 摄像头视频传输带宽优化方法、装置、设备及存储介质
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
CN114419473B (zh) 一种基于嵌入式设备的深度学习实时目标检测方法
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
CN113068024B (zh) 一种实时抓图分析方法及存储介质
CN114202796B (zh) 模型自适应的目标检测的方法及装置
CN113810695A (zh) 视频编码方法、装置及计算机可读存储介质
CN118474353B (zh) 一种数字化企业管理过程中信息传输方法及系统
CN116152473B (zh) 一种二维图片转换成ar图像降低黑像素干扰的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant