CN114567657A - 一种用于钢铁冶炼产线上的实时报警方法 - Google Patents

一种用于钢铁冶炼产线上的实时报警方法 Download PDF

Info

Publication number
CN114567657A
CN114567657A CN202210232609.6A CN202210232609A CN114567657A CN 114567657 A CN114567657 A CN 114567657A CN 202210232609 A CN202210232609 A CN 202210232609A CN 114567657 A CN114567657 A CN 114567657A
Authority
CN
China
Prior art keywords
alarm
data
real
production line
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210232609.6A
Other languages
English (en)
Inventor
杜利达
李毅仁
李玉涛
王钊哲
潘志威
刘培培
张楠
杨冬靓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hegang Digital Technology Co ltd
Original Assignee
Hegang Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hegang Digital Technology Co ltd filed Critical Hegang Digital Technology Co ltd
Priority to CN202210232609.6A priority Critical patent/CN114567657A/zh
Publication of CN114567657A publication Critical patent/CN114567657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种用于钢铁冶炼产线上的实时报警方法，包括如下步骤：设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件；MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka，通过消息队列Kafka将报警服务与其它服务解耦；规则引擎从Kafka中获取设备数据后，根据设备唯一标志符，从非关系型数据库Redis中按照业务需求获取预设的相应报警规则，匹配触发报警条件的数据阈值；规则引擎对设备数据进行处理，处于正常值域的设备数据直接跳过，数据处理后触发的报警生成报警通知并发送。本发明降低了服务器压力、数据存储压力、网络流量压力，提高了报警通知的实时性。

Description

一种用于钢铁冶炼产线上的实时报警方法
技术领域
本发明涉及工业物联网领域，特别涉及一种用于钢铁冶炼产线上的实时报警方法。
背景技术
物联网(Internet of Things，IoT)、云计算、大数据等新兴信息技术的出现，标志着智能制造时代的到来。而智能和互联的主旨都在于通过充分利用信息通讯技术，把资源、机器、产品和人有机结合在一起，推动制造业向基于大数据分析与应用智能化的方向转型。钢铁工业是自动化程度较高的流程式行业之一，也是发展我国先进制造业、打造先进制造业集群不可或缺的一部分。在钢铁冶炼生产场景中，设备报警功能对于工业产线的正常运转、生产安全，甚至劳动者的生命，企业的财产保障都有着极高的重要性。报警功能的重点就是报警模块的稳定性，报警通知的实时性。按照工业物联网的要求，在设备发生故障，设备数据不再安全阈值范围内时，物联网平台、报警设备及相关负责人都要收到通知，并且能够及时查看报警数据，了解设备状态并对其进行相关处理，以免造成严重后果。
目前，传统的物联网系统一般将数据保存到关系型数据库中。接收到数据后，根据设备标志符从数据库查询相应报警规则，数据处理后，再将报警数据存回数据库。数据库虽然能可靠地保存数据，但由于在工业物联网场景下，设备上报数据量是相当巨大的，而且数据传输频率也是很高的，在这种大数据的环境下，如果持续进行数据库IO操作，势必会给平台造成严重的危害。
常见的报警系统在用户页面采用轮询的方式，通过Http请求从服务器周期性地拉取报警数据。轮询的方式虽然简单，但是弊端很多。首先轮询是有时间间隔的，所以报警最基本的实时性难以保证。即使缩短轮询时间间隔，仍会引起网络及数据库IO频繁操作，在没有报警的时候，造成了很大的信息系统资源浪费。况且，正常情况下报警是极少发生的，不应过度监视。同时，传统的物联网平台，各个模块耦合在同一个软件工程中，这样一旦其中某些业务发生问题，就会导致整个平台出现问题。
可以注意到，以上流程有多次的数据库IO操作，而通知方式单一，用户无法在第一时间感知设备报警，业务耦合性强。既不能保证报警的实时性和准确性，也给服务器造成了压力。长此以往，会导致平台运行的不稳定。那么如何解决重复的数据库IO，及单一的通知方式便是一个现实的问题。另一方面，钢铁冶炼产线设备安全风险不同于其它行业，一旦发生异常很有可能会造成严重后果。而客户端websocket通讯及邮件/短信等方式不一定能百分百第一时间通知到报警联系人，如此便不能及时通知生产现场情况。
发明内容
本发明要解决的技术问题是提供一种用于钢铁冶炼产线上的实时报警方法，基于Kafka消息队列解耦，非关系型数据库Redis存储，多种消息推送方式结合的高效的报警推送方法。
为解决上述技术问题，本发明的内容包括：
一种用于钢铁冶炼产线上的实时报警方法，所述方法包括如下步骤：
步骤S1：设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件；
步骤S2：MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka，通过消息队列Kafka将报警服务与其它服务解耦；
步骤S3：规则引擎从Kafka中获取设备数据后，根据设备唯一标志符，从非关系型数据库Redis中按照业务需求获取预设的相应报警规则，匹配触发报警条件的数据阈值；
步骤S4：规则引擎对设备数据进行处理，处于正常值域的设备数据直接跳过，数据处理后触发的报警生成报警通知并发送。
进一步的，所述步骤S1中，采用EMQ X作为MQTT的broker负责接收设备上报数据。
进一步的，所述步骤S4中，报警通知被发送到websocket server服务端，再通过设备唯一标识符获取websoket session发送至websocket client客户端。
进一步的，所述步骤S4中，报警通知通过MQTT协议下发到报警终端设备。
进一步的，所述步骤S4中，报警通知以短信或邮件的方式发送给报警联系人。
本发明的有益效果是：
本发明首先通过消息队列将报警服务与其它服务解耦，其次将部分数据存储到缓存数据库Redis，经过规则引擎的梳理，通过多种方式推送给用户。测试表明，本方法在保证数据实时及准确性的基础上，不仅降低了服务器压力，还降低了网络流量，提高了吞吐量。
附图说明
图1是本发明的整体设计数据流程示意图；
图2是MQTT BROKER接收到数据后投递到下游kafka的流程示意图；
图3是websocket连接平台及推送报警消息示意图；
图4是测试验证结果统计图。
具体实施方式
为便于理解本发明，下面结合附图和具体实施方式对本发明作进一步详细的说明。本领域技术人员应该明了，所述实施例仅仅是帮助理解本发明，不应视为对本发明的具体限制。
如图1-3所示，本发明提供了一种用于钢铁冶炼产线上的实时报警方法，包括如下步骤：
步骤S1：设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件。
采用EMQ X作为MQTT的broker负责接收设备上报数据。EMQX 是全球领先的开源物联网应用，完全支持MQTT 5.0协议，具备高并发、低延时的特性，支持边缘及云端部署。引入EMQX作为MQTT服务的消息代理中间件，是一种高效可靠的技术路线。
步骤S2：MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka，通过消息队列Kafka将报警服务与其它服务解耦，短时间持久化数据。
Kafka消息队列负责解耦不同的业务模块，短时间持久化数据。Kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其它常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写能力。
步骤S3：规则引擎从Kafka中获取设备数据后，根据设备唯一标志符，从非关系型数据库Redis中按照业务需求获取预设的相应报警规则，匹配触发报警条件的数据阈值。
规则引擎作为Kafka的消费者，获取到设备上报数据，根据设备唯一标志符，从缓存Redis中查询相应报警规则。Redis是一个开源的内存数据存储系统，它可以作为数据库、缓存和消息中间件。Redis的所有数据均位于服务器的主内存中，因此读写速度非常快。每秒可执行10万次以上的读写操作。采用Redis的优势是降低数据库IO压力，保证报警消息的实时性。
步骤S4：规则引擎对设备数据进行处理，处于正常值域的设备数据直接跳过，数据处理后触发的报警生成报警通知并发送。
报警通知发送到websocket的同时，平台还会以MQTT的方式下发到现场报警终端设备，并以短信或邮件的方式发送给报警联系人。最大限度的保证报警通知的有效性，降低生产风险。
报警通知被发送到websocket server服务端，再通过设备唯一标识符获取websoket session发送至websocket client客户端。
客户端使用websocket协议连接平台时，平台将维护websocket session与设备唯一标识符的关系。经过规则引擎计算后，不需要报警的数据将跳过本流程的后续通知动作。报警消息将通过设备唯一标识符获取websoket session发送至websocket client客户端。WebSocket是一种在单个TCP连接上进行全双工通信的协议。WebSocket的出现，使得浏览器具备了实时双向通信的能力。引入websocket的目的在于，取代客户端轮询方案，降低报警延迟，减少网络IO，最重要的是降低了数据库压力。
如图4所示，针对以上内容进行了相关测试，测试环境如下：服务器硬件配置为8核cpu，16 GB内存。服务器操作系统为Centos 7，java使用jdk8，websocket服务端使用SpringBoot集成的websocket。本发明定义报警的延迟为：从服务端产生报警的时间到客户端收到报警的时间差。以生产线进行测试，对传感器终端的数据采集、网络数据收发的逻辑进行监控。比较服务端产生报警的时间戳和客户端接收到报警的时间戳，即可计算出报警推送的延迟。考虑到实际生产中报警这种行为虽然不会高并发产生，为了测试极端情况，每500ms秒推送一次报警，共推送5000条报警数据，从服务端产生报警数据到客户端收到报警推送的时间延迟平均值为6.5 ms。传统页面轮询间隔大约是5s到10s，可见报警实时性大大提高。使用jmeter模拟Websocket并发连接，对websocket服务器进行压力测试。在每个并发连接数下， 推送5000条数据，取推送延迟的平均值。结果表明，随着 Websocket并发连接数增长，推送延迟并未出现大幅度增长，而是在8ms左右波动。
当没有报警数据的时候，如果采用轮询的方式，假设轮询间隔为5s，即便只有100个客户端，那么每分钟也会产生1200网络IO，同时会产生1200个数据库IO。这就对服务器造成了不必要的资源浪费。而采用websocket的方式，在报警静默的时候不会产生网络及数据库IO，显而易见的减少了相应压力。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种用于钢铁冶炼产线上的实时报警方法，其特征在于：所述方法包括如下步骤：
步骤S1：设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件；
步骤S2：MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka，通过消息队列Kafka将报警服务与其它服务解耦；
步骤S3：规则引擎从Kafka中获取设备数据后，根据设备唯一标志符，从非关系型数据库Redis中按照业务需求获取预设的相应报警规则，匹配触发报警条件的数据阈值；
步骤S4：规则引擎对设备数据进行处理，处于正常值域的设备数据直接跳过，数据处理后触发的报警生成报警通知并发送。
2.根据权利要求1所述的用于钢铁冶炼产线上的实时报警方法，其特征在于：所述步骤S1中，采用EMQ X作为MQTT的broker负责接收设备上报数据。
3.根据权利要求1所述的用于钢铁冶炼产线上的实时报警方法，其特征在于：所述步骤S4中，报警通知被发送到websocket server服务端，再通过设备唯一标识符获取websoketsession发送至websocket client客户端。
4.根据权利要求1所述的用于钢铁冶炼产线上的实时报警方法，其特征在于：所述步骤S4中，报警通知通过MQTT协议下发到报警终端设备。
5.根据权利要求1所述的用于钢铁冶炼产线上的实时报警方法，其特征在于：所述步骤S4中，报警通知以短信或邮件的方式发送给报警联系人。
CN202210232609.6A 2022-03-10 2022-03-10 一种用于钢铁冶炼产线上的实时报警方法 Pending CN114567657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210232609.6A CN114567657A (zh) 2022-03-10 2022-03-10 一种用于钢铁冶炼产线上的实时报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210232609.6A CN114567657A (zh) 2022-03-10 2022-03-10 一种用于钢铁冶炼产线上的实时报警方法

Publications (1)

Publication Number Publication Date
CN114567657A true CN114567657A (zh) 2022-05-31

Family

ID=81718402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210232609.6A Pending CN114567657A (zh) 2022-03-10 2022-03-10 一种用于钢铁冶炼产线上的实时报警方法

Country Status (1)

Country Link
CN (1) CN114567657A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514746A (zh) * 2022-09-21 2022-12-23 平安银行股份有限公司 即时通信方法、装置、系统、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279641A1 (en) * 2013-03-15 2014-09-18 Alert Enterprise Identity and asset risk score intelligence and threat mitigation
CN111510325A (zh) * 2020-04-07 2020-08-07 广州中石科技有限公司 报警信息推送方法、服务器、客户端及系统
CN112099400A (zh) * 2020-09-03 2020-12-18 埃安美(苏州)物联技术有限公司 一种基于物联网的环保安全监测控制系统
CN113765777A (zh) * 2021-11-08 2021-12-07 通号通信信息集团有限公司 设备控制方法、消息中转方法、设备、可读介质和物联网
CN113918361A (zh) * 2021-10-09 2022-01-11 天翼物联科技有限公司 基于物联网规则引擎的终端控制方法、装置、设备及介质
CN114095535A (zh) * 2021-11-16 2022-02-25 河钢数字技术股份有限公司 一种将物理设备时序变量自动映射为数字模型的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279641A1 (en) * 2013-03-15 2014-09-18 Alert Enterprise Identity and asset risk score intelligence and threat mitigation
CN111510325A (zh) * 2020-04-07 2020-08-07 广州中石科技有限公司 报警信息推送方法、服务器、客户端及系统
CN112099400A (zh) * 2020-09-03 2020-12-18 埃安美(苏州)物联技术有限公司 一种基于物联网的环保安全监测控制系统
CN113918361A (zh) * 2021-10-09 2022-01-11 天翼物联科技有限公司 基于物联网规则引擎的终端控制方法、装置、设备及介质
CN113765777A (zh) * 2021-11-08 2021-12-07 通号通信信息集团有限公司 设备控制方法、消息中转方法、设备、可读介质和物联网
CN114095535A (zh) * 2021-11-16 2022-02-25 河钢数字技术股份有限公司 一种将物理设备时序变量自动映射为数字模型的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514746A (zh) * 2022-09-21 2022-12-23 平安银行股份有限公司 即时通信方法、装置、系统、设备和存储介质
CN115514746B (zh) * 2022-09-21 2024-05-24 平安银行股份有限公司 即时通信方法、装置、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN107888452B (zh) 一种24小时分布式网站性能监测和实时告警方法
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN111708667B (zh) 一种业务边缘计算方法及系统
CN114090366A (zh) 一种监控数据的方法、装置和系统
CN114567657A (zh) 一种用于钢铁冶炼产线上的实时报警方法
CN113783931A (zh) 一种物联网数据聚合、分析方法
CN112416614A (zh) 基于消息队列的数据处理方法、系统及服务器
CN101977361A (zh) 一种批量短信预处理方法
CN112003831A (zh) 一种分布式环境下的日志收集系统及日志收集方法
CN114528458A (zh) 物流轨迹推送方法、装置、设备及存储介质
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN112783618A (zh) 一种任务调度监控系统、计算机设备及存储介质
CN111679950B (zh) 接口级动态数据采样方法及装置
CN111431733B (zh) 服务告警覆盖信息的评估方法及装置
CN112486776A (zh) 一种集群成员节点可用性监测设备及方法
CN111506672A (zh) 实时分析环保监测数据的方法、装置、设备及存储介质
CN108390770B (zh) 一种信息生成方法、装置及服务器
CN113377611A (zh) 一种业务处理流程监控方法、系统、设备及存储介质
CN114168445A (zh) 一种日志分析方法、装置、系统及可读存储介质
CN114201659A (zh) 一种消息轨迹传输查询方法、装置及系统
CN112929191A (zh) 服务监控方法、系统以及相关设备、装置
CN101267473A (zh) 一种振荡告警的处理方法
CN111652616B (zh) 交易数据实时监控方法及装置
GB2514136A (en) Integration platform monitoring
CN112463587B (zh) 一种基于QOS的Ice服务监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination