CN110677276A - 一种实现工业互联网数据处理支持多用户热部署的系统 - Google Patents

一种实现工业互联网数据处理支持多用户热部署的系统 Download PDF

Info

Publication number
CN110677276A
CN110677276A CN201910845628.4A CN201910845628A CN110677276A CN 110677276 A CN110677276 A CN 110677276A CN 201910845628 A CN201910845628 A CN 201910845628A CN 110677276 A CN110677276 A CN 110677276A
Authority
CN
China
Prior art keywords
module
jstorm
kafka
enterprise
industrial internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910845628.4A
Other languages
English (en)
Inventor
程焱芳
余福荣
黎冬生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd
Original Assignee
Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd filed Critical Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd
Priority to CN201910845628.4A priority Critical patent/CN110677276A/zh
Publication of CN110677276A publication Critical patent/CN110677276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及工业互联网技术领域，具体是一种实现工业互联网数据处理支持多用户热部署的系统，包括采集对象模块、数据采集模块、kafka模块、jstorm模块和数据库模块；所述kafka模块采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题topic由企业ID和网关ID组成；所述jstorm模块与kafka模块、数据库模块相连，jstorm模块采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名topology和主题topic的映射关系，映射关系包括一个topology对应唯一一个topic、一个topology对应多个topic，一个topology只对应一个企业ID。本发明中的单个jstorm任务只能消费单个企业的主题信息，jstorm集群可以同时支持多个jstorm任务运行，即使其中某一个或多个企业数据出现异常，不会干扰到jstorm处理其它企业数据。

Description

一种实现工业互联网数据处理支持多用户热部署的系统
技术领域
本发明涉及工业互联网技术领域，具体是一种实现工业互联网数据处理支持多用户热部署的系统。
背景技术
jstorm是阿里巴巴开源的一个分布式实时计算引擎，用户只需按照规定的编程规范实现一个任务，然后将这个任务递交给jstorm系统，jstorm将这个任务无间断运行起来。一旦出现异常导致某个Worker发送故障，调度器立刻会分配一个新的Worker去顶替异常的Worker。Kafka是一种高吞吐量的分布式发布订阅消息系统，可用于解耦生产者和消费者、缓存消息。jstorm按照topic实时消费kafka中的数据。
工业互联网环境应用中，许多企业的数据信息高速缓存入kafka，kafka划分数据主题（topic），jstorm根据topic消费kafka中数据，然后计算并缓存到数据库中。生产应用中，kafka的topic并不是按照企业ID划分的，jstorm运算处理后的数据都是转存到同一个数据库。
该方式缺点很明显：
1、kafka没有按照企业ID和网关ID创建主题（topic），那么jstorm任务消费某个topic的数据时，就可能是多个企业混合的数据，这增加了jstorm代码计算逻辑的复杂度。
2、jstorm启动后没有实现周期性读取企业采集设备的功能，不能支持企业采集设备的灵活热部署。
3、无法实现单个jstorm任务只处理对应的某一个企业的数据，这样，出现异常的企业信息容易串扰其他企业信息。如果某个jstorm任务出现问题，会影响多家企业数据处理。
4、数据缓存没有按企业划分不同的数据库，导致前端企业页面查询该企业的数据信息延时较大
因此，针对以上现状，迫切需要开发一种实现工业互联网数据处理支持多用户热部署的系统，以克服当前实际应用中的不足。
发明内容
本发明的目的在于提供一种实现工业互联网数据处理支持多用户热部署的系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种实现工业互联网数据处理支持多用户热部署的系统，包括采集对象模块、数据采集模块、kafka模块、jstorm模块和数据库模块；所述数据采集模块与采集对象模块和kafka模块连接，所述kafka模块采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题topic由企业ID和网关ID组成；所述jstorm模块与kafka模块、数据库模块相连，jstorm模块采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名topology和主题topic的映射关系，映射关系包括一个topology对应唯一一个topic、一个topology对应多个topic，但是一个topology只对应一个企业ID。
作为本发明进一步的方案：所述采集对象模块包括若干为数据采集模块提供数据信息的企业，数据采集模块将采集得到的数据信息汇入kafka模块中。
作为本发明进一步的方案：所述kafka模块的副本数为3个。
作为本发明进一步的方案：所述kafka模块支持master和slaver模式的无缝切换。
作为本发明进一步的方案：所述数据库模块采用分部式数据库，按企业ID区分划分数据库。
作为本发明进一步的方案：所述jstorm模块运行时支持周期性读取配置表信息。
与现有技术相比，本发明的有益效果是：
1、kafka集群采用主备模式，并且根据企业ID和网关ID创建多个主题，jstorm只能按照主题消费。
2、单个jstorm任务只能消费单个企业的主题信息，jstorm集群可以同时支持多个jstorm任务运行，即使其中某一个或多个企业数据出现异常，不会干扰到jstorm处理其它企业数据。
3、数据存储采用分布式数据库，按企业划分不同的数据库表，一方面数据的查询和读取更迅速，另一方面即使某个企业的数据出现异常，不会影响其它企业的数据。
4、每个jstorm运行中会周期性读取企业的设备信息表，支持企业设备的热部署，支持企业采集设备的灵活变更。
附图说明
图1为实现工业互联网数据处理支持多用户热部署的系统的结构示意图。
图2为实现工业互联网数据处理支持多用户热部署的系统中什么的的结构示意图。
图3为实现工业互联网数据处理支持多用户热部署的系统中什么的的结构示意图。
图中：1、采集对象模块、2-数据采集模块、3-kafka模块、4-jstorm模块、5-数据库模块。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
实施例1
请参阅图1～2，本发明实施例中，一种实现工业互联网数据处理支持多用户热部署的系统，包括采集对象模块1、数据采集模块2、kafka模块3、jstorm模块4和数据库模块5；所述数据采集模块2与采集对象模块1和kafka模块3连接，采集对象模块1包括若干为数据采集模块2提供数据信息的企业，数据采集模块2将采集得到的数据信息汇入kafka模块3中；
所述kafka模块3采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题（topic）由企业ID和网关ID组成，kafka模块3支持创建多个主题（topic）；
具体的，本实施例中，所述kafka模块3的副本数为3个，kafka模块3支持master和slaver模式的无缝切换，避免单点故障问题；
所述jstorm模块4与kafka模块3、数据库模块4相连，jstorm模块4采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名（topology）和主题（topic）的映射关系，可以一个topology对应唯一一个topic，也可以一个topology对应多个topic，但是一个topology只对应一个企业ID，jstorm任务启动后，根据topology名读取设备配置表信息获得对应的topic，根据topic消费kafka中的数据，每个jstorm任务只负责计算处理一个企业的数据；
所述数据库模块4采用分部式数据库，按企业ID区分划分数据库，保证了单个企业数据的安全性，使前端企业页面查询时延更小。
实施例2
请参阅图1～2，本发明实施例中，一种实现工业互联网数据处理支持多用户热部署的系统，包括采集对象模块1、数据采集模块2、kafka模块3、jstorm模块4和数据库模块5；所述数据采集模块2与采集对象模块1和kafka模块3连接，采集对象模块1包括若干为数据采集模块2提供数据信息的企业，数据采集模块2将采集得到的数据信息汇入kafka模块3中；
所述kafka模块3采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题（topic）由企业ID和网关ID组成，kafka模块3支持创建多个主题（topic）；
具体的，本实施例中，所述kafka模块3的副本数为3个，kafka模块3支持master和slaver模式的无缝切换，避免单点故障问题；
所述jstorm模块4与kafka模块3、数据库模块4相连，jstorm模块4采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名（topology）和主题（topic）的映射关系，可以一个topology对应唯一一个topic，也可以一个topology对应多个topic，但是一个topology只对应一个企业ID，jstorm任务启动后，根据topology名读取设备配置表信息获得对应的topic，根据topic消费kafka中的数据，每个jstorm任务只负责计算处理一个企业的数据；
所述数据库模块4采用分部式数据库，按企业ID区分划分数据库，保证了单个企业数据的安全性，使前端企业页面查询时延更小。
请参阅图3，本实施例与实施例1的不同之处在于，所述jstorm模块4运行时支持周期性读取配置表信息，可以实时获得对应企业的所有采集点设备信息，无需重启jstorm，支持企业设备的热部署。
以上的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

Claims (6)

1.一种实现工业互联网数据处理支持多用户热部署的系统，其特征在于，包括采集对象模块（1）、数据采集模块（2）、kafka模块（3）、jstorm模块（4）和数据库模块（5）；
所述数据采集模块（2）与采集对象模块（1）和kafka模块（3）连接，所述kafka模块（3）采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题topic由企业ID和网关ID组成；
所述jstorm模块（4）与kafka模块（3）、数据库模块（4）相连，jstorm模块（4）采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名topology和主题topic的映射关系；
映射关系包括一个topology对应唯一一个topic、一个topology对应多个topic，一个topology只对应一个企业ID。
2.根据权利要求1所述的实现工业互联网数据处理支持多用户热部署的系统，其特征在于，所述采集对象模块（1）包括若干为数据采集模块（2）提供数据信息的企业，数据采集模块（2）将采集得到的数据信息汇入kafka模块（3）中。
3.根据权利要求2所述的实现工业互联网数据处理支持多用户热部署的系统，其特征在于，所述kafka模块（3）的副本数为3个。
4.根据权利要求3所述的实现工业互联网数据处理支持多用户热部署的系统，其特征在于，所述kafka模块（3）支持master和slaver模式的无缝切换。
5.根据权利要求1-4任一所述的实现工业互联网数据处理支持多用户热部署的系统，其特征在于，所述数据库模块（4）采用分部式数据库，按企业ID区分划分数据库。
6.根据权利要求5所述的实现工业互联网数据处理支持多用户热部署的系统，其特征在于，所述jstorm模块（4）运行时支持周期性读取配置表信息。
CN201910845628.4A 2019-09-09 2019-09-09 一种实现工业互联网数据处理支持多用户热部署的系统 Pending CN110677276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845628.4A CN110677276A (zh) 2019-09-09 2019-09-09 一种实现工业互联网数据处理支持多用户热部署的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845628.4A CN110677276A (zh) 2019-09-09 2019-09-09 一种实现工业互联网数据处理支持多用户热部署的系统

Publications (1)

Publication Number Publication Date
CN110677276A true CN110677276A (zh) 2020-01-10

Family

ID=69076668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845628.4A Pending CN110677276A (zh) 2019-09-09 2019-09-09 一种实现工业互联网数据处理支持多用户热部署的系统

Country Status (1)

Country Link
CN (1) CN110677276A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468578A (zh) * 2020-11-25 2021-03-09 常州微亿智造科技有限公司 工业数据的实时采集系统和方法
CN112637076A (zh) * 2020-12-21 2021-04-09 常州微亿智造科技有限公司 工业物联网数据传输Worker服务实现方法及装置
CN112688835A (zh) * 2021-03-11 2021-04-20 索思（苏州）医疗科技有限公司 信号实时监测方法、系统、电子设备以及存储介质
CN113382038A (zh) * 2021-04-25 2021-09-10 杭州玖欣物联科技有限公司 一种基于lwm2m协议的网关设备用户远程管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321308A1 (en) * 2015-05-01 2016-11-03 Ebay Inc. Constructing a data adaptor in an enterprise server data ingestion environment
CN106850258A (zh) * 2016-12-22 2017-06-13 北京锐安科技有限公司 一种日志管理系统、方法及装置
CN106951464A (zh) * 2017-02-27 2017-07-14 江苏徐工信息技术股份有限公司 基于storm面向用户个性化预警机制大数据计算方法
CN107181612A (zh) * 2017-05-08 2017-09-19 深圳市众泰兄弟科技发展有限公司 一种基于大数据的可视化网络安全监控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321308A1 (en) * 2015-05-01 2016-11-03 Ebay Inc. Constructing a data adaptor in an enterprise server data ingestion environment
CN106850258A (zh) * 2016-12-22 2017-06-13 北京锐安科技有限公司 一种日志管理系统、方法及装置
CN106951464A (zh) * 2017-02-27 2017-07-14 江苏徐工信息技术股份有限公司 基于storm面向用户个性化预警机制大数据计算方法
CN107181612A (zh) * 2017-05-08 2017-09-19 深圳市众泰兄弟科技发展有限公司 一种基于大数据的可视化网络安全监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冉振莉等: ""基于工业云的电熔镁炉监控系统与关键技术"", 《计算机集成制造系统》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468578A (zh) * 2020-11-25 2021-03-09 常州微亿智造科技有限公司 工业数据的实时采集系统和方法
CN112468578B (zh) * 2020-11-25 2021-12-17 常州微亿智造科技有限公司 工业数据的实时采集系统和方法
CN112637076A (zh) * 2020-12-21 2021-04-09 常州微亿智造科技有限公司 工业物联网数据传输Worker服务实现方法及装置
CN112637076B (zh) * 2020-12-21 2022-08-02 常州微亿智造科技有限公司 工业物联网数据传输Worker服务实现方法及装置
CN112688835A (zh) * 2021-03-11 2021-04-20 索思（苏州）医疗科技有限公司 信号实时监测方法、系统、电子设备以及存储介质
CN113382038A (zh) * 2021-04-25 2021-09-10 杭州玖欣物联科技有限公司 一种基于lwm2m协议的网关设备用户远程管理方法
CN113382038B (zh) * 2021-04-25 2022-08-12 杭州玖欣物联科技有限公司 一种基于lwm2m协议的网关设备用户远程管理方法

Similar Documents

Publication Publication Date Title
CN110677276A (zh) 一种实现工业互联网数据处理支持多用户热部署的系统
CN107193960B (zh) 一种分布式爬虫系统及周期性增量抓取方法
CN105320085A (zh) 工业自动化数据的采集方法及装置、系统
CN104965850A (zh) 一种基于开源技术的数据库高可用实现方法
CN103581307A (zh) 一种基于集群的发布/订阅系统及其可靠性保障方法
CN102685237A (zh) 一种集群环境下请求会话保持与调度的方法
CN108038226A (zh) 一种数据快速采集系统及方法
CN103279386A (zh) 一种计算机作业调度系统高可用的方法
CN105677605B (zh) 一种高效的可配置片上互联系统及其实现方法、装置
CN109901948B (zh) 无共享数据库集群异地双活容灾系统
CN112711634A (zh) 一种基于数据中台的数据开发方法
CN113810466A (zh) 用于多源异构数据的中间件、应用该中间件的系统和方法
CN105574010A (zh) 数据查询方法及装置
RU2008141703A (ru) Способ передачи данных между неоднородными системами обработки, соединенными в локальную сеть, и система передачи, использующая этот способ
CN105975546A (zh) 一种新型计算机监管系统
Xiao et al. A hierarchical approach to maximizing MapReduce efficiency
Chen et al. COSS: Content-based subscription as an IoT service
CN115333894A (zh) 一种基于多主站通讯需求的modbus通讯集线器及读取方法
CN109344192B (zh) 一种优化cimiss数据库系统及其适配方法
CN112765294A (zh) 一种气象大数据处理调度系统
He et al. Design and Implementation of Intelligent Load-Balancing Heterogeneous Data Source Middleware Based on ActiveMQ and XML
CN102298648A (zh) 开放式实时数据库跨进程访问方法
CN112231406A (zh) 一种分布式云数据集中处理方法
CN211928581U (zh) 一种用于存储电力大数据的存储系统
Wang et al. Research on message gateway based on heterogeneous system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication