CN110442549A - 一种数据存储装置、工业互联网高并发数据处理系统 - Google Patents

一种数据存储装置、工业互联网高并发数据处理系统 Download PDF

Info

Publication number
CN110442549A
CN110442549A CN201910533616.8A CN201910533616A CN110442549A CN 110442549 A CN110442549 A CN 110442549A CN 201910533616 A CN201910533616 A CN 201910533616A CN 110442549 A CN110442549 A CN 110442549A
Authority
CN
China
Prior art keywords
data
layer
storage
internet
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910533616.8A
Other languages
English (en)
Inventor
邹萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Spaceflight Intelligent Technology Development Co Ltd
Original Assignee
Beijing Spaceflight Intelligent Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Spaceflight Intelligent Technology Development Co Ltd filed Critical Beijing Spaceflight Intelligent Technology Development Co Ltd
Priority to CN201910533616.8A priority Critical patent/CN110442549A/zh
Publication of CN110442549A publication Critical patent/CN110442549A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书公开了一种数据存储装置、工业互联网高并发数据处理系统，其中，工业互联网高并发数据处理系统包括：物联网层、数据网关层、数据存储层、数据计算层、数据应用层；其中，所述物联网层，用于采集数据，并将所述数据通过IOT接入层传输至所述数据网关层；所述数据网关层，用于基于规则引擎对所述数据进行过滤转发；所述数据存储层，用于将所述数据网关层转发的数据；所述数据计算层，用于统计所述物联网层采集的数据中的设备状态进行分析和统计，获得结果；并将所述结果存储至数据库；所述数据应用层，用于调用所述数据存储层存储的数据以及所述数据计算层获取的结果进行应用数据调用服务。

Description

一种数据存储装置、工业互联网高并发数据处理系统
技术领域
本说明书涉及数据处理技术领域，特别涉及一种数据存储装置、工业互联网高并发数据处理系统。
背景技术
工业互联网平台定位为开放式的工业操作系统，基于互联网应用特点和工业应用要求，结合物联网、云计算、大数据、人工智能、区块链等先进技术，对下提供现场工业设备和产品以及工业服务全要素接入，对上提供智能生产、精益制造，智能服务等服务，为企业提供个性化、定制化开发和构建能力。
工业互联网平台的IOT物联层的数据具有高并发，数据低延迟等特点，对数据实时处理性高，一般要求秒级甚至毫秒级数据实时采集和处理要求；工业企业的数据服务和应用具有个性化、定制化等特点，不同的场景对底层数据的存储和计算模型往往要求不同，例如针对企业的排产优化、设备故障诊断、预防性维修等应用场景，不同设备的运行参数、产线工艺往往不同，面向复杂的工业场景，甚至要求提供独立的数据订阅和存储需求，便于企业进行数据个性化分析，如何设计一套统一的、标准的、灵活的、高并发的大数据架构模型，解决平台通用性和企业个性化需求，成为构建工业互联平台的核心。传统的基于Hadoop和Storm的大数据离线和实时处理Lamda架构，对物联网数据实时处理能力不高，侧重于单一业务的应用场景，无法满足上述高并低延迟数据和复杂应用工业场景需求。
发明内容
为了提高物联网数据实时处理能力，本说明书提供一种数据存储装置、工业互联网高并发数据处理系统。
为实现上述目的，本说明书实施方式提供一种工业互联网高并发数据处理系统，包括：
物联网层、数据网关层、数据存储层、数据计算层、数据应用层；其中，
所述物联网层，用于采集数据，并将所述数据通过IOT接入层传输至所述数据网关层；
所述数据网关层，用于基于规则引擎对所述数据进行过滤转发；
所述数据存储层，用于将所述数据网关层转发的数据；
所述数据计算层，用于统计所述物联网层采集的数据中的设备状态进行分析和统计，获得结果；并将所述结果存储至数据库；
所述数据应用层，用于调用所述数据存储层存储的数据以及所述数据计算层获取的结果进行应用数据调用服务。
优选地，所述物联网层基于KeyValue的接入规范，基于Json格式、采用标准的MQTT、HTTP(S)协议进行接入。
优选地，所述数据网关层通过所述IOT接入层将所述数据转发至MQTT Brocker集群，基于规则引擎对所述数据进行转发和过滤。
优选地，在自定义数据订阅时，所述数据网关层以容器化的方式提供专属MQTT服务。
优选地，所述数据存储层中的存储终端和所述数据网关层中的规则引擎均向微服务调度引擎的注册中心进行注册，所述微服务调度引擎的监控中心监控所述数据存储层中的存储终端和所述数据网关层中的规则引擎存储服务。
优选地，所述存储终端包括：实时数据存储系统和历史数据存储系统。
优选地，所述历史数据存储系统将所述物联网层采集的数据中的设备ID取模的结果分散到文件中，所述历史数据存储系统定时对所述文件进行合并，分别按照天或月为单位进行存储；其中，所述文件的数量与取模的结果的数量相等。
优选地，所述数据计算层利用离线分析工具和实时分析工具分别对所述物联网层采集的数据对应的设备状态进行分析和统计，获得结果；并将所述结果存储至结构化数据库中。
为实现上述目的，本说明书实施方式提供一种数据存储装置，包括：存储终端、注册中心单元和监控中心单元；其中，
所述注册中心单元，用于数据存储层中的存储终端和所述数据网关层中的规则引擎的注册；
所述监控中心单元，用于监控所述数据存储层中的存储终端和所述数据网关层中的规则引擎存储服务；
所述存储终端，用于对所述数据网关层转发的数据进行实施存储和历史存储。
优选地，所述存储终端将所述物联网层采集的数据中的设备ID取模的结果分散到文件中，定时对所述文件进行合并，分别按照天或月为单位进行存储；其中，所述文件的数量与取模的结果的数量相等。
由上可见，与现有技术相比较，本技术方案针对工业大数据低延迟、高并发等特点，以及企业复杂工业应用场景需求，提出了一种适用于工业互联网平台的高并发大数据架构模型，同时，在总体架构模型基础上，设计了一套基于KeyValue和MQTT协议的标准接入规范模型，用于支撑通用设备数据传输需求以及高并发传输需要，设计了一种基于规则的数据分发调度引擎，满足企业个性化数据分析需求，设计了一套基于Dubbo微服务框架的调度存储方法，使得存储和计算节点能够灵活扩展，满足高并发和PB级数据存储需求，设计一套统一的数据服务API网关，支持企业资产管理、设备检测、故障诊断、仿真优化等应用数据调用服务。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书提供的一种工业互联网高并发数据处理系统示意图；
图2为本技术方案中规则引擎模型示意图；
图3为本技术方案中数据存储装置示意图；
图4为本技术方案中HDFS存储实现的功能示意图；
图5为本技术方案中数据计算层中Storm计算框架示意图。
具体实施方式
下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本公开省略了已知材料、组件和工艺技术的描述，从而不使本公开的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本公开的实施例的范围的限制。
除非另外特别定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。此外，在本公开各个实施例中，相同或类似的参考标号表示相同或类似的构件。
技术术语：
MQTT：MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)是IBM开发的一个即时通讯协议，成为物联网的重要组成部分，该协议支持所有平台，可以把所有联网物品和外部连接起来，被用来当做传感器和制动器的通信协议。
Lamda：整合离线计算和实时计算的架构，融合不可变性(Immutability)，读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，HBase等各类大数据组件。Lambda架构的目的是为应用程序提供一个低延迟的复合异步数据传输环境，经常需要进行大规模信息处理，包括输入，归类，索引，存储等操作。
IOT：是Internet of Things的缩写，指的是将各种信息传感设备，如射频识别装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网结合起来而形成的一个巨大网络。其目的是让所有的物品都与网络连接在一起，方便识别和管理。
本技术方案设计一套适用于工业互联网平台的高并发大数据架构模型，按照微服务架构进行设计，增加平台的灵活性和可扩展性，采用容器化、微服务技术满足平台通用性和企业个性化数据服务需求，使得平台能够支持千万级设备并发访问，PB级的数据处理能力，同时又为企业提供个性化的服务，保证为工业用户提供可靠、稳定的平台数据服务。
基于上述描述，如图1所示，为本说明书提供的一种工业互联网高并发数据处理系统示意图。包括：
物联网层、数据网关层、数据存储层、数据计算层、数据应用层；其中，
所述物联网层，用于采集数据，并将所述数据通过IOT接入层传输至所述数据网关层；
所述数据网关层，用于基于规则引擎对所述数据进行过滤转发；
所述数据存储层，用于将所述数据网关层转发的数据；
所述数据计算层，用于统计所述物联网层采集的数据中的设备状态进行分析和统计，获得结果；并将所述结果存储至数据库；
所述数据应用层，用于调用所述数据存储层存储的数据以及所述数据计算层获取的结果进行应用数据调用服务。
在本技术方案中，在物联网层，设计标准的接入规范和协议，实现对工业设备、产线、IT系统全要素接入，为了满足不同的行业、领域的设备运行参数的标准化接入，本发明设计一种基于KeyValue的接入规范，基于Json格式，采用标准的MQTT、HTTP(S)协议进行接入，为了降低网络传输性能，MQTT的QoS默认为1，每条数据至少发一次，IOT接入规范如下：
表1
在数据网关层，设计一种基于规则的数据分发调度引擎，如图2所示。根据企业租户对数据进行过滤转发。
如图2所示，物联网层通过SDK发送K、V、T数据传输至云端，所有通用数据转发至平台区的MQTT Brocker集群，如果企业有自定义数据订阅需求，以容器化的方式为企业单独提供专属MQTT服务。规则引擎RuleEngine负责来自平台和企业的数据转发和过滤，其转发和过滤规则如下：
表2规则引擎
在数据存储层，设计一套基于Dubbo微服务框架的数据存储装置，如图3所示。满足实现数据存储和计算节点动态扩展需求。
在图3中，规则引擎作为微服务Provider，存储终端作为微服务Consumer，分别向Dubbo的注册中心Registry注册，后续可通过动态注册的方式灵活扩展数据存储消费者，以满足PB级的存储需求，每个微服务调用次数都被Dubbo的Monior监控，以保证服务高可用、高可靠性。Dubbo的Consumer分为Memcached、HDFS、HBase等多种消费者，其中，实时数据存储于Memcached当中，每台设备只存储前一分钟内的数据，以满足设备运行数据实时查阅的需求(默认每5秒查阅一次)。历史数据分别存储于HDFS和HBase，HDFS用于历史数据长期存储和分析，HBase用于查询设备一年内的数据，由于HDFS写入效率较低，对设备数据先存储成文件，通过定时文件合并的方式，将文件合并到HDFS文件当中，HDFS存储架构如图4所示。
如图4所示，从HDFS消费者转发过来的数据，经过数据存储算法计算，分别分发到N个固定数量的文件当中，数据存储算法按照取模算法，将设备ID尾号取模N分散到N个文件当中，每天定时对N个文件合并，分别按天和按月份存储在HDFS文件当中，每个设备运行参数数据存储为一条记录，存储格式为“iot|equipment|k|v|t”，其中按天存储用于Hive全网计算，计算完之后删除。
在数据计算层，提供Hive离线分析和Storm实时分析工具，对平台和企业的设备开机率、关机率、OEE等设备状态进行分析和统计，并将计算结果存储至结构化数据库。其中，storm用于企业实时设备数据分析，主要分析企业开机、待机、故障累计时间，以此得出企业的设备运行统计数据，Hive用于计算全网设备开机、待机和故障累计时间。如图5所示，为数据计算层中Storm计算框架示意图。
在图5中，每个计算任务为一个Storm的Toplogy，为统计设备累计运行时长，设备的中间状态数据存储在redis当中，运行时间累加，每天将计算结果写入到结构化数据库中永久记录。
在数据服务层，构建统一数据服务API网关，提供设备标识、设备运行数据查询和分析API，支持企业资产管理、设备检测、故障诊断、仿真优化等应用数据调用服务，为保证API服务低延迟和高可靠性，采用Spring Cloud框架，可对API进行注册，发现和治理。
本技术方案针对工业大数据低延迟、高并发等特点，以及企业复杂工业应用场景需求，提出了一种适用于工业互联网平台的高并发大数据架构模型，同时，在总体架构模型基础上，设计了一套基于KeyValue和MQTT协议的标准接入规范模型，用于支撑通用设备数据传输需求以及高并发传输需要，设计了一种基于规则的数据分发调度引擎，满足企业个性化数据分析需求，设计了一套基于Dubbo微服务框架的调度存储方法，使得存储和计算节点能够灵活扩展，满足高并发和PB级数据存储需求，设计一套统一的数据服务API网关，支持企业资产管理、设备检测、故障诊断、仿真优化等应用数据调用服务。
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。
虽然通过实施方式描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (10)

1.一种工业互联网高并发数据处理系统，其特征在于，包括：
物联网层、数据网关层、数据存储层、数据计算层、数据应用层；其中，
所述物联网层，用于采集数据，并将所述数据通过IOT接入层传输至所述数据网关层；
所述数据网关层，用于基于规则引擎对所述数据进行过滤转发；
所述数据存储层，用于将所述数据网关层转发的数据；
所述数据计算层，用于统计所述物联网层采集的数据中的设备状态进行分析和统计，获得结果；并将所述结果存储至数据库；
所述数据应用层，用于调用所述数据存储层存储的数据以及所述数据计算层获取的结果进行应用数据调用服务。
2.如权利要求1所述的系统，其特征在于，所述物联网层基于KeyValue的接入规范，基于Json格式、采用标准的MQTT、HTTP协议进行接入。
3.如权利要求1所述的系统，其特征在于，所述数据网关层通过所述IOT接入层将所述数据转发至MQTT Brocker集群，基于规则引擎对所述数据进行转发和过滤。
4.如权利要求3所述的系统，其特征在于，在自定义数据订阅时，所述数据网关层以容器化的方式提供专属MQTT服务。
5.如权利要求1所述的系统，其特征在于，所述数据存储层中的存储终端和所述数据网关层中的规则引擎均向微服务调度引擎的注册中心进行注册，所述微服务调度引擎的监控中心监控所述数据存储层中的存储终端和所述数据网关层中的规则引擎存储服务。
6.如权利要求5所述的系统，其特征在于，所述存储终端包括：实时数据存储系统和历史数据存储系统。
7.如权利要求6所述的系统，其特征在于，所述历史数据存储系统将所述物联网层采集的数据中的设备ID取模的结果分散到文件中，所述历史数据存储系统定时对所述文件进行合并，分别按照天或月为单位进行存储；其中，所述文件的数量与取模的结果的数量相等。
8.如权利要求1所述的系统，其特征在于，所述数据计算层利用离线分析工具和实时分析工具分别对所述物联网层采集的数据对应的设备状态进行分析和统计，获得结果；并将所述结果存储至结构化数据库中。
9.一种数据存储装置，其特征在于，包括：存储终端、注册中心单元和监控中心单元；其中，
所述注册中心单元，用于数据存储层中的存储终端和所述数据网关层中的规则引擎的注册；
所述监控中心单元，用于监控所述数据存储层中的存储终端和所述数据网关层中的规则引擎存储服务；
所述存储终端，用于对所述数据网关层转发的数据进行实施存储和历史存储。
10.如权利要求9所述的装置，其特征在于，所述存储终端将所述物联网层采集的数据中的设备ID取模的结果分散到文件中，定时对所述文件进行合并，分别按照天或月为单位进行存储；其中，所述文件的数量与取模的结果的数量相等。
CN201910533616.8A 2019-06-19 2019-06-19 一种数据存储装置、工业互联网高并发数据处理系统 Pending CN110442549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910533616.8A CN110442549A (zh) 2019-06-19 2019-06-19 一种数据存储装置、工业互联网高并发数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910533616.8A CN110442549A (zh) 2019-06-19 2019-06-19 一种数据存储装置、工业互联网高并发数据处理系统

Publications (1)

Publication Number Publication Date
CN110442549A true CN110442549A (zh) 2019-11-12

Family

ID=68429230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910533616.8A Pending CN110442549A (zh) 2019-06-19 2019-06-19 一种数据存储装置、工业互联网高并发数据处理系统

Country Status (1)

Country Link
CN (1) CN110442549A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738281A (zh) * 2021-03-31 2021-04-30 深圳佳兆业科技集团有限公司 服务调用系统
CN112770137A (zh) * 2020-12-31 2021-05-07 重庆空间视创科技有限公司 基于微服务数据采集方法
CN113051445A (zh) * 2019-12-27 2021-06-29 北京国双科技有限公司 工业生产数据处理方法、装置、计算机设备和存储介质
CN113778026A (zh) * 2021-07-30 2021-12-10 苏州集云云信息科技有限公司 一种基于工业物联网的监控方法及系统
CN113873011A (zh) * 2021-08-30 2021-12-31 上海威派格智慧水务股份有限公司 一种物联网消息通知系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051445A (zh) * 2019-12-27 2021-06-29 北京国双科技有限公司 工业生产数据处理方法、装置、计算机设备和存储介质
CN112770137A (zh) * 2020-12-31 2021-05-07 重庆空间视创科技有限公司 基于微服务数据采集方法
CN112770137B (zh) * 2020-12-31 2022-06-17 重庆空间视创科技有限公司 基于微服务数据采集方法
CN112738281A (zh) * 2021-03-31 2021-04-30 深圳佳兆业科技集团有限公司 服务调用系统
CN113778026A (zh) * 2021-07-30 2021-12-10 苏州集云云信息科技有限公司 一种基于工业物联网的监控方法及系统
CN113873011A (zh) * 2021-08-30 2021-12-31 上海威派格智慧水务股份有限公司 一种物联网消息通知系统及方法

Similar Documents

Publication Publication Date Title
CN110442549A (zh) 一种数据存储装置、工业互联网高并发数据处理系统
Ahmed et al. The role of big data analytics in Internet of Things
Sittón-Candanedo et al. Edge computing architectures in industry 4.0: A general survey and comparison
Mocnej et al. Decentralised IoT architecture for efficient resources utilisation
CN104049575B (zh) 在过程控制系统中收集并且向大数据机器递送数据
CN103336813B (zh) 一种基于中间件架构的物联网数据集成管理方案
CN110716744A (zh) 一种数据流处理方法、系统和计算机可读存储介质
Oppitz et al. Internet of things
CN107103064B (zh) 数据统计方法及装置
CN104967686B (zh) 一种构建面型3s智慧服务商店系统及其设计方法
Chen et al. Context-oriented data acquisition and integration platform for internet of things
Hoffmann Smart agents for the Industry 4.0
CN106528169B (zh) 一种基于AnGo动态演化模型的Web系统开发可复用方法
CN113868306A (zh) 一种基于opc-ua规范的数据建模系统和方法
Diyan et al. Intelligent Internet of Things gateway supporting heterogeneous energy data management and processing
CN115150274A (zh) 时间敏感网络设备的统一配置方法、系统及存储介质
Valdivieso Caraguay et al. Monitoring and discovery for self-organized network management in virtualized and software defined networks
Taherkordi et al. Context-driven and real-time provisioning of data-centric IoT services in the cloud
Valdeolmillos et al. Sensing as a service: An architecture proposal for big data environments in smart cities
Zeydan et al. Recent advances in data engineering for networking
Bellavista et al. Design guidelines for big data gathering in industry 4.0 environments
Lopez et al. A context middleware based on sensor and RFID information
Spieb et al. Maximizing the business value of networked embedded systems through process-level integration into enterprise software
Cecílio et al. Existing middleware solutions for wireless sensor networks
Andrade et al. Data interplay: A model to optimize data usage in the Internet of Things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination