CN115168474A - 一种基于大数据模型的物联中台系统搭建方法 - Google Patents

一种基于大数据模型的物联中台系统搭建方法 Download PDF

Info

Publication number
CN115168474A
CN115168474A CN202210883530.XA CN202210883530A CN115168474A CN 115168474 A CN115168474 A CN 115168474A CN 202210883530 A CN202210883530 A CN 202210883530A CN 115168474 A CN115168474 A CN 115168474A
Authority
CN
China
Prior art keywords
data
internet
things
metadata
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210883530.XA
Other languages
English (en)
Other versions
CN115168474B (zh
Inventor
宋志国
饶龙强
丁强
张刚
叶超
杨飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhiyuanhui Information Technology Co Ltd
Original Assignee
Chengdu Zhiyuanhui Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhiyuanhui Information Technology Co Ltd filed Critical Chengdu Zhiyuanhui Information Technology Co Ltd
Priority to CN202210883530.XA priority Critical patent/CN115168474B/zh
Publication of CN115168474A publication Critical patent/CN115168474A/zh
Application granted granted Critical
Publication of CN115168474B publication Critical patent/CN115168474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于大数据模型的物联中台系统搭建方法，包括以下步骤：(S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；(S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配；(S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据；(S4)选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；(S5)二次开发AJ‑Report进行数据报表可视化展示。本发明方法构建的物联中台系统可扩展性和维护性更好，比较容易扩展节点，且统一数据接入、出口和使用规范，能够适应各个数据需求方的使用场景，不用重复造轮子和定制化开发，降低人员和维护成本。

Description

一种基于大数据模型的物联中台系统搭建方法
技术领域
本发明属于计算机领域，具体地说，是一种基于大数据模型的物联中台系统搭建方法。
背景技术
随着经济社会的高速发展，科学技术的进步，人们在联网科技设备上交流越来越频繁，产生的数据信息越来越多，为了利用好数据，充分发挥数据的价值，大数据技术就是在这一环境下的技术产物。
万物互联的时代，用户通过物联网技术来实现人与物、物与物之间的链接和数据交换与控制，并利用信息和通信技术来提升物联技术的功能。人们可以使用智能装置和感知技术，采集装置数据，同时通过技术手段，实现对物理世界的控制，辅助做出明智的决策。
使用物联网技术能够收集、转发终端设备的实时数据，然后使用大数据技术对海量数据进行转换、存储、分析，为管理者提供有效地数据支撑，并发现问题，解决问题。
传统的物联网中台架构无法满足海量数据的存储和查询分析，扩展性比较差，对数据的多样式存储不能很好的满足且系统的稳定性和实时性得不到保证。
发明内容
本发明的目的在于提供一种基于大数据模型的物联中台系统搭建方法，主要解决现有物联网中台架构扩展性差及系统无法保证稳定性和实时性的问题。
为实现上述目的，本发明采用的技术方案如下：
一种基于大数据模型的物联中台系统搭建方法，包括以下步骤：
(S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；
(S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配，并将设备数据发送到Clickhouse的设备信息表中，设备的日志数据发送到IoTDB中；
(S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据，动态分区，动态创建hive表，将数据加载到hive用作离线分析使用，并利用hadoop的纠删码特性归档冷数据；
(S4)选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；
(S5)二次开发AJ-Report进行数据报表可视化展示，构建属于适合本中台的可拖拽、可快速构建物联设备数据、集群状态信息的可视化展示平台。
进一步地，在本发明中，所述业务元数据包括数据库表和业务规则；所述技术元数据包括数据库对象属性、任务执行信息和上下游依赖数据；所述操作元数据包括批处理的执行日志和报表访问数据。
进一步地，在本发明中，在步骤(S2)中，Flink分布式数据处理引擎对数据的处理过程如下：在Kafka规则rule_topic中解析规则字符串为可用规则，在Kafka设备日志topic中解析日志数据需要匹配的字段；将解析的可用规则及字段发送到siddhi规则引擎中，利用flink_job根据规则匹配生成的事件输出到Kafka_topic中。
进一步地，在本发明中，在步骤(S3)中，动态分区、动态创建hive表的过程如下：分布式计算引擎Spark请求IoTDB得到所有的时间序列，对时间序列进行处理，除“_”下划线之外的所有符号都替换为下划线；spark sql根据表名和时间端where过去取得的数据，根据查询的DataFrame schema和存在的hive表的schema比较是否发生了schema的变化，如果发生变化，则根据变化后的schema，同表名+n后缀新建表，随后，spark DataFrame根据p_date字段分区，通过算子saveAs Table`写hive表；如果没发生变化，则直接根据sparkDataFrame根据p_date字段分区，通过算子saveAs Table`写hive表。
进一步地，在本发明中，在步骤(S5)中，可视化展示品台的构建方法如下：登录ar-report web页面，添加数据源，新建dashboard，拖拽可视化的图表组件，再利用图表组件绑定数据源即可。
与现有技术相比，本发明具有以下有益效果：
(1)本发明方法构建的物联中台系统可扩展性和维护性更好，比较容易扩展节点，增加计算和存储的能力，且统一数据接入、出口和使用规范，能够适应各个数据需求方的使用场景，不用重复造轮子和定制化开发，降低人员和维护成本。
(2)本发明方法构建的物联中台系统使用Flink、Kafka、Clickhouse和IoTDB技术能够实时提供数据的访问需求，及时响应，并且单节点的数据处理能力能达到每分钟200万数据级的处理。
(3)本发明方法构建的物联中台系统统一的接口、统一的数据规范进行业务迭代；可以开展各种数据分析和智能运维管理；且能够很好的保证数据的安全性，同时可以利用白名单、身份验证以及敏感数据脱敏等技术手段，保证数据泄露的安全；采用分布式多副本存储的方式保证数据的存储安全。
附图说明
图1为本发明方法的流程示意图。
图2为本发明中Flink分布式数据处理引擎对数据的处理过程的流程示意图。
图3为本发明中动态分区、动态创建hive表的流程示意图。
图4为本发明中可视化展示品台的构建的流程示意图。
具体实施方式
下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。
实施例
如图1所示，本发明公开的一种基于大数据模型的物联中台系统搭建方法，该方法选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；利用Kafka消息中间件的处理能力，可以应对不同类型的协议、不同品牌的设备以及不同数据格式的设备数据。
如图2所示，选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配，并将设备数据发送到Clickhouse的设备信息表中，设备的日志数据发送到IoTDB中；Flink的基于事件时间、状态以及Checkpoint、savepoint机制保证了数据的时效性、一致性和准确性。其中，不同设备的数据在Kafka规则rule_topic中解析规则字符串为可用规则，在Kafka设备日志topic中解析日志数据需要匹配的字段；将解析的可用规则及字段发送到siddhi规则引擎中，利用flink_job根据规则匹配生成的事件输出到Kafka_topic中。
如图3所示，选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据，动态分区，动态创建hive表，将数据加载到hive用作离线分析使用，并利用hadoop的纠删码特性归档冷数据；减少存储空间。其中，动态分区，动态创建hive表的过程为：分布式计算引擎Spark请求IoTDB得到所有的时间序列，对时间序列进行处理，除“_”下划线之外的所有符号都替换为下划线；spark sql根据表名和时间端where过去取得的数据，根据查询的DataFrame schema和存在的hive表的schema比较是否发生了schema的变化，如果发生变化，则根据变化后的schema，同表名+n后缀新建表，随后，spark DataFrame根据p_date字段分区，通过算子saveAs Table`写hive表；如果没发生变化，则直接根据spark DataFrame根据p_date字段分区，通过算子saveAs Table`写hive表。
选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；比如对数据库表、业务规则等业务元数据，数据库对象属性、任务执行信息、上下游依赖等技术元数据，批处理的执行日志、报表访问等操作元数据进行统一模型管理，构建血缘关系来回答有哪些数据、有多少数据、如何查找数据、数据如何流转等一些列问题。
如图4所示，二次开发AJ-Report进行数据报表可视化展示，构建属于适合本中台的可拖拽、可快速构建物联设备数据、集群状态信息的可视化展示平台。具体构建方法如下：登录ar-report web页面，添加数据源，新建dashboard，拖拽可视化的图表组件，再利用图表组件绑定数据源即可。
通过上述设计，本发明方法构建的物联中台系统可扩展性和维护性更好，比较容易扩展节点，增加计算和存储的能力，且统一数据接入、出口和使用规范，能够适应各个数据需求方的使用场景，不用重复造轮子和定制化开发，降低人员和维护成本。
上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。

Claims (5)

1.一种基于大数据模型的物联中台系统搭建方法，其特征在于，包括以下步骤：
(S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；
(S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配，并将设备数据发送到Clickhouse的设备信息表中，设备的日志数据发送到IoTDB中；
(S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据，动态分区，动态创建hive表，将数据加载到hive用作离线分析使用，并利用hadoop的纠删码特性归档冷数据；
(S4)选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；
(S5)二次开发AJ-Report进行数据报表可视化展示，构建属于适合本中台的可拖拽、可快速构建物联设备数据、集群状态信息的可视化展示平台。
2.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法，其特征在于，所述业务元数据包括数据库表和业务规则；所述技术元数据包括数据库对象属性、任务执行信息和上下游依赖数据；所述操作元数据包括批处理的执行日志和报表访问数据。
3.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法，其特征在于，在步骤(S2)中，Flink分布式数据处理引擎对数据的处理过程如下：在Kafka规则rule_topic中解析规则字符串为可用规则，在Kafka设备日志topic中解析日志数据需要匹配的字段；将解析的可用规则及字段发送到siddhi规则引擎中，利用flink_job根据规则匹配生成的事件输出到Kafka_topic中。
4.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法，其特征在于，在步骤(S3)中，动态分区、动态创建hive表的过程如下：分布式计算引擎Spark请求IoTDB得到所有的时间序列，对时间序列进行处理，除“_”下划线之外的所有符号都替换为下划线；spark sql根据表名和时间端where过去取得的数据，根据查询的DataFrame schema和存在的hive表的schema比较是否发生了schema的变化，如果发生变化，则根据变化后的schema，同表名+n后缀新建表，随后，spark DataFrame根据p_date字段分区，通过算子saveAsTable`写hive表；如果没发生变化，则直接根据spark DataFrame根据p_date字段分区，通过算子saveAs Table`写hive表。
5.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法，其特征在于，在步骤(S5)中，可视化展示品台的构建方法如下：登录ar-report web页面，添加数据源，新建dashboard，拖拽可视化的图表组件，再利用图表组件绑定数据源即可。
CN202210883530.XA 2022-07-26 2022-07-26 一种基于大数据模型的物联中台系统搭建方法 Active CN115168474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210883530.XA CN115168474B (zh) 2022-07-26 2022-07-26 一种基于大数据模型的物联中台系统搭建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210883530.XA CN115168474B (zh) 2022-07-26 2022-07-26 一种基于大数据模型的物联中台系统搭建方法

Publications (2)

Publication Number Publication Date
CN115168474A true CN115168474A (zh) 2022-10-11
CN115168474B CN115168474B (zh) 2023-04-14

Family

ID=83496455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210883530.XA Active CN115168474B (zh) 2022-07-26 2022-07-26 一种基于大数据模型的物联中台系统搭建方法

Country Status (1)

Country Link
CN (1) CN115168474B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719876A (zh) * 2023-08-11 2023-09-08 国网信息通信产业集团有限公司 一种基于规则引擎的时序数据处理方法及终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2752779A2 (en) * 2013-01-07 2014-07-09 Facebook, Inc. System and method for distributed database query engines
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN110245158A (zh) * 2019-06-10 2019-09-17 上海理想信息产业（集团）有限公司 一种基于Flink流计算技术的多源异构数据实时处理系统及方法
CN110865997A (zh) * 2019-11-08 2020-03-06 国网四川省电力公司电力科学研究院 一种电力系统设备隐患在线识别方法及其应用平台
CN112632135A (zh) * 2020-11-18 2021-04-09 北京天源迪科信息技术有限公司 一种大数据平台
CN112667660A (zh) * 2020-12-24 2021-04-16 浙大网新科技股份有限公司 一种基于复杂事件识别的企业内部信息系统数据泄露识别方法
CN113590667A (zh) * 2021-05-31 2021-11-02 深圳感臻科技有限公司 一种基于Spark Streaming的实时数据更新及管理方法
CN113595958A (zh) * 2020-04-30 2021-11-02 杭州萤石软件有限公司 一种物联网设备的安全检测系统及方法
CN113778776A (zh) * 2020-06-23 2021-12-10 北京沃东天骏信息技术有限公司 对任务异常进行预警的方法和装置以及存储介质
WO2022133981A1 (zh) * 2020-12-25 2022-06-30 京东方科技集团股份有限公司 数据处理方法、平台、计算机可读存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2752779A2 (en) * 2013-01-07 2014-07-09 Facebook, Inc. System and method for distributed database query engines
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN110245158A (zh) * 2019-06-10 2019-09-17 上海理想信息产业（集团）有限公司 一种基于Flink流计算技术的多源异构数据实时处理系统及方法
CN110865997A (zh) * 2019-11-08 2020-03-06 国网四川省电力公司电力科学研究院 一种电力系统设备隐患在线识别方法及其应用平台
CN113595958A (zh) * 2020-04-30 2021-11-02 杭州萤石软件有限公司 一种物联网设备的安全检测系统及方法
CN113778776A (zh) * 2020-06-23 2021-12-10 北京沃东天骏信息技术有限公司 对任务异常进行预警的方法和装置以及存储介质
CN112632135A (zh) * 2020-11-18 2021-04-09 北京天源迪科信息技术有限公司 一种大数据平台
CN112667660A (zh) * 2020-12-24 2021-04-16 浙大网新科技股份有限公司 一种基于复杂事件识别的企业内部信息系统数据泄露识别方法
WO2022133981A1 (zh) * 2020-12-25 2022-06-30 京东方科技集团股份有限公司 数据处理方法、平台、计算机可读存储介质及电子设备
CN113590667A (zh) * 2021-05-31 2021-11-02 深圳感臻科技有限公司 一种基于Spark Streaming的实时数据更新及管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔恒志;蒋承伶;缪巍巍;杨维永;马涛;沈耀威;: "基于边缘计算的电力智慧物联系统设计与实现" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719876A (zh) * 2023-08-11 2023-09-08 国网信息通信产业集团有限公司 一种基于规则引擎的时序数据处理方法及终端
CN116719876B (zh) * 2023-08-11 2023-10-20 国网信息通信产业集团有限公司 一种基于规则引擎的时序数据处理方法及终端

Also Published As

Publication number Publication date
CN115168474B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN112685385B (zh) 一种用于智慧城市建设的大数据平台
CN110291517B (zh) 图数据库中的查询语言互操作性
Machado et al. DIGO: An open data architecture for e-government
CN108073710B (zh) 基于动态网络图挖掘的Github开源代码库推荐系统
CN110019267A (zh) 一种元数据更新方法、装置、系统、电子设备及存储介质
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
EP2874080A1 (en) Dynamic database mapping
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
US10078624B2 (en) Method of generating hierarchical data structure
Jiang et al. Application intelligent search and recommendation system based on speech recognition technology
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN111737364B (zh) 安全多方数据融合与联邦共享方法、装置、设备及介质
CN110990447A (zh) 一种数据探查方法、装置、设备及存储介质
CN115168474B (zh) 一种基于大数据模型的物联中台系统搭建方法
CN112966162A (zh) 一种基于数据仓库与中间件的科技资源集成方法及装置
CN113282599A (zh) 数据同步方法及系统
JPH08179980A (ja) 分散データベースシステム
CN112579578A (zh) 基于元数据的数据质量管理方法、装置、系统及服务器
US11567957B2 (en) Incremental addition of data to partitions in database tables
CN115599871A (zh) 基于湖仓一体的数据处理系统和方法
Su et al. A study and practice of report system techniques based on three-layer calculating architecture
JP7472078B2 (ja) データ仮想化装置及び方法
Dong Development and Application of Mobile Bookstore Visualization Platform Based on Grid System
Ge On the Application of Big Data in Smart Transformation Enterprises
Li et al. Analysis of Web Log Mining Based on Association Rule

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant