CN113890876A - 一种基于微服务框架的综采工作面数据中台的节点管控方法 - Google Patents

一种基于微服务框架的综采工作面数据中台的节点管控方法 Download PDF

Info

Publication number
CN113890876A
CN113890876A CN202110114135.0A CN202110114135A CN113890876A CN 113890876 A CN113890876 A CN 113890876A CN 202110114135 A CN202110114135 A CN 202110114135A CN 113890876 A CN113890876 A CN 113890876A
Authority
CN
China
Prior art keywords
data
service
micro
mining face
fully mechanized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110114135.0A
Other languages
English (en)
Inventor
贺鑫
李旭
沈超
董博
李世辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110114135.0A priority Critical patent/CN113890876A/zh
Publication of CN113890876A publication Critical patent/CN113890876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于微服务框架的综采工作面数据中台的节点管控方法，本发明以数据中台为基础，打破现有技术壁垒。实时接收多系统的不同数据源中的数据，通过将各模块数据统一获取、处理并存储于数据中台，保证数据资源的准确性和完整性。当某个子系统需要使用该部分资源时，直接从数据中台调用，保证了数据使用的高效性和准确性。

Description

一种基于微服务框架的综采工作面数据中台的节点管控方法
技术领域
本发明属于节点管控领域，具体涉及一种基于微服务框架的综采工作面数据中台的节点管控方法。
背景技术
随着互联网的发展和轻量级运行技术的发展，越来越多的微服务框架也开始出现，然而目前常见的服务框架中，业务代码耦合严重，这将直接影响到代码的可维护性和可扩展性，导致开发人员在业务开发时，不得不去关注很多不必要的技术细节，诸如网络连接，代码解析结果等，从而降低了业务开发效率和代码质量。
现阶段矿井各子系统数据获取主要依靠自身，由于各子系统获取数据途径不同导致数据处理程度、数据处理精度和数据统计结果均不相同，为了打破现有技术壁垒，方便各子系统数据获取，及保证获取数据的准确性和完整性，提出本技术方案。
发明内容
本发明的目的在于克服上述不足，提供一种基于微服务框架的综采工作面数据中台的节点管控方法，实现高可用。
为了达到上述目的，本发明包括以下步骤：
S1，多系统实时接收不同数据源的数据；
S2，当接入的数据量超过Nginx负载均衡配置策略时，触发Round-Robin调度算法对数据指定轻负载IP服务节点进行数据分发；
S3，根据系统的数据压力，动态加强数据网关控制及负载均衡的能力；
S4，鉴权系统对数据分配权限，并将数据储于特定数据存储单元。
S1通过Hadoop大数据集群中心处理，Hadoop大数据集群中心用于对多源、多方式接入的数据做统一集中归纳、计算、编排和存储等，最终形成完整的数据。
Hadoop大数据集群中心的接收的数据包括以下方式导入：
通过KaFka数据直接接入，利用Flink内提前规划好的针对于不同数据不同结构的业务处理算法，对数据进行一次统计、分析和处理，并存入数仓内；
各系统内的业务数据、日志数据、操作数据和高可用备份数据利用Flink接入，根据其发送到数据报文，对数据进行分类、编排和存储，建立具备数据高密度、高复用率的数仓。
Flink内根据配置心中所提前规划好的算法和脚本，应用于各数据源各数据报文的标识。
Hadoop大数据集群中心采用节点高可用方式的进行HA全分布式部署。
S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：
数据将被传输至数仓内，作为实时数据存储；
实时数据在存储时根据配置中心静态获取的策略配置；
对实时数据进行范围性对数据进行打包，并重新赋予数据标识；
根据数据标识在Hbase内建立数据索引目录，并将需要展示的数据放在Mysql中。
S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：
侵入式接入时，修改其接入系统内部代码；
数据输入到监测服务组建中，由组件进行数据在其系统内容的分发和权限控制，同时监测数据传输周期；
在数据输出时，采用平台下发SDK数据处理服务中间组件，进行对数据上传；
上传时将采用数据报文方式，上传至Hadoop大数据集群中心的外部服务数据传输服务单元内。
S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：
非侵入式接入时，由接入系统对KaFka数据采集系统，在处理完成后或业务逻辑闭环后，平台提供统一对外暴露的动态API网关服务，利用其API对数据进行上传。
鉴权系统数据鉴权逻辑如下：
依据数据报文头部内容来识别数据的真实性及有效性；
数据报文头部包含时间有效、内容有效；
发送侧根据数据内容进行SHA256 Hash加密算法对内容进行加密，在鉴权系统检测到数据推送时，比较秘钥和内容是否一致，完成鉴权。
与现有技术相比，本发明以数据中台为基础，打破现有技术壁垒。实时接收多系统的不同数据源中的数据，通过将各模块数据统一获取、处理并存储于数据中台，保证数据资源的准确性和完整性。当某个子系统需要使用该部分资源时，直接从数据中台调用，保证了数据使用的高效性和准确性。
附图说明
图1为本发明的系统框图。
具体实施方式
下面结合附图对本发明做进一步说明。
参见图1，本发明具备多系统非同一数据源的结入方式；
当接入数据量超过Nginx负载均衡配置策略时，就会触发Round-Robin调度算法对数据指定轻负载IP服务节点进行数据分发；
由KaFka(分布式流处理发布订阅消息系统)进行同一数据订阅分发。并依靠其存储能力，对接收到的数据进行一次缓存。随数据流向闭环该缓存数据删除。
根据接入系统数据压力。会动态加强数据网关控制及负载均衡的能力，提高数据鉴权OAuth平台的可用性，鉴权系统数据鉴权逻辑为：依据数据报文头部内容来识别数据的真实性及有效性。包含时间有效、内容有效。发送侧会根据数据内容进行SHA256 Hash加密算法对内容进行加密，在鉴权系统检测到数据推送时，不会过滤内容只会比较秘钥和内容是否一致。这个就是鉴权逻辑。
KaFka数据采集系统，Nginx+Keepalived控制QPS。实际将处理能力动态的对这两个服务节点进行增加。
在数据集中处理系统(KaFka)中，对处理过后的数据进行的分发包括如下方式：
1、数据将被传输至数仓内，不改变数据标识、数据报文头部信息，直接进行存储。作为实时数据存储。
数据将在存储时根据配置中心静态获取的策略配置，对数据进行范围性(包含标签：时间、长度、大小)对数据进行打包，并重新赋予数据标识。
根据数据标识(数据唯一ID)将在Hbase内建立数据索引目录。
需要展示的将放在Mysql(关系型数据库)中。
2、当有在用系统需要用到接入数据源中的数据时。提供以下两种输出方式：
1)侵入式接入；
需要修改其接入系统内部代码。
接入方式将由平台提供监测服务SDK中间组件。数据将直接输入到监测服务组建中，由组件进行数据在其系统内容的分发和权限控制。同时具备监测数据传输周期(超时、重启、通知、停止)。
由于接入系统本身的数据处理逻辑及能力。在数据输出时，依然采用平台下发SDK数据处理服务中间组件，进行对数据上传。
上传，将采用数据报文方式，头部消息包含接入系统信息、输出时间、数据标识。上传至Hadoop大数据集群中心的外部服务-数据传输服务单元内。
2)非侵入式接入；
由接入系统自己对接数据集中处理系统(KaFka)。在处理完成后或业务逻辑闭环后，平台提供统一对外暴露的动态API网关服务，利用其API对数据进行上传。
上传逻辑同上。
非侵入式不具备数据传输周期监测功能，无法调度数据源。
Hadoop-分布式高可用大数据集群处理中心的作用主要是对多源、多方式接入的数据做统一集中归纳、计算、编排、存储等。形成完整的数据使用方案。
接入至Hadoop的方法如下：
1、通过KaFka数据直接接入。利用Flink内提前规划好的针对于不同数据不同结构的业务处理算法对数据进行一次统计、分析、处理。并存入数仓内；
2、接入的各系统内的业务数据、日志数据、操作数据、高可用备份数据等利用Flink，根据其发送到数据报文，对数据进行分类、编排、存储。建立具备数据高密度、高复用率的数仓，为其它数据逻辑提供解决方案。
Flink内根据配置心中所提前规划好的算法、脚本。应用于各数据源各数据报文的标识，来做不同应对。
HZY-IMMS-DATA-API的工作方法如下：
这个是用于对外提供数仓的一种解决方案。
通过请求的负载均衡，对需要存储在数仓的数据进行查询并返回。
请求将提供用户名+密码的方式。获取Token，TTL(有效存活时间)时间＝86400S或100次。
具备权限，根据不同权限所开放的数据查询内容不同。
Hadoop内整体采用节点高可用方式的进行HA全分布式部署，其部署方式为：
1、采用CENTOS 7.2x64 MINI基本内核；
2、Zookeeper*6；
3、HDFS|DataNode(分布式文件存储系统)(数据节点)*32；
4、HBase(分布式Nosql数据库)*8；
5、Redis*12(基于哨兵模式进行分布式部署)；
6、HIVE(数据仓库)*3(应用于不同场景)；
7、Flink*8(动态扩容)；
8、Nginx+Keepalived*6(动态扩容)；
9、Mysql(主备)*12；
10、KaFka*8(动态扩容)；
11、Yarn*4(主备、任务资源调度单元)；
12、NameNode*4(主备、元数据服务单元)；
13、JourNalNode*32(高可用数据同步单元)；
14、鉴权+业务处理系统*4(用于配置中心提供可操作性前端系统及权限分配系统)。
HZY-DATA-DIS用于日志、操作性数据、非功能性(非用户数据、设备数据、权限数据)数据监控系统。
平台对所有节点进行统一约定包含：
(1)数据节点标识。
(2)数据报文内容。
(3)数据权限访问方式。
该系统将特定标识数据进行单独抽取(KaFka服务生命周期内执行操作数据集、数据传输心跳数据集、Flink生命周期数据处理数据集、接入的子系统状态数据集、高可用状态数据集、监测服务状态数据集、负载均衡+路由状态分发状态数据集、keepalived VRRP状态数据集等)。系统将对这些进行记录并根据逻辑进行各子节点的状态数据集进行计算，协调+平衡数据能力。优化各节点服务能力。
最终处理完毕的数据，将存储于独立于平台的隐私数据存储单元，并有专业的技术人员进行人工查阅。

Claims (9)

1.一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，包括以下步骤：
S1，多系统实时接收不同数据源的数据；
S2，当接入的数据量超过Nginx负载均衡配置策略时，触发Round-Robin调度算法对数据指定轻负载IP服务节点进行数据分发；
S3，根据系统的数据压力，动态加强数据网关控制及负载均衡的能力；
S4，鉴权系统对数据分配权限，并将数据储于特定数据存储单元。
2.根据权利要求1所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，S1通过Hadoop大数据集群中心处理，Hadoop大数据集群中心用于对多源、多方式接入的数据做统一集中归纳、计算、编排和存储等，最终形成完整的数据。
3.根据权利要求2所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，Hadoop大数据集群中心的接收的数据包括以下方式导入：
通过KaFka数据直接接入，利用Flink内提前规划好的针对于不同数据不同结构的业务处理算法，对数据进行一次统计、分析和处理，并存入数仓内；
各系统内的业务数据、日志数据、操作数据和高可用备份数据利用Flink接入，根据其发送到数据报文，对数据进行分类、编排和存储，建立具备数据高密度、高复用率的数仓。
4.根据权利要求3所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，Flink内根据配置心中所提前规划好的算法和脚本，应用于各数据源各数据报文的标识。
5.根据权利要求2所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，Hadoop大数据集群中心采用节点高可用方式的进行HA全分布式部署。
6.根据权利要求1所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：
数据将被传输至数仓内，作为实时数据存储；
实时数据在存储时根据配置中心静态获取的策略配置；
对实时数据进行范围性对数据进行打包，并重新赋予数据标识；
根据数据标识在Hbase内建立数据索引目录，并将需要展示的数据放在Mysql中。
7.根据权利要求1所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：
侵入式接入时，修改其接入系统内部代码；
数据输入到监测服务组建中，由组件进行数据在其系统内容的分发和权限控制，同时监测数据传输周期；
在数据输出时，采用平台下发SDK数据处理服务中间组件，进行对数据上传；
上传时将采用数据报文方式，上传至Hadoop大数据集群中心的外部服务数据传输服务单元内。
8.根据权利要求1所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：
非侵入式接入时，由接入系统对KaFka数据采集系统，在处理完成后或业务逻辑闭环后，平台提供统一对外暴露的动态API网关服务，利用其API对数据进行上传。
9.根据权利要求1所述的一种基于微服务框架的综采工作面数据中台的节点管控方法，其特征在于，鉴权系统数据鉴权逻辑如下：
依据数据报文头部内容来识别数据的真实性及有效性；
数据报文头部包含时间有效、内容有效；
发送侧根据数据内容进行SHA256 Hash加密算法对内容进行加密，在鉴权系统检测到数据推送时，比较秘钥和内容是否一致，完成鉴权。
CN202110114135.0A 2021-01-27 2021-01-27 一种基于微服务框架的综采工作面数据中台的节点管控方法 Pending CN113890876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110114135.0A CN113890876A (zh) 2021-01-27 2021-01-27 一种基于微服务框架的综采工作面数据中台的节点管控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110114135.0A CN113890876A (zh) 2021-01-27 2021-01-27 一种基于微服务框架的综采工作面数据中台的节点管控方法

Publications (1)

Publication Number Publication Date
CN113890876A true CN113890876A (zh) 2022-01-04

Family

ID=79013010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110114135.0A Pending CN113890876A (zh) 2021-01-27 2021-01-27 一种基于微服务框架的综采工作面数据中台的节点管控方法

Country Status (1)

Country Link
CN (1) CN113890876A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726004A (zh) * 2017-10-27 2019-05-07 中移(苏州)软件技术有限公司 一种数据处理方法及装置
CN110489204A (zh) * 2019-07-01 2019-11-22 广东轩辕网络科技股份有限公司 一种基于容器集群的大数据平台架构系统
CN110809017A (zh) * 2019-08-16 2020-02-18 云南电网有限责任公司玉溪供电局 一种基于云平台和微服务构架的数据分析应用平台系统
WO2020211222A1 (zh) * 2019-04-15 2020-10-22 厦门市美亚柏科信息股份有限公司 基于数据服务平台提供微服务的方法、装置、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726004A (zh) * 2017-10-27 2019-05-07 中移(苏州)软件技术有限公司 一种数据处理方法及装置
WO2020211222A1 (zh) * 2019-04-15 2020-10-22 厦门市美亚柏科信息股份有限公司 基于数据服务平台提供微服务的方法、装置、存储介质
CN110489204A (zh) * 2019-07-01 2019-11-22 广东轩辕网络科技股份有限公司 一种基于容器集群的大数据平台架构系统
CN110809017A (zh) * 2019-08-16 2020-02-18 云南电网有限责任公司玉溪供电局 一种基于云平台和微服务构架的数据分析应用平台系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓博;曲嘉旭;杨杉;叶海纳;: "基于微服务架构的高精度室内外综合位置服务平台设计", 邮电设计技术, no. 02, 20 February 2020 (2020-02-20) *

Similar Documents

Publication Publication Date Title
CN111787073B (zh) 一种统一服务的限流熔断平台及其方法
EP3497915B1 (en) Peer-to-peer communication system and peer-to-peer processing apparatus
CN110009201B (zh) 一种基于区块链技术的电力数据链接系统及方法
CN111930851B (zh) 区块链网络的管控数据处理方法、装置、介质及电子设备
CN113079159B (zh) 一种基于区块链的边缘计算网络系统
US8606897B2 (en) Systems and methods for exporting usage history data as input to a management platform of a target cloud-based network
CN112835977B (zh) 一种基于区块链的数据库管理方法及系统
CN105809356A (zh) 一种基于应用集成云平台的信息系统资源管理方法
CN111754216A (zh) 一种支付链路自动切换方法
CN103516814A (zh) 一种大数据量的数据交换方法
CN112307501B (zh) 基于区块链技术的大数据系统及存储方法和使用方法
CN103986748A (zh) 实现服务化的方法和装置
CN104519140A (zh) 一种分布式并行计算的服务器系统及其管理方法
CN110113406A (zh) 基于分布式的计算服务集群框架
CN107770276A (zh) 一种实现用户数据独立管理与更新的网络系统和方法
CN110213338A (zh) 一种基于加密运算的集群化加速计算方法及系统
CN114710571B (zh) 数据包处理系统
CN116485136A (zh) 基于云边协同的锂电池产线数据平台建设方法及系统
CN111953771A (zh) 一种配电物联网管理系统
CN107480302A (zh) 一种基于企业级应用场景的松耦合数据集成同步实现方法
CN103957173A (zh) 语义交换机
CN113890876A (zh) 一种基于微服务框架的综采工作面数据中台的节点管控方法
CN114785526B (zh) 基于区块链的多用户多批次权重分配计算及存储处理系统
CN115442029A (zh) 一种用于智能工厂的云平台
CN113378219B (zh) 一种非结构化数据的处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination