CN110933107A - 分布式统计分析系统的配置方法及分布式统计分析系统 - Google Patents

分布式统计分析系统的配置方法及分布式统计分析系统 Download PDF

Info

Publication number
CN110933107A
CN110933107A CN201911294239.3A CN201911294239A CN110933107A CN 110933107 A CN110933107 A CN 110933107A CN 201911294239 A CN201911294239 A CN 201911294239A CN 110933107 A CN110933107 A CN 110933107A
Authority
CN
China
Prior art keywords
computing node
node
statistical
statistical analysis
leader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911294239.3A
Other languages
English (en)
Inventor
杨林
孟晓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuchang University
Original Assignee
Xuchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuchang University filed Critical Xuchang University
Priority to CN201911294239.3A priority Critical patent/CN110933107A/zh
Publication of CN110933107A publication Critical patent/CN110933107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及分布式统计分析系统技术领域，具体为分布式统计分析系统的配置方法及分布式统计分析系统，该配置方法包括以下步骤：步骤一、选举计算节点集群中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，能够在统计分析任务繁重时，利用基于外部服务器的外部计算节点，进而大大提高分布式统计分析系统的运算能力，加速对数据的统计分析；并且，在对外部计算节点进行传输时，先进行明文加密，再压缩，能够保障统计任务的安全传输，同时缩减传输时的流量消耗，安全性能高。

Description

分布式统计分析系统的配置方法及分布式统计分析系统
技术领域
本发明涉及分布式统计分析系统技术领域，具体为分布式统计分析系统的配置方法及分布式统计分析系统。
背景技术
分布式系统是一种由多个处理资源相互连接在一起的计算机系统。这些处理资源又可以称为节点设备，在统一的控制下来执行同一任务。如中国专利CN102497280就公开了一种分布式系统，其能够实现多个设备节点之间的相互感知。提高了管理效率。分布式系统通常需要具备统计分析的功能。申请号为2017101050317的一项中国专利公开了一种分布式统计分析系统的配置方法，所述分布式统计分析系统包括ZooKeeper集群，服务节点和计算节点集群，所述方法包括：选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；服务节点收到统计分析请求后，向领导节点申请计算节点。
但是目前的分布式统计系统中只通过自身内部的服务器设备进行分配统计分析任务，随着统计请求的任务逐渐增加，在统计分析任务繁重时，传统的分布式系统会花费较长的时间，并且，在数据传输时，对统计任务的安全难以实施。
发明内容
为了解决上述的问题，本发明提供分布式统计分析系统的配置方法及分布式统计分析系统。
本发明提供了一种技术方案：一种分布式统计分析系统的配置方法，该配置方法包括以下步骤：
步骤一、选举计算节点集群中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；
步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；
步骤三、领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。
优选的，在步骤三中，服务节点向外部计算节点发送统计请求前，通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄。
优选的，所述服务节点与外部计算节点间通过多频段跳频的WiFi级联技术连接。
优选的，所述服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。
优选的，所述加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩。
优选的，所述内部计算节点只能通过指定的服务节点访问，通过访问地址的限制和账号控制来防止其他服务节点的访问，对其他的服务节点进行屏蔽。
本发明提供了另一种技术方案：一种分布式统计分析系统，其特征在于：包括集群管理模块，用于选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；统计分析模块，用于服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；加密模块，用于通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄；压缩模块，用于将加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩；流量告警模块，用于将服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。
与现有技术相比，本发明的有益效果是：本发明所述的分布式统计分析系统的配置方法及分布式统计分析系统，能够在统计分析任务繁重时，利用基于外部服务器的外部计算节点，进而大大提高分布式统计分析系统的运算能力，加速对数据的统计分析；并且，在对外部计算节点进行传输时，先进行明文加密，再压缩，能够保障统计任务的安全传输，同时缩减传输时的流量消耗，安全性能高。
附图说明
图1为本发明所述的分布式统计分析系统的架构图；
图2为本发明所述的分布式统计分析系统的配置方法流程图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供以下技术方案：
一种分布式统计分析系统的配置方法，该配置方法包括以下步骤：
步骤一、选举计算节点集群中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；
步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；
步骤三、领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。
服务节点向外部计算节点发送统计请求前，通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄。
所述服务节点与外部计算节点间通过多频段跳频的WiFi级联技术连接。
所述服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。
所述加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩。
所述内部计算节点只能通过指定的服务节点访问，通过访问地址的限制和账号控制来防止其他服务节点的访问，对其他的服务节点进行屏蔽。
一种分布式统计分析系统，包括集群管理模块，用于选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；统计分析模块，用于服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；加密模块，用于通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄；压缩模块，用于将加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩；流量告警模块，用于将服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
虽然在上文中已经参考实施例对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施例中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (7)

1.一种分布式统计分析系统的配置方法，其特征在于，该配置方法包括以下步骤：
步骤一、选举计算节点集群中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；
步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；
步骤三、领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。
2.根据权利要求1所述的分布式统计分析系统的配置方法，其特征在于：在步骤三中，服务节点向外部计算节点发送统计请求前，通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄。
3.根据权利要求1所述的分布式统计分析系统的配置方法，其特征在于：所述服务节点与外部计算节点间通过多频段跳频的WiFi级联技术连接。
4.根据权利要求3所述的分布式统计分析系统的配置方法，其特征在于：所述服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。
5.根据权利要求2所述的分布式统计分析系统的配置方法，其特征在于：所述加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩。
6.根据权利要求1所述的分布式统计分析系统的配置方法，其特征在于：所述内部计算节点只能通过指定的服务节点访问，通过访问地址的限制和账号控制来防止其他服务节点的访问，对其他的服务节点进行屏蔽。
7.一种分布式统计分析系统，其特征在于：包括集群管理模块，用于选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；统计分析模块，用于服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；加密模块，用于通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄；压缩模块，用于将加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩；流量告警模块，用于将服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。
CN201911294239.3A 2019-12-16 2019-12-16 分布式统计分析系统的配置方法及分布式统计分析系统 Pending CN110933107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911294239.3A CN110933107A (zh) 2019-12-16 2019-12-16 分布式统计分析系统的配置方法及分布式统计分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911294239.3A CN110933107A (zh) 2019-12-16 2019-12-16 分布式统计分析系统的配置方法及分布式统计分析系统

Publications (1)

Publication Number Publication Date
CN110933107A true CN110933107A (zh) 2020-03-27

Family

ID=69862801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911294239.3A Pending CN110933107A (zh) 2019-12-16 2019-12-16 分布式统计分析系统的配置方法及分布式统计分析系统

Country Status (1)

Country Link
CN (1) CN110933107A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112243A (en) * 1996-12-30 2000-08-29 Intel Corporation Method and apparatus for allocating tasks to remote networked processors
CN103207814A (zh) * 2012-12-27 2013-07-17 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控系统及监控方法
CN106936899A (zh) * 2017-02-25 2017-07-07 九次方大数据信息集团有限公司 分布式统计分析系统的配置方法及分布式统计分析系统
CN109756481A (zh) * 2018-11-30 2019-05-14 广州因特信息科技有限公司 基于互联网异地分布式对接第三方系统的实现方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112243A (en) * 1996-12-30 2000-08-29 Intel Corporation Method and apparatus for allocating tasks to remote networked processors
CN103207814A (zh) * 2012-12-27 2013-07-17 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控系统及监控方法
CN106936899A (zh) * 2017-02-25 2017-07-07 九次方大数据信息集团有限公司 分布式统计分析系统的配置方法及分布式统计分析系统
CN109756481A (zh) * 2018-11-30 2019-05-14 广州因特信息科技有限公司 基于互联网异地分布式对接第三方系统的实现方法及系统

Similar Documents

Publication Publication Date Title
US11159571B2 (en) Apparatus, method and device for encapsulating heterogeneous functional equivalents
WO2022126980A1 (zh) 一种数据传输方法、装置、终端及存储介质
US10122740B1 (en) Methods for establishing anomaly detection configurations and identifying anomalous network traffic and devices thereof
KR102460096B1 (ko) 클라우드 서비스를 위한 암호화 키 관리 방법 및 그 장치
US11671402B2 (en) Service resource scheduling method and apparatus
US11223639B2 (en) Endpoint network traffic analysis
US11153343B2 (en) Generating and analyzing network profile data
CN112615899A (zh) 一种大文件传输方法、装置及系统
CN105516081A (zh) 一种服务器下发安全策略的方法、系统及消息队列中间件
US10469594B2 (en) Implementation of secure socket layer intercept
CN113225351B (zh) 一种请求处理方法、装置、存储介质及电子设备
CN111698126A (zh) 信息监控方法、系统及计算机可读存储介质
US9088609B2 (en) Logical partition media access control impostor detector
CN114938312A (zh) 一种数据传输方法和装置
CN105245336A (zh) 一种文档加密管理系统
CN112714070B (zh) 通信方法、装置、系统及存储介质
CN110933107A (zh) 分布式统计分析系统的配置方法及分布式统计分析系统
CN116389372A (zh) 网络流量的解析方法及其装置、电子设备及存储介质
CN107104964B (zh) 一种网络安全终端及使用方法
CN113922969A (zh) Intel SGX可信服务集群化部署的实现方法、系统及电子设备
CN113726820A (zh) 数据传输系统
CN107483366B (zh) 一种纵向堆叠环境接口扩展设备自动连接方法和装置
CN112995111A (zh) 基于区块链的物联网安全检测方法、设备、系统和介质
CN113595240B (zh) 电力数据的检测方法、装置、设备及存储介质
CN106685911B (zh) 一种数据处理方法及鉴权服务器、客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327

RJ01 Rejection of invention patent application after publication