CN111858098B - 一种基于海量数据的数据交换方法 - Google Patents

一种基于海量数据的数据交换方法 Download PDF

Info

Publication number
CN111858098B
CN111858098B CN202010722793.3A CN202010722793A CN111858098B CN 111858098 B CN111858098 B CN 111858098B CN 202010722793 A CN202010722793 A CN 202010722793A CN 111858098 B CN111858098 B CN 111858098B
Authority
CN
China
Prior art keywords
data
mirror image
slave node
queue
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010722793.3A
Other languages
English (en)
Other versions
CN111858098A (zh
Inventor
邓羽平
刘魁
曹亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Cheng Xin High Tech Information Technology Co ltd, Chengdu University of Information Technology filed Critical Chengdu Cheng Xin High Tech Information Technology Co ltd
Priority to CN202010722793.3A priority Critical patent/CN111858098B/zh
Publication of CN111858098A publication Critical patent/CN111858098A/zh
Application granted granted Critical
Publication of CN111858098B publication Critical patent/CN111858098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于海量数据的数据交换方法，集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；数据从节点订阅消息队列中的主题；数据从节点自动去本地镜像仓库拉取所需的算法镜像；拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。有效解决了集中式数据中心的数据传输压力，提高数据传输与数据分析效率及数据安全性。

Description

一种基于海量数据的数据交换方法
技术领域
本发明涉及一种数据交换方法，尤其涉及一种基于海量数据的数据交换方法，属于云计算技术领域。
背景技术
面对海量级别的数据，我们首先要考虑的问题是如何提高海量数据的操作性能和处理效率。在基于海量数据的前提下，随着云计算及集中式数据中心的从节点的数据量增加，各节点将数据传输到云节点或数据中心时由于物理距离过远，对中心服务造成了巨大的压力，中心服务不仅需要接收从节点传输的数据，还要抽取资源进行计算用于数据分析，容易造成数据阻塞，从而导致服务高延迟、网络波动、数据丢失及网络攻击等问题。
发明内容
为了解决服务高延迟、网络波动、数据丢失及网络攻击等问题，本发明提供了一种基于海量数据的数据交换方法。
本发明的所采用的技术方案如下：
包括集中式数据中心、若干个数据从节点和一个镜像仓库；数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。
一种基于海量数据的数据交换方法包括如下步骤：
S1：集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；
S2：集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；
S3：数据从节点订阅消息队列中的主题；
S4：数据从节点自动去本地镜像仓库拉取所需的算法镜像；
S5：拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；
S6：数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；
S7：集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。
所述步骤S5包括子步骤：
S501：通过镜像部署容器的方式为数据从节点提供计算方法；
S502：通过对镜像的扩展与精简来提高数据从节点的计算能力。
需要在一定物理范围内多个从节点高可靠运行协调任务时，所述步骤S2后还包括：
S21：在多个数据从节点上热备多个容器任务；
S22：当其中一个容器任务异常退出，其他数据从节点的容器任务自动进行选举运行。
在一些高敏任务中，所述步骤S5包括子步骤：
S503：数据从节点通过下载算法镜像获取特定的预警计算功能；
S504：预警计算功能的普遍适用的数据质量的六大评估指标为准确性指标、有效性指标、一致性指标、规范性指标、及时性指标、完整性指标，根据指标对采集数据进行评估；
S505：判断评估分数是否满足预设的期望值，若未满足，则通过消息队列将该采集任务下发到用户群进行预警。
本发明达到的有益效果：
1.本发明通过下发自定义的算法镜像到数据从节点部署容器，为从节点提供算法支持；即采集节点可以通过容器获取计算方法，对采集的数据进行预处理，减少传输到数据中心的数据量。
2.本发明对采集任务提供多容器化热备功能，保障采集任务的正常运行。
3.本发明通过提供一种基于海量数据的数据交换方法，有效解决了集中式数据中心的数据传输压力，提高数据传输与数据分析效率及数据安全性。
附图说明
结合附图，从本发明的优选实施例的以下描述和权利要求可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在所述附图中：
图1为本发明的信号流转框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例：
如图1所示，在本实施例中，一种基于海量数据的数据交换方法，包括集中式数据中心、若干个数据从节点和一个镜像仓库；数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。
集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；数据从节点订阅消息队列中的主题；数据从节点自动去本地镜像仓库拉取所需的算法镜像；拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。
需要说明的是，为了使从节点具备数据预处理的能力，集中式数据中心通过消息队列主题的方式为不同的数据从节点配置不同的镜像，可以配置不同的主题选择不同的镜像下发到数据从节点。还可以通过对镜像的不断扩展与精简达到对从节点计算能力的扩展。从而使从节点能够进行更多的本地计算，对本地数据进行治理，减少传输到中心服务的数据，减少中心服务压力加快服务响应速度。并且将隐私数据进行本地处理，避免被在网络传输时被攻击而泄露，从而提升了数据安全性。
在现实位置的范围数据进行协同处理时，为了保证各数据从节点关键数据的同步以及高可靠，可以将任务制作为镜像下发到区域内的各数据从节点中，在多个数据从节点上热备多个容器任务。当其中一个容器任务异常退出时，其他节点上的容器任务会自动进行选举运行。从而保证关键数据的同步及任务的正常执行。
在一些高敏任务中，数据从节点通过下载算法镜像获取特定的预警计算功能；预警计算功能的普遍适用的数据质量的六大评估指标为准确性指标、有效性指标、一致性指标、规范性指标、及时性指标、完整性指标，根据指标对采集数据进行评估；最终得到每一个指标的评估分数，根据评估分数判断采集数据是否满足设定的期望值，如果没有满足，则通过消息队列将该采集任务下发到用户群进行预警。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于海量数据的数据交换方法，包括集中式数据中心、若干个数据从节点和一个镜像仓库；其特征在于，包括如下步骤：
S1：集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；
S2：集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；
S3：数据从节点订阅消息队列中的主题；
S4：数据从节点自动去本地镜像仓库拉取所需的算法镜像；
S5：拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；
S6：数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；
S7：集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者；
在一些高敏任务中，所述步骤S5包括子步骤：
S503：数据从节点通过下载算法镜像获取特定的预警计算功能；
S504：根据预警计算功能的评估指标对采集数据进行评估；
S505：判断评估分数是否满足预设的期望值，若未满足，则通过消息队列将该采集任务下发到用户群进行预警。
2.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，所述步骤S5包括子步骤：
S501：通过镜像部署容器的方式为数据从节点提供计算方法；
S502：通过对镜像的扩展与精简来提高数据从节点的计算能力。
3.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，需要在一定物理范围内多个从节点高可靠运行协调任务时，所述步骤S2后还包括：
S21：在多个数据从节点上热备多个容器任务；
S22：当其中一个容器任务异常退出，其他数据从节点的容器任务自动进行选举运行。
4.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，所述数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。
CN202010722793.3A 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法 Active CN111858098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010722793.3A CN111858098B (zh) 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722793.3A CN111858098B (zh) 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法

Publications (2)

Publication Number Publication Date
CN111858098A CN111858098A (zh) 2020-10-30
CN111858098B true CN111858098B (zh) 2023-11-17

Family

ID=72950183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722793.3A Active CN111858098B (zh) 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法

Country Status (1)

Country Link
CN (1) CN111858098B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433814A (zh) * 2020-11-24 2021-03-02 中信银行股份有限公司 一种本地镜像仓库管理方法、装置和系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787485A (en) * 1996-09-17 1998-07-28 Marathon Technologies Corporation Producing a mirrored copy using reference labels
CN102521044A (zh) * 2011-12-30 2012-06-27 北京拓明科技有限公司 一种基于消息中间件的分布式任务调度方法及系统
CN103257970A (zh) * 2012-02-17 2013-08-21 百度在线网络技术（北京）有限公司 用于hdfs主节点的测试方法及装置
JP2013214184A (ja) * 2012-04-02 2013-10-17 Nec System Technologies Ltd ミラーリングシステム、ノード、ミラーリング方法、及びプログラム
CN105245373A (zh) * 2015-10-12 2016-01-13 天津市普迅电力信息技术有限公司 一种容器云平台系统的搭建及运行方法
CN105472024A (zh) * 2015-12-28 2016-04-06 北京赛思信安技术股份有限公司 一种基于消息推送模式的跨地域数据同步方法
CN106126349A (zh) * 2016-06-14 2016-11-16 浪潮电子信息产业股份有限公司 一种远程调用方法、消息中间件集群及系统
CN107818130A (zh) * 2017-09-15 2018-03-20 深圳市电陶思创科技有限公司 一种搜索引擎的建立方法及系统
CN108763026A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种磁盘监控告警方法、系统、设备及计算机存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式系统
CN109391664A (zh) * 2017-08-11 2019-02-26 中国电信股份有限公司 用于多集群容器部署的系统和方法
CN109801479A (zh) * 2018-12-12 2019-05-24 西安电子科技大学 一种半导体工艺过程监测与预警系统及其控制方法
CN110647580A (zh) * 2019-09-05 2020-01-03 南京邮电大学 分布式容器集群镜像管理主节点、从节点、系统及方法
CN110889946A (zh) * 2018-12-28 2020-03-17 研祥智能科技股份有限公司 安防监控引导系统
CN110943872A (zh) * 2019-12-31 2020-03-31 上海擎感智能科技有限公司 数据采集服务配置/性能分析方法/系统、介质及服务器

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787485A (en) * 1996-09-17 1998-07-28 Marathon Technologies Corporation Producing a mirrored copy using reference labels
CN102521044A (zh) * 2011-12-30 2012-06-27 北京拓明科技有限公司 一种基于消息中间件的分布式任务调度方法及系统
CN103257970A (zh) * 2012-02-17 2013-08-21 百度在线网络技术（北京）有限公司 用于hdfs主节点的测试方法及装置
JP2013214184A (ja) * 2012-04-02 2013-10-17 Nec System Technologies Ltd ミラーリングシステム、ノード、ミラーリング方法、及びプログラム
CN105245373A (zh) * 2015-10-12 2016-01-13 天津市普迅电力信息技术有限公司 一种容器云平台系统的搭建及运行方法
CN105472024A (zh) * 2015-12-28 2016-04-06 北京赛思信安技术股份有限公司 一种基于消息推送模式的跨地域数据同步方法
CN106126349A (zh) * 2016-06-14 2016-11-16 浪潮电子信息产业股份有限公司 一种远程调用方法、消息中间件集群及系统
CN109391664A (zh) * 2017-08-11 2019-02-26 中国电信股份有限公司 用于多集群容器部署的系统和方法
CN107818130A (zh) * 2017-09-15 2018-03-20 深圳市电陶思创科技有限公司 一种搜索引擎的建立方法及系统
CN108763026A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种磁盘监控告警方法、系统、设备及计算机存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式系统
CN109801479A (zh) * 2018-12-12 2019-05-24 西安电子科技大学 一种半导体工艺过程监测与预警系统及其控制方法
CN110889946A (zh) * 2018-12-28 2020-03-17 研祥智能科技股份有限公司 安防监控引导系统
CN110647580A (zh) * 2019-09-05 2020-01-03 南京邮电大学 分布式容器集群镜像管理主节点、从节点、系统及方法
CN110943872A (zh) * 2019-12-31 2020-03-31 上海擎感智能科技有限公司 数据采集服务配置/性能分析方法/系统、介质及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"面向移动用户的高可用服务器架构设计";何荣祥;《中国优秀硕士学位论文全文数据库-信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN111858098A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US20230208719A1 (en) Distributed secure state reconstruction method based on double-layer dynamic switching observer
Frahat et al. Secure and scalable trust management model for IoT P2P network
CN111858098B (zh) 一种基于海量数据的数据交换方法
US11831746B2 (en) Time consistency synchronization method for distributed simulation
Li et al. Detecting Sybil attack based on state information in underwater wireless sensor networks
CN105681404A (zh) 用于分布式缓存系统的元数据节点管理方法和装置
CN112969172B (zh) 一种基于云手机的通讯流量控制方法
CN116821738A (zh) 基于Kmeans的形变监测算法、系统、设备及可读存储介质
CN109040075B (zh) 无线移动传感器网络中节点的管理方法、服务器和系统
CN114745616B (zh) 一种地下热信息远程监控预警系统和方法
CN113992694B (zh) 一种基于联邦学习的区块链节点集群监控方法及设备
CN112422504B (zh) 通过云平台进行远程安全信息认证识别的工作方法
CN116014892A (zh) 一种电力系统的异常数据的获取方法及装置
CN112738225B (zh) 基于人工智能的边缘计算方法
CN116975102A (zh) 敏感数据监测方法、系统、电子设备及存储介质
CN113449628A (zh) 图像处理系统及方法、装置、存储介质、计算机程序产品
CN114119941B (zh) 一种模块化目标检测分析装置和方法
CN112040434B (zh) 一种基于传感器网络的复杂环境信息采集方法
An et al. Research on Byzantine Fault Tolerant algorithm based on Node Weights
CN112564962B (zh) 一种分布式引流方法
CN109190551A (zh) 一种基于gpu的大规模人脸识别系统
CN101651574A (zh) 确定业务信息并利用该业务信息进行报警的方法和设备
CN117978479A (zh) 基于节点动态分组迁移的传算协同共识机制
Nishio et al. Joint Computation Offloading and Sampling Interval Optimization for Accuracy-Guaranteed Surveillance
Li et al. X-RAFT: Improve RAFT Consensus To Make Blockchain Better Secure EdgeAI-Human-IoT Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant