CN111858098A - 一种基于海量数据的数据交换方法 - Google Patents

一种基于海量数据的数据交换方法 Download PDF

Info

Publication number
CN111858098A
CN111858098A CN202010722793.3A CN202010722793A CN111858098A CN 111858098 A CN111858098 A CN 111858098A CN 202010722793 A CN202010722793 A CN 202010722793A CN 111858098 A CN111858098 A CN 111858098A
Authority
CN
China
Prior art keywords
data
slave node
mirror image
centralized
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010722793.3A
Other languages
English (en)
Other versions
CN111858098B (zh
Inventor
邓羽平
刘魁
曹亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Cheng Xin High Tech Information Technology Co ltd, Chengdu University of Information Technology filed Critical Chengdu Cheng Xin High Tech Information Technology Co ltd
Priority to CN202010722793.3A priority Critical patent/CN111858098B/zh
Publication of CN111858098A publication Critical patent/CN111858098A/zh
Application granted granted Critical
Publication of CN111858098B publication Critical patent/CN111858098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于海量数据的数据交换方法，集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；数据从节点订阅消息队列中的主题；数据从节点自动去本地镜像仓库拉取所需的算法镜像；拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。有效解决了集中式数据中心的数据传输压力，提高数据传输与数据分析效率及数据安全性。

Description

一种基于海量数据的数据交换方法
技术领域
本发明涉及一种数据交换方法，尤其涉及一种基于海量数据的数据交换方法，属于云计算技术领域。
背景技术
面对海量级别的数据，我们首先要考虑的问题是如何提高海量数据的操作性能和处理效率。在基于海量数据的前提下，随着云计算及集中式数据中心的从节点的数据量增加，各节点将数据传输到云节点或数据中心时由于物理距离过远，对中心服务造成了巨大的压力，中心服务不仅需要接收从节点传输的数据，还要抽取资源进行计算用于数据分析，容易造成数据阻塞，从而导致服务高延迟、网络波动、数据丢失及网络攻击等问题。
发明内容
为了解决服务高延迟、网络波动、数据丢失及网络攻击等问题，本发明提供了一种基于海量数据的数据交换方法。
本发明的所采用的技术方案如下：
包括集中式数据中心、若干个数据从节点和一个镜像仓库；数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。
一种基于海量数据的数据交换方法包括如下步骤：
S1：集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；
S2：集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；
S3：数据从节点订阅消息队列中的主题；
S4：数据从节点自动去本地镜像仓库拉取所需的算法镜像；
S5：拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；
S6：数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；
S7：集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。
所述步骤S5包括子步骤：
S501：通过镜像部署容器的方式为数据从节点提供计算方法；
S502：通过对镜像的扩展与精简来提高数据从节点的计算能力。
需要在一定物理范围内多个从节点高可靠运行协调任务时，所述步骤S2后还包括：
S21：在多个数据从节点上热备多个容器任务；
S22：当其中一个容器任务异常退出，其他数据从节点的容器任务自动进行选举运行。
在一些高敏任务中，所述步骤S5包括子步骤：
S503：数据从节点通过下载算法镜像获取特定的预警计算功能；
S504：预警计算功能的普遍适用的数据质量的六大评估指标为准确性指标、有效性指标、一致性指标、规范性指标、及时性指标、完整性指标，根据指标对采集数据进行评估；
S505：判断评估分数是否满足预设的期望值，若未满足，则通过消息队列将该采集任务下发到用户群进行预警。
本发明达到的有益效果：
1.本发明通过下发自定义的算法镜像到数据从节点部署容器，为从节点提供算法支持；即采集节点可以通过容器获取计算方法，对采集的数据进行预处理，减少传输到数据中心的数据量。
2.本发明对采集任务提供多容器化热备功能，保障采集任务的正常运行。
3.本发明通过提供一种基于海量数据的数据交换方法，有效解决了集中式数据中心的数据传输压力，提高数据传输与数据分析效率及数据安全性。
附图说明
结合附图，从本发明的优选实施例的以下描述和权利要求可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在所述附图中：
图1为本发明的信号流转框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例：
如图1所示，在本实施例中，一种基于海量数据的数据交换方法，包括集中式数据中心、若干个数据从节点和一个镜像仓库；数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。
集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；数据从节点订阅消息队列中的主题；数据从节点自动去本地镜像仓库拉取所需的算法镜像；拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。
需要说明的是，为了使从节点具备数据预处理的能力，集中式数据中心通过消息队列主题的方式为不同的数据从节点配置不同的镜像，可以配置不同的主题选择不同的镜像下发到数据从节点。还可以通过对镜像的不断扩展与精简达到对从节点计算能力的扩展。从而使从节点能够进行更多的本地计算，对本地数据进行治理，减少传输到中心服务的数据，减少中心服务压力加快服务响应速度。并且将隐私数据进行本地处理，避免被在网络传输时被攻击而泄露，从而提升了数据安全性。
在现实位置的范围数据进行协同处理时，为了保证各数据从节点关键数据的同步以及高可靠，可以将任务制作为镜像下发到区域内的各数据从节点中，在多个数据从节点上热备多个容器任务。当其中一个容器任务异常退出时，其他节点上的容器任务会自动进行选举运行。从而保证关键数据的同步及任务的正常执行。
在一些高敏任务中，数据从节点通过下载算法镜像获取特定的预警计算功能；预警计算功能的普遍适用的数据质量的六大评估指标为准确性指标、有效性指标、一致性指标、规范性指标、及时性指标、完整性指标，根据指标对采集数据进行评估；最终得到每一个指标的评估分数，根据评估分数判断采集数据是否满足设定的期望值，如果没有满足，则通过消息队列将该采集任务下发到用户群进行预警。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于海量数据的数据交换方法，包括集中式数据中心、若干个数据从节点和一个镜像仓库；其特征在于，包括如下步骤：
S1：集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；
S2：集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；
S3：数据从节点订阅消息队列中的主题；
S4：数据从节点自动去本地镜像仓库拉取所需的算法镜像；
S5：拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；
S6：数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；
S7：集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。
2.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，所述步骤S5包括子步骤：
S501：通过镜像部署容器的方式为数据从节点提供计算方法；
S502：通过对镜像的扩展与精简来提高数据从节点的计算能力。
3.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，在一些高敏任务中，所述步骤S5包括子步骤：
S503：数据从节点通过下载算法镜像获取特定的预警计算功能；
S504：根据预警计算功能的评估指标对采集数据进行评估；
S505：判断评估分数是否满足预设的期望值，若未满足，则通过消息队列将该采集任务下发到用户群进行预警。
4.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，需要在一定物理范围内多个从节点高可靠运行协调任务时，所述步骤S2后还包括：
S21：在多个数据从节点上热备多个容器任务；
S22：当其中一个容器任务异常退出，其他数据从节点的容器任务自动进行选举运行。
5.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，所述数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。
CN202010722793.3A 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法 Active CN111858098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010722793.3A CN111858098B (zh) 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722793.3A CN111858098B (zh) 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法

Publications (2)

Publication Number Publication Date
CN111858098A true CN111858098A (zh) 2020-10-30
CN111858098B CN111858098B (zh) 2023-11-17

Family

ID=72950183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722793.3A Active CN111858098B (zh) 2020-07-24 2020-07-24 一种基于海量数据的数据交换方法

Country Status (1)

Country Link
CN (1) CN111858098B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433814A (zh) * 2020-11-24 2021-03-02 中信银行股份有限公司 一种本地镜像仓库管理方法、装置和系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787485A (en) * 1996-09-17 1998-07-28 Marathon Technologies Corporation Producing a mirrored copy using reference labels
CN102521044A (zh) * 2011-12-30 2012-06-27 北京拓明科技有限公司 一种基于消息中间件的分布式任务调度方法及系统
CN103257970A (zh) * 2012-02-17 2013-08-21 百度在线网络技术（北京）有限公司 用于hdfs主节点的测试方法及装置
JP2013214184A (ja) * 2012-04-02 2013-10-17 Nec System Technologies Ltd ミラーリングシステム、ノード、ミラーリング方法、及びプログラム
CN105245373A (zh) * 2015-10-12 2016-01-13 天津市普迅电力信息技术有限公司 一种容器云平台系统的搭建及运行方法
CN105472024A (zh) * 2015-12-28 2016-04-06 北京赛思信安技术股份有限公司 一种基于消息推送模式的跨地域数据同步方法
CN106126349A (zh) * 2016-06-14 2016-11-16 浪潮电子信息产业股份有限公司 一种远程调用方法、消息中间件集群及系统
CN107818130A (zh) * 2017-09-15 2018-03-20 深圳市电陶思创科技有限公司 一种搜索引擎的建立方法及系统
CN108763026A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种磁盘监控告警方法、系统、设备及计算机存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式系统
CN109391664A (zh) * 2017-08-11 2019-02-26 中国电信股份有限公司 用于多集群容器部署的系统和方法
CN109801479A (zh) * 2018-12-12 2019-05-24 西安电子科技大学 一种半导体工艺过程监测与预警系统及其控制方法
CN110647580A (zh) * 2019-09-05 2020-01-03 南京邮电大学 分布式容器集群镜像管理主节点、从节点、系统及方法
CN110889946A (zh) * 2018-12-28 2020-03-17 研祥智能科技股份有限公司 安防监控引导系统
CN110943872A (zh) * 2019-12-31 2020-03-31 上海擎感智能科技有限公司 数据采集服务配置/性能分析方法/系统、介质及服务器

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787485A (en) * 1996-09-17 1998-07-28 Marathon Technologies Corporation Producing a mirrored copy using reference labels
CN102521044A (zh) * 2011-12-30 2012-06-27 北京拓明科技有限公司 一种基于消息中间件的分布式任务调度方法及系统
CN103257970A (zh) * 2012-02-17 2013-08-21 百度在线网络技术（北京）有限公司 用于hdfs主节点的测试方法及装置
JP2013214184A (ja) * 2012-04-02 2013-10-17 Nec System Technologies Ltd ミラーリングシステム、ノード、ミラーリング方法、及びプログラム
CN105245373A (zh) * 2015-10-12 2016-01-13 天津市普迅电力信息技术有限公司 一种容器云平台系统的搭建及运行方法
CN105472024A (zh) * 2015-12-28 2016-04-06 北京赛思信安技术股份有限公司 一种基于消息推送模式的跨地域数据同步方法
CN106126349A (zh) * 2016-06-14 2016-11-16 浪潮电子信息产业股份有限公司 一种远程调用方法、消息中间件集群及系统
CN109391664A (zh) * 2017-08-11 2019-02-26 中国电信股份有限公司 用于多集群容器部署的系统和方法
CN107818130A (zh) * 2017-09-15 2018-03-20 深圳市电陶思创科技有限公司 一种搜索引擎的建立方法及系统
CN108763026A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种磁盘监控告警方法、系统、设备及计算机存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式系统
CN109801479A (zh) * 2018-12-12 2019-05-24 西安电子科技大学 一种半导体工艺过程监测与预警系统及其控制方法
CN110889946A (zh) * 2018-12-28 2020-03-17 研祥智能科技股份有限公司 安防监控引导系统
CN110647580A (zh) * 2019-09-05 2020-01-03 南京邮电大学 分布式容器集群镜像管理主节点、从节点、系统及方法
CN110943872A (zh) * 2019-12-31 2020-03-31 上海擎感智能科技有限公司 数据采集服务配置/性能分析方法/系统、介质及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何荣祥: ""面向移动用户的高可用服务器架构设计"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433814A (zh) * 2020-11-24 2021-03-02 中信银行股份有限公司 一种本地镜像仓库管理方法、装置和系统

Also Published As

Publication number Publication date
CN111858098B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US10972565B2 (en) Push notification delivery system with feedback analysis
CN106210021A (zh) 金融应用系统联机业务的实时监控方法以及监控装置
CN102630315B (zh) 用于防止死锁状态的数据处理方法及系统
CN105511944A (zh) 一种云系统内部虚拟机的异常检测方法
CN109740038A (zh) 网络数据分布式采集系统及方法
Frahat et al. Secure and scalable trust management model for IoT P2P network
US11831746B2 (en) Time consistency synchronization method for distributed simulation
CN107423145A (zh) 一种避免消息丢失的方法与装置
CN110515748A (zh) 一种消息处理的方法及相关装置
CN113722127A (zh) 高效轻量易用的分布式网络消息中间件
CN107579858A (zh) 云主机的告警方法及装置、通信系统
CN107509119A (zh) 一种监控报警方法与装置
CN110620820A (zh) 一种泛在电力物联网智能管理系统
CN111858098A (zh) 一种基于海量数据的数据交换方法
Dunne et al. A comparison of data streaming frameworks for anomaly detection in embedded systems
CN111460038A (zh) 一种数据准实时同步方法及装置
CN105681404A (zh) 用于分布式缓存系统的元数据节点管理方法和装置
CN111368166A (zh) 资源搜索方法、资源搜索装置和计算机可读存储介质
CN111049846A (zh) 数据处理方法和装置、电子设备及计算机可读存储介质
CN112950349B (zh) 一种基分布式系统冲正交易时序异常处理方法及系统
CN114021052A (zh) 一种推理服务方法、设备及系统
Lu et al. A fault tolerant election-based deadlock detection algorithm in distributed systems
CN105634834A (zh) 一种数据监控系统和方法
CN117240903B (zh) 一种物联网脱机消息动态管理配置系统
US20060088047A1 (en) Method and apparatus for establishing connections in distributed computing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant