CN112181673A - 一种基于消息队列的海量数据弹性写入方法 - Google Patents

一种基于消息队列的海量数据弹性写入方法 Download PDF

Info

Publication number
CN112181673A
CN112181673A CN201910599457.1A CN201910599457A CN112181673A CN 112181673 A CN112181673 A CN 112181673A CN 201910599457 A CN201910599457 A CN 201910599457A CN 112181673 A CN112181673 A CN 112181673A
Authority
CN
China
Prior art keywords
message queue
information
data
writer
mass data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910599457.1A
Other languages
English (en)
Inventor
滕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Changfeng Science Technology Industry Group Corp
Original Assignee
China Changfeng Science Technology Industry Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Changfeng Science Technology Industry Group Corp filed Critical China Changfeng Science Technology Industry Group Corp
Priority to CN201910599457.1A priority Critical patent/CN112181673A/zh
Publication of CN112181673A publication Critical patent/CN112181673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Abstract

本发明提供一种基于消息队列的海量数据弹性写入方法，包括：(1)信息收集者将需要写入的信息放入消息队列；(2)消息队列对信息进行缓存；(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。本发明在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算，在保证海量数据快速写入的同时能有效节约计算资源。

Description

一种基于消息队列的海量数据弹性写入方法
技术领域
本发明属于软件工程技术领域，涉及一种基于消息队列的海量数据弹性写入方法。
背景技术
随着物联网、即时通信等技术的迅速发展，由机器产生的数据与通信记录已成为海量数据，实现大规模数据的高效写入显得日益迫切，因此，海量数据的弹性写入已成为当今社会研究的热点问题。多目标跟踪中存在大量的资源不足与资源过剩问题，增加了数据高效写入的复杂性，也使得实现更加困难。
消息队列和批量写入是两种常用的海量数据写入方法，消息队列是一种确写入异步化方法，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。所以在一些场景中，合理使用消息队列，可有效抵御大量涌入的写入操作对系统造成的冲击。批量写入是一种批量化操作，它是基于将多次写入操作简化为一次，对系统的内存消耗较大，同时容易造成较大的写入延迟实时性较差。
发明内容
本发明的目的在于克服现有技术的不足，提供一种消息队列的海量数据弹性写入方法，在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算。
本发明的技术方案如下：
一种基于消息队列的海量数据弹性写入方法，其特征在于包括以下步骤：
(1)信息收集者将需要写入的信息放入消息队列；
(2)消息队列对信息进行缓存；
(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；
(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。
本发明在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算，在保证海量数据快速写入的同时能有效节约计算资源。
附图说明
图1是本发明的目标跟踪方法功能模块图。
具体实施方式
如图1所示，本发明所述一种基于消息队列的海量数据弹性写入方法，包括信息收集者、信息写入者、消息队列、监控者四个模块。所述的消息收集者对需要写入的数据进行处理在必要时可通过网关构建集群之后将消息信息放入队列；所述信息写入者根据监控者的调度定时从消息队列中拉取信息写入到存储介质中；所述消息队列与一般消息队列无差异主要提供消息的缓存；所述监控者主要完成调度工作，控制各个消息写入者定时从队列中拉取数据，并对消息队列中的积压数据进行监控，若出积压量较大则创建新的写入者以增加写入频率，反之则关闭写入者实例。
本发明的具体实现方式如下：
步骤1，信息收集者将需要写入的信息放入消息队列。
步骤2，消息队列对信息进行缓存。
步骤3，监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量。
步骤4，信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。

Claims (1)

1.一种基于消息队列的海量数据弹性写入方法，其特征在于包括以下步骤：
(1)信息收集者将需要写入的信息放入消息队列；
(2)消息队列对信息进行缓存；
(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；
(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。
CN201910599457.1A 2019-07-04 2019-07-04 一种基于消息队列的海量数据弹性写入方法 Pending CN112181673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599457.1A CN112181673A (zh) 2019-07-04 2019-07-04 一种基于消息队列的海量数据弹性写入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599457.1A CN112181673A (zh) 2019-07-04 2019-07-04 一种基于消息队列的海量数据弹性写入方法

Publications (1)

Publication Number Publication Date
CN112181673A true CN112181673A (zh) 2021-01-05

Family

ID=73915090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599457.1A Pending CN112181673A (zh) 2019-07-04 2019-07-04 一种基于消息队列的海量数据弹性写入方法

Country Status (1)

Country Link
CN (1) CN112181673A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312386A (zh) * 2021-05-10 2021-08-27 四川新网银行股份有限公司 一种基于分布式消息的批量入库方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312386A (zh) * 2021-05-10 2021-08-27 四川新网银行股份有限公司 一种基于分布式消息的批量入库方法
CN113312386B (zh) * 2021-05-10 2022-06-24 四川新网银行股份有限公司 一种基于分布式消息的批量入库方法

Similar Documents

Publication Publication Date Title
KR101873794B1 (ko) 웨이크록 사용을 추적하는 기술들
CN101673191B (zh) 数据写入方法、装置及数据存储系统
CN104536701A (zh) 一种nvme协议多命令队列的实现方法及系统
CN104063293A (zh) 一种数据备份方法及流计算系统
CN106484329A (zh) 一种基于多级存储的大数据传输完整性保护机制
CN109814811B (zh) 一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法
CN103678573A (zh) 一种实现缓存加速的方法及系统
CN110019502A (zh) 在主数据库和备数据库之间的同步方法、数据库系统和设备
CN108255621A (zh) 一种基于binlog的MySQL增量消息解析方法
EP3865992A3 (en) Distributed block storage system, method, apparatus and medium
CN112181673A (zh) 一种基于消息队列的海量数据弹性写入方法
WO2024027140A1 (zh) 一种数据处理方法、装置、设备、系统及可读存储介质
CN112000703A (zh) 数据入库处理方法、装置、计算机设备和存储介质
CN104731747A (zh) 一种高速总线数据接收中的分级缓冲实现方法
CN109814804A (zh) 一种降低分布式存储系统能耗的方法和装置
CN101655774A (zh) 一种磁盘控制方法及系统以及相关设备
CN104867041A (zh) 电子发票文件生成系统及其数据处理驱动方法
CN111541747B (zh) 一种数据的检查点设置方法及装置
US11443191B2 (en) Computing device and parameter synchronization method implemented by computing device
CN103593148A (zh) 一种cdf侧离线话单数据快速存取的方法及装置
CN105204786B (zh) 一种pcie ssd阵列的数据写方法及系统
CN111694777B (zh) 基于PCIe接口的DMA传输方法
CN110888737A (zh) 一种支持多GPU的Ringbuffer实现系统及方法
CN101923524A (zh) 一种基于clb总线的存储器接口方法
CN101526887A (zh) 将数据写入硬盘的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105