CN112650589A - 一种均衡系统资源和落盘实时性的方法及可读存储介质 - Google Patents

一种均衡系统资源和落盘实时性的方法及可读存储介质 Download PDF

Info

Publication number
CN112650589A
CN112650589A CN202011590935.1A CN202011590935A CN112650589A CN 112650589 A CN112650589 A CN 112650589A CN 202011590935 A CN202011590935 A CN 202011590935A CN 112650589 A CN112650589 A CN 112650589A
Authority
CN
China
Prior art keywords
thread
block
real
system resources
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011590935.1A
Other languages
English (en)
Inventor
张力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kelai Network Technology Co Ltd
Original Assignee
Chengdu Kelai Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kelai Network Technology Co Ltd filed Critical Chengdu Kelai Network Technology Co Ltd
Priority to CN202011590935.1A priority Critical patent/CN112650589A/zh
Publication of CN112650589A publication Critical patent/CN112650589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种均衡系统资源和落盘实时性的方法及可读存储介质，所述方法包括：S1：将不同数据均衡地分在不同的线程中，对IP流做hash后进行分配，并在各线程中分为若干个Block；S2：根据系统的内存和IO带宽设置每个线程总的刷新缓存值和线程每个Block的最大刷新缓存值，并在系统运行过程中，动态选择block进行刷新和调整block大小。通过本发明方法，使得在抖动的流量环境中，避免出现系统资源的峰值，在最少使用内存的情况下，尽量使CPU、IO比较平滑，同时保证数据落盘的实时性。本发明方法比现有的技术在抖动流量环境下的CPU和IO利用率更加的平稳，同时数据落盘的实时性也能得到保证，查询的延时也是可控的。

Description

一种均衡系统资源和落盘实时性的方法及可读存储介质
技术领域
本发明属于数据存储及检索技术领域，尤其涉及一种均衡系统资源和落盘实时性的方法及可读存储介质。
背景技术
在网络统计的工程中，经常需要在大数据量的环境下对IP产生的信息进行查询，查询的效率很大程度上取决于存储，存储就会涉及到CPU、IO、内存和查询实时性的均衡。
当前通用的技术方案：
当前很多的通用刷新方案，很多都是当缓存块达到一定的内存限制后进行整合落盘操作，一般是交给后台线程直接刷新数据到磁盘，或者进行一些合并的操作，从而使CPU和IO的负荷变大，系统资源CPU、IO和内存很容易出现峰值，从而影响系统的整体性能。
现有技术存在一个非常明显的缺点，在面对突发的大数据量的情况下，对内存的控制不够精细，不能动态的进行伸缩，会导致某个时间点系统资源CPU和IO出现严重的抖动。同时在小流量的情况下不能及时进行动态地收缩内存块，从而尽量均分地使空闲的CPU和IO进行工作，也就是尽量地使数据落盘，保证数据落盘实时性，同时也降低后续面对突然大流量时出现数据堆积，使CPU、IO的负载过大，影响系统吞吐量。
发明内容
本发明的目的在于，为克服现有技术缺陷，提供了一种均衡系统资源和落盘实时性的方法，通过本发明方法均衡了系统资源的使用，尽量减少了系统资源的峰值，同时保证了数据的落盘以提高查询的实时性。
本发明目的通过下述技术方案来实现：
一方面，本发明公开了一种均衡系统资源和落盘实时性的方法，所述方法包括如下步骤，S1：将不同数据均衡地分在不同的线程中，对IP流做hash后进行分配，并在各线程中分为若干个Block；S2：根据系统的内存和IO带宽设置每个线程总的刷新缓存值和线程每个Block的最大刷新缓存值，并在系统运行过程中，动态选择block进行刷新和调整block大小。
根据一个优选的实施方式，步骤S2中所述的系统设置有两个时间限制，分别为硬限制和软限制；当Block块达到时间硬限制时，使得Block数据落盘；当Block块达到时间软限制时，Block当前的缓存值达到Block设置的最大刷新缓存值的一半则进行刷新。
根据一个优选的实施方式，各线程还能够基于需求进行优先刷新线程下的Block块的标记设置。
根据一个优选的实施方式，当线程上设置有所述标记时，系统将在不超过每个线程总的刷新缓存值的条件下，选择当前线程中剩下的Block进行刷新。
根据一个优选的实施方式，当遇到热点流量，集中于热点线程上时，所述热点线程总的刷新缓存值和热点线程下的各个Block块刷新缓存值动态变大。
根据一个优选的实施方式，当热点流量趋于平稳时，所述热点线程的总的刷新缓存值和该线程下的各Block块刷新缓存值动态缩小。
另一方面，本发明中还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述均衡系统资源和落盘实时性的方法。
前述本发明主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本发明可采用并要求保护的方案。本领域技术人员在了解本发明方案后根据现有技术和公知常识可明了有多种组合，均为本发明所要保护的技术方案，在此不做穷举。
本发明的有益效果：通过本发明方法，使得在抖动的流量环境中，避免出现系统资源的峰值，在最少使用内存的情况下，尽量使CPU、IO比较平滑，同时保证数据落盘的实时性。本发明方法比现有的技术在抖动流量的环境下，CPU和IO利用率更加的平稳，同时数据落盘的实时性也能得到保证，查询的延时也是可控的。
附图说明
图1是本发明均衡系统资源和落盘实时性的方法中对IP流进行分配的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参考图1所示，本发明公开了一种均衡系统资源和落盘实时性的方法。本发明方法为均衡CPU、IO和内存的利用率以及查询实时性。均衡了CPU和IO后，可以很大程度上提高系统的总的吞吐量。同时该方案可以保证数据落盘的实时性，从而保证查询实时性。
本发明方法包括：
第一步：将不同数据均衡地分在不同的线程中，对IP流做hash后进行分配，并在各线程中分为若干个Block。通过设置多个Block，实现了对数据资源的进一步细分。通过第一步的数据均分，使得每个线程处理的数据量基本一致。
第二步：根据系统的内存和IO带宽设置每个线程总的刷新缓存值和线程每个Block的最大刷新缓存值，并在系统运行过程中，动态选择block进行刷新和调整block大小。
优选地，第二步中系统设置有两个时间限制，分别为硬限制和软限制。另外，系统是以秒级推动的。
进一步地，当Block块达到时间硬限制时，使得Block数据落盘。当Block块达到时间软限制时，当Block当前的缓存值达到Block设置的最大刷新缓存值的一半则进行刷新。
优选地，各线程还能够基于需求进行优先刷新线程下的Block块的标记设置。进一步地，当线程上设置有所述标记时，系统将在不超过每个线程总的刷新缓存值的条件下，选择当前线程中剩下的Block进行刷新。
优选地，当遇到热点流量，集中于热点线程上时，所述热点线程总的刷新缓存值和热点线程下的各个Block块刷新缓存值动态变大。
进一步地，当热点流量趋于平稳时，所述热点线程的总的刷新缓存值和该线程下的各Block块刷新缓存值动态缩小，从而使得系统更加平稳。
通过本发明方法，使得在抖动的流量环境中，避免出现系统资源的峰值，在最少使用内存的情况下，尽量使CPU、IO比较平滑，同时保证数据落盘的实时性。本发明方法比现有的技术在抖动流量的环境下，CPU和IO利用率更加的平稳，同时数据落盘的实时性也能得到保证，查询的延时也是可控的。
实施例2
在本发明中还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1中所述的均衡系统资源和落盘实时性的方法。
前述本发明基本例及其各进一步选择例可以自由组合以形成多个实施例，均为本发明可采用并要求保护的实施例。本发明方案中，各选择例，与其他任何基本例和选择例都可以进行任意组合。本领域技术人员可知有众多组合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种均衡系统资源和落盘实时性的方法，其特征在于，所述方法包括如下步骤：
S1：将不同数据均衡地分在不同的线程中，对IP流做hash后进行分配，并在各线程中分为若干个Block；
S2：根据系统的内存和IO带宽设置每个线程总的刷新缓存值和线程每个Block的最大刷新缓存值，并在系统运行过程中，动态选择block进行刷新和调整block大小。
2.如权利要求1所述的均衡系统资源和落盘实时性的方法，其特征在于，步骤S2中所述的系统设置有两个时间限制，分别为硬限制和软限制；
当Block块达到时间硬限制时，使得Block数据落盘；
当Block块达到时间软限制时，Block当前的缓存值达到Block设置的最大刷新缓存值的一半则进行刷新。
3.如权利要求2所述的均衡系统资源和落盘实时性的方法，其特征在于，各线程还能够基于需求进行优先刷新线程下的Block块的标记设置。
4.如权利要求3所述的均衡系统资源和落盘实时性的方法，其特征在于，当线程上设置有所述标记时，系统将在不超过每个线程总的刷新缓存值的条件下，选择当前线程中剩下的Block进行刷新。
5.如权利要求4所述的均衡系统资源和落盘实时性的方法，其特征在于，当遇到热点流量，集中于热点线程上时，所述热点线程总的刷新缓存值和热点线程下的各个Block块刷新缓存值动态变大。
6.如权利要求5所述的均衡系统资源和落盘实时性的方法，其特征在于，当热点流量趋于平稳时，所述热点线程的总的刷新缓存值和该线程下的各Block块刷新缓存值动态缩小。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至6任一项中所述的均衡系统资源和落盘实时性的方法。
CN202011590935.1A 2020-12-29 2020-12-29 一种均衡系统资源和落盘实时性的方法及可读存储介质 Pending CN112650589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011590935.1A CN112650589A (zh) 2020-12-29 2020-12-29 一种均衡系统资源和落盘实时性的方法及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011590935.1A CN112650589A (zh) 2020-12-29 2020-12-29 一种均衡系统资源和落盘实时性的方法及可读存储介质

Publications (1)

Publication Number Publication Date
CN112650589A true CN112650589A (zh) 2021-04-13

Family

ID=75363612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011590935.1A Pending CN112650589A (zh) 2020-12-29 2020-12-29 一种均衡系统资源和落盘实时性的方法及可读存储介质

Country Status (1)

Country Link
CN (1) CN112650589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130547A (zh) * 2023-08-01 2023-11-28 上海沄熹科技有限公司 一种存储引擎数据落盘平滑背压方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130547A (zh) * 2023-08-01 2023-11-28 上海沄熹科技有限公司 一种存储引擎数据落盘平滑背压方法及装置
CN117130547B (zh) * 2023-08-01 2024-05-28 上海沄熹科技有限公司 一种存储引擎数据落盘平滑背压方法及装置

Similar Documents

Publication Publication Date Title
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
US8601181B2 (en) System and method for read data buffering wherein an arbitration policy determines whether internal or external buffers are given preference
US9025457B2 (en) Router and chip circuit
JP2019533913A (ja) クラウドモニタリングに基づく負荷分散の最適化方法および装置
US8997109B2 (en) Apparatus and method for managing data stream distributed parallel processing service
US20230208781A1 (en) Technologies for flexible and automatic mapping of disaggregated network communication resources
CN105245912A (zh) 一种缓存视频数据及读取视频数据的方法及装置
CN104168222A (zh) 一种报文传输方法和设备
CN104980367A (zh) 一种令牌桶限速方法和装置
KR101765737B1 (ko) 메모리 액세스 방법 및 메모리 시스템
JP2014220808A (ja) ネットワークスイッチにおける集中型メモリプールを用いるテーブル検索のための装置および方法
JP6842554B2 (ja) 等コストパスエントリ確立
US20170005953A1 (en) Hierarchical Packet Buffer System
CN103595651A (zh) 基于分布式的数据流处理方法和系统
CN109347623B (zh) 一种链路负载均衡应用中进行会话保持的方法及装置
CN104052681A (zh) 流量控制方法和装置
CN107948085A (zh) 一种基于业务和卫星信道特征的消息发送控制方法
CN112650589A (zh) 一种均衡系统资源和落盘实时性的方法及可读存储介质
CN112367384B (zh) 基于Kafka集群的动态限速方法、装置以及计算机设备
WO2024088078A1 (zh) 一种带宽调节方法、系统、设备及存储介质
US8996764B1 (en) Method and apparatus for controlling transmission of data packets from and to a server
WO2022184008A1 (zh) 众核的路由映射方法、装置、设备及介质
CN109582460B (zh) 一种Redis内存数据的淘汰方法和装置
US9871732B2 (en) Dynamic flow control in multicast systems
CN108984112B (zh) 存储QoS控制策略的实现方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610041 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Applicant after: Kelai Network Technology Co.,Ltd.

Address before: 41401-41406, 14th floor, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, Chengdu Free Trade Zone, Sichuan 610041

Applicant before: Chengdu Kelai Network Technology Co.,Ltd.