CN113031858B - 一种基于多双活存储的数据处理方法、系统及介质 - Google Patents

一种基于多双活存储的数据处理方法、系统及介质 Download PDF

Info

Publication number
CN113031858B
CN113031858B CN202110181335.8A CN202110181335A CN113031858B CN 113031858 B CN113031858 B CN 113031858B CN 202110181335 A CN202110181335 A CN 202110181335A CN 113031858 B CN113031858 B CN 113031858B
Authority
CN
China
Prior art keywords
data
partition
service
cache
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110181335.8A
Other languages
English (en)
Other versions
CN113031858A (zh
Inventor
闫涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110181335.8A priority Critical patent/CN113031858B/zh
Publication of CN113031858A publication Critical patent/CN113031858A/zh
Application granted granted Critical
Publication of CN113031858B publication Critical patent/CN113031858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多双活存储的数据处理方法，包括以下步骤：获取业务需求，基于业务需求创建双活卷以及设定第一资源阈值，根据第一资源阈值创建与双活卷对应的缓存分区；获取与业务需求对应的第一业务数据，基于缓存分区对第一业务数据执行数据重构步骤和算法处理步骤，得到第二业务数据，并将其存储至双活卷；设定统计周期，第二业务数据存储至双活卷后，每隔统计周期执行统计步骤，基于统计步骤对缓存分区执行保存步骤或调整步骤；本发明能够为多个双活卷创建对应的缓存分区，通过缓存分区对业务数据的读写重构和分解重组实现对业务数据的均衡同步处理，进而提高业务数据的传输效率和一致性，弥补了现有技术的空缺。

Description

一种基于多双活存储的数据处理方法、系统及介质
技术领域
本发明涉及服务器存储优化技术领域，特别是涉及一种基于多双活存储的数据处理方法、系统及介质。
背景技术
随着新型技术的发展，存储技术的要求越来越高；双活卷作为一种安全性极高的技术被广泛应用；随着数据量的增加，双活卷技术也同时被扩充，现在通常采用多个双活卷对数据进行读取、存储以及其他处理，由于双活卷的个数增多，随之而来的问题是存储资源的争抢、存储资源处理无法同步、存储资源分配不均匀，最终导致多个双活卷对于数据传输、读写及综合处理的效率极低。
发明内容
本发明主要解决的是多个双活卷对于数据传输、读写及综合处理的效率极低的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于多双活存储的数据处理方法，包括以下步骤：
获取业务需求，基于所述业务需求创建双活卷以及设定第一资源阈值，根据所述第一资源阈值创建与所述双活卷对应的缓存分区；
获取与所述业务需求对应的第一业务数据，基于所述缓存分区对所述第一业务数据执行数据重构步骤，得到第二业务数据；
基于所述缓存分区对所述第二业务数据执行算法处理步骤，基于所述算法处理步骤将所述第二业务数据存储至所述双活卷；
设定统计周期，所述第二业务数据存储至所述双活卷后，每隔所述统计周期执行统计步骤，基于所述统计步骤对所述缓存分区执行保存步骤或调整步骤。
作为一种改进的方案，所述获取业务需求，基于所述业务需求创建双活卷以及设定第一资源阈值，根据所述第一资源阈值创建与所述双活卷对应的缓存分区的步骤进一步包括：
判断所述业务需求的业务类型，创建与所述业务类型对应的双活卷；
设定与所述业务类型对应的第一资源阈值，创建与所述双活卷对应的数据处理容器，基于所述第一资源阈值为所述数据处理容器配置对应的存储资源和地址指针，得到所述缓存分区。
作为一种改进的方案，所述数据重构步骤包括：
设定第二资源阈值和第一数量；
根据所述第一业务数据所对应的所述业务需求选取所述缓存分区；
根据所述第一业务数据的数据类型获取所述第一业务数据中的第一数据；
通过被选取的所述缓存分区按照所述第一数量将所述第一数据划分为若干第二数据；通过所述被选取的所述缓存分区获取所述第二数据的资源占用值，基于所述第二资源阈值和所述资源占用值将所述第二数据聚合为若干所述第二业务数据。
作为一种改进的方案，所述算法处理步骤包括：
采用哈夫曼算法对所述第二业务数据进行压缩，得到压缩数据；
采用对称加密算法对所述压缩数据进行加密，得到第三业务数据；
通过所述被选取的所述缓存分区将所述第三业务数据存储至与所述被选取的所述缓存分区对应的所述双活卷。
作为一种改进的方案，所述统计步骤包括：
获取所述业务需求的初始性能指标和所述业务需求所对应的缓存分区的现有性能参数；
比对所述现有性能参数是否均达到所述初始性能指标；若均达到，则对所述缓存分区执行所述保存步骤；若未均达到，则对所述缓存分区执行所述调整步骤。
作为一种改进的方案，所述调整步骤包括：
定义所述现有性能参数中达到所述初始性能指标的现有性能参数为第一性能参数，定义所述第一性能参数所对应的缓存分区为第一分区，定义所述第一分区所对应的所述地址指针为第一地址指针；
定义所述现有性能参数中未达到所述初始性能指标的现有性能参数为第二性能参数，定义所述第二性能参数所对应的缓存分区为第二分区，定义所述第二分区所对应的所述地址指针为第二地址指针；
根据所述第一分区所对应的所述存储资源和所述第一性能参数计算所述第一分区的空闲存储资源；
设定第三资源阈值，根据所述第二分区所对应的所述双活卷所对应的业务类型设定分配优先级；
按照所述分配优先级将与所述第三资源阈值对应数值的所述空闲存储资源分配至所述第二分区；
所述空闲存储资源分配至所述第二分区后，获取所述第一分区的第一现有存储资源和所述第二分区的第二现有存储资源，根据所述第一现有存储资源和所述第二现有存储资源分别修改所述第一地址指针和所述第二地址指针。
作为一种改进的方案，所述保存步骤包括：
锁定所述缓存分区所对应的所述地址指针，固化所述缓存分区所对应的所述存储资源。
本发明还提供一种基于多双活存储的数据处理系统，包括：
分区创建模块、数据处理模块和动态调整模块；
所述分区创建模块用于获取业务需求，并根据所述业务需求创建双活卷以及设定第一资源阈值，所述分区创建模块根据所述第一资源阈值创建与所述双活卷对应的缓存分区；
所述数据处理模块用于获取与所述业务需求对应的第一业务数据，并控制所述缓存分区对所述第一业务数据执行数据重构步骤，得到第二业务数据，所述数据处理模块控制所述缓存分区对所述第二业务数据执行算法处理步骤得到第三业务数据，所述数据处理模块控制所述缓存分区将所述第三业务数据存储至所述双活卷；
所述动态调整模块用于设定统计周期，并在所述第三业务数据存储至所述双活卷后，每隔所述统计周期执行统计步骤，所述动态调整模块根据所述统计步骤对所述缓存分区执行保存步骤或调整步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多双活存储的数据处理方法的步骤。
本发明的有益效果是：
1、本发明所述的基于多双活存储的数据处理方法，可以实现为多个双活卷创建对应的缓存分区，通过缓存分区对业务数据的读写重构和分解重组实现对业务数据的均衡同步处理，提高了业务数据的一致性，进而提高了多双活卷对于业务数据的综合处理及传输效率；最后通过对缓存分区的动态调整保证了高质量的资源利用率，弥补了现有技术的空缺。
2、本发明所述的基于多双活存储的数据处理系统，可以通过分区创建模块、数据处理模块和动态调整模块的相互配合，进而实现为多个双活卷创建对应的缓存分区，通过控制缓存分区对业务数据的读写重构和分解重组实现对业务数据的均衡同步处理，提高了业务数据的一致性，进而提高了多双活卷对于业务数据的综合处理及传输效率，最后通过对缓存分区的动态调整保证了高质量的资源利用率，弥补了现有技术的空缺。
3、本发明所述的计算机可读存储介质，可以实现引导分区创建模块、数据处理模块和动态调整模块进行配合，进而实现为多个双活卷创建对应的缓存分区，通过控制缓存分区对业务数据的读写重构和分解重组实现对业务数据的均衡同步处理，提高了业务数据的一致性，进而提高了多双活卷对于业务数据的综合处理及传输效率，最后通过对缓存分区的动态调整保证了高质量的资源利用率，弥补了现有技术的空缺，且有效的增加了所述基于多双活存储的数据处理方法的可操作性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述的基于多双活存储的数据处理方法的流程图；
图2是本发明实施例1所述的基于多双活存储的数据处理方法的示意图；
图3是本发明实施例1所述的条带式处理的示意图；
图4是本发明实施例2所述的基于多双活存储的数据处理系统的架构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
在本发明的描述中，需要说明的是，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“业务需求”、“业务数据”、“算法处理步骤”、“数据重构步骤”、“统计步骤”、“保存步骤”、“调整步骤”、“数据处理容器”、“条带化处理”、“压缩数据”、“资源占用值”、“资源阈值”、“初始性能指标”、“现有性能参数”应做广义理解。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
本实施例提供一种基于多双活存储的数据处理方法，如图1至图3所示，包括以下步骤：
S100、获取业务需求，根据所述业务需求创建缓存分区；
步骤S100具体包括：
S101、统计所述业务需求的数量，按照所述数量创建对应个数的双活卷；
S102、判断所述业务需求的业务类型；设定与所述业务类型对应的第一资源阈值；根据所述业务类型和所述第一资源阈值为所述双活卷分配对应的存储资源和缓存分区；
S103、根据所述第一资源阈值以及所述缓存分区所对应的双活卷所对应的业务类型建立对应的地址指针；
S104、针对每个缓存分区，将其分为读分区和写分区，读分区仅对于业务需求对应的数据进行读取，写分区仅对于业务需求对应的数据进行读取外的其他处理；
例如：业务需求有5个，包括A、B、C、D和E，则创建5个双活卷，获取所述A、B、C、D和E的类型，比如其中只存在三种类型，则设定三个第一资源阈值：256G、128G和64G；A的类型为关键型业务，其业务处理的是最需要保障的数据，则创建与A对应的数据处理容器，并为所述数据处理容器分配256G存储资源，得到缓存分区；双活卷的空间大小设定一般都很大，在几十T左右甚至更多；地址指针类似标识，存储着业务类型和所述第一资源阈值；
通过创建所述缓存分区，可以保证多个缓存分区的地址指针不同的情况下，其硬件地址相同，都位于一个存储池，这样减少了多个缓存分区之间的性能差异，同时在对数据进行存储前，先经过缓存区间的处理，之后再发送至双活卷存储，通过缓存分区对多个双活卷间的数据传输进行处理，避免了存储资源的争抢；
S200、获取所述业务需求对应的第一业务数据，根据所述缓存分区对所述第一业务数据进行第一处理步骤，得到加密数据(即第三业务数据)，并将所述加密数据存储至所述缓存分区对应的双活卷中；
步骤S200具体包括：
第一处理步骤包括数据重构步骤和算法处理步骤；
S201、根据所述第一业务数据的类型将所述第一业务数据划分为读数据和写数据(即第一数据)；根据所述第一业务数据对应的业务需求在所述缓存分区内确定第一缓存分区(即被选取的所述缓存分区)；采用预读算法将所述读数据存储至所述第一缓存分区的读分区中；其中，第一业务数据来自于业务需求端，该第一业务数据本身应通过与业务需求对应的双活卷进行处理，但在实施例中通过缓存分区进行处理，采用数据重构步骤和算法处理步骤将第一业务数据进行转换，并将转换后的数据保存至对应的双活卷中，通过缓存分区对于数据进行处理，在多个双活卷的情况下，可以节省极多的存储资源，并且保证了双活卷的工作质量；
S202、待所述读数据存储至所述读分区后，写分区对所述写数据执行数据重构步骤；所述数据重构步骤为：对所述写数据进行条带化处理，得到第一条带数据(即第二业务数据)，并对所述第一条带数据执行算法处理步骤，得到加密数据，并将所述加密数据存储至所述缓存分区对应的双活卷中；
条带化处理的具体步骤为：
S203、设定第二资源阈值和第一数量，根据所述第一数量将所述写数据划分为若干条数据(即第三数据)；按照所述第二资源阈值将所述条数据进行聚合，得到若干所述第一条带数据；记录所述条数据对于所述第一条带数据的特征值；
例如：第一业务数据所对应的有5个写数据需要进行条带化处理；原本每个写数据的数据大小(即资源占用值)分别为4k、6k、6k、2k和2k；相应的第一数量为10，则将所述写数据划分为10条2k数据；第二资源阈值为10k，则分别将所述2k数据按每5个一组，聚合为所述第一条带数据，最终得到两个所述第一条带数据；
通过数据重构步骤对数据的读写重构以及数据分解重组，方便数据的压缩处理，使不同容量大小的数据进行均衡处理，不会造成对数据进行处理时的资源分配忽高忽低，进而增加了所述缓存分区的存储性能，且后期在对数据进行访问时，通过上述获取到的特征值对所述数据进行整合并访问即可。
算法处理步骤具体包括：
S204、对所述第一条带数据采用哈夫曼算法进行压缩，得到压缩数据，通过哈夫曼算法压缩后的数据进一步减少了存储资源的占用；之后对所述压缩数据采用对称加密算法进行加密，得到加密数据，通过对称加密算法得到的加密数据既具备安全性又具备数据解密时的便利性；最终得到的加密数据存储至所述写分区中；其中，加密数据是通过本实施例所描述的采用数据重构步骤和算法处理步骤将第一业务数据进行转换后的数据，该加密数据储存在双活卷中，因为双活卷是存在两个卷来实现对数据的传输和处理，存储有该加密数据的双活卷将该加密数据发送至其对端的双活卷；因为加密数据是经过重构和加密的，所以在传输时极大的节省了资源利用率；最终，对端双活卷仅通过对加密数据进行解密解压缩即可对数据进行存储和综合处理。
通过算法处理步骤对所述的第一条带数据压缩及加密后，既保证了数据处理的效率又保证了数据的安全性；在后续对数据进行提取或使用时，直接进行解压缩及解密即可。
S300、所述加密数据存储至所述缓存分区对应的双活卷后，对所述缓存分区进行性能统计，根据统计结果对缓存分区进行调整；
步骤S300具体包括：
S301、设定统计周期；每隔统计周期对所述缓存分区执行统计步骤，统计步骤具体包括：
S302、获取所述业务需求的第一读写性能参数(即初始性能指标)；获取所述业务需求所对应的缓存分区的第二读写性能参数(即现有性能参数)；比对所述第一读写性能参数和所述第二读写性能参数；
若所述第二读写性能参数均不小于所述第一读写性能参数，则执行保存步骤：
若所述第二读写性能参数中存在小于所述第一读写性能参数的第二读写性能参数，则执行调整步骤：
所述保存步骤包括：
S303、锁定所述缓存分区所对应的地址指针，并固化所述缓存分区内的存储资源；该步骤为保存缓存分区的设置，使其具有持久性，保证缓存分区及双活卷的稳定性；
所述调整步骤包括：
S304、定义所述第二读写性能参数中不小于所述第一读写性能参数的第二读写性能参数为第三读写性能参数(即第一性能参数)；定义所述第二读写性能参数中小于所述第一读写性能参数的第二读写性能参数为第四读写性能参数(即第二性能参数)；获取所述第三读写性能参数所对应的缓存分区的地址指针，并定义所述地址指针为第一地址指针；获取所述第四读写性能参数所对应的缓存分区的地址指针，并定义所述地址指针为第二地址指针；
S305、计算所述第三读写性能参数所对应的缓存分区的剩余存储资源；设定第三资源阈值；根据所述第四读写性能参数所对应的缓存分区所对应的双活卷所对应的业务类型设定分配优先级；按照所述分配优先级将在所述第三资源阈值内的所述剩余存储资源分配至所述第二地址指针所对应的缓存分区；
分配完毕后，修改对应的第一地址指针和所述第二地址指针；
例如：双活卷A对应的缓存分区为A1；双活卷B对应的缓存分区为B1；双活卷C对应的缓存分区为C1；若A1达到了要求，则计算A1的剩余存储资源；若A1的存储资源为40G，而A1现在已用的存储资源是24G，则剩余存储资源为16G；若B1、C1未达到要求；则根据优先级进行16G的分配；若C1对应的C所对应的业务类型为关键型业务，则C1的优先级大于B1的优先级，则先向C1分配16G；待下个周期再进行统计时再进行剩余存储资源的分配；本例的情况仅用于三个缓存分区及双活卷，且在双活卷和缓存分区足够多的情况下，剩余存储资源会按照优先级逐个分配至对应的缓存分区；
通过本步骤可以根据缓存分区的运行情况进行动态的调整，每隔统计周期进行对应的缓存分区的资源的调整和修改，确保资源一直是被有效的利用，最终使每个缓存分区的存储资源达到最优状态，避免了资源的浪费。
实施例2
本实施例提供一种基于多双活存储的数据处理系统，如图4所示，包括：
分区创建模块、数据处理模块和动态调整模块；
分区创建模块用于获取业务需求，并根据所述业务需求创建缓存分区；
具体的，分区创建模块统计所述业务需求的数量，按照所述数量创建对应个数的双活卷；分区创建模块判断所述业务需求的业务类型；分区创建模块设定与所述业务类型对应的第一资源阈值；分区创建模块根据所述业务类型和所述第一资源阈值为所述双活卷分配对应的存储资源和缓存分区；分区创建模块根据所述第一资源阈值以及所述缓存分区所对应的双活卷所对应的业务类型建立对应的地址指针；分区创建模块针对每个缓存分区，将其分为读分区和写分区，读分区仅对于业务需求对应的数据进行读取，写分区仅对于业务需求对应的数据进行读取外的其他处理；
缓存分区创建完毕后，所述分区创建模块向所述数据处理模块发送处理信号；所述数据处理模块用于在收到处理信号后，获取所述业务需求对应的第一业务数据，并根据所述缓存分区对所述第一业务数据进行第一处理步骤，得到加密数据(即第三业务数据)；
具体的，数据处理模块根据所述第一业务数据的类型将所述第一业务数据划分为读数据和写数据(即第一数据)；数据处理模块根据所述第一业务数据对应的业务需求在所述缓存分区内确定第一缓存分区；数据处理模块采用预读算法将所述读数据存储至所述第一缓存分区的读分区中；待所述读数据存储至所述读分区后，数据处理模块控制写分区对所述写数据执行数据重构步骤：数据处理模块控制写分区对所述写数据进行条带化处理，得到第一条带数据(即第二业务数据)；数据处理模块控制写分区对所述第一条带数据执行算法处理步骤，得到加密数据，并将所述加密数据存储至所述缓存分区对应的双活卷中；
条带化处理的具体步骤为：
数据处理模块控制写分区设定第二资源阈值和第一数量，数据处理模块控制写分区根据所述第一数量将所述写数据划分为若干条数据(即第三数据)，并按照所述第二资源阈值将所述条数据进行聚合，得到若干所述第一条带数据。
算法处理步骤具体包括：
数据处理模块控制写分区对所述第一条带数据采用哈夫曼算法进行压缩，得到压缩数据，之后数据处理模块控制写分区对所述压缩数据采用对称加密算法进行加密，得到加密数据，并将最终得到的加密数据存储至所述写分区中。
所述加密数据存储至所述缓存分区对应的双活卷后，所述数据处理模块向所述动态调整模块发送统计信号，所述动态调整模块用于根据所述统计信号对所述缓存分区进行性能统计，根据统计结果对缓存分区进行调整；
具体的，动态调整模块设定统计周期，动态调整模块每隔统计周期对所述缓存分区执行统计步骤，统计步骤具体包括：动态调整模块获取所述业务需求的第一读写性能参数(即初始性能指标)；动态调整模块获取所述业务需求所对应的缓存分区的第二读写性能参数(即现有性能参数)；动态调整模块比对所述第一读写性能参数和所述第二读写性能参数；若所述第二读写性能参数均不小于所述第一读写性能参数，则动态调整模块执行保存步骤：若所述第二读写性能参数中存在小于所述第一读写性能参数的第二读写性能参数，则动态调整模块执行调整步骤：
所述保存步骤包括：动态调整模块锁定所述缓存分区所对应的地址指针，并固化所述缓存分区内的存储资源；
所述调整步骤包括：动态调整模块定义所述第二读写性能参数中不小于所述第一读写性能参数的第二读写性能参数为第三读写性能参数(即第一性能参数)；动态调整模块定义所述第二读写性能参数中小于所述第一读写性能参数的第二读写性能参数为第四读写性能参数(即第二性能参数)；动态调整模块获取所述第三读写性能参数所对应的缓存分区的地址指针，并定义所述地址指针为第一地址指针；动态调整模块获取所述第四读写性能参数所对应的缓存分区的地址指针，并定义所述地址指针为第二地址指针；动态调整模块计算所述第三读写性能参数所对应的缓存分区的剩余存储资源；动态调整模块设定第三资源阈值；动态调整模块根据所述第四读写性能参数所对应的缓存分区所对应的双活卷所对应的业务类型设定分配优先级；动态调整模块按照所述分配优先级将在所述第三资源阈值内的所述剩余存储资源分配至所述第二地址指针所对应的缓存分区；分配完毕后，动态调整模块修改对应的第一地址指针和所述第二地址指针。
基于与前述实施例中一种基于多双活存储的数据处理方法同样的发明构思，本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多双活存储的数据处理方法的步骤。
区别于现有技术，采用本申请一种基于多双活存储的数据处理方法、系统及介质可以通过本方法为多个双活卷创建对应的缓存分区，通过缓存分区对业务数据的读写重构和分解重组实现对业务数据的均衡同步处理，提高了业务数据的一致性，进而提高了多双活卷对于业务数据的综合处理及传输效率，通过本系统为本方法提供了有效的技术支撑，最后通过对缓存分区的动态调整保证了高质量的资源利用率，弥补了现有技术的空缺。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于多双活存储的数据处理方法，其特征在于，包括以下步骤：
获取业务需求，基于所述业务需求创建双活卷以及设定第一资源阈值，根据所述第一资源阈值创建与所述双活卷对应的缓存分区；
获取与所述业务需求对应的第一业务数据，基于所述缓存分区对所述第一业务数据执行数据重构步骤，得到第二业务数据；
基于所述缓存分区对所述第二业务数据执行算法处理步骤，基于所述算法处理步骤将所述第二业务数据存储至所述双活卷；
设定统计周期，所述第二业务数据存储至所述双活卷后，每隔所述统计周期执行统计步骤，基于所述统计步骤对所述缓存分区执行保存步骤或调整步骤；
所述获取业务需求，基于所述业务需求创建双活卷以及设定第一资源阈值，根据所述第一资源阈值创建与所述双活卷对应的缓存分区的步骤进一步包括：
判断所述业务需求的业务类型，创建与所述业务类型对应的双活卷；
设定与所述业务类型对应的第一资源阈值，创建与所述双活卷对应的数据处理容器，基于所述第一资源阈值为所述数据处理容器配置对应的存储资源和地址指针，得到待划分缓存区；将所述待划分缓存区划分为读分区和写分区，设定划分后的所述待划分缓存区为所述缓存分区；
所述数据重构步骤包括：
设定第二资源阈值和第一数量；根据所述第一业务数据所对应的所述业务需求选取所述缓存分区；根据所述第一业务数据的数据类型将所述第一业务数据划分为读数据和写数据；采用预读算法将所述读数据存储至被选取的所述缓存分区的所述读分区中；待所述读数据存储至选取的所述缓存分区的所述读分区后，通过被选取的所述缓存分区按照所述第一数量将所述写数据划分为若干第二数据；通过所述被选取的所述缓存分区获取所述第二数据的资源占用值，并基于所述第二资源阈值和所述资源占用值将所述第二数据聚合为若干所述第二业务数据；
所述算法处理步骤包括：采用哈夫曼算法对所述第二业务数据进行压缩，得到压缩数据；采用对称加密算法对所述压缩数据进行加密，得到第三业务数据；通过所述被选取的所述缓存分区将所述第三业务数据存储至与所述被选取的所述缓存分区对应的所述双活卷。
2.根据权利要求1所述的基于多双活存储的数据处理方法，其特征在于：所述统计步骤包括：
获取所述业务需求的初始性能指标和所述业务需求所对应的缓存分区的现有性能参数；
比对所述现有性能参数是否均达到所述初始性能指标；若均达到，则对所述缓存分区执行所述保存步骤；若未均达到，则对所述缓存分区执行所述调整步骤。
3.根据权利要求2所述的基于多双活存储的数据处理方法，其特征在于：所述调整步骤包括：
定义所述现有性能参数中达到所述初始性能指标的现有性能参数为第一性能参数，定义所述第一性能参数所对应的缓存分区为第一分区，定义所述第一分区所对应的所述地址指针为第一地址指针；
定义所述现有性能参数中未达到所述初始性能指标的现有性能参数为第二性能参数，定义所述第二性能参数所对应的缓存分区为第二分区，定义所述第二分区所对应的所述地址指针为第二地址指针；
根据所述第一分区所对应的所述存储资源和所述第一性能参数计算所述第一分区的空闲存储资源；
设定第三资源阈值，根据所述第二分区所对应的所述双活卷所对应的业务类型设定分配优先级；
按照所述分配优先级将与所述第三资源阈值对应数值的所述空闲存储资源分配至所述第二分区；
所述空闲存储资源分配至所述第二分区后，获取所述第一分区的第一现有存储资源和所述第二分区的第二现有存储资源，根据所述第一现有存储资源和所述第二现有存储资源分别修改所述第一地址指针和所述第二地址指针。
4.根据权利要求2或3所述的基于多双活存储的数据处理方法，其特征在于：所述保存步骤包括：
锁定所述缓存分区所对应的所述地址指针，固化所述缓存分区所对应的所述存储资源。
5.基于权利要求4所述的基于多双活存储的数据处理方法的基于多双活存储的数据处理系统，其特征在于，包括：
分区创建模块、数据处理模块和动态调整模块；
所述分区创建模块用于获取业务需求，并根据所述业务需求创建双活卷以及设定第一资源阈值，所述分区创建模块根据所述第一资源阈值创建与所述双活卷对应的缓存分区；
所述数据处理模块用于获取与所述业务需求对应的第一业务数据，并控制所述缓存分区对所述第一业务数据执行数据重构步骤，得到第二业务数据，所述数据处理模块控制所述缓存分区对所述第二业务数据执行算法处理步骤得到第三业务数据，所述数据处理模块控制所述缓存分区将所述第三业务数据存储至所述双活卷；
所述动态调整模块用于设定统计周期，并在所述第三业务数据存储至所述双活卷后，每隔所述统计周期执行统计步骤，所述动态调整模块根据所述统计步骤对所述缓存分区执行保存步骤或调整步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～4中任一项所述基于多双活存储的数据处理方法的步骤。
CN202110181335.8A 2021-02-10 2021-02-10 一种基于多双活存储的数据处理方法、系统及介质 Active CN113031858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110181335.8A CN113031858B (zh) 2021-02-10 2021-02-10 一种基于多双活存储的数据处理方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110181335.8A CN113031858B (zh) 2021-02-10 2021-02-10 一种基于多双活存储的数据处理方法、系统及介质

Publications (2)

Publication Number Publication Date
CN113031858A CN113031858A (zh) 2021-06-25
CN113031858B true CN113031858B (zh) 2022-09-20

Family

ID=76461191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110181335.8A Active CN113031858B (zh) 2021-02-10 2021-02-10 一种基于多双活存储的数据处理方法、系统及介质

Country Status (1)

Country Link
CN (1) CN113031858B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608923B (zh) * 2021-06-28 2023-07-14 苏州浪潮智能科技有限公司 一种动态调整双活卷再同步速度的方法、系统及终端
CN116302619B (zh) * 2023-05-18 2023-09-05 成方金融科技有限公司 跨站点多活的处理方法、设备、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347675A (zh) * 2019-06-05 2019-10-18 阿里巴巴集团控股有限公司 一种数据存储方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508619B (zh) * 2011-11-21 2014-09-17 华为数字技术（成都）有限公司 存储系统服务质量控制方法、系统和存储系统
WO2014101218A1 (zh) * 2012-12-31 2014-07-03 华为技术有限公司 一种计算存储融合的集群系统
CN111143071A (zh) * 2019-12-28 2020-05-12 苏州浪潮智能科技有限公司 基于mcs系统的缓存分区管理方法、系统及相关组件
CN111338852A (zh) * 2020-02-29 2020-06-26 苏州浪潮智能科技有限公司 一种创建存储双活卷快照的方法、系统、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347675A (zh) * 2019-06-05 2019-10-18 阿里巴巴集团控股有限公司 一种数据存储方法及装置

Also Published As

Publication number Publication date
CN113031858A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113031858B (zh) 一种基于多双活存储的数据处理方法、系统及介质
US10152501B2 (en) Rollover strategies in a n-bit dictionary compressed column store
US10331641B2 (en) Hash database configuration method and apparatus
US10769126B1 (en) Data entropy reduction across stream shard
US11861196B2 (en) Resource allocation method, storage device, and storage system
CN108089825B (zh) 一种基于分布式集群的存储系统
US11899580B2 (en) Cache space management method and apparatus
CN105975398A (zh) 一种内存碎片管理方法
CN105022593B (zh) 一种基于数据压缩和数据去冗协同的存储优化方法
US20240070120A1 (en) Data processing method and apparatus
CN107423425A (zh) 一种对k/v格式的数据快速存储和查询方法
CN109445693A (zh) 一种数据压缩方法和装置
CN108616583B (zh) 一种基于计算机云的存储空间分配方法
CN112711564B (zh) 合并处理方法以及相关设备
US20230141175A1 (en) Method and system for reducing storage overhead of blockchain nodes, and storage medium
CN113742304B (zh) 一种混合云的数据存储方法
CN111708489B (zh) 一种提高硬盘服务质量的方法和设备
CN107077420B (zh) 覆盖擦除块映射
US8965857B2 (en) Method and system to avoid space bloating during run-time compression
CN114527929A (zh) 基于双哈希模糊布隆滤波器云存储数据融合方法
CN116137016B (zh) 一种基于特化纹理队列的显存优化方法
KR100617370B1 (ko) 저장 시스템에서 비트 맵에 의하여 관리되는 익스텐트를지원하는 페이지 할당 방법
CN111182026B (zh) 一种智能云盒子
CN117539396A (zh) 一种存储性能优化系统及方法
CN113312421A (zh) 工程造价系统中业务处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant