CN116627362B - 一种基于分布式储存的财务数据处理方法 - Google Patents

一种基于分布式储存的财务数据处理方法 Download PDF

Info

Publication number
CN116627362B
CN116627362B CN202310925366.9A CN202310925366A CN116627362B CN 116627362 B CN116627362 B CN 116627362B CN 202310925366 A CN202310925366 A CN 202310925366A CN 116627362 B CN116627362 B CN 116627362B
Authority
CN
China
Prior art keywords
storage
data
node
sensitivity
storage node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310925366.9A
Other languages
English (en)
Other versions
CN116627362A (zh
Inventor
付胜龙
王钰
贺金生
宋军
袁彬
肖朝斌
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dahan E Commerce Co ltd
Original Assignee
Dahan E Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dahan E Commerce Co ltd filed Critical Dahan E Commerce Co ltd
Priority to CN202310925366.9A priority Critical patent/CN116627362B/zh
Publication of CN116627362A publication Critical patent/CN116627362A/zh
Application granted granted Critical
Publication of CN116627362B publication Critical patent/CN116627362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及分布式储存技术领域，尤其涉及一种基于分布式储存的财务数据处理方法，本发明通过检测各存储节点存储不同类型数据时的存储敏感度建立存储节点与数据类型的关联关系，基于用户端存储不同类型数据的历史记录确定各数据类型的存储趋势，基于各存储节点的数据存储量确定当前各类型数据关联的存储节点的存储状态，基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，提高了分布式储存的数据存储效率与效果。

Description

一种基于分布式储存的财务数据处理方法
技术领域
本发明涉及分布式储存技术领域，尤其涉及一种基于分布式储存的财务数据处理方法。
背景技术
分布式储存是指将数据分散地存储在多个节点上，以提高数据的可靠性和可用性，分布式存储将数据分割成若干块，每块存储在不同的节点上，节点之间通过网络进行通信和协调，从而实现数据的访问和管理，以提高数据的可靠性和可用性。
中国专利公开号：CN111104048A，公开了如下内容，一种数据处理方法及分布式存储系统。分布式存储系统的存储盘包括至少两个存储盘群，至少两个存储盘群配置有至少两个节能态。具体的，该方法包括：分布式存储系统的处理模块接收包括待处理数据的标识的读请求，并根据待处理数据的标识，读取待处理数据的元数据，以确定第一存储盘群和第二存储盘群，这里，第一存储盘群配置有第一节能态，第二存储盘群配置有第二节能态，第一节能态的唤醒时延小于第二节能态的唤醒时延；后续，从第一存储盘群中读取第一子数据，并在读取第一子数据后，从第二存储盘群中读取第二子数据。综合考虑存储盘的功耗和数据处理时延，提升了存储盘的工作效率。
但是，现有技术中，还存在以下问题：
在现有技术中，由于用户端对财务数据进行存储往往存在较强的周期性，在短期内会存储大量数据，容易造成存储拥堵，未提前对存储方式进行适应性调整，并且，现有技术中未考虑分布式储存中的不同节点对不同类型数据进行存储时的敏感程度不同，导致不同节点对不同类型数据进行存储的效率不同，存储效率不高。
发明内容
为解决存储数据存在周期性容易造成存储拥堵，未提前改变存储方式且存储效率不高的问题，本发明提供一种基于分布式储存的财务数据处理方法，其包括：
步骤S1、检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，检测存储敏感度时包括，将不同数据类型对应的测试数据包分别存储至存储节点，并记录各测试数据包在存储节点完成数据存储所用的时间，基于所用的时间计算存储敏感度；
步骤S2、获取用户端存储不同类型数据的历史记录，基于所述历史记录确定不同周期内各数据类型的存储趋势，所述存储趋势包括第一存储趋势以及第二存储趋势；
步骤S3、获取各存储节点的数据存储量，确定当前各类型数据关联的存储节点的存储状态，所述存储状态包括第一存储状态以及第二存储状态；
步骤S4、基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，其中，
在预设条件下，将对应数据类型的数据存储至与所述数据类型关联的存储节点中，并且，在预设存储条件下，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据；
在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各所述比值选取存储节点对数据进行存储；
所述预设条件为，数据对应的数据类型在下一周期内的存储趋势为第一存储趋势且用以存储该数据类型的存储节点均为第一存储状态，所述预设存储条件为，与所述数据类型关联的存储节点中已没有存储容量。
进一步地，在所述步骤S1中，基于所用的时间计算存储节点存储数据时的存储敏感度，其中，
按照公式（1）计算存储节点存储数据时的存储敏感度S，
公式（1）中，t表示测试数据包在所述存储节点完成数据存储所用的时间，t0表示预设的时间对比参量。
进一步地，在所述步骤S1中，基于存储敏感度建立存储节点与数据类型的关联关系，其中，
获取存储单个数据类型的数据时各存储节点的存储敏感度降序排列，从存储敏感度降序排列首端开始提取预设数量的存储敏感度，建立所述数据类型与所提取存储敏感度对应的存储节点的关联关系。
进一步地，在所述步骤S2中，基于用户端存储不同类型数据的历史记录构建各类型数据对应的存储量变化曲线，其中，
以时间为横轴以数据存储量为纵轴建立存储坐标系，逐个确定各类型数据在不同周期内的数据存储量，并在所述存储坐标系中逐个构建各类型数据的数据存储量随时间的存储量变化曲线，并建立各所述存储量变化曲线与对应的数据类型的关联关系。
进一步地，在所述步骤S2中，确定存储量变化曲线对应的平均变化速率表征值，其中，
在所述存储坐标系中构建若干分段直线将存储量变化曲线划分为若干曲线段，确定各所述曲线段的中点对应的纵轴坐标值Y，按照公式（2）计算所述存储量变化曲线的平均变化速率表征值R，各所述分段直线为平行于所述纵轴方向且间距相等的直线，
公式（2）中，Yi表示第i个曲线段的中点对应的纵轴坐标值，Yi-1表示第i-1个曲线段的中点对应的纵轴坐标值，n表示所述存储量变化曲线中曲线段的数量，i表示大于1的整数。
进一步地，在所述步骤S2中，基于所述平均变化速率表征值判定不同周期内与所述存储量变化曲线相关联的数据类型的存储趋势，其中，
将所述平均变化速率表征值与预设的变化速率对比阈值进行对比，
若对比结果满足第一速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第一存储趋势；
若对比结果满足第二速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第二存储趋势；
其中，所述第一速率条件为所述平均变化速率表征值大于等于所述预设的变化速率对比阈值，所述第二速率条件为所述平均变化速率表征值小于所述预设的变化速率对比阈值。
进一步地，在所述步骤S3中，确定当前周期内各类型数据关联的存储节点的存储状态，其中，
将存储节点的数据存储量与预设的存储量对比阈值进行对比，
在第一对比条件下，判定当前周期内所述存储节点的存储状态为第一存储状态；
在第二对比条件下，判定当前周期内所述存储节点的存储状态为第二存储状态；
其中，所述第一对比条件为所述存储节点的数据存储量大于等于所述预设的存储量对比阈值，所述第二对比条件为所述存储节点的数据存储量小于所述预设的存储量对比阈值，所述存储量对比阈值基于所述存储节点的最大存储上限所确定。
进一步地，在所述步骤S4中，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据，其中，
确定与需存储数据无关联关系的若干存储节点，按照存储敏感度由高到低的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
进一步地，在所述步骤S4中，基于当前周期内各存储节点的数据存储量与存储容量的比值选取存储节点对数据进行存储，其中，
确定全部存储节点，按照各所述比值由低到高的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
进一步地，还包括，每隔预设周期重复所述步骤S1，以更新各存储节点存储不同类型数据时的存储敏感度。
与现有技术相比，本发明通过检测各存储节点存储不同类型数据时的存储敏感度建立存储节点与数据类型的关联关系，基于用户端存储不同类型数据的历史记录确定各数据类型的存储趋势，基于各存储节点的数据存储量确定当前各类型数据关联的存储节点的存储状态，基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，提高了分布式储存的数据存储效率与效果。
尤其，本发明中，检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，存储节点的存储敏感度由不同类型数据对应的测试数据包在存储节点完成数据存储所用的时间计算所得，在实际情况中，测试数据包完成存储所用的时间越小，则表明存储节点对测试数据包对应的数据的存储效率越高，即敏感程度越高，建立存储节点与数据类型的关联关系，便于后续在优先考虑提高分布式储存的数据存储效率时，根据关联关系对不同数据类型的数据进行存储。
尤其，本发明中，获取用户端存储不同类型数据的历史记录，基于历史记录确定不同周期内各数据类型的存储趋势，根据历史记录生成各类型数据的数据存储量随时间的存储量变化曲线，以存储量变化曲线在相邻的单位时间段内的纵轴坐标值的增加量的平均值表示存储量变化曲线的平均变化速率表征值，因此，平均变化速率表征值越大，则表明存储量变化曲线对应的数据类型在相邻的单位时间段内的数据存储量的平均增加量越大，即数据存储量的增加速率越快，即数据存储量的上升趋势越明显，以预设的变化速率对比阈值与平均变化速率表征值的大小关系，将存储量变化曲线对应的数据类型的存储趋势进行划分，便于后续针对不同存储趋势的数据类型进行对应的处理，提高了分布式储存的数据存储效率与效果。
尤其，本发明中，在预设条件下，将对应数据类型的数据存储至与该数据类型关联的存储节点中，并且，在预设存储条件下，基于各存储节点存储该数据类型的数据时的存储敏感度排序选取存储节点存储数据，在数据类型的存储趋势为上升趋势较明显的第一存储趋势，且用以存储该数据类型的存储节点为数据存储量较多的第一存储状态的预设条件下，由于该类型数据在下一周期内可能会出现数据量剧增的状况，对该类型数据进行存储时，应优先考虑对该类型数据进行存储时的存储效率，因此，优先将需存储数据的数据类型存储至相关联的存储节点，并在相关联的存储节点没有存储容量时，按照与其无关联关系的若干存储节点存储该类型数据时的存储敏感度由高到低的顺序选取存储节点进行存储，提高了分布式储存的数据存储效率。
尤其，本发明中，在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各比值选取存储节点对数据进行存储，在数据类型的存储趋势为上升趋势不明显的第二存储趋势，或/和用以存储该数据类型的存储节点为数据存储量较少的第二存储状态的非预设条件下，存储压力较小，应优先考虑将数据分散存储至不同的存储节点中，以提高分布式储存的数据存储效果，且当前周期前存储节点的数据存储量与存储容量的比值越小，表明存储节点的剩余存储容量越大，因此按照比值由低到高的顺序依次选取存储节点，将需存储数据存储至选取出的存储节点，提高了分布式储存的数据存储效果。
附图说明
图1为发明实施例的基于分布式储存的财务数据处理方法步骤示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，其为本发明实施例的基于分布式储存的财务数据处理方法步骤示意图，本发明的基于分布式储存的财务数据处理方法包括：
步骤S1、检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，检测存储敏感度时包括，将不同数据类型对应的测试数据包分别存储至存储节点，并记录各测试数据包在存储节点完成数据存储所用的时间，基于所用的时间计算存储敏感度；
步骤S2、获取用户端存储不同类型数据的历史记录，基于所述历史记录确定不同周期内各数据类型的存储趋势，所述存储趋势包括第一存储趋势以及第二存储趋势；
步骤S3、获取各存储节点的数据存储量，确定当前各类型数据关联的存储节点的存储状态，所述存储状态包括第一存储状态以及第二存储状态；
步骤S4、基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，其中，
在预设条件下，将对应数据类型的数据存储至与所述数据类型关联的存储节点中，并且，在预设存储条件下，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据；
在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各所述比值选取存储节点对数据进行存储；
所述预设条件为，数据对应的数据类型在下一周期内的存储趋势为第一存储趋势且用以存储该数据类型的存储节点均为第一存储状态，所述预设存储条件为，与所述数据类型关联的存储节点中已没有存储容量。
具体而言，本发明中，在预设条件下，将对应数据类型的数据存储至与该数据类型关联的存储节点中，并且，在预设存储条件下，基于各存储节点存储该数据类型的数据时的存储敏感度排序选取存储节点存储数据，在数据类型的存储趋势为上升趋势较明显的第一存储趋势，且用以存储该数据类型的存储节点为数据存储量较多的第一存储状态的预设条件下，由于该类型数据在下一周期内可能会出现数据量剧增的状况，对该类型数据进行存储时，应优先考虑对该类型数据进行存储时的存储效率，因此，优先将需存储数据的数据类型存储至相关联的存储节点，并在相关联的存储节点没有存储容量时，按照与其无关联关系的若干存储节点存储该类型数据时的存储敏感度由高到低的顺序选取存储节点进行存储，提高了分布式储存的数据存储效率。
具体而言，在本实施例中，周期应当在合理区间内，避免周期过短不具备数据表征性，本领域技术人员可以将周期的周期长度从区间[10，30]内选定，区间单位为分钟。
具体而言，本发明对存储节点的具体形式不做限定，其可以是用于存储数据的服务器节点，其只需能完成存储数据的功能即可，其为现有技术，此处不再赘述。
具体而言，本发明对数据类型的具体形式不做限定，其可以是文本、音频、视频、图像以及日志等，其只需能完成将数据划分成不同的数据类型的功能即可，不再赘述。
具体而言，本发明对存储节点与数据类型建立关联关系的具体方式不做限定，本领域技术人员应当明白，建立存储节点与数据类型的关联关系的方式可以有多种，其只需能完成建立存储节点与数据类型之间的关联关系的功能即可，不再赘述。
具体而言，本发明对数据存储至存储节点的具体实现方式不做限定，其可以是通过将数据传输到存储节点后进行存储至存储节点，其只需能完成将数据存储至存储节点的功能即可，不再赘述。
具体而言，在所述步骤S1中，基于所用的时间计算存储节点存储数据时的存储敏感度，其中，
按照公式（1）计算存储节点存储数据时的存储敏感度S，
公式（1）中，t表示测试数据包在所述存储节点完成数据存储所用的时间，t0表示预设的时间对比参量，t0＞0。
具体而言，在本实施例中，预设的时间对比参量t0为基于多个数据类型对应的测试数据包在存储节点完成数据存储所用的平均时间△t计算所得，设定，其中，ti表示第i个数据类型对应的测试数据包在存储节点完成数据存储所用的时间，ne表示测试数据包的个数，100≤ne，i表示大于0的整数，设定t0=α△t，其中，α表示时间调整比例系数，0.9≤α≤1.1。
具体而言，在本实施例中，为避免个数过少不具备数据表征性，本领域技术人员可以将数据类型的个数ne从区间[100，200]内选定，区间单位为个。
具体而言，在本实施例中，调整比例系数α应当在合理区间内，本领域技术人员可以将调整比例系数从区间[0.9，1.1]内选定。
具体而言，在所述步骤S1中，基于存储敏感度建立存储节点与数据类型的关联关系，其中，
获取存储单个数据类型的数据时各存储节点的存储敏感度降序排列，从存储敏感度降序排列首端开始提取预设数量Nr的存储敏感度，建立所述数据类型与所提取存储敏感度对应的存储节点的关联关系，在本实施例中预设数量Nr≥3。
具体而言，本发明中，检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，存储节点的存储敏感度由不同类型数据对应的测试数据包在存储节点完成数据存储所用的时间计算所得，在实际情况中，测试数据包完成存储所用的时间越小，则表明存储节点对测试数据包对应的数据的存储效率越高，即敏感程度越高，建立存储节点与数据类型的关联关系，便于后续在优先考虑提高分布式储存的数据存储效率时，根据关联关系对不同数据类型的数据进行存储。
具体而言，在所述步骤S2中，基于用户端存储不同类型数据的历史记录构建各类型数据对应的存储量变化曲线，其中，
以时间为横轴以数据存储量为纵轴建立存储坐标系，逐个确定各类型数据在不同周期内的数据存储量，并在所述存储坐标系中逐个构建各类型数据的数据存储量随时间的存储量变化曲线，并建立各所述存储量变化曲线与对应的数据类型的关联关系。
具体而言，在所述步骤S2中，确定存储量变化曲线对应的平均变化速率表征值，其中，
在所述存储坐标系中构建若干分段直线将存储量变化曲线划分为若干曲线段，确定各所述曲线段的中点对应的纵轴坐标值Y，按照公式（2）计算所述存储量变化曲线的平均变化速率表征值R，各所述分段直线为平行于所述纵轴方向且间距相等的直线，
公式（2）中，Yi表示第i个曲线段的中点对应的纵轴坐标值，Yi-1表示第i-1个曲线段的中点对应的纵轴坐标值，n表示所述存储量变化曲线中曲线段的数量，i表示大于1的整数。
具体而言，在所述步骤S2中，基于所述平均变化速率表征值判定不同周期内与所述存储量变化曲线相关联的数据类型的存储趋势，其中，
将所述平均变化速率表征值R与预设的变化速率对比阈值R0进行对比，R0＞0，
若对比结果满足第一速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第一存储趋势；
若对比结果满足第二速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第二存储趋势；
其中，所述第一速率条件为所述平均变化速率表征值大于等于所述预设的变化速率对比阈值，所述第二速率条件为所述平均变化速率表征值小于所述预设的变化速率对比阈值。
具体而言，在本实施例中，预设的变化速率对比阈值R0为基于存储节点对应的多个数据类型的存储量变化曲线的平均变化速率表征值的平均值△R计算所得，设定，其中，Ri表示第i个数据类型的存储量变化曲线的平均变化速率表征值，nc表示数据类型的个数，i表示大于0的整数，设定R0=β△R，其中，β表示速率调整比例系数，1≤β≤1.3。
具体而言，数据类型的个数nc应当在合理的区间内，可以将数据类型的个数从区间[100，200]内选定，区间单位为个。
具体而言，为避免调整量过大或过小导致对数据类型的存储趋势判定不准确，将速率调整比例系数β从区间[1，1.3]内选定。
具体而言，本发明中，获取用户端存储不同类型数据的历史记录，基于历史记录确定不同周期内各数据类型的存储趋势，根据历史记录生成各类型数据的数据存储量随时间的存储量变化曲线，以存储量变化曲线在相邻的单位时间段内的纵轴坐标值的增加量的平均值表示存储量变化曲线的平均变化速率表征值，因此，平均变化速率表征值越大，则表明存储量变化曲线对应的数据类型在相邻的单位时间段内的数据存储量的平均增加量越大，即数据存储量的增加速率越快，即数据存储量的上升趋势越明显，以预设的变化速率对比阈值与平均变化速率表征值的大小关系，将存储量变化曲线对应的数据类型的存储趋势进行划分，便于后续针对不同存储趋势的数据类型进行对应的处理，提高了分布式储存的数据存储效率与效果。
具体而言，在所述步骤S3中，确定当前周期内各类型数据关联的存储节点的存储状态，其中，
将存储节点的数据存储量Ym与预设的存储量对比阈值Y0进行对比，Y0＞0，
在第一对比条件下，判定当前周期内所述存储节点的存储状态为第一存储状态；
在第二对比条件下，判定当前周期内所述存储节点的存储状态为第二存储状态；
其中，所述第一对比条件为所述存储节点的数据存储量大于等于所述预设的存储量对比阈值，所述第二对比条件为所述存储节点的数据存储量小于所述预设的存储量对比阈值，所述存储量对比阈值基于所述存储节点的最大存储上限所确定。
具体而言，在本实施例中，预设的存储量对比阈值Y0为基于存储节点的存储容量Y’计算所得，设定Y0=γY’，其中，γ表示存储量调整系数，0.5≤γ≤0.7。
具体而言，在本实施例中，存储量调整系数γ应在合理的范围内，避免调整量过大或过小对存储节点的存储状态的判定不准确，本领域技术人员可以在区间[0.5,0.7]内选定存储量调整系数的取值。
具体而言，在所述步骤S4中，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据，其中，
确定与需存储数据无关联关系的若干存储节点，按照存储敏感度由高到低的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
具体而言，在所述步骤S4中，基于当前周期内各存储节点的数据存储量与存储容量的比值选取存储节点对数据进行存储，其中，
确定全部存储节点，按照各所述比值由低到高的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
具体而言，本发明中，在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各比值选取存储节点对数据进行存储，在数据类型的存储趋势为上升趋势不明显的第二存储趋势，或/和用以存储该数据类型的存储节点为数据存储量较少的第二存储状态的非预设条件下，存储压力较小，应优先考虑将数据分散存储至不同的存储节点中，以提高分布式储存的数据存储效果，且当前周期前存储节点的数据存储量与存储容量的比值越小，表明存储节点的剩余存储容量越大，因此按照比值由低到高的顺序依次选取存储节点，将需存储数据存储至选取出的存储节点，提高了分布式储存的数据存储效果。
具体而言，还包括，每隔预设周期重复所述步骤S1，以更新各存储节点存储不同类型数据时的存储敏感度。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于分布式储存的财务数据处理方法，其特征在于，包括：
步骤S1、检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，检测存储敏感度时包括，将不同数据类型对应的测试数据包分别存储至存储节点，并记录各测试数据包在存储节点完成数据存储所用的时间，基于所用的时间计算存储敏感度；
步骤S2、获取用户端存储不同类型数据的历史记录，基于所述历史记录确定不同周期内各数据类型的存储趋势，所述存储趋势包括第一存储趋势以及第二存储趋势；
步骤S3、获取各存储节点的数据存储量，确定当前各类型数据关联的存储节点的存储状态，所述存储状态包括第一存储状态以及第二存储状态；
步骤S4、基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，其中，
在预设条件下，将对应数据类型的数据存储至与所述数据类型关联的存储节点中，并且，在预设存储条件下，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据；
在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各所述比值选取存储节点对数据进行存储；
所述预设条件为，数据对应的数据类型在下一周期内的存储趋势为第一存储趋势且用以存储该数据类型的存储节点均为第一存储状态，所述预设存储条件为，与所述数据类型关联的存储节点中已没有存储容量。
2.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S1中，基于所用的时间计算存储节点存储数据时的存储敏感度，其中，
按照公式（1）计算存储节点存储数据时的存储敏感度S，
，
公式（1）中，t表示测试数据包在所述存储节点完成数据存储所用的时间，t0表示预设的时间对比参量。
3.根据权利要求2所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S1中，基于存储敏感度建立存储节点与数据类型的关联关系，其中，
获取存储单个数据类型的数据时各存储节点的存储敏感度降序排列，从存储敏感度降序排列首端开始提取预设数量的存储敏感度，建立所述数据类型与所提取存储敏感度对应的存储节点的关联关系。
4.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S2中，基于用户端存储不同类型数据的历史记录构建各类型数据对应的存储量变化曲线，其中，
以时间为横轴以数据存储量为纵轴建立存储坐标系，逐个确定各类型数据在不同周期内的数据存储量，并在所述存储坐标系中逐个构建各类型数据的数据存储量随时间的存储量变化曲线，并建立各所述存储量变化曲线与对应的数据类型的关联关系。
5.根据权利要求4所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S2中，确定存储量变化曲线对应的平均变化速率表征值，其中，
在所述存储坐标系中构建若干分段直线将存储量变化曲线划分为若干曲线段，确定各所述曲线段的中点对应的纵轴坐标值Y，按照公式（2）计算所述存储量变化曲线的平均变化速率表征值R，各所述分段直线为平行于所述纵轴方向且间距相等的直线，
，
公式（2）中，Yi表示第i个曲线段的中点对应的纵轴坐标值，Yi-1表示第i-1个曲线段的中点对应的纵轴坐标值，n表示所述存储量变化曲线中曲线段的数量，i表示大于1的整数。
6.根据权利要求5所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S2中，基于所述平均变化速率表征值判定不同周期内与所述存储量变化曲线相关联的数据类型的存储趋势，其中，
将所述平均变化速率表征值与预设的变化速率对比阈值进行对比，
若对比结果满足第一速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第一存储趋势；
若对比结果满足第二速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第二存储趋势；
其中，所述第一速率条件为所述平均变化速率表征值大于等于所述预设的变化速率对比阈值，所述第二速率条件为所述平均变化速率表征值小于所述预设的变化速率对比阈值。
7.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S3中，确定当前周期内各类型数据关联的存储节点的存储状态，其中，
将存储节点的数据存储量与预设的存储量对比阈值进行对比，
在第一对比条件下，判定当前周期内所述存储节点的存储状态为第一存储状态；
在第二对比条件下，判定当前周期内所述存储节点的存储状态为第二存储状态；
其中，所述第一对比条件为所述存储节点的数据存储量大于等于所述预设的存储量对比阈值，所述第二对比条件为所述存储节点的数据存储量小于所述预设的存储量对比阈值，所述存储量对比阈值基于所述存储节点的最大存储上限所确定。
8.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S4中，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据，其中，
确定与需存储数据无关联关系的若干存储节点，按照存储敏感度由高到低的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
9.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S4中，基于当前周期内各存储节点的数据存储量与存储容量的比值选取存储节点对数据进行存储，其中，
确定全部存储节点，按照各所述比值由低到高的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
10.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，还包括，每隔预设周期重复所述步骤S1，以更新各存储节点存储不同类型数据时的存储敏感度。
CN202310925366.9A 2023-07-26 2023-07-26 一种基于分布式储存的财务数据处理方法 Active CN116627362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310925366.9A CN116627362B (zh) 2023-07-26 2023-07-26 一种基于分布式储存的财务数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310925366.9A CN116627362B (zh) 2023-07-26 2023-07-26 一种基于分布式储存的财务数据处理方法

Publications (2)

Publication Number Publication Date
CN116627362A CN116627362A (zh) 2023-08-22
CN116627362B true CN116627362B (zh) 2023-09-22

Family

ID=87610355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310925366.9A Active CN116627362B (zh) 2023-07-26 2023-07-26 一种基于分布式储存的财务数据处理方法

Country Status (1)

Country Link
CN (1) CN116627362B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804039A (zh) * 2018-06-04 2018-11-13 平安科技（深圳）有限公司 自适应的数据恢复流控方法、装置、电子设备及存储介质
CN110162270A (zh) * 2019-04-29 2019-08-23 平安国际智慧城市科技股份有限公司 基于分布式存储系统的数据存储方法、存储节点及介质
CN110659898A (zh) * 2018-06-28 2020-01-07 腾讯科技（深圳）有限公司 一种数据控制方法、装置及存储介质
WO2020121325A2 (en) * 2018-12-11 2020-06-18 Jois Subramanya R A system and method of executing, confirming and storing a transaction in a serverless decentralized node network with a distributed ledger
CN111858067A (zh) * 2020-07-31 2020-10-30 厦门网宿有限公司 一种数据处理方法及装置
CN113312663A (zh) * 2021-05-31 2021-08-27 尧领有限公司 分布式数据存储方法及系统、计算机可读存储介质
CN113672669A (zh) * 2021-10-21 2021-11-19 大汉电子商务有限公司 基于分布式存储的数据查询方法及装置
US11216195B1 (en) * 2020-07-31 2022-01-04 EMC IP Holding Company LLC Sharing blocks of non-volatile data storage to support cache flushes in a multi-node data storage system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569093B1 (ko) * 2013-08-13 2015-11-13 삼성에스디에스 주식회사 분산 시스템에서 데이터를 처리하는 방법
US10067696B2 (en) * 2015-12-18 2018-09-04 Emc Corporation Capacity exhaustion prevention for distributed storage
KR101791901B1 (ko) * 2016-03-30 2017-10-31 재단법인차세대융합기술연구원 빅데이터의 효율적인 저장·실시간 분석형 스마트 스토리지 플랫폼장치 및 방법
US10311230B2 (en) * 2016-12-24 2019-06-04 Cisco Technology, Inc. Anomaly detection in distributed ledger systems
US11704037B2 (en) * 2020-03-30 2023-07-18 Cohesity, Inc. Deduplicated storage disk space utilization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804039A (zh) * 2018-06-04 2018-11-13 平安科技（深圳）有限公司 自适应的数据恢复流控方法、装置、电子设备及存储介质
CN110659898A (zh) * 2018-06-28 2020-01-07 腾讯科技（深圳）有限公司 一种数据控制方法、装置及存储介质
WO2020121325A2 (en) * 2018-12-11 2020-06-18 Jois Subramanya R A system and method of executing, confirming and storing a transaction in a serverless decentralized node network with a distributed ledger
CN110162270A (zh) * 2019-04-29 2019-08-23 平安国际智慧城市科技股份有限公司 基于分布式存储系统的数据存储方法、存储节点及介质
CN111858067A (zh) * 2020-07-31 2020-10-30 厦门网宿有限公司 一种数据处理方法及装置
US11216195B1 (en) * 2020-07-31 2022-01-04 EMC IP Holding Company LLC Sharing blocks of non-volatile data storage to support cache flushes in a multi-node data storage system
CN113312663A (zh) * 2021-05-31 2021-08-27 尧领有限公司 分布式数据存储方法及系统、计算机可读存储介质
CN113672669A (zh) * 2021-10-21 2021-11-19 大汉电子商务有限公司 基于分布式存储的数据查询方法及装置

Also Published As

Publication number Publication date
CN116627362A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN102577241B (zh) 分布式缓存资源调度的方法、装置及系统
CN110191159B (zh) 一种资源服务器的负载调节方法及系统、设备
CN105262699A (zh) 一种网络自适应编码调整方法及装置
US6633834B2 (en) Baselining of data collector data
JP7172909B2 (ja) 電子制御装置
CN116627362B (zh) 一种基于分布式储存的财务数据处理方法
CN104202349A (zh) 分布式缓存资源调度的方法、装置及系统
CN112788039B (zh) 一种DDoS攻击识别方法、装置及存储介质
CN105471938A (zh) 服务器负载管理方法及装置
WO2023134694A1 (zh) 无线通信方法、电子设备及存储介质
CN111278039B (zh) 用户感知压抑识别方法、装置、设备及介质
CN109257384B (zh) 基于访问节奏矩阵的应用层DDoS攻击识别方法
JP2001077813A (ja) ネットワーク情報管理装置とネットワーク情報管理方法およびその処理プログラムを記録した記録媒体
CN112367384B (zh) 基于Kafka集群的动态限速方法、装置以及计算机设备
CN115292373A (zh) 一种切分数据块的方法及装置
CN108234658A (zh) 一种感知服务器集群健康状况的方法、装置和服务器
US20060072462A1 (en) Method of capturing utilization charges
CN109344131B (zh) 数据存储方法、装置及管理服务器
CN105812203A (zh) 一种请求消息处理方法及设备
CN112328463A (zh) 一种日志监控方法及装置
CN101557291B (zh) 日志聚合的方法和装置
CN111355624B (zh) 一种自适应的设备性能采集方法及装置
CN116886453B (zh) 一种网络流量大数据分析方法
CN116661683B (zh) 一种闪存的磨损平衡管理方法、系统、设备及介质
CN115129541B (zh) 一种基于飞腾平台的高性能计算资源监控实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant