CN116610268B - 一种提高存取速度的数据处理方法及系统 - Google Patents
一种提高存取速度的数据处理方法及系统 Download PDFInfo
- Publication number
- CN116610268B CN116610268B CN202310889698.6A CN202310889698A CN116610268B CN 116610268 B CN116610268 B CN 116610268B CN 202310889698 A CN202310889698 A CN 202310889698A CN 116610268 B CN116610268 B CN 116610268B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- access
- stored
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000013500 data storage Methods 0.000 claims abstract description 103
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000005192 partition Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000010354 integration Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000007621 cluster analysis Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000010365 information processing Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术领域，提供一种提高存取速度的数据处理方法及系统。所述方法包括：基于数据分流规则对目标存储数据流进行分类标记，获得存储数据分流标记信息；根据存储数据分流标记信息对目标存储数据流进行分流整合，获得存储数据分支流；对数据存储模块进行层级分区，获得数据存储区块集合；基于存储数据分支流和数据存储区块集合进行匹配，获得流向区块映射关系；根据所述流向区块映射关系，配置数据存储网络多通道；基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。采用本方法能够达到通过对存储数据流进行分流整合处理，实现存储数据流多通道存取，提高数据存取速度，保证信息处理效率的技术效果。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种提高存取速度的数据处理方法及系统。
背景技术
随着计算机技术应用领域的发展，处理的信息量越来越多，对存储设备的工作速度和容量要求也越来越高，致使存储设备的存取速度已成为制约整个计算机系统速度提升的瓶颈，因此，提高数据存取速度已成为亟待解决的任务。然而，现有技术由于存储设备固有特性，数据存取速度较慢，导致影响信息处理效率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现存储数据流多通道存取，提高数据存取速度，保证信息处理效率的一种提高存取速度的数据处理方法及系统。
一种提高存取速度的数据处理方法，所述方法包括：采集获取目标存储数据流；基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；根据所述流向区块映射关系，配置数据存储网络多通道；基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
一种提高存取速度的数据处理系统，所述系统包括：存储数据流获取模块，用于采集获取目标存储数据流；数据分类标记模块，用于基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；数据分流整合模块，用于根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；层级分区模块，用于获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；存储区块匹配模块，用于基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；网络多通道配置模块，用于根据所述流向区块映射关系，配置数据存储网络多通道；多通道存取模块，用于基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集获取目标存储数据流；
基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；
根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；
获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；
基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；
根据所述流向区块映射关系，配置数据存储网络多通道；
基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
采集获取目标存储数据流；
基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；
根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；
获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；
基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；
根据所述流向区块映射关系，配置数据存储网络多通道；
基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
上述一种提高存取速度的数据处理方法及系统，解决了现有技术由于存储设备固有特性，数据存取速度较慢，导致影响信息处理效率的技术问题，达到了通过对存储数据流进行分流整合处理，实现存储数据流多通道存取，提高数据存取速度，保证信息处理效率的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为一个实施例中一种提高存取速度的数据处理方法的流程示意图；
图2为一个实施例中一种提高存取速度的数据处理方法中获得存储数据分流标记信息的流程示意图；
图3为一个实施例中一种提高存取速度的数据处理系统的结构框图；
图4为一个实施例中计算机设备的内部结构图。
附图标记说明：存储数据流获取模块11，数据分类标记模块12，数据分流整合模块13，层级分区模块14，存储区块匹配模块15，网络多通道配置模块16，多通道存取模块17。
实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本申请提供了一种提高存取速度的数据处理方法，所述方法包括：
步骤S100：采集获取目标存储数据流；
具体而言，随着计算机技术应用领域的发展，处理的信息量越来越多，对存储设备的工作速度和容量要求也越来越高，致使存储设备的存取速度已成为制约整个计算机系统速度提升的瓶颈，因此，提高数据存取速度已成为亟待解决的任务。为实现数据智能化存取高效处理，首先采集获取目标存储数据流，所述目标存储数据流包括多个待存储数据集，作为待分流处理的存取数据信息。
步骤S200：基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；
在一个实施例中，如图2所示，所述获得存储数据分流标记信息，申请步骤S200还包括：
步骤S210：获得数据分流规则，所述数据分流规则包括属性分类规则和数据存取规则；
步骤S220：根据所述属性分类规则，确定数据属性特征指标，所述数据属性特征指标包括数据类型、数据规模、数据价值；
步骤S230：基于所述数据属性特征指标对所述目标存储数据流进行属性分类，获得数据属性特征信息；
步骤S240：基于所述数据存取规则对所述数据属性特征信息进行特征标记，获得所述存储数据分流标记信息。
在一个实施例中，所述基于所述数据存取规则对所述数据属性特征信息进行特征标记，获得所述存储数据分流标记信息，本申请步骤S240还包括：
步骤S241：根据所述数据存取规则，确定数据存取特征指标，所述数据存取特征指标包括存取频次、存取时间、存取格式；
步骤S242：基于所述数据存取特征指标对所述数据属性特征信息进行特征标记，生成存储数据特征点群集；
步骤S243：对所述存储数据特征点群集进行聚类分析，获得存储特征点聚类结果；
步骤S244：基于所述存储特征点聚类结果进行分流标记，获得所述存储数据分流标记信息。
在一个实施例中，所述获得存储特征点聚类结果，本申请步骤S243还包括：
步骤S2431：根据所述数据分流规则，构建存储特征坐标系；
步骤S2432：对所述存储特征坐标系进行区域标签化分类，获得特征标签化分类结果；
步骤S2433：将所述存储数据特征点群集输入至所述存储特征坐标系，获得数据存储特征向量；
步骤S2434：基于所述数据存储特征向量和所述特征标签化分类结果进行映射匹配，获取特征标签分类结果；
步骤S2435：根据所述特征标签分类结果，确定所述存储特征点聚类结果。
具体而言，制定获取数据分流规则，所述数据分流规则为数据分流依据，包括属性分类规则，即数据属性分类依据和数据存取规则，即数据存取依据。基于数据分流规则对所述目标存储数据流进行分类标记。首先根据所述属性分类规则，确定数据属性特征指标，所述数据属性特征指标具体包括数据类型，即数据所属类型；数据规模，即数据集大小；数据价值，即数据重要程度等级等。基于所述数据属性特征指标对所述目标存储数据流进行属性分类，获得目标存储数据流中各存储数据对应的具体数据属性特征信息。
基于所述数据存取规则对所述数据属性特征信息进行特征标记，首先根据所述数据存取规则，确定数据存取特征指标，所述数据存取特征指标具体包括存取频次，即数据存取调用频繁程度；存取时间，即数据存储时间远近；存取格式，即数据存取的可变格式，便于节约数据存储内存。基于所述数据存取特征指标对所述数据属性特征信息分别进行特征标记，生成存储数据特征点群集，所述存储数据特征点群集同时标记有数据属性特征和数据存取特征。对所述存储数据特征点群集进行聚类分析，即按照存储数据特征点进行分类，以提高后续数据分流效率和分流准确性。
数据聚类分流具体为首先根据所述数据分流规则中的数据属性特征指标和数据存取特征指标，构建存储特征坐标系，所述存储特征坐标系的坐标轴与各特征指标相对应，用于进行数据特征分类。可依据数据存取实际应用经验对所述存储特征坐标系进行区域标签化分类，即对坐标系上的各区域进行存取特征标签赋予，例如存取位置、存取结构、速度等标签，分区获得特征标签化分类结果。将所述存储数据特征点群集输入至所述存储特征坐标系，根据数据特征点坐标获得对应的数据存储特征向量。基于所述数据存储特征向量和所述特征标签化分类结果进行映射匹配，获取特征向量所映射的特征标签分类结果，并根据所述特征标签分类结果，组合确定存储特征点聚类结果。基于所述存储特征点聚类结果进行分流标记，即将相同聚类结果的存储数据划分为同一流向，获得数据分流后的存储数据分流标记信息。通过对存储数据流进行属性分类标记，实现数据分流整合处理，进而提高数据存取效率。
步骤S300：根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；
具体而言，根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，即将流向相同的存储数据整合为一个分支数据流，整合获得存储数据分支流，便于后续数据高效存取处理。
步骤S400：获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；
在一个实施例中，所述获得数据存储区块集合，本申请步骤S400还包括：
步骤S410：基于数据分流规则，确定存储层级划分规则，所述存储层级划分规则包括存取容量划分层级和存取速度划分层级；
步骤S420：根据所述数据存储模块，获取模块存储属性信息；
步骤S430：按照所述存储层级划分规则对所述模块存储属性信息进行规划，获得存储区块划分层级；
步骤S440：基于所述存储区块划分层级将所述数据存储模块进行多体并行，获得所述数据存储区块集合。
具体而言，获得数据存储模块，所述数据存储模块为数据存储装置，例如移动存储设备等。为充分利用存储模块，对所述数据存储模块进行层级分区，首先基于数据分流规则，确定存储层级划分规则，所述存储层级划分规则为存储模块层级划分依据，包括存取容量划分层级和存取速度划分层级。根据所述数据存储模块的生产厂商，获取模块存储属性信息，所述模块存储属性信息包括容量、读写速度等。按照所述存储层级划分规则对所述模块存储属性信息进行规划，可按照实际需求将存储模块划分为多个存储层级，可自行设定规划获得存储区块划分层级，示例性的，将存储区块划分为相同存取速度、不同容量的区块层级。基于所述存储区块划分层级将所述数据存储模块进行多体并行，获得所述数据存储区块集合，即可将存储模块按照所述存储区块划分层级划分为多个并行存储区块，既能并行工作，也可交叉工作，提高存储模块利用率。
步骤S500：基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；
具体而言，基于所述存储数据分支流和所述数据存储区块集合进行匹配，即将分支流的容量和存取要求等特征与各存储区块的存储属性进行匹配，获得对应的流向区块映射关系，即数据分支流和存储区块的存取关联。依据流向区块映射关系将数据分支流存储至对应的存储区块中。
步骤S600：根据所述流向区块映射关系，配置数据存储网络多通道；
在一个实施例中，所述配置数据存储网络多通道，本申请步骤还包括：
步骤S610：根据所述流向区块映射关系，确定数据存取需求信息；
步骤S620：基于所述数据存取需求信息，生成数据存取传输参数；
步骤S630：基于所述数据存取传输参数进行通道配置，获取所述数据存储网络多通道。
具体而言，根据所述流向区块映射关系，配置数据存储网络多通道，用于数据同时存取传输。具体为根据所述流向区块映射关系，确定数据存取需求信息，包括数据存取量以及存取速度需求。基于所述数据存取需求信息，生成数据存取传输参数，所述数据存取传输参数与数据存取需求对应，以满足存取需求。基于所述数据存取传输参数进行通道配置，部署获取传输参数对应的数据存储网络多通道。实现存储数据流多通道并行存取，进而提高数据存取速度。
步骤S700：基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
在一个实施例中，所述基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取，本申请步骤S700还包括：
步骤S710：对所述数据存储网络多通道进行存取监听，分别获取多通道数据存取速度；
步骤S720：将所述多通道数据存取速度和数据存取速度基准的差值，作为实时数据存取延迟参数；
步骤S730：对所述实时数据存取延迟参数进行加速分析，获取数据存取加速系数；
步骤S740：基于所述数据存取加速系数，对存取延迟通道进行并行通道加速扩展。
具体而言，基于所述数据存储网络多通道对所述目标存储数据流进行多通道并行存取。同时为保证数据存取速度，对所述数据存储网络多通道进行存取监听，分别获取多通道数据存取速度。计算所述多通道数据存取速度和数据存取速度基准的差值，所述数据存取速度基准为存取提升速度达标标准，可自行设定，将实时存取速度未达标的差值作为实时数据存取延迟参数。对所述实时数据存取延迟参数进行加速分析，按照存取延迟等级进行加速程度确定，获取数据存取加速系数，即需要提升的存取速度等级。基于所述数据存取加速系数，对存取延迟通道进行并行通道加速扩展，可设置加速通道进行扩展，也可将其余闲置通道作为并行通道进行加速，确保数据存取速度达标。实现数据存取通道并行扩展，保证数据存取速度，进而提高信息处理效率。
在一个实施例中，如图3所示，提供了一种提高存取速度的数据处理系统，包括：存储数据流获取模块11，数据分类标记模块12，数据分流整合模块13，层级分区模块14，存储区块匹配模块15，网络多通道配置模块16，多通道存取模块17，其中：
存储数据流获取模块11，用于采集获取目标存储数据流；
数据分类标记模块12，用于基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；
数据分流整合模块13，用于根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；
层级分区模块14，用于获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；
存储区块匹配模块15，用于基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；
网络多通道配置模块16，用于根据所述流向区块映射关系，配置数据存储网络多通道；
多通道存取模块17，用于基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
在一个实施例中，所述系统还包括：
数据分流规则获得单元，用于获得数据分流规则，所述数据分流规则包括属性分类规则和数据存取规则；
属性特征指标确定单元，用于根据所述属性分类规则，确定数据属性特征指标，所述数据属性特征指标包括数据类型、数据规模、数据价值；
数据属性分类单元，用于基于所述数据属性特征指标对所述目标存储数据流进行属性分类，获得数据属性特征信息；
数据特征标记单元，用于基于所述数据存取规则对所述数据属性特征信息进行特征标记，获得所述存储数据分流标记信息。
在一个实施例中，所述系统还包括：
存取特征指标确定单元，用于根据所述数据存取规则，确定数据存取特征指标，所述数据存取特征指标包括存取频次、存取时间、存取格式；
特征点群集生成单元，用于基于所述数据存取特征指标对所述数据属性特征信息进行特征标记，生成存储数据特征点群集；
聚类分析单元，用于对所述存储数据特征点群集进行聚类分析，获得存储特征点聚类结果；
分流标记单元，用于基于所述存储特征点聚类结果进行分流标记，获得所述存储数据分流标记信息。
在一个实施例中，所述系统还包括：
特征坐标系构建单元，用于根据所述数据分流规则，构建存储特征坐标系；
区域标签化分类单元，用于对所述存储特征坐标系进行区域标签化分类，获得特征标签化分类结果；
存储特征向量获得单元，用于将所述存储数据特征点群集输入至所述存储特征坐标系，获得数据存储特征向量；
标签映射匹配单元，用于基于所述数据存储特征向量和所述特征标签化分类结果进行映射匹配，获取特征标签分类结果；
特征点聚类结果确定单元，用于根据所述特征标签分类结果，确定所述存储特征点聚类结果。
在一个实施例中，所述系统还包括：
层级划分规则确定单元，用于基于数据分流规则，确定存储层级划分规则，所述存储层级划分规则包括存取容量划分层级和存取速度划分层级；
模块存储属性获取单元，用于根据所述数据存储模块，获取模块存储属性信息；
区块划分层级获得单元，用于按照所述存储层级划分规则对所述模块存储属性信息进行规划，获得存储区块划分层级；
存储区块集合获得单元，用于基于所述存储区块划分层级将所述数据存储模块进行多体并行，获得所述数据存储区块集合。
在一个实施例中，所述系统还包括：
存取需求确定单元，用于根据所述流向区块映射关系，确定数据存取需求信息；
存取传输参数生成单元，用于基于所述数据存取需求信息，生成数据存取传输参数；
多通道配置单元，用于基于所述数据存取传输参数进行通道配置，获取所述数据存储网络多通道。
在一个实施例中，所述系统还包括：
通道存取监听单元，用于对所述数据存储网络多通道进行存取监听，分别获取多通道数据存取速度；
延迟参数获得单元，用于将所述多通道数据存取速度和数据存取速度基准的差值，作为实时数据存取延迟参数；
参数加速分析单元，用于对所述实时数据存取延迟参数进行加速分析，获取数据存取加速系数；
通道加速扩展单元，用于基于所述数据存取加速系数，对存取延迟通道进行并行通道加速扩展。
关于一种提高存取速度的数据处理系统的具体实施例可以参见上文中对于一种提高存取速度的数据处理方法的实施例，在此不再赘述。上述一种提高存取速度的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储新闻数据以及时间衰减因子等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种提高存取速度的数据处理方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：采集获取目标存储数据流；基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；根据所述流向区块映射关系，配置数据存储网络多通道；基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采集获取目标存储数据流；基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；根据所述流向区块映射关系，配置数据存储网络多通道；基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种提高存取速度的数据处理方法，其特征在于，所述方法包括：
采集获取目标存储数据流；
基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；
根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；
获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；
基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；
根据所述流向区块映射关系，配置数据存储网络多通道；
基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取；
其中，所述基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取，包括：
对所述数据存储网络多通道进行存取监听，分别获取多通道数据存取速度；
将所述多通道数据存取速度和数据存取速度基准的差值，作为实时数据存取延迟参数；
对所述实时数据存取延迟参数进行加速分析，获取数据存取加速系数；
基于所述数据存取加速系数，对存取延迟通道进行并行通道加速扩展；
所述获得存储数据分流标记信息，包括：
获得数据分流规则，所述数据分流规则包括属性分类规则和数据存取规则；
根据所述属性分类规则，确定数据属性特征指标，所述数据属性特征指标包括数据类型、数据规模、数据价值；
基于所述数据属性特征指标对所述目标存储数据流进行属性分类，获得数据属性特征信息；
基于所述数据存取规则对所述数据属性特征信息进行特征标记，获得所述存储数据分流标记信息；
所述基于所述数据存取规则对所述数据属性特征信息进行特征标记，获得所述存储数据分流标记信息，包括：
根据所述数据存取规则，确定数据存取特征指标，所述数据存取特征指标包括存取频次、存取时间、存取格式；
基于所述数据存取特征指标对所述数据属性特征信息进行特征标记，生成存储数据特征点群集；
对所述存储数据特征点群集进行聚类分析，获得存储特征点聚类结果；
基于所述存储特征点聚类结果进行分流标记，获得所述存储数据分流标记信息。
2.如权利要求1所述的方法，其特征在于，所述获得存储特征点聚类结果，包括：
根据所述数据分流规则，构建存储特征坐标系；
对所述存储特征坐标系进行区域标签化分类，获得特征标签化分类结果；
将所述存储数据特征点群集输入至所述存储特征坐标系，获得数据存储特征向量；
基于所述数据存储特征向量和所述特征标签化分类结果进行映射匹配，获取特征标签分类结果；
根据所述特征标签分类结果，确定所述存储特征点聚类结果。
3.如权利要求1所述的方法，其特征在于，所述获得数据存储区块集合，包括：
基于数据分流规则，确定存储层级划分规则，所述存储层级划分规则包括存取容量划分层级和存取速度划分层级；
根据所述数据存储模块，获取模块存储属性信息；
按照所述存储层级划分规则对所述模块存储属性信息进行规划，获得存储区块划分层级；
基于所述存储区块划分层级将所述数据存储模块进行多体并行，获得所述数据存储区块集合。
4.如权利要求1所述的方法，其特征在于，所述配置数据存储网络多通道，包括：
根据所述流向区块映射关系，确定数据存取需求信息；
基于所述数据存取需求信息，生成数据存取传输参数；
基于所述数据存取传输参数进行通道配置，获取所述数据存储网络多通道。
5.一种提高存取速度的数据处理系统，其特征在于，所述系统包括：
存储数据流获取模块，用于采集获取目标存储数据流；
数据分类标记模块，用于基于数据分流规则对所述目标存储数据流进行分类标记，获得存储数据分流标记信息；
数据分流整合模块，用于根据所述存储数据分流标记信息对所述目标存储数据流进行分流整合，获得存储数据分支流；
层级分区模块，用于获得数据存储模块，对所述数据存储模块进行层级分区，获得数据存储区块集合；
存储区块匹配模块，用于基于所述存储数据分支流和所述数据存储区块集合进行匹配，获得流向区块映射关系；
网络多通道配置模块，用于根据所述流向区块映射关系，配置数据存储网络多通道；
多通道存取模块，用于基于所述数据存储网络多通道对所述目标存储数据流进行多通道存取；
通道存取监听单元，用于对所述数据存储网络多通道进行存取监听，分别获取多通道数据存取速度；
延迟参数获得单元，用于将所述多通道数据存取速度和数据存取速度基准的差值，作为实时数据存取延迟参数；
参数加速分析单元，用于对所述实时数据存取延迟参数进行加速分析，获取数据存取加速系数；
通道加速扩展单元，用于基于所述数据存取加速系数，对存取延迟通道进行并行通道加速扩展；
数据分流规则获得单元，用于获得数据分流规则，所述数据分流规则包括属性分类规则和数据存取规则；
属性特征指标确定单元，用于根据所述属性分类规则，确定数据属性特征指标，所述数据属性特征指标包括数据类型、数据规模、数据价值；
数据属性分类单元，用于基于所述数据属性特征指标对所述目标存储数据流进行属性分类，获得数据属性特征信息；
数据特征标记单元，用于基于所述数据存取规则对所述数据属性特征信息进行特征标记，获得所述存储数据分流标记信息；
存取特征指标确定单元，用于根据所述数据存取规则，确定数据存取特征指标，所述数据存取特征指标包括存取频次、存取时间、存取格式；
特征点群集生成单元，用于基于所述数据存取特征指标对所述数据属性特征信息进行特征标记，生成存储数据特征点群集；
聚类分析单元，用于对所述存储数据特征点群集进行聚类分析，获得存储特征点聚类结果；
分流标记单元，用于基于所述存储特征点聚类结果进行分流标记，获得所述存储数据分流标记信息。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889698.6A CN116610268B (zh) | 2023-07-20 | 2023-07-20 | 一种提高存取速度的数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889698.6A CN116610268B (zh) | 2023-07-20 | 2023-07-20 | 一种提高存取速度的数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116610268A CN116610268A (zh) | 2023-08-18 |
| CN116610268B true CN116610268B (zh) | 2023-11-14 |
Family
ID=87675103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310889698.6A Active CN116610268B (zh) | 2023-07-20 | 2023-07-20 | 一种提高存取速度的数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610268B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667103A (zh) * | 2008-09-01 | 2010-03-10 | 智微科技股份有限公司 | 磁盘阵列5控制器及存取方法 |
| CN112860191A (zh) * | 2021-03-02 | 2021-05-28 | 深圳市东方聚成科技有限公司 | 一种基于多通道的同步分道存储方法 |
| CN115269719A (zh) * | 2022-06-22 | 2022-11-01 | 深圳市普渡科技有限公司 | 数据同步方法及装置 |
| CN115604123A (zh) * | 2021-07-12 | 2023-01-13 | 华为技术有限公司（Cn） | 数据处理方法、设备、存储介质和芯片系统 |
| CN116049193A (zh) * | 2023-02-17 | 2023-05-02 | 上海哔哩哔哩科技有限公司 | 数据存储方法及装置 |
| CN116304257A (zh) * | 2023-05-19 | 2023-06-23 | 天云融创数据科技（北京）有限公司 | 一种基于大数据的分类存储方法及系统 |
-
2023
- 2023-07-20 CN CN202310889698.6A patent/CN116610268B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667103A (zh) * | 2008-09-01 | 2010-03-10 | 智微科技股份有限公司 | 磁盘阵列5控制器及存取方法 |
| CN112860191A (zh) * | 2021-03-02 | 2021-05-28 | 深圳市东方聚成科技有限公司 | 一种基于多通道的同步分道存储方法 |
| CN115604123A (zh) * | 2021-07-12 | 2023-01-13 | 华为技术有限公司（Cn） | 数据处理方法、设备、存储介质和芯片系统 |
| CN115269719A (zh) * | 2022-06-22 | 2022-11-01 | 深圳市普渡科技有限公司 | 数据同步方法及装置 |
| CN116049193A (zh) * | 2023-02-17 | 2023-05-02 | 上海哔哩哔哩科技有限公司 | 数据存储方法及装置 |
| CN116304257A (zh) * | 2023-05-19 | 2023-06-23 | 天云融创数据科技（北京）有限公司 | 一种基于大数据的分类存储方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116610268A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110119270A1 (en) | Apparatus and method for processing a data stream | |
| CN113312361B (zh) | 轨迹查询方法、装置、设备、存储介质及计算机程序产品 | |
| CN105653398A (zh) | 一种智能分配操作系统镜像方法 | |
| CN107291539A (zh) | 基于资源重要程度的集群程序调度方法 | |
| CN116467061B (zh) | 一种任务执行的方法、装置、存储介质及电子设备 | |
| CN111881243A (zh) | 一种出租车轨迹热点区域分析方法及系统 | |
| US11922578B2 (en) | Method for adjusting point cloud density, electronic device, and storage medium | |
| CN110084476B (zh) | 案件调整方法、装置、计算机设备和存储介质 | |
| CN116610268B (zh) | 一种提高存取速度的数据处理方法及系统 | |
| CN113810234B (zh) | 微服务链路拓扑处理方法、装置及可读存储介质 | |
| CN109784634A (zh) | 服务区域划分方法、电子装置及可读存储介质 | |
| CN116662876A (zh) | 多模态认知决策方法、系统、装置、设备及存储介质 | |
| CN116701001A (zh) | 目标任务分配方法、装置、电子设备及存储介质 | |
| CN110909085A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN115086343A (zh) | 一种基于人工智能的物联网数据交互方法及系统 | |
| CN114691698B (zh) | 一种计算机系统的数据处理系统及方法 | |
| CN113162801B (zh) | 一种告警分析方法、装置及存储介质 | |
| CN116208465A (zh) | 一种电力信息通信状况智能监测预警方法及系统 | |
| CN111027689A (zh) | 配置方法、装置及计算系统 | |
| CN112333040A (zh) | 一种流量分离方法、装置、存储介质和计算机设备 | |
| CN112003733A (zh) | 一种智慧园区物联网综合管理方法及管理平台 | |
| CN118152202A (zh) | 基于虚拟化技术的ic测试机动态资源分配测试方法及系统 | |
| CN118050028B (zh) | 一种降低测绘误差的测绘无人机及测绘方法 | |
| CN116522002B (zh) | 一种基于机器学习的通航服务系统的容器推荐方法及系统 | |
| CN115473343A (zh) | 一种智能网关多主站并行接入测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |