CN115914140B - 一种存储数据处理方法、装置、电子设备和存储介质 - Google Patents
一种存储数据处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115914140B CN115914140B CN202310036360.6A CN202310036360A CN115914140B CN 115914140 B CN115914140 B CN 115914140B CN 202310036360 A CN202310036360 A CN 202310036360A CN 115914140 B CN115914140 B CN 115914140B
- Authority
- CN
- China
- Prior art keywords
- storage
- rate
- server
- cascade
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 430
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 359
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000013439 planning Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 26
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013468 resource allocation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种存储数据处理方法、装置、电子设备和存储介质，涉及数据存储传输技术领域；包括获取业务数据，业务数据包括业务场景和传输总量；依据业务场景确定存储路径；存储路径包括与服务器至存储级联对应的第一存储子地址、与服务器至交换机至存储级联对应的第二存储子地址和与服务器至直联外置磁盘阵列级联对应的第三存储子地址；检测存储拓扑结构的实时传输速率；基于实时传输速率，将传输总量划分为第一传输量，第二传输量和第三传输量，基于第一存储子地址对第一传输量进行存储，基于第二存储子地址对第二传输量进行存储，基于第三存储子地址对第三传输量进行存储。通过本发明实施例提高数据传输效率、安全性。
Description
技术领域
本发明涉及数据存储传输技术领域，特别是涉及一种存储数据处理方法、一种存储数据处理装置、一种电子设备和一种存储介质。
背景技术
在大数据时代，对存储阵列可靠性、高效性提出更高要求，尤其针对存储系统数据备份的稳定可靠性以及数据传输效率；当前存储设备中，随着PCIE 5.0高速传输链路的应用，数据传输速率提升到单条lane（通道） 32GB/S（吉字每秒节），从服务器端到交换机端再到存储端采用的FC（Fibre Channel，网状信道）卡的光纤传输速率达到64GB/S，从服务器到存储端采用的万兆网卡的网络传输协议速率可达100GB/S，然而，常用于存储设备中的JBOD（just a bunch of disks，外置磁盘阵列）单元上SAS（Serial Attached SCSI，串行连接SCSI接口）线缆的传输速率仅达到12GB/S，外挂HDD（ Hard Disk Drive，机械硬盘）的传输带宽仅几百兆，这种前端后端传输速率差使得服务器将数据上传至存储控制器端，存储控制器在将数据落盘的过程中会存在一定的时延，给用户上网过程中带来延迟体验；随着当前数据量的爆发试增长，数据的应用场景也变得多种多样，如财务系统数据、医疗系统数据、互联网大数据等，各类业务场景对数据存储可靠性的要求以及各类数据的自身特点都不尽相同，当前的存储产品为了更好的应对各类数据业务场景，在管理软件层面给出了QOS（Quality of Service，服务质量）限制资源、自动分层等算法根据数据重要等级提供不同的服务，而在硬件层面上数据传输处理是各类业务场景统一进行的，不同数据类型的业务在存储层面上直接无差别的占用IO资源，这会影响数据存储的工作效率，也会使高等级核心业务的处理受到延迟。随着海量数据的增长，上述两个问题带来的影响会逐渐明显。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种存储数据处理方法、一种存储数据处理装置、一种电子设备和一种存储介质。
在本发明的一个方面，本发明实施例公开了一种存储数据处理方法，其特征在于，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联，所述方法包括：
获取业务数据，所述业务数据包括业务场景和传输总量；
依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
检测所述存储拓扑结构的实时传输速率；
基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；
基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。
可选地，在所述基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储的步骤之后，所述方法还包括：
记录所述服务器至存储级联的第一存储状态，记录所述服务器至交换机至存储级联的第二存储状态，记录所述服务器至直联外置磁盘阵列级联的第三存储状态；
基于所述第一存储状态调整所述服务器至存储级联的存储区间，基于所述第二存储状态调整所述服务器至交换机至存储级联的存储区间，基于所述第三存储状态调整所述服务器至直联外置磁盘阵列级联的存储区间。
可选地，在所述基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储的步骤之后，所述方法还包括：
判断所述业务场景是否为目标场景；
当所述业务场景为所述目标场景时，对所述服务器至直联外置磁盘阵列级联中存储的数据进行校验。
可选地，在所述对所述服务器至直联外置磁盘阵列级联中存储的数据进行校验的步骤之后，所述方法还包括：
当校验失败时，对所述服务器至直联外置磁盘阵列级联进行数据恢复。
可选地，所述方法还包括：
在初始化时，检测所述服务器至存储级联的第一链路状态、所述服务器至交换机至存储级联的第二链路状态、和所述服务器至直联外置磁盘阵列级联的第三链路状态；
当所述第一链路状态为正常状态，且所述第二链路状态为正常状态，且所述第三链路状态为正常状态时，执行所述检测所述存储拓扑结构的实时传输速率的步骤。
可选地，在所述基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储的步骤之后，所述方法还包括：
检测当所述第一链路状态是否为正常状态，所述第二链路状态是否为正常状态，所述第三链路状态是否为正常状态；
当所述第一链路状态不为正常状态时，确定所述服务器至存储级联的第一故障磁盘；
当所述第二链路状态不为正常状态时，确定所述服务器至交换机至存储级联的第二故障磁盘；
当所述第三链路状态不为正常状态时，确定所述服务器至直联外置磁盘阵列级联的第三故障磁盘；
切除所述第一故障磁盘、和/或所述第二故障磁盘、和/或所述第三故障磁盘。
可选地，所述实时传输速率包括实时输入速率和实时输出速率；所述基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量的步骤包括：
计算所述实时输入速率和所述实时输出速率的速率差值；
依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
可选地，所述实时输入速率包括与所述服务器至存储级联对应的第一输入速率、与所述服务器至交换机至存储级联对应的第二输入速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输入速率，所述实时输出速率包括与所述服务器至存储级联对应的第一输出速率、与所述服务器至交换机至存储级联对应的第二输出速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输出速率，所述计算所述实时输入速率和所述实时输出速率的速率差值的步骤包括：
计算所述第一输入速率与所述第一输出速率的第一差值；
计算所述第二输入速率与所述第二输出速率的第二差值；
计算所述第三输入速率与所述第三输出速率的第三差值；
依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值。
可选地，所述依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值的步骤包括：
按照递增顺序对所述第一差值、所述第二差值和所述第二差值进行排序，生成差值集合；
确定所述差值集合的首位差值为所述速率差值。
可选地，所述依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量包括：
依据所述速率差值调整所述第一输入速率和所述第一输出速率，得到第一传输子速率；
依据所述速率差值调整所述第二输入速率和所述第二输出速率，得到第二传输子速率；
依据所述速率差值调整所述第三输入速率和所述第三输出速率，得到第三传输子速率；
依据所述第一传输子速率、所述第二传输子速率和所述第三传输子速率对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
可选地，所述依据所述第一传输子速率、所述第二传输子速率和所述第三传输子速率对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量的步骤包括：
将所述传输总量除以所述第一传输子速率，得到第一传输量；
将所述传输总量除以所述第二传输子速率，得到第二传输量；
将所述传输总量除以所述第三传输子速率，得到第三传输量。
可选地，所述业务场景包括业务类型和存储优先级；所述依据所述业务场景确定存储路径的步骤包括：
基于所述业务类型进行路径规划，得到第一初始路径；
基于所述数据热度进行路径规划，得到第二初始路径；
结合所述第一初始路径和所述第二路径，生成所述存储路径。
可选地，所述述依据所述业务场景确定存储路径的步骤还包括：
当所述业务类型为预设业务类型时，对所述存储路径进行冗余设置。
可选地，所述基于所述业务类型进行路径规划，得到第一初始路径的步骤包括：
依据所述业务类型确定优先级；
基于所述优先级进行路径规划，得到第一初始路径。
可选地，所述基于所述优先级进行路径规划，得到第一初始路径的步骤包括：
按照所述优先级，查询对应的磁盘路径；
确定所述磁盘路径为所述第一初始路径。
可选地，所述基于所述数据热度进行路径规划，得到第二初始路径的步骤包括：
按照数据热度进行递减排序，生成热度顺序；
按照所述热度顺序进行路径规划，得到第二初始路径。
可选地，所述按照所述热度顺序进行路径规划，得到第二初始路径的步骤包括：
按照所述热度顺序，确定对应的读取频率路径；
确定所述读取频率路径为所述第二初始路径。
在本发明的第二个方面，本发明实施例公开了一种存储数据处理装置，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联，所述装置包括：
第一获取模块，用于获取业务数据，所述业务数据包括业务场景和传输总量；
路径分配模块，用于依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
检测模块，用于检测所述存储拓扑结构的实时传输速率；
速率分配模块，用于基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；
存储模块，用于基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。
在本发明的第三个方面，本发明实施例还公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的存储数据处理方法的步骤。
在本发明的第四个方面，本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的存储数据处理方法的步骤。
本发明实施例包括以下优点：
本发明实施例通过获取业务数据，所述业务数据包括业务场景和传输总量；依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；检测所述存储拓扑结构的实时传输速率；基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。通过以优化求解的方式给三种级联结构设置对应硬件传输资源分配规划；将存储设备的硬件资源按输入输出速率最均衡的方式分配，保证数据从服务器端无延迟输入存储端落盘，提高存储效率；且提供了不同业务场景下的数据存储规划，数据传输前优先进行业务层面的数据分析，根据结果安排不同业务数据的存储规划，保证数据存的安全可靠。
附图说明
图1是本发明的一种存储数据处理方法实施例的步骤流程图；
图2是本发明的另一种存储数据处理方法实施例的步骤流程图；
图3是本发明的一种存储数据处理方法示例硬件连接示意图；
图4是本发明的一种存储数据处理方法示例级联示意图；
图5是本发明的一种存储数据处理方法示例的第一分步骤示意图；
图6是本发明的一种存储数据处理方法示例的第二分步骤流程图；
图7是本发明的一种存储数据处理方法示例的第三分步骤流程图；
图8是本发明的一种存储数据处理装置实施例的结构框图；
图9是本申请实施例提供的一种电子设备的结构框图；
图10是本申请实施例提供的一种存储介质的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种存储数据处理方法实施例的步骤流程图，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联。
在本发明实施例中，需要处理的存储数据是在存储拓扑结构中进行传输，该存储拓扑结构包括服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联。服务器至存储级联即为服务器前端与硬盘之间的结构，服务器至交换机至存储级联即为服务器前端、交换机和直联外置磁盘阵列之间的数据传递结构，服务器至直联外置磁盘阵列级联即为服务器前端和直联外置磁盘阵列之间的数据传递结构。
所述存储数据处理方法具体可以包括如下步骤：
步骤101，获取业务数据，所述业务数据包括业务场景和传输总量；
当服务器需要进行数据的存储时，可以从产生数据的对象中获取到业务数据。该业务数据包括该业务数据的业务场景，以及该业务数据的传输总量。
步骤102，依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
根据业务场景，对业务数据中存储地址进行规划，确定出存储路径，从而保证重要业务场景的业务数据可以保存到不易丢失的磁盘区域中。其中，由于业务数据会在三个级联结构中都进行传输，因此，该存储路径包括与服务器至存储级联对应的第一存储子地址、与服务器至交换机至存储级联对应的第二存储子地址和与服务器至直联外置磁盘阵列级联对应的第三存储子地址。其中，第一存储子地址即为在服务器至存储级联中存储地址，第二存储子地址即为在服务器至交换机至存储级联中的存储地址，第三存储子地址即为服务器至直联外置磁盘阵列级联的存储地址。
步骤103，检测所述存储拓扑结构的实时传输速率；
然后检测三个存储拓扑结构中，每个端口的实时传输速率；即分别服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联中每个端口的实时传输速率。
步骤104，基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；
根据实时传输速率，即可以确定服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联三个级联的硬件使用情况，从而将传输总量划分为第一传输量，第二传输量和第三传输量，使得服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联三个级联的传输速率接近，减少延时等待时间，提高传输效率。其中，第一传输量与服务器至存储级联对应，第二传输量与服务器至交换机至存储级联对应，第三传输量与服务器至直联外置磁盘阵列级联对应。
步骤105，基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。
最后，对服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联三个级联分别进行数据存储，即在服务器至存储级联，基于第一存储子地址对第一传输量进行存储。在服务器至交换机至存储级联，基于第二存储子地址对第二传输量进行存储，在服务器至直联外置磁盘阵列级联，基于第三存储子地址对第三传输量进行存储。
本发明实施例通过获取业务数据，所述业务数据包括业务场景和传输总量；依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；检测所述存储拓扑结构的实时传输速率；基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。通过以优化求解的方式给三种级联结构设置对应硬件传输资源分配规划；将存储设备的硬件资源按输入输出速率最均衡的方式分配，保证数据从服务器端无延迟输入存储端落盘，提高存储效率；且提供了不同业务场景下的数据存储规划，数据传输前优先进行业务层面的数据分析，根据结果安排不同业务数据的存储规划，保证数据存的安全可靠。
参照图2，示出了本发明的一种存储数据处理方法实施例的步骤流程图，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联。
步骤201，获取业务数据，所述业务数据包括业务场景和传输总量；
在本发明实施例中，当服务器需要进行数据存储时，获取需要存储的业务数据。该业务数据包括业务场景和传输总量。
步骤202，依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
首先，基于业务场景对业务重要性进行分析，如，当前业务数据为金融、医院、政务三类数据享有最高优先级，存储以上三类数据时将存储数据标记为重要业务数据。根据其重要性进行路径规划，并且基于业务场景还会对数据热度进行分析，热点数据与非热点数据采用不同的存储方式，基于业务重要性和热度确定出存储路径。该存储路径包括与服务器至存储级联对应的第一存储子地址、与服务器至交换机至存储级联对应的第二存储子地址和与服务器至直联外置磁盘阵列级联对应的第三存储子地址。
在本发明的一可选实施例中，所述业务场景包括业务类型和存储优先级；所述依据所述业务场景确定存储路径的步骤包括：
子步骤S2021，基于所述业务类型进行路径规划，得到第一初始路径；
首先基于业务类型进行第一轮路径规划，得到第一初始路径。
具体地，所述基于所述业务类型进行路径规划，得到第一初始路径的步骤包括：依据所述业务类型确定优先级；基于所述优先级进行路径规划，得到第一初始路径。
根据业务类型确定数据存储的优先级，优先级越高，即需要优先存储在不易丢失的区域；从最高优先级的数据至最低优先级的数据进行路径规划，得到第一初始路径。
进一步地，所述基于所述优先级进行路径规划，得到第一初始路径的步骤包括：按照所述优先级，查询对应的磁盘路径；确定所述磁盘路径为所述第一初始路径。
首先，磁盘的存储区域会对于有存储地址，而该存储地址的即为磁盘路径，可以优先级，查询存储该优先级，空闲的磁盘路径，从该对应的磁盘路径为第一初始路径。
子步骤S2022，基于所述数据热度进行路径规划，得到第二初始路径；
然后基于数据热度进行第二轮路径规划，得到第二初始路径。
具体的，所述基于所述数据热度进行路径规划，得到第二初始路径的步骤包括：按照数据热度进行递减排序，生成热度顺序；按照所述热度顺序进行路径规划，得到第二初始路径。
可以按照根据数据热点程度分析，高热点数据即多次进行读写的数据，也是用户端多次访问的数据，以互联网、数据库相关数据为主，在CPU（中央处理器）处理数据过程中服务器会向存储实时反馈用户访问量，同时磁盘端数据读写次数也会被记录并反馈，根据以上信息提取出相应的热点数据。而业务数据中不是热点数据的数据即为非热点数据。
可以按照热度的大小，进行递减排序，生成热度顺序；即热度越高越靠前。按照热度顺序对数据进行路径规划，规划到对应热度的数据磁盘中，得到第二初始路径。
进一步地，所述按照所述热度顺序进行路径规划，得到第二初始路径的步骤包括：按照所述热度顺序，确定对应的读取频率路径；确定所述读取频率路径为所述第二初始路径。
按照热度顺序，确定出该热度对应的读取频率空闲磁盘的路径，即读取频率路径。然后将该读取频率路径为第二初始路径。
子步骤S2023，结合所述第一初始路径和所述第二路径，生成所述存储路径。
然后将二轮路径规划得到第一初始路径和第二路径进行结合，生成各级联的存储路径。
在本发明的一可选实施例中，所述业务场景包括业务类型和存储优先级；所述依据所述业务场景确定存储路径的步骤还包括：
子步骤S2024，当所述业务类型为预设业务类型时，对所述存储路径进行冗余设置。
预设业务类型可以为安全性需求较高的业务对应的业务类型。当业务类型为预设业务类型时，为保证数据的安全性，对存储路径进行冗余设置，将重要业务数据拆分后存储在多个后端的磁盘中，当出现异常时，可以通过剩余数据及校验信息方式进行数据恢复。
步骤203，检测所述存储拓扑结构的实时传输速率；
在正常运行期间，检测存储拓扑结构各个端口速率参数，确定出实时传输速率，该实时传输速率包括服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联中每个端口的实时传输速率。
步骤204，基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；
根据时传输速率将传输总量划分为各个级联结构中，即传输总量划分为第一传输量，第二传输量和第三传输量；第一传输量与服务器至存储级联对应，第二传输量与服务器至交换机至存储级联对应，第三传输量与服务器至直联外置磁盘阵列级联对应。令各个级联结构的传输效率达到最佳，以此提升传输效率。
在本发明的一可选实施例中，所述实时传输速率包括实时输入速率和实时输出速率；所述基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量的步骤包括：
子步骤S2041，计算所述实时输入速率和所述实时输出速率的速率差值；
计算出实时输入速率实时输出速率的速率差值，确定出每个级联结构的输入和输出情况。
在本发明的一可选实施例中，所述实时输入速率包括与所述服务器至存储级联对应的第一输入速率、与所述服务器至交换机至存储级联对应的第二输入速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输入速率，所述实时输出速率包括与所述服务器至存储级联对应的第一输出速率、与所述服务器至交换机至存储级联对应的第二输出速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输出速率，所述计算所述实时输入速率和所述实时输出速率的速率差值的步骤包括：
子步骤S20411，计算所述第一输入速率与所述第一输出速率的第一差值；
可以计算出服务器至存储级联的第一输入速率与第一输出速率之间的差值，即为第一差值。
子步骤S20412，计算所述第二输入速率与所述第二输出速率的第二差值；
可以计算出服务器至交换机至存储级联的第二输入速率与第二输出速率之间的差值，即为第二差值。
子步骤S20413，计算所述第三输入速率与所述第一输出速率的第三差值；
可以计算出服务器至直联外置磁盘阵列级联的第三输入速率与第一输出速率之间的差值，即为第三差值。
子步骤S20414，依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值。
然后从第一差值、第二差值和第三差值中确定出用于调整硬件资源的速率差值。
具体地，所述依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值的步骤包括：按照递增顺序对所述第一差值、所述第二差值和所述第二差值进行排序，生成差值集合；确定所述差值集合的首位差值为所述速率差值。
可以按照述第一差值、第二差值和第三差值的大小，按照递增顺序，即从小到大排序，生成差值集合，然后将差值集合中的首位差值确定为速率差值，即将最小的差值确定为速率差值。
子步骤S2042，依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
然后根据速率差值，对传输总量划分为第一传输量，第二传输量和第三传输量，使得各级联结构的传输延迟度最低。
具体地，所述依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量包括：
子步骤S20421，依据所述速率差值调整所述第一输入速率和所述第一输出速率，得到第一传输子速率；
首先，可以依据速率差值对第一输入速率和第一输出速率进行调整，使得第一输入速率和第一输出速率匹配，得到第一传输子速率降低延迟度。
子步骤S20422，依据所述速率差值调整所述第二输入速率和所述第二输出速率，得到第二传输子速率；
依据速率差值对第二输入速率和第二输出速率进行调整，使得第二输入速率和第二输出速率匹配，得到第二传输子速率降低延迟度。
子步骤S20423，依据所述速率差值调整所述第三输入速率和所述第三输出速率，得到第三传输子速率；
依据速率差值对第三输入速率和第三输出速率进行调整，使得第三输入速率和第三输出速率匹配，得到第三传输子速率降低延迟度。
子步骤S2044，依据所述第一传输子速率、所述第二传输子速率和所述第三传输子速率对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
然后分别根据第一传输子速率、第二传输子速率和第三传输子速率对传输总量进行划分，确定对应的第一传输量，第二传输量和第三传输量。
具体地，所述依据所述第一传输子速率、所述第二传输子速率和所述第三传输子速率对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量的步骤包括：将所述传输总量除以所述第一传输子速率，得到第一传输量；将所述传输总量除以所述第二传输子速率，得到第二传输量；将所述传输总量除以所述第三传输子速率，得到第三传输量。
对于传输总量的划分，即将传输总量除以第一传输子速率，得到第一传输量，以使服务器至存储级联以第一传输量进行传输存储。将传输总量除以第二传输子速率，得到第二传输量，以使服务器至交换机至存储级联以第二传输量进行传输存储。将传输总量除以第三传输子速率，得到第三传输量，以使服务器至直联外置磁盘阵列级联以第三传输量进行传输存储。
即综上，对于传输量的划分为按均衡方式进行约束，使得速率可以优化即：
其中，F1、F2、F3分别为三种数据传输拓扑结构下，数据从前端的输入速率与数据在控制器中的输出落盘速率、数据处理速率之间的差值，优化的目标是三种拓扑结构下的速率差值最小；n与m分别代表了输入链路个数与数据处理单元、数据输出链路个数，受存储整体系统硬件资源的约束；I代表了数据输入单元输入速率，O代表了数据输出单元的输出速率，M代表数据处理单元处理速率，受限于规格中的最高速率约束。
步骤205，基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储；
向第一存储子地址中，存入第一传输量；向二存储子地址中，存入第二传输量进行存储；向第三存储子地址存入第三传输量。以完成各级联结构的数据存储。
步骤206，记录所述服务器至存储级联的第一存储状态，记录所述服务器至交换机至存储级联的第二存储状态，记录所述服务器至直联外置磁盘阵列级联的第三存储状态；
数据存储落盘完成后，记录各级联结构的存储状态，即记录服务器至存储级联的第一存储状态，记录服务器至交换机至存储级联的第二存储状态，记录服务器至直联外置磁盘阵列级联的第三存储状态。
步骤207，基于所述第一存储状态调整所述服务器至存储级联的存储区间，基于所述第二存储状态调整所述服务器至交换机至存储级联的存储区间，基于所述第三存储状态调整所述服务器至直联外置磁盘阵列级联的存储区间；
根据业务数据存储情况进行个级联存储区间实时更新，将空间剩余量大的存储空间分配给空间剩余量小的存储空间以备下一轮数据存储，可以，基于第一存储状态调整服务器至存储级联的存储区间，基于第二存储状态调整服务器至交换机至存储级联的存储区间，基于第三存储状态调整服务器至直联外置磁盘阵列级联的存储区间。
步骤208，判断所述业务场景是否为目标场景；
在本发明实施例中，可以判断业务场景是否为目标场景，当其为目标场景时，可以对数据进行校验，保证数据的安全性。
步骤209，当所述业务场景为所述目标场景时，对所述服务器至直联外置磁盘阵列级联中存储的数据进行校验；
当业务场景为目标场景时，对服务器至直联外置磁盘阵列级联中存储的数据进行校验；其中校验的方法可以是RAID5（校验方法名）校验。
步骤210，当校验失败时，对所述服务器至直联外置磁盘阵列级联进行数据恢复。
当校验失败时，说明数据存在损失，此时需要对最后一级的级联结构中的数据进行恢复，即将服务器至直联外置磁盘阵列级联进行数据恢复，使得恢复全部数据，减少数据的丢失。
在本发明的一可选实施例中，在第一次开机/设备升级/重启/整机集群重组场景下时，即处在初始化时，还可以检测所述服务器至存储级联的第一链路状态、所述服务器至交换机至存储级联的第二链路状态、和所述服务器至直联外置磁盘阵列级联的第三链路状态；
当所述第一链路状态为正常状态，且所述第二链路状态为正常状态，且所述第三链路状态为正常状态时，执行所述检测所述存储拓扑结构的实时传输速率的步骤。
即在初始化时，检测服务器至存储级联的第一链路状态、服务器至交换机至存储级联的第二链路状态、和服务器至直联外置磁盘阵列级联的第三链路状态，即各级联结构的传输状态，以确定能否进行数据传输存储。当第一链路状态为正常状态，且第二链路状态为正常状态，且第三链路状态为正常状态时，说明各级联结构的传输状态正常，可以执行检测所述存储拓扑结构的实时传输速率的步骤，以进行数据传输存储。
当第一链路状态不为正常状态，或第二链路状态不为正常状态，或第三链路状态为不正常状态时，说明各级联结构的传输状态故障，需要修复。
具体地，检测所述第一链路状态是否为正常状态，所述第二链路状态是否为正常状态，所述第三链路状态是否为正常状态；当所述第一链路状态不为正常状态时，确定所述服务器至存储级联的第一故障磁盘；当所述第二链路状态不为正常状态时，确定所述服务器至交换机至存储级联的第二故障磁盘；当所述第三链路状态不为正常状态时，确定所述服务器至直联外置磁盘阵列级联的第三故障磁盘；切除所述第一故障磁盘、和/或所述第二故障磁盘、和/或所述第三故障磁盘。
检测所述第一链路状态是否为正常状态，第二链路状态是否为正常状态，第三链路状态是否为正常状态；当第一链路状态不为正常状态时，即服务器至存储级联中存在故障，确定服务器至存储级联的第一故障磁盘；当第二链路状态不为正常状态时，即服务器至交换机至存储级联存在故障，确定服务器至交换机至存储级联的第二故障磁盘；当第三链路状态不为正常状态时，即服务器至直联外置磁盘阵列级联存在故障，确定服务器至直联外置磁盘阵列级联的第三故障磁盘；然后对确定出来的故障的第一故障磁盘、和/或第二故障磁盘、和/或第三故障磁盘进行切除。
本发明实施例将存储设备的硬件资源按输入输出速率最均衡的方式分配，保证数据从服务器端无延迟输入存储端落盘，提升存储效率提升；配合根据业务场景进行数据存储路径规划算法，专门面向于当前庞大且复杂的数据存储业务场景，按照业务等级与数据使用热点对业务进行分析，并基于此给出了多种数据传输规划，提高了存储系统的灵活性，对重要性的数据安排最可靠的规划路径，并根据访问量情况对数据存储规划实时进行切换，提高数据存储的可靠性；并且在存储系统容量保持不变的基础上，能进一步发挥磁盘性能，通过数据读写记录以及数据传输前的根据业务情况容量调整，可以实现数据落盘过程中无延迟，面向复杂的业务场景可以灵活安排磁盘分区。
为了使本领域技术人员能够更好地理解本发明实施例，下面通过一个例子对本发明实施例加以说明：
参照图5示出了一种存储数据处理方法示例的第一分步骤示意图。其中，存储数据处理方法的硬件扩展结构可以参照图4，控制器之间两两通过NTB相连，其中的一台控制器与交换机一相连接，另一台控制器与交换机二相连接，这种连接方式保证了交换机留出足够的端口与前端服务器向连接，保证了服务器端数据的共享性，尤其是对于重要的业务数据采用该拓扑传输，可以实现数据从服务器端到交换机端再到多台控制器中进行控制器间RAID5冗余设计，重要业务数据的传输安全性增强。硬件上提供的统一存储拓扑图如图5所示，数据存储的过程中包含了“服务器-存储”、“服务器-交换机-存储”、“服务器-直联JBOD”三种级联结构。
如图6所示，基于自动检测端口速率参数；然后进行服务器与存储端交互确定本轮传输数据量，服务器将本轮数据传输过程中，“服务器-存储”、“服务器-交换机-存储”、“服务器-直联JBOD”三种拓扑结构下数据传输的总量告知存储控制器，控制器与服务器共同按照业务定下传输整体规划图7，得到三种拓扑下的计划数据传输量，本轮的优化目标就是三种传输方式下的数据传输硬件资源得到最优分配，保证存储控制器数据输入速率与数据处理、落盘、备份速率保持相等，从而延迟度最低。
如图7所示，第一轮根据业务重要性进行分析，当前业务数据金融、医院、政务三类数据享有最高优先级，控制器存储以上三类数据时将存储数据标记为重要业务数据，对于重要业务数据采用横向多控制器间组RAID5以提供足够的冗余，将重要业务数据拆分后存储在多个控制器后端的JBOF中，当一台控制器及其相级联扩展柜出现异常时，通过剩余数据及RAID校验信息方式进行数据恢复。第二轮根据数据热点程度分析，高热点数据即控制器多次进行读写的数据，也是用互端多次访问的数据，以互联网、数据库相关数据为主，在CPU处理数据过程中服务器会向存储实时反馈用户访问量，同时磁盘端数据读写次数也会被记录并反馈，根据以上信息提取出相应的热点数据。热点数据与非热点数据采用不同的存储方式并实时进行刷新，将当前处理数据中访问量最高的数据从JBOF提取到内存条中，便于支持快速访问，对于重要数据中的非热点数据，为了避免用户在偶然访问过程中出现延迟问题，本发明在算法上提供了数据关联设计，当非热点数据中的一部分数据被访问时，与之相关联的数据也会被提取到内存中以备快速读取。上述规划过程完成后会提供给控制器执行上一算法中三种拓扑下硬件资源的优化，并将优化结果进行校验，校验过程从“重要业务+热点数据”到“非重要业务+非热点数据”依次查找不同类型数据所分配的硬件传输资源，并将上述资源分配情况反馈给服务器端以备客户需求；在业务数据处理过程中，若出现了实时的访问量激增或访问量减少情况，或某一重要业务数据激增等情况，控制器端无需再次执行硬件资源分配算法重新优化，而是按照当前的校验情况实时的增加或减少相应的硬件资源，如将非重要业务数据的SAS链路短时内切换更多给重要业务数据，保持一个动态的数据传输资源平衡状态，这种处理方式快捷灵活。
如图8所示，在数据落盘之前，系统会自动为不同类型的业务数据分配磁盘空间，落盘完成后，会根据业务数据存储情况进行存储区间实时更新，将空间剩余量大的存储空间分配给空间剩余量小的存储空间以备下一轮数据存储；落盘过程中，磁盘自动对数据读写情况进行记录，记录过程对数据读写频次进行统计并上报高频次热点数据，热点数据达到标准后会被内存提取；上报过程完成后，磁盘定位到存储的重要业务数据，对重要业务数据进行JBOD内的磁盘之间RAID5校验，保证扩展柜内的一块磁盘故障后数据可以通过其他磁盘的保留数据、校验数据来完整恢复；当检测到某一块磁盘出现异常状态时，该磁盘所在的业务数据存储分区会在虚拟空间中立刻切除该磁盘，短时间内由该空间的其他磁盘分担异常磁盘的数据存储任务，当控制器端接收到该磁盘状态异常的信息后，在数据传输端优化过程中优先将该磁盘去除掉，若该磁盘承担的是重要业务数据存储任务，需要同时通知其他控制器，在下一轮数据传输之前完成控制器间RAID5数据恢复任务。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图8，示出了本发明的一种存储数据处理装置实施例的结构框图，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联，所述存储数据处理装置具体可以包括如下模块：
第一获取模块801，用于获取业务数据，所述业务数据包括业务场景和传输总量；
路径分配模块802，用于依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
检测模块803，用于检测所述存储拓扑结构的实时传输速率；
速率分配模块804，用于基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；
存储模块805，用于基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。
在本发明的一可选实施例中，所述装置还包括：
记录模块，用于记录所述服务器至存储级联的第一存储状态，记录所述服务器至交换机至存储级联的第二存储状态，记录所述服务器至直联外置磁盘阵列级联的第三存储状态；
存储区间调整模块，用于基于所述第一存储状态调整所述服务器至存储级联的存储区间，基于所述第二存储状态调整所述服务器至交换机至存储级联的存储区间，基于所述第三存储状态调整所述服务器至直联外置磁盘阵列级联的存储区间。
在本发明的一可选实施例中，所述装置还包括：
判断模块，用于判断所述业务场景是否为目标场景；
校验模块，用于当所述业务场景为所述目标场景时，对所述服务器至直联外置磁盘阵列级联中存储的数据进行校验。
在本发明的一可选实施例中，所述装置还包括：
恢复模块，用于当校验失败时，对所述服务器至直联外置磁盘阵列级联进行数据恢复。
在本发明的一可选实施例中，所述装置还包括：
初始检测模块，用于在初始化时，检测所述服务器至存储级联的第一链路状态、所述服务器至交换机至存储级联的第二链路状态、和所述服务器至直联外置磁盘阵列级联的第三链路状态；
执行模块，用于当所述第一链路状态为正常状态，且所述第二链路状态为正常状态，且所述第三链路状态为正常状态时，执行所述检测所述存储拓扑结构的实时传输速率的步骤。
在本发明的一可选实施例中，所述装置还包括：
第一状态检测模块，用于检测当所述第一链路状态是否为正常状态，所述第二链路状态是否为正常状态，所述第三链路状态是否为正常状态；
第二故障确定模块，用于当所述第一链路状态不为正常状态时，确定所述服务器至存储级联的第一故障磁盘；
第三故障确定模块，用于当所述第二链路状态不为正常状态时，确定所述服务器至交换机至存储级联的第二故障磁盘；
第四故障确定模块，用于当所述第三链路状态不为正常状态时，确定所述服务器至直联外置磁盘阵列级联的第三故障磁盘；
切除模块，用于切除所述第一故障磁盘、和/或所述第二故障磁盘、和/或所述第三故障磁盘。
在本发明的一可选实施例中，所述实时传输速率包括实时输入速率和实时输出速率；所述速率分配模块804包括：
计算子模块，用于计算子计算所述实时输入速率和所述实时输出速率的速率差值；
划分子模块，用于依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
在本发明的一可选实施例中，所述实时输入速率包括与所述服务器至存储级联对应的第一输入速率、与所述服务器至交换机至存储级联对应的第二输入速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输入速率，所述实时输出速率包括与所述服务器至存储级联对应的第一输出速率、与所述服务器至交换机至存储级联对应的第二输出速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输出速率，所述计算子模块包括：
第一计算单元，用于计算所述第一输入速率与所述第一输出速率的第一差值；
第二计算单元，用于计算所述第二输入速率与所述第二输出速率的第二差值；
第三计算单元，用于计算所述第三输入速率与所述第三输出速率的第三差值；
速率差值确定单元，用于依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值。
在本发明的一可选实施例中，所述速率差值确定单元包括：
排序子单元，用于按照递增顺序对所述第一差值、所述第二差值和所述第二差值进行排序，生成差值集合；
速率差值确定子单元，用于确定所述差值集合的首位差值为所述速率差值。
在本发明的一可选实施例中，所述划分子模块包括：
第一传输子速率调整单元，用于依据所述速率差值调整所述第一输入速率和所述第一输出速率，得到第一传输子速率；
第二传输子速率调整单元，用于依据所述速率差值调整所述第二输入速率和所述第二输出速率，得到第二传输子速率；
第三传输子速率调整单元，用于依据所述速率差值调整所述第三输入速率和所述第三输出速率，得到第三传输子速率；
划分单元，用于依据所述第一传输子速率、所述第二传输子速率和所述第三传输子速率对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
在本发明的一可选实施例中， 所述划分单元包括：
第一划分子单元，用于将所述传输总量除以所述第一传输子速率，得到第一传输量；
第二划分子单元，用于将所述传输总量除以所述第二传输子速率，得到第二传输量；
第三划分子单元，用于将所述传输总量除以所述第三传输子速率，得到第三传输量。
在本发明的一可选实施例中，所述业务场景包括业务类型和存储优先级；所述路径分配模块802包括：
第一规划子模块，用于基于所述业务类型进行路径规划，得到第一初始路径；
第二规划子模块，用于基于所述数据热度进行路径规划，得到第二初始路径；
路径规划模块，用于结合所述第一初始路径和所述第二路径，生成所述存储路径。
在本发明的一可选实施例中，所述路径分配模块802还包括：
冗余子模块，用于当所述业务类型为预设业务类型时，对所述存储路径进行冗余设置。
在本发明的一可选实施例中，所述第一规划子模块包括：
优先级确定单元，用于依据所述业务类型确定优先级；
第一规划单元，用于基于所述优先级进行路径规划，得到第一初始路径
在本发明的一可选实施例中，所述第一规划单元包括：
查询子单元，用于按照所述优先级，查询对应的磁盘路径；
第一初始路径确定子单元，用于确定所述磁盘路径为所述第一初始路径。
在本发明的一可选实施例中，所述第二规划子模块包括：
第二排序单元，用于按照数据热度进行递减排序，生成热度顺序；
第二规划单元，用于按照所述热度顺序进行路径规划，得到第二初始路径。
在本发明的一可选实施例中，所述第二规划单元包括：
热度顺序子单元，用于按照所述热度顺序，确定对应的读取频率路径；
第二初始路径子单元，用于确定所述读取频率路径为所述第二初始路径。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图9，本发明实施例还提供了一种电子设备，包括：
处理器901和存储介质902，所述存储介质902存储有所述处理器901可执行的计算机程序，当电子设备运行时，所述处理器901执行所述计算机程序，以执行如本发明实施例任一项所述的文本排序方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
参照图10，本发明实施例还提供了一种计算机可读存储介质1001，所述存储介质1001上存储有计算机程序，所述计算机程序被处理器运行时执行如本发明实施例任一项所述的文本排序方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种存储数据处理方法、装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (19)
1.一种存储数据处理方法，其特征在于，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联，所述方法包括：
获取业务数据，所述业务数据包括业务场景和传输总量；
依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
检测所述存储拓扑结构的实时传输速率；所述实时传输速率包括实时输入速率和实时输出速率；计算所述实时输入速率和所述实时输出速率的速率差值；依据所述速率差值调整各存储级联结构的实时输入速率和实时输出速率，以使三种拓扑结构下的速率差值最小，分别得到其传输子速率；
基于各所述传输子速率的比例，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；以使三种拓扑结构下的速率差值最小；
基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储的步骤之后，所述方法还包括：
记录所述服务器至存储级联的第一存储状态，记录所述服务器至交换机至存储级联的第二存储状态，记录所述服务器至直联外置磁盘阵列级联的第三存储状态；
基于所述第一存储状态调整所述服务器至存储级联的存储区间，基于所述第二存储状态调整所述服务器至交换机至存储级联的存储区间，基于所述第三存储状态调整所述服务器至直联外置磁盘阵列级联的存储区间。
3.根据权利要求1所述的方法，其特征在于，在所述基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储的步骤之后，所述方法还包括：
判断所述业务场景是否为目标场景；
当所述业务场景为所述目标场景时，对所述服务器至直联外置磁盘阵列级联中存储的数据进行校验。
4.根据权利要求3所述的方法，其特征在于，在所述对所述服务器至直联外置磁盘阵列级联中存储的数据进行校验的步骤之后，所述方法还包括：
当校验失败时，对所述服务器至直联外置磁盘阵列级联进行数据恢复。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在初始化时，检测所述服务器至存储级联的第一链路状态、所述服务器至交换机至存储级联的第二链路状态、和所述服务器至直联外置磁盘阵列级联的第三链路状态；
当所述第一链路状态为正常状态，且所述第二链路状态为正常状态，且所述第三链路状态为正常状态时，执行所述检测所述存储拓扑结构的实时传输速率的步骤。
6.根据权利要求5所述的方法，其特征在于，在所述基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储的步骤之后，所述方法还包括：
检测当所述第一链路状态是否为正常状态，所述第二链路状态是否为正常状态，所述第三链路状态是否为正常状态；
当所述第一链路状态不为正常状态时，确定所述服务器至存储级联的第一故障磁盘；
当所述第二链路状态不为正常状态时，确定所述服务器至交换机至存储级联的第二故障磁盘；
当所述第三链路状态不为正常状态时，确定所述服务器至直联外置磁盘阵列级联的第三故障磁盘；
切除所述第一故障磁盘、和/或所述第二故障磁盘、和/或所述第三故障磁盘。
7.根据权利要求1所述的方法，其特征在于，所述实时传输速率包括实时输入速率和实时输出速率；所述基于所述实时传输速率，将所述传输总量划分为第一传输量，第二传输量和第三传输量的步骤包括：
计算所述实时输入速率和所述实时输出速率的速率差值；
依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
8.根据权利要求7所述的方法，其特征在于，所述实时输入速率包括与所述服务器至存储级联对应的第一输入速率、与所述服务器至交换机至存储级联对应的第二输入速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输入速率，所述实时输出速率包括与所述服务器至存储级联对应的第一输出速率、与所述服务器至交换机至存储级联对应的第二输出速率、和与所述服务器至直联外置磁盘阵列级联对应的第三输出速率，所述计算所述实时输入速率和所述实时输出速率的速率差值的步骤包括：
计算所述第一输入速率与所述第一输出速率的第一差值；
计算所述第二输入速率与所述第二输出速率的第二差值；
计算所述第三输入速率与所述第三输出速率的第三差值；
依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值。
9.根据权利要求8所述的方法，其特征在于，所述依据所述第一差值、所述第二差值和所述第三差值确定所述速率差值的步骤包括：
按照递增顺序对所述第一差值、所述第二差值和所述第二差值进行排序，生成差值集合；
确定所述差值集合的首位差值为所述速率差值。
10.根据权利要求8所述的方法，其特征在于，所述依据所述速率差值，对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量包括：
依据所述速率差值降低或提高所述第一输入速率和所述第一输出速率，得到所述第一传输子速率；
依据所述速率差值降低或提高所述第二输入速率和所述第二输出速率，得到所述第二传输子速率；
依据所述速率差值降低或提高所述第三输入速率和所述第三输出速率，得到所述第三传输子速率；
依据所述第一传输子速率、所述第二传输子速率和所述第三传输子速率对所述传输总量划分为所述第一传输量，所述第二传输量和所述第三传输量。
11.根据权利要求1所述的方法，其特征在于，所述业务场景包括业务类型和存储优先级；所述依据所述业务场景确定存储路径的步骤包括：
基于所述业务类型进行路径规划，得到第一初始路径；
基于所述数据热度进行路径规划，得到第二初始路径；
结合所述第一初始路径和所述第二初始路径，生成所述存储路径。
12.根据权利要求11所述的方法，其特征在于，所述依据所述业务场景确定存储路径的步骤还包括：
当所述业务类型为预设业务类型时，对所述存储路径进行冗余设置。
13.根据权利要求11所述的方法，其特征在于，所述基于所述业务类型进行路径规划，得到第一初始路径的步骤包括：
依据所述业务类型确定优先级；
基于所述优先级进行路径规划，得到第一初始路径。
14.根据权利要求13所述的方法，其特征在于，所述基于所述优先级进行路径规划，得到第一初始路径的步骤包括：
按照所述优先级，查询对应的磁盘路径；
确定所述磁盘路径为所述第一初始路径。
15.根据权利要求11所述的方法，其特征在于，所述基于所述数据热度进行路径规划，得到第二初始路径的步骤包括：
按照数据热度进行递减排序，生成热度顺序；
按照所述热度顺序进行路径规划，得到第二初始路径。
16.根据权利要求15所述的方法，其特征在于，所述按照所述热度顺序进行路径规划，得到第二初始路径的步骤包括：
按照所述热度顺序，确定对应的读取频率路径；
确定所述读取频率路径为所述第二初始路径。
17.一种存储数据处理装置，其特征在于，所述存储数据在存储拓扑结构中传输，所述存储拓扑结构包括：服务器至存储级联、服务器至交换机至存储级联和服务器至直联外置磁盘阵列级联，所述装置包括：
第一获取模块，用于获取业务数据，所述业务数据包括业务场景和传输总量；
路径分配模块，用于依据所述业务场景确定存储路径；所述存储路径包括与所述服务器至存储级联对应的第一存储子地址、与所述服务器至交换机至存储级联对应的第二存储子地址和与所述服务器至直联外置磁盘阵列级联对应的第三存储子地址；
检测模块，用于检测所述存储拓扑结构的实时传输速率；所述实时传输速率包括实时输入速率和实时输出速率；计算所述实时输入速率和所述实时输出速率的速率差值；依据所述速率差值调整各存储级联结构的实时输入速率和实时输出速率，以使三种拓扑结构下的速率差值最小，分别得到其传输子速率；
速率分配模块，用于基于各所述传输子速率的比例，将所述传输总量划分为第一传输量，第二传输量和第三传输量，其中所述第一传输量与所述服务器至存储级联对应，所述第二传输量与所述服务器至交换机至存储级联对应，所述第三传输量与所述服务器至直联外置磁盘阵列级联对应；以使三种拓扑结构下的速率差值最小；
存储模块，用于基于所述第一存储子地址对所述第一传输量进行存储，基于所述第二存储子地址对所述第二传输量进行存储，基于所述第三存储子地址对所述第三传输量进行存储。
18.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至16中任一项所述的存储数据处理方法的步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至16中任一项所述的存储数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310036360.6A CN115914140B (zh) | 2023-01-10 | 2023-01-10 | 一种存储数据处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310036360.6A CN115914140B (zh) | 2023-01-10 | 2023-01-10 | 一种存储数据处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115914140A CN115914140A (zh) | 2023-04-04 |
| CN115914140B true CN115914140B (zh) | 2023-06-20 |
Family
ID=86484169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310036360.6A Active CN115914140B (zh) | 2023-01-10 | 2023-01-10 | 一种存储数据处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115914140B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113535471A (zh) * | 2021-06-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 集群服务器 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008072190A (ja) * | 2006-09-12 | 2008-03-27 | Hitachi Kokusai Electric Inc | データ伝送装置 |
| US8312471B2 (en) * | 2010-04-26 | 2012-11-13 | Vmware, Inc. | File system independent content aware cache |
| US10095422B2 (en) * | 2016-10-28 | 2018-10-09 | Veritas Technologies, LLC | Systems and methods for allocating input/output bandwidth in storage systems |
| CN109324897A (zh) * | 2018-08-24 | 2019-02-12 | 平安科技（深圳）有限公司 | 数据上传方法及系统、终端和计算机可读存储介质 |
| CN110913504B (zh) * | 2019-11-07 | 2022-03-08 | Oppo（重庆）智能科技有限公司 | 一种网络连接方法、终端设备及存储介质 |
| CN111342863B (zh) * | 2020-05-22 | 2021-01-01 | 北京小米移动软件有限公司 | 数据传输方法、数据传输装置及存储介质 |
| CN114356243A (zh) * | 2022-01-06 | 2022-04-15 | 苏州挚途科技有限公司 | 数据处理方法、装置及服务器 |
-
2023
- 2023-01-10 CN CN202310036360.6A patent/CN115914140B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113535471A (zh) * | 2021-06-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 集群服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115914140A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11531493B2 (en) | Request throttling in distributed storage systems | |
| US20190207818A1 (en) | Systems and methods of application-aware improvement of storage network traffic | |
| US10725684B2 (en) | Method and apparatus for cost-based load balancing for port selection | |
| US20160149828A1 (en) | Clustered storage system path quiescence analysis | |
| CN108633311B (zh) | 一种基于调用链的并发控制的方法、装置及控制节点 | |
| CN109710572B (zh) | 一种基于HBase的文件分片方法 | |
| CN108696569A (zh) | 在NVMe-oF以太网SSD中提供数据复制的系统和方法 | |
| CN108628717A (zh) | 一种数据库系统及监控方法 | |
| US20140337457A1 (en) | Using network addressable non-volatile memory for high-performance node-local input/output | |
| US8914553B2 (en) | Multiple path load distribution for host communication with a tape storage device | |
| CN106686099A (zh) | 一种基于infiniband网络实现Oracle RAC数据库跨机房双活的方法 | |
| WO2013043172A1 (en) | Sas expander | |
| CN106445411A (zh) | 一种数据读取方法、装置及分布式存储系统 | |
| CN110032469A (zh) | 数据处理系统及其操作方法 | |
| CN115914140B (zh) | 一种存储数据处理方法、装置、电子设备和存储介质 | |
| CN116909494B (zh) | 服务器的存储切换方法和装置，以及服务器系统 | |
| US9565101B2 (en) | Risk mitigation in data center networks | |
| US20160344812A1 (en) | Data recovery objective modeling | |
| US20200301829A1 (en) | Dynamic capacity allocation of stripes in cluster-based storage systems | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN106020975A (zh) | 数据操作方法、装置和系统 | |
| US7647465B2 (en) | Storage-system-portion sufficiency determination | |
| CN107491264A (zh) | 一种分布式系统中的数据写入方法及装置 | |
| US11513982B2 (en) | Techniques for recommending configuration changes using a decision tree | |
| CN116668379B (zh) | 数据传输方法及系统、fds管理模块、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |