CN116668379B - 数据传输方法及系统、fds管理模块、存储介质及电子装置 - Google Patents

Abstract

本申请实施例提供了一种数据传输方法及系统、FDS管理模块、存储介质及电子装置，其中，该方法包括：确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，所述FDS管理模块与所述阵列存储系统中包括的模块相互独立设置；按照数据类型与带宽分配的对应关系，确定与所述第一业务数据类型对应的目标带宽分配；按照与所述目标带宽分配所对应的带宽传输所述第一业务数据。通过本申请，解决了相关技术中存在的由于数据处理量大而使得进行数据处理的业务模型压力过大，进而导致集群无法正常承载前端业务而影响整机系统的可用性的问题。

Description

数据传输方法及系统、FDS管理模块、存储介质及电子装置

技术领域

本申请实施例涉及计算机领域，具体而言，涉及一种数据传输方法及系统、FDS管理模块、存储介质及电子装置。

背景技术

在相关技术中，存储系统中，例如，阵列存储，特别是高端的多控阵列存储，一般会进行多种类型的数据的处理，执行诸如热数据、温数据、冷数据等数据分层来加速数据传输。

但是对于一些其他类型的数据，诸如客户业务自行添加的数据特征或者其他复杂的数据特征则不能进行针对性的处理，且目前在进行数据处理时，并没有一个独立的模块来进行特征数据的分流处理，由此无法实现整体的数据信息交互的加速。此外，还会导致业务模型压力过大，特别是在高负载的复杂业务模型压力过大，进而容易导致集群无法正常承载前端业务，进而影响了整机系统的可用性。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方式。

发明内容

本申请实施例提供了一种数据传输方法及系统、FDS管理模块、存储介质及电子装置，以至少解决相关技术中存在的由于数据处理量大而使得进行数据处理的业务模型压力过大，进而导致集群无法正常承载前端业务而影响整机系统的可用性的问题。

根据本申请的一个实施例，提供了一种数据传输方法，应用于特征数据分流FDS管理模块中，包括：确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，所述FDS管理模块与所述存储系统相互独立设置；按照数据类型与带宽分配的对应关系，确定与所述第一业务数据类型对应的目标带宽分配；按照与所述目标带宽分配所对应的带宽传输所述第一业务数据。

根据本发明的另一个实施例，还提供了一种特征数据分流FDS管理模块，包括：第一确定单元，用于确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，所述FDS管理模块与所述存储系统独立设置；第二确定单元，用于按照数据类型与带宽分配的对应关系，确定与所述第一业务数据类型对应的目标带宽分配；传输单元，用于按照与所述目标带宽分配所对应的带宽传输所述第一业务数据。

根据本发明的又一个实施例，还提供了一种数据传输系统，包括上述实施例中所述的FDS管理模块。

根据本申请的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本申请，在进行数据传输处理时，是利用与存储系统独立设置的FDS管理模块来对数据进行处理，从而无需采用系统内的模块（或称为器件）进行数据处理，降低系统内的模块的处理压力，此外，在进行数据传输处理时，是基于与数据类型对应的带宽分配来传输的，从而可以实现针对各类数据的处理，并且可以实现不同类型的数据的个性化传输处理，使得需要优先传输或者时延要求比较高的数据能够快速传输，保障业务的正常进行，进而提高整机系统的可用性，有效解决相关技术中存在的由于数据处理量大而使得进行数据处理的业务模型压力过大，进而导致集群无法正常承载前端业务而影响整机系统的可用性的问题。

附图说明

图1是本申请实施例的一种数据传输方法的移动终端的硬件结构框图；

图2是根据本申请实施例的数据传输方法的流程图；

图3是相关技术中的阵列存储系统的结构框图；

图4是根据本申请实施例的FDS管理模块的结构框图；

图5是根据本申请实施例的数据传输系统的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请的实施例。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本申请实施例的一种数据传输方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的数据传输方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种数据传输方法，该方法可以由特征数据分流（FeatherData Stream，简称为FDS）管理模块来执行，其中，图2是根据本申请实施例的数据传输方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，上述FDS管理模块与上述阵列存储系统独立设置；

步骤S204，按照数据类型与带宽分配的对应关系，确定与上述第一业务数据类型对应的目标带宽分配；

步骤S206，按照与上述目标带宽分配所对应的带宽传输上述第一业务数据。

其中，上述步骤的执行主体为FDS管理模块，可选地，还可以由其他的独立于存储系统的且具有与FDS管理模块类似处理能力的其他模块来执行，例如，可以由额外独立于存储系统的处理器来执行，或者由额外独立于存储系统的管理系统来执行，只要是具备类似能力的模块或设备均可。

在上述实施例中，存储系统可以包括阵列存储系统，其中，该阵列存储系统中包括多个模块，可以分别为前端模块，主控模块（或称为控制器），后端模块，以及盘阵模块（或称为存储器或者存储区域）等，此外，该存储系统可以与交换模块连接，该交换模块可以与业务模块连接。还需要说明的是，业务模块和交换模块也可以看做是存储系统中包括的模块，针对该种情况，存储系统的结构可参见附图3。当然，该阵列存储系统所包括的内容可以不仅仅限于上述模块，还可以包括比上述模块更多或者更少的模块，此外，上述模块的数量可以是一个也可以是多个。下面对图3中的各个模块做简单介绍：

业务模块：一般为用户的业务服务器等，通过FC/IP/RoCE/IB等高速链路与交换模块或者直接与存储的前端模块互联。FDS管理模块可以通过业务模块获取当前的业务压力情况。

交换模块：一般为FC/IP/RoCE/IB交换机等，用于串联存储的前端模块和业务模块；

前端模块：该模块位于存储上，受FDS管理模块控制，一般为存储整机上的FC/IP/RoCE/IB等高速IO卡；

主控模块：该模块为阵列存储的控制模块，承载存储系统软件。该主控模块也可以称为控制模块或者控制器，且该主控模块的数量可以为多个，多个主控模块间具有诸如FC/IB/IP/RoCE等高速数据链路进行缓存模块的通信互联；

后端模块：该模块位于存储上，受FDS管理模块控制，一般为阵列存储上的SAS/PCIE/RoCE等高速后端IO卡；

盘阵模块：一般为SSD或者HDD等磁盘阵列，也包含磁带库和蓝光光盘阵列等低速存档类介质阵列。

其中，FDS管理模块与上述各个模块连接，该FDS管理模块可以位于板卡上，主要应用例如ARM（Advanced RISC machine）等可编程逻辑器件。FDS管理模块可以对业务模块、交换模块、前端模块、主控模块、后端模块和盘阵模块分别在高可用模式和普通模式下进行动态管理。其中，图2所示流程在高可用模式和普通模式下均可以执行。在本实施例中以在普通模式下执行为例进行说明。

在上述实施例中，业务模块下发的数据的类型可以为多种，比如，热数据类型，冷数据类型，温数据类型等等，数据类型与带宽分配的对应关系可以预先配置，并且在配置好之后可以内嵌于该FDS管理模块内。其中，不同的数据类型所对应的带宽分配可以是不同的，对于一些时延要求比较高或者传输优先级比较高的数据类型，可以对应分配比较多的带宽，例如，为热数据分配总带宽的70%，或者65%等等。

此外，FDS管理模块通过前端模块、主控模块实时获取各个主控模块的实时性能数据（每秒进行读写操作的次数IOPS、带宽、时延等），其中，FDS管理模块可以通过前端模块和主控模块分别获取主控模块的实时性能数据，进而将两次获取的性能数据进行比对，基于比对结果来确定获取到的实时性能数据是否准确，当然，在实际应用中，FDS管理模块也可以仅通过主控模块实时获取各个主控模块的实时性能数据，该情况下，就不会进行比对验证。还需要说明的是，FDS管理模块还可以内嵌各种数据模型下的主控模块的理论性能，其中，该数据模型包括以下因素的任意组合：大小数据块、顺序/随机、读/写等因素，例如，大数据随机读下的主控模块的理论性能，小数据顺序写下的主控模块的理论性能。FDS管理模块还可以通过业务模块、交换模块、前端模块、主控模块、后端模块、盘阵模块来获取实时的特征数据类型。此外FDS还可以通过业务模块获取当前的业务压力情况。

在上述实施例中，在进行数据传输处理时，是利用与阵列存储系统独立设置的FDS管理模块来对数据进行处理，从而无需采用系统内的模块进行数据处理，降低系统内的模块的处理压力，此外，在进行数据传输处理时，是基于与数据类型对应的带宽分配来传输的，从而可以实现针对各类数据的处理，并且可以实现不同类型的数据的个性化传输处理，使得需要优先传输或者时延要求比较高的数据能够快速传输，保障业务的正常进行，进而提高整机系统的可用性，有效解决相关技术中存在的由于数据处理量大而使得进行数据处理的业务模型压力过大，进而导致集群无法正常承载前端业务而影响整机系统的可用性的问题。

在一个可选的实施例中，在按照数据类型与带宽分配的对应关系，确定与上述第一业务数据类型对应的目标带宽分配之前，上述方法还包括：确定各类型的数据的压力占比；按照各类型的数据的压力占比对各类型的数据进行路径权重分配，得到分配结果；基于上述分配结果确定上述对应关系，其中，对应路径权重越大的数据类型所对应的带宽分配越大。在本实施例中，不同类型的数据的压力占比是不同的，其中，该压力占比实际上是业务压力占比，包括但不限于IO压力，带宽压力，时延压力等等，进而FDS管理模块可以基于各类数据的压力占比来进行对应的路径权重分配，其中，路径权重越大的数据所分配到的带宽就会越大，从而保证需要快速发送的数据能够占用较大的带宽，此外，在实际应用中还可以采用其他的方式进行带宽分配，例如，可以考虑基于数据的发送客户端的类型来进行带宽分配，或者，基于数据的发送客户端所登录的账号的优先级进行带宽分配，或者，基于数据量的大小来进行带宽分配，或者基于数据中所包括的内容来进行带宽的分配，或者，基于预先配置的某些发送规则或者发送条件来进行带宽分配。还需要说明的是，该对应关系在使用阶段还是可以灵活调整的，可以基于实际情况来调整某些类型的数据所分配到的带宽。

本实施例中的操作可以是在普通模式下所执行的，也可以是在高可用模式下执行。在普通模式下，FDS管理模块会主动侦测业务模块下发的冷、温、热数据类型（当然，也可以是其他的数据类型，在此，以冷、温、热数据类型为例进行说明），针对不同的特征数据会选择不同的数据路径进行数据下发。其中不同的数据路径主要是FDS管理模块针对不同的冷、温、热数据压力占比进行不同的路径权重分配。例如总带宽为W，冷数据可以使用W*C1的路径带宽，温数据可以使用W*C2的路径带宽，热数据可以使用W*C3的路径带宽，其中，C1，C2和C3的取值可以灵活调整，一般会设置为C1>C2>C3，此外还需要说明的是，为全部的数据类型所分配的带宽之和为上述总带宽W，在该前提下，可以基于实际情况灵活调整部分数据类型所对应的带宽。

通过该方式，可以有效且合理的确定出各类数据所对应的带宽，从而保证一些特定的数据（例如，压力占比大的数据）可以快速发送，有效提高了数据发送的效率，降低了系统的数据处理压力，从而可以保证系统的正常运转。

在一个可选的实施例中，按照与上述目标带宽分配所对应的带宽传输上述第一业务数据包括：确定用于存储上述第一业务数据类型的数据的存储区域的目标类型，其中，上述存储区域为上述阵列存储系统中包括的用于存储业务数据的区域；按照上述目标带宽分配将上述第一业务数据传输到上述目标类型下的存储区域中。在本实施例中，存储区域也可以称为盘阵模块，不同的数据路径还表示最终的盘阵模块的不同，也就是说，不同类型的数据会被传输到不同类型的盘阵模块中，例如，热数据会被直接下发到SLC SSD等高速介质盘阵中，温数据一般会被下发到MLC/TLC SSD等中高速介质中，冷数据一般会被下发到QLCSSD或者HDD中。在本实施例中，盘阵模块的数量可以为多个，且不同的盘阵模块的类型不同，在进行数据传输时，可以将待传输的数据传输至与数据类型对应的盘阵模块中，或者，盘阵模块中包括多个存储单元，且不同的存储单元的类型不同，在进行数据传输时，可以将待传输的数据传输至与数据类型对应的存储单元中。通过上述分盘存储的方式，可以实现数据的有效存储，从而保证需要快速高效的访问和处理的数据能够存储至高性能，低延迟的设备上。

在一个可选的实施例中，上述方法还包括：实时侦测上述第一业务数据的实际性能，其中，上述第一业务数据的实际性能为上述存储系统中包括的控制器对上述第一业务数据进行目标处理的实际性能；在确定上述第一业务数据的实际性能与上述第一业务数据的理论性能满足第一关系的情况下，执行第一上报操作，其中，上述第一业务数据的理论性能为上述主控模块对上述第一业务数据进行上述目标处理的理论性能，其中，上述目标处理包括以下至少之一：顺序读操作、顺序写操作、随机读操作、随机写操作。在上述实施例中，控制器也可以称为主控模块，另外，由于FDS管理模块可以实时获取各主控模块的性能数据，进而FDS管理模块可以从中获取到第一业务数据的实际性能数据，其中，第一业务数据的实际性能数据与其理论性能数据可能是不同的，进而可以基于二者的关系来确定是否要执行后续的操作。

在上述实施例中，上述第一关系可以通过如下方式确定：在执行第一上报操作之前，首先确定上述第一业务数据的实际性能与上述第一业务数据的理论性能的第一比值；在确定上述第一比值小于第一预定数值的情况下，确定上述第一业务数据的实际性能与上述第一业务数据的理论性能满足上述第一关系。其中，该第一预定数值可以灵活设置，比如，设置为0.5，0.7等等，此外，该第一预定数值的取值可以基于实际情况进行灵活调整，比如，可以基于数据的类型进行调整，可以基于数据的发送方的类型进行调整，可以基于数据的数据量进行调整，或者，还可以基于设置的其他条件或规则来进行调整。

在上述实施例中，上述实际性能与理论性能的比值可以通过如下方式确定：确定第一时间周期内上述实际性能与上述理论性能的比值。进而，可以在确定在上述第一时间周期内上述实际性能与上述理论性能的比值始终小于上述预定数值的情况下，确定上述实际性能与上述理论性能满足上述第一关系。也就是说，该比值需要是一段时间内持续检测到的实际性能与理论性能的多个比值，若只检测一次的话，可能会存在由于检测方式，或者其他干扰存在的情况下，导致检测到的实际性能存在误差，从而导致后续的比对的不准确，而采用确定一段时间内多册检测到的实际性能与理论性能的多个比值能够有效规避掉该误差，保证后续比对的准确性。

在上述实施例中，上述执行第一上报操作包括以下至少之一：上报一级特征数据分流预警；上报是否将当前模式切换为高可用模式的请求，其中，上述当前模式为除上述高可用模式之外的其他模式。在本实施例中，FDS管理模块可以同时执行上报一级特征数据分流预警以及上报是否将当前模式切换为高可用模式的请求的操作。需要说明的是，上述两种上报操作可以是同时执行的，也可以是间隔执行的，上述上报操作实际上是上报给相关管理人员或者运维人员，由该管理人员或者运维人员来决定是否进行高可用模式的切换。此外，后续也可以考虑自动实现该高可用模式的切换。

在一个可选的实施例中，在确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型之后，上述方法还包括：在确定上述第一业务数据类型包括除特定数据类型之外的其他数据类型的情况下，执行第二上报操作；其中，上述特定数据类型包括冷数据类型、温数据类型以及热数据类型。在本实施例中，是以特定数据类型包括冷数据类型、温数据类型以及热数据类型为例进行说明的，此外，若后续出现其他的优先级更高的数据的话，该特定数据也可以包括该优先级更高的数据。

在上述实施例中，在确定上述第一业务数据类型包括除特定数据类型之外的其他数据类型的情况下，执行第二上报操作包括：在第二时间周期内多次确定出上述第一业务数据类型包括上述其他数据类型的情况下，执行上述第二上报操作。在本实施例中，在确定第一业务数据类型是否包括其他数据类型时，也是需要多次检测的，若仅检测一次，可能会存在由于检测方式，或者其他干扰存在的情况下，导致检测的结果不准确，从而导致后续出现误上报或者需要上报的时候未进行上报的问题，而采用在一段时间内多次检测第一业务数据类型是否包括其他数据类型的方式能够有效规避掉该误差，保证后续上报的准确性。

在上述实施例中，执行上述第二上报操作包括以下至少之一：上报一级特征数据分流提醒；上报是否将当前模式切换为高可用模式的请求，其中，上述当前模式为除上述高可用模式之外的其他模式。需要说明的是，上述两种上报操作可以是同时执行的，也可以是间隔执行的，上述上报操作实际上是上报给相关管理人员或者运维人员，由该管理人员或者运维人员来决定是否进行高可用模式的切换。此外，后续也可以考虑自动实现该高可用模式的切换。

上述实施例是对普通模式下的数据处理进行的说明，此外，在切换到高可用模式后，在该模式下可以继续执行数据的分流处理，比如，在高可用模式下，FDS管理模块会主动侦测业务模块下发的包含冷、温、热数据类型在内的所有特征数据（对应于上述的数据），针对不同的特征数据会选择不同的数据路径进行数据下发。其中不同的数据路径主要是FDS管理模块针对不同的特征数据的压力占比进行不同的路径权重分配。特征数据的分类也是有上限的，例如可以为N，即最多有N个特征数据。所有特征数据类型及相应的路径权重分配都内嵌在FDS管理模块中。除此之外，不同的数据路径还包含时延属性。所有特征数据类型及相应的路径时延属性分配都内嵌在FDS管理模块中。除此之外，不同的数据路径还表示最终的存储区域（或称为盘阵模块）的不同。例如，热数据直接下发到SLC SSD等高速介质盘阵中，温数据一般下发到MLC/TLC SSD等中高速介质中，冷数据一般下发到QLC SSD或者HDD中，归档数据下发到磁带库和蓝光光盘阵列等中，FDS管理模块中内嵌了典型的特征数据所下发的推荐盘阵模块。

在一个可选的实施例中，上述方法还包括：在确定将当前模式切换为高可用模式的情况下，确定接收到的待存储到所述存储系统中的第二业务数据（即，上述业务模块下发的第二业务数据）的实际性能，其中，上述第二业务数据的实际性能为上述存储系统中包括的控制器（或称为主控模块）对上述第二业务数据进行目标处理的实际性能；在确定上述第二业务数据的实际性能与上述第二业务数据的理论性能满足第二关系的情况下，执行第二上报操作，其中，上述第二业务数据的理论性能为上述控制器对上述第二业务数据进行上述目标处理的理论性能；其中，上述目标处理包括以下至少之一：顺序读操作、顺序写操作、随机读操作、随机写操作。如之前上述，FDS管理模块可以实时获取各控制器的性能数据，进而FDS管理模块可以从中获取到第二业务数据的实际性能数据，其中，第二业务数据的实际性能数据与其理论性能数据可能是不同的，进而可以基于二者的关系来确定是否要执行后续的操作。

在上述实施例中，上述第二关系可以通过如下方式确定：确定上述第二业务数据的实际性能与上述第二业务数据的理论性能的第二比值；在确定上述第二比值小于第二预定数值的情况下，确定上述第二业务数据的实际性能与上述第二业务数据的理论性能满足上述第二关系。其中，该第二预定数值可以灵活设置，比如，设置为0.5，0.7等等，此外，该第二预定数值的取值可以基于实际情况进行灵活调整，比如，可以基于数据的类型进行调整，可以基于数据的发送方的类型进行调整，可以基于数据的数据量进行调整，或者，还可以基于设置的其他条件或规则来进行调整。在上述实施例中，第二比值可以是一段时间内持续检测到的第二业务数据的实际性能与理论性能的多个比值，若只检测一次的话，可能会存在由于检测方式，或者其他干扰存在的情况下，导致检测到的实际性能存在误差，从而导致后续的比对的不准确，而采用确定一段时间内多册检测到的实际性能与理论性能的多个比值能够有效规避掉该误差，保证后续比对的准确性。

在上述实施例中，上述执行第二上报操作包括：上报二级特征数据分流预警。其中，该二级特征数据分流预警与前述的一级特征数据分类预警没有必然的级别高低关系，可以是一级特征数据分类预警的级别更高，也可以是二级特征数据分流预警更高，具体的可以基于实际情况进行调整。

在一个可选的实施例中，上述方法还包括：重复执行如下操作，直至上述第二业务数据的实际性能与上述第二业务数据的理论性能不满足上述第二关系为止：在确定用于下发所述第一业务数据的业务服务器（即，上述业务模块）的业务压力小于预定压力阈值的情况下，对上述业务服务器下发的数据的类型进行重新分类，并对重新分类后的各类型数据重新分配路径权重以及路径时延，其中，重新分类后的类型的数量小于重新分类前的类型的数量。在本实施例中，数据类型的分类上限是可以调整的，即，可以按照前述方式调整，需要说明的是，在本实施例中，每次对数据类型的分类上限进行调整时，可以是通过减少一类的方式进行调整，也可以是通过减少两类或更多类的方式进行调整，具体每次减少的个数可以基于实际情况进行确定，例如，当数据类型的分类上限比较少时，例如，低于10个，可以每次调整时减少一类，当数据类型的分类上限比较多时，例如，多于20个，可以每次调整时减少两类。此外，可以预先为数据类型的分类设置下限值，调整后的数据类型的分类数量不能小于该下限值。

在一个可选的实施例中，在对上述业务服务器下发的数据的类型进行重新分类之后，上述方法还包括：在确定上述第二业务数据的实际性能与上述第二业务数据的理论性能不满足上述第二关系的情况下，取消执行上述第二上报操作。

在一个可选的实施例中，上述阵列存储系统中包括的各器件（或称为各模块）中均存储有相同的上述FDS管理模块的处理逻辑。也就是说，在高可用模式下，业务模块、交换模块、前端模块、主控模块、后端模块和盘阵模块都内嵌了相同的FDS策略（对应于上述的FDS管理模块的处理逻辑），彼此间的策略可以进行相互校验。

需要说明的是，前述实施例中所涉及到的各个参数都可以是系统预设参数，可在系统下或串口模块等方式进行调整。通过FDS管理模块对业务模块、交换模块、前端模块、主控模块、后端模块和盘阵模块进行动态的精细化管理，特别是在高可用模式下进行的多重特征数据分流策略处理，避免了极端场景下因高负载的复杂业务模型压力导致的集群无法正常承担前端业务等异常情况，进而提高了整机系统的可用性。

下面结合具体实施例对本发明进行说明：

普通模式下，FDS管理模块（以下简称为FDS）会主动侦测业务模块下发的冷、温、热数据类型，针对不同的特征数据会选择不同的数据路径进行数据下发。其中不同的数据路径主要是FDS针对不同的冷、温、热数据压力占比进行不同的路径权重分配。例如总带宽为W，冷数据可以使用W*70%（该70%仅是示例性说明，在实际应用中也可以调整为65%，75%等等，后续的其他参数的具体举例也仅是示例性说明，其他参数的具体取值也可以在当前取值的基础上进行上下波动（例如，上下波动5%，或者上下波动10%等等），只要是合理的取值即可）的路径带宽，温数据可以使用W*20%的路径带宽，热数据可以使用W*10%的路径带宽。除此之外，不同的数据路径还表示最终的盘阵模块的不同。其中热数据直接下发到SLC SSD等高速介质盘阵中，温数据一般下发到MLC/TLC SSD等中高速介质中，冷数据一般下发到QLC SSD或者HDD中。FDS会实时侦测热数据的实际性能A1，如果在时间周期50min内A1始终不大于热数据的B*85%，则FDS会上报一级特征数据分流预警并上报是否切换为高可用模式；如果FDS在时间周期100min内侦测到15次以上冷、温、热以外的数据特征，则会触发上报一级特征数据分流提醒并上报是否切换为高可用模式。高可用模式下，FDS会主动侦测业务模块下发的包含冷、温、热数据类型在内的所有特征数据，针对不同的特征数据会选择不同的数据路径进行数据下发。其中不同的数据路径主要是FDS针对不同的特征数据的压力占比进行不同的路径权重分配。例如总带宽为W，特征数据1可以使用W*70%的路径带宽，特征数据2可以使用W*20%的路径带宽，特征数据3可以使用W*10%的路径带宽。特征数据的分类上限为36，即最多有36个特征数据。所有特征数据类型及相应的路径权重分配都内嵌在FDS中。除此之外，不同的数据路径还包含时延属性。总带宽下平均时延为D，特征数据1可以使用的W*C1路径带宽下的数据路径时延不能高于D*30%，同理特征数据36可以使用的W*0.5%路径带宽下的数据路径时延不能高于D*9.25。所有特征数据类型及相应的路径时延属性分配都内嵌在FDS中。除此之外，不同的数据路径还表示最终的盘阵模块的不同。例如热数据直接下发到SLC SSD等高速介质盘阵中，温数据一般下发到MLC/TLC SSD等中高速介质中，冷数据一般下发到QLC SSD或者HDD中，归档数据下发到磁带库和蓝光光盘阵列等中，FDS内嵌了典型的特征数据所下发的推荐盘阵模块。FDS会实时侦测特征数据1的实际性能A1，如果在时间周期30min内A1始终不大于特征数据1的B*90%，则FDS会上报二级特征数据分流预警，此时FDS会在业务压力小于百分比25%时，降低特征数据分类上限为35，并重新分配特征数据的路径（包含路径权重和时延等），再分配结束后如果在时间周期30min内A1大于特征数据1的B*90%，则FDS取消二级特征数据分流预警。如果再分配结束后在时间周期30min内A1仍始终不大于特征数据1的B*90%，则FDS会在业务压力小于百分比25%时，再次降低特征数据分类上限为34并进行再分配。直到在时间周期30min 内A1大于特征数据1的B*90%，则FDS取消二级特征数据分流预警，特征数据分类最低为7。在高可用模式下，业务模块、交换模块、前端模块、主控模块、后端模块和盘阵模块都内嵌了相同的FDS策略，彼此间的策略可以进行相互校验。其中系统预设参数可在系统下或串口模块等方式进行调整。通过FDS管理模块对业务模块、交换模块、前端模块、主控模块、后端模块和盘阵模块进行动态的精细化管理，特别是在高可用模式下进行的多重特征数据分流策略处理，避免了极端场景下因高负载的复杂业务模型压力导致的集群无法正常承担前端业务等异常情况，进而提高了整机系统的可用性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例上述的方法。

在本实施例中还提供了一种FDS管理模块，该模块用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的FDS管理模块的结构框图，如图4所示，该模块包括：

第一确定单元42，用于确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，上述FDS管理模块与上述存储系统独立设置；

第二确定单元44，用于按照数据类型与带宽分配的对应关系，确定与上述第一业务数据类型对应的目标带宽分配；

传输单元46，用于按照与上述目标带宽分配所对应的带宽传输上述第一业务数据。

在一个可选的实施例中，上述FDS管理模块还包括：第三确定单元，用于在按照数据类型与带宽分配的对应关系，确定与上述第一业务数据类型对应的目标带宽分配之前，确定各类型的数据的压力占比；分配单元，用于按照各类型的数据的压力占比对各类型的数据进行路径权重分配，得到分配结果；第四确定单元，用于基于上述分配结果确定上述对应关系，其中，对应路径权重越大的数据类型所对应的带宽分配越大。

在一个可选的实施例中，上述传输单元46包括：第一确定子单元，用于确定用于存储上述第一业务数据类型的数据的存储区域的目标类型，其中，上述存储区域为上述存储系统中包括的用于存储业务数据的区域；传输子单元，用于按照上述目标带宽分配将上述第一业务数据传输到上述目标类型下的存储区域中。

在一个可选的实施例中，上述FDS管理模块还包括：侦测单元，用于实时侦测上述第一业务数据的实际性能，其中，上述第一业务数据的实际性能为上述存储系统中包括的控制器对上述第一业务数据进行目标处理的实际性能，上述主控模块为上述阵列存储系统中包括的模块；第一执行单元，用于在确定上述第一业务数据的实际性能与上述第一业务数据的理论性能满足第一关系的情况下，执行第一上报操作，其中，上述第一业务数据的理论性能为上述主控模块对上述第一业务数据进行上述目标处理的理论性能；其中，上述目标处理包括以下至少之一：顺序读操作、顺序写操作、随机读操作、随机写操作。

在一个可选的实施例中，上述FDS管理模块还包括：第五确定单元，用于在确定上述第一业务数据的实际性能与上述第一业务数据的理论性能满足第一关系的情况下，执行第一上报操作之前，确定上述第一业务数据的实际性能与上述第一业务数据的理论性能的第一比值；第六确定单元，用于在确定上述第一比值小于第一预定数值的情况下，确定上述第一业务数据的实际性能与上述第一业务数据的理论性能满足上述第一关系。

在一个可选的实施例中，上述第五确定单元用于确定第一时间周期内上述第一业务数据的实际性能与上述第一业务数据的理论性能的比值；上述第六确定单元用于在确定在上述第一时间周期内上述第一业务数据的实际性能与上述第一业务数据的理论性能的比值始终小于上述预定数值的情况下，确定上述第一业务数据的实际性能与上述第一业务数据的理论性能满足上述第一关系。

在一个可选的实施例中，上述第一执行单元用于执行以下操作至少之一：上报一级特征数据分流预警；上报是否将当前模式切换为高可用模式的请求，其中，上述当前模式为除上述高可用模式之外的其他模式。

在一个可选的实施例中，上述FDS管理模块还包括第二执行单元，用于在确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型之后，且在确定上述第一业务数据类型包括除特定数据类型之外的其他数据类型的情况下，执行第二上报操作；其中，上述特定数据类型包括冷数据类型、温数据类型以及热数据类型。

在一个可选的实施例中，上述第二执行单元包括执行子单元，用于在第二时间周期内多次确定出上述第一业务数据类型包括上述其他数据类型的情况下，执行上述第二上报操作。

在一个可选的实施例中，上述第二执行单元用于执行以下操作至少之一：上报一级特征数据分流提醒；上报是否将当前模式切换为高可用模式的请求，其中，上述当前模式为除上述高可用模式之外的其他模式。

在一个可选的实施例中，上述FDS管理模块还包括：第七确定单元，用于在确定将当前模式切换为高可用模式的情况下，确定接收到的待存储到所述存储系统中的第二业务数据的实际性能，其中，上述第二业务数据的实际性能为上述存储系统中包括的控制器对上述第二业务数据进行目标处理的实际性能；第三执行单元，用于在确定上述第二业务数据的实际性能与上述第二业务数据的理论性能满足第二关系的情况下，执行第二上报操作，其中，上述第二业务数据的理论性能为上述控制器对上述第二业务数据进行上述目标处理的理论性能；其中，上述目标处理包括以下至少之一：顺序读操作、顺序写操作、随机读操作、随机写操作。

在一个可选的实施例中，上述FDS管理模块还包括：第八确定单元，用于在确定上述第二业务数据的实际性能与上述第二业务数据的理论性能满足第二关系的情况下，执行第二上报操作之前，确定上述第二业务数据的实际性能与上述第二业务数据的理论性能的第二比值；第九确定单元，用于在确定上述第二比值小于第二预定数值的情况下，确定上述第二业务数据的实际性能与上述第二业务数据的理论性能满足上述第二关系。

在一个可选的实施例中，上述第三执行单元用于上报二级特征数据分流预警。

在一个可选的实施例中，上述FDS管理模块还包括：第四执行单元，用于重复执行如下操作，直至上述第二业务数据的实际性能与上述第二业务数据的理论性能不满足上述第二关系为止：在确定用于下发上述第一业务数据的业务服务器的业务压力小于预定压力阈值的情况下，对上述业务服务器下发的数据的类型进行重新分类，并对重新分类后的各类型数据重新分配路径权重以及路径时延，其中，重新分类后的类型的数量小于重新分类前的类型的数量。

在一个可选的实施例中，上述FDS管理模块还包括：取消模块，用于在对上述业务服务器下发的数据的类型进行重新分类之后，且在确定上述第二业务数据的实际性能与上述第二业务数据的理论性能不满足上述第二关系的情况下，取消执行上述第二上报操作。

在一个可选的实施例中，上述阵列存储系统中包括的模块中均存储有相同的上述FDS管理模块的处理逻辑。

根据本发明的一个实施例，还提供了一种数据传输系统，该系统包括上述任一项所述的FDS管理模块。

图5是根据本申请实施例的数据传输系统的结构框图，如图5所示，该系统处理包括FDS管理模块之外，还包括存储系统，其中，该FDS管理模块与存储系统中包括的每个器件均连接。

此外，如图5所示，上述系统还可以额外包括指示模块，串口模块以及无线模块，其中，指示模块，串口模块以及无线模块可以集成在FDS管理模块中，也可以独立设置。下面对指示模块，串口模块以及无线模块进行说明：

指示模块：该模块位于板卡上，受串口模块的直接控制，对外指示当前FDS管理模块的实时状态；

无线模块：可将串口模块信号转换成WIFI等无线信号，外界不用实体串口线就可与FDS管理模块进行信息交互；

串口模块：通过串口模块可以进行外界与FDS管理模块的信息交互、参数预设和相关功能的开启。

需要说明的是，上述各个模块和单元是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本申请的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种数据传输方法，其特征在于，应用于特征数据分流FDS管理模块中，包括：

确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，所述FDS管理模块与所述存储系统独立设置；

按照数据类型与带宽分配的对应关系，确定与所述第一业务数据类型对应的目标带宽分配；

按照与所述目标带宽分配所对应的带宽传输所述第一业务数据；

其中，在按照数据类型与带宽分配的对应关系，确定与所述第一业务数据类型对应的目标带宽分配之前，所述方法还包括：确定各类型的数据的压力占比；按照各类型的数据的压力占比对各类型的数据进行路径权重分配，得到分配结果；基于所述分配结果确定所述对应关系，其中，对应路径权重越大的数据类型所对应的带宽分配越大。

2.根据权利要求1所述的方法，其特征在于，按照与所述目标带宽分配所对应的带宽传输所述第一业务数据包括：

确定用于存储所述第一业务数据类型的数据的存储区域的目标类型，其中，所述存储区域为所述存储系统中包括的用于存储业务数据的区域；

按照所述目标带宽分配将所述第一业务数据传输到所述目标类型下的存储区域中。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时侦测所述第一业务数据的实际性能，其中，所述第一业务数据的实际性能为所述存储系统中包括的控制器对所述第一业务数据进行目标处理的实际性能；

在确定所述第一业务数据的实际性能与所述第一业务数据的理论性能满足第一关系的情况下，执行第一上报操作，其中，所述第一业务数据的理论性能为所述控制器对所述第一业务数据进行所述目标处理的理论性能；

其中，所述目标处理包括以下至少之一：顺序读操作、顺序写操作、随机读操作、随机写操作。

4.根据权利要求3所述的方法，其特征在于，在确定所述第一业务数据的实际性能与所述第一业务数据的理论性能满足第一关系的情况下，执行第一上报操作之前，所述方法还包括：

确定所述第一业务数据的实际性能与所述第一业务数据的理论性能的第一比值；

在确定所述第一比值小于第一预定数值的情况下，确定所述第一业务数据的实际性能与所述第一业务数据的理论性能满足所述第一关系。

5.根据权利要求4所述的方法，其特征在于，

确定所述第一业务数据的实际性能与所述第一业务数据的理论性能的比值包括：确定第一时间周期内所述第一业务数据的实际性能与所述第一业务数据的理论性能的比值；

在确定所述比值小于预定数值的情况下，确定所述第一业务数据的实际性能与所述第一业务数据的理论性能满足所述第一关系包括：在确定在所述第一时间周期内所述第一业务数据的实际性能与所述第一业务数据的理论性能的比值始终小于所述预定数值的情况下，确定所述第一业务数据的实际性能与所述第一业务数据的理论性能满足所述第一关系。

6.根据权利要求3-5中任一项所述的方法，其特征在于，执行第一上报操作包括以下至少之一：

上报一级特征数据分流预警；

上报是否将当前模式切换为高可用模式的请求，其中，所述当前模式为除所述高可用模式之外的其他模式。

7.根据权利要求1所述的方法，其特征在于，在确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型之后，所述方法还包括：

在确定所述第一业务数据类型包括除特定数据类型之外的其他数据类型的情况下，执行第二上报操作；

其中，所述特定数据类型包括冷数据类型、温数据类型以及热数据类型。

8.根据权利要求7所述的方法，其特征在于，在确定所述第一业务数据类型包括除特定数据类型之外的其他数据类型的情况下，执行第二上报操作包括：

在第二时间周期内多次确定出所述第一业务数据类型包括所述其他数据类型的情况下，执行所述第二上报操作。

9.根据权利要求7或8所述的方法，其特征在于，执行所述第二上报操作包括以下至少之一：

上报一级特征数据分流提醒；

上报是否将当前模式切换为高可用模式的请求，其中，所述当前模式为除所述高可用模式之外的其他模式。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定将当前模式切换为高可用模式的情况下，确定接收到的待存储到所述存储系统中的第二业务数据的实际性能，其中，所述第二业务数据的实际性能为所述存储系统中包括的控制器对所述第二业务数据进行目标处理的实际性能；

在确定所述第二业务数据的实际性能与所述第二业务数据的理论性能满足第二关系的情况下，执行第二上报操作，其中，所述第二业务数据的理论性能为所述控制器对所述第二业务数据进行所述目标处理的理论性能；

其中，所述目标处理包括以下至少之一：顺序读操作、顺序写操作、随机读操作、随机写操作。

11.根据权利要求10所述的方法，其特征在于，在确定所述第二业务数据的实际性能与所述第二业务数据的理论性能满足第二关系的情况下，执行第二上报操作之前，所述方法还包括：

确定所述第二业务数据的实际性能与所述第二业务数据的理论性能的第二比值；

在确定所述第二比值小于第二预定数值的情况下，确定所述第二业务数据的实际性能与所述第二业务数据的理论性能满足所述第二关系。

12.根据权利要求10所述的方法，其特征在于，执行第二上报操作包括：

上报二级特征数据分流预警。

13.根据权利要求10所述的方法，其特征在于，所述方法还包括：

重复执行如下操作，直至所述第二业务数据的实际性能与所述第二业务数据的理论性能不满足所述第二关系为止：

在确定用于下发所述第一业务数据的业务服务器的业务压力小于预定压力阈值的情况下，对所述业务服务器下发的数据的类型进行重新分类，并对重新分类后的各类型数据重新分配路径权重以及路径时延，其中，重新分类后的类型的数量小于重新分类前的类型的数量。

14.根据权利要求13所述的方法，其特征在于，在对所述业务服务器下发的数据的类型进行重新分类之后，所述方法还包括：

在确定所述第二业务数据的实际性能与所述第二业务数据的理论性能不满足所述第二关系的情况下，取消执行所述第二上报操作。

15.根据权利要求10至14中任一项所述的方法，其特征在于，所述存储系统中包括的各器件中均存储有相同的所述FDS管理模块的处理逻辑。

16.一种特征数据分流FDS管理模块，其特征在于，包括：

第一确定单元，用于确定接收到的待存储到存储系统中的第一业务数据的第一业务数据类型，其中，所述FDS管理模块与所述存储系统独立设置；

第二确定单元，用于按照数据类型与带宽分配的对应关系，确定与所述第一业务数据类型对应的目标带宽分配；

传输单元，用于按照与所述目标带宽分配所对应的带宽传输所述第一业务数据；

其中，所述FDS管理模块还包括：第三确定单元，用于在按照数据类型与带宽分配的对应关系，确定与上述第一业务数据类型对应的目标带宽分配之前，确定各类型的数据的压力占比；分配单元，用于按照各类型的数据的压力占比对各类型的数据进行路径权重分配，得到分配结果；第四确定单元，用于基于上述分配结果确定上述对应关系，其中，对应路径权重越大的数据类型所对应的带宽分配越大。

17.一种数据传输系统，其特征在于，包括如权利要求16所述的FDS管理模块。

18.根据权利要求17所述的数据传输系统，其特征在于，还包括所述存储系统，其中，所述FDS管理模块与所述存储系统中包括的每个器件均连接。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至15任一项中所述的方法的步骤。

20.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至15任一项中所述的方法的步骤。