发明内容
本发明实施例提供了一种存储处理方法、装置、存储介质及处理器,以至少解决相关技术中存储系统数据处理效率较低的问题。
根据本发明的一个实施例,提供了一种存储处理方法,包括:将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,所述多块物理存储介质映射为一个整体的网络存储空间;获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上。
可选地,所述负载情况包括以下至少之一:该物理存储介质的当前IO吞吐量、该物理存储介质的累计IO吞吐量。
可选地,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上包括:根据每一个网卡对应的物理存储介质的负载情况和该物理存储介质的优先级,将所述数据处理请求发送至该网卡对应的网络地址上;其中,所述优先级为预先配置的。
可选地,所述多块物理存储介质遵循互联网小型计算机接口iSCSI协议。
根据本发明的另一个实施例,提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至4中任一项所述的方法。
根据本发明的另一个实施例,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至4中任一项所述的方法。
根据本发明的另一个实施例,提供了一种存储处理装置,包括:绑定模块,用于将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,所述多块物理存储介质映射为一个整体的网络存储空间;处理模块,用于获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;发送模块,用于在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上。
可选地,所述负载情况包括以下至少之一:该物理存储介质的当前IO吞吐量、该物理存储介质的累计IO吞吐量。
可选地,所述发送模块包括:发送单元,用于根据每一个网卡对应的物理存储介质的负载情况和该物理存储介质的优先级,将所述数据处理请求发送至该网卡对应的网络地址上;其中,所述优先级为预先配置的。
可选地,所述多块物理存储介质遵循互联网小型计算机接口iSCSI协议。
通过本发明,将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,所述多块物理存储介质映射为一个整体的网络存储空间;获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上,由此可见,采用上述方案将每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况,在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况分配数据处理请求,将该数据处理请求发送至该网卡对应的网络地址上,以保证数据处理时的负载均衡,同时,用网络地址表示物理存储介质的负载情况,使得在数据处理时无需关注存储介质的负载情况,只需将数据处理请求发送给网卡对应的网络地址即可,因此,提高了存储系统中数据处理的效率,从而解决了相关技术中存储系统数据处理效率较低的问题。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种存储处理方法,图1是根据本发明实施例的一种存储处理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,所述多块物理存储介质映射为一个整体的网络存储空间;
步骤S104,获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;
步骤S106,在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上。
可选地,上述存储处理方法可以但不限于应用于对存储系统的数据进行处理的场景中。例如:对存储系统中存储的数据进行读取的场景中,或者,向存储系统中存储数据的场景中。
可选地,上述存储处理方法可以但不限于应用于存储系统中,例如:分布式存储系统、云存储系统等等。
可选地,上述数据处理请求可以但不限于包括:数据存储请求、数据读取请求等等。
可选地,上述网络地址可以但不限于包括:IP地址,或者其他网络协议地址。IP地址可以为静态IP地址或者动态IP地址等等。
通过上述步骤,将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,所述多块物理存储介质映射为一个整体的网络存储空间;获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上,由此可见,采用上述方案将每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况,在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况分配数据处理请求,将该数据处理请求发送至该网卡对应的网络地址上,以保证数据处理时的负载均衡,同时,用网络地址表示物理存储介质的负载情况,使得在数据处理时无需关注存储介质的负载情况,只需将数据处理请求发送给网卡对应的网络地址即可,因此,提高了存储系统中数据处理的效率,从而解决了相关技术中存储系统数据处理效率较低的问题。
可选地,上述负载情况可以但不限于包括以下至少之一:该物理存储介质的当前IO吞吐量、该物理存储介质的累计IO吞吐量。
可选地,可以同时根据负载情况和物理存储介质的优先级发送数据处理请求。例如:在上述步骤S106中,可以根据每一个网卡对应的物理存储介质的负载情况和该物理存储介质的优先级,将数据处理请求发送至该网卡对应的网络地址上;其中,优先级为预先配置的。
可选地,多块物理存储介质可以但不限于遵循互联网小型计算机接口(InternetSmall Computer System Interface,简称为iSCSI)协议。
互联网小型计算机系统接口(iSCSI)是一种基于TCP/IP的协议,用来建立和管理IP存储设备、主机和客户机等之间的相互连接,并创建存储区域网络(SAN)。SAN使得SCSI协议应用于高速数据传输网络成为可能,这种传输以数据块级别(block-level)在多个数据存储网络间进行。
SCSI结构基于客户/服务器模式,其通常应用环境是:设备互相靠近,并且这些设备由SCSI总线连接。iSCSI的主要功能是在TCP/IP网络上的主机系统(启动器initiator)和存储设备(目标器target)之间进行大量数据的封装和可靠传输过程。此外,iSCSI提供了在IP网络封装SCSI命令,且运行在TCP上。
在一个可选的实施方式中,提供了一种负载均衡的可在线动态扩容的高可用存储系统架构,该架构利用iSCSI、xfs文件系统、逻辑卷管理(Logical Volume Manager,简称为LVM)等技术,实现存储系统在网络层的负载均衡,例如:利用网卡绑定技术来进行网络层的负载均衡。该架构的存储系统为可扩容的存储系统,是基于iSCSI和LVM来进行的,可以在不停机的情况下,对新的的设备进行挂载,由LVM负责进行分区和逻辑卷的合并处理。并利用xfs文件系统支持存储系统的动态扩容能力,从而利用上述技术实现了存储系统的在线动态扩容。
可选地,在服务器中还可以动态对存储介质进行扩容。例如:在服务器中挂载新的物理存储介质,并将新的物理存储介质配置为网络存储空间的物理存储介质。
可选地,可以通过LVM对新的物理存储介质配置进行分区和逻辑卷的合并处理,以将新的物理存储介质配置为网络存储空间的物理存储介质。
可选地,可以使用xfs文件系统作为该存储系统的存储形式。
实施例2
在本实施例中还提供了一种存储处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的一种存储处理装置的结构框图一,如图2所示,该装置包括:
绑定模块22,用于将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,多块物理存储介质映射为一个整体的网络存储空间;
处理模块24,耦合至绑定模块22,用于获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;
发送模块26,耦合至处理模块24,用于在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将数据处理请求发送至该网卡对应的网络地址上。
可选地,上述存储处理装置可以但不限于应用于对存储系统的数据进行处理的场景中。例如:对存储系统中存储的数据进行读取的场景中,或者,向存储系统中存储数据的场景中。
可选地,上述存储处理装置可以但不限于应用于存储系统中,例如:分布式存储系统、云存储系统等等。
可选地,上述数据处理请求可以但不限于包括:数据存储请求、数据读取请求等等。
可选地,上述网络地址可以但不限于包括:IP地址,或者其他网络协议地址。IP地址可以为静态IP地址或者动态IP地址等等。
通过上述装置,绑定模块将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,所述多块物理存储介质映射为一个整体的网络存储空间;处理模块获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;发送模块在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将所述数据处理请求发送至该网卡对应的网络地址上,由此可见,采用上述方案将每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况,在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况分配数据处理请求,将该数据处理请求发送至该网卡对应的网络地址上,以保证数据处理时的负载均衡,同时,用网络地址表示物理存储介质的负载情况,使得在数据处理时无需关注存储介质的负载情况,只需将数据处理请求发送给网卡对应的网络地址即可,因此,提高了存储系统中数据处理的效率,从而解决了相关技术中存储系统数据处理效率较低的问题。
可选地,上述负载情况可以但不限于包括以下至少之一:该物理存储介质的当前IO吞吐量、该物理存储介质的累计IO吞吐量。
图3是根据本发明实施例的一种存储处理装置的结构框图二,如图3所示,可选地,上述发送模块26包括:
发送单元32,用于根据每一个网卡对应的物理存储介质的负载情况和该物理存储介质的优先级,将数据处理请求发送至该网卡对应的网络地址上;其中,优先级为预先配置的。
可选地,多块物理存储介质可以但不限于遵循互联网小型计算机接口(InternetSmall Computer System Interface,简称为iSCSI)协议。
在一个可选的实施方式中,提供了一种负载均衡的可在线动态扩容的高可用存储系统架构,该架构利用iSCSI、xfs、LVM等技术,实现存储系统在网络层的负载均衡,例如:利用网卡绑定技术来进行网络层的负载均衡。该架构的存储系统为可扩容的存储系统,是基于iSCSI和LVM来进行的,可以在不停机的情况下,对新的的设备进行挂载,由LVM负责进行分区和逻辑卷的合并处理。并利用xfs文件系统支持存储系统的动态扩容能力,从而利用上述技术实现了存储系统的在线动态扩容。
图4是根据本发明实施例的一种存储处理装置的结构框图三,如图4所示,可选地,上述装置还包括:
挂载模块42,用于在服务器中挂载新的物理存储介质;
配置模块44,耦合至挂载模块42和绑定模块22之间,用于将新的物理存储介质配置为网络存储空间的物理存储介质。
可选地,可以同时根据负载情况和物理存储介质的优先级发送数据处理请求。
可选地,在服务器中还可以动态对存储介质进行扩容。
可选地,配置模块44用于:通过LVM对新的物理存储介质配置进行分区和逻辑卷的合并处理,以将新的物理存储介质配置为网络存储空间的物理存储介质。
可选地,可以使用xfs文件系统作为该存储系统的存储形式。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述模块分别位于多个处理器中。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求所述为准。
实施例3
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,将多块物理存储介质中的每一块物理存储介质与该物理存储介质所在服务器的网卡进行绑定,其中,多块物理存储介质映射为一个整体的网络存储空间;
S2,获取每一块物理存储介质的负载情况,并使用该网卡对应的网络地址来表示该物理存储介质的负载情况;
S3,在接收到数据处理请求之后,至少根据每一个网卡对应的物理存储介质的负载情况,将数据处理请求发送至该网卡对应的网络地址上。
可选地,存储介质还被设置为存储用于执行上述实施例记载的方法步骤的程序代码:
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行上述实施例记载的方法步骤。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。