CN101815095B - 一种san存储资源统一管理和分配方法 - Google Patents

Abstract

本发明提供一种SAN存储资源统一管理和分配方法，系统包括：服务器代理、存储服务器代理和管理服务器，其中：应用服务器上安装应用服务器代理，应用服务器代理包括：主机信息收集模块、启动器管理模块、磁盘管理模块，上述模块用于实现主机信息收集，用于在资源管理服务器注册；目标器CHAP认证、连接；自动按照需求将逻辑卷格式化为指定的文件系统；存储资源使用信息收集，从而实现SAN环境资源使用信息的全局视图；在一台管理服务器上实现应用服务器对存储服务器资源的分配，并完成应用服务器逻辑分区的划分和文件系统的格式化；应用服务器和存储服务器之间的启动器和目标器连接的建立和CHAP认证的配置；通过一个页面显示出每台应用服务器资源的使用信息和每台存储服务器资源的利用状态，从而避免资源闲置和实现存储服务器之间的负载均衡。

Description

一种SAN存储资源统一管理和分配方法

技术领域

本发明涉及存储资源管理和分配领域，尤其涉及一种SAN存储资源统一管理和分配的方法及系统。

背景技术

在SAN环境中，存储资源是分布的、异构的。随着数据的不断增加，存储容量的需求不断增加，网络中存储服务器的数量也随之增加；应用服务器更是由几台增长到了几百台，甚至更多，并且安装了各式各样的操作系统，包括Windows和Linux、Unix等。他们运行着不同的关键业务，并且可能分属于多个部门管理进行管理。

目前存储资源的管理分配完全依靠于系统管理员手动实现，管理成本高，效率低；在需要大规模配置时较容易引入人工错误，从而造成不必要的数据丢失。并且随着应用服务器和存储服务器数量不断增加，对存储资源的管理和分配的难度越来越大；由于存储资源被分配到了不同的应用服务器上，在大规模部署环境中对于存储资源的实际使用率比较难于统计，不能准确确定每台存储服务器的负载，从而可能造成有些负载越来越大，而有些负载则很低。

详细可以概述为以下几个缺点：

1、现在市场上的存储产品的管理界面基本只能提供本机的存储资源管理，对异构存储服务器或者同一系列产品实现统一管理的能力较低；

2、应用服务器与存储阵列之间的单一连接，使得资源利用率及使用状态信息都分布在各个客户端，无法汇总形成统一视图呈现给用户作为决策使用；对SAN环境中的整体存储资源更是缺少统一视图；

3、随着数据的指数级增长，实际应用环境中的存储服务器数目不断增长，应用服务器同样增长很快。为了实现每台应用服务器的资源分配，需要在存储服务器上手动实现逻辑分区的划分，记住这个资源需要分配给哪台服务器；然后登录到应用服务器上，使用启动器连接存储服务器上的目标器；在连接成功的基础上，使用卷管理工具进行分区，并格式化文件系统，效率非常低，需要的管理人员较多，管理成本很高。

所以需要一个管理平台来实现异构应用服务器对存储阵列资源的统一分配和管理，通过一个管理界面实现所有应用服务器的存储资源分配；通过一个统一的显示页面，显示出所有服务器目前磁盘的使用率和每台存储服务器逻辑磁盘的使用状态，从而可以避免资源的重复分配，造成资源的闲置和实现负载均衡。

发明内容

本发明的目的是提供一种SAN存储资源统一管理和分配方法及系统。

本发明的目的是按以下方式实现的，系统包括：服务器代理、存储服务器代理和管理服务器，其中：

应用服务器上安装应用服务器代理，应用服务器代理包括：主机信息收集模块、启动器管理模块、磁盘管理模块，上述模块用于实现主机信息收集，用于在资源管理服务器注册；目标器CHAP认证、连接；自动按照需求将逻辑卷格式化为指定的文件系统；存储资源使用信息收集，从而实现SAN环境资源使用信息的全局视图；

存储服务器上安装存储服务器代理，存储服务器代理包括存储服务器信息收集模块、存储池管理模块、目标器管理模块，上述模块用于实现存储池管理工具注册，目标器管理工具注册；存储服务器信息收集，用于在资源管理服务器注册；在主机组中注册启动器，配置CHAP认证；从存储池中划分需求大小的逻辑分区，转换为SCSI设备并加入到主机组中，在存储存储网络环境中安置管理服务器，管理服务器中设置有注册请求模块、存储需求分配解析模块、CHAP认证管理模块、资源分配模块、SAN连接管理模块、资源统计模块，上述模块用于实现应用服务器和存储服务器在管理服务器的注册；统计存储池资源分配视图和应用服务器资源使用视图；用于建立启动器和目标器之间的连接，并进行CHAP认证；进行存储资源分配和存储资源管理；管理和分配包括如下步骤：

A、管理服务器的注册请求模块向应用服务器发送注册命令，应用服务器通过信息收集模块获取自身相关属性，包括用于唯一识别应用服务器的ID、属主操作系统、可以连接的IP地址列表、启动器名称、应用服务器支持的文件系统格式、客户端Agent版本，信息收集模块将收集到信息发送到管理服务器注册请求模块，完成应用服务器的注册；

B、管理服务器的注册请求模块向存储服务器发送注册命令，存储服务器通过信息收集模块获取自身相关属性，包括用于唯一识别存储服务器的ID、存储服务器的嵌入式操作系统类型、存储服务器可以连接的IP地址列表、存储服务器目标器名称、存储服务器主机组列表、存储服务器上存储池列表，包括可用空间和已用空间大小、存储服务器端Agent版本，信息收集模块将信息发送到管理服务器注册请求模块，完成存储服务器的注册；

C、SAN存储服务器端使用的存储池管理工具和目标器管理工具存在差异性，向存储服务器代理注册存储池管理和目标器管理相关命令，实现接口的统一性，包括逻辑分区划分和删除、逻辑分区转SCSI设备、SCSI设备加入主机组、启动器加入主机组、CHAP认证相关命令，基本格式如下：

FunctionName#ParamKey＝ParamValue#ParamKey＝ParamValue…。

方法还包括如下步骤：

A、存储需求分配解析模块接受管理员发送指令，调用资源分配模块分配可用空间；

B、资源分配模块自动查找具有可用空间且负载最小的存储服务器，向其发送逻辑分区划分命令；

C、存储服务器接受逻辑分区划分命令，存储池管理工具在存储池下面创建一个指定大小的逻辑分区，并转换为SCSI块设备；

D、存储池管理工具向目标器主机组中注册SCSI块设备，并加入到此主机组中的Target可见此块设备；

E、存储需求分配解析模块在需要CHAP认证，调用CHAP认证管理模块；CHAP认证管理模块自动生成CHAP认证信息，并将CHAP信息保存；

F、存储需求分配解析模块调用SAN连接管理模块，SAN连接管理模块发送命令到存储服务器目标器管理模块，目标器管理模块在存储服务器主机组中加入应用服务器启动器，并在需要时设置CHAP认证；

G、连接管理模块发送命令到应用服务器启动器管理模块，启动器管理模块将存储服务器的IP地址加入启动器的Discovery中，查找相应的Target；设置相应的CHAP认证，连接存储务器目标器；

F、应用服务器端磁盘管理工具对新增加磁盘建立逻辑分区并格式化所需要的文件系统，完成资源分配；

方法还包括如下步骤：

A、资源分配模块自动查找的具有可用空间的服务器没有通过管理员确认，管理员手动选择具有可用空间的存储服务器；

B、资源分配模块自动查找的具有可用空间的存储服务器失败，返回分配失败到存储需求分配解析模块，完成资源分配。

方法还包括如下步骤：

A、管理服务器的资源统计模块向应用服务器请求资源使用信息，主机信息收集模块获取每块磁盘的总大小、已用空间、剩余空间、所属目标器、最近文件系统变化时间，返回给管理服务器；

B、资源统计模块计算出每块磁盘使用率和应用服务器所有挂载磁盘的总使用率；

C、管理服务器的资源统计模块向存储服务器请求资源分配信息，主机信息收集模块获取每个存储池的总大小、已用空间、剩余空间，返回给管理服务器；

D、资源统计模块根据存储服务器的返回结果，加上应用服务器端返回的逻辑磁盘使用状态，计算出每个Target下逻辑磁盘的使用率和所有存储池的总使用率；

方法还包括如下步骤：

A、资源分配模块查看应用服务器已挂载磁盘剩余空间大小，剩余磁盘空间大于需求，提示管理员可以使用已用磁盘；

B、管理员确认使用已有磁盘，完成资源分配；

C、资源分配模块通过计算存储服务器上存储池的总使用率来表示负载，总使用率最低定义为负载为最小。

本发明的优异效果是：在一台管理服务器上实现应用服务器对存储服务器资源的分配，并完成应用服务器逻辑分区的划分和文件系统的格式化；应用服务器和存储服务器之间的启动器和目标器连接的建立和CHAP认证的配置；通过一个页面显示出每台应用服务器资源的使用信息和每台存储服务器资源的利用状态，从而避免资源闲置和实现存储服务器之间的负载均衡。

由于应用服务器操作系统的差异性，所以需要针对每种系统实现相应的Agent，并配置相应的启动器工具和卷管理工具。应用服务器代理接受相关命令FunctionName#ParamKey＝ParamValue#ParamKey＝ParamValue…，然后转换为本地启动器和卷管理工具可以识别的命令和参数，实现相应操作。

由于存储服务器嵌入式操作系统的差异性，所以需要针对每种系统实现相应的Agent，并配置相应的目标器工具和存储池管理工具。应用服务器代理接受相关命令FunctionName#ParamKey＝ParamValue#ParamKey＝ParamValue…，然后转换为本地目标器和存储池管理工具可以识别的命令和参数，实现相应操作。

对于应用服务器代理获取本地信息，采用单独编码的方式编写到代理程序中；由于存储服务器端存储池管理工具的差异性，对于存储池信息的获取方法不一致，返回信息形式也不一致。通过对代理程序配置相应获取命令，然后统一以JSON形式返回。

附图说明

图1是SAN存储资源统一管理和分配系统结构图；

图2是系统模块调用示意图；

图3是应用服务器注册示意图；

图4是应用服务器注册信息；

图5是存储服务器注册示意图；

图6是存储服务器注册信息；

图7是存储资源分配流程图；

图8是应用服务器连接目标器逻辑磁盘和格式化文件系统图。

具体实施方式

下面将结合附图和实施实例对本发明的技术方案作进一步详细说明：

本发明的典型应用场景如图1所示，包括应用服务器代理、存储服务器代理和管理服务器。本发明实现了对存储资源的统一管理和分配，如图2所示，具体包括应用服务器端的信息收集模块、启动器管理模块、磁盘管理模块；管理服务器端的注册请求模块、资源统计模块、存储需求分配解析模块、CHAP认证管理模块、SAN连接管理模块、资源分配模块；存储服务器端的信息收集模块、目标器管理模块、存储池管理模块。

在管理服务器端输入应用服务器IP，注册请求模块将注册请求发送给应用服务器代理。应用服务器代理接收到命令，开始收集本机信息，包括用于唯一识别应用服务器的ID、属主操作系统、可以连接的IP地址列表、启动器名称、应用服务器支持的文件系统格式、客户端Agent版本等。信息收集模块将收集到信息发送到管理服务器注册请求模块，完成应用服务器的注册。

上述注册步骤，如果输入IP地址错误或者相应应用服务器停机，注册失败，需要手动检查应用服务器状态，重新开机。

在管理服务器端输入存储服务器IP，注册请求模块将注册请求发送给存储服务器。存储服务器代理接受到命令，开始收集本机信息，包括用于唯一识别应用服务器的ID、属主操作系统、可以连接的IP地址列表、启动器名称、应用服务器支持的文件系统格式、客户端Agent版本等。信息收集模块将收集到信息发送到管理服务器注册请求模块，完成应用服务器的注册。

上述注册步骤，如果输入IP地址错误或者相应存储服务器停机，注册失败，需要手动检查应用服务器状态，重新开机。

如图7、图8所示，对应用服务器存储资源过程如下：包括以下步骤：

A、存储需求分配解析模块接受管理员发送指令，调用资源分配模块分配可用空间；

B、资源分配模块自动查找具有可用空间且负载最小的存储服务器，向其发送逻辑分区划分命令。资源分配模块通过计算存储服务器上存储池的总使用率来表示负载，总使用率最低定义为负载为最小。

C、存储服务器接受逻辑分区划分命令，存储池管理工具在存储池下面创建一个指定大小的逻辑分区，并转换为SCSI块设备。

D、存储池管理工具向目标器主机组中注册SCSI块设备，并加入到此主机组中的Target可见此块设备。

E、存储需求分配解析模块在需要CHAP认证，调用CHAP认证管理模块；CHAP认证管理模块自动生成CHAP认证信息，并将CHAP信息保存；。

F、存储需求分配解析模块调用SAN连接管理模块，SAN连接管理模块发送命令到存储服务器目标器管理模块，目标器管理模块在存储服务器主机组中加入应用服务器启动器，并在需要时设置CHAP认证。

G、连接管理模块发送命令到应用服务器启动器管理模块，启动器管理模块将存储服务器的IP地址加入启动器的Discovery中，查找相应的Target；设置相应的CHAP认证，连接存储务器目标器；

F、应用服务器端磁盘管理工具对新增加磁盘建立逻辑分区并格式化所需要的文件系统，完成资源分配。

以上应用服务器存储资源分配还包括如下步骤：

A、资源分配模块自动查找的具有可用空间的服务器没有通过管理员确认，管理员手动选择具有可用空间的存储服务器；

B、资源分配模块自动查找的具有可用空间的存储服务器失败，返回分配失败到存储需求分配解析模块，完成资源分配。

以上应用服务器存储资源分配还包括如下步骤：

A、资源分配模块查看应用服务器已挂载磁盘剩余空间大小，剩余磁盘空间大于需求，提示管理员可以使用已用磁盘；

B、管理员确认使用已有磁盘，完成资源分配。

对于资源的统一视图显示，包括应用服务器端资源的使用情况视图和存储服务器端资源分配利用情况的显示，所述的方法包括如下步骤：

A、管理服务器的资源统计模块向应用服务器请求资源使用信息，主机信息收集模块获取每块磁盘的总大小、已用空间、剩余空间、所属目标器、最近文件系统变化时间，返回给管理服务器。

B、资源统计模块计算出每块磁盘使用率和应用服务器所有挂载磁盘的总使用率；

C、管理服务器的资源统计模块向存储服务器请求资源分配信息，主机信息收集模块获取每个存储池的总大小、已用空间、剩余空间，返回给管理服务器。

D、资源统计模块根据存储服务器的返回结果，加上应用服务器端返回的逻辑磁盘使用状态，计算出每个Target下逻辑磁盘的使用率和所有存储池的总使用率。

Claims (2)

1.一种SAN存储资源统一管理和分配方法，其特征在于系统包括：应用服务器代理、存储服务器代理和管理服务器，其中：

应用服务器上安装应用服务器代理，应用服务器代理包括：主机信息收集模块、启动器管理模块和磁盘管理模块三个模块，主机信息收集模块用于实现主机信息收集，用来在资源管理服务器注册；磁盘管理模块用于自动按照需求将逻辑卷格式化为指定的文件系统；

存储服务器上安装存储服务器代理，存储服务器代理包括存储服务器信息收集模块、存储池管理模块和目标器管理模块三个模块，存储服务器信息收集模块用于实现存储服务器信息收集，用来在资源管理服务器注册；目标器管理模块用于目标器管理工具注册，配置CHAP认证；存储池管理模块用于存储池管理工具注册，根据需求从存储池中划分出逻辑分区，转换为SCSI设备并加入到主机组中；

在存储网络环境中安置管理服务器，管理服务器中设置有注册请求模块、存储需求分配解析模块、CHAP认证管理模块、资源分配模块、SAN连接管理模块、资源统计模块，注册请求模块和资源统计模块用于实现应用服务器和存储服务器在管理服务器的注册；存储需求分配解析模块和资源分配模块用于统计存储池资源分配视图和应用服务器资源使用视图，进行存储资源分配和存储资源管理；CHAP认证管理模块和SAN连接管理模块用于建立启动器和目标器之间的连接，并进行CHAP认证；

应用服务器代理端的启动器管理模块用于与存储服务器代理端的目标器管理模块及管理服务器的CHAP认证管理模块连接；

应用服务器和存储服务器的注册包括如下步骤：

A、管理服务器的注册请求模块向应用服务器发送注册命令，应用服务器通过主机信息收集模块获取自身相关属性，包括用于唯一识别应用服务器的ID、应用服务器操作系统、连接的IP地址列表、启动器名称、应用服务器支持的文件系统格式、客户端Agent版本，主机信息收集模块将收集到信息发送到管理服务器注册请求模块，完成应用服务器的注册；

B、管理服务器的注册请求模块向存储服务器发送注册命令，存储服务器通过存储服务器信息收集模块获取自身相关属性，包括用于唯一识别存储服务器的ID、存储服务器的嵌入式操作系统类型、存储服务器可以连接的IP地址列表、存储服务器目标器名称、存储服务器主机组列表、存储服务器上存储池列表，包括可用空间和己用空间大小、存储服务器端Agent版本，存储服务器信息收集模块将信息发送到管理服务器注册请求模块，完成存储服务器的注册；

C、SAN存储服务器端使用的存储池管理工具和目标器管理工具存在差异性，向存储服务器代理注册存储池管理和目标器管理相关命令，实现接口的统一性，包括逻辑分区划分和删除、逻辑分区转SCSI设备、SCSI设备加入主机组、启动器加入主机组、CHAP认证相关命令；

SAN存储资源统一管理资源分配步骤如下：

Ⅰ、存储需求分配解析模块接收管理员发送的指令，调用资源分配模块分配可用空间；

Ⅱ、资源分配模块自动查找具有可用空间且负载最小的存储服务器，资源分配模块通过计算存储服务器上存储池的总使用率来表示负载，总使用率最低定义为负载为最小，其中包括如下几种情况：

①、资源分配模块自动查找具有可用空间且负载最小的存储服务器成功，向其发送逻辑分区划分命令，进行步骤Ⅲ；

②、资源分配模块自动查找的具有可用空间的存储服务器，若此存储服务器没有通过管理员确认，则由管理员手动选择具有可用空间的存储服务器，向其发送逻辑分区划分命令，进行步骤Ⅲ；

③、资源分配模块自动查找的具有可用空间的存储服务器失败，返回分配失败到存储需求分配解析模块，返回步骤Ⅰ；

Ⅲ、存储服务器接受逻辑分区划分命令，存储池管理工具在存储池下面创建一个指定大小的逻辑分区，并转换为SCSI块设备；

Ⅳ、存储池管理工具向目标器主机组中注册SCSI块设备，并加入到此主机组中的Target可见此块设备；

Ⅴ、存储需求分配解析模块在需要CHAP认证时，调用CHAP认证管理模块；CHAP认证管理模块自动生成CHAP认证信息，并将CHAP信息保存；

Ⅵ、存储需求分配解析模块调用SAN连接管理模块，SAN连接管理模块发送命令到存储服务器目标器管理模块，存储服务器目标器管理模块在存储服务器主机组中加入应用服务器启动器，并在需要时设置CHAP认证；

Ⅶ、连接管理模块发送命令到应用服务器启动器管理模块，启动器管理模块将存储服务器的IP地址加入启动器的Discovery中，查找相应的Target；设置相应的CHAP认证，连接存储务器目标器；

Ⅷ、应用服务器端磁盘管理工具对新增加磁盘建立逻辑分区并格式化所需要的文件系统，完成资源分配；

进行应用服务器存储资源分配时：

（1）、资源分配模块查看应用服务器已挂载磁盘剩余空间大小，若剩余磁盘空间大于需求，则提示管理员使用已有磁盘；

（2）、管理员确认使用已有磁盘，完成资源分配。

2.根据权利要求l所述的方法，其特征在于：对于资源的统一视图显示，包括应用服务器端资源的使用情况视图和存储服务器端资源分配利用情况的显示，所述的方法包括如下步骤：

A、管理服务器的资源统计模块向应用服务器请求资源使用信息，主机信息收集模块获取每块磁盘的总大小、已用空间、剩余空间、所属目标器、最近文件系统变化时间，返回给管理服务器；

B、资源统计模块计算出每块磁盘使用率和应用服务器所有挂载磁盘的总使用率；

C、管理服务器的资源统计模块向存储服务器请求资源分配信息，主机信息收集模块获取每个存储池的总大小、已用空间、剩余空间，返回给管理服务器；

D、资源统计模块根据存储服务器的返回结果，加上应用服务器端返回的逻辑磁盘使用状态，计算出每个Target下逻辑磁盘的使用率和所有存储池的总使用率。