CN102868739B - 应用于ip san集群存储系统的交换设备 - Google Patents
应用于ip san集群存储系统的交换设备 Download PDFInfo
- Publication number
- CN102868739B CN102868739B CN201210326034.0A CN201210326034A CN102868739B CN 102868739 B CN102868739 B CN 102868739B CN 201210326034 A CN201210326034 A CN 201210326034A CN 102868739 B CN102868739 B CN 102868739B
- Authority
- CN
- China
- Prior art keywords
- memory node
- iscsi
- data
- node
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000003672 processing method Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000007257 malfunction Effects 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Abstract
本发明提供了一种应用于IP SAN集群存储系统的交换设备和数据处理方法，其中，该交换设备包括：基于IP网络的小型计算机系统接口(iSCSI)目标方模块，与iSCSI发起者相连，用于接收iSCSI发起者传输的TCP/IP消息，解析该TCP/IP消息获得小型计算机系统接口(SCSI)指令，向数据处理模块发送该SCSI指令；所述数据处理模块，分别与iSCSI目标方模块和IP SAN集群存储系统的存储节点相连，用于接收所述数据处理模块发送的所述SCSI指令，根据所述SCSI指令在存储节点上执行数据的并发访问。本发明可以使IP SAN存储系统实现横向扩展，从而实现存储系统容量和性能的线性扩展。
Description
技术领域
本发明涉及信息存储领域，尤其涉及一种应用于互联网协议(IP)存储域网络(SAN)集群存储系统的交换设备和数据处理方法。
背景技术
存储域网络(Storage Area Network，SAN)是一种将存储设备、连接设备和接口集成在一个高速网络中的技术，承担了数据存储任务，SAN网络与局域网(LAN)业务网络相隔离，存储数据流不会占用业务网络带宽。早期的SAN采用的是光纤通道(FC)技术，基于IP网络的小型计算机系统接口(iSCSI)协议出现以后，为了区分，业界就把SAN分为FC SAN和IPSAN。iSCSI是一种在传输控制协议(TCP)/互联网协议(IP)上进行数据块传输的标准，实现了在IP网络上运行小型计算机系统接口(SCSI)协议，基于iSCSI的存储系统只需不多的投资便可以实现SAN存储功能。IP SAN因为其价格便宜，部署方便，已经成为大多数中小企业在选择存储系统时的首选。
但是传统的SAN在客户容量或性能需求增加时，只能通过提升硬件配置或者加入更多的磁盘实现，无法实现性能和容量的同时扩展，而且在做扩容时需要暂停前端业务，从而造成一些不便。集群存储系统可以实现系统的横向和在线扩展，在增加系统容量的同时能够同时实现性能的扩展，并且保证系统在扩容过程中前端业务的进行，实现系统的无缝升级。
但是由于集群存储系统是并发接入，也就是单个客户端在接入时会并发的连接集群系统的多个节点，如图1(a)所示，而iSCSI发起者需要一个存储的IP地址来连接到存储节点上，如图1(b)所示。
发明内容
本发明提供了一种应用于IP SAN集群存储系统的交换设备和数据处理方法，以克服现有IP SAN存储系统无法实现性能和容量的同时扩展的缺陷。
本发明提供了一种应用于互联网协议(IP)存储域网络(SAN)集群存储系统的交换设备，该交换设备包括：
基于IP网络的小型计算机系统接口(iSCSI)目标方模块，与iSCSI发起者相连，用于接收iSCSI发起者传输的传输控制协议(TCP)/IP消息，解析所述TCP/IP消息获得小型计算机系统接口(SCSI)指令，向数据处理模块发送所述SCSI指令；
所述数据处理模块，分别与所述iSCSI目标方模块和所述IP SAN集群存储系统的存储节点相连，用于接收所述数据处理模块发送的所述SCSI指令，根据所述SCSI指令在存储节点上执行数据的并发访问。
优选地，该交换设备还包括：
监控模块，用于监控并维护所有存储节点的节点状态，以及向所述数据处理模块发送节点状态发生变化的存储节点信息，所述存储节点信息包括节点地址和节点状态；
所述数据处理模块，具体用于根据所述SCSI指令和所述监控模块发送所述存储节点信息在对应的存储节点上执行数据的并发访问。
优选地，所述iSCSI目标方模块，具体用于为所述iSCSI发起者提供所述交换设备的IP地址。
优选地，所述监控模块，具体用于：定时或实时检测与各存储节点的连接，当预定时间内无法检测到当前存储节点，则将该当前存储节点的节点状态修改为故障状态，若在预定时间内检测到该当前存储节点，则将该当前存储节点的节点状态修改为正常状态；将新加入的存储节点的节点状态设置为正常状态；以及向所述数据处理模块发送节点状态发生变化的存储节点信息。
优选地，所述数据处理模块，具体用于：将所述SCSI指令转换为对应的操作，当所述操作为写操作时，将数据进行分块处理，将处理后的数据块并发地写入处于正常状态的存储节点上；当所述操作为读操作时，从所述处于正常状态的存储节点读取数据块，将读取到的所述数据块组合成数据信息后发送至所述iSCSI目标方模块。
优选地，所述iSCSI目标方模块，还用于接收所述数据处理模块发送的所述数据信息，以及向所述iSCSI发起者发送所述数据信息。
本发明还提供了一种应用于互联网协议(IP)存储域网络(SAN)集群存储系统的数据处理方法，该方法包括：
接收基于IP网络的小型计算机系统接口(iSCSI)发起者传输的传输控制协议(TCP)/IP消息，解析所述TCP/IP消息获得小型计算机系统接口(SCSI)指令；
根据所述SCSI指令在所述IP SAN集群存储系统的存储节点上执行数据的并发访问。
优选地，所述接收iSCSI发起者传输的TCP/IP消息之前，该方法还包括：
为所述iSCSI发起者提供所述IP SAN集群存储系统的IP地址。
优选地，所述根据所述SCSI指令在所述IP SAN集群存储系统的存储节点上执行数据的并发访问包括：
监控并维护所有存储节点的节点状态，根据所述SCSI指令和存储节点的当前状态在对应的存储节点上执行数据的并发访问。
优选地，所述根据所述SCSI指令和存储节点的当前状态在对应的存储节点上执行数据的并发访问，包括：
将所述SCSI指令转换为对应的操作，当所述操作为写操作时，将数据进行分块处理，将处理后的数据块并发地写入处于正常状态的存储节点上；当所述操作为读操作时，从所述处于正常状态的存储节点读取数据块，将读取到的所述数据块组合成数据信息后发送至所述iSCSI发起者。
本发明实施例，可以使IP SAN存储系统实现横向(scale-out)扩展，从而实现存储系统容量和性能的线性扩展。
附图说明
图1(a)为现有的集群存储系统的连接方式示意图；
图1(b)为现有的iSCSI发起方的连接方式示意图；
图2为本发明应用于IP SAN集群存储系统的交换设备实施例的结构示意图；
图3为本发明应用于IP SAN集群存储系统的数据处理方法实施例的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
为了将iSCSI技术和集群存储技术进行融合，本发明通过在iSCSI发起者和SAN之间增加一级交换设备实现集群存储设备的标准iSCSI接入。iSCSI发起者通过交换设备的IP地址与交换设备上的iSCSI目标方建立连接，交换设备将iSCSI目标方接收的数据通过并发的方式存储到集群存储上。本架构主要涉及iSCSI发起者与集群存储间的交换设备，为了提高整个集群的传输效率，交换设备不是作为集群存储的客户端使用，它本身就是集群存储的一个有机组成部分，如图2所示，该交换设备主要包括三个部分：iSCSI目标方模块21、数据处理模块22，其中：
iSCSI目标方模块，与iSCSI发起者相连，用于接收iSCSI发起者传输的传输控制协议(TCP)/IP消息，解析所述TCP/IP消息获得小型计算机系统接口(SCSI)指令，向数据处理模块发送所述SCSI指令；
所述数据处理模块，分别与所述iSCSI目标方模块和所述IP SAN集群 存储系统的存储节点相连，用于接收所述数据处理模块发送的所述SCSI指令，根据所述SCSI指令在存储节点上执行数据的并发访问。
另外，该系统还可以包括：监控模块23，用于监控并维护所有存储节点的节点状态，以及向所述数据处理模块发送节点状态发生变化的存储节点信息，所述存储节点信息包括节点地址和节点状态；此时，所述数据处理模块，具体用于根据所述SCSI指令和所述监控模块发送所述存储节点信息在对应的存储节点上执行数据的并发访问。
具体地，上述iSCSI目标方模块将交换设备的IP地址提供给iSCSI发起者，建立连接后，iSCSI目标方模块接收并解析由iSCSI发起者传来的消息包中的SCSI指令，然后将SCSI指令交给数据处理模块进行相关操作。由于iSCSI协议是个标准协议，iSCSI目标方的主要处理包括：(1)将交换设备IP提供给iSCSI发起者；(2)解析TCP/IP消息包中的SCSI指令；(3)将SCSI指令交给数据处理模块。
上述监控模块通过一个状态表来监控并维护后端存储节点的状态，状态表中记录集群所有存储节点的信息，包括节点地址、主机名以及节点状态(正常状态(up)/故障状态(down))。系统监控模块通过定时或实时地检测系统与节点的连接确定节点的状态，当一段时间无法ping通存储节点时，监控模块认为该节点失去连接，并将该节点状态修改为down，在节点可以连接后监控模块会将该节点状态修改为up；集群存储系统移除相关节点时，监控模块会将该节点信息从状态表中删除，新加入节点会记录到状态表中并标记为up。当节点或系统状态发生变化时，监控模块会及时通知数据处理模块，数据处理模块在数据并发写入时会避开故障节点，写入新添加的节点。
上述数据处理模块在接到SCSI指令后，将指令转化为对存储系统的操作，核心的处理是大块数据读写时的并发处理。在大块数据写操作时，数据处理模块会根据存储系统的存储策略(条带化布局)将数据进行分块处理(条带化)，然后将数据块按照一定的规则(哈希处理或者指定布局信息，视具体存储系统而定)存储到后端的状态为up的存储节点上。在大块的数据读操作时，数据处理模块会按照之前指定的规则将数据由存储节点读取相关数据 块，之后将数据块组合成完整的数据交给iSCSI目标方模块封装并发送至iSCSI发起者。
由此可见，上述交换设备在IP SAN集群存储系统上实现了iSCSI目标方，一方面实现了集群存储系统的iSCSI标准接入，简化了集群存储系统的使用；另一方面将横向扩展架构应用到IP SAN中，实现了IP SAN存储系统的高可扩展性和高性能。
本发明还提供了一种基于包含图2所示交换设备的IP SAN集群存储系统的数据处理方法，如图3所示，该方法包括：
步骤301、接收iSCSI发起者传输的传输控制协议(TCP)/IP消息，解析所述TCP/IP消息获得小型计算机系统接口(SCSI)指令；
在该步骤301之前，该方法还包括：为所述iSCSI发起者提供所述IPSAN集群存储系统的IP地址；
步骤302、根据所述SCSI指令在所述IP SAN集群存储系统的存储节点上执行数据的并发访问。
该步骤302包括：监控并维护所有存储节点的节点状态，根据所述SCSI指令和存储节点的当前状态在对应的存储节点上执行数据的并发访问；具体地，将所述SCSI指令转换为对应的操作，当所述操作为写操作时，将数据进行分块处理，将处理后的数据块并发地写入处于正常状态的存储节点上；当所述操作为读操作时，从所述处于正常状态的存储节点读取数据块，将读取到的所述数据块组合成数据信息后发送至所述iSCSI发起者。
上述数据处理方法，在IP SAN集群存储系统上实现了iSCSI目标方，一方面实现了集群存储系统的iSCSI标准接入，简化了集群存储系统的使用；另一方面将横向扩展架构应用到IP SAN中，实现了IP SAN存储系统的高可扩展性和高性能。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序 来指令相关硬件完成，上述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种应用于互联网协议IP存储域网络SAN集群存储系统的交换设备，其特征在于，该交换设备设置在小型计算机系统接口iSCSI发起者和存储域网络SAN之间，以实现集群存储设备的标准iSCSI接入，包括：
基于IP网络的小型计算机系统接口iSCSI目标方模块，与iSCSI发起者相连，用于将交换设备的IP地址提供给iSCSI发起者，建立连接后，接收iSCSI发起者传输的传输控制协议TCP/IP消息，解析所述TCP/IP消息获得小型计算机系统接口SCSI指令，向数据处理模块发送所述SCSI指令；
所述数据处理模块，分别与所述iSCSI目标方模块和所述IP SAN集群存储系统的存储节点相连，用于接收所述iSCSI目标方模块发送的所述SCSI指令，根据所述SCSI指令在存储节点上执行数据的并发访问。
2.根据权利要求1所述的交换设备，其特征在于，该交换设备还包括：
监控模块，用于监控并维护所有存储节点的节点状态，以及向所述数据处理模块发送节点状态发生变化的存储节点信息，所述存储节点信息包括节点地址和节点状态；
所述数据处理模块，具体用于根据所述SCSI指令和所述监控模块发送所述存储节点信息在对应的存储节点上执行数据的并发访问。
3.根据权利要求2所述的交换设备，其特征在于：
所述监控模块，具体用于：定时或实时检测与各存储节点的连接，当预定时间内无法检测到当前存储节点，则将该当前存储节点的节点状态修改为故障状态，若在预定时间内检测到该当前存储节点，则将该当前存储节点的节点状态修改为正常状态；将新加入的存储节点的节点状态设置为正常状态；以及向所述数据处理模块发送节点状态发生变化的存储节点信息。
4.根据权利要求3所述的交换设备，其特征在于：
所述数据处理模块，具体用于：将所述SCSI指令转换为对应的操作，当所述操作为写操作时，将数据进行分块处理，将处理后的数据块并发地写入处于正常状态的存储节点上；当所述操作为读操作时，从所述处于正常状态的存储节点读取数据块，将读取到的所述数据块组合成数据信息后发送至所述iSCSI目标方模块。
5.根据权利要求4所述的交换设备，其特征在于：
所述iSCSI目标方模块，还用于接收所述数据处理模块发送的所述数据信息，以及向所述iSCSI发起者发送所述数据信息。
6.一种基于权利要求1所述一种应用于互联网协议IP存储域网络SAN集群存储系统的交换设备的数据处理方法，其特征在于，该方法包括：
为基于IP网络的小型计算机系统接口iSCSI发起者提供所述IP SAN集群存储系统的IP地址；
接收基于IP网络的小型计算机系统接口iSCSI发起者传输的传输控制协议TCP/IP消息，解析所述TCP/IP消息获得小型计算机系统接口SCSI指令；
根据所述SCSI指令在所述IP SAN集群存储系统的存储节点上执行数据的并发访问。
7.根据权利要求6所述的方法，其特征在于：
所述根据所述SCSI指令在所述IP SAN集群存储系统的存储节点上执行数据的并发访问包括：
监控并维护所有存储节点的节点状态，根据所述SCSI指令和存储节点的当前状态在对应的存储节点上执行数据的并发访问。
8.根据权利要求7所述的方法，其特征在于：
所述根据所述SCSI指令和存储节点的当前状态在对应的存储节点上执行数据的并发访问，包括：
将所述SCSI指令转换为对应的操作，当所述操作为写操作时，将数据进行分块处理，将处理后的数据块并发地写入处于正常状态的存储节点上；当所述操作为读操作时，从所述处于正常状态的存储节点读取数据块，将读取到的所述数据块组合成数据信息后发送至所述iSCSI发起者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210326034.0A CN102868739B (zh) | 2012-09-05 | 2012-09-05 | 应用于ip san集群存储系统的交换设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210326034.0A CN102868739B (zh) | 2012-09-05 | 2012-09-05 | 应用于ip san集群存储系统的交换设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102868739A CN102868739A (zh) | 2013-01-09 |
| CN102868739B true CN102868739B (zh) | 2015-09-02 |
Family
ID=47447325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210326034.0A Active CN102868739B (zh) | 2012-09-05 | 2012-09-05 | 应用于ip san集群存储系统的交换设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102868739B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226532A (zh) * | 2013-03-28 | 2013-07-31 | 北京圆通慧达管理软件开发有限公司 | 数据处理系统和方法 |
| CN103198109A (zh) * | 2013-03-28 | 2013-07-10 | 北京圆通慧达管理软件开发有限公司 | 数据处理系统和方法 |
| CN103150403A (zh) * | 2013-03-28 | 2013-06-12 | 北京圆通慧达管理软件开发有限公司 | 数据处理系统和方法 |
| CN104486110B (zh) * | 2014-12-09 | 2018-04-13 | 上海爱数信息技术股份有限公司 | 一种基于rpc协议的统一存储资源管理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1909478A (zh) * | 2006-08-29 | 2007-02-07 | 乌永胜 | 一种通过交换机或管理服务器实现管理多个磁盘存储阵列的方法 |
| CN1985492A (zh) * | 2004-06-17 | 2007-06-20 | 美国博通公司 | 支持iSCSI读操作和iSCSI烟囱的方法和系统 |
| CN101022400A (zh) * | 2007-03-16 | 2007-08-22 | 杭州华为三康技术有限公司 | 一种实现网络存储系统的资源分配方法及装置 |
| CN201479165U (zh) * | 2009-07-29 | 2010-05-19 | 福建伊时代信息科技股份有限公司 | 异地实时数据灾备系统 |
-
2012
- 2012-09-05 CN CN201210326034.0A patent/CN102868739B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1985492A (zh) * | 2004-06-17 | 2007-06-20 | 美国博通公司 | 支持iSCSI读操作和iSCSI烟囱的方法和系统 |
| CN1909478A (zh) * | 2006-08-29 | 2007-02-07 | 乌永胜 | 一种通过交换机或管理服务器实现管理多个磁盘存储阵列的方法 |
| CN101022400A (zh) * | 2007-03-16 | 2007-08-22 | 杭州华为三康技术有限公司 | 一种实现网络存储系统的资源分配方法及装置 |
| CN201479165U (zh) * | 2009-07-29 | 2010-05-19 | 福建伊时代信息科技股份有限公司 | 异地实时数据灾备系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102868739A (zh) | 2013-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9756128B2 (en) | Switched direct attached shared storage architecture | |
| US9898427B2 (en) | Method and apparatus for accessing multiple storage devices from multiple hosts without use of remote direct memory access (RDMA) | |
| US10452316B2 (en) | Switched direct attached shared storage architecture | |
| US11870709B2 (en) | Techniques for dynamically allocating resources in a storage cluster system | |
| US7631218B2 (en) | RAID system and Rebuild/Copy back processing method thereof | |
| US9128855B1 (en) | Flash cache partitioning | |
| US9213500B2 (en) | Data processing method and device | |
| CN103019622B (zh) | 一种数据的存储控制方法、控制器、物理硬盘，及系统 | |
| JP2008546049A (ja) | 宛先ディスクへのアクセス方法とディスク容量拡張システム及びディスクアレイ | |
| CN104407933A (zh) | 一种数据的备份方法及装置 | |
| US11868625B2 (en) | Alert tracking in storage | |
| JP2016143221A (ja) | ストレージ装置，制御プログラム，ストレージシステム及びデータ転送方法 | |
| US9898195B2 (en) | Hardware interconnect based communication between solid state drive controllers | |
| CN102868739B (zh) | 应用于ip san集群存储系统的交换设备 | |
| JP5706808B2 (ja) | 連続的なリモートコピーのためのネットワーク効率の改良 | |
| CN102576329B (zh) | 存储区域网络中虚拟存储管理的主动-主动支持 | |
| EP3295321A1 (en) | Accessing multiple storage devices from multiple hosts without remote direct memory access (rdma) | |
| US8447947B2 (en) | Method and interface for allocating storage capacities to plural pools | |
| JP2008065433A (ja) | 計算機システム及び性能チューニング方法 | |
| CN105653213A (zh) | 一种基于Freescale P3041的双控磁盘阵列 | |
| CN100383721C (zh) | 一种异构双系统总线的对象存储控制器 | |
| CN102867029B (zh) | 一种管理分布式文件系统目录的方法及分布式文件系统 | |
| WO2018099241A1 (zh) | 磁盘阵列控制器、数据处理方法及其装置 | |
| CN105827681A (zh) | 一种san网络下备份数据传输方法 | |
| JP2019159437A (ja) | 情報処理装置、転送制御方法および転送制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |