CN103414768B - 数据处理方法、系统和网关 - Google Patents
数据处理方法、系统和网关 Download PDFInfo
- Publication number
- CN103414768B CN103414768B CN201310329807.5A CN201310329807A CN103414768B CN 103414768 B CN103414768 B CN 103414768B CN 201310329807 A CN201310329807 A CN 201310329807A CN 103414768 B CN103414768 B CN 103414768B
- Authority
- CN
- China
- Prior art keywords
- memory node
- gateway
- file
- scsi
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 239000013307 optical fiber Substances 0.000 claims description 6
- 238000005538 encapsulation Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种数据处理方法、系统和网关，其中，该方法包括：网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；所述网关根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应。通过本发明实施例提供的数据处理方法、系统和网关，实现了在IP网络中的服务器只需要通过NIC就可以在访问IP存储网络的同时，通过网关访问FC存储网络，有利于数据中心对存储设备和数据的整体管理。
Description
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种数据处理方法、系统和网关。
背景技术
传统上存储网络和数据网络是两个独立的网络，分别是光纤通道存储局域网络（FC SAN）和局域网（IP LAN）。服务器要访问FC SAN时需要通过光纤存储卡（HBA）连接到FC的交换机上，而通过网络适配器（NIC）连接到IP LAN上，这样一个服务器需要两张网卡。但是以太技术在近几年取得了不可思议的发展速度，因此，支持网络协议的存储局域网络（IP SAN）自然成为存储网络的选择，这样存储访问和数据传输在一个IP以太网络下运行成为流行。
由于传统的存储特别是高端的存储都是基于FC网络的，因此，现有技术中的数据中心仍然既有FC存储又有IP存储，如图1所示，图1为现有的数据处理系统的结构示意图，具体地，服务器需要通过NIC访问IP SAN中的IP存储节点，通过HBA上的接口与FC交换机相连，进而访问FC SAN中的FC存储节点，因此，现有技术中服务器必须同时具备HBA和NIC才能对两个网络的访问，而且也不利于对存储设备和数据的整体管理。
发明内容
针对现有技术的上述缺陷，本发明实施例提供一种数据处理方法、系统和网关。
本发明一方面提供一种数据处理方法，包括：
网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；
所述网关根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应。
本发明另一方面提供一种网关，包括：
解析模块，用于接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；
处理模块，用于根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应。
本发明又一方面提供一种数据处理系统，包括：支持网络协议的存储局域网络IP SAN和光纤通道存储局域网络FC SAN，其中，所述IP SAN中包括多个IP存储节点，所述FC SAN包括多个FC存储节点，还包括：服务器，以及上述的网关，其中，所述服务器包括网络适配器NIC，所述网关与所述服务器相连，并通过FC接口与各FC存储节点相连接。
本发明实施例提供的数据处理方法、系统和网关，通过网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令，根据FC协议对待存储的文件和SCSI存储指令进行封装并发送到FC存储节点，若接收到FC存储节点返回的存储响应，则向服务器返回存储响应。实现了在IP网络中的服务器只需要通过NIC就可以在访问IP存储网络的同时，通过网关访问FC存储网络，有利于数据中心对存储设备和数据的整体管理。
附图说明
图1为现有的数据处理系统的结构示意图；
图2为本发明实施例提供的一个数据处理方法的流程图；
图3为本发明实施例提供的另一个数据处理方法的流程图；
图4为本发明实施例提供的一个网关的结构示意图；
图5为本发明实施例提供的另一个网关的结构示意图；
图6为本发明实施例提供的一个数据处理系统的结构示意图。
具体实施方式
图2为本发明实施例提供的一个数据处理方法的流程图，如图2所示，该方法包括：
步骤100，网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；
当位于IP以太网络中的服务器需要进行数据存储业务时，按照TCP/IP协议将待存储的文件和SCSI存储指令进行IP数据包的封装，即在原始数据上逐一加上IP存储表头、TCP表头、IP表头与以太网络表头，然后将封装后的IP数据包发送至与选择的目标IP地址对应的设备上。其中，目标IP地址对应的设备包括两类，具体为：位于IP以太网中的IP存储设备和位于IP网络和FC网络之间的网关。若与目标IP地址对应的设备为IP存储设备，则属于现有的IP网络存储，本实施例不再赘述。若与目标IP地址对应的设备为网关，则网关对接收到的IP数据包从最外层的以太网络表头逐一解析，获取待存储的文件和SCSI存储指令。需要说明的是，本领域技术人员可以理解的是，ISCSI是一种开放的工业标准，通过它可以用TCP/IP对SCSI(小型计算机系统接口--一种数据传输的公共协议)指令进行封装，这样就可以使这些指令能够通过基于IP(以太网或千兆位以太网)“网络”进行传输。这一标准的目的是允许使用现有的以太网网络传输SCSI指令和数据，而这一过程完全不依赖于地点。
步骤101，所述网关根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应。
网关对服务器发送的IP数据包进行解析获取待存储的文件和SCSI存储指令后，根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装，然后查询本地存储的FC存储节点的标识信息，并将封装好的支持FC协议的数据包通过FC接口发送到与所选择的FC存储节点的标识信息对应的FC存储节点上，其中，FC存储节点的标识信息的具体形式很多，比如：以WWN地址(World Wide name,WWN)来标识或以光纤提供的MAC地址(Fabric ProvidedMAC Address，FPMA)来标识。从而FC存储节点对网关发送的FC数据包进行解析，获取待存储的文件和所述SCSI存储指令，进而根据SCSI存储指令将待存储的文件存储在本地，并向网关返回存储响应，当网关接收到所述FC存储节点返回的存储响应后，将所述存储响应返回给服务器。
本实施例提供的数据处理方法，通过网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令，根据FC协议对待存储的文件和SCSI存储指令进行封装并发送到FC存储节点，若接收到FC存储节点返回的存储响应，则向服务器返回存储响应。实现了在IP网络中的服务器只需要通过NIC就可以在访问IP存储网络的同时，通过网关访问FC存储网络，有利于数据中心对存储设备和数据的整体管理。
图3为本发明实施例提供的另一个数据处理方法的流程图，如图3所示，该方法包括：
步骤200，网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；
当位于IP以太网络中的服务器需要进行数据存储业务时，按照TCP/IP协议将待存储的文件和SCSI存储指令进行IP数据包的封装，即在原始数据上逐一加上IP存储表头、TCP表头、IP表头与以太网络表头，然后将封装后的IP数据包发送至与选择的目标IP地址对应的设备上。其中，目标IP地址对应的设备包括两类，具体为：位于IP以太网中的IP存储设备和位于IP网络和FC网络之间的网关。若与目标IP地址对应的设备为IP存储设备，则属于现有的IP网络存储，本实施例不再赘述。若与目标IP地址对应的设备为网关，则网关对接收到的IP数据包从最外层的以太网络表头逐一解析，获取待存储的文件和SCSI存储指令。
步骤201，所述网关根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应，并将所述FC存储节点的标识信息与所述待存储的文件的名称的对应关系存储在映射表中；
网关对服务器发送的IP数据包进行解析获取待存储的文件和SCSI存储指令后，根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装，然后查询本地存储的FC存储节点的标识信息，并将封装好的支持FC协议的数据包通过FC接口发送到与所选择的FC存储节点的标识信息对应的FC存储节点上，其中，FC存储节点的标识信息的具体形式很多，比如：以WWN地址(World Wide name,WWN)来标识或以光纤提供的MAC地址(Fabric ProvidedMAC Address，FPMA)来标识。从而FC存储节点对网关发送的FC数据包进行解析，获取待存储的文件和所述SCSI存储指令，进而根据SCSI存储指令将待存储的文件存储在本地，并向网关返回存储响应，当网关接收到所述FC存储节点返回的存储响应后，将所述存储响应返回给服务器。然后网关将所述FC存储节点的标识信息与所述待存储的文件的名称的对应关系存储在本地的映射表中。
步骤202，当所述网关接收所述服务器发送的IP数据包并进行解析，获取待读取的文件名称和SCSI读取指令时，根据所述文件名称查询所述映射表获取对应的FC存储节点的标识信息；
当服务器需要进行数据读取业务时，按照TCP/IP协议将待读取的文件名称和SCSI读取指令进行IP数据包的封装，即在原始数据上逐一加上IP读取表头、TCP表头、IP表头与以太网络表头，然后将封装后的IP数据包发送至与选择的目标IP地址对应的设备上。其中，目标IP地址对应的设备包括两类，具体为：位于IP以太网中的IP存储设备和位于IP网络和FC网络之间的网关。若与目标IP地址对应的设备为IP存储设备，则属于现有技术，本实施例不再赘述。若与目标IP地址对应的设备为网关，则网关对接收到的IP数据包从最外层的以太网络表头逐一解析，获取待读取的文件名称和SCSI读取指令，然后根据待读取的文件名称查询本地存储的映射表获取对应的FC存储节点的标识信息。
步骤203，所述网关根据FC协议对所述文件名称和所述SCSI读取指令进行封装并发送到与所述标识信息对应的FC存储节点，以从所述存储节点中读取与所述文件名称对应的文件并发送给所述服务器。
网关根据FC协议对待读取的文件名称和SCSI读取指令进行封装，然后将封装好的支持FC协议的数据包发送到与待读取的文件名称对应的FC存储节点上，从而FC存储节点对网关发送的FC数据包进行解析，获取待读取的文件名称和SCSI读取指令，进而根据SCSI读取指令在本地获取与待读取的文件名称对应的文件并发送给网关，网关获取FC存储节点返回的文件后发送给所述服务器。
本实施例提供的数据处理方法，通过网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令，根据FC协议对待存储的文件和SCSI存储指令进行封装并发送到FC存储节点，若接收到FC存储节点返回的存储响应，将所述FC存储节点的标识信息与所述待存储的文件的名称的对应关系存储在映射表中，并以待读取的文件名称查询映射表获取对应的FC存储节点的标识信息，从而获取对应的存储文件。实现了在IP网络中的服务器只需要通过NIC就可以在访问IP存储网络的同时，通过网关访问FC存储网络，有利于数据中心对存储设备和数据的整体管理。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本发明实施例提供的一个网关的结构示意图，如图4所示，该网关包括：解析模块11和处理模块12，其中，解析模块11用于接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；处理模块12用于根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应。
本实施例提供的网关中各模块的功能和处理流程，可以参见上述图1所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例提供的另一个网关的结构示意图，如图5所示，基于上述实施例，该网关还包括：存储模块13，用于在所述接收到所述FC存储节点返回的存储响应之后，将所述FC存储节点的标识信息与所述待存储的文件的名称的对应关系存储在映射表中；解析模块11还用于：当接收所述服务器发送的IP数据包并进行解析，获取待读取的文件名称和SCSI读取指令时，根据所述文件名称查询所述映射表获取对应的FC存储节点的标识信息；处理模块12还用于：根据FC协议对所述文件名称和所述SCSI读取指令进行封装并发送到与所述标识信息对应的FC存储节点，以从所述存储节点中读取与所述文件名称对应的文件并发送给所述服务器。
本实施例提供的网关中各模块的功能和处理流程，可以参见上述图2所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图6为本发明实施例提供的一个数据处理系统的结构示意图，如图6所示，该系统包括：支持网络协议的存储局域网络IP SAN100和光纤通道存储局域网络FC SAN200，其中，所述IP SAN100中包括多个IP存储节点101，所述FC SAN200包括多个FC存储节点201，还包括：服务器300，以及网关400，其中，所述服务器300包括网络适配器NIC301，所述网关400与所述服务器300相连，并通过FC接口与各FC存储节点201相连接。其中，服务器需要通过NIC301访问IP存储节点101属于现有技术，此处不再赘述。
网关400为本发明上述实施例提供的网关，服务器300为本发明上述实施例中涉及的服务器，服务器300通过NIC301接入网关400访问FC存储节点201的处理流程，可以参见上述所示的方法实施例，此处不再赘述。
本实施例提供的数据处理系统中各模块的功能和处理流程，可以参见上述所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.一种数据处理方法，其特征在于，包括：
网关接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；
所述网关根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应；
在所述接收到所述FC存储节点返回的存储响应之后，所述方法还包括：
所述网关将所述FC存储节点的标识信息与所述待存储的文件的名称的对应关系存储在映射表中；
当所述网关接收所述服务器发送的IP数据包并进行解析，获取待读取的文件名称和SCSI读取指令时，根据所述文件名称查询所述映射表获取对应的FC存储节点的标识信息；
所述网关根据FC协议对所述文件名称和所述SCSI读取指令进行封装并发送到与所述标识信息对应的FC存储节点，以从所述存储节点中读取与所述文件名称对应的文件并发送给所述服务器。
2.一种网关，其特征在于，包括：
解析模块，用于接收服务器发送的IP数据包并进行解析，获取待存储的文件和SCSI存储指令；
处理模块，用于根据FC协议对所述待存储的文件和所述SCSI存储指令进行封装并发送到FC存储节点，若接收到所述FC存储节点返回的存储响应，则向所述服务器返回存储响应；
存储模块，用于在所述接收到所述FC存储节点返回的存储响应之后，将所述FC存储节点的标识信息与所述待存储的文件的名称的对应关系存储在映射表中；
所述解析模块还用于：当接收所述服务器发送的IP数据包并进行解析，获取待读取的文件名称和SCSI读取指令时，根据所述文件名称查询所述映射表获取对应的FC存储节点的标识信息；
所述处理模块还用于：根据FC协议对所述文件名称和所述SCSI读取指令进行封装并发送到与所述标识信息对应的FC存储节点，以从所述存储节点中读取与所述文件名称对应的文件并发送给所述服务器。
3.一种数据处理系统，包括：支持网络协议的存储局域网络IP SAN和光纤通道存储局域网络FC SAN，其中，所述IP SAN中包括多个IP存储节点，所述FC SAN包括多个FC存储节点，其特征在于，还包括：服务器，以及如权利要求2所述的网关，其中，所述服务器包括网络适配器NIC，所述网关与所述服务器相连，并通过FC接口与各FC存储节点相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310329807.5A CN103414768B (zh) | 2013-07-31 | 2013-07-31 | 数据处理方法、系统和网关 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310329807.5A CN103414768B (zh) | 2013-07-31 | 2013-07-31 | 数据处理方法、系统和网关 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103414768A CN103414768A (zh) | 2013-11-27 |
| CN103414768B true CN103414768B (zh) | 2016-12-28 |
Family
ID=49607754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310329807.5A Active CN103414768B (zh) | 2013-07-31 | 2013-07-31 | 数据处理方法、系统和网关 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103414768B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111431952B (zh) * | 2019-01-09 | 2022-06-03 | 阿里巴巴集团控股有限公司 | 消息推送方法、装置及系统，计算机存储介质和电子设备 |
| CN112929419B (zh) * | 2021-01-22 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 一种数据包传输方法、装置、电子设备及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101764805A (zh) * | 2009-10-19 | 2010-06-30 | 浪潮电子信息产业股份有限公司 | 一种低成本数据存储方法 |
| CN102090025A (zh) * | 2008-07-15 | 2011-06-08 | 国际商业机器公司 | 具有发起方子网络通信的网络系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778138A (zh) * | 2010-02-01 | 2010-07-14 | 成都市华为赛门铁克科技有限公司 | 一种存储系统及数据传输方法 |
-
2013
- 2013-07-31 CN CN201310329807.5A patent/CN103414768B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102090025A (zh) * | 2008-07-15 | 2011-06-08 | 国际商业机器公司 | 具有发起方子网络通信的网络系统 |
| CN101764805A (zh) * | 2009-10-19 | 2010-06-30 | 浪潮电子信息产业股份有限公司 | 一种低成本数据存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103414768A (zh) | 2013-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103139326B (zh) | Ip溯源方法、设备和系统 | |
| CN105531690B (zh) | 用于确定合适目标的方法、系统及存储介质 | |
| CN104639363B (zh) | 用于在虚拟区域网络中管理云端装置的管理伺服器及其管理方法 | |
| CN104954271B (zh) | Sdn网络中的数据包处理方法和装置 | |
| CN103475682B (zh) | 文件迁移方法及设备 | |
| CN110431542A (zh) | 管理存储网络中的i/o操作 | |
| CN101707619B (zh) | 报文过滤方法、装置及网络设备 | |
| CN110012125A (zh) | 集群网络通信方法、装置、存储介质和设备 | |
| CN107229415A (zh) | 一种数据写方法、数据读方法及相关设备、系统 | |
| WO2002025446A2 (en) | Method and system of allocating storage resources in a storage area network | |
| CN105468300B (zh) | Ip硬盘的管理方法和装置 | |
| CN102802139A (zh) | 一种物联网网关数据适配系统及方法 | |
| CN103036703A (zh) | 虚拟网络的逻辑拓扑的结构管理方法以及管理服务器 | |
| CN105808165B (zh) | 在云计算管理平台中虚拟机访问存储设备的方法和装置 | |
| CN101707617A (zh) | 报文过滤方法、装置及网络设备 | |
| CN106802869A (zh) | 类串口设备的驱动模型及驱动系统 | |
| US20150324387A1 (en) | Broadcast data operations in distributed file systems | |
| US20160308871A1 (en) | Network element data access method and apparatus, and network management system | |
| CN103414768B (zh) | 数据处理方法、系统和网关 | |
| CN105518610B (zh) | 处理操作请求的存储系统、方法及装置 | |
| CN106227470B (zh) | 一种存储资源管理方法及装置 | |
| CN105472054B (zh) | 一种报文发送方法及接入设备 | |
| CN106292662A (zh) | 机器人轨迹绘制方法及系统 | |
| CN102833287B (zh) | 分布式文件系统及分布式文件系统中访问数据资源的方法 | |
| US10764330B2 (en) | LAN/SAN network security management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |