CN108737517A - 一种数据处理分类存储系统 - Google Patents

一种数据处理分类存储系统 Download PDF

Info

Publication number
CN108737517A
CN108737517A CN201810426465.1A CN201810426465A CN108737517A CN 108737517 A CN108737517 A CN 108737517A CN 201810426465 A CN201810426465 A CN 201810426465A CN 108737517 A CN108737517 A CN 108737517A
Authority
CN
China
Prior art keywords
backup
data
storage
storage device
network structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810426465.1A
Other languages
English (en)
Inventor
范子辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Car Xin Bao Auto Sales Co Ltd
Original Assignee
Anhui Car Xin Bao Auto Sales Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Car Xin Bao Auto Sales Co Ltd filed Critical Anhui Car Xin Bao Auto Sales Co Ltd
Priority to CN201810426465.1A priority Critical patent/CN108737517A/zh
Publication of CN108737517A publication Critical patent/CN108737517A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理分类存储系统，包括存储设备分类、存储网络结构和备份，所述存储设备分类内设SCSI存储设备、SAS存储设备、FC光纤存储设备和ISCSI存储设备，所述存储网络结构内设有DAS存储系统网络结构、SAN存储系统网络结构和NAS存储系统网络结构，所述备份内设有备份周期、备份方式、自动/手动备份和备份介质，SCSI存储可以很方便地实现与服务器的连接，可直接通过标准的SCSI线缆实现与服务器的连接，整体结构简单，环节少，因而系统的故障点也少，相应地，系统的安全稳定性也高，便于通过完全备份和差异备份经常组合成为一个完整的备份方案，每天进行差异备份，定期做完全备份，这样恢复的时候，系统管理员只需两份磁带数据。

Description

一种数据处理分类存储系统
技术领域
本发明涉及数据处理分类存储系统技术领域，具体为一种数据处理分类存储系统。
背景技术
随着网络化、信息化和数据化的发展，数据量越来越大，需要用到的存储设备的容量和数量也越来越多，几年前，一个存储系统的容量大约为几百GB到一两个TB，而现在的系统中存储设备容量一般都在10-20TB，大型数据中心往往会采用多台存储设备，不同存储设备负担不同的业务应用系统，存储容量经常超过100TB。
但是目前市场上的数据处理分类存储系统，不便于实现与服务器的连接，需要专门购置SCSI卡或FC卡等，系统的建设成本进一步降低，在设备连接方面，需要网络交换机，无法直接通过标准的线缆实现与服务器的连接，整体结构复杂，环节多，因而系统的故障点也较多，相应地，系统的安全稳定性也低，不便于组合成为一个完整的备份方案。
发明内容
本发明提供一种数据处理分类存储系统，可以有效解决上述背景技术中提出不便于实现与服务器的连接，需要专门购置SCSI卡或FC卡等，系统的建设成本进一步降低，在设备连接方面，需要网络交换机，无法直接通过标准的线缆实现与服务器的连接，整体结构复杂，环节多，因而系统的故障点也较多，相应地，系统的安全稳定性也低，不便于组合成为一个完整的备份方案的问题。
为实现上述目的，本发明提供如下技术方案：一种数据处理分类存储系统，包括存储设备分类、存储网络结
构和备份，所述存储设备分类内设SCSI存储设备、SAS存储设备、FC光纤存储设备和ISCSI存储设备，所述SCSI存储设备控制器的核心处理芯片CPU包括通用Inter CPU和POWER PC，所述SCSI存储设备在线扩容一般包含三个层次：
(1)物理扩容：即热插拔功能，基本上所有的外置硬盘的存储都支持在线扩容；
(2)RAID组扩容：在不删除原有RAID组的前提下，通过增加新磁盘来扩展RAID组，如将原来由5块磁盘组成的RAID5扩展到一个由8块磁盘构成的RAID5；
(3)逻辑卷LUN扩容：在不删除原有LUN和LUN数据的前提下增加LUN的容量，如将LUN的容量由原来的500GB扩展到1TB。
根据上述技术方案，所述SAS存储设备内设有传输层、端口层、链路层和物理层，所述传输层用于SAS帧的封装与解析，将构造的帧发送出去或解析收到的帧，所述端口层把帧按目标地址加入队列中，向链路层申请链接发送帧到链路层，其主要用于负责发起、重试连接请求、发送数据到链路层和关闭连接，所述链路层是SAS协议的核心层，用于发送地址帧并请求连接，为帧加入CRC，产生原语，检查和删除原语，通过掺杂字符来减少EMI，管理时钟和速率同步，支持流控和接受帧确定，所述物理层用于在发送和接受码流时进行8B/10B编码和解码，用以保证直流平衡，还用于接受差分信号，增强噪声抑制，提高信号完整性。
根据上述技术方案，根据权利要求1所述的一种数据处理分类存储系统，所述FC光纤存储设备由FC-0，FC-1，FC-2、FC-3和FC-4和组成，所述FC-0层由传输介质、发送机和接收机及接口组成，所述FC-1层进行8B10B编码，所述FC-2规定了端到端数据块的传输机制，所述FC-2层协议应管理下列内容：交换的激活和终止、序列的启动和终止、X_ID分配和重新分配、序列主动权、SEQ_ID的分配、分段和重组、序列、帧的序列计数SEQ_CNT、帧序列错误的检测和帧序列错误的报告，所述FC-3层提供了一组FC节点上多个N端口的通用服务，所述FC-4层ULP到FC的映射组成FC-4层，是FC中的最高层。
根据上述技术方案，所述ISCSI存储设备包括有控制器系统架构、连接桥系统架构、PC系统架构和PC+NIC系统架构。
根据上述技术方案，所述存储网络结构内设有DAS存储系统网络结构、SAN存储系统网络结构和NAS存储系统网络结构，所述DAS存储系统网络结构是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上，所述SAN存储系统网络结构是通过专用光纤通道交换机访问数据，采用SCSI、FC-AL接口，所述NAS存储系统网络结构通过TCP/IP协议访问数据，采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。
根据上述技术方案，所述备份内设有备份周期、备份方式、自动/手动备份和备份介质，所述备份周期是指两次备份之间的时间间隔，所述备份方式包括有:
(1)完全备份：指的每次备份都备份全部的数据，这种备份方式逻辑简单，恢复速度快；
(2)增量备份：是每次备份与上次备份数据不同的差异数据，这种备份方式不需要每次备份全部的数据，因此大幅度减少了每次备份的时间和备份的存储容量空间；
(3)差分备份：当管理员进行过一次完全备份后，接下来的每次差分备份，系统都会把备份数据与第一次完全备份的数据进行比对，只备份与第一次完全备份数据有差异的数据，首先，它无须每天都进行系统完全备份，因此备份所需时间短，并且也节省了备份介质的空间；其次，它的恢复过程也很方便，只需要上一次完全备份的数据和最后一次差异备份的数据，就可将系统恢复。
根据上述技术方案，所述自动/手动备份中自动备份无需人为操作，系统可按预先设定好的程序和时间自动启动备份作业，手动备份由系统管理员不定时地进行人工操作，所述备份介质是系统数据进行存储或备份的存储载体，考虑备份介质需要考虑三方面的指标：备份的成本、备份对前端业务的影响和恢复的速度。
与现有技术相比，本发明的有益效果：SCSI是一种通用接口，现在越来越多地出现在PC服务器上，SCSI接口正在成为PC服务器的标准接口，SCSI存储可以很方便地实现与服务器的连接，不需要专门购置SCSI卡或FC卡等，系统的建设成本进一步降低，在设备连接方面，SCSI存储系统不需要网络交换机，可直接通过标准的SCSI线缆实现与服务器的连接，整体结构简单，环节少，因而系统的故障点也少，相应地，系统的安全稳定性也高，便于通过完全备份和差异备份经常组合成为一个完整的备份方案，每天进行差异备份，定期做完全备份，这样恢复的时候，系统管理员只需两份磁带数据，即第一天的磁带以及灾难发生前一天的磁带，就能够完全恢复数据，对于小型企业，可以几天内作一次完全备份，对于大型企业，由于完全备份的数据量过于庞大，通常1-3个月作一次完全备份。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明的示意图；
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供数据处理分类存储系统技术方案，包括存储设备分类、存储网络结构和备份，存储设备分类内设SCSI存储设备、SAS存储设备、FC光纤存储设备和ISCSI存储设备，SCSI存储设备控制器的核心处理芯片CPU包括通用Inter CPU和POWERPC，SCSI存储设备在线扩容一般包含三个层次：
(1)物理扩容：即热插拔功能，基本上所有的外置硬盘的存储都支持在线扩容；
(2)RAID组扩容：在不删除原有RAID组的前提下，通过增加新磁盘来扩展RAID组，如将原来由5块磁盘组成的RAID5扩展到一个由8块磁盘构成的RAID5；
(3)逻辑卷LUN扩容：在不删除原有LUN和LUN数据的前提下增加LUN的容量，如将LUN的容量由原来的500GB扩展到1TB。
根据上述技术方案，SAS存储设备内设有传输层、端口层、链路层和物理层，传输层用于SAS帧的封装与解析，将构造的帧发送出去或解析收到的帧，端口层把帧按目标地址加入队列中，向链路层申请链接发送帧到链路层，其主要用于负责发起、重试连接请求、发送数据到链路层和关闭连接，链路层是SAS协议的核心层，用于发送地址帧并请求连接，为帧加入CRC，产生原语，检查和删除原语，通过掺杂字符来减少EMI，管理时钟和速率同步，支持流控和接受帧确定，物理层用于在发送和接受码流时进行8B/10B编码和解码，用以保证直流平衡，还用于接受差分信号，增强噪声抑制，提高信号完整性。
根据上述技术方案，FC光纤存储设备由FC-0，FC-1，FC-2、FC-3和FC-4和组成，FC-0层由传输介质、发送机和接收机及接口组成，FC-1层进行8B10B编码，FC-2规定了端到端数据块的传输机制，FC-2层协议应管理下列内容：交换的激活和终止、序列的启动和终止、X_ID分配和重新分配、序列主动权、SEQ_ID的分配、分段和重组、序列、帧的序列计数SEQ_CNT、帧序列错误的检测和帧序列错误的报告，FC-3层提供了一组FC节点上多个N端口的通用服务，FC-4层ULP到FC的映射组成FC-4层，是FC中的最高层。
根据上述技术方案，ISCSI存储设备包括有控制器系统架构、连接桥系统架构、PC系统架构和PC+NIC系统架构。
根据上述技术方案，存储网络结构内设有DAS存储系统网络结构、SAN存储系统网络结构和NAS存储系统网络结构，DAS存储系统网络结构是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上，SAN存储系统网络结构是通过专用光纤通道交换机访问数据，采用SCSI、FC-AL接口，NAS存储系统网络结构通过TCP/IP协议访问数据，采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。
根据上述技术方案，备份内设有备份周期、备份方式、自动/手动备份和备份介质，备份周期是指两次备份之间的时间间隔，备份方式包括有:
(1)完全备份：指的每次备份都备份全部的数据，这种备份方式逻辑简单，恢复速度快；
(2)增量备份：是每次备份与上次备份数据不同的差异数据，这种备份方式不需要每次备份全部的数据，因此大幅度减少了每次备份的时间和备份的存储容量空间；
(3)差分备份：当管理员进行过一次完全备份后，接下来的每次差分备份，系统都会把备份数据与第一次完全备份的数据进行比对，只备份与第一次完全备份数据有差异的数据，首先，它无须每天都进行系统完全备份，因此备份所需时间短，并且也节省了备份介质的空间；其次，它的恢复过程也很方便，只需要上一次完全备份的数据和最后一次差异备份的数据，就可将系统恢复。
根据上述技术方案，自动/手动备份中自动备份无需人为操作，系统可按预先设定好的程序和时间自动启动备份作业，手动备份由系统管理员不定时地进行人工操作，备份介质是系统数据进行存储或备份的存储载体，考虑备份介质需要考虑三方面的指标：备份的成本、备份对前端业务的影响和恢复的速度。
基于上述，本发明的优点在于：SCSI是一种通用接口，现在越来越多地出现在PC服务器上，SCSI接口正在成为PC服务器的标准接口，SCSI存储可以很方便地实现与服务器的连接，不需要专门购置SCSI卡或FC卡等，系统的建设成本进一步降低，在设备连接方面，SCSI存储系统不需要网络交换机，可直接通过标准的SCSI线缆实现与服务器的连接，整体结构简单，环节少，因而系统的故障点也少，相应地，系统的安全稳定性也高，便于通过完全备份和差异备份经常组合成为一个完整的备份方案，每天进行差异备份，定期做完全备份，这样恢复的时候，系统管理员只需两份磁带数据，即第一天的磁带以及灾难发生前一天的磁带，就能够完全恢复数据，对于小型企业，可以几天内作一次完全备份，对于大型企业，由于完全备份的数据量过于庞大，通常1-3个月作一次完全备份。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种数据处理分类存储系统，包括存储设备分类、存储网络结构和备份，其特征在于：所述存储设备分类内设SCSI存储设备、SAS存储设备、FC光纤存储设备和ISCSI存储设备，所述SCSI存储设备控制器的核心处理芯片CPU包括通用Inter CPU和POWER PC，所述SCSI存储设备在线扩容一般包含三个层次：
(1)物理扩容：即热插拔功能，基本上所有的外置硬盘的存储都支持在线扩容；
(2)RAID组扩容：在不删除原有RAID组的前提下，通过增加新磁盘来扩展RAID组，如将原来由5块磁盘组成的RAID5扩展到一个由8块磁盘构成的RAID5；
(3)逻辑卷LUN扩容：在不删除原有LUN和LUN数据的前提下增加LUN的容量，如将LUN的容量由原来的500GB扩展到1TB。
2.根据权利要求1所述的一种数据处理分类存储系统，其特征在于，所述SAS存储设备内设有传输层、端口层、链路层和物理层，所述传输层用于SAS帧的封装与解析，将构造的帧发送出去或解析收到的帧，所述端口层把帧按目标地址加入队列中，向链路层申请链接发送帧到链路层，其主要用于负责发起、重试连接请求、发送数据到链路层和关闭连接，所述链路层是SAS协议的核心层，用于发送地址帧并请求连接，为帧加入CRC，产生原语，检查和删除原语，通过掺杂字符来减少EMI，管理时钟和速率同步，支持流控和接受帧确定，所述物理层用于在发送和接受码流时进行8B/10B编码和解码，用以保证直流平衡，还用于接受差分信号，增强噪声抑制，提高信号完整性。
3.根据权利要求1所述的一种数据处理分类存储系统，其特征在于，所述FC光纤存储设备由FC-0，FC-1，FC-2、FC-3和FC-4和组成，所述FC-0层由传输介质、发送机和接收机及接口组成，所述FC-1层进行8B10B编码，所述FC-2规定了端到端数据块的传输机制，所述FC-2层协议应管理下列内容：交换的激活和终止、序列的启动和终止、X_ID分配和重新分配、序列主动权、SEQ_ID的分配、分段和重组、序列、帧的序列计数SEQ_CNT、帧序列错误的检测和帧序列错误的报告，所述FC-3层提供了一组FC节点上多个N端口的通用服务，所述FC-4层ULP到FC的映射组成FC-4层，是FC中的最高层。
4.根据权利要求1所述的一种数据处理分类存储系统，其特征在于，所述ISCSI存储设备包括有控制器系统架构、连接桥系统架构、PC系统架构和PC+NIC系统架构。
5.根据权利要求1所述的一种数据处理分类存储系统，其特征在于，所述存储网络结构内设有DAS存储系统网络结构、SAN存储系统网络结构和NAS存储系统网络结构，所述DAS存储系统网络结构是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上，所述SAN存储系统网络结构是通过专用光纤通道交换机访问数据，采用SCSI、FC-AL接口，所述NAS存储系统网络结构通过TCP/IP协议访问数据，采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。
6.根据权利要求1所述的一种数据处理分类存储系统，其特征在于，所述备份内设有备份周期、备份方式、自动/手动备份和备份介质，所述备份周期是指两次备份之间的时间间隔，所述备份方式包括有:
(1)完全备份：指的每次备份都备份全部的数据，这种备份方式逻辑简单，恢复速度快；
(2)增量备份：是每次备份与上次备份数据不同的差异数据，这种备份方式不需要每次备份全部的数据，因此大幅度减少了每次备份的时间和备份的存储容量空间；
(3)差分备份：当管理员进行过一次完全备份后，接下来的每次差分备份，系统都会把备份数据与第一次完全备份的数据进行比对，只备份与第一次完全备份数据有差异的数据，首先，它无须每天都进行系统完全备份，因此备份所需时间短，并且也节省了备份介质的空间；其次，它的恢复过程也很方便，只需要上一次完全备份的数据和最后一次差异备份的数据，就可将系统恢复。
7.根据权利要求6所述的一种数据处理分类存储系统，其特征在于，所述自动/手动备份中自动备份无需人为操作，系统可按预先设定好的程序和时间自动启动备份作业，手动备份由系统管理员不定时地进行人工操作，所述备份介质是系统数据进行存储或备份的存储载体，考虑备份介质需要考虑三方面的指标：备份的成本、备份对前端业务的影响和恢复的速度。
CN201810426465.1A 2018-05-07 2018-05-07 一种数据处理分类存储系统 Withdrawn CN108737517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810426465.1A CN108737517A (zh) 2018-05-07 2018-05-07 一种数据处理分类存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810426465.1A CN108737517A (zh) 2018-05-07 2018-05-07 一种数据处理分类存储系统

Publications (1)

Publication Number Publication Date
CN108737517A true CN108737517A (zh) 2018-11-02

Family

ID=63937053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810426465.1A Withdrawn CN108737517A (zh) 2018-05-07 2018-05-07 一种数据处理分类存储系统

Country Status (1)

Country Link
CN (1) CN108737517A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522352A (zh) * 2018-11-08 2019-03-26 内蒙古伊泰煤炭股份有限公司 工业数据管理系统及方法
CN109729170A (zh) * 2019-01-09 2019-05-07 武汉巨正环保科技有限公司 一种新算法的云计算数据备份和还原方法
CN111555817A (zh) * 2020-05-09 2020-08-18 国网江苏省电力有限公司无锡供电分公司 一种基于相干光系统的差速调制安全光通信方法及装置
CN111767166A (zh) * 2019-04-01 2020-10-13 广州精选速购网络科技有限公司 数据备份的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522352A (zh) * 2018-11-08 2019-03-26 内蒙古伊泰煤炭股份有限公司 工业数据管理系统及方法
CN109729170A (zh) * 2019-01-09 2019-05-07 武汉巨正环保科技有限公司 一种新算法的云计算数据备份和还原方法
CN111767166A (zh) * 2019-04-01 2020-10-13 广州精选速购网络科技有限公司 数据备份的方法和装置
CN111555817A (zh) * 2020-05-09 2020-08-18 国网江苏省电力有限公司无锡供电分公司 一种基于相干光系统的差速调制安全光通信方法及装置

Similar Documents

Publication Publication Date Title
CN108737517A (zh) 一种数据处理分类存储系统
US8055870B2 (en) Tape storage emulation for open systems environments
CN103763383B (zh) 一体化云存储系统及其存储方法
JP5026283B2 (ja) 協調的共用ストレージアーキテクチャ
CN103748545B (zh) 数据存储系统和数据存储控制方法
US7149769B2 (en) System and method for multi-destination merge in a storage area network
CN103152397B (zh) 一种多协议存储系统设计方法
US9304704B2 (en) Communication with two or more storage devices via one SAS communication port
CN101808127B (zh) 数据备份方法、系统和服务器
US20220292005A1 (en) Cross-platform replication
US20120260036A1 (en) Storage management systems and methods
US20090222569A1 (en) Storage system front end
US8473699B2 (en) Facilitating data compression during replication using a compressible configuration bit
US20090112877A1 (en) System and Method for Communicating Data in a Storage Network
US9172586B1 (en) Method and system for writing tag and data
US9547616B2 (en) High bandwidth symmetrical storage controller
US20060074941A1 (en) Apparatus, system, and method for supporting storage functions using an embedded database management system
US7552294B1 (en) System and method for processing multiple concurrent extended copy commands to a single destination device
CN104994135A (zh) 存储系统中融合san及nas存储架构的方法及装置
CN102063276A (zh) 一种同时具有raid和vtl功能的存储设备及方法
US9396023B1 (en) Methods and systems for parallel distributed computation
CN101764805A (zh) 一种低成本数据存储方法
Orlando et al. IBM ProtecTIER Implementation and Best Practices Guide
US9454305B1 (en) Method and system for managing storage reservation
US7925758B1 (en) Fibre accelerated pipe data transport

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181102