CN106648450B - 一种数据安全存储的实现方法 - Google Patents

一种数据安全存储的实现方法 Download PDF

Info

Publication number
CN106648450B
CN106648450B CN201510744856.4A CN201510744856A CN106648450B CN 106648450 B CN106648450 B CN 106648450B CN 201510744856 A CN201510744856 A CN 201510744856A CN 106648450 B CN106648450 B CN 106648450B
Authority
CN
China
Prior art keywords
data
raid group
snapshot
raid
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510744856.4A
Other languages
English (en)
Other versions
CN106648450A (zh
Inventor
俞训峰
许萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace One System Jiangsu Information Technology Co ltd
Original Assignee
Nanjing Basic Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Basic Information Technology Ltd By Share Ltd filed Critical Nanjing Basic Information Technology Ltd By Share Ltd
Priority to CN201510744856.4A priority Critical patent/CN106648450B/zh
Publication of CN106648450A publication Critical patent/CN106648450A/zh
Application granted granted Critical
Publication of CN106648450B publication Critical patent/CN106648450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种数据安全存储的实现方法，包括：本发明应用在存储设备端，存储设备可以提供ISCSI Lun或FC Lun给生产服务器，内部数据双份存储并且存放在不同的RAID组上(RAID组1与RAID组2)，其中一份数据同时使用ROW快照技术保存快照映射数据。本发明的优点是实现生产数据双份冗余，在RAID组2上的快照数据可以挂载用于历史数据查询或临时接管；快照资源区与生产数据的存储系统分离，避免生产数据与快照资源区同时丢失；在RAID组2上使用ROW快照技术，ROW快照技术主要影响的是读性能，而在RAID组2上一般不存在读操作，所以ROW快照不会给生产服务器读性能带来影响。

Description

一种数据安全存储的实现方法
技术领域
本发明涉及数据保护以及灾难恢复技术领域，尤其涉及一种数据安全存储的实现方法。
背景技术
在近年来不断出现的数据丢失事件和频繁的自然灾害背景下，如何构建可靠的数据存储系统和数据保护体系，提升数据的可用性、完整性和机密性等安全性保障水平，无论是政府、关键行业还是中小企业都给予了前所未有的关注，随着各行业各部门安全意识的逐步提高，他们在存储安全领域的开始向主动型需求转变，必将推动我国数据安全和数据存储行业市场容量的进一步扩大。
常见的存储安全相关的技术有RAID技术、存储快照技术、存储阵列间镜像技术。
RAID技术通过数据校验提供容错功能。RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的，所以它提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而大大提高了RAID系统的容错度，提高了系统的稳定冗余性。
存储快照有主要有两种技术，一种是第一次写时复制(Copy OnFirst Write，COFW)，有时简称为写时复制(CopyOn Write，COW)。即在数据第一次写入到某个存储位置时，首先将原有的内容读取出来，写到另一位置处(为快照保留的存储空间，此文中我们称为快照空间)，然后再将数据写入到存储设备中。而下次针对这一位置的写操作将不再执行写时复制操作。另一种技术是I/O重定向(I/O Redirect)。即将读写操作重新定向到另一个存储空间中。在一个快照生成期间，所有的写操作将被重定向到另一个介质，而读操作是否需要读重定向，则需要根据读取的位置是否有过自上次快照以来的写重定向，必须对有过写重定向的位置进行读重定向，否则不需要进行读定向。当要创建一个快照时，则将自上次快照以来所有的重定向写数据所对应在源介质中的数据复制出来生成这个时间点的快照，然后再将这些重定向写数据写回到源介质中的相应位置上，从而完成一个快照生成过程。在存储快照的实现中通常使用第一种技术。
传统的备份恢复方案，只有恢复完成之后，用户才能检查数据是否是需要的，然而，恢复是一个比较耗时的过程。同时，在恢复的同时，不可查看数据。
存储阵列间镜像技术指的是，两个相同配置的存储，通过存储厂商提供的mirror软件，配置存储lun之间的数据同步，在生产存储出现损坏时，镜像存储可以接管生产存储，保证业务连续性。
但以上现有技术存在以下缺点：
1、普通存储的RAID技术实现数据的冗余在遇到多块磁盘同时损坏时，数据就会完全丢失。如常用的RAID5遇到2块盘同时损坏时，数据就无法重建，造成丢失。
2、带有快照功能的存储，存在两大问题：
大部份具有快照功能的存储，其快照功能的实现都是基于COW快照技术，COW的优点是不影响读性能，但会影响写性能。少量使用ROW快照技术，又会影响读性能。
通常快照资源区与生产数据都在一个存储系统上，如果这个存储系统出现损坏，则上面的数据与快照将一起损坏。
3、两个存储阵列进行数据镜像，数据仍然是孤本。因为数据镜像，同步复制，两份数据是一模一样的，当遇到病毒、软件错误、误操作等逻辑错误时，两边数据会同时损坏，造成数据丢失；而且当客户需要查询历史某一时刻的数据时，两个存储阵列也满足不了这一要求；另外，使用两个存储阵列也会带来比较高的成本。
发明内容
本发明解决了一组RAID多个硬盘同时损坏造成的数据丢失问题；快照资源区与源数据区在存储系统损坏时，一起丢失的问题；存储阵列间镜像遇到病毒、软件错误、误操作等逻辑错误时，两边数据会同时损坏的问题。
本发明提供一种数据安全存储的实现方法，包括以下步骤：
A、在数据安全存储设备端组建两个RAID组，RAID组1与RAID组2，RAID组2容量需要大于RAID组1。
B、在存储设备端上安装虚拟块设备驱动和ISCSI或FC target程序，将RAID组1上的数据文件通过target程序映射给生产服务器。
C、当数据安全存储设备端上的虚拟块设备驱动拦截到生产服务器对磁盘Lun的写操作时，先写入在RAID组1上的数据文件，再将写操作数据映射至RAID组2上的快照资源区。
D、在需要查询历史数据或RAID组1遇到多块磁盘损坏的情况下，可以将快照数据挂载出来用于历史任意时间点的数据查询或临时接管生产存储。
本发明应用在存储设备端，存储设备可以提供ISCSI Lun或FC Lun给生产服务器，内部数据双份存储并且存放在不同的RAID组上(RAID组1与RAID组2)，其中一份数据同时使用ROW快照技术保存快照映射数据，不会给生产服务器读性能带来影响。
本发明的优点是实现生产数据双份冗余，在RAID组2上的快照数据可以挂载用于历史数据查询或临时接管；
附图说明
图1为安全存储设备内部数据双份存储示意图
图2为数据安全存储原理图
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
图1为安全存储设备内部数据双份存储示意图。
如图1所示，本发明应用在存储设备端，首先在存储设备端组建两个RAID组，RAID组1与RAID组2，RAID组2容量需要大于RAID组1，优选的，通常是1.5倍。
通过在存储设备端上安装虚拟块设备驱动和ISCSI或FC target程序，将RAID组1上的数据文件通过target程序映射给生产服务器。
这样的目的是将生产服务器与存储设备分离，当生产服务器损坏时，不影响存储设备上的数据安全。
图2为数据安全存储原理图，如图2所示，当数据安全存储设备端上的虚拟块设备驱动拦截到生产服务器对磁盘Lun的写操作时，先写入在RAID组1上的数据文件，再将写操作数据映射至RAID组2上的快照资源区。
RAID组2由数据文件和快照资源区文件组成。当虚拟块设备驱动拦截到生产服务器对磁盘Lun的写操作时，同时将IO数据发送至RAID组2的快照资源区。
优选的，快照资源区大小默认是数据文件大小的一半。快照资源区与生产数据的存储系统分离，避免生产数据与快照资源区同时丢失。
当RAID组2上的快照资源区容量不足时，可以将最旧的快照映射数据更新至数据文件中，再删除快照资源区中的最旧的快照映射数据释放快照资源空间。
优选的，释放快照资源空间区可以在非工作时间段进行。
优选的，在RAID组2上使用ROW快照技术，ROW快照技术主要影响的是读性能，而在RAID组2上一般不存在读操作，所以ROW快照不会给生产服务器读性能带来影响。
在需要查询历史数据或RAID组1(假设使用RAID5)遇到2块或者多块磁盘同时损坏的情况下，可以将RAID组2的快照数据挂载出来用于历史数据查询或临时接管生产存储。
例如，在12：00am，1：00pm，2：00pm分别对生产服务器写入数据，RAID组1的数据文件便是最近时间点即2：00pm的数据，RAID组2的快照资源区存放的是在12：00am，1：00pm，2：00pm的快照。
设想，如果在3：00pm，RAID组1的多块硬盘损坏，数据无法恢复，那么可以将RAID组2的最近时间点即2：00pm点的快照挂载出来用以临时接管生产存储。当客户需要恢复到12：00am或1：00pm的数据时，可以将此时刻的快照数据挂载。
优选的，本发明的恢复方法，无需恢复操作就可通过挂载的方式立即查看和使用任意时间点的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种数据安全存储的实现方法，其特征在于，包括以下步骤：
步骤一：在数据安全存储设备端组建不同RAID组，包括RAID组1与RAID组2；
步骤二：在存储设备端上安装虚拟块设备驱动和ISCSI target程序，或安装虚拟块设备驱动和FC target程序，将RAID组1上的数据文件通过target程序映射给生产服务器；
步骤三：当数据安全存储设备端上的虚拟块设备驱动拦截到生产服务器对磁盘Lun的写操作时，先写入在RAID组1上的数据文件，再将写操作数据映射至RAID组2上的快照资源区，在数据安全存储设备内部数据双份存储；
步骤四：在RAID组1遇到多块磁盘损坏的情况下，可以将RAID组2的快照数据挂载出来用于临时接管生产存储；
步骤五：在需要查询或使用历史数据的情况下，可以将RAID组2快照区域中时间点的快照数据挂载出来用于查询或使用。
2.根据权利要求1所述的方法，其特征在于：
所述RAID组2容量需要大于RAID组1的容量。
3.根据权利要求1所述的方法，其特征在于：
所述RAID组2由数据文件和快照资源区文件组成。
4.根据权利要求1或3所述的方法，其特征在于：
当RAID组2上的快照资源区容量不足时，可以将最旧的快照映射数据更新至数据文件中，再删除快照资源区中的最旧的快照映射数据释放快照资源空间。
5.根据权利要求1所述的方法，其特征在于：
在所述RAID组2上使用ROW快照技术保存快照映射数据。
CN201510744856.4A 2015-11-04 2015-11-04 一种数据安全存储的实现方法 Active CN106648450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510744856.4A CN106648450B (zh) 2015-11-04 2015-11-04 一种数据安全存储的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510744856.4A CN106648450B (zh) 2015-11-04 2015-11-04 一种数据安全存储的实现方法

Publications (2)

Publication Number Publication Date
CN106648450A CN106648450A (zh) 2017-05-10
CN106648450B true CN106648450B (zh) 2019-02-19

Family

ID=58850848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510744856.4A Active CN106648450B (zh) 2015-11-04 2015-11-04 一种数据安全存储的实现方法

Country Status (1)

Country Link
CN (1) CN106648450B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229423A (zh) * 2017-05-31 2017-10-03 郑州云海信息技术有限公司 数据处理方法、装置以及系统
CN107621994B (zh) * 2017-09-18 2021-06-29 郑州云海信息技术有限公司 一种数据快照创建的方法及装置
CN114079616B (zh) * 2021-11-02 2023-11-03 中国船舶重工集团公司第七0三研究所 一种非热备磁盘阵列服务器数据库冗余方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633131A (zh) * 2005-01-14 2005-06-29 清华大学 一种iSCSI存储系统的实现方法
CN101021768A (zh) * 2006-02-13 2007-08-22 株式会社日立制作所 虚拟存储系统及其控制方法
CN102405460A (zh) * 2009-02-11 2012-04-04 艾梵尼达有限公司 虚拟存储系统及其运行方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971656B2 (en) * 2010-12-13 2018-05-15 International Business Machines Corporation Instant data restoration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633131A (zh) * 2005-01-14 2005-06-29 清华大学 一种iSCSI存储系统的实现方法
CN101021768A (zh) * 2006-02-13 2007-08-22 株式会社日立制作所 虚拟存储系统及其控制方法
CN102405460A (zh) * 2009-02-11 2012-04-04 艾梵尼达有限公司 虚拟存储系统及其运行方法

Also Published As

Publication number Publication date
CN106648450A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
US10346253B2 (en) Threshold based incremental flashcopy backup of a raid protected array
US9600375B2 (en) Synchronized flashcopy backup restore of a RAID protected array
US9990256B1 (en) Storage management system and method
US9189311B2 (en) Rebuilding a storage array
US7783922B2 (en) Storage controller, and storage device failure detection method
US8554734B1 (en) Continuous data protection journaling in data storage systems
US9836369B2 (en) Storage system to recover and rewrite overwritten data
US9442664B2 (en) Efficient flashcopy backup target volume allocation from a shared resource pool
US8566282B2 (en) Creating a buffer point-in-time copy relationship for a point-in-time copy function executed to create a point-in-time copy relationship
US10146649B2 (en) Handling a virtual data mover (VDM) failover situation by performing a network interface control operation that controls availability of network interfaces provided by a VDM
US7395378B1 (en) System and method for updating a copy-on-write snapshot based on a dirty region log
JP2004118837A (ja) 耐故障性の記憶サブシステムにデータを格納するための方法、記憶サブシステムおよびそのシステムのためのデータ編成管理プログラム
US7979651B1 (en) Method, system, and computer readable medium for asynchronously processing write operations for a data storage volume having a copy-on-write snapshot
US20060161808A1 (en) Method, apparatus and program storage device for providing intelligent copying for faster virtual disk mirroring
US20150286542A1 (en) Efficient flashcopy backup target volume allocation with reuse and a shared resource pool
CN102681794A (zh) 基于双控制器实现磁盘冗余阵列保护的方法及系统
US9223658B2 (en) Managing errors in a raid
CN105302667A (zh) 基于集群架构的高可靠性数据备份与恢复方法
US11003554B2 (en) RAID schema for providing metadata protection in a data storage system
CN106648450B (zh) 一种数据安全存储的实现方法
US10210062B2 (en) Data storage system comprising an array of drives
CN103678517A (zh) 修复硬盘逻辑错误的方法及控制器
JPH09269871A (ja) ディスクアレイ装置におけるデータ再冗長化方式
US11321178B1 (en) Automated recovery from raid double failure
CN105138280A (zh) 数据写入方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

Address before: 210014, 8 floor, South Tower, stander Internet of things, 1 Guanghua Road, Qinhuai District, Nanjing, Jiangsu.

Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Patentee after: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building 1, 6th Floor, Changfeng Building, No.14 Xinghuo Road, Research and Innovation Park, Jiangbei New District, Nanjing City, Jiangsu Province, 210000

Patentee after: Aerospace One System (Jiangsu) Information Technology Co.,Ltd.

Address before: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.