CN106991121A - 超融合数据存储方法及系统 - Google Patents

超融合数据存储方法及系统 Download PDF

Info

Publication number
CN106991121A
CN106991121A CN201710101629.9A CN201710101629A CN106991121A CN 106991121 A CN106991121 A CN 106991121A CN 201710101629 A CN201710101629 A CN 201710101629A CN 106991121 A CN106991121 A CN 106991121A
Authority
CN
China
Prior art keywords
super
integrated unit
write
operation requests
file operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710101629.9A
Other languages
English (en)
Other versions
CN106991121B (zh
Inventor
李发明
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Tongyou feiji Technology Co.,Ltd.
Original Assignee
Shenzhen City Rui Bo Deposit Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Rui Bo Deposit Information Technology Co Ltd filed Critical Shenzhen City Rui Bo Deposit Information Technology Co Ltd
Priority to CN201710101629.9A priority Critical patent/CN106991121B/zh
Publication of CN106991121A publication Critical patent/CN106991121A/zh
Application granted granted Critical
Publication of CN106991121B publication Critical patent/CN106991121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1727Details of free space management performed by the file system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种超融合数据存储方法,所述超融合数据存储方法包括以下步骤:接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。本发明还公开了一种超融合数据存储系统。本发明通过整合多个超融合单元的存储设备形成存储池,使得数据存储扩展性强,由于使用统一的存储池管理多个超融合单元的存储设备,可以统一规划存储,从系统层面制定数据备份策略,降低了不必要的数据冗余,提升了存储设备的使用效率。

Description

超融合数据存储方法及系统
技术领域
本发明涉及数据存储技术领域,尤其涉及一种超融合数据存储方法及系统。
背景技术
在计算机领域,随着对大数据挖掘的应用越来越普遍,需要临时使用或持久化大量数据,需要大量的存储空间,同时由于业务及地点的不同,导致数据普遍采用分布式存储,而对于需要对存储空间进行弹性扩展的服务,如云应用等,目前数据存储领域,采用的是存储设备和应用在一台机器内,与应用高度一体化耦合,不利于存储的扩展;同时对于集群系统,存储的过于分散容易造成多余的数据冗余。
发明内容
本发明的主要目的在于提供一种超融合数据存储方法及系统,旨在提高存储扩展性和降低数据冗余。
为实现上述目的,本发明提供一种超融合数据存储方法,所述超融合数据存储方法包括以下步骤:
接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;
根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。
优选地,在所述接收客户端的第一文件操作请求之前包括:
接收客户端的第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息,所述写入规划信息包括每个存储数据块对应的超融合单元,所述存储数据块为所述写入操作的对象的分块数据;
发送写入规划信息至所述客户端,以使客户端使用所述写入规划信息生成用于直接操作超融合单元的第一文件操作请求。
优选地,所述接收第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息包括:
判断所述客户端是否为主控超融合单元,所述主控超融合单元为生成所述写入规划信息的超融合单元;
当所述客户端为主控超融合单元时,按照预设策略生成所述写入规划信息。
优选地,所述接收第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息包括:
当接收到所述第二文件操作请求时,获取每个所述超融合单元的资源状态,所述资源状态包括每个所述超融合单元的负载数据;
根据所述负载数据,筛选出目标超融合单元,所述目标超融合单元为负载低于预设值的超融合单元;
选择所述目标超融合单元中迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,并发送所述写入规划信息至所述客户端。
优选地,所述根据所述第一文件操作请求,对存储池进行操作包括:
当所述第一文件操作请求为读取操作时,根据所述第一文件操作请求,获取读取对象数据的信息;
根据所述读取对象数据的信息,确定读取数据块的读取顺序,所述读取数据块为所述读取对象数据的分块数据,所述读取对象数据的信息包括存储所述超融合单元的状态,及读取所述读取数据块的路径;
根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端。
此外为实现上述目的,本发明提供一种超融合数据存储系统,所述超融合数据存储系统包括:
接收模块,用于接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;
第一操作模块,用于根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。
优选地,所述超融合数据存储系统还包括:
第二操作模块,用于接收客户端的第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息,所述写入规划信息包括每个存储数据块对应的超融合单元,所述存储数据块为所述写入操作的对象的分块数据;
发送模块,用于发送写入规划信息至所述客户端,以使客户端使用所述写入规划信息生成用于直接操作超融合单元的第一文件操作请求。
优选地,所述第二操作模块包括:
判断单元,用于判断所述客户端是否为主控超融合单元,所述主控超融合单元为生成所述写入规划信息的超融合单元;
生成单元,用于当所述客户端为主控超融合单元时,按照预设策略生成所述写入规划信息。
优选地,所述第二操作模块包括:
第一获取单元,用于当接收到所述第二文件操作请求时,获取每个所述超融合单元的资源状态,所述资源状态包括每个所述超融合单元的负载数据;
筛选单元,用于根据所述负载数据,筛选出目标超融合单元,所述目标超融合单元为负载低于预设值的超融合单元;
发送单元,用于选择所述目标超融合单元中迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,并发送所述写入规划信息至所述客户端。
优选地,所述第一操作模块包括:
第二获取单元,用于当所述第一文件操作请求为读取操作时,根据所述第一文件操作请求,获取读取对象数据的信息;
确定单元,用于根据所述读取对象数据的信息,确定读取数据块的读取顺序,所述读取数据块为所述读取对象数据的分块数据,所述读取对象数据的信息包括存储所述超融合单元的状态,及读取所述读取数据块的路径;
第三获取单元,用于根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端。
本发明通过接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。通过整合多个超融合单元的存储设备形成存储池,使得能通过增加超融合单元来对存储进行扩展,数据存储扩展性强,由于使用统一的存储池管理多个超融合单元的存储设备,可以统一规划存储,从系统层面制定数据备份策略,降低了不必要的数据冗余,提升了存储设备的使用效率。
附图说明
图1为本发明超融合数据存储方法第一实施例的流程示意图;
图2为本发明超融合数据存储方法第二实施例的流程示意图;
图3为本发明超融合数据存储方法第三实施例中的细化流程示意图;
图4为本发明超融合数据存储方法第四实施例中的细化流程示意图;
图5为本发明超融合数据存储方法第五实施例中的细化流程示意图;
图6为本发明超融合数据存储系统第一实施例的功能模块示意图;
图7为本发明超融合数据存储系统第二实施例的功能模块示意图;
图8为本发明超融合数据存储系统第三实施例中第二操作模块的细化功能模块示意图;
图9为本发明超融合数据存储系统第四实施例中第二操作模块的细化功能模块示意图;
图10为本发明超融合数据存储系统第五实施例中第一操作模块的细化功能模块示意图;
图11为本发明超融合数据存储系统第一实施例的连接示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种超融合数据存储方法,参照图1,在本发明超融合数据存储方法第一实施例中,所述超融合数据存储方法包括以下步骤:
步骤S10,接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;
所述客户端为分布式文件系统中的一个节点,在本实施例中所述客户端为分布式文件系统中的一个超融合单元,所述超融合单元为拥有完整硬件系统功能的计算机系统,在本实施例中所述超融合单元为在机架式服务器中运行的虚拟机。
步骤S20,根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。
具体地,在本实施例中,请参照图11,所述存储池包括使用网络连接的m乘n个超融合单元的存储设备,所述超融合单元为虚拟机,本系统包括多个虚拟机,所述虚拟机运行在机架式服务器内,所述机架式服务器为m个,所述单个机架式服务器设有n个虚拟机,其中超融合单1-1是第1个机架式服务器中的第1个超融合单,超融合单1-n是第1个机架式服务器中的第n个超融合单,超融合单m-1是第m个机架式服务器中的第1个超融合单,超融合单m-n是第m个机架式服务器中的第n个超融合单,通过交换机使整合所有虚拟机的存储设备为所述存储池。
具体在本实施例中,当客户端需要进行读或写的存储操作时,对系统发出第一文件操作请求,接收到所述请求后,系统从存储池中执行所述第一文件操作请求,并通过网络接口返回操作结果,当所述第一文件操作请求为写入存储请求时,保存写入存储的对象至所述存储池中的超融合单元内,在本实施例中,还在不同的机架式服务器内的超融合单元上,为所述存储操作对象建立有存储副本,所述存储副本和存储对象一样为分块后的数据块存储,备份数据块存储在和原数据块存储在不同的服务器的超融合单元内,避免了单个超融合单元独自存储在固定位置,导致的位置不可用时,备份无效的问题,提高了备份的可靠性,同时由于系统能统一管理控制数据存储及备份,有效的降低了由各自存储带来的过多数据冗余的问题;同时在存储资源不够时,只需要使用网络连接增加超融合单元,不影响系统中其他应用的运行。
通过整合多个超融合单元的存储设备形成存储池,使得能通过增加超融合单元来对存储进行扩展,使得数据存储扩展性强,由于使用统一的存储池管理多个超融合单元的存储设备,可以统一规划存储,从系统层面制定数据备份策略,降低了不必要的数据冗余,提升了存储设备的使用效率。
请参照图2,基于本发明超融合数据存储方法第一实施例,在本发明超融合数据存储方法第二实施例中,在所述步骤S10之前还包括:
步骤S30,接收客户端的第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息,所述写入规划信息包括每个存储数据块对应的超融合单元,所述存储数据块为所述写入操作的对象的分块数据;
步骤S40,发送写入规划信息至所述客户端,以使客户端使用所述写入规划信息生成用于直接操作超融合单元的第一文件操作请求。
在本实施例中,当接收的所述第二文件操作请求为写入的操作请求时,系统只返回所述客户端所述写入规划信息,所述写入规划信息包括根据所述写入的操作请求生成的,所要操作的数据对象分割成数据块之后,每个所述数据块所预定的超融合单元的存储位置。发送给客户端所述写入规划信息,客户端通过根据所述写入规划信息,直接对超融合单元进行文件写入操作,避免了因为多个终端并发操作导致的操作效率的降低;同时由客户端根据所述目录信息进行存储操作,使得系统能控制所述客户端的存储行为,进一步提高系统处理速度。
请参照图3,基于本发明超融合数据存储方法第二实施例,在本发明超融合数据存储方法第三实施例中,所述步骤S30包括:
步骤S31,判断所述客户端是否为主控超融合单元,所述主控超融合单元为生成所述写入规划信息的超融合单元;
所述主控超融合单元为生成所述写入规划信息的超融合单元,在本实施例中,本系统采用Master-Slave架构设计,在本实施例中所述主控超融合单元为所述Master的节点,所述主控超融合单元包括两个服务器,一个为分布式文件存储管理服务器,所述分布式文件存储管理服务器完成主要存储业务;另一个为辅助服务器,所述辅助服务器提供冷备份服务与数据支持。
步骤S32,当所述客户端为主控超融合单元时,按照预设策略生成所述写入规划信息。
当所述分布式文件存储管理服务器发起第二文件操作请求时,本实施例所采用的策略是,在所述主控超融合单元所在的服务器复制一个备份后,在所述服务器之外的任一机架式服务器内的超融合单元进行备份,应当说明的是,具体的策略应当根据实际情况而定。
通过根据实际需要,对所述主控超融合单元的文件操作选择特别策略,使得能对所述主控超融合单元所产生的文件进行特殊处理,加快所述主控超融合单元文件读写效率,提升整个系统性能。
具体地,所述主控超融合单元需要存储数据时,返回主控超融合单元写入规划信息,直接在所述主控超融合单元本地进行存储,并在所述主控超融合单元最近的其他机机架式服务器内的超融合单元内建立一个副本,使得所述主控超融合单元在本地进行数据的读取,加快了处理速度的同时,确保了在本地数据崩溃时,能更快的获取备份数据。
请参照图4,基于本发明超融合数据存储方法第二实施例,在本发明超融合数据存储方法第四实施例中,所述步骤S30包括:
步骤S33,当接收到所述第二文件操作请求时,获取每个所述超融合单元的资源状态,所述资源状态包括每个所述超融合单元的负载数据;
步骤S34,根据所述负载数据,筛选出目标超融合单元,所述目标超融合单元为负载低于预设值的超融合单元;
步骤S35,选择所述目标超融合单元中迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,并发送所述写入规划信息至所述客户端。
通过统计每个所述超融合单元的负载情况,并根据所述负载情况分配存储任务,使得系统负载更加平衡;并且优先使用迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,进一步提高了文件存取的效率。
具体地,当接收到所述第二文件操作请求时,在本实施例中获取所有超融合单元的负载率,当所述超融合单元负载率在80%以下的超融合单元为目标超融合单元,同时获取所述目标超融合单元的分布分析报告。根据所述分析报告为每个目标超融合单元生成迁移路线图,在迁移路线图中最短的迁移路径为经过5个节点,所以选择所述5个节点上的超融合单元作为要使用的超融合单元,写入规划信息中,并发送所述写入规划信息至客户端。
请参照图5,基于本发明超融合数据存储方法第一实施例,在本发明超融合数据存储方法第五实施例中,所述步骤S20包括:
步骤S21,当所述第一文件操作请求为读取操作时,根据所述第一文件操作请求,获取读取对象数据的信息;
步骤S22,根据所述读取对象数据的信息,确定读取数据块的读取顺序,所述读取数据块为所述读取对象数据的分块数据,所述读取对象数据的信息包括存储所述超融合单元的状态,及读取所述读取数据块的路径;
步骤S23,根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端。
所述信息包括存储所述超融合单元的状态,及解析所述读取数据块的路径,在确定读取数据块的读取顺序时,为确保每一步数据读取的成功率,选择状态正常的所述超融合单元的读取所述数据块;但有些实施例中为提高效率,只会选取读取路径最短的所述超融合单元进行数据读取。
具体在本实施例中,当所述第一文件操作请求为读取操作时,选取状态为正常的超融合单元为要读取超融合单元,并在所述要读取超融合单元中选取路径最短的超融合单元进行数据读取,根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端,保证了能正常读取数据的同时,加快了读取的效率。
本发明提供一种超融合数据存储系统,参照图6,在本发明超融合数据存储系统第一实施例中,所述超融合数据存储系统包括:
接收模块10,用于接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;
所述客户端为分布式文件系统中的一个节点,在本实施例中所述客户端为分布式文件系统中的一个超融合单元,所述超融合单元为拥有完整硬件系统功能的计算机系统,在本实施例中所述超融合单元为在机架式服务器中运行的虚拟机。
第一操作模块20,用于根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。
具体地,在本实施例中,请参照图11,所述存储池包括使用网络连接的m乘n个超融合单元的存储设备,所述超融合单元为虚拟机,本系统包括多个虚拟机,所述虚拟机运行在机架式服务器内,所述机架式服务器为m个,所述单个机架式服务器设有n个虚拟机,通过交换机使整合所有虚拟机的存储设备为所述存储池。
具体在本实施例中,当客户端需要进行读或写的存储操作时,对系统发出第一文件操作请求,接收模块10接收到所述请求后,第一操作模块20从存储池中执行所述第一文件操作请求,并通过网络接口返回操作结果,当所述第一文件操作请求为写入存储请求时,保存写入存储的对象至所述存储池中的超融合单元内,在本实施例中,还在不同的机架式服务器内的超融合单元上,为所述存储操作对象建立有存储副本。所述存储副本和存储对象一样为分块后的数据块存储,备份数据块存储在和原数据块存储在不同的服务器的超融合单元内,避免了单个超融合单元独自存储在固定位置,导致的位置不可用时,备份无效的问题,提高了备份的可靠性,同时由于系统能统一管理控制数据存储及备份,有效的降低了由各自存储带来的过多数据冗余的问题;同时在存储资源不够时,只需要使用网络连接增加超融合单元,不影响系统中其他应用的运行。
通过整合多个超融合单元的存储设备形成存储池,使得能通过增加超融合单元来对存储进行扩展,使得数据存储扩展性强,由于使用统一的存储池管理多个超融合单元的存储设备,可以统一规划存储,从系统层面制定数据备份策略,降低了不必要的数据冗余,提升了存储设备的使用效率。
请参照图7,基于本发明超融合数据存储系统第一实施例,在本发明超融合数据存储系统第二实施例中,所述超融合数据存储系统还包括:
第二操作模块30,用于接收客户端的第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息,所述写入规划信息包括每个存储数据块对应的超融合单元,所述存储数据块为所述写入操作的对象的分块数据;
发送模块40,用于发送写入规划信息至所述客户端,以使客户端使用所述写入规划信息生成用于直接操作超融合单元的第一文件操作请求。
在本实施例中,第二操作模块30当所述第二文件操作为写入的操作请求时,系统只返回所述客户端所述写入规划信息,所述写入规划信息包括根据所述写入的操作请求生成的,所要操作的数据对象分割成数据块之后,每个所述数据块所预定的超融合单元的存储位置。发送模块40发送给客户端所述写入规划信息,客户端通过根据所述写入规划信息,直接对超融合单元进行文件写入操作,避免了因为多个终端并发操作导致的操作效率的降低;同时由客户端根据所述目录信息进行存储操作,使得系统能控制所述客户端的存储行为,进一步提高系统处理速度。
请参照图8,基于本发明超融合数据存储系统第二实施例,在本发明超融合数据存储系统第三实施例中,所述第二操作模块30包括:
判断单元31,用于判断所述客户端是否为主控超融合单元,所述主控超融合单元为生成所述写入规划信息的超融合单元;
所述主控超融合单元为生成所述写入规划信息的超融合单元,在本实施例中,本系统采用Master-Slave架构设计,在本实施例中所述主控超融合单元为所述Master的节点,所述主控超融合单元包括两个服务器,一个为分布式文件存储管理服务器,所述分布式文件存储管理服务器完成主要存储业务;另一个为辅助服务器,所述辅助服务器提供冷备份服务与数据支持。
生成单元32,用于当所述客户端为主控超融合单元时,按照预设策略生成所述写入规划信息。
当所述分布式文件存储管理服务器发起第二文件操作请求时,本实施例所采用的策略是,在所述主控超融合单元所在的服务器复制一个备份后,在所述服务器之外的任一机架式服务器内的超融合单元进行备份,应当说明的是,具体的策略应当根据实际情况而定。
通过根据实际需要,对所述主控超融合单元的文件操作选择特别策略,使得能对所述主控超融合单元所产生的文件进行特殊处理,加快所述主控超融合单元文件读写效率,提升整个系统性能。
具体地,所述主控超融合单元需要存储数据时,判断单元31判断出为,所述主控超融合单元,生成单元32返回主控超融合单元写入规划信息,直接在所述主控超融合单元本地进行存储,并在所述主控超融合单元最近的其他机机架式服务器内的超融合单元内建立一个副本,使得所述主控超融合单元在本地进行数据的读取,加快了处理速度的同时,确保了在本地数据崩溃时,能更快的获取备份数据。
请参照图9,基于本发明超融合数据存储系统第二实施例,在本发明超融合数据存储系统第四实施例中,所述第二操作模块包括:
第一获取单元33,用于当接收到所述第二文件操作请求时,获取每个所述超融合单元的资源状态,所述资源状态包括每个所述超融合单元的负载数据;
筛选单元34,用于根据所述负载数据,筛选出目标超融合单元,所述目标超融合单元为负载低于预设值的超融合单元;
发送单元35,用于使用所述目标超融合单元中迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,并发送所述写入规划信息至所述客户端。
通过统计每个所述超融合单元的负载情况,并根据所述负载情况分配存储任务,使得系统负载更加平衡;并且优先使用迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,进一步提高了文件存取的效率。
具体地,当接收到所述第二文件操作请求时,在本实施例中第一获取单元23获取所有超融合单元的负载率,筛选单元24筛选所述超融合单元负载率在80%以下的超融合单元为目标超融合单元,同时获取所述目标超融合单元的分布分析报告。根据所述分析报告为每个目标超融合单元生成迁移路线图,在迁移路线图中最短的迁移路径为经过5个节点,所以选择所述5个节点上的超融合单元作为要使用的超融合单元,发送单元25写入规划信息中,并发送所述写入规划信息至客户端。
请参照图10,基于本发明超融合数据存储系统第一实施例,在本发明超融合数据存储系统第五实施例中,所述第一操作模块20包括:
第二获取单元21,用于当所述第一文件操作请求为读取操作时,根据所述第一文件操作请求,获取读取对象数据的信息;
确定单元22,用于根据所述读取对象数据的信息,确定读取数据块的读取顺序,所述读取数据块为所述读取对象数据的分块数据,所述信息包括存储所述超融合单元的状态,及读取所述读取数据块的路径;
第三获取单元23,用于根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端。
所述信息包括存储所述超融合单元的状态,及解析所述读取数据块的路径,在确定读取数据块的读取顺序时,为确保每一步数据读取的成功率,选择状态正常的所述超融合单元的读取所述数据块;但有些实施例中为提高效率,只会选取读取路径最短的所述超融合单元进行数据读取。
具体在本实施例中,当所述第一文件操作请求为读取操作时,第二获取单元21获取获取读取对象数据的信息,确定单元22选取状态为正常的超融合单元为要读取超融合单元,并在所述要读取超融合单元中选取路径最短的超融合单元进行数据读取,第三获取单元23根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端,保证了能正常读取数据的同时,加快了读取的效率。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种超融合数据存储方法,其特征在于,所述超融合数据存储方法包括以下步骤:
接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;
根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。
2.如权利要求1所述的超融合数据存储方法,其特征在于,在所述接收客户端的第一文件操作请求之前包括:
接收客户端的第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息,所述写入规划信息包括每个存储数据块对应的超融合单元,所述存储数据块为所述写入操作的对象的分块数据;
发送写入规划信息至所述客户端,以使客户端使用所述写入规划信息生成用于直接操作超融合单元的第一文件操作请求。
3.如权利要求2所述的超融合数据存储方法,其特征在于,所述接收第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息包括:
判断所述客户端是否为主控超融合单元,所述主控超融合单元为生成所述写入规划信息的超融合单元;
当所述客户端为主控超融合单元时,按照预设策略生成所述写入规划信息。
4.如权利要求2所述的超融合数据存储方法,其特征在于,所述接收第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息包括:
当接收到所述第二文件操作请求时,获取每个所述超融合单元的资源状态,所述资源状态包括每个所述超融合单元的负载数据;
根据所述负载数据,筛选出目标超融合单元,所述目标超融合单元为负载低于预设值的超融合单元;
选择所述目标超融合单元中迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,并发送所述写入规划信息至所述客户端。
5.如权利要求1至4任一项所述的超融合数据存储方法,其特征在于,所述根据所述第一文件操作请求,对存储池进行操作包括:
当所述第一文件操作请求为读取操作时,根据所述第一文件操作请求,获取读取对象数据的信息;
根据所述读取对象数据的信息,确定读取数据块的读取顺序,所述读取数据块为所述读取对象数据的分块数据,所述读取对象数据的信息包括存储所述超融合单元的状态,及读取所述读取数据块的路径;
根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端。
6.一种超融合数据存储系统,其特征在于,所述超融合数据存储系统包括:
接收模块,用于接收客户端的第一文件操作请求,所述第一文件操作请求为写入或读取的操作请求;
第一操作模块,用于根据所述第一文件操作请求,对存储池进行操作,所述存储池包括使用网络连接的多个超融合单元的存储设备。
7.如权利要求6所述的超融合数据存储系统,其特征在于,所述超融合数据存储系统还包括:
第二操作模块,用于接收客户端的第二文件操作请求,当所述第二文件操作请求为写入的操作请求时,根据所述第二文件操作请求和所述存储池的目录信息生成写入规划信息,所述写入规划信息包括每个存储数据块对应的超融合单元,所述存储数据块为所述写入操作的对象的分块数据;
发送模块,用于发送写入规划信息至所述客户端,以使客户端使用所述写入规划信息生成用于直接操作超融合单元的第一文件操作请求。
8.如权利要求7所述的超融合数据存储系统,其特征在于,所述第二操作模块包括:
判断单元,用于判断所述客户端是否为主控超融合单元,所述主控超融合单元为生成所述写入规划信息的超融合单元;
生成单元,用于当所述客户端为主控超融合单元时,按照预设策略生成所述写入规划信息。
9.如权利要求7所述的超融合数据存储系统,其特征在于,所述第二操作模块包括:
第一获取单元,用于当接收到所述第二文件操作请求时,获取每个所述超融合单元的资源状态,所述资源状态包括每个所述超融合单元的负载数据;
筛选单元,用于根据所述负载数据,筛选出目标超融合单元,所述目标超融合单元为负载低于预设值的超融合单元;
发送单元,用于选择所述目标超融合单元中迁移路径最短的超融合单元作为所述写入规划信息中使用的超融合单元,并发送所述写入规划信息至所述客户端。
10.如权利要求6至9任一项所述的超融合数据存储系统,其特征在于,所述第一操作模块包括:
第二获取单元,用于当所述第一文件操作请求为读取操作时,根据所述第一文件操作请求,获取读取对象数据的信息;
确定单元,用于根据所述读取对象数据的信息,确定读取数据块的读取顺序,所述读取数据块为所述读取对象数据的分块数据,所述读取对象数据的信息包括存储所述超融合单元的状态,及读取所述读取数据块的路径;
第三获取单元,用于根据所述读取顺序和所述读取数据块所在的超融合单元的位置,从所述存储池获取所述读取对象数据,并返回给客户端。
CN201710101629.9A 2017-02-23 2017-02-23 超融合数据存储方法及系统 Active CN106991121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710101629.9A CN106991121B (zh) 2017-02-23 2017-02-23 超融合数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710101629.9A CN106991121B (zh) 2017-02-23 2017-02-23 超融合数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN106991121A true CN106991121A (zh) 2017-07-28
CN106991121B CN106991121B (zh) 2020-04-07

Family

ID=59414190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710101629.9A Active CN106991121B (zh) 2017-02-23 2017-02-23 超融合数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN106991121B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933286A (zh) * 2019-02-27 2019-06-25 广东唯一网络科技有限公司 数据存储方法、装置、计算机设备和计算机可读存储介质
CN109960602A (zh) * 2017-12-26 2019-07-02 中国移动通信集团四川有限公司 信息管理方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346773A (zh) * 2011-09-23 2012-02-08 深圳市赫迪威信息技术有限公司 文件操作方法、控制器及文件操作系统
US20120051667A1 (en) * 2010-08-27 2012-03-01 Korea University Research And Business Foundation Method and system of reconstructing super-resolution image
CN103473324A (zh) * 2013-09-13 2013-12-25 国家电网公司 基于非结构化数据存储的多维业务属性检索装置及方法
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN104506589A (zh) * 2014-12-10 2015-04-08 上海爱数软件有限公司 一种基于超融合存储的资源迁移调度方法
CN105530306A (zh) * 2015-12-17 2016-04-27 上海爱数信息技术股份有限公司 支持数据应用服务的超融合存储系统
CN105589660A (zh) * 2015-10-27 2016-05-18 杭州华三通信技术有限公司 一种数据分布方法及装置
CN105892952A (zh) * 2016-04-22 2016-08-24 深圳市深信服电子科技有限公司 超融合系统及其纵向扩展方法
CN106156289A (zh) * 2016-06-28 2016-11-23 北京百迈客云科技有限公司 一种读写对象存储系统中的数据的方法以及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120051667A1 (en) * 2010-08-27 2012-03-01 Korea University Research And Business Foundation Method and system of reconstructing super-resolution image
CN102346773A (zh) * 2011-09-23 2012-02-08 深圳市赫迪威信息技术有限公司 文件操作方法、控制器及文件操作系统
CN103473324A (zh) * 2013-09-13 2013-12-25 国家电网公司 基于非结构化数据存储的多维业务属性检索装置及方法
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN104506589A (zh) * 2014-12-10 2015-04-08 上海爱数软件有限公司 一种基于超融合存储的资源迁移调度方法
CN105589660A (zh) * 2015-10-27 2016-05-18 杭州华三通信技术有限公司 一种数据分布方法及装置
CN105530306A (zh) * 2015-12-17 2016-04-27 上海爱数信息技术股份有限公司 支持数据应用服务的超融合存储系统
CN105892952A (zh) * 2016-04-22 2016-08-24 深圳市深信服电子科技有限公司 超融合系统及其纵向扩展方法
CN106156289A (zh) * 2016-06-28 2016-11-23 北京百迈客云科技有限公司 一种读写对象存储系统中的数据的方法以及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960602A (zh) * 2017-12-26 2019-07-02 中国移动通信集团四川有限公司 信息管理方法、装置、设备及介质
CN109933286A (zh) * 2019-02-27 2019-06-25 广东唯一网络科技有限公司 数据存储方法、装置、计算机设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN106991121B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN109032521B (zh) 存储卷创建方法、装置、服务器及存储介质
CN100407152C (zh) 多策略资源调度的方法和系统
CN102640125B (zh) 分布式内容存储和取回
CN110138837A (zh) 请求处理方法、装置、计算机设备和存储介质
CN105068758B (zh) 面向并行数据采集的分布式文件系统数据i/o优化方法
CN105242983B (zh) 一种数据存储方法以及一种数据存储管理服务器
CN104461768B (zh) 副本存储装置及副本存储方法
CN106844108B (zh) 一种数据存储方法、服务器以及存储系统
CN104113597A (zh) 一种多数据中心的hdfs数据读写系统及方法
CN106446159B (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN106201355A (zh) 数据处理方法和装置以及存储系统
CN108319618B (zh) 一种分布式存储系统的数据分布控制方法、系统及装置
CN103312624A (zh) 一种消息队列服务系统和方法
CN109582686A (zh) 分布式元数据管理一致性保证方法、装置、系统及应用
CN105915626B (zh) 一种面向云存储的数据副本初始放置方法
CN102999587A (zh) 用于故障转移的跨不同服务器的镜像数据库的布置
CN107085546A (zh) 基于故障域技术的数据管理方法和装置
CN107577425A (zh) 一种数据迁移方法及装置
CN108667903B (zh) 数据发送方法、装置和存储介质
CN110457305A (zh) 数据去重方法、装置、设备及介质
CN108415962A (zh) 一种云存储系统
CN109391487A (zh) 一种配置更新方法和系统
CN114661419A (zh) 一种服务质量控制系统及方法
CN106991121A (zh) 超融合数据存储方法及系统
CN105630419A (zh) 一种资源池的分区视图发送方法及管理节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190904

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Applicant after: Beijing Toyou Feiji Electronics Co., Ltd.

Address before: 518000 Feiyada Science and Technology Building, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 1402E

Applicant before: Shenzhen City Rui Bo deposit information technology Co. Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210721

Address after: Room g0552, headquarters building, Changsha Zhongdian Software Park Co., Ltd., 39 Jianshan Road, Changsha hi tech Development Zone, Changsha, Hunan 410000

Patentee after: Hunan Tongyou feiji Technology Co.,Ltd.

Address before: 100089 floor 1-4, building 2, yard 9, Dijin Road, Haidian District, Beijing

Patentee before: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.

TR01 Transfer of patent right