CN108399049B - 数据写入、读取方法与系统、数据读写系统 - Google Patents

数据写入、读取方法与系统、数据读写系统 Download PDF

Info

Publication number
CN108399049B
CN108399049B CN201810051435.7A CN201810051435A CN108399049B CN 108399049 B CN108399049 B CN 108399049B CN 201810051435 A CN201810051435 A CN 201810051435A CN 108399049 B CN108399049 B CN 108399049B
Authority
CN
China
Prior art keywords
data
sector
unique identifier
load
sector number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810051435.7A
Other languages
English (en)
Other versions
CN108399049A (zh
Inventor
薄景仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810051435.7A priority Critical patent/CN108399049B/zh
Publication of CN108399049A publication Critical patent/CN108399049A/zh
Application granted granted Critical
Publication of CN108399049B publication Critical patent/CN108399049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据写入方法,所述方法包括:响应于计算机的操作系统发送的写入扇区请求,驱动根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。本发明的数据写入方法可降低存储数据丢失的概率,同时本发明还提供了一种数据写入系统、数据读取方法及系统、数据读写系统。

Description

数据写入、读取方法与系统、数据读写系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据写入、读取方法与系统、数据读写系统。
背景技术
计算机的操作系统在运行中产生数据时,需要对计算机硬盘进行写入操作,由操作系统向驱动发送写入扇区请求,驱动收到请求后向硬盘发送写控制指令,以将数据写入硬盘;而在对计算机硬盘进行读取操作时,则由操作系统向驱动发送读取扇区请求,驱动收到请求后向硬盘发送读控制指令,以从硬盘读取数据。
本发明人在实施本发明的过程中发现,现有技术中存在以下技术问题:
一方面,硬盘存在损坏的可能性,一旦出现硬盘坏道,硬盘存储的数据就会损坏;
另一方面,个人计算机的硬盘空间容量有限,容量满足不了需求。
发明内容
本发明提出一种数据写入、读取方法与系统、数据读写系统,可降低存储数据丢失的概率。
本发明一方面提供一种数据写入方法,所述数据写入方法包括:
响应于计算机的操作系统发送的写入扇区请求,驱动根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;
所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;
所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;
所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
作为更优选的,所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,包括:
所述驱动向元服务器发送所述扇区编号和所述唯一标识符;
所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址。
在一种可选的实施方式中,所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储,包括:
每个所述负载服务器判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据;
当判定存储了所述历史数据时,擦除所述历史数据并将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
当判定没有所述历史数据时,将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
在一种可选的实施方式中,所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,包括:
所述元服务器判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录;
当判定有所述写入记录时,所述元服务器根据所述写入记录向所述驱动返回对应于所述唯一标识符且对应于所述扇区编号的N个负载服务器的地址;
当判定无所述写入记录时,所述元服务器向所述驱动返回N个可用的负载服务器的地址;
所述数据写入方法还包括:
每个所述负载服务器在对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储后向所述元服务器发送通知;
所述元服务器在接收到所述通知后,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录。
在一种可选的实施方式中,所述当判定无所述写入记录时,所述元服务器向所述驱动返回N个可用的负载服务器的地址,包括:
当判定无所述写入记录时,所述元服务器根据负载服务器群的每个负载服务器的资源空闲量计算所述负载服务器群的每个负载服务器的压力系数;
根据所述压力系数对所述负载服务器群的所有负载服务器进行排序;
从所述负载服务器群的所有负载服务器中选取所述压力系数最小的N个负载服务器;
向所述驱动返回所述压力系数最小的N个负载服务器的地址,作为N个可用的负载服务器的地址。
本发明还提供了一种数据读取方法,所述数据读取方法包括:
响应于计算机的操作系统发送的读取扇区请求,驱动根据所述读取扇区请求获取所述计算机的扇区编号;
所述驱动根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址;其中,所述N个负载服务器预先存储了对应于所述唯一标识符且对应于所述扇区编号的扇区数据;
所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求;
所述N个负载服务器分别根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动;
所述驱动将接收的所述扇区数据发送给所述操作系统。
作为更优选地,所述驱动根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址,包括
所述驱动向元服务器发送所述唯一标识符和所述扇区编号;
所述元服务器根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动。
在一种可选的实施方式中,所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求,包括:
所述驱动根据所述唯一标识符和所述扇区编号获取对应于所述唯一标识符且对应于所述扇区编号的扇区容量;
所述驱动根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求;
所述驱动根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求;
所述N个负载服务器分别根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动,包括:
所述N个负载服务器分别根据接收的所述对应部分的数据的获取请求将所述对应部分的数据发送给所述驱动;
所述驱动将接收的所述扇区数据发送给所述操作系统,包括:
所述驱动将接收的N个所述对应部分的数据进行合成,以得到合成后的扇区数据;
所述驱动将所述合成后的扇区数据发送给所述操作系统。
本发明还提供一种数据写入系统,所述数据写入系统包括驱动和N个负载服务器;
所述驱动包括:
第一获取模块,用于响应于计算机的操作系统发送的写入扇区请求,根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;
第二获取模块,用于根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;
第一发送模块,用于根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;
所述负载服务器包括第一存储模块,用于将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
作为更优选地,所述数据写入系统还包括元服务器;
所述第二获取模块还包括第一发送单元,用于向元服务器发送所述扇区编号和所述唯一标识符;
所述元服务器包括第一返回模块,用于在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址。
在一种可选的实施方式中,所述第一存储模块包括:
历史数据判断单元,用于判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据;
擦除判定单元,用于当判定存储了所述历史数据时,擦除所述历史数据并将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
存储判定单元,用于当判定没有所述历史数据时,将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
在一种可选的实施方式中,所述第一返回模块包括:
第一判断单元,用于判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录;
第一判定单元,用于当判定有所述写入记录时,根据所述写入记录向所述驱动返回对应于所述唯一标识符且对应于所述扇区编号的N个负载服务器的地址;
第二判定单元,用于当判定无所述写入记录时,向所述驱动返回N个可用的负载服务器的地址;
所述负载服务器还包括第一通知模块,用于在对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储后向所述元服务器发送通知;
所述元服务器还包括第一记录模块,用于在接收到所述通知后,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录。
在一种可选的实施方式中,所述第二判定单元包括:
系数计算单元,用于当判定无所述写入记录时,根据负载服务器群的每个负载服务器的资源空闲量计算所述负载服务器群的每个负载服务器的压力系数;
第一排序单元,用于根据所述压力系数对所述负载服务器群的所有负载服务器进行排序;
服务器选取单元,用于从所述负载服务器群的所有负载服务器中选取所述压力系数最小的N个负载服务器;
地址返回单元,用于向所述驱动返回所述压力系数最小的N个负载服务器的地址,作为N个可用的负载服务器的地址。
本发明还提供了一种数据读取系统,所述数据读取系统包括驱动和N个负载服务器;
所述驱动包括:
第三获取模块,用于响应于计算机的操作系统发送的读取扇区请求,所述驱动根据所述读取扇区请求获取所述计算机的扇区编号;
第四获取模块,用于根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址;其中,所述N个负载服务器预先存储了对应于所述唯一标识符且对应于所述扇区编号的扇区数据;
所述驱动还包括:
第二发送模块,用于根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求;
所述负载服务器还包括第三发送模块,用于根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动;
所述驱动还包括第四发送模块,用于将接收的所述扇区数据发送给所述操作系统。
作为更优选地,所述数据读取系统还包括元服务器;
所述第四获取模块包括第二发送单元,用于向元服务器发送所述唯一标识符和所述扇区编号;
所述元服务器包括第二返回模块,用于根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动。
在一种可选的实施方式中,所述第二发送模块包括:
容量获取单元,用于根据所述唯一标识符和所述扇区编号获取对应于所述唯一标识符且对应于所述扇区编号的扇区容量;
请求生成单元,用于根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求;
请求发送单元,用于根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求;
所述第三发送模块包括:
数据发送单元,用于根据接收的所述对应部分的数据的获取请求将所述对应部分的数据发送给所述驱动;
所述第四发送模块包括:
数据合成单元,用于将接收的N个所述对应部分的数据进行合成,以得到合成后的扇区数据;
数据返回单元,用于将所述合成后的扇区数据发送给所述操作系统。
本发明还提供了一种数据读写系统,所述数据读写系统包括上述任一实施例所述的数据写入系统和上述任一实施例所述数据读取系统。
相比于现有技术,本发明具有如下突出的有益效果:本发明提供了一种数据写入、读取方法与系统、数据读写系统,其中,所述方法包括:响应于计算机的操作系统发送的写入扇区请求,驱动根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。本发明提供的数据写入、读取方法与系统、数据读写系统通过所述驱动获取所述扇区编号,以及根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,通过所述唯一标识符和所述扇区编号标识存储在负载服务器中的数据,从而实现将操作系统要写入本地计算机的扇区数据通过驱动存储至N个负载服务器,避免了因本地计算机硬盘的损坏而导致数据丢失,且通过N个负载服务器对存储空间进行扩容,即使要写入的数据超过本地计算机硬盘空间容量,也无需更换硬盘,从而降低了扩容难度,节约了成本。
附图说明
图1是本发明提供的数据写入方法的第一实施例的流程示意图;
图2是本发明提供的数据读取方法的第一实施例的流程示意图;
图3是本发明提供的数据写入系统的第一实施例的模块示意图;
图4是本发明提供的数据读取系统的第一实施例的模块示意图;
图5是本发明提供的数据读写系统的第一实施例的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,是本发明提供的数据写入方法的第一实施例的流程示意图,所述数据写入方法包括:
S101,响应于计算机的操作系统发送的写入扇区请求,驱动根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;
S102,所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;
S103,所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;
S104,所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
在本实施例中,计算机的操作系统在需要将数据写入计算机的硬盘时,向驱动发送写入扇区请求;例如,操作系统在运行过程中产生数据时,或者需要将外部存储设备的数据写入计算机的硬盘时,则向驱动发送写入扇区请求。
在本实施例中,N为大于或等于1的正整数;所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据,包括:
所述驱动根据所述N个负载服务器的地址分别连接所述N个负载服务器;
所述驱动分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据。
在一种可选的实施方式中,所述驱动预先配置所述计算机的唯一标识符,包括:
在响应于计算机的操作系统发送的写入扇区请求前,所述驱动获取所述计算机的机器信息;
根据所述机器信息生成所述计算机的唯一标识符。
不同计算机的唯一标识符不同。每个所述负载服务器根据所述唯一标识符和所述扇区编号对所述扇区数据进行存储时,其存储结构可以认为是用一个哈希表(散列表)的索引结构存储,计算机的唯一标识符是哈希表的索引值;扇区编号也是哈希表的索引值。因此,在所述负载服务器存储的数据中,通过所述唯一标识符可以在负载服务器上索引到所述唯一标识符所指计算机对应的数据;通过所述唯一标识符和所述扇区编号可以在负载服务器上索引到所述唯一标识符所指计算机上所述扇区编号所指扇区对应的扇区数据。
即通过所述驱动获取所述扇区编号,以及根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,通过所述唯一标识符和所述扇区编号标识存储在负载服务器中的数据,从而实现将操作系统要写入本地计算机的扇区数据通过驱动存储至N个负载服务器,避免了因本地计算机硬盘的损坏而导致数据丢失,且通过N个负载服务器对存储空间进行扩容,即使要写入的数据超过本地计算机硬盘空间容量,也无需更换硬盘,从而降低了扩容难度,节约了成本。
本发明还提供了一种数据写入方法的第二实施例,所述方法包括上述数据写入方法的第一实施例中的步骤S101~S104,还进一步限定了所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,包括:
所述驱动向元服务器发送所述扇区编号和所述唯一标识符;
所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址。
在一种可选的实施方式中,所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,包括:所述元服务器根据所述扇区编号和所述唯一标识符获取N个负载服务器的地址;所述元服务器向对应于所述唯一标识符的驱动返回N个负载服务器的地址。即实现了当多个驱动向同一所述元服务器发送扇区编号和唯一标识符时,通过唯一标识符区分不同驱动。
在一种可选的实施方式中,所述驱动通过网络向所述元服务器发送所述扇区编号和预先配置的所述计算机的唯一标识符。
即通过元服务器为计算机调度用于写入扇区数据的负载服务器,以及通过唯一标识符标识计算机,便于实现通过一个元服务器为多个计算机进行服务,提高调度效率;通过元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,便于对负载服务器群进行统一管理,使得驱动快速获取负载服务器的地址,提高了写入效率。
本发明还提供了一种数据写入方法的第三实施例,所述方法包括上述数据写入方法的第一实施例中的步骤S101~S104,还进一步限定了所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储,包括:
每个所述负载服务器判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据;
当判定存储了所述历史数据时,擦除所述历史数据并将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
当判定没有所述历史数据时,将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
即通过每个所述负载服务器判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据,以将历史数据进行擦除,即扇区数据覆盖了负载服务器上对应于所述唯一标识符且对应于所述扇区编号的历史数据,从而实现对应于所述唯一标识符且对应于所述扇区编号只保存最新数据,从而节省了负载服务器的存储空间。
本发明还提供了一种数据写入方法的第四实施例,所述方法包括上述数据写入方法的第一实施例中的步骤S101~S104,还进一步限定了所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,包括:
所述元服务器判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录;
当判定有所述写入记录时,所述元服务器根据所述写入记录向所述驱动返回对应于所述唯一标识符且对应于所述扇区编号的N个负载服务器的地址;
当判定无所述写入记录时,所述元服务器向所述驱动返回N个可用的负载服务器的地址;
所述数据写入方法还包括:
每个所述负载服务器在对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储后向所述元服务器发送通知;
所述元服务器在接收到所述通知后,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录。
需要说明的是,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录,则所述N个负载服务器和所述N个负载服务器的地址皆对应于所述唯一标识符;所述N个负载服务器和所述N个负载服务器的地址皆对应于所述唯一标识符且对应于所述扇区编号。
即通过所述元服务器判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录,来确定是否有写入过的负载服务器的地址,从而快速定位到具有写入记录的负载服务器,便于提高所述负载服务器判断存储了历史数据的概率,进一步提高了效率。
本发明还提供了一种数据写入方法的第五实施例,所述方法包括上述数据写入方法的第一实施例中的步骤S101~S104,还进一步限定了所述当判定无所述写入记录时,所述元服务器向所述驱动返回N个可用的负载服务器的地址,包括:
当判定无所述写入记录时,所述元服务器根据负载服务器群的每个负载服务器的资源空闲量计算所述负载服务器群的每个负载服务器的压力系数;
根据所述压力系数对所述负载服务器群的所有负载服务器进行排序;
从所述负载服务器群的所有负载服务器中选取所述压力系数最小的N个负载服务器;
向所述驱动返回所述压力系数最小的N个负载服务器的地址,作为N个可用的负载服务器的地址。
即通过当判定无所述写入记录时,选取所述压力系数最小的N个负载服务器,作为N个可用的负载服务器,以调度压力小的负载服务器进行存储,从而提高数据的写入效率。
参见图2,其是本发明提供的数据读取方法的第一实施例的流程示意图;所述方法包括:
S301,响应于计算机的操作系统发送的读取扇区请求,驱动根据所述读取扇区请求获取所述计算机的扇区编号;
S302,所述驱动根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址;其中,所述N个负载服务器预先存储了对应于所述唯一标识符且对应于所述扇区编号的扇区数据;
S303,所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求;
S304,所述N个负载服务器分别根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动;
S305,所述驱动将接收的所述扇区数据发送给所述操作系统。
在本实施例中,计算机的操作系统在需要读取硬盘的扇区数据时,向驱动发送读取扇区请求;例如,操作系统在运行过程中调用数据进行计算时,或者需要将扇区数据拷贝到外部存储设备时,则向驱动发送读取扇区请求。
在本实施例中,N为大于或等于1的正整数;所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求,包括:
所述驱动根据所述N个负载服务器的地址分别连接所述N个负载服务器;
所述驱动分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求。
在一种可选的实施方式中,所述驱动预先配置所述计算机的唯一标识符,包括:
在响应于计算机的操作系统发送的写入扇区请求前,所述驱动获取所述计算机的机器信息;
根据所述机器信息生成所述计算机的唯一标识符。
不同计算机的唯一标识符不同。每个所述负载服务器根据所述唯一标识符和所述扇区编号对所述扇区数据进行存储时,其存储结构可以认为是用一个哈希表(散列表)的索引结构存储,计算机的唯一标识符可以认为是哈希表的索引值;扇区编号也可以认为是哈希表的索引值。因此,在所述负载服务器存储的数据中,通过所述唯一标识符可以在负载服务器上索引到所述唯一标识符所指计算机对应的数据;通过所述唯一标识符和所述扇区编号可以在负载服务器上索引到所述唯一标识符所指计算机上所述扇区编号所指扇区对应的扇区数据。因此,所述对应于所述唯一标识符且对应于所述扇区编号的扇区数据为所述唯一标识符所指计算机上所述扇区编号所指扇区对应的扇区数据。
即通过所述驱动获取所述扇区编号,以及获取对应于预先配置的所述计算机的唯一标识符且对应于所述扇区编号的的N个负载服务器的地址,根据所述唯一标识符和所述扇区编号获取负载服务器中的数据,从而实现通过驱动从负载服务器获得操作系统要读取的扇区数据,避免了因本地计算机硬盘的损坏而导致数据丢失;通过N个负载服务器对存储空间进行扩容,即使要写入的数据超过本地计算机硬盘空间容量,也无需更换硬盘,从而降低了扩容难度,节约了成本。
本发明还提供了一种数据读取方法的第二实施例,所述方法包括上述数据读取方法的第一实施例中的步骤S301~S305,还进一步限定了所述驱动根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址,包括
所述驱动向元服务器发送所述唯一标识符和所述扇区编号;
所述元服务器根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动。
需要说明的是,若所述元服务器预先存储了所述唯一标识符、所述扇区编号和多个负载服务器的地址,则所述N个负载服务器和所述N个负载服务器的地址对应于所述唯一标识符;所述N个负载服务器和所述N个负载服务器的地址对应于所述唯一标识符且对应于所述扇区编号。
在一种可选的实施方式中,所述元服务器根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动,包括:获取对应于所述唯一标识符和所述扇区编号的N个负载服务器的地址;向对应于所述唯一标识符的驱动返回所述N个负载服务器的地址。即通过元服务器为计算机查找用于读取扇区数据的负载服务器,以及通过唯一标识符区分不同计算机,便于实现通过一个元服务器为多个计算机进行服务,提高调度效率。
在一种可选的实施方式中,所述驱动通过网络向元服务器发送所述扇区编号和预先配置的所述计算机的唯一标识符。
即通过元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,便于对负载服务器群进行统一管理,使得驱动快速获取负载服务器的地址,提高了读取效率。
本发明还提供了一种数据读取方法的第三实施例,所述方法包括上述数据读取方法的第一实施例中的步骤S301~S305,还进一步限定了所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求,包括:
所述驱动根据所述唯一标识符和所述扇区编号获取对应于所述唯一标识符且对应于所述扇区编号的扇区容量;
所述驱动根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求;
所述驱动根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求;
所述N个负载服务器分别根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动,包括:
所述N个负载服务器分别根据接收的所述对应部分的数据的获取请求将所述对应部分的数据发送给所述驱动;
所述驱动将接收的所述扇区数据发送给所述操作系统,包括:
所述驱动将接收的N个所述对应部分的数据进行合成,以得到合成后的扇区数据;
所述驱动将所述合成后的扇区数据发送给所述操作系统。
在本实施例中,扇区容量,又称为扇区大小,是指硬盘的扇区字节数。
在一种可选的实施方式中,扇区容量为512字节,N为3;所述驱动根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求,具体为:所述驱动将所述扇区容量将所述扇区数据分成分为172字节、170字节和170字节这3部分并生成3个分别对应大小为172字节的第一部分、大小为170字节的第二部分和大小为170字节的第三部分的获取请求。所述驱动根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求,具体为:所述驱动向3个分别与所述负载服务器的地址对应的负载服务器发送不同的所述对应部分的数据的获取请求;在一种可选的实施方式中,所述驱动随机对所述3个分别与所述负载服务器的地址对应的负载服务器进行编号,以得到第1号负载服务器、第2号负载服务器和第3号负载服务器;所述驱动向第1号负载服务器发送所述第一部分的获取请求;向第2号负载服务器发送所述第二部分的获取请求;向第3号负载服务器发送所述第三部分的获取请求。所述驱动将所述合成后的扇区数据发送给所述操作系统,具体为:所述驱动将接收的3部分的数据进行合成;所述驱动将合成后的数据发送给所述操作系统。
即通过将所述扇区容量分成N部分并生成对应每一部分的获取请求,以及根据所述N个负载服务器的地址向不同的所述负载服务器发送不同部分对应的获取请求,从而实现从每个负载服务器获取扇区的N分之1内容的数据,再由所述驱动将接收的N部分的数据进行合成,以及将合成后的数据发送给所述操作系统,从而实现向操作系统返回对应于所述扇区编号的扇区数据,进一步提高了获取数据的速度。
参见图3,其是本发明提供的数据写入系统的第一实施例的模块示意图;所述数据写入系统20包括驱动201和N个负载服务器203;
所述驱动201包括:
第一获取模块2011,用于响应于计算机的操作系统发送的写入扇区请求,根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;
第二获取模块2014,用于根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;
第一发送模块2013,用于根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;
所述负载服务器203包括第一存储模块2031,用于将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
在本实施例中,计算机的操作系统在需要将数据写入计算机的硬盘时,向驱动发送写入扇区请求;例如,操作系统在运行过程中产生数据时,或者需要将外部存储设备的数据写入计算机的硬盘时,则向驱动发送写入扇区请求。
在本实施例中,N为大于或等于1的正整数;所述第一发送模块包括:
第一连接单元,用于根据所述N个负载服务器的地址分别连接所述N个负载服务器;
第三发送单元,用于分别向连接的所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据。
在一种可选的实施方式中,所述驱动预先配置所述计算机的唯一标识符,包括:
在响应于计算机的操作系统发送的写入扇区请求前,所述驱动获取所述计算机的机器信息;
根据所述机器信息生成所述计算机的唯一标识符。
不同计算机的唯一标识符不同。每个所述负载服务器根据所述唯一标识符和所述扇区编号对所述扇区数据进行存储时,其存储结构可以认为是用一个哈希表(散列表)的索引结构存储,计算机的唯一标识符可以认为是哈希表的索引值;扇区编号也可以认为是哈希表的索引值。因此,在所述负载服务器存储的数据中,通过所述唯一标识符可以在负载服务器上索引到所述唯一标识符所指计算机对应的数据;通过所述唯一标识符和所述扇区编号可以在负载服务器上索引到所述唯一标识符所指计算机上所述扇区编号所指扇区对应的扇区数据。
即通过所述驱动获取所述扇区编号,以及根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,通过所述唯一标识符和所述扇区编号标识存储在负载服务器中的数据,从而实现将操作系统要写入本地计算机的扇区数据通过驱动存储至N个负载服务器,避免了因本地计算机硬盘的损坏而导致数据丢失,且通过N个负载服务器对存储空间进行扩容,即使要写入的数据超过本地计算机硬盘空间容量,也无需更换硬盘,从而降低了扩容难度,节约了成本。
本发明还提供了一种数据写入系统的第二实施例,其包括上述数据写入系统20的第一实施例的驱动201和N个负载服务器203,还进一步限定了,所述数据写入系统还包括元服务器;
所述第二获取模块还包括第一发送单元,用于向元服务器发送所述扇区编号和所述唯一标识符;
所述元服务器包括第一返回模块,用于在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址。
在一种可选的实施方式中,所述第一返回模块包括:第五发送单元,用于根据所述扇区编号和所述唯一标识符获取N个负载服务器的地址;第一返回单元,用于向对应于所述唯一标识符的驱动返回N个负载服务器的地址。即实现了当多个驱动向同一所述元服务器发送扇区编号和唯一标识符时,通过唯一标识符区分不同驱动。
在一种可选的实施方式中,所述驱动通过网络向所述元服务器发送所述扇区编号和预先配置的所述计算机的唯一标识符。
即通过元服务器为计算机调度用于写入扇区数据的负载服务器,以及通过唯一标识符标识计算机,便于实现通过一个元服务器为多个计算机进行服务,提高调度效率;通过元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,便于对负载服务器群进行统一管理,使得驱动快速获取负载服务器的地址,提高了写入效率。
本发明还提供了一种数据写入系统的第三实施例,其包括上述数据写入系统20的第一实施例的驱动201和N个负载服务器203,还进一步限定了本发明还提供了一种数据写入系统的第三实施例,其包括上述数据写入系统20的第一实施例的驱动201和N个负载服务器203,还进一步限定了所述第一存储模块包括:
历史数据判断单元,用于判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据;
擦除判定单元,用于当判定存储了所述历史数据时,擦除所述历史数据并对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
存储判定单元,用于当判定没有所述历史数据时,对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储。
即通过每个所述负载服务器判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据,以将历史数据进行擦除,即扇区数据覆盖了负载服务器上对应于所述唯一标识符且对应于所述扇区编号的历史数据,从而实现对应于所述唯一标识符且对应于所述扇区编号只保存最新数据,从而节省了负载服务器的存储空间。
本发明还提供了一种数据写入系统的第四实施例,其包括上述数据写入系统20的第一实施例的驱动201和N个负载服务器203,还进一步限定了所述第一返回模块包括:
第一判断单元,用于判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录;
第一判定单元,用于当判定有所述写入记录时,根据所述写入记录向所述驱动返回对应于所述唯一标识符且对应于所述扇区编号的N个负载服务器的地址;
第二判定单元,用于当判定无所述写入记录时,向所述驱动返回N个可用的负载服务器的地址;
所述负载服务器还包括第一通知模块,用于在对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储后向所述元服务器发送通知;
所述元服务器还包括第一记录模块,用于在接收到所述通知后,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录。
需要说明的是,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录,则所述N个负载服务器和所述N个负载服务器的地址皆对应于所述唯一标识符;所述N个负载服务器和所述N个负载服务器的地址皆对应于所述唯一标识符且对应于所述扇区编号。
即通过所述元服务器判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录,来确定是否有写入过的负载服务器的地址,从而快速定位到具有写入记录的负载服务器,便于提高所述负载服务器判断存储了历史数据的概率,进一步提高了效率。
本发明还提供了一种数据写入系统的第五实施例,其包括上述数据写入系统20的第一实施例的驱动201和N个负载服务器203,还进一步限定了所述第二判定单元包括:
系数计算单元,用于当判定无所述写入记录时,根据负载服务器群的每个负载服务器的资源空闲量计算所述负载服务器群的每个负载服务器的压力系数;
第一排序单元,用于根据所述压力系数对所述负载服务器群的所有负载服务器进行排序;
服务器选取单元,用于从所述负载服务器群的所有负载服务器中选取所述压力系数最小的N个负载服务器;
地址返回单元,用于向所述驱动返回所述压力系数最小的N个负载服务器的地址,作为N个可用的负载服务器的地址。
即通过当判定无所述写入记录时,选取所述压力系数最小的N个负载服务器,作为N个可用的负载服务器,以调度压力小的负载服务器进行存储,从而提高数据的写入效率。
参见图4,其是本发明提供的数据读取系统的第一实施例的模块示意图;如图4所述,所述数据读取系统40包括驱动401和N个负载服务器403;
所述驱动401包括:
第三获取模块4011,用于响应于计算机的操作系统发送的读取扇区请求,所述驱动根据所述读取扇区请求获取所述计算机的扇区编号;
第四获取模块4014,用于根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址;其中,所述N个负载服务器预先存储了对应于所述唯一标识符且对应于所述扇区编号的扇区数据;
第二发送模块4013,用于根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求;
所述负载服务器403还包括第三发送模块4031,用于根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动;
所述驱动还包括第四发送模块4015,用于将接收的所述扇区数据发送给所述操作系统。
在本实施例中,计算机的操作系统在需要读取硬盘的扇区数据时,向驱动发送读取扇区请求;例如,操作系统在运行过程中调用数据进行计算时,或者需要将扇区数据拷贝到外部存储设备时,则向驱动发送读取扇区请求。
在本实施例中,N为大于或等于1的正整数;所述第二发送模块包括:
第二连接单元,用于根据所述N个负载服务器的地址分别连接所述N个负载服务器;
第四发送单元,用于分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据。
在一种可选的实施方式中,所述驱动预先配置所述计算机的唯一标识符,包括:
在响应于计算机的操作系统发送的写入扇区请求前,所述驱动获取所述计算机的机器信息;
根据所述机器信息生成所述计算机的唯一标识符。
不同计算机的唯一标识符不同。每个所述负载服务器根据所述唯一标识符和所述扇区编号对所述扇区数据进行存储时,其存储结构可以认为是用一个哈希表(散列表)的索引结构存储,计算机的唯一标识符可以认为是哈希表的索引值;扇区编号也可以认为是哈希表的索引值。因此,在所述负载服务器存储的数据中,通过所述唯一标识符可以在负载服务器上索引到所述唯一标识符所指计算机对应的数据;通过所述唯一标识符和所述扇区编号可以在负载服务器上索引到所述唯一标识符所指计算机上所述扇区编号所指扇区对应的扇区数据。因此,所述对应于所述唯一标识符且对应于所述扇区编号的扇区数据为所述唯一标识符所指计算机上所述扇区编号所指扇区对应的扇区数据。
即通过所述驱动获取所述扇区编号,以及获取对应于所述唯一标识符和所述扇区编号的N个负载服务器的地址,根据所述唯一标识符和所述扇区编号获取负载服务器中的数据,从而实现通过驱动从负载服务器获得操作系统要读取的扇区数据,避免了因本地计算机硬盘的损坏而导致数据丢失;通过N个负载服务器对存储空间进行扩容,即使要写入的数据超过本地计算机硬盘空间容量,也无需更换硬盘,从而降低了扩容难度,节约了成本。
本发明还提供了一种数据读取系统的第二实施例,其包括上述数据读取系统40的第一实施例的驱动401和N个负载服务器403,还进一步限定了所述数据读取系统还包括元服务器;
所述第四获取模块包括第二发送单元,用于向元服务器发送所述唯一标识符和所述扇区编号;
所述元服务器包括第二返回模块,用于根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动。
需要说明的是,若所述元服务器预先存储了所述唯一标识符、所述扇区编号和多个负载服务器的地址,则所述N个负载服务器和所述N个负载服务器的地址对应于所述唯一标识符;所述N个负载服务器和所述N个负载服务器的地址对应于所述唯一标识符且对应于所述扇区编号。
在一种可选的实施方式中,所述第二返回模块包括:第六发送单元,用于获取对应于所述唯一标识符和所述扇区编号的N个负载服务器的地址;第二返回单元,用于向对应于所述唯一标识符的驱动返回所述N个负载服务器的地址。即实现了当多个驱动向同一所述元服务器发送扇区编号和唯一标识符时,通过唯一标识符区分不同驱动。即通过元服务器为计算机查找用于读取扇区数据的负载服务器,以及通过唯一标识符区分不同计算机,便于实现通过一个元服务器为多个计算机进行服务,提高调度效率。
在一种可选的实施方式中,所述驱动通过网络向元服务器发送所述扇区编号和预先配置的所述计算机的唯一标识符。
即通过元服务器向所述驱动返回对应于接收的所述唯一标识符且对应于接收的所述扇区编号的N个负载服务器的地址,便于对负载服务器群进行统一管理,使得驱动快速获取负载服务器的地址,提高了写入效率。
本发明还提供了一种数据读取系统的第三实施例,其包括上述数据读取系统40的第一实施例的驱动401和N个负载服务器403,还进一步限定了所述第二发送模块包括:
容量获取单元,用于根据所述唯一标识符和所述扇区编号获取对应于所述唯一标识符且对应于所述扇区编号的扇区容量;
请求生成单元,用于根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求;
请求发送单元,用于根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求;
所述第三发送模块包括:
数据发送单元,用于根据接收的所述对应部分的数据的获取请求将所述对应部分的数据发送给所述驱动;
所述第四发送模块包括:
数据合成单元,用于将接收的N个所述对应部分的数据进行合成,以得到合成后的扇区数据;
数据返回单元,用于将所述合成后的扇区数据发送给所述操作系统。
在本实施例中,扇区容量,又称为扇区大小,是指硬盘的扇区字节数。
在一种可选的实施方式中,扇区容量为512字节,N为3;所述请求生成单元根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求,具体为:所述请求生成单元将所述扇区容量将所述扇区数据分成分为172字节、170字节和170字节这3部分并生成3个分别对应大小为172字节的第一部分、大小为170字节的第二部分和大小为170字节的第三部分的获取请求。所述请求发送单元根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求,具体为:所述请求发送单元向3个分别与所述负载服务器的地址对应的负载服务器发送不同的所述对应部分的数据的获取请求;在一种可选的实施方式中,所述请求发送单元随机对所述3个分别与所述负载服务器的地址对应的负载服务器进行编号,以得到第1号负载服务器、第2号负载服务器和第3号负载服务器;所述请求发送单元向第1号负载服务器发送所述第一部分的获取请求;向第2号负载服务器发送所述第二部分的获取请求;向第3号负载服务器发送所述第三部分的获取请求。所述数据返回单元将所述合成后的扇区数据发送给所述操作系统,具体为:所述数据返回单元将接收的3部分的数据进行合成;所述数据返回单元将合成后的数据发送给所述操作系统。
即通过将所述扇区容量分成N部分并生成对应每一部分的获取请求,以及根据所述N个负载服务器的地址向不同的所述负载服务器发送不同部分对应的获取请求,从而实现从每个负载服务器获取扇区的N分之1内容的数据,再将接收的N部分的数据进行合成,以及将合成后的数据发送给所述操作系统,从而实现向操作系统返回对应于所述扇区编号的扇区数据,进一步提高了获取数据的速度。
参见图5,其是本发明提供的数据读写系统的第一实施例的模块示意图;如图5所示,所述数据读写系统1包括如上述任一实施例所述的数据读写系统20和如上述任一实施例所述的数据读写系统40。
即通过所述驱动获取所述扇区编号,以及根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,通过所述唯一标识符和所述扇区编号标识存储在负载服务器中的数据,从而实现将操作系统要写入本地计算机的扇区数据通过驱动存储至N个负载服务器;通过所述驱动获取所述扇区编号,以及获取对应于所述唯一标识符和所述扇区编号的N个负载服务器的地址,根据所述唯一标识符和所述扇区编号获取负载服务器中的数据,从而实现通过驱动从负载服务器获得操作系统要读取的扇区数据;避免了因本地计算机硬盘的损坏而导致数据丢失,且通过N个负载服务器对存储空间进行扩容,即使要写入的数据超过本地计算机硬盘空间容量,也无需更换硬盘,从而降低了扩容难度,节约了成本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种数据写入方法,其特征在于,所述数据写入方法包括:
响应于计算机的操作系统发送的写入扇区请求,驱动根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;
所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;
所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;
所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
所述驱动根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址,包括:
所述驱动向元服务器发送所述扇区编号和所述唯一标识符;
所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址;
所述N个负载服务器分别将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储,包括:
每个所述负载服务器判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据;
当判定存储了所述历史数据时,擦除所述历史数据并将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
当判定没有所述历史数据时,将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
所述元服务器在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址,包括:
所述元服务器判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录;
当判定有所述写入记录时,所述元服务器根据所述写入记录向所述驱动返回对应于所述唯一标识符且对应于所述扇区编号的N个负载服务器的地址;
当判定无所述写入记录时,所述元服务器向所述驱动返回N个可用的负载服务器的地址;
所述数据写入方法还包括:
每个所述负载服务器在对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储后向所述元服务器发送通知;
所述元服务器在接收到所述通知后,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录。
2.如权利要求1所述的数据写入方法,其特征在于,所述当判定无所述写入记录时,所述元服务器向所述驱动返回N个可用的负载服务器的地址,包括:
当判定无所述写入记录时,所述元服务器根据负载服务器群的每个负载服务器的资源空闲量计算所述负载服务器群的每个负载服务器的压力系数;
根据所述压力系数对所述负载服务器群的所有负载服务器进行排序;
从所述负载服务器群的所有负载服务器中选取所述压力系数最小的N个负载服务器;
向所述驱动返回所述压力系数最小的N个负载服务器的地址,作为N个可用的负载服务器的地址。
3.一种数据读取方法,其特征在于,所述数据读取方法包括:
响应于计算机的操作系统发送的读取扇区请求,驱动根据所述读取扇区请求获取所述计算机的扇区编号;
所述驱动根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址;其中,所述N个负载服务器预先存储了对应于所述唯一标识符且对应于所述扇区编号的扇区数据;
所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求;
所述N个负载服务器分别根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动;
所述驱动将接收的所述扇区数据发送给所述操作系统;
所述驱动根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求,包括:
所述驱动根据所述唯一标识符和所述扇区编号获取对应于所述唯一标识符且对应于所述扇区编号的扇区容量;
所述驱动根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求;
所述驱动根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求;
所述N个负载服务器分别根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动,包括:
所述N个负载服务器分别根据接收的所述对应部分的数据的获取请求将所述对应部分的数据发送给所述驱动;
所述驱动将接收的所述扇区数据发送给所述操作系统,包括:
所述驱动将接收的N个所述对应部分的数据进行合成,以得到合成后的扇区数据;
所述驱动将所述合成后的扇区数据发送给所述操作系统。
4.如权利要求3所述的数据读取方法,其特征在于,
所述驱动根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址,包括
所述驱动向元服务器发送所述唯一标识符和所述扇区编号;
所述元服务器根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动。
5.一种数据写入系统,其特征在于,所述数据写入系统包括驱动和N个负载服务器;
所述驱动包括:
第一获取模块,用于响应于计算机的操作系统发送的写入扇区请求,根据所述写入扇区请求获取待写入的扇区数据和所述计算机的扇区编号;
第二获取模块,用于根据所述扇区编号和预先配置的所述计算机的唯一标识符获取N个负载服务器的地址;
第一发送模块,用于根据所述N个负载服务器的地址分别向所述N个负载服务器发送所述扇区编号、所述唯一标识符和所述扇区数据;
所述负载服务器包括第一存储模块,用于将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
所述数据写入系统还包括元服务器;
所述第二获取模块还包括第一发送单元,用于向元服务器发送所述扇区编号和所述唯一标识符;
所述元服务器包括第一返回模块,用于在接收到所述扇区编号和所述唯一标识符后向所述驱动返回N个负载服务器的地址;
所述第一存储模块包括:
历史数据判断单元,用于判断是否存储了对应于所述唯一标识符且对应于所述扇区编号的历史数据;
擦除判定单元,用于当判定存储了所述历史数据时,擦除所述历史数据并将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
存储判定单元,用于当判定没有所述历史数据时,将接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储;
所述第一返回模块包括:
第一判断单元,用于判断是否有对应于所述唯一标识符且对应于所述扇区编号的写入记录;
第一判定单元,用于当判定有所述写入记录时,根据所述写入记录向所述驱动返回对应于所述唯一标识符且对应于所述扇区编号的N个负载服务器的地址;
第二判定单元,用于当判定无所述写入记录时,向所述驱动返回N个可用的负载服务器的地址;
所述负载服务器还包括第一通知模块,用于在对接收的所述唯一标识符、所述扇区编号和所述扇区数据进行对应存储后向所述元服务器发送通知;
所述元服务器还包括第一记录模块,用于在接收到所述通知后,将所述唯一标识符、所述扇区编号和所述N个负载服务器的地址对应存储至所述写入记录。
6.如权利要求5所述的数据写入系统,其特征在于,所述第二判定单元包括:
系数计算单元,用于当判定无所述写入记录时,根据负载服务器群的每个负载服务器的资源空闲量计算所述负载服务器群的每个负载服务器的压力系数;
第一排序单元,用于根据所述压力系数对所述负载服务器群的所有负载服务器进行排序;
服务器选取单元,用于从所述负载服务器群的所有负载服务器中选取所述压力系数最小的N个负载服务器;
地址返回单元,用于向所述驱动返回所述压力系数最小的N个负载服务器的地址,作为N个可用的负载服务器的地址。
7.一种数据读取系统,其特征在于,所述数据读取系统包括驱动和N个负载服务器;
所述驱动包括:
第三获取模块,用于响应于计算机的操作系统发送的读取扇区请求,所述驱动根据所述读取扇区请求获取所述计算机的扇区编号;
第四获取模块,用于根据预先配置的所述计算机的唯一标识符和所述扇区编号获取N个负载服务器的地址;其中,所述N个负载服务器预先存储了对应于所述唯一标识符且对应于所述扇区编号的扇区数据;
所述驱动还包括:
第二发送模块,用于根据所述N个负载服务器的地址分别向所述N个负载服务器发送对应于所述唯一标识符且对应于所述扇区编号的扇区数据的获取请求;
所述负载服务器还包括第三发送模块,用于根据接收的所述获取请求将对应于所述唯一标识符且对应于所述扇区编号的扇区数据发送给驱动;
所述驱动还包括第四发送模块,用于将接收的所述扇区数据发送给所述操作系统;
所述第二发送模块包括:
容量获取单元,用于根据所述唯一标识符和所述扇区编号获取对应于所述唯一标识符且对应于所述扇区编号的扇区容量;
请求生成单元,用于根据所述扇区容量将所述扇区数据分成N部分,并根据每部分生成对应于所述唯一标识符且对应于所述扇区编号的扇区数据的对应部分的数据的获取请求;
请求发送单元,用于根据所述N个负载服务器的地址分别向不同的所述负载服务器发送不同的所述对应部分的数据的获取请求;
所述第三发送模块包括:
数据发送单元,用于根据接收的所述对应部分的数据的获取请求将所述对应部分的数据发送给所述驱动;
所述第四发送模块包括:
数据合成单元,用于将接收的N个所述对应部分的数据进行合成,以得到合成后的扇区数据;
数据返回单元,用于将所述合成后的扇区数据发送给所述操作系统。
8.如权利要求7所述的数据读取系统,其特征在于,所述数据读取系统还包括元服务器;
所述第四获取模块包括第二发送单元,用于向元服务器发送所述唯一标识符和所述扇区编号;
所述元服务器包括第二返回模块,用于根据接收的所述唯一标识符、所述扇区编号将预先存储的对应于所述唯一标识符且对应于所述扇区编号的所有负载服务器的地址发送给所述驱动。
9.一种数据读写系统,其特征在于,所述数据读写系统包括如权利要求5-6任一项所述的数据写入系统和如权利要求7-8任一项所述的数据读取系统。
CN201810051435.7A 2018-01-16 2018-01-16 数据写入、读取方法与系统、数据读写系统 Active CN108399049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810051435.7A CN108399049B (zh) 2018-01-16 2018-01-16 数据写入、读取方法与系统、数据读写系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810051435.7A CN108399049B (zh) 2018-01-16 2018-01-16 数据写入、读取方法与系统、数据读写系统

Publications (2)

Publication Number Publication Date
CN108399049A CN108399049A (zh) 2018-08-14
CN108399049B true CN108399049B (zh) 2021-09-28

Family

ID=63094781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810051435.7A Active CN108399049B (zh) 2018-01-16 2018-01-16 数据写入、读取方法与系统、数据读写系统

Country Status (1)

Country Link
CN (1) CN108399049B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541461A (zh) * 2010-12-31 2012-07-04 阿里巴巴集团控股有限公司 远程数据存储的数据读写方法、装置及其系统
CN107257364A (zh) * 2017-05-27 2017-10-17 上海斐讯数据通信技术有限公司 无线移动硬盘、无线移动硬盘配置方法及访问方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9804787B2 (en) * 2015-11-03 2017-10-31 Samsung Electronics Co., Ltd. Mitigating GC effect in a raid configuration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541461A (zh) * 2010-12-31 2012-07-04 阿里巴巴集团控股有限公司 远程数据存储的数据读写方法、装置及其系统
CN107257364A (zh) * 2017-05-27 2017-10-17 上海斐讯数据通信技术有限公司 无线移动硬盘、无线移动硬盘配置方法及访问方法

Also Published As

Publication number Publication date
CN108399049A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
EP3617867B1 (en) Fragment management method and fragment management apparatus
US20070288711A1 (en) Snapshot copy management method used for logic volume manager
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN107329704B (zh) 一种缓存镜像方法及控制器
CN107315659B (zh) 一种元数据的冗余备份方法及装置
US10572335B2 (en) Metadata recovery method and apparatus
CN106201652B (zh) 一种数据处理方法及虚拟机
CN103324533A (zh) 分布式数据处理方法、装置及系统
CN108304144B (zh) 数据写入、读取方法与系统、数据读写系统
CN108475201B (zh) 一种虚拟机启动过程中的数据获取方法和云计算系统
CN110888837B (zh) 对象存储小文件归并方法及装置
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
KR20170010810A (ko) 플래시 메모리 내에 데이터를 판독/기록하기 위한 방법, 장치 및 사용자 장비
CN116466879A (zh) 一种cxl内存模组、内存数据的置换方法及计算机系统
CN103440204A (zh) 一种更新文件系统的方法和存储设备
CN108399049B (zh) 数据写入、读取方法与系统、数据读写系统
CN101977231A (zh) 映像文件的下载方法
CN108334283B (zh) 数据写入、读取方法与系统、数据读写系统
CN109189326B (zh) 分布式集群的管理方法和装置
CN110795031A (zh) 一种基于全闪存储的数据重删方法、装置和系统
CN109669623B (zh) 一种文件管理方法、文件管理装置、电子设备及存储介质
CN108415665B (zh) 数据写入、读取方法与系统、数据读写系统
CN112800123B (zh) 数据处理方法、装置、计算机设备和存储介质
CN115599299A (zh) 一种存储桶管理方法、装置及电子设备和存储介质
CN105242985B (zh) 数据修复方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant