CN111767169A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111767169A CN111767169A CN202010598363.5A CN202010598363A CN111767169A CN 111767169 A CN111767169 A CN 111767169A CN 202010598363 A CN202010598363 A CN 202010598363A CN 111767169 A CN111767169 A CN 111767169A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- processing request
- storage device
- tape storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 151
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000015654 memory Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1456—Hardware arrangements for backup
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了数据处理方法、装置、电子设备及存储介质,涉及磁带存储技术领域,可用于包括但不限于数据中心云服务、云存储等应用场景。数据处理方法具体实现方案为:获取文件处理请求,文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与文件处理请求相对应的文件数据块;基于文件处理请求获取到文件数据块的数据特征;确定待对文件数据块进行数据处理的磁带存储设备的存储资源特征;基于数据特征以及存储资源特征,并利用磁带存储设备对文件处理请求进行处理。通过上述方案,可以使磁带存储设备能够响应客户端的访问,从而缩短对磁带存储设备的访问时长,提高访问效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及磁带存储技术领域,可用于包括但不限于数据中心云服务、云存储等应用场景。
背景技术
磁带技术具有低成本、读写分离、方便运输、数据保存时间长(可达50年)、低功耗等特点,是长期保存数据的最佳选择。
现有技术中,企业用户通常采用磁带存储对海量冷数据进行备份。由于磁带存储只能进行离线数据备份,即存入磁带的数据不能够进行在线访问,当线上发生线上数据丢失时,只能通过人工寻找磁带备份中的数据恢复,时间一般是小时级别,存在数据访问效率低的缺陷。
发明内容
本申请提供了一种数据处理方法、装置、电子设备及存储介质。
根据本申请的第一方面,提供了一种数据处理方法,包括:
获取文件处理请求,文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与文件处理请求相对应的文件数据块;
基于文件处理请求获取到文件数据块的数据特征;
确定待对文件数据块进行数据处理的磁带存储设备的存储资源特征;
基于数据特征以及存储资源特征,并利用磁带存储设备对文件处理请求进行处理。
根据本申请的第二方面,提供了一种数据处理装置,包括:
文件处理请求获取模块,用于获取文件处理请求,文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与文件处理请求相对应的文件数据块;
数据特征获取模块,用于基于文件处理请求获取到文件数据块的数据特征;
存储资源特征确定模块,用于确定待对文件数据块进行数据处理的磁带存储设备的存储资源特征;
处理模块,用于基于数据特征以及存储资源特征,并利用磁带存储设备对文件处理请求进行处理。
根据本申请的第三方面,提供一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。
根据本申请的第四方面,提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行以上所述的方法。
本申请实施例的数据处理方法通过采用上述方案,可以使磁带存储设备能够响应客户端的访问,从而缩短对磁带存储设备的访问时长,提高访问效率。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的数据处理方法的流程图;
图2是根据本申请第一实施例的数据处理方法的流程图;
图3是根据本申请第一实施例的数据处理方法的流程图;
图4是根据本申请第一实施例的数据处理方法的流程图;
图5是根据本申请第一实施例的数据处理方法的流程图;
图6是根据本申请第一实施例的数据处理方法的示意图;;
图7是根据本申请第二实施例的数据处理装置的框图;
图8是根据本申请第二实施例的数据处理装置的处理模块的框图;
图9是用来实现本申请实施例的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出根据本申请实施例的数据处理方法的流程图。
如图1所示,数据处理方法包括:
步骤S101:获取文件处理请求,文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与文件处理请求相对应的文件数据块。其中,文件处理请求可以包括文件读取请求和文件写入请求等,用于请求对文件数据块进行读取操作和写入操作等。
步骤S102:基于文件处理请求获取到文件数据块的数据特征。文件数据块的数据特征,比如文件数据块的元数据,为描述文件数据块的数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
步骤S103:确定待对文件数据块进行数据处理的磁带存储设备的存储资源特征。磁带存储设备的存储资源特征可以包括存储空间大小和存储地址等信息。在一个示例中,磁带存储设备可以为磁带库。
步骤S104:基于数据特征以及存储资源特征,并利用磁带存储设备对文件处理请求进行处理。此时,磁带存储设备为文件处理请求相匹配的文件数据块的备份设备。例如,在文件处理请求为文件写入请求时,客户端发送的文件数据块作为备份数据被存储至磁带存储设备,以完成与文件写入请求对应的文件写入操作;在文件处理请求为文件读取请求时,磁带存储设备内存储的与文件读取请求相对应的备份数据被发送至客户端,以完成与文件读取请求对应的文件读取操作。
根据本申请实施例的数据处理方法,通过接收客户端发起文件处理请求,基于文件处理请求获取到文件数据块的数据特征,然后基于文件数据块的数据特征和磁带存储设备的存储资源特征,利用磁带存储设备对文件处理请求进行处理。由此,可以使磁带存储设备能够响应客户端的访问,相比于现有技术中离线备份方式的磁带存储设备,本申请实施例的数据处理方法可以缩短对磁带存储设备的访问时长,提高访问效率。
在一种实施方式中,本申请实施例的数据处理方法可以应用于分布式文件系统中的数据节点侧。
分布式文件系统具有高容错性、可伸缩性和易扩展性等优点,可以用于处理大数据集,具有write-once-read-many(一次写,多次读)的特点。通过将本申请实施例的数据处理方法应用于分布式文件系统中的数据节点侧,数据节点根据客户端发送的文件处理请求对磁带存储设备进行相应的文件操作,可以实现磁带存储设备对分布式文件系统的响应。相比于分布式文件系统采用磁盘作为存储设备,本申请实施例的数据处理方法由于采用了磁带存储设备,所以,能够在实现海量数据的存储和备份的同时,提高分布式文件系统存储设备的存储密度,并且可以降低TCO(Total Cost of Ownership,总拥有成本)。再者,相比于现有技术中磁带存储小时级别的访问时长,通过将本申请实施例的数据处理方法应用于分布式文件系统中的数据节点侧,可以大幅度地缩短磁带存储设备的访问时长,比如,实现对磁带存储设备分钟级别的访问时长,进一步提高磁带存储设备的访问效率。
在一个示例中,如图6所示,分布式文件系统包括客户端和分布式文件集群,分布式文件集群包括一个中心节点(或称为名称节点)和多个数据节点。中心节点用于管理分布式文件集群的命名空间以及响应客户端对文件数据块的访问,数据节点用于单独运行数据节点进程,负责处理中心节点转发的文件处理请求,并基于数据特征以及存储资源特征,利用磁带存储设备对文件处理请求进行处理。其中,每个数据节点的数据保存在本地Linux(一种操作系统)的文件系统中。
可选地,如图5所示,步骤S101包括:
步骤S501:数据节点获取到分布式文件系统的中心节点所转发的文件处理请求,其中,数据节点是中心节点基于文件处理请求所对应的文件数据块的数据特征而确定调用的。
在一个示例中,客户端基于文件处理操作生成文件处理请求,并将文件处理请求发送至中心节点。中心节点根据文件处理请求所对应的文件数据块的数据特征、以及数据节点侧的计算资源,确定与待处理的文件数据块的数据特征相对应的数据节点,并将文件处理请求发送至所调用的数据节点。数据节点在中心节点的调用下响应文件处理请求,并基于文件处理请求进行相应的文件处理操作。具体地,数据节点获取客户端发起文件处理请求,基于文件处理请求获取到文件数据块的数据特征,确定待对文件数据块进行数据处理的磁带存储设备的存储资源特征,最后基于数据特征和存储资源特征,利用磁带存储设备对文件处理请求进行处理。
这样,采用中心节点基于文件数据块的数据特征调用数据节点,来保证数据节点侧的计算资源分配合理,从而提高数据节点处理文件处理请求的处理效率,进而提高磁带存储设备对文件处理请求的处理效率,进一步提高对磁带存储设备的访问效率。
在一种实施方式中,如图2所示,步骤S104包括:
步骤S201:获取文件处理请求所对应的文件数据块,并利用磁带存储设备对文件数据块进行备份处理,以在磁带存储设备中存储文件数据块。由此,可以实现磁带存储设备对客户端发送的文件写入请求的响应,以实现磁带存储设备的备份流程。
具体地,文件处理请求包括文件写入请求,中心节点接收客户端发送的文件写入请求,并至少根据数据节点侧的计算资源来指定数据节点,相应地,数据节点根据磁带存储设备的存储资源特征对文件写入请求进行响应,并确定文件写入请求所对应文件处理块的写入路径,使得磁带存储设备在该写入路径下创建与文件数据块相同的副本数据,完成文件写入操作。
在一个示例中,中心节点接收文件写入请求后,根据客户端所发送的待写入的文件数据块的数据特征、以及磁带存储设备的存储信息(如当前存储的数据块的标识等),判断磁带存储设备中是否存在与待写入的文件数据块相同的副本数据,如果不存在,则调用相应的数据节点,并将文件写入请求发送至所调用的数据节点。在一具体示例中,中心节点可以根据预设的备份数量调用相同数量的数据节点。例如,待写入的文件数据块的备份数量为三个,中心节点可以调用相应的数据节点A、数据节点B和数据节点C,并向数据节点A、数据节点B和数据节点C发送文件写入请求,数据节点A、数据节点B和数据节点C分别获取文件处理请求所对应的文件数据块,并利用磁带存储设备对文件数据块进行备份处理。
在一种实施方式中,如图3所示,数据处理方法还包括:
步骤S301:至少基于文件数据块在磁带存储设备中的使用存储资源以及文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
数据节点通过映射表实现与磁带存储设备的数据交互。例如,响应于文件写入请求,数据节点获取文件写入请求所对应的文件数据块的数据特征,并基于磁带存储设备的存储资源特征,确定写入路径,并存储该文件数据块的数据特征(如数据标识、数据块大小等)与存储资源特征(写入路径、写入时间、资源占用等)之间关系的映射表,如此,便于后续从磁带存储设备中读取所需数据块,实现数据备份功能;相应地,磁带存储设备通过写入地址创建与文件数据块相同的副本数据,以完成文件写入流程。再例如,响应于文件读取请求,数据节点通过映射表读取磁带存储设备所存储的与文件读取请求相对应的副本数据,并将副本数据发送至客户端,以完成文件读取流程。由此,通过生成表征数据特征与存储资源特征之间关系的映射表,来实现备份功能,为有效进行数据读取或写入奠定了基础。
可选地,数据节点安装有带库管理软件。具体地,带库管理软件用于根据文件数据块在磁带存储设备的存储资源特征以及文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
在一个示例中,带库管理软件负责对磁带存储设备中虚拟化出来的逻辑带库与数据节点上的指定挂载点建立映射关系,并提供自定义策略设置功能,实现存放在挂载点下的文件的自动归档、截断及回迁。其中,归档是指文件数据块从数据节点的cache存储器到磁带库的迁移;截断是指归档完成后自动删除cache存储器中的文件内容释放缓存,仅留存根文件,并保留元数据信息;回迁是指文件数据块从磁带库到cache存储器的迁移。
进一步地,数据节点中集成有文件系统组件。具体地,文件系统组件用于实现客户端与数据节点的通用挂载点的对接。文件系统组件支持通用POSIX(Portable OperatingSystem Interface,可移植操作系统接口),对客户端透明,可以提供通用挂载点的对接方式。
在一种实施方式中,如图4所示,利用磁带存储设备对文件处理请求进行处理,包括:
步骤S401:从磁带存储设备中读取文件处理请求所对应文件数据块的副本数据,并发送副本数据。
可以理解的是,步骤S401是在文件处理请求为文件读取请求的情况下进行的。响应于文件读取请求,数据节点从磁带存储设备中读取文件处理请求所对应文件数据块的副本数据,并发送副本数据。在一示例中,数据节点利用映射表查找到该文件读取请求所对应副本数据的写入地址,以从磁带存储设备中获取到副本数据,并发送至客户端,从而实现对副本数据的读取。
在一种实施方式中,数据节点定期向中心节点发送心跳信息,中心节点根据心跳信息判断数据节点是否损坏。由此,可以自动识别数据坏块,从而保证了整个近线存储系统的数据安全。
在一个示例中,数据节点定期向中心节点发送心跳信息,以使中心节点与数据节点每间隔预设时间段保持一次通讯。如果中心节点在预设时间段(例如10分钟)没有收到数据节点的心跳信息,则中心节点判断数据节点已损坏(即丢失数据),然后备份该数据节点所存储的文件数据块到其他的数据节点。
在一种实施方式中,磁带存储设备可以采用IBM TS4500带库。通过采用IBMTS4500带库,可以支持动态存储管理,并使用高级库管理系统来支持动态存储管理,允许用户创建和更改逻辑库,以及将任一驱动器配置到任一逻辑库中。
下面参照图6描述根据本申请实施例的数据处理方法的一个具体示例。
如图6所示,客户端基于文件处理操作生成文件处理请求,并将文件处理请求发送至中心节点。中心节点根据文件处理请求所对应的文件数据块的数据特征、以及数据节点侧的计算资源,确定与待处理的文件数据块的数据特征相对应的数据节点,并将文件处理请求发送至所调用的数据节点。
数据节点在中心节点的调用下与客户端通讯,即接收文件处理请求,并基于文件处理请求进行相应的文件处理操作。具体地,数据节点中集成有文件系统组件,文件系统组件用于实现客户端与数据节点的通用挂载点的对接。数据节点安装有带库管理软件,带库管理软件用于根据文件数据块在磁带存储设备的存储资源特征以及文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
在文件处理请求为文件写入请求时,数据节点获取文件写入请求所对应的文件数据块的数据特征,并基于磁带存储设备的存储资源特征,确定写入路径,并存储该文件数据块的数据特征(如数据标识、数据块大小等)与存储资源特征(写入路径、写入时间、资源占用等)之间关系的映射表,如此,便于后续从磁带存储设备中读取所需数据块,实现数据备份功能;相应地,磁带存储设备通过写入地址创建与文件数据块相同的副本数据,以完成文件写入流程。
在文件处理请求为文件读取请求时,数据节点通过映射表读取磁带存储设备所存储的与文件读取请求相对应的副本数据,并将副本数据发送至客户端,以完成文件读取流程。
如图7所示,本申请还提供了一种数据处理装置600,包括:
文件处理请求获取模块610,用于获取文件处理请求,文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与文件处理请求相对应的文件数据块;
数据特征获取模块620,用于基于文件处理请求获取到文件数据块的数据特征;
存储资源特征确定模块630,用于确定待对文件数据块进行数据处理的磁带存储设备的存储资源特征;
处理模块640,用于基于数据特征以及存储资源特征,并利用磁带存储设备对文件处理请求进行处理。
在一种实施方式中,如图8所示,处理模块640还包括:
备份子模块641,用于获取文件处理请求所对应的文件数据块,并利用磁带存储设备对文件数据块进行备份处理,以在磁带存储设备中存储文件数据块。
在一种实施方式中,如图8所示,数据处理装置600还包括:
映射表生成子模块642,用于至少基于文件数据块在磁带存储设备中的使用存储资源以及文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
在一种实施方式中,如图8所示,处理模块640还包括:
副本数据传输子模块643,用于从磁带存储设备中读取文件处理请求所对应文件数据块的副本数据,并发送副本数据。
在一种实施方式中,数据处理装置600为分布式文件系统中的数据节点。
在一种实施方式中,文件处理请求获取模块610还用于获取到分布式文件系统的中心节点所转发的文件处理请求。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图9所示,是根据本申请实施例的数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据处理方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据处理方法和对应的程序指令/模块(例如,附图7所示的文件处理请求模块610、数据特征获取模块620、存储资源特征确定模块630和处理模块640)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据处理方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据数据处理方法的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至数据处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据处理方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图9中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与数据处理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (14)
1.一种数据处理方法,包括:
获取文件处理请求,所述文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与所述文件处理请求相对应的文件数据块;
基于所述文件处理请求获取到所述文件数据块的数据特征;
确定待对所述文件数据块进行数据处理的磁带存储设备的存储资源特征;
基于所述数据特征以及所述存储资源特征,并利用所述磁带存储设备对所述文件处理请求进行处理。
2.根据权利要求1所述的方法,其中,所述利用所述磁带存储设备对所述文件处理请求进行处理,包括:
获取所述文件处理请求所对应的文件数据块,并利用所述磁带存储设备对所述文件数据块进行备份处理,以在所述磁带存储设备中存储所述文件数据块。
3.根据权利要求2所述的方法,还包括:
至少基于所述文件数据块在所述磁带存储设备中的使用存储资源以及所述文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
4.根据权利要求1-3任一项所述的方法,其中,所述利用所述磁带存储设备对所述文件处理请求进行处理,包括:
从所述磁带存储设备中读取所述文件处理请求所对应文件数据块的副本数据,并发送所述副本数据。
5.根据权利要求1-3任一项所述的方法,其中,所述方法应用于分布式文件系统中的数据节点侧。
6.根据权利要求5所述的方法,其中,所述获取文件处理请求,包括:
所述数据节点获取到所述分布式文件系统的中心节点所转发的文件处理请求,其中,所述数据节点是所述中心节点基于所述文件处理请求所对应的文件数据块的数据特征而确定调用的。
7.一种数据处理装置,包括:
文件处理请求获取模块,用于获取文件处理请求,所述文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与所述文件处理请求相对应的文件数据块;
数据特征获取模块,用于基于所述文件处理请求获取到所述文件数据块的数据特征;
存储资源特征确定模块,用于确定待对所述文件数据块进行数据处理的磁带存储设备的存储资源特征;
处理模块,用于基于所述数据特征以及所述存储资源特征,并利用所述磁带存储设备对所述文件处理请求进行处理。
8.根据权利要求7所述的装置,其中,所述处理模块还包括:
备份子模块,用于获取所述文件处理请求所对应的文件数据块,并利用所述磁带存储设备对所述文件数据块进行备份处理,以在所述磁带存储设备中存储所述文件数据块。
9.根据权利要求8所述的装置,还包括:
映射表生成子模块,用于至少基于所述文件数据块在所述磁带存储设备中的使用存储资源以及所述文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
10.根据权利要求7-9任一项所述的装置,处理模块还包括:
副本数据传输子模块,用于从所述磁带存储设备中读取所述文件处理请求所对应文件数据块的副本数据,并发送所述副本数据。
11.根据权利要求7-9任一项所述的装置,其中,所述装置为分布式文件系统中的数据节点。
12.根据权利要求11所述的装置,所述文件处理请求获取模块,还用于获取到所述分布式文件系统的中心节点所转发的文件处理请求。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010598363.5A CN111767169B (zh) | 2020-06-28 | 2020-06-28 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010598363.5A CN111767169B (zh) | 2020-06-28 | 2020-06-28 | 数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767169A true CN111767169A (zh) | 2020-10-13 |
CN111767169B CN111767169B (zh) | 2024-03-26 |
Family
ID=72722234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010598363.5A Active CN111767169B (zh) | 2020-06-28 | 2020-06-28 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767169B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022174734A1 (zh) * | 2021-02-18 | 2022-08-25 | 北京沃东天骏信息技术有限公司 | 用于存储数据的方法和装置 |
WO2023066182A1 (zh) * | 2021-10-19 | 2023-04-27 | 北京百度网讯科技有限公司 | 文件处理方法、装置、设备及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1350367A (en) * | 1972-07-05 | 1974-04-18 | Racal Thermionic Ltd | System for machine control and tape for use therein |
US5212772A (en) * | 1991-02-11 | 1993-05-18 | Gigatrend Incorporated | System for storing data in backup tape device |
US5384673A (en) * | 1991-03-15 | 1995-01-24 | Fujitsu Limited | Magnetic-tape storage apparatus |
JPH08286838A (ja) * | 1995-04-18 | 1996-11-01 | Fuji Xerox Co Ltd | 記憶制御装置 |
US5717951A (en) * | 1995-08-07 | 1998-02-10 | Yabumoto; Kan W. | Method for storing and retrieving information on a magnetic storage medium via data blocks of variable sizes |
JPH1091487A (ja) * | 1996-09-19 | 1998-04-10 | Honda Motor Co Ltd | データ管理システム |
US20050144254A1 (en) * | 2003-12-24 | 2005-06-30 | Hitachi, Ltd. | Data transfer method and system |
CN101197177A (zh) * | 2006-12-22 | 2008-06-11 | 四川川大智胜软件股份有限公司 | 新型智能磁带机及其数据处理方法 |
JP2010097646A (ja) * | 2008-10-15 | 2010-04-30 | Fujitsu Ltd | テープ駆動制御装置およびテープ駆動制御方法 |
US7797284B1 (en) * | 2007-04-25 | 2010-09-14 | Netapp, Inc. | Dedicated software thread for communicating backup history during backup operations |
US8099572B1 (en) * | 2008-09-30 | 2012-01-17 | Emc Corporation | Efficient backup and restore of storage objects in a version set |
CN102521072A (zh) * | 2011-11-25 | 2012-06-27 | 成都市华为赛门铁克科技有限公司 | 虚拟磁带库设备及数据恢复方法 |
US20140181396A1 (en) * | 2012-12-20 | 2014-06-26 | Amazon Technologies, Inc. | Virtual tape using a logical data container |
US20170168735A1 (en) * | 2015-12-10 | 2017-06-15 | International Business Machines Corporation | Reducing time to read many files from tape |
CN109739435A (zh) * | 2018-12-03 | 2019-05-10 | 中科恒运股份有限公司 | 文件存储和更新方法及装置 |
CN111045985A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 文件存储处理方法、服务器、电子设备及存储介质 |
CN111344681A (zh) * | 2017-11-28 | 2020-06-26 | 国际商业机器公司 | 在磁带驱动器上使用模拟读取的快速定位 |
-
2020
- 2020-06-28 CN CN202010598363.5A patent/CN111767169B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1350367A (en) * | 1972-07-05 | 1974-04-18 | Racal Thermionic Ltd | System for machine control and tape for use therein |
US5212772A (en) * | 1991-02-11 | 1993-05-18 | Gigatrend Incorporated | System for storing data in backup tape device |
US5384673A (en) * | 1991-03-15 | 1995-01-24 | Fujitsu Limited | Magnetic-tape storage apparatus |
JPH08286838A (ja) * | 1995-04-18 | 1996-11-01 | Fuji Xerox Co Ltd | 記憶制御装置 |
US5717951A (en) * | 1995-08-07 | 1998-02-10 | Yabumoto; Kan W. | Method for storing and retrieving information on a magnetic storage medium via data blocks of variable sizes |
JPH1091487A (ja) * | 1996-09-19 | 1998-04-10 | Honda Motor Co Ltd | データ管理システム |
US20050144254A1 (en) * | 2003-12-24 | 2005-06-30 | Hitachi, Ltd. | Data transfer method and system |
CN101197177A (zh) * | 2006-12-22 | 2008-06-11 | 四川川大智胜软件股份有限公司 | 新型智能磁带机及其数据处理方法 |
US7797284B1 (en) * | 2007-04-25 | 2010-09-14 | Netapp, Inc. | Dedicated software thread for communicating backup history during backup operations |
US8099572B1 (en) * | 2008-09-30 | 2012-01-17 | Emc Corporation | Efficient backup and restore of storage objects in a version set |
JP2010097646A (ja) * | 2008-10-15 | 2010-04-30 | Fujitsu Ltd | テープ駆動制御装置およびテープ駆動制御方法 |
CN102521072A (zh) * | 2011-11-25 | 2012-06-27 | 成都市华为赛门铁克科技有限公司 | 虚拟磁带库设备及数据恢复方法 |
US20140181396A1 (en) * | 2012-12-20 | 2014-06-26 | Amazon Technologies, Inc. | Virtual tape using a logical data container |
US20170168735A1 (en) * | 2015-12-10 | 2017-06-15 | International Business Machines Corporation | Reducing time to read many files from tape |
CN111344681A (zh) * | 2017-11-28 | 2020-06-26 | 国际商业机器公司 | 在磁带驱动器上使用模拟读取的快速定位 |
CN109739435A (zh) * | 2018-12-03 | 2019-05-10 | 中科恒运股份有限公司 | 文件存储和更新方法及装置 |
CN111045985A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 文件存储处理方法、服务器、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
翁肇杰, 陈春法: "大型媒体文件的磁带备份策略", 信息技术教育, no. 04, 1 April 2004 (2004-04-01) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022174734A1 (zh) * | 2021-02-18 | 2022-08-25 | 北京沃东天骏信息技术有限公司 | 用于存储数据的方法和装置 |
WO2023066182A1 (zh) * | 2021-10-19 | 2023-04-27 | 北京百度网讯科技有限公司 | 文件处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111767169B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10691568B2 (en) | Container replication and failover orchestration in distributed computing environments | |
US9880779B1 (en) | Processing copy offload requests in a storage system | |
CN107533507B (zh) | 管理存储装置中的数据的方法和系统 | |
US9671967B2 (en) | Method and system for implementing a distributed operations log | |
US11537633B2 (en) | Asynchronous cross-region block volume replication | |
US20120198450A1 (en) | Method to Dynamically Provision Additional Computer Resources to Handle Peak Database Workloads | |
US9021204B1 (en) | Techniques for managing data storage | |
CN106777394B (zh) | 一种集群文件系统 | |
US10922283B2 (en) | File synchronization | |
CN111273872A (zh) | 一种数据迁移方法、装置、设备和介质 | |
US20170228370A1 (en) | Performing nearline storage of a file | |
US8515919B1 (en) | Techniques for optimizing data migration | |
CN111767169B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US20210132860A1 (en) | Management of multiple physical function non-volatile memory devices | |
US8621260B1 (en) | Site-level sub-cluster dependencies | |
US9753943B1 (en) | Techniques for distributing access to filesystems through multipe filesystem management nodes | |
US10606506B2 (en) | Releasing space allocated to a space efficient target storage in a copy relationship with a source storage | |
JP2021513137A (ja) | 階層型ストレージ管理システムにおけるデータ・マイグレーション | |
CN113835625B (zh) | 一种基于子路径的数据存储方法、装置、设备及存储介质 | |
US20220067065A1 (en) | Providing instant and distributed access to a source blob via copy-on-read blobs and link blobs | |
EP3859529B1 (en) | Backup management method and system, electronic device and medium | |
EP3871087B1 (en) | Managing power request during cluster operations | |
US9471223B2 (en) | Volume class management | |
US11340964B2 (en) | Systems and methods for efficient management of advanced functions in software defined storage systems | |
US11720551B1 (en) | Method and system for streaming data from portable storage devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |