CN111966742A - 数据迁移方法及系统 - Google Patents

数据迁移方法及系统 Download PDF

Info

Publication number
CN111966742A
CN111966742A CN202010964368.5A CN202010964368A CN111966742A CN 111966742 A CN111966742 A CN 111966742A CN 202010964368 A CN202010964368 A CN 202010964368A CN 111966742 A CN111966742 A CN 111966742A
Authority
CN
China
Prior art keywords
storage
file
data
server
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010964368.5A
Other languages
English (en)
Inventor
高中杰
宋仲伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantum Shuju Beijing Technology Co ltd
Original Assignee
Quantum Shuju Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantum Shuju Beijing Technology Co ltd filed Critical Quantum Shuju Beijing Technology Co ltd
Priority to CN202010964368.5A priority Critical patent/CN111966742A/zh
Publication of CN111966742A publication Critical patent/CN111966742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G06F16/152—File search processing using file content signatures, e.g. hash values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据迁移方法及系统。所述方法包括以下步骤：客户端向跟踪服务器传输上传连接请求；客户端接收跟踪服务器传输的存储身份信息；客户端根据存储身份信息，向可用存储服务器传输上传文件请求；客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘；客户端接收并存储可用存储服务器传输的文件索引信息，实现ETL过程中高效的上传文件。本申请通过将文件保存在磁盘中，并把访问路径存储在数据库字段中，减少数据库中数据量的存储，提高了ETL过程中数据迁移效率；且访问时直接从文件系统拿数据，缩短访问路径。

Description

数据迁移方法及系统
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种数据迁移方法及系统。
背景技术
现在的WEB应用离不开各种图片、视频和文档等资源文件的使用，这种资源本身占用存储空间大，修改频率小。目前，业界对这种资源主要的处理方式之一是：把资源直接以二进制的形式存储在数据库中。
数据存储在数据库的blob字段中，使得数据文件变的巨大，对于查询等操作因为扫描文件时间变长使得整个查询变慢，也使得数据库备份变得巨大，越来越耗时间。并且这种方式对文件的访问需要穿越应用层和数据库层，由此可知，在现代系统中已不能将图片、视频和文档等资源文件以二进制数据形式直接存储在数据库中。
因此，需要将本来在数据库中存储的图片、视频和文档等资源文件的二进制数据迁移至文件系统，将资源文件保存在文件系统中，能够减少数据库中数据量的存储，减轻数据库压。这个迁移过程称为ETL(Extract-Transform-Load，数据仓库技术)，ETL用来描述将数据从来源端经过抽取、转换、加载至目的端的过程。常用的ETL工具有很多，在众多的WritePlugin(写入插件)中，只是单一的数据源写入，数据库中存储的二进制数据在ETL过程中迁移效率低。
针对相关技术中传统的ETL过程中数据迁移效率低、数据导入方式效率低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据迁移方法及系统，以解决传统的ETL过程中数据迁移效率低、数据导入方式效率低的问题。
为了实现上述目的，第一方面，本申请提供了一种基于客户端侧的数据迁移方法。
根据本申请的数据迁移方法，包括以下步骤：
客户端向跟踪服务器传输上传连接请求；上传连接请求用于指示跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
客户端接收跟踪服务器传输的存储身份信息；
客户端根据存储身份信息，向可用存储服务器传输上传文件请求；上传文件请求用于指示可用存储服务器分配数据存储目录；数据存储目录为磁盘的存储目录；
客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘；
客户端接收并存储可用存储服务器传输的文件索引信息；文件索引信息为可用存储服务器根据数据存储目录生成得到；文件索引信息包括数据存储目录。
在其中一个实施例中，在客户端向跟踪服务器传输上传连接请求的步骤之前包括：
客户端在服务器集群中，选取任意一个跟踪服务器，并将上传连接请求传输给选取的跟踪服务器。
第二方面，本申请提供了一种基于跟踪服务器侧的数据迁移方法。
根据本申请的数据迁移方法，包括以下步骤：
跟踪服务器接收客户端传输的上传连接请求；
跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
跟踪服务器将存储身份信息传输给客户端，以使客户端根据存储身份信息，将待迁移文件数据传输给可用存储服务器，且接收并存储可用存储服务器传输的文件索引信息。
在其中一个实施例中，跟踪服务器查询并选取可用存储服务器的步骤包括：
跟踪服务器基于第一预设规则选取存储组；存储组包括若干个存储服务器；第一预设规则为：轮询所有的存储组选取空闲的存储组或基于存储组的身份信息选取相应的存储组或基于存储空间选取剩余存储空间多的存储组；
跟踪服务器在选取的存储组中，基于第二预设规则选取得到可用存储服务器。
在其中一个实施例中，跟踪服务器在选取的存储组中，基于第二预设规则选取得到可用存储服务器的步骤包括：
第二预设规则为：轮询存储组中各个存储服务器选取空闲的存储服务器或基于IP信息排序选取对应IP信息排第一的存储服务器或基于优先级排序选取第一优先级的存储服务器。
第三方面，本申请提供了一种基于可用存储服务器侧的数据迁移方法。
根据本申请的数据迁移方法，包括以下步骤：
可用存储服务器接收客户端传输的上传文件请求；
可用存储服务器根据上传文件请求分配数据存储目录，并将生成的上传响应信息传输给客户端；数据存储目录为磁盘的存储目录；
可用存储服务器接收客户端传输的待迁移文件数据，并基于数据存储目录将待迁移文件数据写入磁盘；
可用存储服务器根据数据存储目录生成文件索引信息，并将文件索引信息传输给客户端；文件索引信息包括数据存储目录。
在其中一个实施例中，可用存储服务器根据上传文件请求分配数据存储目录的步骤包括：
可用存储服务器基于第三预设规则，选取数据存储目录；第三预设规则为：轮询各个数据存储目录选取空闲的数据存储目录或基于存储空间选取对应剩余存储空间大的数据存储目录。
在其中一个实施例中，可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘的步骤包括：
可用存储服务器根据数据存储目录，生成文件标记信息；文件标记信息包括存储身份信息、文件创建时间、文件大小、文件crc32和随机数；
可用存储服务器基于数据存储目录，将待迁移文件数据以文件标记信息为文件名存储在磁盘。
在其中一个实施例中，数据存储目录包括两级目录；两级目录包括256×256数量的子目录；
可用存储服务器根据上传文件请求分配数据存储目录的步骤之后包括：
可用存储服务器在两级目录中选取任意一个子目录；
可用存储服务器基于选取的子目录将待迁移文件数据写入磁盘。
在其中一个实施例中，文件索引信息还包括对应待迁移文件数据的文件名；
可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘的步骤之后包括：
可用存储服务器生成对应待迁移文件数据的文件名；文件名包括存储身份信息、文件创建时间、文件大小、随机数和文件拓展名。
第四方面，本申请还提供了一种基于客户端侧的数据迁移装置，包括：
上传连接请求发送单元，用于客户端向跟踪服务器传输上传连接请求；上传连接请求用于指示跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
身份信息接收单元，用于客户端接收跟踪服务器传输的存储身份信息；
上传文件请求单元，用于客户端根据存储身份信息，向可用存储服务器传输上传文件请求；上传文件请求用于指示可用存储服务器分配数据存储目录；数据存储目录为磁盘的存储目录；
上传文件响应单元，用于客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘；
文件索引信息反馈单元，用于客户端接收并存储可用存储服务器传输的文件索引信息；文件索引信息为可用存储服务器根据数据存储目录生成得到；文件索引信息包括数据存储目录。
第五方面，本申请还提供了一种基于跟踪服务器侧的数据迁移装置，包括：
上传连接请求接收单元，用于跟踪服务器接收客户端传输的上传连接请求；
存储身份信息生成单元，用于跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
存储身份信息传输单元，用于跟踪服务器将存储身份信息传输给客户端，以使客户端根据存储身份信息，将待迁移文件数据传输给可用存储服务器，且接收并存储可用存储服务器传输的文件索引信息。
第六方面，本申请还提供了一种基于可用存储服务器侧的数据迁移装置，包括：
上传文件请求接收单元，用于可用存储服务器接收客户端传输的上传文件请求；
上传响应信息发送单元，用于可用存储服务器根据上传文件请求分配数据存储目录，并将生成的上传响应信息传输给客户端；数据存储目录为磁盘的存储目录；
待迁移文件数据接收单元，用于可用存储服务器接收客户端传输的待迁移文件数据，并基于数据存储目录将待迁移文件数据写入磁盘；
文件索引信息发送单元，用于可用存储服务器根据数据存储目录生成文件索引信息，并将文件索引信息传输给客户端；文件索引信息包括数据存储目录。
第七方面，本申请还提供了一种数据迁移系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一项数据迁移方法的步骤。
第八方面，本申请还提供了一种数据迁移系统，包括客户端、跟踪服务器和可用存储服务器；客户端、跟踪服务器和可用存储服务器相互通信连接；
客户端用于执行上述任一项基于客户端侧的数据迁移方法的步骤；
跟踪服务器用于执行上述任一项基于跟踪服务器侧的数据迁移方法的步骤；
可用存储服务器用于执行上述任一项基于可用存储服务器数据迁移方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项的数据迁移方法的步骤。
在本申请实施例中，提供一种数据迁移方法，客户端向跟踪服务器传输上传连接请求；跟踪服务器根据上传连接请求，查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；客户端接收跟踪服务器传输的存储身份信息；客户端根据存储身份信息，向可用存储服务器传输上传文件请求；使得可用存储服务器根据上传文件请求分配数据存储目录；客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘，同时可用存储服务器根据数据存储目录生成得到文件索引信息；客户端接收并存储可用存储服务器传输的文件索引信息，实现ETL过程中高效的上传文件。本申请通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的数据迁移方法的应用环境示意图；
图2是根据本申请实施例提供的基于客户端侧的数据迁移方法的流程示意图；
图3是根据本申请实施例提供的基于跟踪服务器侧的数据迁移方法的流程示意图；
图4是根据本申请实施例提供的基于可用存储服务器侧的数据迁移方法的流程示意图；
图5是根据本申请实施例提供的数据迁移系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请提供的数据迁移方法，可以应用于如图1所示的应用环境中。其中，客户端102、跟踪服务器104和存储服务器106相互通信连接。其中，客户端102指的是业务请求的发起方，客户端102可包括数据库字段；客户端102可通过专有接口，使用TCP/IP协议与跟踪服务器104和/或存储服务器106进行数据交互。专有接口可以但不限于是upload(上传)接口、download(下载)接口、append(添加)接口和delete(删除)接口等。跟踪服务器104主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器106的状态信息，是客户端102和存储服务器106交互的枢纽。存储服务器106(又称：存储节点或数据服务器)，文件和文件属性(meta data)都保存到存储服务器106上。存储服务器106可直接利用OS的文件系统调用管理文件。
在一个实施例中，如图2所示，提供了一种基于客户端侧的数据迁移方法，以该方法应用于图1的客户端为例进行说明，包括以下步骤：
步骤S210，客户端向跟踪服务器传输上传连接请求；上传连接请求用于指示跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息。
其中，客户端存储有待迁移数据，及待迁移存储存储在数据库的Blob字段中。跟踪服务器是客户端和跟踪服务器交互的枢纽，无需记录文件索引信息，占用的内存量很少。存储服务器可以以组(卷，group或volume)为单位组织，一个组(group)内可包含多台存储服务器，数据互为备份，存储空间以(group)内容量最小的存储服务器为准。可用存储服务器是存储组中的其中一个存储服务器。上传连接请求指的是客户端发起的用来与存储服务器建立上传连接的请求。存储身份信息指的是相应存储服务器的身份信息；在一个示例中，存储身份信息可以是相应存储服务器的服务器IP地址。
具体地，客户端可向跟踪服务器传输上传连接请求；跟踪服务器可根据接收到的上传连接请求，查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息。
需要说明的是，跟踪服务器需要管理的元信息很少，会全部存储在内存中；另外跟踪服务器上的元信息都是由存储服务器汇报的信息生成的，本身不需要持久化任何数据，这样使得跟踪服务器非常容易扩展，直接增加跟踪服务器即可扩展为跟踪服务器集群来服务，跟踪服务器集群里每个跟踪服务器之间是完全对等的，所有的跟踪服务器都接受存储服务器的心跳信息，生成元数据信息来提供读写服务。
步骤S220，客户端接收跟踪服务器传输的存储身份信息。
具体地，跟踪服务器可将生成的对应可用存储服务器的存储身份信息传输给客户端，客户端可接收跟踪服务器传输的存储身份信息，进而客户端可根据存储身份信息，与相应的可用存储服务器建立传输连接。
步骤S230，客户端根据存储身份信息，向可用存储服务器传输上传文件请求；上传文件请求用于指示可用存储服务器分配数据存储目录；数据存储目录为磁盘的存储目录。
其中，上传文件请求是由客户端发起的，可用来与可用存储服务器建立上传连接。数据存储目录指的是可用存储服务器配置的存储目录。存储组内每个存储服务器的存储依赖于本地文件系统，存储服务器可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为存储服务器的数据存储目录。
具体地，客户端根据存储身份信息，向可用存储服务器传输上传文件请求，进而可用存储服务器可上传文件请求分配相应磁盘的数据存储目录。
步骤S240，客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘。
其中，上传响应信息可用来指示存储服务器与客户端之间的文件上传通道建立成功。待迁移文件数据指的是文本数据。例如待迁移文件数据可以但不限于是图片，文档和二进制数据等。
具体地，可用存储服务器可根据接收到的上传文件请求，生成上传响应信息，并将生成的上传响应信息传输给客户端；客户端可接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入相应的磁盘，实现对客户端内的待迁移文件数据迁移至存储服务器中。
步骤S250，客户端接收并存储可用存储服务器传输的文件索引信息；文件索引信息为可用存储服务器根据数据存储目录生成得到；文件索引信息包括数据存储目录。
其中，文件索引信息(Fileid)可用于访问相应迁移文件数据的索引信息。
具体地，可用存储服务器将待迁移文件数据存储到相应的磁盘后，可用存储服务器可根据数据存储目录，生成对应该待迁移文件数据的文件索引信息，并将生成的文件索引信息传输给客户端；客户端接收并存储可用存储服务器传输的文件索引信息，实现将待迁移文件数据保存在可用存储服务器中，并把待迁移文件数据的文件索引信息(访问路径)存储在客户端(数据库字段)中，大大减少数据库中数据量的存储，减轻数据库压力。在访问上，直接从文件系统拿数据，缩短访问路径。
具体而言，客户端将待迁移文件数据上传成功后，存储服务器将相应的文件索引信息返回给客户端，此文件索引信息用于访问该文件的索引信息。需要将该文件索引信息保存到客户端的数据库中，实现ETL过程中高效的上传文件。
上述实施例中，通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
在一个具体的实施例中，在客户端向跟踪服务器传输上传连接请求的步骤之前包括：
客户端在服务器集群中，选取任意一个跟踪服务器，并将上传连接请求传输给选取的跟踪服务器。
具体地，当服务器集群中不止一个跟踪服务器时，由于跟踪服务器之间是完全对等的关系，客户端在上传文件前可以任意选择一个跟踪服务器，并将上传连接请求传输给选取的跟踪服务器。
具体而言，客户端在上传文件前，可在服务器聚群中任意选择一个跟踪服务器，并将上传连接请求传输给选取的跟踪服务器。客户端将待迁移文件数据上传成功后，存储服务器将相应的文件索引信息返回给客户端，此文件索引信息用于访问该文件的索引信息。需要将该文件索引信息保存到客户端的数据库中，实现ETL过程中高效的上传文件。
上述实施例中，通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
在一个实施例中，如图3所示，提供了一种基于跟踪服务器侧的数据迁移方法，以该方法应用于图1的跟踪服务器为例进行说明，包括以下步骤：
步骤S310，跟踪服务器接收客户端传输的上传连接请求。
步骤S320，跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息。
步骤S330，跟踪服务器将存储身份信息传输给客户端，以使客户端根据存储身份信息，将待迁移文件数据传输给可用存储服务器，且接收并存储可用存储服务器传输的文件索引信息。
具体而言，跟踪服务器可接收客户端传输的上传连接请求。跟踪服务器根据接收到的上传连接请求，查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息。跟踪服务器可将生成的对应可用存储服务器的存储身份信息传输给客户端，以使客户端根据存储身份信息，与相应的可用存储服务器建立传输连接，从而客户端根据存储身份信息，向可用存储服务器传输上传文件请求，进而可用存储服务器可上传文件请求分配相应磁盘的数据存储目录。可用存储服务器可根据接收到的上传文件请求，生成上传响应信息，并将生成的上传响应信息传输给客户端；客户端可接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入相应的磁盘，实现对客户端内的待迁移文件数据迁移至存储服务器中。使得可用存储服务器将待迁移文件数据存储到相应的磁盘后，可用存储服务器可根据数据存储目录，生成对应该待迁移文件数据的文件索引信息，并将生成的文件索引信息传输给客户端；并使得客户端接收并存储可用存储服务器传输的文件索引信息，实现将待迁移文件数据保存在可用存储服务器中，并把待迁移文件数据的文件索引信息(访问路径)存储在客户端(数据库字段)中，大大减少数据库中数据量的存储，减轻数据库压力。在访问上，直接从文件系统拿数据，缩短访问路径。
上述实施例中，通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
在一个具体的实施例中，跟踪服务器查询并选取可用存储服务器的步骤包括：
跟踪服务器基于第一预设规则选取存储组；存储组包括若干个存储服务器；第一预设规则为：轮询所有的存储组选取空闲的存储组或基于存储组的身份信息选取相应的存储组或基于存储空间选取剩余存储空间多的存储组；
跟踪服务器在选取的存储组中，基于第二预设规则选取得到可用存储服务器。
其中，存储组(group)也可称为存储卷。存储组可包括多个存储服务器，同组内的存储服务器上的文件是完全相同的，同一组内的存储服务器之间是对等的。对于文件上传和删除等操作可以在任意一台存储服务器上进行。
具体地，当存储多个存储组时，跟踪服务器可基于第一预设规则选取存储组。当跟踪服务器接收到上传文件请求时，会为该待迁移文件数据分配一个可以存储该文件的存储组，支持如下任意一种选择存储组的第一预设规则：对所有的存储组进行轮询；指定某一个确定的存储组；以及剩余存储空间多的存储组优选。
进一步的，跟踪服务器可轮询所有的存储组，选取空闲的存储组作为目标存储组，进而跟踪服务器可在选取的存储组中，基于第二预设规则选取得到可用存储服务器。
进一步的，跟踪服务器可基于预先获取的存储组的身份信息，选取相应的存储组作为目标存储组，进而跟踪服务器可在选取的存储组中，基于第二预设规则选取得到可用存储服务器。
进一步的，跟踪服务器可基于存储空间的大小，选取剩余存储空间多的存储组作为目前存储组，进而跟踪服务器可在选取的存储组中，基于第二预设规则选取得到可用存储服务器。
在一个具体的实施例中，跟踪服务器在选取的存储组中，基于第二预设规则选取得到可用存储服务器的步骤包括：
第二预设规则为：轮询存储组中各个存储服务器选取空闲的存储服务器或基于IP信息排序选取对应IP信息排第一的存储服务器或基于优先级排序选取高优先级的存储服务器。
其中，IP信息指的是存储服务器的IP地址信息。
具体地，当选定存储组后，跟踪服务器会在选定的存储组内选择一个存储服务器作为可用存储服务器给客户端，支持如下任意一种选择存储服务器的规则：在存储组内的所有存储服务器间轮询选取；按存储组内的存储服务器的IP信息排序选取；按存储组内的存储服务器的优先级排序选取。
进一步的，跟踪服务器可轮询存储组中各个存储服务器，选取空闲的存储服务器作为可用存储服务器。
进一步的，跟踪服务器可基于存储服务器的IP信息排序，选取对应IP信息排第一的存储服务器作为可用存储服务器。
进一步的，跟踪服务器可基于存储服务器的优先级排序，选取高优先级的存储服务器作为可用存储服务器。
在一个实施例中，如图4所示，提供了一种基于可用存储服务器侧的数据迁移方法，以该方法应用于图1的可用存储服务器为例进行说明，包括以下步骤：
步骤S410，可用存储服务器接收客户端传输的上传文件请求。
步骤S420，可用存储服务器根据上传文件请求分配数据存储目录，并将生成的上传响应信息传输给客户端；数据存储目录为磁盘的存储目录。
步骤S430，可用存储服务器接收客户端传输的待迁移文件数据，并基于数据存储目录将待迁移文件数据写入磁盘。
步骤S440，可用存储服务器根据数据存储目录生成文件索引信息，并将文件索引信息传输给客户端；文件索引信息包括数据存储目录。
具体而言，可用存储服务器可根据接收到的上传文件请求分配数据存储目录，并将生成的上传响应信息传输给客户端，可用存储服务器接收客户端传输的待迁移文件数据，并基于数据存储目录将待迁移文件数据写入磁盘。客户端将待迁移文件数据上传成功后，存储服务器将相应的文件索引信息返回给客户端，此文件索引信息用于访问该文件的索引信息。需要将该文件索引信息保存到客户端的数据库中，实现ETL过程中高效的上传文件。
上述实施例中，通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
在一个具体的实施例中，可用存储服务器根据上传文件请求分配数据存储目录的步骤包括：
可用存储服务器基于第三预设规则，选取分配数据存储目录；第三预设规则为：轮询各个数据存储目录选取空闲的数据存储目录或基于存储空间选取对应剩余存储空间大的数据存储目录。
具体地，当选定可用存储服务器后，客户端将向可用存储服务器发送写上传文件请求，存储服务器将会为对应待迁移文件数据分配一个数据存储目录，支持如下任意一种分配规则：多个数据存储目录间轮询选取；数据存储目录的剩余存储空间最多的优先选取。
进一步的，可用存储服务器可轮询存储服务器中所有的数据存储目录，选取空闲的数据存储目录作为目标的数据存储目录。
进一步的，可用存储服务器可基于存储空间大小，选取数据存储目录的剩余存储空间最多的作为目标的数据存储目录。
在一个具体的实施例中，可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘的步骤包括：
可用存储服务器根据数据存储目录，生成文件标记信息；文件标记信息包括存储身份信息、文件创建时间、文件大小、文件crc32和随机数；
可用存储服务器基于数据存储目录，将待迁移文件数据以文件标记信息为文件名存储在磁盘。
其中，存储身份信息可以是可用存储服务器的IP地址信息。
具体地，可用存储服务器选定数据存储目录之后，可用存储服务器会为文件生一个文件标记信息，该文件标记信息可由存储身份信息、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，
进一步的，可用存储服务器可将文件标记信息设置为二进制串，进而可将这个二进制串进行base64编码，转换为可打印的字符串。
具体地，可用存储服务器可将待迁移文件数据以相应的文件标记信息为文件名存储在对应数据存储目录的磁盘中。
上述实施例中，通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
在一个具体的实施例中，数据存储目录包括两级目录；两级目录包括256×256数量的子目录。可用存储服务器根据上传文件请求分配数据存储目录的步骤之后包括：
可用存储服务器在两级目录中选取任意一个子目录；
可用存储服务器基于选取的子目录将待迁移文件数据写入磁盘。
具体地，可用存储服务器可在每个虚拟磁盘路径下创建两级目录，用于存储待迁移文件数据。可用存储服务器当选定数据存储目录之后，可用存储服务器在两级目录中选取任意一个子目录；可用存储服务器会基于文件标记信息对两级目录进行两次hash(猜测)，路由到其中一个子目录，然后将待迁移文件数据存储至该子目录下。
在一个具体的实施例中，文件索引信息还包括对应待迁移文件数据的文件名。可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘的步骤之后包括：
可用存储服务器生成对应待迁移文件数据的文件名；文件名包括存储身份信息、文件创建时间、文件大小、随机数和文件拓展名。
具体地，文件索引信息是客户端上传待迁移文件数据后，可用存储服务器返回给客户端的，用于以后访问该待迁移文件数据的索引信息。可用存储服务器可根据特定信息对应待迁移文件数据的文件名。文件名包括存储身份信息(如存储服务器的IP地址)、文件创建时间、文件大小、随机数和文件拓展名。
在一个示例中，当待迁移文件数据存储到选取的子目录后，即认为该待迁移文件数据存储成功，接下来会为该待迁移文件数据生成一个文件名，文件名由存储组、数据存储目录、两级子目录、文件标记信息、文件后缀名(由客户端指定，主要用于区分文件类型)拼接而成。
在一个示例中，文件索引信息还包括组名和虚拟磁盘路径。其中，组名指的是待迁移文件数据上传后所在的存储组名称，在文件上传成功后有存储服务器返回，需要客户端自行保存。虚拟磁盘路径指的是存储服务器配置的虚拟路径，与磁盘选项store_path*对应。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于客户端侧的数据迁移装置，该装置包括：
上传连接请求发送单元，用于客户端向跟踪服务器传输上传连接请求；上传连接请求用于指示跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息。
身份信息接收单元，用于客户端接收跟踪服务器传输的存储身份信息。
上传文件请求单元，用于客户端根据存储身份信息，向可用存储服务器传输上传文件请求；上传文件请求用于指示可用存储服务器分配数据存储目录；数据存储目录为磁盘的存储目录。
上传文件响应单元，用于客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘。
文件索引信息反馈单元，用于客户端接收并存储可用存储服务器传输的文件索引信息；文件索引信息为可用存储服务器根据数据存储目录生成得到；文件索引信息包括数据存储目录。
在一个实施例中，提供了一种基于跟踪服务器侧的数据迁移装置，该装置包括：
上传连接请求接收单元，用于跟踪服务器接收客户端传输的上传连接请求；
存储身份信息生成单元，用于跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
存储身份信息传输单元，用于跟踪服务器将存储身份信息传输给客户端，以使客户端根据存储身份信息，将待迁移文件数据传输给可用存储服务器，且接收并存储可用存储服务器传输的文件索引信息。
在一个实施例中，提供了一种基于可用存储服务器侧的数据迁移装置，该装置包括：
上传文件请求接收单元，用于可用存储服务器接收客户端传输的上传文件请求；
上传响应信息发送单元，用于可用存储服务器根据上传文件请求分配数据存储目录，并将生成的上传响应信息传输给客户端；数据存储目录为磁盘的存储目录；
待迁移文件数据接收单元，用于可用存储服务器接收客户端传输的待迁移文件数据，并基于数据存储目录将待迁移文件数据写入磁盘；
文件索引信息发送单元，用于可用存储服务器根据数据存储目录生成文件索引信息，并将文件索引信息传输给客户端；文件索引信息包括数据存储目录。
关于数据迁移装置的具体限定可以参见上文中对于数据迁移方法的限定，在此不再赘述。上述数据迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于数据迁移系统中的处理器中，也可以以软件形式存储于数据迁移系统中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种数据迁移系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一项数据迁移方法的步骤
具体地，处理器可包括客户端、跟踪服务器和存储服务器。客户端、跟踪服务器和存储服务器之间相互通信连接。
进一步的，客户端向跟踪服务器传输上传连接请求；上传连接请求用于指示跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
客户端接收跟踪服务器传输的存储身份信息；
客户端根据存储身份信息，向可用存储服务器传输上传文件请求；上传文件请求用于指示可用存储服务器分配数据存储目录；数据存储目录为磁盘的存储目录；
客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘；
客户端接收并存储可用存储服务器传输的文件索引信息；文件索引信息为可用存储服务器根据数据存储目录生成得到；文件索引信息包括数据存储目录。
上述实施例中，通过将资源文件保存在磁盘(文件系统)中，并把保存资源文件的访问路径存储在数据库字段中，大大减少数据库中数据量的存储，减轻数据库压力，提高了ETL过程中数据迁移效率和数据导入效率；在访问上，直接从文件系统拿数据，缩短访问路径。
在一个实施例中，如图5所示，提供了一种数据迁移系统，包括客户端510、跟踪服务器520和可用存储服务器530；客户端510、跟踪服务器520和可用存储服务器530相互通信连接。
客户端510可用于执行上述任一项基于客户端侧的数据迁移方法的步骤。
具体地，客户端510可用于执行以下步骤：
客户端向跟踪服务器传输上传连接请求；上传连接请求用于指示跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
客户端接收跟踪服务器传输的存储身份信息；
客户端根据存储身份信息，向可用存储服务器传输上传文件请求；上传文件请求用于指示可用存储服务器分配数据存储目录；数据存储目录为磁盘的存储目录；
客户端接收可用存储服务器传输的上传响应信息，并根据上传响应信息将待迁移文件数据传输给可用存储服务器，以使可用存储服务器基于数据存储目录将待迁移文件数据写入磁盘；
客户端接收并存储可用存储服务器传输的文件索引信息；文件索引信息为可用存储服务器根据数据存储目录生成得到；文件索引信息包括数据存储目录。
跟踪服务器520用于执行上述任一项基于跟踪服务器侧的数据迁移方法的步骤。
具体地，跟踪服务器50可用于执行以下步骤：
跟踪服务器接收客户端传输的上传连接请求；
跟踪服务器查询并选取可用存储服务器，并生成对应可用存储服务器的存储身份信息；
跟踪服务器将存储身份信息传输给客户端，以使客户端根据存储身份信息，将待迁移文件数据传输给可用存储服务器，且接收并存储可用存储服务器传输的文件索引信息。
可用存储服务器530用于执行上述任一项基于可用存储服务器数据迁移方法的步骤。
具体地，可用存储服务器530可用于执行以下步骤：
可用存储服务器接收客户端传输的上传文件请求；
可用存储服务器根据上传文件请求分配数据存储目录，并将生成的上传响应信息传输给客户端；数据存储目录为磁盘的存储目录；
可用存储服务器接收客户端传输的待迁移文件数据，并基于数据存储目录将待迁移文件数据写入磁盘；
可用存储服务器根据数据存储目录生成文件索引信息，并将文件索引信息传输给客户端；文件索引信息包括数据存储目录。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项的数据迁移方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据迁移方法，其特征在于，包括以下步骤：
客户端向跟踪服务器传输上传连接请求；所述上传连接请求用于指示所述跟踪服务器查询并选取可用存储服务器，并生成对应所述可用存储服务器的存储身份信息；
所述客户端接收所述跟踪服务器传输的所述存储身份信息；
所述客户端根据所述存储身份信息，向所述可用存储服务器传输上传文件请求；所述上传文件请求用于指示所述可用存储服务器分配数据存储目录；所述数据存储目录为磁盘的存储目录；
所述客户端接收所述可用存储服务器传输的上传响应信息，并根据所述上传响应信息将待迁移文件数据传输给所述可用存储服务器，以使所述可用存储服务器基于所述数据存储目录将所述待迁移文件数据写入所述磁盘；
所述客户端接收并存储所述可用存储服务器传输的文件索引信息；所述文件索引信息为所述可用存储服务器根据所述数据存储目录生成得到；所述文件索引信息包括所述数据存储目录。
2.如权利要求1所述的数据迁移方法，其特征在于，在所述客户端向跟踪服务器传输上传连接请求的步骤之前包括：
所述客户端在服务器集群中，选取任意一个跟踪服务器，并将所述上传连接请求传输给选取的跟踪服务器。
3.一种数据迁移方法，其特征在于，包括以下步骤：
跟踪服务器接收客户端传输的上传连接请求；
所述跟踪服务器查询并选取可用存储服务器，并生成对应所述可用存储服务器的存储身份信息；
所述跟踪服务器将所述存储身份信息传输给所述客户端，以使所述客户端根据所述存储身份信息，将待迁移文件数据传输给所述可用存储服务器，且接收并存储所述可用存储服务器传输的文件索引信息。
4.如权利要求3所述的数据迁移方法，其特征在于，所述跟踪服务器查询并选取可用存储服务器的步骤包括：
所述跟踪服务器基于第一预设规则选取存储组；所述存储组包括若干个存储服务器；所述第一预设规则为：轮询所有的存储组选取空闲的存储组或基于存储组的身份信息选取相应的存储组或基于存储空间选取剩余存储空间多的存储组；
所述跟踪服务器在选取的存储组中，基于第二预设规则选取得到所述可用存储服务器。
5.如权利要求4所述的数据迁移方法，其特征在于，所述跟踪服务器在选取的存储组中，基于第二预设规则选取得到所述可用存储服务器的步骤包括：
所述第二预设规则为：轮询存储组中各个存储服务器选取空闲的存储服务器或基于IP信息排序选取对应所述IP信息排第一的存储服务器或基于优先级排序选取第一优先级的存储服务器。
6.一种数据迁移方法，其特征在于，包括以下步骤：
可用存储服务器接收客户端传输的上传文件请求；
所述可用存储服务器根据所述上传文件请求分配数据存储目录，并将生成的上传响应信息传输给所述客户端；所述数据存储目录为磁盘的存储目录；
所述可用存储服务器接收所述客户端传输的待迁移文件数据，并基于所述数据存储目录将所述待迁移文件数据写入所述磁盘；
所述可用存储服务器根据所述数据存储目录生成文件索引信息，并将所述文件索引信息传输给客户端；所述文件索引信息包括所述数据存储目录。
7.如权利要求6所述的数据迁移方法，其特征在于，所述可用存储服务器根据所述上传文件请求分配数据存储目录的步骤包括：
所述可用存储服务器基于第三预设规则，选取所述数据存储目录；所述第三预设规则为：轮询各个数据存储目录选取空闲的数据存储目录或基于存储空间选取对应剩余存储空间大的数据存储目录。
8.如权利要求6所述的数据迁移方法，其特征在于，所述可用存储服务器基于所述数据存储目录将所述待迁移文件数据写入所述磁盘的步骤包括：
所述可用存储服务器根据所述数据存储目录，生成文件标记信息；所述文件标记信息包括存储身份信息、文件创建时间、文件大小、文件crc32和随机数；
所述可用存储服务器基于所述数据存储目录，将所述待迁移文件数据以所述文件标记信息为文件名存储在所述磁盘。
9.一种数据迁移系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述数据迁移方法的步骤。
10.一种数据迁移系统，其特征在于，包括客户端、跟踪服务器和可用存储服务器；所述客户端、所述跟踪服务器和所述可用存储服务器相互通信连接；
所述客户端用于执行权利要求1至2中任一项所述数据迁移方法的步骤；
所述跟踪服务器用于执行权利要求3至5中任一项所述数据迁移方法的步骤；
所述可用存储服务器用于执行权利要求6至8中任一项所述数据迁移方法的步骤。
CN202010964368.5A 2020-09-14 2020-09-14 数据迁移方法及系统 Pending CN111966742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010964368.5A CN111966742A (zh) 2020-09-14 2020-09-14 数据迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010964368.5A CN111966742A (zh) 2020-09-14 2020-09-14 数据迁移方法及系统

Publications (1)

Publication Number Publication Date
CN111966742A true CN111966742A (zh) 2020-11-20

Family

ID=73393230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010964368.5A Pending CN111966742A (zh) 2020-09-14 2020-09-14 数据迁移方法及系统

Country Status (1)

Country Link
CN (1) CN111966742A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702697A (zh) * 2020-12-03 2021-04-23 广州启盟信息科技有限公司 位置感应数据接收方法、装置及系统
CN113282246A (zh) * 2021-06-15 2021-08-20 杭州海康威视数字技术股份有限公司 数据处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763604A (zh) * 2016-02-04 2016-07-13 四川长虹电器股份有限公司 轻量级分布式文件系统及恢复下载文件原名的方法
WO2018122961A1 (ja) * 2016-12-27 2018-07-05 株式会社日立製作所 システム、データ管理方法、及びファイルサーバ
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法
CN111159133A (zh) * 2019-12-16 2020-05-15 北京航天智造科技发展有限公司 一种基于微服务的分布式论坛系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763604A (zh) * 2016-02-04 2016-07-13 四川长虹电器股份有限公司 轻量级分布式文件系统及恢复下载文件原名的方法
WO2018122961A1 (ja) * 2016-12-27 2018-07-05 株式会社日立製作所 システム、データ管理方法、及びファイルサーバ
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法
CN111159133A (zh) * 2019-12-16 2020-05-15 北京航天智造科技发展有限公司 一种基于微服务的分布式论坛系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702697A (zh) * 2020-12-03 2021-04-23 广州启盟信息科技有限公司 位置感应数据接收方法、装置及系统
CN113282246A (zh) * 2021-06-15 2021-08-20 杭州海康威视数字技术股份有限公司 数据处理方法及装置
CN113282246B (zh) * 2021-06-15 2023-07-04 杭州海康威视数字技术股份有限公司 数据处理方法及装置

Similar Documents

Publication Publication Date Title
US11372897B1 (en) Writing of data to a storage system that implements a virtual file structure on an unstructured storage layer
CN102708165B (zh) 分布式文件系统中的文件处理方法及装置
US9183213B2 (en) Indirection objects in a cloud storage system
US8086634B2 (en) Method and apparatus for improving file access performance of distributed storage system
EP3739845A1 (en) Resource scheduling method, apparatus, device and system
CN107562757B (zh) 基于分布式文件系统的查询、访问方法、装置及系统
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
CN102523279A (zh) 一种分布式文件系统及其热点文件存取方法
US9355121B1 (en) Segregating data and metadata in a file system
CN103647797A (zh) 一种分布式文件系统及其数据访问方法
CN102739622A (zh) 一种可扩展的数据存储系统
CN105608193A (zh) 分布式文件系统的数据管理方法和装置
CN111966742A (zh) 数据迁移方法及系统
CN111209259A (zh) Nas分布式文件系统及数据处理方法
CN107181773A (zh) 分布式存储系统的数据存储及数据管理方法、设备
US10387043B2 (en) Writing target file including determination of whether to apply duplication elimination
CN115840731A (zh) 文件处理方法、计算设备及计算机存储介质
CN107493309B (zh) 一种分布式系统中的文件写入方法及装置
US9626378B2 (en) Method for handling requests in a storage system and a storage node for a storage system
KR100785774B1 (ko) 객체 기반 파일 입출력 시스템 및 방법
CN111427862B (zh) 电网调度控制系统中分布式文件系统的元数据管理方法
CN115277858B (zh) 一种大数据的数据处理方法和系统
CN117075823B (zh) 对象查找方法、系统、电子设备及存储介质
CN115185887A (zh) 元数据处理方法及装置
CN116107514A (zh) 针对对象存储的数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination