CN110532247B - 数据迁移方法和数据迁移系统 - Google Patents

Abstract

本发明公开了一种数据迁移方法，适于在分布式任务调度系统中执行，该方法包括：服务器启动并完成注册；每隔预定时间发送获取任务的请求；基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息；基于任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器；对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败次数和异常数据；以及在失败次数小于最大重试次数的情况下，对异常数据进行处理和校验，直到校验成功时，将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移。

Description

数据迁移方法和数据迁移系统

技术领域

本发明涉及信息技术领域，尤其涉及一种数据迁移方法和数据迁移系统。

背景技术

互联网有很多数据量大、并发量大、复杂度高的业务场景，典型的分层架构包括业务层、服务层和数据层。这种互联网架构有时面临一些需求，如底层表结构变更，分库个数变化，底层存储介质变换等，这就需要进行数据迁移。

数据迁移又称分级存储管理，是一种将离线存储与在线存储融合的技术。现有的数据迁移方案，一种是暂停服务进行历史数据的迁移，这种方案最简单，但是影响服务的可用性，影响用户体验。一种是以某一时间节点进行数据迁移，该时间节点之后的数据在插入数据库的同时使用消息表进行记录，当该时间节点之间的数据迁移完成后，再将消息表中记录的数据变化情况同步到新库的数据中。这种方案可以保证服务的正常运行，但是在同步消息表中的数据变化时，依然会有新的数据变化产生，这样就需要逐步追平数据的变化，因此，如果数据量较大时，就需要较长时间才能完全将数据持平。还有一种是在迁移静态数据的同时，将旧库中变化的数据同时在新库中同步。这种方案一旦数据迁移过程中发生失败，无法感知，在后续进行动态数据的一致性校验时比较困难。

另一方面，对于数据迁移方案的执行，有些是基于单机部署、多线程并行处理，这种方案在数据量较大，对迁移速度要求高的场景下，很难满足需求。有些是基于分布式任务调度架构，根据已有机器数量和处理能力预设可并行执行的任务数量，但是这种方案的任务处理无法根据上下游的情况自动伸缩。有些方案在迁移历史数据时，直接将历史数据写入数据库，遇到失败的情况记录下来，在迁移完成后再统一处理失败数据。这种方案会增加失败信息处理的难度。

针对目前数据迁移中存在的问题，需要一种数据迁移方案，能够保证数据迁移的一致性和完整性，提高数据迁移的效率。

发明内容

为此，本发明提供了一种数据迁移方法和系统，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种数据迁移方法，适于在服务器中执行，在该方法中，首先服务器启动并完成注册；然后，每隔预定时间发送获取任务的请求；接着基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息。基于任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器；对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败信息，失败信息包括失败次数和异常任务信息；在失败次数小于最大重试次数的情况下，对异常任务中的数据进行处理和校验，直到校验成功时将数据源由第一数据存储器切换到第二数据存储器。

可选地，在上述方法中，在第一数据存储器中创建任务表，以便于服务器获取任务表中的任务。

可选地，在上述方法中，任务表至少包括异常信息表、服务器信息表和任务信息表。其中，异常信息表中包括异常的标识和类型、处理任务的服务器IP信息、任务的标识、异常数据开始标识、异常数据结束标识、异常信息、异常的状态、删除选项、异常信息表的创建时间和更新时间。服务器信息表中包含服务器的标识、服务器的IP信息、服务器的状态、删除选项、服务器信息表的创建时间和更新时间。任务信息表中包含任务的标识和类型、处理任务的服务器IP信息、当前任务数据开始标识、当前任务数据结束标识、最新的已处理完成的数据标识、已完成的数据量、最后一次任务完成的数据量、任务的状态、删除选项、任务的创建时间和更新时间。

可选地，在上述方法中，将服务器的IP信息添加服务器信息表中，并将服务器的状态设置为正常以完成注册。

可选地，在上述方法中，任务的配置信息包括：所有服务器中最大任务数、单个服务器的最大任务数、服务器的CPU最小空闲值和最大连接数、任务开启状态、单个任务的最大执行时间、单个任务的最大数据量、任务数据的开始时间、任务数据的结束时间。任务的状态包括执行中、暂停、超时和已完成。

可选地，在上述方法中，记录将处理后的数据写入第一数据存储器和第二数据存储器的开启时间；根据开启时间获取任务信息表中正在运行的任务的数量；以及根据开启时间、单个任务的最大执行时间和任务信息表的更新时间，查找超时的任务并设置任务的状态为超时。

可选地，在上述方法中，首先，获取任务的分布式锁；然后，判断任务是否为开启状态、服务器正在执行的任务数量是否小于该服务器的最大任务数且小于所有服务器中最大任务数，如果否，则释放分布式锁，如果是，则判断任务信息表中正在运行的任务数量是否小于所有服务器中最大任务数，如果否，则释放分布式锁，如果是，则继续判断服务器的CPU空闲值是否大于CPU最小空闲值且服务器的连接数是否小于最大连接数，如果否，则释放分布式锁，如果是，则获取暂停或超时的任务，并将任务的状态改为执行中，并返回任务信息，否则释放分布式锁。

可选地，在上述方法中，从任务信息表中获取最大的任务数据结束标识；判断最大的任务数据结束标识是否小于当前任务数据结束标识，且当前任务数据的执行时间是否大于任务数据的开始时间小于任务数据的结束时间，如果是，则按照任务数据标识的正序获取任务数据，并将任务数据放入列表中，其中，获取的任务数据的数量不大于单个任务的最大数据量；

判断获取的任务数据量是否大于0，如果否，则释放分布式锁，终止任务获取，否则创建新任务并返回任务信息，释放任务锁。

可选地，在上述方法中，从第一数据存储器中分页获取任务数据标识大于最新的已处理完成的数据标识且小于当前任务数据结束标识的第一数据格式的数据。按照正序将第一数据格式的数据转换为第二数据格式的数据。当分页获取的任务数据处理完成后，设置最新的已处理完成的数据标识为最后一条任务数据的标识，并将任务的状态改为已完成。

可选地，在上述方法中，从第一数据存储器中分页获取已完成数据迁移的历史数据；从第二数据存储器中分页获取对应的历史数据，并进行校验；当所有的历史数据校验完成后，设置最新的已处理完成的数据标识为最后一条数据的标识，并将任务的状态改为已完成。

可选地，在上述方法中，分布式锁基于Redis实现。

根据本发明另一个方面，提供一种数据迁移系统，其中包括：第一数据存储器、第二数据存储器和数据迁移装置。第一数据存储器适于存储第一数据格式的数据，第二数据存储器适于存储第二数据格式的数据。数据迁移装置包括：注册模块、请求模块、获取模块、双写模块、校验模块和异常处理模块。

其中，注册模块，适于启动服务器并完成注册；请求模块，适于每隔预定时间发送获取任务的请求；获取模块，适于基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息；双写模块，适于基于所获取的任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器；校验模块，适于对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败信息，所述失败信息好看失败次数和异常数据；以及异常处理模块，适于在失败次数小于最大重试次数的情况下，对异常数据进行处理和校验，直到校验成功时，将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移。

根据上述方案，能够保证在数据迁移的过程中不影响服务的使用，保证数据的可用性；通过分布式任务调度可以通过扩展服务器对任务进行部署，自动控制任务的执行数量；对于异常信息可以及时发现并补偿，能够减少因为网络抖动造成的读写失败。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的数据迁移过程的拓扑图；

图2示出了根据本发明的一个实施例的数据迁移方法200的示意性流程图；

图3示出了根据本发明的一个实施例的分布式任务调度流程示意图；

图4示出了根据本发明的一个实施例的数据双写和校验的示意性流程图；

图5示出了根据本发明的一个实施例的数据补偿的流程图；

图6示出了根据本发明的一个实施例的分布式数据迁移的示意性流程图；

图7示了根据本发明的一个实施例的数据迁移系统700的示意性结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

平滑数据迁移即在用户无感知的情况下完成数据迁移。首先将各种外部数据源，如日志、数据库、消息队列采集到分布式调度平台；其次由分布式调度平台将数据迁移任务分配到不同的服务器上去执行；最后将数据导出到各个目标数据源，并切换数据源完成数据迁移。为了提高数据迁移的效率，本方案提供一种数据迁移方法，能够基于分布式任务调度平台自动控制任务的执行数量，在历史数据迁移完成和校验成功后，通过下发配置的方式瞬间切换数据源，整个过程用户无感知。并且对于数据迁移过程中的异常信息能够及时处理和修复。

在大数据场景下，传统的关系型数据库，如SQL Server已经无法满足大规模互联网应用的需求，使用分布式数据库，如Hbase可以解决这一问题。如何高效地将SQL Server数据库中的数据迁移到Hbase分布式数据库是本方案要解决的问题。

图1示出了根据本发明的一个实施例的数据迁移过程的拓扑图。如图1所示，在线数据迁移一般包括以下几个步骤：双写，即同时写入新旧两种数据；历史数据迁移，即将双写之前的历史数据从原系统搬到新系统；切换数据源，即将读取数据的请求路由到新系统。需要注意的是，在某些情况下，可以先做历史数据迁移再写入新数据，这时就需要处理数据迁移时间内产生的新数据，一般可以使用队列缓存写入的方式进行写数据。

例如，可以基于分布式消息发布和订阅系统，将数据写入新系统。如图1所示，Kafka是一个分布式消息系统，可以实时处理大量数据以满足各种业务场景。Kafka集群包含一个或多个服务器，这种服务器被称为broker。消息生产者发布消息到Kafka broker。消息消费者从Kafka broker中读取消息。每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。每个topic可以分多个分区，在创建topic时，可以预先指定分区数目，Kafka在接收到生产者发送的消息后，可以根据均衡策略将消息存储到不同的分区。

双写完成后，需要对双写的数据进行一致性校验，可以从存储维度和业务维度进行校验。存储维度是指直接取SQL Server和HBase里的数据进行对比，业务维度是指从最终用户看到的数据维度进行校验。在数据校验的过程中还可以对数据进行补偿，以对异常数据进行修复。

在本方案的一个实施例中，源数据库为关系型数据库SQL Server，按行存储，而目标数据库是分布式非关系型数据库Hbase、按列存储。Hbase数据库的唯一索引就是Rowkey，所有的数据分布和查询都依赖Rowkey。由于在HBase中数据存储是Key-Value键值对形式，若HBase中同一表插入相同Rowkey，则原先的数据会被覆盖掉，所以需要保证Rowkey的唯一性，即同一条数据的保存为覆盖操作。

在执行本方案提供的数据迁移方案之前，可以首先在第一数据存储器中创建任务表，以便于服务器获取任务表中的任务。根据本发明的一个实施例，可以在关系型数据库SQL Server中创建任务表，任务表中可以包括异常信息表、服务器信息表和任务信息表。其中，异常信息表中包括异常的标识和类型、处理任务的服务器IP信息、任务的标识、异常数据开始标识、异常数据结束标识、异常信息、异常的状态、删除选项、异常信息表的创建时间和更新时间。服务器信息表中包含服务器的标识、服务器的IP信息、服务器的状态、删除选项、服务器信息表的创建时间和更新时间。任务信息表中包含任务的标识和类型、处理任务的服务器IP信息、当前任务数据开始标识、当前任务数据结束标识、最新的已处理完成的数据标识、已完成的数据量、最后一次任务完成的数据量、任务的状态、正在运行的任务数量、删除选项、任务信息表的创建时间和更新时间。

图2示出了根据本发明的一个实施例的数据迁移方法200的示意性流程图。该方法200适于在分布式任务调度系统中执行，其中分布式任务调度系统中包括一个或多个服务器。根据本发明的一个实施例，可以使用分布式配置中心Apollo将任务部署到服务器。可以是如图2所示，方法200始于步骤S210，在步骤S210中，服务器启动并完成注册。

例如，服务器可以通过在服务器列表中添加自己的IP信息，并将服务器的状态设置为正常，以完成注册。

接着在步骤S220中，服务器每隔预定时间发送获取任务的请求。

例如，可以每隔2000ms启动任务获取程序，其中获取任务的请求中可以携带以下参数：服务器的IP信息IP1，要获取的任务的类型Type1，服务器正在执行的任务数量R1。以上参数标识仅是示例性的。

随后在步骤S230中，基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息。

图3示出了根据本发明的一个实施例的分布式任务调度流程示意图。如图3所示，服务器启动注册后定时发送获取任务的请求。在分布式场景中多个服务器开启，为了保证数据的一致性，需要获取分布式锁，保证一个任务在同一时间只能被一台服务器上的一个线程执行。根据本发明的一个实施例，可以基于Redis缓存的setnx()方法实现分布式锁，获取时传入要获取的锁名称Lock1，调用Redis的setnx方法设置锁，并设置锁的过期时间为60秒，返回结果。执行setnx()方法会导致两种结果：1.当前没有锁(key不存在)，那么就进行加锁操作，并对锁设置个有效期，同时value表示加锁的客户端。2.已有锁存在，不做任何操作。如果返回结果为1则该进程获得锁，如果返回结果为0，则说明其他进程已经获得锁，该进程可以在一个循环中不断尝试setnx操作以获得锁。以上实现分布式锁的方法仅是示例性的，还可以基于数据库、zookeeper等方式实现，本方案对此不作限定。

可以基于分布式任务调度系统获取任务的配置信息，其中任务的配置信息可以包括：所有服务器中最大任务数MaxT、单个服务器的最大任务数MaxTS、服务器的CPU最小空闲值MinDBCPU1和最大连接数MaxLNum1、任务开启状态TOpen、单个任务的最大执行时间MaxRTime1、单个任务的最大数据量MaxDataNum1、任务数据的开始时间StartTime1、任务数据的结束时间EndTime1。任务的状态可以包括执行中、暂停、超时和已完成。

根据本发明的一个实施例，可以记录将处理后的数据写入第一数据存储器和第二数据存储器，即双写的开启时间T1；根据开启时间T1获取任务信息表中正在运行的任务的数量TNum；以及根据开启时间T1、单个任务的最大执行时间MaxRTime1和任务完成时间，查找超时的任务并设置任务的状态为超时。

判断任务是否为开启状态(Topen＝＝1)、服务器正在执行的任务数量R1是否小于该服务器的最大任务数MaxT且小于所有服务器中最大任务数MaxTS，如果否，则释放分布式锁Lock1，终止任务获取；如果是，

则判断任务信息表中正在运行的任务数量TNum是否小于所有服务器中最大任务数MaxT，如果否，则释放分布式锁Lock1，终止任务获取；如果是，

则继续判断服务器的CPU空闲值是否大于CPU最小空闲值MinDBCPU1且服务器的连接数是否小于最大连接数MaxLNum1，如果否，则释放分布式锁，终止任务获取；如果是，则获取暂停或超时的任务，并将任务的状态改为执行中，返回任务信息，并释放分布式锁Lock1。

根据本发明的一个实施例，可以从任务信息表中获取最大的任务数据结束标识MaxTKey1。然后，判断最大的任务数据结束标识MaxTKey1是否小于当前任务数据标识，且当前任务数据的执行时间是否大于任务数据的开始时间StartTime1小于任务数据的结束时间EndTime1，如果是，则按照任务数据标识的正序获取任务数据，并将获取的任务数据放入列表List1中。其中，获取的任务数据的数量不大于单个任务的最大数据量MaxDataNum1。判断获取的任务数据量是否大于0，如果否则创建新任务。如果任务创建成功则返回任务信息释放分布式锁Lock1，如果创建新任务失败，则释放分布式锁，终止任务获取。

其中，可以基于下列数据创建新任务：任务的类型、处理任务的机器IP＝IP1、任务标识为GUID、最新的已处理完的数据标识＝＝List1[0]的数据标识，当前任务数据开始标识＝List1[0]的数据标识、当前任务数据结束标识＝List1[last]的数据标识、任务的状态＝1。

随后可以基于获取的任务信息执行任务，在步骤S240中，基于所获取的任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器。

根据本发明的一个实施例，可以从第一数据存储器中分页获取任务数据标识大于最新的已处理完成的数据标识且小于当前任务数据结束标识的第一数据格式的数据。如果获取的数据为空，则设置任务的状态为已完成，并关闭任务。如果获取的数据非空，则按照正序将第一数据格式的数据转换为第二数据格式的数据。例如，生成Rowkey、转换为HBase的数据格式，处理数据时，时间类型数据使用“yyyy-MM-dd HH：mm：ss.SSS”格式化。当分页获取的任务数据处理完成后，设置最新的已处理完成的数据标识为最后一条任务数据的标识，并将任务的状态改为已完成。

随后在步骤S250中，对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败信息，所述失败信息包含失败次数和异常数据。

历史数据迁移完成后也需要进行一致性校验。根据本发明的一个实施例，可以从第一数据存储器中分页获取已完成数据迁移的历史数据；从第二数据存储器中分页获取对应的历史数据，并进行校验；当所有的历史数据校验完成后，设置最新的已处理完成的数据标识为最后一条数据的标识，并将任务的状态改为已完成。

可以在最新的已处理完的数据标识<获取的数据标识<＝当前任务数据结束标识的条件下，根据任务信息从第一数据存储器SQL Server中分页获取数据，例如正序获取2000条。如果获取的结果为空，设置任务的状态为已完成，关闭任务。如果获取的数据结果非空，则按照正序从第二数据存储器HBase中分页获取对应的历史数据，并进行校验。

如果校验失败则记录失败信息到异常信息表中，例如失败信息可以包括：异常信息的类型＝当前处理的任务类型，处理任务的机器ip＝当前机器IP，异常数据开始标识＝当前数据标识，异常信息＝失败信息+SQL格式数据+HBase格式数据，异常信息的状态＝1。

图4示出了根据本发明的一个实施例的数据双写和校验的示意性流程图。如图4所示，数据处理后同时写入关系型数据库SQLServer和分布式数据库Hbase中，同时对迁移后的历史数据进行校验，并保存校验进度，如果校验失败则记录失败信息。

最后在步骤S250中，在失败次数小于最大重试次数的情况下，对异常数据进行处理和校验，直到校验成功时，将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移。

根据本发明的一个实施例，可以获取异常信息表中的异常信息，并获取第一数据存储器SQL Server中的数据，按照正序循环处理数据，生成Rowkey、转换为HBase的数据格式。

图5示出了根据本发明的一个实施例的数据补偿的示意性流程图。如图5所示，获取数据处理或数据校验结果，如果数据处理或校验失败，则从失败信息中获取失败次数，判断失败次数是否超过最大失败重试次数。在失败次数小于最大失败重试次数的情况下，休眠预定时间后自动唤醒，重新对异常信息中的数据进行处理。

图6示出了根据本发明的一个实施例的分布式数据迁移的示意性流程图。接下来将结合图6说明本方案的整体流程，如图6所示，首先分布式任务调度系统中的服务器启动并完成注册；然后定时获取任务，在获取任务的过程中，根据任务的配置信息、服务器的执行状态和性能指标等从SQLServer数据库中获取任务信息；基于获取的任务信息执行任务，包括数据迁移和数据校验任务。在数据迁移过程中对数据进行处理，并将处理后的数据写入Hbase数据库，在数据校验的过程中，对SQLServer和Hbase中的数据进行一致性校验，如果校验失败则记录失败信息，并对失败信息中的数据重新进行处理。当全部任务执行完成后，通过Apollo下发HBase生效的配置。数据源切换控制模块获取到HBase生效标识后切换到HBase，观察一段时间无异常后，SQL Server下线，迁移完成。

图7示了根据本发明的一个实施例的数据迁移系统700的示意性结构图。如图7所示，数据迁移系统700包括第一数据存储器710、第二数据存储器720和数据迁移装置730。其中，第一数据存储器710可以存储第一数据格式的数据，第二数据存储器720可以存储第二数据格式的数据。

数据迁移装置730包括：注册模块731、请求模块732、获取模块733、双写模块734、校验模块735和补偿模块736。

其中，注册模块731负责启动服务器并完成注册。请求模块732可以每隔预定时间发送获取任务的请求。获取模块733可以基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息。双写模块734可以基于所获取的任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器。校验模块735可以对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败信息，所述失败信息好看失败次数和异常数据。补偿模块736可以在失败次数小于最大重试次数的情况下，对异常数据进行处理和校验，直到校验成功时，将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移。需要说明的是，本方案所述的第一数据存储器SQL Server和第二数据存储器HBase仅仅是示意性的，还可以根据实际应用场景，使用不同的数据库。

通过上述方案，能够保证在数据迁移的过程中不影响服务的使用，保证数据的可用性；通过分布式任务调度可以通过扩展服务器对任务进行部署，自动控制任务的执行数量，能够通过扩展服务器的方式提高数据处理的能力；对于异常信息可以及时发现并补偿，能够减少因为网络抖动造成的读写失败。

A10、如A8所述的方法，其中，所述对已处理的数据进行校验的步骤包括：

从第一数据存储器中分页获取已完成数据迁移的历史数据；

从第二数据存储器中分页获取对应的历史数据，并进行校验；

当所有的历史数据校验完成后，设置最新的已处理完成的数据标识为最后一条数据的标识，并将任务的状态改为已完成。

A11、如A7所述的方法，其中，所述分布式锁基于Redis实现。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种数据迁移方法，适于在分布式任务调度系统中执行，所述分布式任务调度系统包括一个或多个服务器，其中，所述方法包括：

在第一数据存储器中创建任务表，以便于服务器获取任务表中的任务，所述任务表至少包括异常信息表、服务器信息表和任务信息表，所述异常信息表中包括异常的标识和类型、处理任务的服务器IP信息、任务的标识、异常数据开始标识、异常数据结束标识、异常信息、异常的状态、删除选项、异常信息表的创建时间和更新时间，所述服务器信息表中包含服务器的标识、服务器的IP信息、服务器的状态、删除选项、服务器信息表的创建时间和更新时间，所述任务信息表中包含任务的标识和类型、处理任务的服务器IP信息、当前任务数据开始标识、当前任务数据结束标识、最新的已处理完成的数据标识、已完成的数据量、最后一次任务完成的数据量、任务的状态、正在运行的任务数量、删除选项、任务信息表的创建时间和更新时间；

服务器启动并完成注册；

每隔预定时间发送获取任务的请求；

基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息；

基于所获取的任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器；

对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败信息，所述失败信息包含失败次数和异常数据；以及

在失败次数小于最大重试次数的情况下，对异常数据进行处理和校验，直到校验成功时，将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移。

2.如权利要求1所述的方法，其中，所述服务器启动并完成注册的步骤包括：

将服务器的IP信息添加服务器信息表中，并将服务器的状态设置为正常以完成注册。

3.如权利要求1所述的方法，其中，所述任务的配置信息包括：所有服务器中最大任务数、单个服务器的最大任务数、服务器的CPU最小空闲值和最大连接数、任务开启状态、单个任务的最大执行时间、单个任务的最大数据量、任务数据的开始时间、任务数据的结束时间；所述任务的状态包括执行中、暂停、超时和已完成。

4.如权利要求3所述的方法，其中，所述方法还包括：

记录将处理后的数据写入第一数据存储器和第二数据存储器的开启时间；

根据开启时间获取任务信息表中正在运行的任务的数量；以及

根据开启时间、单个任务的最大执行时间和任务信息表的更新时间，查找超时的任务并设置任务的状态为超时。

5.如权利要求4所述的方法，其中，所述基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息的步骤包括：

获取任务的分布式锁；

判断所述任务是否为开启状态、服务器正在执行的任务数量是否小于该服务器的最大任务数且小于所有服务器中最大任务数，如果否，则释放分布式锁，如果是，

则判断任务信息表中正在运行的任务数量是否小于所有服务器中最大任务数，如果否，则释放分布式锁，如果是，

则继续判断所述服务器的CPU空闲值是否大于CPU最小空闲值且服务器的连接数是否小于最大连接数，如果否，则释放分布式锁，如果是，

则获取暂停或超时的任务，并将任务的状态改为执行中，返回任务信息并释放分布式锁。

6.如权利要求3所述的方法，其中，所述基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息的步骤还包括：

从任务信息表中获取最大的任务数据结束标识；

判断最大的任务数据结束标识是否小于当前任务数据标识，且当前任务数据的执行时间是否大于任务数据的开始时间小于任务数据的结束时间，如果是，则按照任务数据标识的正序获取任务数据，并将任务数据放入列表中，其中，获取的任务数据的数量不大于单个任务的最大数据量；

判断获取的任务数据量是否大于0，如果否，则释放分布式锁，终止任务获取，否则创建新任务并返回任务信息，释放任务锁。

7.如权利要求6所述的方法，其中，所述基于所获取的任务信息，对第一数据存储器中的数据进行处理的步骤包括：

从第一数据存储器中分页获取任务数据标识大于最新的已处理完成的数据标识且小于当前任务数据结束标识的第一数据格式的数据；

按照正序将第一数据格式的数据转换为第二数据格式的数据；

当分页获取的任务数据处理完成后，设置最新的已处理完成的数据标识为最后一条任务数据的标识，并将任务的状态改为已完成。

8.如权利要求6所述的方法，其中，所述对已处理的数据进行校验的步骤包括：

从第一数据存储器中分页获取已完成数据迁移的历史数据；

从第二数据存储器中分页获取对应的历史数据，并进行校验；

当所有的历史数据校验完成后，设置最新的已处理完成的数据标识为最后一条数据的标识，并将任务的状态改为已完成。

9.如权利要求5所述的方法，其中，所述分布式锁基于Redis实现。

10.一种数据迁移系统，其中，包括第一数据存储器、第二数据存储器和数据迁移装置，所述第一数据存储器适于存储第一数据格式的数据，所述第一数据存储器中创建有任务表，以便于服务器获取任务表中的任务，所述任务表至少包括异常信息表、服务器信息表和任务信息表，所述异常信息表中包括异常的标识和类型、处理任务的服务器IP信息、任务的标识、异常数据开始标识、异常数据结束标识、异常信息、异常的状态、删除选项、异常信息表的创建时间和更新时间，所述服务器信息表中包含服务器的标识、服务器的IP信息、服务器的状态、删除选项、服务器信息表的创建时间和更新时间，所述任务信息表中包含任务的标识和类型、处理任务的服务器IP信息、当前任务数据开始标识、当前任务数据结束标识、最新的已处理完成的数据标识、已完成的数据量、最后一次任务完成的数据量、任务的状态、正在运行的任务数量、删除选项、任务信息表的创建时间和更新时间，所述第二数据存储器适于存储第二数据格式的数据；

所述数据迁移装置包括：

注册模块，适于启动服务器并完成注册；

请求模块，适于每隔预定时间发送获取任务的请求；

获取模块，适于基于任务的配置信息、服务器正在执行的任务数量、服务器的性能指标，获取任务信息；

双写模块，适于基于所获取的任务信息，对第一数据存储器中的数据进行处理，并将处理后的数据写入第一数据存储器和第二数据存储器；

校验模块，适于对已处理的数据进行校验，如果校验成功则将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移，如果校验失败则记录失败信息，所述失败信息好看失败次数和异常数据；以及

补偿模块，适于在失败次数小于最大重试次数的情况下，对异常数据进行处理和校验，直到校验成功时，将数据源由第一数据存储器切换到第二数据存储器以完成数据迁移。

Images