CN105740259A - 一种增量数据的处理方法和装置 - Google Patents

Abstract

本申请公开了一种增量数据的处理方法和装置，用以解决现有技术无法实现无线网络环境下通信数据集合的增量计算的问题。该方法为每接收到一个待处理的业务数据集合，添加时间戳字段进行封包并保存；获取到增量数据计算请求消息后，为第一业务数据集合添加时间戳字段，并获取第一数据集合的当前版本和上一个版本对应的全部业务数据，并分别计算两个版本中每一条业务数据的哈希值；将当前版本对应的每一条业务数据的哈希值，与上一个版本对应的每一条业务数据的哈希值分别进行比较，根据比较结果确定增量数据，进行保存并发送对应的业务标识给客户端，这样既实现了一种通用的基于无线端的增量数据解决方案，而且不侵入业务方的数据库，业务扩展性好。

Description

一种增量数据的处理方法和装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种增量数据的处理方法和装置。

背景技术

在无线端应用越来越流行的今天，针对无线网络环境的不确定性(无网络、2G、3G、wifi等随时可能切换)，为了节省用户流量，对于增量数据的计算需求越来越强烈，另外，针对无线端与后端系统通信数据格式的特殊性(如json格式或xml格式数据集合)，需要有一套通用的无线端增量数据解决方案，来满足无线端不同业务上不同格式数据的增量计算需求。

无线端通信的数据结构，往往是一个结构化的数据集合(如json格式或xml格式数据集合)，对于一个结构化的数据集合，数据增量的过程，往往只是改变的是集合中的一个或多个子集，因此，在计算增量数据的时候，通常只希望计算出子集中变化的数据。

在现有的解决方案中，一种增量数据的计算方式为：侵入业务方系统的数据库，并且建立业务方数据对应的快照表，最后对比各项数据的时间戳字段，从而完成增量数据的计算。这种解决方案，一方面依赖了业务方的数据库，业务扩展性不是很好，而且会增加数据库负荷；另一方面基于数据库时间戳对比来确定增量数据，这要求数据集合里面的每一项数据必须具有时间戳字段，局限性大，而且不能实现通信数据集合(如json格式或xml格式数据集合)的增量数据的计算，因此无法实现无线网络环境下通信数据集合的增量计算。

在现有的解决方案中，另一种增量数据的计算方式为：基于数据库及缓存表来记录增量数据，提出了通过缓存表与原始数据关联的方式去主动采集数据，虽然减少了侵入业务数据库采集数据的成本，但是针对不同的业务增量数据，需要建立不同的存储过程及相关的增量数据备份表，业务扩展性不是很好，另外该方案也并未实现针对通信数据集合的增量数据的计算。

申请内容

本申请的目的是提供一种增量数据的处理方法和装置，以解决现有技术无法实现无线网络环境下通信数据集合的增量计算的问题。

本申请的目的是通过以下技术方案实现的：

一种增量数据的处理方法，应用在服务器端，包括：

每接收到一个待处理的业务数据集合，为所述待处理的业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合和所述业务数据集合对应的业务标识信息进行保存后，发送一个增量数据计算请求消息至消息队列；

从所述消息队列中获取到所述一个增量数据计算请求消息后，读取所述一个增量数据计算请求消息对应的第一业务数据集合的业务标识信息和时间戳字段，基于所述第一业务数据集合的时间戳字段计算所述第一业务数据集合的版本信息；

基于所述第一业务数据集合的版本信息和所述第一业务数据集合的业务标识信息，获取所述第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取所述第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值；

将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果；

根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合，以及将所述增量数据集合保存并将所述第一业务数据集合的业务标识信息发送给客户端。

这样既实现了一种通用的基于无线端的增量数据解决方案，而且不侵入业务方的数据库，业务扩展性好，同时针对当前无线网络环境的不稳定性，有效减少了用户流量，实现了快速接入各种业务的能力，并能够支持海量计算，进一步提高了系统性能。

可选的，进一步包括：

接收到的待处理的业务数据集合中的业务数据字段的格式为json格式、xml格式和文本格式中的一种或任意组合。

可选的，为所述待处理的业务数据集合添加时间戳字段进行封包，具体包括：

为所述待处理的业务数据集合添加的时间戳字段，并将所述时间戳字段放到封包后的业务数据集合的header字段内；

将所述待处理的业务数据集合中的所有业务数据放到封包后的业务数据集合的data字段里。

可选的，计算每一条业务数据的哈希值，包括：

基于每一条业务数据的全部或指定字段内容，利用哈希算法计算每一条业务数据的哈希值。

可选的，将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果，包括：

若当前版本对应的一条业务数据的哈希值与上一个版本对应的业务数据集合中的所有数据的哈希值都不相同，判定所述一条业务数据为新增数据；

若上一个版本对应的一条业务数据的哈希值与当前版本对应的业务数据集合的所有数据的哈希值都不相同，判定所述一条业务数据为删除数据。

可选的，根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合，包括：

若第一业务数据集合的当前版本中的一条业务数据为新增数据，将所述一条数据保存在增量数据集合里的data字段内；

若第一业务数据集合的当前版本中一条业务数据为删除数据，将所述一条业务数据的哈希值保存在增量数据集合里的header字段内；

将第一业务数据集合的当前版本信息保存在增量数据集合里的version字段内。

一种增量数据的更新方法，应用在客户端，包括

每读取到一个业务标识信息后，获取所述一个业务标识信息对应的一个增量数据集合中的version字段内的版本信息；

针对所述一个增量数据集合中的version字段内的版本信息进行鉴权；

在确定鉴权通过后，将所述一个增量数据集合中的header字段内记录的每一条业务数据的哈希值，与本地业务数据集合中每一条业务数据的哈希值进行比较，若本地业务数据集合中的一条业务数据的哈希值在所述一个增量数据集合中的header字段内出现，则将所述一条业务数据删除；以及遍历所述一个增量数据集合中的data字段，将所述data字段内的所有业务数据新增至本地业务数据集合中；否则，重新获取所述一个业务标识信息对应的一个增量数据集合进行鉴权，重复执行相同操作。

这样，能够保证本地接收到增量数据集合，从而节省本地流量，节约网络资源开销，还能提升系统的处理效率和性能。

可选的，进一步包括：

将一个增量数据集合保存到本地后，在本地记录所述一个增量数据集合中的version字段内的版本信息，并将所述一个增量数据集合中的version字段内的版本信息发送给服务器端。

一种增量数据的处理装置，应用在服务器端，包括：

接收单元，用于每接收到一个待处理的业务数据集合，为所述待处理的业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合和所述业务数据集合对应的业务标识信息进行保存后，发送一个增量数据计算请求消息至消息队列；

第一计算单元，用于从所述消息队列中获取到所述一个增量数据计算请求消息后，读取所述一个增量数据计算请求消息对应的第一业务数据集合的业务标识信息和时间戳字段，基于所述第一业务数据集合的时间戳字段计算所述第一业务数据集合的版本信息；

第二计算单元，用于基于所述第一业务数据集合的版本信息和所述第一业务数据集合的业务标识信息，获取所述第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取所述第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值；

比较单元，用于将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果；

保存单元，用于根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合，以及将所述增量数据集合保存并将所述第一业务数据集合的业务标识信息发送给客户端。

这样既实现了一种通用的基于无线端的增量数据解决方案，而且不侵入业务方的数据库，业务扩展性好，同时针对当前无线网络环境的不稳定性，有效减少了用户流量，实现了快速接入各种业务的能力，并能够支持海量计算，进一步提高了系统性能。

可选的，进一步包括：

接收单元接收到的待处理的业务数据集合中的业务数据字段的格式为json格式、xml格式和文本格式中的一种或任意组合。

可选的，为所述待处理的业务数据集合添加时间戳字段进行封包时，所述接收单元具体用于：

为所述待处理的业务数据集合添加的时间戳字段，并将所述时间戳字段放到封包后的业务数据集合的header字段内；

将所述待处理的业务数据集合中的所有业务数据放到封包后的业务数据集合的data字段里。

可选的，计算每一条业务数据的哈希值时，所述第二计算单元用于：

基于每一条业务数据的全部或指定字段内容，利用哈希算法计算每一条业务数据的哈希值。

可选的，将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果时，所述比较单元用于：

若当前版本对应的一条业务数据的哈希值与上一个版本对应的业务数据集合中的所有数据的哈希值都不相同，判定所述一条业务数据为新增数据；

若上一个版本对应的一条业务数据的哈希值与当前版本对应的业务数据集合的所有数据的哈希值都不相同，判定所述一条业务数据为删除数据。

可选的，根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合时，所述保存单元用于：

若第一业务数据集合的当前版本中的一条业务数据为新增数据，所述保存单元用于将所述一条数据保存在增量数据集合里的data字段内；

若第一业务数据集合的当前版本中一条业务数据为删除数据，将所述一条业务数据的哈希值保存在增量数据集合里的header字段内；

将第一业务数据集合的当前版本信息保存在增量数据集合里的version字段内。

一种增量数据的更新装置，应用在客户端，包括：

获取单元，用于每读取到一个业务标识信息后，获取所述一个业务标识信息对应的一个增量数据集合中的version字段内的版本信息；

鉴权单元，用于针对所述一个增量数据集合中的version字段内的版本信息进行鉴权；

处理单元，用于在确定鉴权通过后，将所述一个增量数据集合中的header字段内记录的每一条业务数据的哈希值，与本地业务数据集合中每一条业务数据的哈希值进行比较，若本地业务数据集合中的一条业务数据的哈希值在所述一个增量数据集合中的header字段内出现，则将所述一条业务数据删除；以及遍历所述一个增量数据集合中的data字段，将所述data字段内的所有业务数据新增至本地业务数据集合中；否则，重新获取所述一个业务标识信息对应的一个增量数据集合进行鉴权，重复执行相同操作。

这样，能够保证本地接收到增量数据集合，从而节省本地流量，节约网络资源开销，还能提升系统的处理效率和性能。

可选的，所述处理单元进一步用于：

将一个增量数据集合保存到本地后，在本地记录所述一个增量数据集合中的version字段内的版本信息，并将所述一个增量数据集合中的version字段内的版本信息发送给服务器端。

附图说明

图1为本申请实施例中增量数据的处理方法流程图；

图2为本申请实施例中应用在客户端的增量数据的更新方法；

图3A为本申请实施例中应用在服务器端的增量数据处理装置；

图3B为本申请实施例中应用在客户端的增量数据更新装置；

图3C为本申请实施例中具体应用场景下的增量数据处理装置；

图4为本申请实施例中业务数据集合的通用数据结构图；

图5为本申请实施例中业务数据基于哈希值的分组示意图；

图6为本申请实施例中两个版本对应的业务数据的示意图；

图7为本申请实施例中基于两个版本计算的增量数据示意图；

图8为本申请实施例中打包后的增量数据集合示意图；

图9为本申请实施例中客户端增量数据集合的更新示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请在基于无线端通信数据集合场景下来计算增量数据，更具有优势，一方面通过利用哈希(hash)算法在业务数据的基础上来比较数据的变更，而不需要依赖数据库的比较，提高了业务的通用性，同时缩短了比较数据的链路，从而增强了系统在海量计算场景下的稳定性；另一方面本申请是针对业务数据集合的子集进行逐项对比，从而能够精确找到某个集合中产生增量变化的子集。

参阅图1所示，本申请实施例中提供一种增量数据的处理方法，应用在服务器端，由网络侧装置实施，该网络侧装置可以是后台管理服务器也可以是专门增量处理器，具体流程如下：

步骤100：每接收到一个待处理的业务数据集合，为该待处理的业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合和该业务数据集合对应的业务标识信息进行保存后，发送一个增量数据计算请求消息至消息队列。

具体的，接收到的待处理的业务数据集合中的业务数据字段的格式为json格式、xml格式和文本格式中的一种或任意组合。

由于业务上通用的数据集合结构包含header字段和data字段，因此，为待处理的业务数据集合添加时间戳字段进行封包时，具体包括：为该待处理的业务数据集合添加的时间戳字段，并将该时间戳字段放到封包后的业务数据集合的header字段内；将该待处理的业务数据集合中的所有业务数据放到封包后的业务数据集合的data字段里。

步骤101：从消息队列中获取到一个增量数据计算请求消息后，读取该一个增量数据计算请求消息对应的第一业务数据集合的时间戳字段，基于第一业务数据集合的时间戳字段计算第一业务数据集合的版本信息。

由此可知，业务数据集合的版本是基于封包之后的业务数据集合里的header字段里的时间戳信息计算出来的值，与该业务数据集合的时间戳字段形成一一映射关系。

步骤102：基于该第一业务数据集合的版本信息和该第一业务数据集合的业务标识信息，获取第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值。

步骤103：将第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果。

具体的，计算每一条业务数据的哈希值时，包括：基于每一条业务数据的全部或指定字段内容，利用哈希算法计算每一条业务数据的哈希值。

例如，计算每一条业务数据的哈希值时，可以设定为基于每条业务数据的全部字段内容，利用哈希算法计算每条业务数据的哈希值，也可以设定为基于每条业务数据的指定字段内容，利用哈希算法计算每条业务数据的哈希值。

增量数据是指发生变化的数据，可以是新增的数据，也可以是删除的数据，也可以是修改的数据，而本申请中修改的数据抽象为新增和删除的数据，因此本申请中的增量数据的类型只包含新增的数据和删除的数据。

具体的，将第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果，包含以下两种情形：

第一种情形：若当前版本对应的一条业务数据的哈希值与上一个版本对应的业务数据集合中的所有数据的哈希值都不相同，判定该一条业务数据为新增数据。

第二种情形：若上一个版本对应的一条业务数据的哈希值与当前版本对应的业务数据集合的所有数据的哈希值都不相同，判定该一条业务数据为删除数据。

步骤104：根据上述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将该增量数据打包为增量数据集合，以及将该增量数据集合保存并将所述第一业务数据集合的业务标识信息发送给客户端。

具体的，根据上述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将该增量数据打包为增量数据集合，包括：若第一业务数据集合的当前版本中的一条业务数据为新增数据，将该一条数据保存在增量数据集合里的data字段内；若第一业务数据集合的当前版本中一条业务数据为删除数据，将该一条业务数据的哈希值保存在增量数据集合里的header字段内；并将第一业务数据集合的当前版本信息保存在增量数据集合里的version字段内。

参阅图2所示：本申请实施例还提供一种应用在客户端的增量数据的更新方法，具体流程如下：

步骤200：每读取到一个业务标识信息后，获取该一个业务标识信息对应的一个增量数据集合中的version字段内的版本信息。

步骤201：针对该一个增量数据集合中的version字段内的版本信息进行鉴权。

本地获取到一个增量数据集合后，将该一个增量数据集合中的version字段内的版本信息与本地记录的版本信息进行比较，若符合预设的条件则判定鉴权通过，执行步骤202，否则，判定鉴权不通过，重复执行步骤201。例如本地客户端记录的版本信息为10，系统设定为版本信息大于本地记录的版本信息时，判定鉴权通过，若本地客户端获取到一个版本信息为10的增量数据集合，这时鉴权不通过，服务器端会重新推送一个增量数据集合给客户端。

这样，服务器端按照版本信息依次向客户端推送增量数据集合，不会造成客户端处理增量数据集合的顺序错乱。

步骤202：若确定鉴权通过后，将上述一个增量数据集合中的header字段内记录的每一条业务数据的哈希值，与本地业务数据集合中每一条业务数据的哈希值进行比较，若本地业务数据集合中的一条业务数据的哈希值在该一个增量数据集合中的header字段内出现，则将该一条业务数据删除；以及遍历该一个增量数据集合中的data字段，将该data字段内的所有业务数据新增至本地业务数据集合中；否则，重新获取该一个业务标识信息对应的一个增量数据集合进行鉴权，重复执行相同操作。

具体的，将一个增量数据集合保存到本地后，在本地记录该一个增量数据集合中的version字段内的版本信息，并将该一个增量数据集合中的version字段内的版本信息发送给服务器端。

若增量数据更新失败或当前客户端不在线，则服务器端会按配置的时间频率重新发送待处理的第一业务数据集合(即全量数据)对应的业务标识至客户端，确保客户端能够接收到新的业务数据。

基于上述技术方案，参阅图3A所示，本申请实施例中还提供一种增量数据的处理装置，应用在服务器端，主要包括：接收单元300，第一计算单元301，第二计算单元302，比较单元303，保存单元304，其中：

接收单元300，用于每接收到一个待处理的业务数据集合，为该待处理的业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合和该业务数据集合对应的业务标识信息进行保存后，发送一个增量数据计算请求消息至消息队列。

第一计算单元301，用于从消息队列中获取到一个增量数据计算请求消息后，读取该一个增量数据计算请求消息对应的第一业务数据集合的时间戳字段，基于第一业务数据集合的时间戳字段计算第一业务数据集合的版本信息。

第二计算单元302，用于基于该第一业务数据集合的版本信息和该第一业务数据集合的业务标识信息，，获取第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值。

比较单元303，用于将第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果。

保存单元304，用于根据上述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将该增量数据打包为增量数据集合，以及将该增量数据集合保存并将所述第一业务数据集合的业务标识信息发送给客户端。

可选的，接收单元300接收到的待处理的业务数据集合中的业务数据字段的格式为json格式、xml格式和文本格式中的一种或任意组合。

可选的，接收单元300具体用于为该待处理的业务数据集合添加时间戳字段进行封包时，为该待处理的业务数据集合添加的时间戳字段，并将该时间戳字段放到封包后的业务数据集合的header字段内；以及将该待处理的业务数据集合中的所有业务数据放到封包后的业务数据集合的data字段里。

可选的，第二计算单元302用于在计算每一条业务数据的哈希值时，基于每一条业务数据的全部或指定字段内容，利用哈希算法计算每一条业务数据的哈希值。

可选的，比较单元303用于将第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果时，若当前版本对应的一条业务数据的哈希值与上一个版本对应的业务数据集合中的所有数据的哈希值都不相同，判定该一条业务数据为新增数据；若上一个版本对应的一条业务数据的哈希值与当前版本对应的业务数据集合的所有数据的哈希值都不相同，判定该一条业务数据为删除数据。

可选的，保存单元304用于根据比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将该增量数据打包为增量数据集合时，若第一业务数据集合的当前版本中的一条业务数据为新增数据，将该一条数据保存在增量数据集合里的data字段内；若第一业务数据集合的当前版本中一条业务数据为删除数据，将该一条业务数据的哈希值保存在增量数据集合里的header字段内，以及将第一业务数据集合的当前版本信息保存在增量数据集合里的version字段内。

参阅图3B所示，本申请实施例中还提供一种增量数据的更新装置，应用在客户端，主要包括：获取单元320，鉴权单元321，处理单元322，其中：

获取单元320，用于在每读取到一个业务标识信息后，获取所述一个业务标识信息对应的一个增量数据集合中的version字段内的版本信息。

鉴权单元321，用于针对一个增量数据集合中的version字段内的版本信息进行鉴权。

处理单元322，用于在确定鉴权通过后，将该一个增量数据集合中的header字段内记录的每一条业务数据的哈希值，与本地业务数据集合中每一条业务数据的哈希值进行比较，若本地业务数据集合中的一条业务数据的哈希值在该一个增量数据集合中的header字段内出现，则将该一条业务数据删除；以及遍历该一个增量数据集合中的data字段，将该data字段内的所有业务数据新增至本地业务数据集合中

基于上述技术方案，参阅图3C所示，本申请实施例针对具体应用场景提供一种针对无线网络环境下的增量数据处理装置，包括增量处理器31和客户端32。

本申请实施例中，增量处理器31主要包含以下模块：业务数据接收模块310，消息中间件311，增量数据计算模块312、增量数据保存模块313、增量数据同步模块314。其中，图3A中的接收单元300抽象为业务数据接收模块310和消息中间件311，第一计算单元301、第二计算单元302和比较单元303抽象为增量数据计算模块312，保存单元304抽象为增量数据保存模块313和增量数据同步模块314。

本申请实施例中的客户端32包括ios客户端和android客户端。

业务方通过调用增量处理器31的业务数据接收模块310提供的接口主动推送(push)业务数据集合给增量处理器31。增量处理器31中的业务数据接收模块310将业务数据集合进行封包之后形成通用的业务数据集合结构，通用数据结构图参阅图4所示，其中业务数据集合中的多条数据存放在data这个字段里，增量处理器31会为header对应的值置上时间戳字段，以便增量数据计算模块312计算推送来的业务数据集合的版本，然后将封包后的新的业务数据集合和该业务数据集合对应的业务标识信息保存至分布式的存储系统(hbase)中，同时发送一个消息至消息中间件311，以便增量数据计算模块312去消息中间件311中拉取消息进行增量数据的计算。

增量数据计算模块312从消息中间件311中的消息队列中获取消息后，取出该消息对应的header值为该消息对应的业务数据集合生成一个版本，以及从hbase中取出上一个版本的业务数据集合，然后将两个版本对应的业务数据集合里的每一条数据基于当前数据计算出hash值，然后按hash值分组(分组结构为key-value形式，key为：hash值，value：当前数据)，即每条数据都包含hash值和当前数据，一条数据对应一个分组，具体结构可参阅图5所示。

例如，参阅图6所示，从hbase中取出的上一个版本的业务数据集合中包含5条业务数据，分别是item1，item2，item3，item4，item5这5条业务数据，这5条业务数据对应的哈希值为1，2，3，4，5；从hbase中取出的当前版本的业务数据集合中包含6条业务数据，分别是item1，item2”，item3”，item5，item6，item7这6条业务数据，这6条业务数据对应的哈希值为1，2”，3”，5，6，7。

将当前版本业务数据集合中的数据与上一个版本业务数据集合中的数据进行对比，包括下列情形：

第一种情形：如果当前版本业务数据集合中的某条数据的哈希值不在上一个版本的业务数据集合中，则认为该条数据是新增数据，将该条数据置上新增的标记。

第二种情形：如果当前版本业务数据集合中的某条数据的哈希值在上一个版本的业务数据集合中，则认为该条数据未做增量更新，直接丢弃。

第三种情形：如果上一个版本对应的某条数据的哈希值在当前版本业务数据集合里无法找到，则认为该条数据是删除的数据，将该条数据置上删除的标记。

例如，图6中的数据经过上述对比，获得比较结果，参阅图7所示，经过基于版本的增量算法计算之后得到的删除数据为2:item2，3:item3，4:item4，这3条业务数据；经过基于版本的增量算法计算之后得到的新增数据为2”:item2”，3”:item3”，6:item6，7:item7这4条业务数据。

将当前版本业务数据集合对比上一个版本业务数据集合计算出来的增量数据打包为一个新的增量业务数据集合，将打包后的增量业务数据集合缓存到增量数据保存模块313中，并通过增量数据保存模块313将打包后的增量业务数据集合保存到后台数据库(DB)中，打包后的增量数据集合结构参阅图8所示，其中删除的数据对应的哈希码值(hashcode)值以list的形式存储在增量数据集合中的header这个字段里，新增的数据存储在增量数据集合中的data这个字段里，当前版本业务数据集合的版本信息存放在增量数据集合中的version字段内。

例如，将图7中的增量数据打包为图8中的增量数据集合，增量数据集合中的header字段存放删除数据对应的哈希值即(2，3，4)，增量数据集合中的data字段存放新增数据，这里的新增数据包括新增数据的哈希值和当前数据，(即2”:item2，3”:item3，6:item6，7:item7这4条新增数据)，增量数据集合中的version字段存放当前版本业务数据集合的版本信息。

增量数据同步模块314将打包后的增量业务数据集合对应的业务标识按照配置的时间频率通过长连接通道告诉客户端32、

客户端32鉴权通过，获取到增量数据集合后，先遍历header字段里面的数据及自己本地的数据，如果本地数据对应的hashcode值存在header里，则当前数据为删除的数据，客户端将对应的数据删除，另外客户端遍历data字段里对应的数据，将data字段里的所有数据新增至本地客户端，即完成了客户端本地数据的增量更新。

例如，参阅图9所示，未开始更新前，客户端32本地有1:item1，2:item2，3:item3，4:item4，5:item5，这5条业务数据，在客户端本地更新成功之后，客户端本地更新为：,1:item1，2”:item2，3”:item3，5:item5，6:item6，7:item7这6条业务数据。

客户端32更新当前增量数据成功之后，再调用增量数据同步模块314提供的接口将当前增量数据对应的版本信息置为客户端更新成功。

综上所述，本申请实施例中，每接收到一个待处理的业务数据集合，该业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合及对应的业务标识进行保存；获取到增量数据计算请求消息后，读取该增量数据计算请求消息对应的第一业务数据集合的时间戳字段，并计算第一业务数据集合的版本信息；基于第一业务数据集合的版本信息及对应的业务标识，获取第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值；将第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果；根据比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将该增量数据打包为增量数据集合，以及将该增量数据集合保存并发送对应的业务标识给客户端，客户端接收到这个业务标识之后，获取对应的增量数据，最终更新到本地。这样既实现了一种通用的基于无线端的增量数据解决方案，而且不侵入业务方的数据库，业务扩展性好，同时针对当前无线网络环境的不稳定性，有效减少了用户流量，实现了快速接入各种业务的能力，并能够支持海量计算，进一步提高了系统性能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种增量数据的处理方法，应用在服务器端，其特征在于，包括：

每接收到一个待处理的业务数据集合，为所述待处理的业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合和所述业务数据集合对应的业务标识信息进行保存后，发送一个增量数据计算请求消息至消息队列；

从所述消息队列中获取到所述一个增量数据计算请求消息后，读取所述一个增量数据计算请求消息对应的第一业务数据集合的业务标识信息和时间戳字段，基于所述第一业务数据集合的时间戳字段计算所述第一业务数据集合的版本信息；

基于所述第一业务数据集合的版本信息和所述第一业务数据集合的业务标识信息，获取所述第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取所述第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值；

将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果；

根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合，以及将所述增量数据集合保存并将所述第一业务数据集合的业务标识信息发送给客户端。

2.如权利要求1所述的方法，其特征在于，进一步包括：

接收到的待处理的业务数据集合中的业务数据字段的格式为json格式、xml格式和文本格式中的一种或任意组合。

3.如权利要求1所述的方法，其特征在于，为所述待处理的业务数据集合添加时间戳字段进行封包，具体包括：

为所述待处理的业务数据集合添加的时间戳字段，并将所述时间戳字段放到封包后的业务数据集合的header字段内；

将所述待处理的业务数据集合中的所有业务数据放到封包后的业务数据集合的data字段里。

4.如权利要求1所述的方法，其特征在于，计算每一条业务数据的哈希值，包括：

基于每一条业务数据的全部或指定字段内容，利用哈希算法计算每一条业务数据的哈希值。

5.如权利要求1－4任一项所述的方法，其特征在于，将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果，包括：

若当前版本对应的一条业务数据的哈希值与上一个版本对应的业务数据集合中的所有数据的哈希值都不相同，判定所述一条业务数据为新增数据；

若上一个版本对应的一条业务数据的哈希值与当前版本对应的业务数据集合的所有数据的哈希值都不相同，判定所述一条业务数据为删除数据。

6.如权利要求5所述的方法，其特征在于，根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合，包括：

若第一业务数据集合的当前版本中的一条业务数据为新增数据，将所述一条数据保存在增量数据集合里的data字段内；

若第一业务数据集合的当前版本中一条业务数据为删除数据，将所述一条业务数据的哈希值保存在增量数据集合里的header字段内；

将第一业务数据集合的当前版本信息保存在增量数据集合里的version字段内。

7.一种增量数据的更新方法，应用在客户端，其特征在于，包括：

每读取到一个业务标识信息后，获取所述一个业务标识信息对应的一个增量数据集合中的version字段内的版本信息；

针对所述一个增量数据集合中的version字段内的版本信息进行鉴权；

在确定鉴权通过后，将所述一个增量数据集合中的header字段内记录的每一条业务数据的哈希值，与本地业务数据集合中每一条业务数据的哈希值进行比较，若本地业务数据集合中的一条业务数据的哈希值在所述一个增量数据集合中的header字段内出现，则将所述一条业务数据删除；以及遍历所述一个增量数据集合中的data字段，将所述data字段内的所有业务数据新增至本地业务数据集合中；否则，重新获取所述一个业务标识信息对应的一个增量数据集合进行鉴权，重复执行相同操作。

8.如权利要求7所述的方法，其特征在于，进一步包括：

将一个增量数据集合保存到本地后，在本地记录所述一个增量数据集合中的version字段内的版本信息，并将所述一个增量数据集合中的version字段内的版本信息发送给服务器端。

9.一种增量数据的处理装置，应用在服务器端，其特征在于，包括：

接收单元，用于每接收到一个待处理的业务数据集合，为所述待处理的业务数据集合添加时间戳字段进行封包，以及将封包后的业务数据集合和所述业务数据集合对应的业务标识信息进行保存后，发送一个增量数据计算请求消息至消息队列；

第一计算单元，用于从所述消息队列中获取到所述一个增量数据计算请求消息后，读取所述一个增量数据计算请求消息对应的第一业务数据集合的业务标识信息和时间戳字段，基于所述第一业务数据集合的时间戳字段计算所述第一业务数据集合的版本信息；

第二计算单元，用于基于所述第一业务数据集合的版本信息和所述第一业务数据集合的业务标识信息，获取所述第一数据集合的当前版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值，以及获取所述第一数据集合的上一个版本对应的全部业务数据，并分别计算其中每一条业务数据的哈希值；

比较单元，用于将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果；

保存单元，用于根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合，以及将所述增量数据集合保存并将所述第一业务数据集合的业务标识信息发送给客户端。

10.如权利要求9所述的装置，其特征在于，进一步包括：

接收单元接收到的待处理的业务数据集合中的业务数据字段的格式为json格式、xml格式和文本格式中的一种或任意组合。

11.如权利要求9所述的装置，其特征在于，为所述待处理的业务数据集合添加时间戳字段进行封包时，所述接收单元具体用于：

为所述待处理的业务数据集合添加的时间戳字段，并将所述时间戳字段放到封包后的业务数据集合的header字段内；

将所述待处理的业务数据集合中的所有业务数据放到封包后的业务数据集合的data字段里。

12.如权利要求9所述的装置，其特征在于，计算每一条业务数据的哈希值时，所述第二计算单元用于：

基于每一条业务数据的全部或指定字段内容，利用哈希算法计算每一条业务数据的哈希值。

13.如权利要求9－12任一项所述的装置，其特征在于，将所述第一业务数据集合的当前版本对应的每一条业务数据的哈希值，与所述第一业务数据集合的上一个版本对应的每一条业务数据的哈希值分别进行比较，获得比较结果时，所述比较单元用于：

若当前版本对应的一条业务数据的哈希值与上一个版本对应的业务数据集合中的所有数据的哈希值都不相同，判定所述一条业务数据为新增数据；

若上一个版本对应的一条业务数据的哈希值与当前版本对应的业务数据集合的所有数据的哈希值都不相同，判定所述一条业务数据为删除数据。

14.如权利要求13所述的装置，其特征在于，根据所述比较结果确定第一业务数据集合的当前版本相较于上一个版本的增量数据，并将所述增量数据打包为增量数据集合时，所述保存单元用于：

若第一业务数据集合的当前版本中的一条业务数据为新增数据，所述保存单元用于将所述一条数据保存在增量数据集合里的data字段内；

若第一业务数据集合的当前版本中一条业务数据为删除数据，将所述一条业务数据的哈希值保存在增量数据集合里的header字段内；

将第一业务数据集合的当前版本信息保存在增量数据集合里的version字段内。

15.一种增量数据的更新装置，应用在客户端，其特征在于，包括：

获取单元，用于每读取到一个业务标识信息后，获取所述一个业务标识信息对应的一个增量数据集合中的version字段内的版本信息；

鉴权单元，用于针对所述一个增量数据集合中的version字段内的版本信息进行鉴权；

处理单元，用于在确定鉴权通过后，将所述一个增量数据集合中的header字段内记录的每一条业务数据的哈希值，与本地业务数据集合中每一条业务数据的哈希值进行比较，若本地业务数据集合中的一条业务数据的哈希值在所述一个增量数据集合中的header字段内出现，则将所述一条业务数据删除；以及遍历所述一个增量数据集合中的data字段，将所述data字段内的所有业务数据新增至本地业务数据集合中；否则，重新获取所述一个业务标识信息对应的一个增量数据集合进行鉴权，重复执行相同操作。

16.如权利要求15所述的装置，其特征在于，所述处理单元进一步用于：

将一个增量数据集合保存到本地后，在本地记录所述一个增量数据集合中的version字段内的版本信息，并将所述一个增量数据集合中的version字段内的版本信息发送给服务器端。