CN103577276A - 用户操作数据的备份系统及方法 - Google Patents

Abstract

本发明提供一种用户操作数据的备份系统及方法，系统包括：接入单元，用于获取前端的用户操作数据，其进一步包括一旁路接口单元；合并单元，用于通过所述旁路接口单元连接所述接入单元，并从所述接入单元获取用户操作数据，对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起；存储单元，其用于对所述合并单元组合后的用户操作数据进行存储。本发明不占用本地磁盘空间，对本地设备的其它服务也不会产生影响，而且由于有序的对用户操作数据进行存储，在后续恢复数据时，可根据特征方便快速的进行恢复。

Description

用户操作数据的备份系统及方法

【技术领域】

本发明涉及计算机、个人手持终端以及互联网技术领域，特别是涉及一种用户操作数据的备份系统及方法。

【背景技术】

随着计算机以及手持终端的不断普及发展，产生的用户操作数据越来越多，因而对用户操作数据的存储需求也越来越大。

请参阅图1，图1为现有技术中用户操作数据的存储系统的结构示意图，该结构中包括前端11'、接入机12'以及存储机13'。

其中所述前端11'譬如为个人电脑，用户在前端11'操作时产生的用户操作数据通过所述接入机12'传到所述存储机13'，所述接入机12'在接收到所述存储机13'的存储结果后，将该结果发送至所述前端11'。

而所述存储机13'又具体包括主存储机131'和备存储机132'，其中所述主存储机131'主要用来提供读写服务，而所述备存储机132'则用来存储用户操作数据（即流水）。所述备存储机132'在存储用户操作数据时，首先分配一缓存，譬如一内存为50兆（M）的缓存，之后将接收到的用户操作数据存储至该缓存。而一旦所述备存储机132'的缓存达到存储的最大值时，则会以时间标识在后的用户操作数据替换时间标识在前的用户操作数据。

而上述存储方式存在以下缺点：

第一、由于用户操作数据存储在本地磁盘（存储机13'），本地磁盘需进行输入/输出(Input/Output，IO)操作，势必会影响本地设备的其它服务。

第二，由于用户操作数据都是直接存储，未经任何处理，因此会占用大量空间，而且由于本地磁盘容量的限制，不能长时间的保存用户操作数据。

第三，当需要把本地设备A的用户操作数据恢复到设备B时，譬如若恢复的用户操作数据是按业务来进行恢复，则提取相关的用户操作数据以及后续的数据传输等都较麻烦。

因此，需解决现有技术中存在的上述技术问题。

【发明内容】

本发明的一个目的在于提供一种用户操作数据的备份系统，以解决现有技术中下述技术问题：由于直接将用户操作数据存储至本地磁盘，不仅存储量有限，还影响本地设备的其它服务，更不便后续对用户操作数据的恢复。

为解决上述技术问题，本发明构造了一种用户操作数据的备份系统，包括：

接入单元，用于获取前端的用户操作数据，其进一步包括一旁路接口单元；

合并单元，用于通过所述旁路接口单元连接所述接入单元，并从所述接入单元获取用户操作数据，对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起；

存储单元，其用于对所述合并单元组合后的用户操作数据进行存储。

在本发明一实施例中，所述合并单元具体包括：

第一合并单元，其与所述接入单元一一对应连接，用于从所述接入单元获取用户操作数据并进行合并处理，生成用户操作数据片段；

第二合并单元，其连接所述第一合并单元，用于获取所述第一合并单元生成的用户操作数据片段并进行合并处理，以生成用户操作数据合并段；

第三合并单元，其连接所述第二合并单元，用于获取所述第一合并单元生成的用户操作数据合并段并进行合并处理，以使得具有相同特征的用户操作数据组合在一起。

在本发明一实施例中，所述用户操作数据片段的合并生成包括将具有所述相同特征的用户操作数据以时间标识在后的替换时间标识在前的用户操作数据。

在本发明一实施例中，所述用户操作数据合并段包括：每一接入单元标识码对应的用户操作数据片段的集合，以及具有相同特征的用户操作数据合并段。

在本发明一实施例中，所述系统还包括控制单元，所述控制单元分别连接所述第一、第二以及第三合并单元；

所述控制单元，用于对所述第二合并单元生成的用户操作数据合并段中的用户操作数据片段的集合进行判断，若在某一集合内出现间断的用户操作数据片段，则定位并记录该间断的用户操作数据片段的丢失时区。

在本发明一实施例中，所述控制单元还用于控制所述第三合并单元对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

在本发明一实施例中，所述特征为业务标识或者用户关键词。

本发明的另一个目的在于提供一种用户操作数据的备份方法，以解决现有技术中下述技术问题：由于直接将用户操作数据存储至本地磁盘，不仅存储量有限，还影响本地设备的其它服务，更不便后续对用户操作数据的恢复。

为解决上述技术问题，本发明构造了一种用户操作数据的备份方法，所述方法包括以下步骤：

通过接入机的旁路接口连接至所述接入机，并获取所述接入机内的用户操作数据；

对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起；

将上述组合后的数据存储。

在本发明一实施例中，所述对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起的步骤具体包括：

将从所述接入机获取的用户操作数据进行合并处理，生成用户操作数据片段；

对所述用户操作数据片段进行合并处理，生成用户操作数据合并段；

对所述用户操作数据合并段进行合并处理，以使得具有相同特征的用户操作数据组合在一起。

在本发明一实施例中，将从所述接入机获取的用户操作数据进行合并处理，生成用户操作数据片段的步骤包括：

将具有相同特征的用户操作数据按照时间先后进行替换，将具有相同特征的用户操作数据以时间标识在后的替换时间标识在前的用户操作数据，以生成用户操作数据片段。

在本发明一实施例中，所述用户操作数据合并段包括：每一接入单元标识码对应的用户操作数据片段的集合，以及具有相同特征的用户操作数据合并段。

在本发明一实施例中，在生成用户操作数据合并段后，所述方法还包括以下步骤：

对用户操作数据合并段中的用户操作数据片段的集合进行判断；若在某一集合内出现间断的用户操作数据片段，则定位并记录间断的用户操作数据片段的丢失时区。

在本发明一实施例中，对生成的用户操作数据合并段进行合并处理之前，所述方法还包括以下步骤：

对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

在本发明一实施例中，所述特征为业务标识或者用户关键词。

相对于现有技术，本发明提供的用户操作数据的备份系统通过接入机的旁路连接至接入机，通过该旁路获取接入机的用户操作数据，并对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起进行存储，由于不需存储到本地设备的磁盘，因此不会占用本地磁盘空间，对本地设备的其它服务也不会产生影响，而且由于有序的对用户操作数据进行存储，在后续恢复数据时，可根据特征方便快速的进行恢复。

为让本发明的上述内容能更明显易懂，下文特举优选实施例，并配合所附图式，作详细说明如下：

【附图说明】

图1为现有技术中用户操作数据的存储系统的结构示意图；

图2为本发明中用户操作数据的备份系统的较佳实施例结构示意图；

图3为本发明中数据合并段的信息示意图；

图4为本发明中用户操作数据片段丢失时区的一示意图；

图5为本发明中用户操作数据片段丢失时区的另一示意图；

图6为本发明中用户操作数据的备份方法的较佳实施例流程示意图；

图7为本发明中对用户操作数据进行合并处理的较佳实施例流程示意图。

【具体实施方式】

以下各实施例的说明是参考附加的图式，用以例示本发明可用以实施的特定实施例。本发明所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是参考附加图式的方向。因此，使用的方向用语是用以说明及理解本发明，而非用以限制本发明。在图中，结构相似的单元是以相同标号表示。

请参阅图2，图2为本发明提供的用户操作数据的备份系统的较佳实施例结构示意图，其中所述用户操作数据的备份系统包括接入单元10、合并单元20以及存储单元30。

其中所述接入单元10还包括有旁路接口单元（图未示出），所述接入单元10譬如为接入机或者交换机，而所述旁路接口单元譬如为接入机或者交换机的旁路以太网接口。所述合并单元20通过所述旁路接口单元连接至所述接入单元10，所述合并单元20还连接至所述存储单元30。

本发明中，前端的用户操作数据（即流水）传至所述接入单元10后，通过所述旁路接口单元传至所述合并单元20，所述合并单元20将接收到的用户操作数据合并，以使得具有相同特征的用户操作数据组合在一起，譬如具有相同业务标识（id）的用户操作数据组合在一起，而所述存储单元30则用于将所述合并单元20合并后的用户操作数据进行存储。

请继续参阅图2，其中所述合并单元20包括至少一个的第一合并单元21、至少一个的第二合并单元22、至少一个的第三合并单元23，还包括至少一个控制单元24。

其中所述第一合并单元21与所述接入单元10一一对应连接，即每一第一合并单元21通过一旁路接口单元连接至相应的接入单元10；所述第一合并单元21还连接所述第二合并单元22，而所述第二合并单元22还连接所述第三合并单元23；所述第三合并单元23还连接所述存储单元30，用于将合并后的数据发送至所述存储单元30；所述控制单元24则分别连接所述至少一个的第一合并单元21、第二合并单元22以及第三合并单元23。

请继续参阅图2，其中所述第一合并单元21预先分配一缓存（譬如10M）。在通过旁路接口单元获取所述接入单元10内的用户操作数据后，在预先分配的缓存内对获取的用户操作数据进行合并处理，将具有相同特征的用户操作数据按照时间先后顺序进行替换，即以时间标识在后的替换时间标识在前的用户操作数据，以使得该缓存中不会出现重复的特征。譬如：所述第一合并单元21在获取用户操作数据后，根据用户操作数据中的业务标识（id）以及用户关键词(key)进行判断，若获取的用户操作数据与缓存内用户操作数据的业务标识（id）和用户关键词(key)相同，则将时间标识（即时间戳）在后的用户操作数据覆盖缓存中时间标识在前的用户操作数据。

其中本发明中的用户操作数据包括接入单元标识码（ip）、业务标识（id）、用户关键词(key)、数据（data）、操作以及时间标识，譬如依次举例如下：接入单元A、购买游戏道具、QQ号、游戏道具名称和数量、购买、t1时间。

当预先分配的缓存内用户操作数据达到或者接近该缓存的最大值（譬如10M）时，所述第一合并单元21生成一用户操作数据片段标识（date id），并将生成的用户操作数据片段标识（date id）与缓存内的用户操作数据共同组成用户操作数据片段发送至所述第二合并单元22。其中所述用户操作数据片段包括用户操作数据片段标识和多个用户操作数据，而所述用户操作数据片段标识（date id）在所述第一合并单元21内是连续的。

请继续参阅2，其中所述第二合并单元22获取所述第一合并单元21发送的用户操作数据片段，并对获取的用户操作数据片段进行合并处理。

具体为：所述第二合并单元22首先提取用户操作数据片段中的接入单元标识码（ip）以及用户操作数据片段标识（date id），并将用户操作数据片段标识（date id）保存至接入单元标识码（ip）对应的用户操作数据片段标识（date id）的存储结构里，以形成一用户操作数据片段标识（date id）集合。之后根据当前时间生成用户操作数据合并段标识（merge id），最后遍历用户操作数据片段里的用户操作数据，针对每个用户操作数据做如下操作：根据用户操作数据业务标识(id)和用户操作数据合并段标识（merge id）确定业务的用户操作数据合并段，在用户操作数据合并段内对用户操作数据做合并，以使得相同业务标识（id）的用户操作数据组合在一起。当然如果在用户操作数据合并段内存在相同用户关键词（key）对应的用户操作数据，则实行合并操作，即以时间标识在后的用户操作数据覆盖时间标识在前的用户操作数据。

请一并参阅图3，图3为所述第二合并单元22生成的用户操作数据合并段内的信息示意图。其中每个接入单元标识码（ip）对应的用户操作数据片段标识（date id）集合在一起，构成完整的接入单元用户操作数据片段标识（date id）集合；而具有相同业务标识（id）的用户操作数据合并段集合在一起，构成完整的业务用户操作数据合并段集合。

请返回图2，其中所述第三合并单元23获取第二合并单元22生成的用户操作数据合并段，并对获取的用户操作数据合并段进行合并，以使得具有相同特征的用户操作数据组合在一起。本发明以具有相同业务标识（id）的用户操作数据组合在一起为例，当然也可以是其它的特征，譬如可以将具有相同用户关键词（Key）的用户操作数据组合在一起，此处不一一列举。

譬如若多个第二合并单元22内均具有“购买游戏设备”这一业务标识（id）的用户操作数据，则将具有“购买游戏设备”这一业务标识（id）对应的用户操作数据组合在一起，并发送至所述存储单元30进行存储。

请再参阅图2，所述控制单元24分别连接所述第一合并单元21、第二合并单元22以及第三合并单元23，用于实现第一合并单元21、第二合并单元22以及第三合并单元23之间信息的同步，控制上述第一、第二和第三合并单元21、22和23对用户操作数据的合并处理等。

譬如，所述控制单元24通过发送指令控制所述第二合并单元22将相同业务标识（id）的用户操作数据组合在一起。如果在用户操作数据合并段内存在相同用户关键词（key）对应的用户操作数据，则实行合并操作，即以时间标识在后的用户操作数据覆盖时间标识在前的用户操作数据。

所述控制单元24还通过发送指令控制所述第三合并单元23对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

还譬如，所述控制单元24还通过发送指令控制所述第三合并单元23获取用户操作数据合并段内接入机数据片段标识（ip- date id）集合，并对同一接入单元标识码（ip）的用户操作数据片段标识（dateid）集合做并集，生成完整的接入机数据片段标识（ip-date id）集合。而针对每个业务标识（id），首先通过发送指令控制第二合并单元22清理该业务标识（id）对应的时间标识在前的用户操作数据合并段，之后并选择一空闲的第三合并单元23做该业务标识（id）的用户操作数据合并，同时将所述第二合并单元22的信息以及存储单元30的信息一并发送至所述第三合并单元23；最后等待所述第三合并单元23对于该业务标识(id)对应的用户操作数据的合并结果，最后将结果保存到历史任务表里，以备查询和判断备份的情况时使用。

其中所述控制单元24还用于用户操作数据合并段的完整性判断，具体为：对于某个接入单元标识码（ip）对应的用户操作数据片段标识(id)集合N，则只要在集合N内出现不连续的用户操作数据片段标识（date id），则判定该用户操作数据是不完整的。譬如按照时间划分为多个时区，即将一天中的86400秒（S）划分为288个用户操作数据合并段时区，则每个用户操作数据合并段时区为300秒，用户操作数据合并段标识(id)分配在时区[0-277]，若不连续的用户操作数据片段标识（date id）出现在用户操作数据合并段(id)=Sn内，譬如图4所示，则判定用户操作数据片段丢失的时区为[n*300，(n+1)*300]，即图中M所指；而若不连续的用户操作数据片段标识（date id）出现在用户操作数据合并段(id)=Sn和(id)=Sn+x之间，譬如图5所示，则判定丢失的用户操作数据片段的时区为[ n*300，(n+x)*300 ]，即图中N所指，在找出用户操作数据片段丢失的时区后，记录该时区以备查询用。

在本发明中，其中所述控制单元24还可对合并单元21、22和23进行心跳探测，以及增加或者删除合并单元21、22或者23，还可以对用户操作数据的信息进行控制，譬如增加或者删除等，此处不一一详述。

请参阅图6，图6为本发明中用户操作数据的备份方法的较佳实施例的流程示意图。

在步骤S601中，通过接入机的旁路接口连接至所述接入机，并通过旁路接口获取所述接入机的用户操作数据（即流水）。

在步骤S602中，对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起。

在步骤S603中，对所述合并单元组合后的用户操作数据进行存储。

请参阅图7，图7为上述在步骤S602中对用户操作数据进行合并处理的较佳实施例流程示意图。

在步骤S701中，将从所述接入机获取的用户操作数据进行合并处理，生成用户操作数据片段。

该步骤S701具体为：将具有相同特征的用户操作数据按照时间先后进行替换，即以时间标识在后的用户操作数据替换时间标识在前的用户操作数据。

在步骤S702中，对生成的用户操作数据片段进行合并处理，以生成用户操作数据合并段。

其中所述用户操作数据合并段包括：每一接入单元标识码对应的用户操作数据片段的集合，以及具有相同特征的用户操作数据合并段，具体请参阅图3以及针对图3的详细描述，此处不再赘述。

在具体实施过程中，本发明还对用户操作数据合并段中的用户操作数据片段的集合进行判断，若在某一集合内出现间断的用户操作数据片段，则定位并记录间断的用户操作数据片段的丢失时区。

在具体实施过程中，本发明还对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

在步骤S703中，对生成的用户操作数据合并段进行合并处理，以使得具有相同特征的用户操作数据组合在一起。

在具体实施过程中，还对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

上述特征优选为业务标识（id）以及用户关键词(Key)，当然也可以是其它的特征，均在本发明保护范围之内，此处不一一列举。

关于图6以及图7中用户操作数据的备份方法的详细描述，请参阅上文针对用户操作数据的备份系统的描述，此处不再赘述。

本发明提供的用户操作数据的备份系统通过接入机的旁路连接至接入机，通过该旁路获取接入机的用户操作数据，并对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起进行存储，由于不需存储到本地设备的磁盘，因此不会用到本地磁盘空间，对本地设备的其它服务也不会产生影响，而且由于有序的对用户操作数据进行存储，在后续恢复数据时，可根据特征方便快速的进行恢复。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (14)

1.一种用户操作数据的备份系统，其特征在于：包括：

接入单元，用于获取前端的用户操作数据，其进一步包括一旁路接口单元；

合并单元，用于通过所述旁路接口单元连接至所述接入单元，并从所述接入单元获取用户操作数据，对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起；

存储单元，其用于对所述合并单元组合后的用户操作数据进行存储。

2.根据权利要求1所述的用户操作数据的备份系统，其特征在于：所述合并单元包括：

第一合并单元，其与所述接入单元一一对应连接，用于从所述接入单元获取用户操作数据并进行合并处理，生成用户操作数据片段；

第二合并单元，其连接所述第一合并单元，用于获取所述第一合并单元生成的用户操作数据片段并进行合并处理，以生成用户操作数据合并段；

第三合并单元，其连接所述第二合并单元，用于获取所述第二合并单元生成的用户操作数据合并段并进行合并处理，以使得具有相同特征的用户操作数据组合在一起。

3.根据权利要求2所述的用户操作数据的备份系统，其特征在于：所述用户操作数据片段的合并生成包括；将具有所述相同特征的用户操作数据以时间标识在后的替换时间标识在前的用户操作数据。

4.根据权利要求2或3所述的用户操作数据的备份系统，其特征在于：所述用户操作数据合并段包括：每一接入单元标识码对应的用户操作数据片段的集合，以及具有相同特征的用户操作数据合并段。

5.根据权利要求3或4所述的用户操作数据的备份系统，其特征在于：所述用户操作数据的备份系统还包括至少一个控制单元，所述控制单元分别连接所述第一、第二以及第三合并单元；

所述控制单元，用于对所述第二合并单元生成的用户操作数据合并段中的用户操作数据片段的集合进行判断，若在某一集合内出现间断的用户操作数据片段，则定位并记录该间断的用户操作数据片段的丢失时区。

6.根据权利要求5所述的用户操作数据的备份系统，其特征在于：所述控制单元还用于控制所述第三合并单元对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

7.根据权利要求1或3或6所述的用户操作数据的备份系统，其特征在于：所述特征为业务标识或者用户关键词。

8.一种用户操作数据的备份方法，其特征在于：所述方法包括以下步骤：

通过接入机的旁路接口连接至所述接入机，并获取所述接入机内的用户操作数据；

对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起；

将上述组合后的数据存储。

9.根据权利要求8所述的用户操作数据的备份方法，其特征在于：所述对获取的用户操作数据进行合并处理，以使得具有相同特征的用户操作数据组合在一起的步骤包括：

将从所述接入机获取的用户操作数据进行合并处理，生成用户操作数据片段；

对所述用户操作数据片段进行合并处理，生成用户操作数据合并段；

对所述用户操作数据合并段进行合并处理，以使得具有相同特征的用户操作数据组合在一起。

10.根据权利要求9所述的用户操作数据的备份方法，其特征在于：将从所述接入机获取的用户操作数据进行合并处理，生成用户操作数据片段的步骤包括：

将具有相同特征的用户操作数据按照时间先后进行替换，将具有相同特征的用户操作数据以时间标识在后的替换时间标识在前的用户操作数据，以生成用户操作数据片段。

11.根据权利要求9或10所述的用户操作数据的备份方法，其特征在于：所述用户操作数据合并段包括：每一接入单元标识码对应的用户操作数据片段的集合，以及具有相同特征的用户操作数据合并段。

12.根据权利要求10或11所述的用户操作数据的备份方法，其特征在于，在生成用户操作数据合并段后，所述方法还包括以下步骤：

对用户操作数据合并段中的用户操作数据片段的集合进行判断；若在某一集合内出现间断的用户操作数据片段，则定位并记录间断的用户操作数据片段的丢失时区。

13.根据权利要求9所述的用户操作数据的备份方法，其特征在于，对生成的用户操作数据合并段进行合并处理之前，所述方法还包括以下步骤：

对具有相同特征的用户操作数据合并段进行处理，以时间标识在后的替换时间标识在前的用户操作数据合并段。

14.根据权利要求8或10或13所述的用户操作数据的备份方法，其特征在于：所述特征为业务标识或者用户关键词。

Images