CN102419758A - 数据处理系统及方法 - Google Patents

Abstract

本发明实施例公开了数据处理方法及系统，以为实现具体数据的历史查询或问题数据的跟踪提供条件。上述数据处理系统，包括：快照单元，用于在满足预设条件时，对用户当前操作数据进行捕捉，生成快照数据并存储；所述预设条件包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个。在本发明实施例中，在满足预设条件时，可对用户当前操作数据进行捕捉，并存储。存储下来的快照数据，可为具体数据的历史查询或问题数据的跟踪提供数据支持，从而解决现有技术中，无法开展具体数据的历史查询或问题数据的跟踪的问题。

Description

数据处理系统及方法

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及数据处理系统及方法。

背景技术

在对数据库中的数据进行增、删、改、查等操作时，用户信息、数据操作信息等将被日志管理器模块记录下来。

但上述日志管理器模块的记录内容以用户、操作信息为主，因此，通过该日志管理器只能获取用户的操作过程，而无法获知详细的具体数据信息，进而无法开展具体数据的历史查询或问题数据跟踪。

发明内容

有鉴于此，本发明目的在于提供数据处理方法及系统，以为实现具体数据的历史查询或问题数据的跟踪提供条件。

为实现上述目的，本发明提供如下技术方案：

一种数据处理系统，包括：

快照单元，用于在满足预设条件时，对用户当前操作数据进行捕捉，生成快照数据并存储；

所述预设条件包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个。

一种数据处理方法，包括：

在满足预设条件时，对用户当前操作的数据进行捕捉，生成快照数据并存储；

所述预设条件包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个。

从上述的技术方案可以看出，在本发明实施例中，在满足预设条件时，可对用户当前操作数据进行捕捉，并存储。存储下来的快照数据，可为具体数据的历史查询或问题数据的跟踪提供数据支持，从而解决现有技术中，无法开展具体数据的历史查询或问题数据的跟踪的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的数据处理系统的结构示意图；

图2为本发明实施例所提供的快照单元的结构示意图；

图3为本发明实施例所提供的查询单元的结构示意图；

图4为本发明实施例所提供的快照数据查询流程图；

图5为本发明实施例所提供的捕捉规则文件内容的示意图；

图6为本发明实施例所提供的捕捉规则文件内容的另一示意图；

图7为本发明实施例所提供的数据处理系统的另一结构示意图；

图8为本发明实施例所提供的数据处理系统的又一结构示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结如下：

GUI，Graphical User Interface，图形用户界面；

String，字符串；

primary key，主关键字，简称主键；

JDK：Java Development Kit，Java开发工具包；

客户机，连接服务器的计算机。每一个客户机都运行在它自己的、并为服务器所认可的操作系统环境中。通常，采用客户机/服务器结构的系统，有一台或多台服务器以及大量的客户机，服务器配备大容量存储器并安装数据库系统，用于数据的存放和数据检索。而客户机安装专用的软件，负责数据的输入、运算和输出；

规则：一条规则包括一个前件(Antecedent)和一个后件(Consequent)。其中，前件又称条件部分、模式部分或左部(Left Hand Side，LHS)，即触发的条件，可以是一个或一组条件；至于后件，又称右部(Right Hand Side，RHS)，是规则触发时要执行的一系列行为。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在用户对数据库中的数据进行增、删、改、查等操作时，用户信息、数据操作信息等将被日志管理器模块记录下来。但上述日志管理器模块的记录内容以用户、操作信息为主，因此，通过该日志管理器只能获取用户的操作过程，而无法获知详细的具体数据信息，进而无法开展具体数据的历史查询或问题数据跟踪。

有鉴于此，本发明提供了数据处理系统，参见图1，上述系统至少包括：

快照单元1，用于在满足预设条件时，对用户当前操作数据进行捕捉，生成快照数据并存储；

上述预设条件可包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个，而上述特定操作可为增加、删除、修改和查询中的一种或任意组合。

由上可知，本实施例所提供的技术方案，可在满足预设条件时，对用户当前操作数据进行瞬间捕捉并存储，以实现更为详细的具体数据信息的记录。存储下来的快照数据可用于事后历史记录查询、或者提供给开发方作为数据分析、bug跟踪等，从而解决了现有技术中因无法获知详细的具体数据信息，进而无法开展具体数据的历史查询或问题数据跟踪的问题。

快照单元1完成的上述操作可统称为快照操作。本领域技术人员可以理解的是，快照单元1在处于开启状态时，才可进行快照操作。而快照单元1可被设计为计算机开机即自动开启，或者在某一业务系统启动时自动开启，也可设计为依用户启动命令而开启。

至于上述快照操作，可在用户执行特定操作、或者接收到外部操作系统的关机命令、或者接收到外部关闭命令时，自动执行。也可在用户下达数据捕捉命令时，才进行快照操作。本领域技术人员可根据需要进行灵活设置，在此不作赘述。

举例来说，快照单元1可在用户对数据库中的数据进行删除或修改操作时，将未删除或未修改前的用户当前操作数据进行捕捉，生成快照数据并存储。当然，也可设计为接收到外部操作系统的关机命令时，对用户当前操作数据进行捕捉，以避免因用户误关机或系统不正常关机而造成的数据丢失。当然，快照单元1还可根据需要，捕捉操作前、后的数据，并将其成对放置，以方便比较。但一般以捕捉操作前的数据为主。

另外，快照单元1既可只针对业务系统或某些业务系统提供数据捕捉功能，也可不限于业务系统，如无特殊声明，本发明以后的实施例中的捕捉功能均针对业务系统。

在本发明其他实施例中，快照单元1默认对用户当前操作的所有数据进行捕捉。在对所有数据进行捕捉时，可用对用户当前操作界面进行硬拷贝的方式，实现对用户当前操作的所有数据的捕捉。数据库中的数据一般为string类型，而依照上述方式获取的快照数据已经转化为图片格式。当然，也可在保证数据的类型的情况下获取各项数据。

此外，还可依据用户需要，对用户当前操作的特定数据进行捕捉。

另外，快照单元对数据的捕捉方式也有多种，现以两种方式为例进行说明。

在介绍两种方式前，先对数据库和用户对数据库的操作进行简介。

数据库中的数据一般以报表的形式存在。报表的行和列都有特殊的叫法，每一列叫做一个“字段”。每个字段包含某一专题的信息。以下面的报表1为例，“姓名”、“联系电话”、“地址”这些都是报表中所有行共有的属性，所以把这些列称为“姓名”字段、“联系电话”字段和“地址”字段。

报表1

姓名	联系电话	地址
			张三	010***	北京市......
李四	020***	上海市......

而报表中每一行叫做一个“记录”，每一个记录包含这行中的所有信息，就像在报表1中某个人全部的信息。

在数据库中存放在报表的行列交叉处的数据叫做“数据值”，它是数据库中最基本的存储单元。

主键是被挑选出来，作为行的惟一标识的候选关键字，一个表只有一个主键。主键可以由一个字段、也可以由多个字段组成。

用户是通过业务系统访问数据库的。业条系统向用户展示数据库中某一或某些报表的镜像，当用户对数据库的数据进行增、删、改操作时，实际是用户对业务系统呈现的镜像中的某一或某些字段的数据值进行操作，之后，业务系统将用户操作的字段名和数据值发送给数据库，以最终实现对数据库对应的报表中数据的增、删、改。当对数据库中的报表执行完增、删、改操作后，业务系统重新呈现经操作后的报表的镜像。

基于上述流程，快照单元1对数据的捕捉有两种方式：

方式一、快照单元1直接从业务系统呈现的镜像中捕捉数据；

方式二、快照单元1访问数据库，从数据库中捕捉数据。

除了捕捉外，快照数据的生成及存储也可有多种实现方式。

以快照数据生成为例，一种实现方式为：在捕捉到数据后，对捕捉到的数据不作任何处理，直接将其作为快照数据。另一种实现方式为：将捕捉到的数据作为原始快照数据，并将所述原始快照数据转换成快照数据。本发明后续实施例将对如何将原始快照数据转换成快照数据进行详细说明。

以上所有实施例中的快照单元1的功能可由多个单元相互配合加以实现。在本发明其他实施例中，参见图2，上述快照单元1可包括快照接口11和快照处理器12。其中，快照接口11主要用于对用户当前操作的数据进行捕捉，快照处理器12用于利用捕捉到的数据生成快照数据，并存储。当然，也可根据需要，使用三个、四个乃至更多的单元或器件相互配合完成快照单元1的功能，在此不作赘述。

现仍以快照接口11和快照处理器12相互配合为例，对如何将原始快照数据转换成快照数据进行介绍。

当快照接口11捕捉到数据后，每一项数据均以<字段名，数据值>的方式成对存储以作为原始快照数据。然后快照处理器12按照一定的格式将这些原始快照数据加工成快照数据。快照数据可为易读形式的，以便于用户可直接查看。例如，其可以是xml文件形式的，使用浏览器打开即能查看。在将原始快照数据加工成xml文件形式的快照数据时，可先按照快照数据的类型进行分类布局，再将每项数据的<字段名，数据值>名值对写入xml文件。当然，快照数据也可依需要转换为其他任何现有形式，本领域技术人员可根据需要进行灵活设计，在此不再赘述。

需要指出的是，上述捕捉到的数据不仅包括用户在操作界面可以见到的数据(例如模块名、字段名)，还可包括一些用户不可见数据(例如用户名、用户类型、权限、登陆时间等)，因此，在对原始快照数据进行加工时，需要对其进行分类布局，将数据按类划分好，再将数据分门别类地写入文件。

当然，快照数据的“存储”也可有多种实现方式。例如，可以文件的形式对所述快照数据进行存储。出于保密性考虑，上述文件或快照数据本身还可以加密方式存储。

另外，上述文件的文件名还可与所述快照数据对应的操作时间相关联，以用来区分不同时间所捕获的不同快照数据。例如，当用户在2010年9月5日13点50分41秒对数据库的数据进行了删除，因之生成的快照数据对应的文件名可为20100905135041。另外，操作时间也可作为主键。

在快照处理器12构造完快照数据并生成文件后，可对上述文件输出(输出也可视为存储)至本地客户机、服务器、数据库等。当将上述存储有快照数据的文件存储至服务器上时，文件名中可附加用户名信息，以方便区分。本领域技术人员可以理解的是，在已经将操作时间作为主键时，文件名可以不用附加操作时间，而只以用户名信息命名。当然，上述文件的命名还可以有其他方式，只要保证能与其他文件相区别即可，在此不作特别限定。

除了快照操作功能外，还可对上述数据处理系统进行设计，以完成其他功能，例如，仍请参见图1，在本发明其他实施例中，上述系统还可包括查询单元2和恢复单元3中的至少一个。

其中，查询单元2主要可进行查询操作，其可在接收到查询命令时，根据所述查询命令中的信息查找快照数据，并展示查找结果；而恢复单元3主要可进行数据恢复操作，其可在接收到数据恢复命令时，根据所述数据恢复命令对数据库中的数据进行恢复。

查询单元2所进行的查询操作，与快照单元的快照操作相同，默认为展示所有查询到的快照数据，也可依配置，展示用户指定的快照数据。

参见图3，上述查询单元2可包括快照数据查看接口21和快照数据查看器22，快照数据查看接口21可以提供“查看快照数据”接口，并以用户界面形式展示快照数据，而快照数据查看器22可以获取存储快照数据的文件，将其中的快照数据解析出来，以便快照数据查看接口21将快照数据展示到用户界面。

如图4所示，用户可以通过客户端界面100调用快照数据查看接口21，快照数据查看接口21调用快照数据查看器22将快照数据中各个字段的值一一解析出来，展示到客户端界面100。

前已述及，数据捕捉、快照数据生成、数据存储、查询、数据恢复等操作可有多种实现方式。具体哪种操作采用何种实现方式与其相应的规则有关。以数据捕捉为例，无论何种捕捉方式，均是由捕捉规则决定的。而捕捉规则除可通过纯代码编写的方式进行配置，还可通过规则编辑器进行配置。

对规则编译器的工作原理可进行如下理解：规则编辑器向编辑人员提供图形用户界面(GUI)，该界面相当于规则模板，编辑人员向规则模板中输入或选取数值，在完成数值的输入或选取后，规则编辑器解析GUI得到解析结果，并结合该解析结果和上述输入或选取的数值生成捕捉规则，然后将其封装在捕捉规则文件中，最后，将该文件存入规则库。

举一个简单的例子来对规则模板和规则进行区别：假设“＝5”为规则，那么规则模板相当于“＝”，而“5”则为编辑人员输入或选择的数值。

上述捕捉规则文件可以是本地文件，如xml、properties文件等；也可以是存储于数据库中的数据。无论是何种方式，上述捕捉规则文件不仅可以由用户直接查看，也可以进行解析。

捕捉规则文件可包含如下内容：

客户机信息：包括操作系统信息、IP、JDK版本等(如果客户为单机操作，那么上述信息即为单机信息)；

用户信息：包括用户名、用户类型、所属组织、操作组织、权限、登录时间等；

功能模块信息：包括模块名、模块字段等。

本领域技术人员可根据需要将上述内容选为快照数据字段，这样，在进行快照操作时，快照单元1将获取与快照数据字段对应的数据值。

图5给出了Configuration.properties文件形式的捕捉规则文件内容，而图6给出了Configuration.xml文件形式的捕捉规则文件内容。

由于其他操作均有其相应的规则，因此，同样可以使用规则编译器对快照数据生成、数据存储等操作规则进行编辑。而规则编辑器可包括多个子规则编辑器，用于分别对数据捕捉规则、快照数据生成、数据存储、查询、数据恢复等不同类的规则进行编辑，各个子规则编辑器亦可采用GUI接收配置数值。

上述规则编辑器可独立于本发明实施所公开的数据处理系统，也可属于其一部分。

参见图7，在本发明其他实施例中，以上所有实施例中的系统，还可包括规则文件处理器4，规则文件处理器4主要负责规则文件的解析。

下面以同时具有快照单元1、查询单元2、恢复单元3和规则文件处理器4的数据处理系统进行快照操作为例，对各单元的工作流程介绍如下：

在满足上述预计条件时，快照单元1调用规则文件处理器4，规则文件处理器4调用捕捉规则文件，并对其进行解析，解析出捕捉规则返回给快照单元1；

快照单元1根据上述捕捉规则对用户当前操作的数据进行捕捉，并构造成原始快照数据，随后，将原始快照数据作为参数，将其转换成一定格式的快照数据并输出。

在本发明其实实施例中，上述各单元的工作流程还可以为：

在满足上述预计条件时，快照单元1调用规则文件处理器4，规则文件处理器4调用捕捉规则文件，并对其进行解析，并将解析结果中的快照数据字段返回给快照单元1，以此确定后继要构造哪些快照数据；

快照单元1根据返回的快照数据字段一一获取其对应的数据值，并构造成原始快照数据，随后，将原始快照数据作为参数，将其转换成一定格式的快照数据并输出。

其他操作，例如快照数据查询、数据恢复的工作流程与上述介绍的工作流程相类似，在此不作赘述。

为了方便业务编辑人员或用户对规则文件的查看、新增、修改和删除，在本发明其他实施例中，参见图8，还可包括配置接口5。业务编辑人员或用户可通过配置接口5对规则文件进行查看、新增、修改和删除，以及指示规则文件处理器4获取默认的规则文件还是采用指定的规则文件。

与之相应，本发明实施例还提供了一种数据处理方法。

上述方法至少包括如下步骤：

在满足预设条件时，对用户当前操作数据进行捕捉，生成快照数据并存储。

上述预设条件可包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个，而上述特定操作可为增加、删除、修改和查询中的一种或任意组合。

可见，本实施例所提供的技术方案，可在满足预设条件时，对用户当前操作数据进行瞬间捕捉并存储，以实现更为详细的具体数据信息的记录。存储下来的快照数据可用于事后历史记录查询、或者提供给开发方作为数据分析、bug跟踪等。

需要注意的是，本发明提供的方法既可只针对业务系统或某些业务系统进行数据捕捉，也可不限于业务系统。并且无论用户是单机操作还是分布式下(例如，用户通过客户端访问服务器的数据库)的数据操作，只要是对数据库中的数据进行操作，本方法都可以介入以实现对数据的快照操作。而被捕捉的数据的类型也不受限，无论是String类型还是图像类型(图像也可用数据表示)，只要是用户当前操作的数据库能够支持的数据，也都可以使用本方法进行处理。

在本发明其他实施例中，上述“对用户当前操作数据进行捕捉”的实现方式默认为：对用户当前操作的所有数据进行捕捉。当然，也可依据用户需要，对用户当前操作的特定数据进行捕捉。具体捕捉方式可参见本发明系统实施例部分，在此不作赘述。

在本发明其他实施例中，上述所有实施例中“生成快照数据”的具体实现方式为：

将捕捉到的数据作为原始快照数据，并将所述原始快照数据转换成快照数据。

而在本发明其他实施例中，上述所有实施例中，快照数据的“存储”的具体实现方式可为：以文件的形式对所述快照数据进行存储。所述文件的文件名命名可参照本发明的系统实施例部分的说明，在此不作赘述。

此外，上述文件的存储位置可为本地客户机、服务器、数据库等。当将上述存储有快照数据的文件存储至服务器上时，文件名中可附加用户名信息，以方便区分。出于保密性考虑，上述文件还可以加密方式存储。

为便于快照数据的查看，在本发明其他实施例中，上述所有实施例还可包括如下步骤：

在接收到查询命令时，根据所述查询命令中的信息查找快照数据，并展示查找结果。

其具体实施方式可为：根据上述查询命令生成查询/过滤条件(上述查询命令本身也可为查询/过滤条件)，使用查询/过滤条件对所有快照数据进行过滤，并展示过滤结果。

上述查询命令中的信息可包括操作时间、文件名，也可包括其他信息。例如，用户想查看2010年9月5日13点50分41秒产生的快照数据，上述查询命令中即可包含20100905135041。或者，在想查询属于用户Lily名下的所有快照数据时，上述查询命令中即可包括Lily。

可以理解的是，在对快照数据进查询时，可能查询得到符合查询/过滤条件的快照数据，也可能查询不到。当查询不到时，上述查找结果可为“数据无法找到”等类似的提示，而当存在符合查询/过滤条件的快照数据时，上述查找结果可为快照数据的文件名，也可为快照数据。

此外，在无法查询到符合查询/过滤条件的快照数据时，上述查找结果还可为符合类似查询/过滤条件的查找结果。例如，在查找不到文件名为20100905135041的文件时但存在以20100905135042命名的文件名时，展示20100905135042这一文件名，以供用户选择是否需要打开该文件，或直接展示文件名为20100905135042的文件所存储的快照数据。

考虑存在恶意篡改数据或误操作数据的可能性，在本发明其他实施例中，上述所有实施例中，还可包括如下步骤：

在接收到数据恢复命令时，根据所述数据恢复命令对数据库中的数据据进行恢复。

例如，用户在2010年9月5日13点50分41秒对数据库中的数据进行了删除，而在2010年9月15日才发现上述删除为误操作，此时，可利用上述恢复功能对数据库中的数据进行恢复。

具体方式可为：将文件名为20100905135041的文件所存储的数据导入数据库中，对数据库当前存储的数据进行覆盖或替换。上述数据恢复，默认将文件中所有的数据导入数据库中，也可依需要，将指定数据导入数据库中。另外，本领域技术人员还可采用其他方式对数据进行恢复，在此不作赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统和装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域普通技术人员可以理解实现上述所有实施例中所公开的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，所述程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

此外，上述程序可以后台运行的方式对数据进行快照操作。当然，也可以控件的形式，嵌入某一类或某些系统的操作界面(类似金山词霸可嵌入Word中)，或者以独立的软件的形式出现，此时，当用户需要对数据进行快照操作时，可通过鼠标点击或双击启动上述程序，并进而完成快照操作、数据查询、数据恢复等功能。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理系统，其特征在于，包括：

快照单元，用于在满足预设条件时，对用户当前操作数据进行捕捉，生成快照数据并存储；

所述预设条件包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个。

2.如权利要求1所述的系统，其特征在于，还包括：

查询单元，用于在接收到查询命令时，根据所述查询命令中的信息查找快照数据，并展示查找结果。

3.如权利要求2所述的系统，其特征在于，还包括：

恢复单元，用于在接收到数据恢复命令时，根据所述数据恢复命令对数据库中的数据进行恢复。

4.如权利要求3所述的系统，其特征在于，还包括规则文件处理器，所述规则文件处理器主要用于规则文件的解析。

5.一种数据处理方法，其特征在于，包括：

在满足预设条件时，对用户当前操作的数据进行捕捉，生成快照数据并存储；

所述预设条件包括用户执行特定操作、接收到外部操作系统的关机命令、接收到外部关闭命令、接收到数据捕捉命令中的至少一个。

6.如权利要求5所述的方法，其特征在于，还包括：

在接收到查询命令时，根据所述查询命令中的信息查找快照数据，并展示查找结果。

7.如权利要求6所述的方法，其特征在于，还包括：

在接收到数据恢复命令时，根据所述数据恢复命令对数据库中的数据进行恢复。

8.如权利要求7所述的方法，其特征在于，所述对用户当前操作的数据进行捕捉的具体实现方式为：

对用户当前操作的所有数据进行捕捉。

9.如权利要求7所述的方法，其特征在于，所述对用户当前操作的数据进行捕捉的具体实现方式为：

对用户当前操作的特定数据进行捕捉。

10.如权利要求7所述的方法，其特征在于，所述生成快照数据的具体实现方式为：

将捕捉到的数据作为原始快照数据，并将所述原始快照数据转换成快照数据。

Images