CN104679740A

CN104679740A - 数据处理系统

Info

Publication number: CN104679740A
Application number: CN201310609945.9A
Authority: CN
Inventors: 郝建明; 秦京; 张园园; 路敬原
Original assignee: China Unionpay Co Ltd
Current assignee: China Unionpay Co Ltd
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2015-06-03
Anticipated expiration: 2033-11-27
Also published as: CN104679740B

Abstract

本发明提出了数据处理系统。其中，所述系统包括浏览器，用于基于用户指令构造数据处理请求并将所述数据处理请求传送到客户端；客户端，用于经由与至少一个目标主机的数据通信依次处理接收到的所述数据处理请求中的每个作业模板中的各个指令集合中的每个指令，并基于处理结果构造与所述作业模板相对应的结果集合文件以供所述浏览器读取；目标主机，用于协助所述客户端完成对每个作业模板中的对应的指令集合中的每个指令的处理。本发明所公开的数据处理系统具有高的可扩展性、灵活性、适用性以及能够实现知识源的快速搜索。

Description

数据处理系统

技术领域

本发明涉及数据处理系统，更具体地，涉及基于指令处理结果自动分析的数据处理系统。

背景技术

目前，随着计算机技术以及网络应用的日益广泛和不断发展以及不同领域的业务种类的日益丰富，基于自动化（或部分自动化）模式的数据处理系统变得越来越重要。

在现有的技术方案中，为了实现数据处理系统的自动化运行，通常采用编写脚本以及配置定时任务的方式实现。然而，现有的技术方案存在如下问题：（1）由于通过脚本的方式使用固定的指令或指令集合或者配置固定的时间执行固定的作业，故在新增需求时必须重新编写脚本或修改相关的配置程序，因此具有较低的柔性；（2）由于特定的脚本常常仅适用于特定的场景，故脚本的功能无法分解或动态扩展，由此导致灵活性较低；（3）脚本的运行结果或报错信息常常难于理解，由此故障定位效率较低；（4）在操作数据处理系统的过程中，操作者常常需要获取一些技术或业务方面的知识，但由于不同数据源（知识源）的数据往往具有不一致的格式，从而难于实现格式统一以及快速搜索。

因此，存在如下需求：提供具有高的可扩展性、灵活性、适用性以及能够实现知识源的快速搜索的基于指令处理结果自动分析的数据处理系统。

发明内容

为了解决上述现有技术方案所存在的问题，本发明提出了具有高的可扩展性、灵活性、适用性以及能够实现知识源的快速搜索的基于指令处理结果自动分析的数据处理系统。

本发明的目的是通过以下技术方案实现的：

一种数据处理系统，所述数据处理系统包括：

浏览器，所述浏览器基于用户指令构造数据处理请求并将所述数据处理请求传送到客户端，其中，所述数据处理请求包含至少一个作业模板，每个作业模板由至少一个指令集合组成，并且每个指令集合包含至少一个指令；

客户端，所述客户端经由与至少一个目标主机的数据通信依次处理接收到的所述数据处理请求中的每个作业模板中的各个指令集合中的每个指令，并基于处理结果构造与所述作业模板相对应的结果集合文件以供所述浏览器读取，其中，所述结果集合文件包含所述至少一个作业模板中的每个指令的执行结果；

目标主机，所述目标主机协助所述客户端完成对每个作业模板中的对应的指令集合中的每个指令的处理。

在上面所公开的方案中，优选地，所述至少一个作业模板选自于用户预先定义的作业模板集合，并且其中，所述作业模板集合中的不同的作业模板能够复用相同的指令集合，以及不同的指令集合能够复用相同的指令。

在上面所公开的方案中，优选地，所述浏览器周期性地以异步方式读取所述结果集合文件。

在上面所公开的方案中，优选地，在所述至少一个作业模板中的每个指令均被执行完成后，所述客户端基于所述结果集合文件中的相关的指令执行结果和用户预先配置的对比项执行分析操作。

在上面所公开的方案中，优选地，所述客户端在接收到来自所述浏览器的所述数据处理请求后分别生成与所述至少一个作业模板中的每个相对应的作业实例，随后在相关的安全认证操作完成后启动相关的工作进程以实现与所述目标主机的数据通信过程，并存储所述结果集合文件。

在上面所公开的方案中，优选地，所述客户端以如下方式执行所述分析操作：（1）将所述结果集合文件中的每个指令执行结果划分为若干子域；（2）针对每个所述子域执行预定的分析函数以获得布尔形式的分析结果；（3）收集针对各个子域的分析结果，并将所收集的各个子域的分析结果应用于预定的研判表达式以获得总的分析结果；（4）将所述总的分析结果反馈给所述浏览器。

在上面所公开的方案中，优选地，所述预定的分析函数使用下列匹配方法：正则匹配、全文匹配、行数匹配以及函数匹配。

在上面所公开的方案中，优选地，在本发明所公开的数据处理系统中，所述浏览器1能够接收用户提交的不同内容格式的源文件并将其传送到所述客户端2。

在上面所公开的方案中，优选地，所述客户端存储接收到的所述源文件并在所述数据库的相应的业务表中增加对应的记录，以及通过所述浏览器提示用户配置与所述源文件相关联的属性值，随后将所述源文件以及与其相关联的属性值导入到所述数据库中的字典模型中。

在上面所公开的方案中，优选地，以如下方式执行知识文件查询过程：（1）所述浏览器基于用户指令构造知识查询请求并将所述知识查询请求传送到所述客户端2，其中，所述知识查询请求包含查询类型；（2）所述客户端根据所述知识查询请求所指示的查询类型查询所述数据库并将获得的记录返回给所述浏览器以显示给用户；（3）所述浏览器将用户选择的记录的标识符传送给所述客户端；（4）所述客户端根据所述标识符获取与该标识符相关联的被存储于数据模型中的源文件的属性值，并将所述属性值与用户所选择的记录进行匹配，随后以预定义的形式将匹配结果传送到所述浏览器以显示给用户。

本发明所公开的数据处理系统具有如下优点：（1）由于作业模板集合中的不同的作业模板能够复用相同的指令集合，以及不同的指令集合能够复用相同的指令，故具有很高的可扩展性和灵活性；（2）由于能够自动地根据配置参数对指令的执行结果进行分析，故故障定位更加准确并且效率更高；（3）由于用户能够配置与源文件相关联的属性值(诸如文件项名称、字段分割符、字段定义域（即每个字段的含义说明）等等)，故能够实现不同格式的知识文件的快速查询；（4）由于能够支持不同的匹配算法和逻辑表达式，因此可以对指令的执行结果进行复杂的、差异化的预定分析，从而获得更准确的分析结果。

附图说明

结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中：

图1是根据本发明的实施例的基于指令处理结果自动分析的数据处理系统的示意性结构图。

具体实施方式

图1是根据本发明的实施例的基于指令处理结果自动分析的数据处理系统的示意性结构图。如图1所示，本发明所公开的数据处理系统包括浏览器1、客户端2以及目标主机3。其中，所述浏览器1基于用户指令构造数据处理请求并将所述数据处理请求传送到客户端2，其中，所述数据处理请求包含至少一个作业模板，每个作业模板由至少一个指令集合组成，并且每个指令集合包含至少一个指令。所述客户端2经由与至少一个目标主机3的数据通信依次处理接收到的所述数据处理请求中的每个作业模板中的各个指令集合中的每个指令，并基于处理结果构造与所述作业模板相对应的结果集合文件以供所述浏览器1读取，其中，所述结果集合文件包含所述至少一个作业模板中的每个指令的执行结果（可选地，也可以包括分析结果）。所述目标主机3协助所述客户端2完成对每个作业模板中的对应的指令集合中的每个指令的处理。

优选地，在本发明所公开的数据处理系统中，所述至少一个作业模板选自于用户预先定义的作业模板集合，并且其中，所述作业模板集合中的不同的作业模板能够复用相同的指令集合，以及不同的指令集合能够复用相同的指令。

优选地，在本发明所公开的数据处理系统中，所述浏览器1周期性地以异步方式读取所述结果集合文件。

优选地，在本发明所公开的数据处理系统中，在所述至少一个作业模板中的每个指令均被执行完成后，所述客户端2基于所述结果集合文件中的相关的指令执行结果和用户预先配置的对比项（示例性地，其可以包括匹配方法、匹配参数以及研判表达式）执行分析操作（即判断指令执行的结果是否符合预期）。

优选地，在本发明所公开的数据处理系统中，所述客户端2在接收到来自所述浏览器1的所述数据处理请求后分别生成与所述至少一个作业模板中的每个相对应的作业实例，随后在相关的安全认证操作（例如输入用户名、密码等等安全要素以进行认证）完成后启动相关的工作进程以实现与所述目标主机3的数据通信过程，并存储所述结果集合文件。

优选地，在本发明所公开的数据处理系统中，所述客户端2以如下方式执行所述分析操作：（1）将所述结果集合文件中的每个指令执行结果划分为若干子域（示例性地，可以基于几何（诸如行，列、矩形等等）也可以基于词性（诸如形容词、动词等等）进行所述划分）；（2）针对每个所述子域执行预定的分析函数（例如基于文本匹配的是非分析过程，其可以是正则表达式的形式，也可以是行数限制的是否判定结果）以获得布尔形式的分析结果；（3）收集针对各个子域的分析结果，并将所收集的各个子域的分析结果（布尔值）应用于预定的研判表达式（例如以逻辑表达式的形式）以获得总的分析结果；（4）将所述总的分析结果反馈给所述浏览器1。由上可见，所述研判过程实质上实现了“分解-分析-整合”的编程框架。在本发明所公开的数据处理系统中，分解是指文本域的划分，分析是指具体的研判函数，整合是指布尔表达式解析。

示例性地，在本发明所公开的数据处理系统中，所述预定的分析函数使用下列匹配方法：正则匹配、全文匹配、行数匹配以及函数匹配。

优选地，在本发明所公开的数据处理系统中，所述客户端2存储所述总的分析结果并将所述总的分析结果通过所述浏览器1显示给用户。

优选地，在本发明所公开的数据处理系统中，所述客户端2记录其与所述目标主机3之间的所有数据通信的内容，以供用户通过所述浏览器1进行编辑、审计、报表导出以及日志查看等操作。

优选地，在本发明所公开的数据处理系统中，所述浏览器1能够接收用户提交的不同内容格式的源文件（例如技术或业务知识文件）并将其传送到所述客户端2。

优选地，在本发明所公开的数据处理系统中，所述客户端2存储接收到的所述源文件并在所述数据库的相应的业务表中增加对应的记录，以及通过所述浏览器1提示用户配置与所述源文件相关联的属性值(诸如文件项名称、字段分割符、字段定义域（即每个字段的含义说明）等等)，随后将所述源文件以及与其相关联的属性值导入（例如通过逐行的方式）到所述数据库中的字典模型中。示例性地，上述过程能够以如下方式实现：将源文件上传后存放于所述客户端，随后在用户定义了相关的源文件的属性（如分隔符、字段描述、业务表名）后，进行导入，此时在数据库中生成数据模型。

优选地，在本发明所公开的数据处理系统中，以如下方式执行知识文件查询过程：（1）所述浏览器1基于用户指令构造知识查询请求并将所述知识查询请求传送到所述客户端2，其中，所述知识查询请求包含查询类型（示例性地，所述查询类型包括模糊查询（全表查询）以及精确查询（指定业务表名称））；（2）所述客户端2根据所述知识查询请求所指示的查询类型查询所述数据库并将获得的记录返回给所述浏览器1以显示给用户；（3）所述浏览器1将用户选择的记录（例如用户通过点击操作选择感兴趣的记录）的标识符传送给所述客户端2；（4）所述客户端2根据所述标识符获取与该标识符相关联的被存储于数据模型中的源文件的属性值（诸如文件项名称、字段分割符、字段定义域（即每个字段的含义说明）等等），并将所述属性值与用户所选择的记录进行匹配，随后以预定义的形式将匹配结果传送到所述浏览器以显示给用户。示例性地，可以以如下方式具体实现上述知识文件查询方法：（1）将关系型数据以界定符文件的方式进行录入；（2）定义域名；（3）将行记录序列化为字符串；（4）对用户输入的关键字在字符串中进行全文搜索；（5）将搜索出的字符串解析为行记录并呈现。由上可见。该方法可以良好地适用于域数量不确定的关系型数据表的搜索。

由上可见，在本发明所公开的数据处理系统中，任务调度部分采用层次设计，逐步解耦，最终抽象出与目标系统无关的“任务”的设计思想，该抽象层次划分的主要依据是目标操作的有序性、原子性和相关性。

本发明所公开的数据处理系统包括：（1）原子操作：即指令；（2）有序相关的集合：即指令集；（3）无序相关的集合：即作业模板。换句话说，一个作业模板即是一个单独的任务（这里所称的单独，是指任务之间是无序无关的）。因此，本发明所公开的数据处理系统实际上实现了一种面向一般作业的任务调度系统，因而具有广泛的普适性。

由上可见，本发明所公开的数据处理系统具有下列优点：（1）由于作业模板集合中的不同的作业模板能够复用相同的指令集合，以及不同的指令集合能够复用相同的指令，故具有很高的可扩展性和灵活性；（2）由于能够自动地根据配置参数对指令的执行结果进行分析，故故障定位更加准确并且效率更高；（3）由于用户能够配置与源文件相关联的属性值(诸如文件项名称、字段分割符、字段定义域（即每个字段的含义说明）等等)，故能够实现不同格式的知识文件的快速查询；（4）由于能够支持不同的匹配算法和逻辑表达式，因此可以对指令的执行结果进行复杂的、差异化的预定分析，从而获得更准确的分析结果。

尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到：在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。

Claims

1.一种数据处理系统，所述数据处理系统包括：

2.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个作业模板选自于用户预先定义的作业模板集合，并且其中，所述作业模板集合中的不同的作业模板能够复用相同的指令集合，以及不同的指令集合能够复用相同的指令。

3.根据权利要求2所述的数据处理系统，其特征在于，所述浏览器周期性地以异步方式读取所述结果集合文件。

4.根据权利要求3所述的数据处理系统，其特征在于，在所述至少一个作业模板中的每个指令均被执行完成后所述客户端基于所述结果集合文件中的相关的指令执行结果和用户预先配置的对比项执行分析操作。

5.根据权利要求4所述的数据处理系统，其特征在于，所述客户端在接收到来自所述浏览器的所述数据处理请求后分别生成与所述至少一个作业模板中的每个相对应的作业实例，随后在相关的安全认证操作完成后启动相关的工作进程以实现与所述目标主机的数据通信过程，并存储所述结果集合文件。

6.根据权利要求5所述的数据处理系统，其特征在于，所述客户端以如下方式执行所述分析操作：（1）将所述结果集合文件中的每个指令执行结果划分为若干子域；（2）针对每个所述子域执行预定的分析函数以获得布尔形式的分析结果；（3）收集针对各个子域的分析结果，并将所收集的各个子域的分析结果应用于预定的研判表达式以获得总的分析结果；（4）将所述总的分析结果反馈给所述浏览器。

7.根据权利要求6所述的数据处理系统，其特征在于，所述预定的分析函数使用下列匹配方法：正则匹配、全文匹配、行数匹配以及函数匹配。

8.根据权利要求7所述的数据处理系统，其特征在于，在本发明所公开的数据处理系统中，所述浏览器1能够接收用户提交的不同内容格式的源文件并将其传送到所述客户端2。

9.根据权利要求8所述的数据处理系统，其特征在于，所述客户端存储接收到的所述源文件并在所述数据库的相应的业务表中增加对应的记录，以及通过所述浏览器提示用户配置与所述源文件相关联的属性值，随后将所述源文件以及与其相关联的属性值导入到所述数据库中的字典模型中。

10.根据权利要求9所述的数据处理系统，其特征在于，以如下方式执行知识文件查询过程：（1）所述浏览器基于用户指令构造知识查询请求并将所述知识查询请求传送到所述客户端，其中，所述知识查询请求包含查询类型；（2）所述客户端根据所述知识查询请求所指示的查询类型查询所述数据库并将获得的记录返回给所述浏览器以显示给用户；（3）所述浏览器将用户选择的记录的标识符传送给所述客户端；（4）所述客户端根据所述标识符获取与该标识符相关联的被存储于数据模型中的源文件的属性值，并将所述属性值与用户所选择的记录进行匹配，随后以预定义的形式将匹配结果传送到所述浏览器以显示给用户。