CN105678509A - 一种数据处理方法及系统 - Google Patents

Abstract

本申请公开了一种数据处理方法，包括：设置采集表模板信息，根据所述采集表模板信息生成采集表模板；根据所述采集表模板信息设置采集表模板的校验公式配置信息；向所述采集表模板中录入数据；根据所述校验公式对录入的数据进行校验。本申请还公开了一种数据处理系统。本申请有效地解决了采集表及校验公式配置问题，它使得数据处理系统能够支持用户通过后台管理界面配置采集表模板及其相应的校验公式集合，同时，系统也能在用户录入和提交数据过程中高效地解析和执行这些校验公式，从而大幅提高了数据处理系统的业务适配性、可扩展性，以及可运维性，有利于后续运维和升级。

Description

一种数据处理方法及系统

技术领域

本申请涉及一种数据处理方法及系统。

背景技术

随着企事业单位办公信息化的普及和深入，大量原本需要通过纸质表单进行的数据处理工作逐步实现了电子化，即建设电子数据处理系统(或系统模块)，系统根据数据处理部门的采集需求提供数据录入表单界面，数据录入者登录系统后进入数据录入界面，录入数据并提交校验，通过校验的数据表单进过一定的审批流程，最终流转到数据处理者的平台上。在此过程中，由于单位内部的数据处理部门往往不止一个，且单个部门内部往往也有不同的业务数据处理需求，因此，系统需要提供数量众多的业务数据处理表单界面，此外，由于数据处理需求通常会随着业务发展而变更，这就导致在系统使用过程中，用户常常需要对原有数据处理表进行调整或新增数据处理表，基于上述情况，成熟的数据处理系统应该支持管理端用户通过系统配置界面灵活定制数据处理表，而不需要进行代码级开发和部署。

为了提高数据处理的质量，还需要支持在前端用户录入数据的过程中对数据规范性和合理性进行校验，并且不同数据处理表需要进行不同的数据校验，因此在上述配置采集表模板的同时，系统还需支持管理端用户为采集表配置相应的数据校验公式，以便系统根据这些公式对前端用户录入的数据进行校验，校验不通过时给出错误提示或拦截提交动作。通过调研，大部分数据处理技术和产品，仍然采用完全固化的采集表(包括校验公式)进行面向特定业务领域的数据处理，这类产品一般通过开发采集表模板库的方式提供相对有限的可配置性，还有少部分产品能够支持用户配置采集表，但无法实现采集表数据校验公式的配置，原因主要是在基于配置生成采集表的情况下，采集表中行、列、单元格与其数据库中的业务数据表字段之间的对应关系从静态变成了动态，在现有技术中，这种动态关系使得采集表校验逻辑无法被描述，更无法被程序解析和执行，尤其当采集表带有时间维度的属性(例如：期数)时，这其中的技术复杂度和难度还将进一步提高。

发明内容

本申请提供一种数据处理方法及系统。

根据本申请的第一方面，本申请提供一种数据处理方法，包括：

生成采集表模板步骤：设置采集表模板信息，根据所述采集表模板信息生成采集表模板，所述采集表模板信息包括基本信息、列头信息和行头信息；

设置校验公式步骤：根据所述采集表模板信息设置采集表模板的校验公式配置信息，所述校验公式配置信息包括校验公式表达式；

录入数据步骤：向所述采集表模板中录入数据；

校验数据步骤：根据所述校验公式对录入的数据进行校验。

上述方法，所述数据校验步骤包括：

执行子步骤：根据所述校验公式配置信息选择执行所述校验公式中描述的数据校验逻辑，并得到执行结果。

上述方法，所述执行子步骤之前还包括：

解析子步骤：根据所述校验公式的语法定义，将校验公式表达式文本转换成业务判定逻辑。

上述方法，所述执行子步骤之后还包括：

选择子步骤：根据所述校验公式的作用类型选择后续操作，所述作用类型包括强制性、核实性和提示性。

上述方法，所述根据所述采集表模板信息生成采集表模板，具体包括：

根据所述基本信息生成表头表尾；

根据所述列头信息生成列头及约束逻辑；

根据所述行头信息生成行头及约束逻辑。

根据本申请的第二方面，本申请提供一种数据处理系统，包括：

采集表生成模块，用于设置采集表模板信息，根据所述采集表模板信息生成采集表模板，所述采集表模板信息包括基本信息、列头信息和行头信息；

校验公式设置模块，用于根据所述采集表模板信息设置采集表模板的校验公式配置信息，所述校验公式配置信息包括校验公式表达式；

数据录入模块，用于向所述采集表模板中录入数据；

数据校验模块，用于根据所述校验公式对录入的数据进行校验。

上述系统，所述数据校验模块包括：

执行单元，用于根据所述校验公式配置信息选择执行所述校验公式中描述的数据校验逻辑，并得到执行结果。

上述系统，所述数据校验模块还包括：

解析单元，用于根据所述校验公式的语法定义，将校验公式表达式文本转换成业务判定逻辑。

上述系统，所述数据校验模块还包括：

选择单元，用于根据所述校验公式的作用类型选择后续操作，所述作用类型包括强制性、核实性和提示性。

上述系统，所述校验公式设置模块，还用于根据所述基本信息生成表头表尾；根据所述列头信息生成列头及约束逻辑；根据所述行头信息生成行头及约束逻辑。

由于采用了以上技术方案，使本申请具备的有益效果在于：

在本申请的具体实施方式中，由于包括设置采集表模板信息，根据采集表模板信息生成采集表模板，根据采集表模板信息设置采集表模板的校验公式配置信息，根据所述校验公式对录入的数据进行校验，有效地解决了采集表及校验公式配置问题，它使得数据处理系统能够支持用户通过后台管理界面配置采集表模板及其相应的校验公式集合，同时，系统也能在用户录入和提交数据过程中高效地解析和执行这些校验公式，从而大幅提高了数据处理系统的业务适配性、可扩展性，以及可运维性，有利于后续运维和升级。

附图说明

图1为本申请的数据处理方法在一种实施方式中的流程图；

图2为本申请生成采集表模板步骤在一种实施方式中的流程图；

图3为本申请的校验步骤在一种实施方式中的流程图；

图4为本申请的数据处理方法在一种具体实施方式中的流程图；

图5为本申请的数据处理系统在一种实施方式中的功能模块示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

如图1所示，本申请的数据处理方法，其一种实施方式，包括以下步骤：

步骤102：生成采集表模板步骤，即设置采集表模板信息，根据采集表模板信息生成采集表模板，采集表模板信息包括基本信息、列头信息和行头信息。

其中，根据采集表模板信息生成采集表模板，具体包括以下步骤：

根据基本信息生成表头表尾；

根据列头信息生成列头及约束逻辑；

根据行头信息生成行头及约束逻辑。

采集表模板基本信息包括采集表名称、编码、版本、发布时间等。

采集表模板的列头信息可以包括列名、数值格式、数值单位、是否必填等，系统将根据此信息生成采集表列头，以及该列数据填写时的基本约束和事件响应。

采集表模板的行头信息可以包括行名、是否合计行等，系统将根据此信息生成采集表行头，以及对该行数据填写时的基本约束和事件响应。

如图2所示，本申请的步骤102具体可以包括以下步骤：

步骤1021：开始。

步骤1022：读取采集表模板基本信息。

步骤1023：生成表头表尾，如标题、期数、填写说明等。

步骤1024：读取列头基本信息。

步骤1025：生成采集表列头及约束逻辑。

步骤1026：读取行头基本信息。

步骤1027：生成采集表行头及约束逻辑。

步骤1028：结束。

步骤104：设置校验公式步骤，即根据采集表模板信息设置采集表模板的校验公式配置信息，校验公式配置信息包括校验公式表达式。

采集表模板校验公式信息包括公式表达式、公式描述、公式类型、作用类型、触发类型等，系统将根据此信息选择时机执行表达式中描述的数据校验逻辑，并根据执行结果及作用类型进行后续响应。

步骤106：录入数据步骤，即向采集表模板中录入数据。

步骤108：校验数据步骤，即根据校验公式对录入的数据进行校验。

其中，步骤108包括：

执行子步骤：校验公式配置信息选择执行校验公式中描述的数据校验逻辑，并得到执行结果。

步骤108还可以包括：

解析子步骤：根据校验公式的语法定义，将校验公式表达式文本转换成业务判定逻辑。

执行子步骤之后还可以包括：

选择子步骤：根据校验公式的作用类型选择后续操作，作用类型包括强制性、核实性和提示性。

如图3所示，在一种实施方式中，步骤108具体可以包括以下步骤：

步骤1081：开始。

步骤1082：读取采集表模板校验公式信息。

步骤1083：解析并执行校验公式表达式。

步骤1084：显示执行结果。

步骤1085：判断是否通过。若是，转步骤1089；否则，转步骤1086。

步骤1086：判断作用类型，若作用类型为核实性(核实性：校验不通过时，阻止提交操作，引导用户录入核实信息)，转步骤1087；若作用类型为提示性(提示性：校验不通过时，显示校验失败信息，但不阻止提交操作)，转步骤1089；若作用类型为强制性(强制性：校验不通过时，阻止提交操作，引导用户修改数据)，转步骤1088。

步骤1087：录入核实信息。

步骤1088：录入采集表数据，转步骤1083。

步骤1089：结束。

其中，步骤1083包括：

执行子步骤：解析校验公式配置信息并根据当前采集表数据进行运算，得到并返回执行结果。

步骤1083还可以包括：

步骤10831：开始。

步骤10832：从待解析表达式首部截取字符串单元，开始对此单元进行对照语法定义表进行解析。

步骤10833：判断当前字符串单元是否为关键字。若是，转步骤10834；否则，转步骤10835。

步骤10834：将当前字符串单元保存至关键字堆栈，供后续步骤读取和执行。

步骤10835：判断当前字符串单元是否为常量。若是，转步骤10836；否则，转步骤10837。

步骤10836：将当前字符串单元保存至值堆栈。

步骤10837：判断当前字符串单元是否为“(”。若是，转步骤10838；否则，转步骤10839。

步骤10838：查找当前“(”对应的“)”，并截取包含在“()”中的子表达式，对子表达式按照本流程进行递归解析和执行，将结果保存至值堆栈。

步骤10839：判断当前字符串单元是否为“{”。若是，转步骤108310；否则，转步骤108314。

步骤108310：查找当前“{”对应的“}”，并截取包含在“{}”中的子表达式，根据该子表达式所指示的属性项，查询当前采集表对应的后台数据，获取属性项的值，将其保存至值堆栈。

步骤108311：读取运算符堆栈中的第一个运算符。

步骤108312：判断是否获取到第一个运算符(即判断运算符堆栈是否为空)。若是，转步骤10832；否则，转步骤108313。

步骤108313：顺序读取值堆栈中的第一个和第二个值(因为此处必然为二元运算)，执行当前运算符所表达的运算逻辑，将运算结果保存至值堆栈。

步骤108314：判断当前字符串单元是否为一元运算符。若是，转步骤108315；否则，转步骤108316。

步骤108315：读取值堆栈中的第一个值，执行当前运算符所表达的运算逻辑，将运算结果保存至值堆栈。

步骤108316：判断当前字符串单元是否为一元运算符。若是，转步骤108317；否则，转步骤108318。

步骤108317：将当前字符串单元保存至运算符堆栈。

步骤108318：判断当前字符串单元是否为“；”。若是，转步骤108319；否则，转步骤108322。

步骤108319：读取关键字堆栈中的第一个关键字。

步骤108320：判断是否获取到第一个关键字(即判断关键字堆栈是否为空)。若是，转步骤108322；否则，转步骤108321。

步骤108321：根据当前关键字所表达的运算逻辑，继续按照本流程解析和执行关键字结构体中所包含的子表达式，将执行结果保存至值堆栈。

步骤108322：读取值堆栈中的第一个值，将其作为最终结果返回。

步骤108323：返回指示校验公式配置错误的异常信息。

步骤108324：结束。

本申请的数据处理方法中，其中采集表模板校验公式中的表达式所采用的语法定义如下：

表1：校验公式语法定义表

校验公式表达式示例如下：

表2：简单校验公式表达式示例

表3：复杂校验公式表达式示例

本申请的数据处理方法，其一种具体实施方式，包括图4所示步骤。

实施例二：

本申请的数据处理系统，如图5所示，其一种实施方式，包括采集表生成模块、校验公式设置模块、数据录入模块和数据校验模块。其中，采集表生成模块，用于设置采集表模板信息，根据采集表模板信息生成采集表模板，采集表模板信息包括基本信息、列头信息和行头信息。校验公式设置模块，用于根据采集表模板信息设置采集表模板的校验公式配置信息，校验公式配置信息包括校验公式表达式。数据录入模块，用于向采集表模板中录入数据。数据校验模块，用于根据校验公式对录入的数据进行校验。

在一种实施方式中，数据校验模块可以包括：

执行单元，用于根据校验公式配置信息选择执行所述校验公式中描述的数据校验逻辑，并得到执行结果。

在另一种实施方式中，数据校验模块还包括：

解析单元，用于根据校验公式的语法定义，将校验公式表达式文本转换成业务判定逻辑。

在又一种实施方式中，数据校验模块还可以包括：

选择单元，用于根据所述校验公式的作用类型选择后续操作，所述作用类型包括强制性、核实性和提示性。

本申请的数据处理系统，校验公式设置模块，还可用于根据基本信息生成表头表尾；根据列头信息生成列头及约束逻辑；根据行头信息生成行头及约束逻辑。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

生成采集表模板步骤：设置采集表模板信息，根据所述采集表模板信息生成采集表模板，所述采集表模板信息包括基本信息、列头信息和行头信息；

设置校验公式步骤：根据所述采集表模板信息设置采集表模板的校验公式配置信息，所述校验公式配置信息包括校验公式表达式；

录入数据步骤：向所述采集表模板中录入数据；

校验数据步骤：根据所述校验公式对录入的数据进行校验。

2.如权利要求1所述的数据处理方法，其特征在于，所述数据校验步骤包括：

执行子步骤：根据所述校验公式配置信息选择执行所述校验公式中描述的数据校验逻辑，并得到执行结果。

3.如权利要求2所述的数据处理方法，其特征在于，所述执行子步骤之前还包括：

解析子步骤：根据所述校验公式的语法定义，将校验公式表达式文本转换成业务判定逻辑。

4.如权利要求2所述的数据处理方法，其特征在于，所述执行子步骤之后还包括：

选择子步骤：根据所述校验公式的作用类型选择后续操作，所述作用类型包括强制性、核实性和提示性。

5.如权利要求1至4中任一项所述的数据处理方法，其特征在于，所述根据所述采集表模板信息生成采集表模板，具体包括：

根据所述基本信息生成表头表尾；

根据所述列头信息生成列头及约束逻辑；

根据所述行头信息生成行头及约束逻辑。

6.一种数据处理系统，其特征在于，包括：

采集表生成模块，用于设置采集表模板信息，根据所述采集表模板信息生成采集表模板，所述采集表模板信息包括基本信息、列头信息和行头信息；

校验公式设置模块，用于根据所述采集表模板信息设置采集表模板的校验公式配置信息，所述校验公式配置信息包括校验公式表达式；

数据录入模块，用于向所述采集表模板中录入数据；

数据校验模块，用于根据所述校验公式对录入的数据进行校验。

7.如权利要求6所述的数据处理系统，其特征在于，所述数据校验模块包括：

执行单元，用于根据所述校验公式配置信息选择执行所述校验公式中描述的数据校验逻辑，并得到执行结果。

8.如权利要求7所述的数据处理系统，其特征在于，所述数据校验模块还包括：

解析单元，用于根据所述校验公式的语法定义，将校验公式表达式文本转换成业务判定逻辑。

9.如权利要求7所述的数据处理系统，其特征在于，所述数据校验模块还包括：

选择单元，用于根据所述校验公式的作用类型选择后续操作，所述作用类型包括强制性、核实性和提示性。

10.如权利要求6至9中任一项所述的数据处理系统，其特征在于，校验公式设置模块，还用于根据所述基本信息生成表头表尾；根据所述列头信息生成列头及约束逻辑；根据所述行头信息生成行头及约束逻辑。