CN114911466A - 一种采集端数据质量控制系统 - Google Patents

Abstract

本发明公布了一种元数据定义的数据采集端质量控制系统，通过定义通用的数据采集端，实现数据采集界面的实时自动生成和数据自动更新，可以减少数据采集界面设计和编码的工作量，提高数据采集界面风格的一致性；通过定义通用质量元数据，提供实时的数据校验和校验反馈，避免非法数据提交，有助于统一数据采集标准、提升数据采集质量。

Description

一种采集端数据质量控制系统

技术领域

本发明涉及数据采集技术领域，尤其是涉及一种采集端数据质量控制系统。

背景技术

随着互联网技术、通信技术的飞速发展，越来越多的企业使用数字化办公平台方式。完整的数字化办公平台通常会包括数据采集端，数据采集端的设计直接影响到数据采集效率。现有环境下，由于每套数据采集端系统都是单独定制，数据输入输出信息存在差异，在接入第三方平台时，需要第三方平台单独去做适配接口，然后才对接收到的数据统一处理。整个数据采集工作过程，需要开发人员适应多种工作界面、数据标准、校验规则等，导致开发周期拉长，浪费人力物力。

发明内容

本发明的目的是提供了一种采集端数据质量控制系统，用以解决采集端开发周期长、界面风格不统一、采集数据标准不一致等问题。

为实现上述目的，本发明提供了如下技术方案，

一种采集端数据质量控制系统，包括如下模块：

一种采集端数据质量控制系统，预制有通用数据模型，通过模型元数据描述类，通过组件元数据、初始化元数据、质量元数据描述字段；依据目标对象特征，对模型元数据、组件元数据、初始化元数据以及质量元数据进行自定义，以使通用数据模型的模板图形界面生成期望图形界面；通过将目标对象信息加载入自定义后的数据模型中，以实现期望图形界面的数据填充与更新。

通用数据模型可以预先存储于存储介质内，项目开发时直接拷贝即可。

进一步地，通用数据模型采用具有反射机制和支持数据绑定的程序语言开发，基于SWT和JFace完成数据采集和数据绑定，基于注解机制完成元数据定义。

进一步地，通过模型元数据描述类，包括如下属性：

caption属性，描述数据采集向导的窗口标题栏显示信息；

title属性，描述数据采集向导的标题信息；

message属性，描述数据采集向导的描述信息。

进一步地，通过组件元数据描述字段，包括如下属性：

label属性，描述字段名称；

widgetType属性，描述组件类型，包括TEXT、COMBO、CHECK、LIST、FILE、DIRECTORY；

pageId属性，描述组件在数据采集向导中所处页的名称。

进一步地，通过初始化元数据描述字段，包括如下属性：

inputId属性，描述初始化输入的唯一标识；

textProperty属性，描述组件要显示的输入对象的属性名称；

selectionType属性，描述组件的选择模式，包括单选和多选；

inputObjectToBeanProperty属性，描述当字段类型不同于组件数据项类型时，从组件数据项类型到字段类型的转换方法，该方法以组件数据项类型的对象为输入，返回字段类型的对象；

beanPropertyToInputObject属性，描述当字段类型不同于组件数据项类型时，从字段类型到组件数据项类型的转换方法，该方法以字段类型的对象为输入，返回组件数据项类型的对象；

cascadedField属性，描述当前字段级联的字段；

cascadeMethod属性，描述当组件被选择的数据项发生变化时确定被级联组件输入数据项的方法。

进一步地，通过质量元数据描述字段，包括如下属性：

validate属性，描述被描述字段的数据校验方法，该方法以组件数据项类型的对象作为参数，返回布尔值，其中布尔真表示符合数据校验规则，布尔假表示不符合数据校验规则；

desc属性，描述被描述字段不满足校验规则时的提示信息。

本发明采用上述采集端数据质量控制系统，通过通用的数据采集模型，实现数据采集端界面的实时自动生成和数据自动更新，显著加快了项目开发速度，提高数据采集端界面风格的一致性；通过定义通用质量元数据，提供实时的数据校验和问题提醒，避免非法数据提交，有助于统一数据采集标准、提升数据质量。

附图说明

图1为本发明实施例的采集端原理示意图；

图2为本发明实施例的数据模型的实现类图；

图3为本发明实施例中人员信息采集端的人员类图；

图4为本发明实施例中人员信息采集端的图像界面图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示的一种采集端数据质量控制系统，通过模型元数据描述类，通过组件元数据、初始化元数据、质量元数据描述字段；依据目标对象特征，对模型元数据、组件元数据、初始化元数据以及质量元数据进行自定义，以使通用数据模型的模板图形界面生成期望图形界面；通过将目标对象信息加载入自定义后的数据模型中，以实现期望图形界面的数据填充与更新。

具体地，数据模型本身主要负责如下几部分工作：

1、通过模型元数据描述数据模型类，定义数据采集向导提示信息。

caption属性，描述数据采集向导的窗口标题栏显示信息；

title属性，描述数据采集向导的标题信息；

message属性，描述数据采集向导的描述信息。

2、通过组件元数据描述字段，定义数据模型字段的数据采集组件。

label属性，描述字段名称；

widgetType属性，描述组件类型，包括TEXT、COMBO、CHECK、LIST、FILE、DIRECTORY等；

pageId属性，描述组件在数据采集向导中所处页的名称。

3、通过初始化元数据描述字段，定义数据采集组件的输入数据项，以及数据采集组件之间的级联关系。

inputId属性，描述初始化输入的唯一标识；

textProperty属性，描述组件要显示的输入对象的属性名称；

selectionType属性，描述组件的选择模式，包括单选和多选；

inputObjectToBeanProperty属性，描述当字段类型不同于组件数据项类型时，从组件数据项类型到字段类型的转换方法，该方法以组件数据项类型的对象为输入，返回字段类型的对象；

beanPropertyToInputObject属性，描述当字段类型不同于组件数据项类型时，从字段类型到组件数据项类型的转换方法，该方法以字段类型的对象为输入，返回组件数据项类型的对象；

cascadedField属性，描述当前字段级联的字段；

cascadeMethod属性，描述当组件被选择的数据项发生变化时确定被级联组件输入数据项的方法。

4、使用质量元数据描述字段，定义字段的校验方法。

validate属性，描述被描述字段的数据校验方法，该方法以组件数据项类型的对象作为参数，返回布尔值，其中布尔真表示符合数据校验规则，布尔假表示不符合数据校验规则；

desc属性，描述被描述字段不满足校验规则时的提示信息。

本发明采用具有反射机制和支持数据绑定的程序语言开发，如Java、C#等，元数据定义可以基于注解机制，也可以采用XML等描述机制。

如图2所示，以Java语言为例给出参考实现，基于SWT和JFace实现数据采集组件和数据绑定，并使用注解作为定义元数据的方法。

注解ModelMeta定义模型元数据；

注解WidgetMeta定义字段的组件元数据；

注解InputMeta定义组件的初始化元数据；

注解ValidationMeta和QualityMeta定义字段的质量元数据；

MyWidget类为组件的父类，其派生子类包括MyText、MyCombo、MyCheck、MyFile、MyDirectory、MyList、MyTree，分别为文本框、组合框、勾选框、文件选择、目录选择、列表、树UI组件；

MyWizard类定义模型数据采集向导，向导可以包含多个页；

MyWizardPage类定义模型数据采集向导的页。

如图3所示，以人员信息采集端为例描述具体使用过程，包括：

1、定义表示人员的数据模型类Person，包括id、name、province、city、skills等字段。其中，province和city字段为字符串类型，使用下拉框作为展现组件，province字段的组件级联控制city字段的组件，skills字段为列表，并支持多选。

2、图形界面窗口描述，数据采集向导的窗口标题栏显示“数据采集向导”，向导标题为“人员信息采集”，向导提示信息为“采集人员相关信息”。

3、字段设置，对照字段设置组件及属性，并链接校验规则方法。

4、模型及向导初始化。第一步，新建并初始化Person对象，通过将对象序列化为JSON字符串记录初始值；第二步，创建并初始化数据采集向导，并初始化标识为“province”和“skills”的数据数据项；第三步，创建并初始化向导对话框，并打开对话框；最后，当数据被提交后，再次序列化对象为JSON字符串，记录更新值。

以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。

Claims (6)

1.一种采集端数据质量控制系统，其特征在于，预制有通用数据模型，通过模型元数据描述类，通过组件元数据、初始化元数据、质量元数据描述字段；依据目标对象特征，对模型元数据、组件元数据、初始化元数据以及质量元数据进行自定义，以使通用数据模型的模板图形界面生成期望图形界面；通过将目标对象信息加载入自定义后的数据模型中，以实现期望图形界面的数据填充与更新。

2.根据权利要求1所述的采集端数据质量控制系统，其特征在于，通用数据模型采用具有反射机制和支持数据绑定的程序语言开发，基于SWT和JFace完成数据采集和数据绑定，基于注解机制完成元数据定义。

3.根据权利要求2所述的采集端数据质量控制系统，其特征在于，通过模型元数据描述类，包括如下属性：

caption属性，描述数据采集向导的窗口标题栏显示信息；

title属性，描述数据采集向导的标题信息；

message属性，描述数据采集向导的描述信息。

4.根据权利要求2所述的采集端数据质量控制系统，其特征在于，通过组件元数据描述字段，包括如下属性：

label属性，描述字段名称；

widgetType属性，描述组件类型，包括TEXT、COMBO、CHECK、LIST、FILE、DIRECTORY；

pageId属性，描述组件在数据采集向导中所处页的名称。

5.根据权利要求2所述的采集端数据质量控制系统，其特征在于，通过初始化元数据描述字段，包括如下属性：

inputId属性，描述初始化输入的唯一标识；

textProperty属性，描述组件要显示的输入对象的属性名称；

selectionType属性，描述组件的选择模式，包括单选和多选；

inputObjectToBeanProperty属性，描述当字段类型不同于组件数据项类型时，从组件数据项类型到字段类型的转换方法，该方法以组件数据项类型的对象为输入，返回字段类型的对象；

beanPropertyToInputObject属性，描述当字段类型不同于组件数据项类型时，从字段类型到组件数据项类型的转换方法，该方法以字段类型的对象为输入，返回组件数据项类型的对象；

cascadedField属性，描述当前字段级联的字段；

cascadeMethod属性，描述当组件被选择的数据项发生变化时确定被级联组件输入数据项的方法。

6.根据权利要求2所述的采集端数据质量控制系统，其特征在于，通过质量元数据描述字段，包括如下属性：

validate属性，描述被描述字段的数据校验方法，该方法以组件数据项类型的对象作为参数，返回布尔值，其中布尔真表示符合数据校验规则，布尔假表示不符合数据校验规则；

desc属性，描述被描述字段不满足校验规则时的提示信息。

Images