CN114911466A - 一种采集端数据质量控制系统 - Google Patents
一种采集端数据质量控制系统 Download PDFInfo
- Publication number
- CN114911466A CN114911466A CN202210570019.4A CN202210570019A CN114911466A CN 114911466 A CN114911466 A CN 114911466A CN 202210570019 A CN202210570019 A CN 202210570019A CN 114911466 A CN114911466 A CN 114911466A
- Authority
- CN
- China
- Prior art keywords
- data
- component
- attribute
- metadata
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/31—Programming languages or programming paradigms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公布了一种元数据定义的数据采集端质量控制系统,通过定义通用的数据采集端,实现数据采集界面的实时自动生成和数据自动更新,可以减少数据采集界面设计和编码的工作量,提高数据采集界面风格的一致性;通过定义通用质量元数据,提供实时的数据校验和校验反馈,避免非法数据提交,有助于统一数据采集标准、提升数据采集质量。
Description
技术领域
本发明涉及数据采集技术领域,尤其是涉及一种采集端数据质量控制系统。
背景技术
随着互联网技术、通信技术的飞速发展,越来越多的企业使用数字化办公平台方式。完整的数字化办公平台通常会包括数据采集端,数据采集端的设计直接影响到数据采集效率。现有环境下,由于每套数据采集端系统都是单独定制,数据输入输出信息存在差异,在接入第三方平台时,需要第三方平台单独去做适配接口,然后才对接收到的数据统一处理。整个数据采集工作过程,需要开发人员适应多种工作界面、数据标准、校验规则等,导致开发周期拉长,浪费人力物力。
发明内容
本发明的目的是提供了一种采集端数据质量控制系统,用以解决采集端开发周期长、界面风格不统一、采集数据标准不一致等问题。
为实现上述目的,本发明提供了如下技术方案,
一种采集端数据质量控制系统,包括如下模块:
一种采集端数据质量控制系统,预制有通用数据模型,通过模型元数据描述类,通过组件元数据、初始化元数据、质量元数据描述字段;依据目标对象特征,对模型元数据、组件元数据、初始化元数据以及质量元数据进行自定义,以使通用数据模型的模板图形界面生成期望图形界面;通过将目标对象信息加载入自定义后的数据模型中,以实现期望图形界面的数据填充与更新。
通用数据模型可以预先存储于存储介质内,项目开发时直接拷贝即可。
进一步地,通用数据模型采用具有反射机制和支持数据绑定的程序语言开发,基于SWT和JFace完成数据采集和数据绑定,基于注解机制完成元数据定义。
进一步地,通过模型元数据描述类,包括如下属性:
caption属性,描述数据采集向导的窗口标题栏显示信息;
title属性,描述数据采集向导的标题信息;
message属性,描述数据采集向导的描述信息。
进一步地,通过组件元数据描述字段,包括如下属性:
label属性,描述字段名称;
widgetType属性,描述组件类型,包括TEXT、COMBO、CHECK、LIST、FILE、DIRECTORY;
pageId属性,描述组件在数据采集向导中所处页的名称。
进一步地,通过初始化元数据描述字段,包括如下属性:
inputId属性,描述初始化输入的唯一标识;
textProperty属性,描述组件要显示的输入对象的属性名称;
selectionType属性,描述组件的选择模式,包括单选和多选;
inputObjectToBeanProperty属性,描述当字段类型不同于组件数据项类型时,从组件数据项类型到字段类型的转换方法,该方法以组件数据项类型的对象为输入,返回字段类型的对象;
beanPropertyToInputObject属性,描述当字段类型不同于组件数据项类型时,从字段类型到组件数据项类型的转换方法,该方法以字段类型的对象为输入,返回组件数据项类型的对象;
cascadedField属性,描述当前字段级联的字段;
cascadeMethod属性,描述当组件被选择的数据项发生变化时确定被级联组件输入数据项的方法。
进一步地,通过质量元数据描述字段,包括如下属性:
validate属性,描述被描述字段的数据校验方法,该方法以组件数据项类型的对象作为参数,返回布尔值,其中布尔真表示符合数据校验规则,布尔假表示不符合数据校验规则;
desc属性,描述被描述字段不满足校验规则时的提示信息。
本发明采用上述采集端数据质量控制系统,通过通用的数据采集模型,实现数据采集端界面的实时自动生成和数据自动更新,显著加快了项目开发速度,提高数据采集端界面风格的一致性;通过定义通用质量元数据,提供实时的数据校验和问题提醒,避免非法数据提交,有助于统一数据采集标准、提升数据质量。
附图说明
图1为本发明实施例的采集端原理示意图;
图2为本发明实施例的数据模型的实现类图;
图3为本发明实施例中人员信息采集端的人员类图;
图4为本发明实施例中人员信息采集端的图像界面图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示的一种采集端数据质量控制系统,通过模型元数据描述类,通过组件元数据、初始化元数据、质量元数据描述字段;依据目标对象特征,对模型元数据、组件元数据、初始化元数据以及质量元数据进行自定义,以使通用数据模型的模板图形界面生成期望图形界面;通过将目标对象信息加载入自定义后的数据模型中,以实现期望图形界面的数据填充与更新。
具体地,数据模型本身主要负责如下几部分工作:
1、通过模型元数据描述数据模型类,定义数据采集向导提示信息。
caption属性,描述数据采集向导的窗口标题栏显示信息;
title属性,描述数据采集向导的标题信息;
message属性,描述数据采集向导的描述信息。
2、通过组件元数据描述字段,定义数据模型字段的数据采集组件。
label属性,描述字段名称;
widgetType属性,描述组件类型,包括TEXT、COMBO、CHECK、LIST、FILE、DIRECTORY等;
pageId属性,描述组件在数据采集向导中所处页的名称。
3、通过初始化元数据描述字段,定义数据采集组件的输入数据项,以及数据采集组件之间的级联关系。
inputId属性,描述初始化输入的唯一标识;
textProperty属性,描述组件要显示的输入对象的属性名称;
selectionType属性,描述组件的选择模式,包括单选和多选;
inputObjectToBeanProperty属性,描述当字段类型不同于组件数据项类型时,从组件数据项类型到字段类型的转换方法,该方法以组件数据项类型的对象为输入,返回字段类型的对象;
beanPropertyToInputObject属性,描述当字段类型不同于组件数据项类型时,从字段类型到组件数据项类型的转换方法,该方法以字段类型的对象为输入,返回组件数据项类型的对象;
cascadedField属性,描述当前字段级联的字段;
cascadeMethod属性,描述当组件被选择的数据项发生变化时确定被级联组件输入数据项的方法。
4、使用质量元数据描述字段,定义字段的校验方法。
validate属性,描述被描述字段的数据校验方法,该方法以组件数据项类型的对象作为参数,返回布尔值,其中布尔真表示符合数据校验规则,布尔假表示不符合数据校验规则;
desc属性,描述被描述字段不满足校验规则时的提示信息。
本发明采用具有反射机制和支持数据绑定的程序语言开发,如Java、C#等,元数据定义可以基于注解机制,也可以采用XML等描述机制。
如图2所示,以Java语言为例给出参考实现,基于SWT和JFace实现数据采集组件和数据绑定,并使用注解作为定义元数据的方法。
注解ModelMeta定义模型元数据;
注解WidgetMeta定义字段的组件元数据;
注解InputMeta定义组件的初始化元数据;
注解ValidationMeta和QualityMeta定义字段的质量元数据;
MyWidget类为组件的父类,其派生子类包括MyText、MyCombo、MyCheck、MyFile、MyDirectory、MyList、MyTree,分别为文本框、组合框、勾选框、文件选择、目录选择、列表、树UI组件;
MyWizard类定义模型数据采集向导,向导可以包含多个页;
MyWizardPage类定义模型数据采集向导的页。
如图3所示,以人员信息采集端为例描述具体使用过程,包括:
1、定义表示人员的数据模型类Person,包括id、name、province、city、skills等字段。其中,province和city字段为字符串类型,使用下拉框作为展现组件,province字段的组件级联控制city字段的组件,skills字段为列表,并支持多选。
2、图形界面窗口描述,数据采集向导的窗口标题栏显示“数据采集向导”,向导标题为“人员信息采集”,向导提示信息为“采集人员相关信息”。
3、字段设置,对照字段设置组件及属性,并链接校验规则方法。
4、模型及向导初始化。第一步,新建并初始化Person对象,通过将对象序列化为JSON字符串记录初始值;第二步,创建并初始化数据采集向导,并初始化标识为“province”和“skills”的数据数据项;第三步,创建并初始化向导对话框,并打开对话框;最后,当数据被提交后,再次序列化对象为JSON字符串,记录更新值。
以上是本发明的具体实施方式,但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内,因此本发明的保护范围应以权利要求书所限定的保护范围为准。
Claims (6)
1.一种采集端数据质量控制系统,其特征在于,预制有通用数据模型,通过模型元数据描述类,通过组件元数据、初始化元数据、质量元数据描述字段;依据目标对象特征,对模型元数据、组件元数据、初始化元数据以及质量元数据进行自定义,以使通用数据模型的模板图形界面生成期望图形界面;通过将目标对象信息加载入自定义后的数据模型中,以实现期望图形界面的数据填充与更新。
2.根据权利要求1所述的采集端数据质量控制系统,其特征在于,通用数据模型采用具有反射机制和支持数据绑定的程序语言开发,基于SWT和JFace完成数据采集和数据绑定,基于注解机制完成元数据定义。
3.根据权利要求2所述的采集端数据质量控制系统,其特征在于,通过模型元数据描述类,包括如下属性:
caption属性,描述数据采集向导的窗口标题栏显示信息;
title属性,描述数据采集向导的标题信息;
message属性,描述数据采集向导的描述信息。
4.根据权利要求2所述的采集端数据质量控制系统,其特征在于,通过组件元数据描述字段,包括如下属性:
label属性,描述字段名称;
widgetType属性,描述组件类型,包括TEXT、COMBO、CHECK、LIST、FILE、DIRECTORY;
pageId属性,描述组件在数据采集向导中所处页的名称。
5.根据权利要求2所述的采集端数据质量控制系统,其特征在于,通过初始化元数据描述字段,包括如下属性:
inputId属性,描述初始化输入的唯一标识;
textProperty属性,描述组件要显示的输入对象的属性名称;
selectionType属性,描述组件的选择模式,包括单选和多选;
inputObjectToBeanProperty属性,描述当字段类型不同于组件数据项类型时,从组件数据项类型到字段类型的转换方法,该方法以组件数据项类型的对象为输入,返回字段类型的对象;
beanPropertyToInputObject属性,描述当字段类型不同于组件数据项类型时,从字段类型到组件数据项类型的转换方法,该方法以字段类型的对象为输入,返回组件数据项类型的对象;
cascadedField属性,描述当前字段级联的字段;
cascadeMethod属性,描述当组件被选择的数据项发生变化时确定被级联组件输入数据项的方法。
6.根据权利要求2所述的采集端数据质量控制系统,其特征在于,通过质量元数据描述字段,包括如下属性:
validate属性,描述被描述字段的数据校验方法,该方法以组件数据项类型的对象作为参数,返回布尔值,其中布尔真表示符合数据校验规则,布尔假表示不符合数据校验规则;
desc属性,描述被描述字段不满足校验规则时的提示信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210570019.4A CN114911466B (zh) | 2022-05-24 | 2022-05-24 | 一种采集端数据质量控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210570019.4A CN114911466B (zh) | 2022-05-24 | 2022-05-24 | 一种采集端数据质量控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114911466A true CN114911466A (zh) | 2022-08-16 |
CN114911466B CN114911466B (zh) | 2023-03-21 |
Family
ID=82769074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210570019.4A Active CN114911466B (zh) | 2022-05-24 | 2022-05-24 | 一种采集端数据质量控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114911466B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795845A (zh) * | 2023-08-23 | 2023-09-22 | 深圳市金政软件技术有限公司 | 数据的展示方法、装置、终端设备和可读存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060236254A1 (en) * | 2005-04-18 | 2006-10-19 | Daniel Mateescu | System and method for automated building of component based applications for visualizing complex data structures |
CN101334728A (zh) * | 2008-07-28 | 2008-12-31 | 北京航空航天大学 | 一种基于xml文档描述的界面生成方法和平台 |
US20110208786A1 (en) * | 2010-02-23 | 2011-08-25 | Microsoft Corporation | Presentation of a web-based visual representation of a structured data solution |
US20120166977A1 (en) * | 2010-12-27 | 2012-06-28 | Hilmar Demant | User programming access to data model in user interface design |
CN103593443A (zh) * | 2013-11-18 | 2014-02-19 | 南京新模式软件集成有限公司 | 一种电子文件元数据扩展的方法 |
US20140181703A1 (en) * | 2012-12-22 | 2014-06-26 | Oracle International Corporation | Dynamically generated user interface |
CN106843835A (zh) * | 2016-12-21 | 2017-06-13 | 中国电子科技网络信息安全有限公司 | 一种元数据定制的应用系统软件构建系统、系统构建方法 |
CN107291471A (zh) * | 2017-06-22 | 2017-10-24 | 北京航空航天大学 | 一种支持可定制化数据采集的元模型框架系统 |
CN109445792A (zh) * | 2018-11-05 | 2019-03-08 | 用友网络科技股份有限公司 | 界面构建方法、装置及计算机可读存储介质 |
US20200097725A1 (en) * | 2018-09-25 | 2020-03-26 | Sap Se | Automatic generation of user interfaces using image recognition |
CN112463124A (zh) * | 2020-12-03 | 2021-03-09 | 杭州新中大科技股份有限公司 | 一种基于元数据模型实现一次设计千面展示的系统 |
CN114489674A (zh) * | 2022-01-28 | 2022-05-13 | 中国建设银行股份有限公司 | 动态数据模型的数据校验方法和装置 |
-
2022
- 2022-05-24 CN CN202210570019.4A patent/CN114911466B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060236254A1 (en) * | 2005-04-18 | 2006-10-19 | Daniel Mateescu | System and method for automated building of component based applications for visualizing complex data structures |
CN101334728A (zh) * | 2008-07-28 | 2008-12-31 | 北京航空航天大学 | 一种基于xml文档描述的界面生成方法和平台 |
US20110208786A1 (en) * | 2010-02-23 | 2011-08-25 | Microsoft Corporation | Presentation of a web-based visual representation of a structured data solution |
US20120166977A1 (en) * | 2010-12-27 | 2012-06-28 | Hilmar Demant | User programming access to data model in user interface design |
US20140181703A1 (en) * | 2012-12-22 | 2014-06-26 | Oracle International Corporation | Dynamically generated user interface |
CN103593443A (zh) * | 2013-11-18 | 2014-02-19 | 南京新模式软件集成有限公司 | 一种电子文件元数据扩展的方法 |
CN106843835A (zh) * | 2016-12-21 | 2017-06-13 | 中国电子科技网络信息安全有限公司 | 一种元数据定制的应用系统软件构建系统、系统构建方法 |
CN107291471A (zh) * | 2017-06-22 | 2017-10-24 | 北京航空航天大学 | 一种支持可定制化数据采集的元模型框架系统 |
US20200097725A1 (en) * | 2018-09-25 | 2020-03-26 | Sap Se | Automatic generation of user interfaces using image recognition |
CN109445792A (zh) * | 2018-11-05 | 2019-03-08 | 用友网络科技股份有限公司 | 界面构建方法、装置及计算机可读存储介质 |
CN112463124A (zh) * | 2020-12-03 | 2021-03-09 | 杭州新中大科技股份有限公司 | 一种基于元数据模型实现一次设计千面展示的系统 |
CN114489674A (zh) * | 2022-01-28 | 2022-05-13 | 中国建设银行股份有限公司 | 动态数据模型的数据校验方法和装置 |
Non-Patent Citations (4)
Title |
---|
COLE丶: "SWT/JFace(一)——概述", 《HTTPS://BLOG.CSDN.NET/WEIXIN_43159183/ARTICLE/DETAILS/104814855》 * |
WEIXIN_39793105: "java 元数据 注解_Java:注解(元数据)", 《HTTPS://BLOG.CSDN.NET/WEIXIN_39793105/ARTICLE/DETAILS/114133458》 * |
大顺老K: "配置元数据-基于注解的方式", 《HTTPS://WWW.JIANSHU.COM/P/18C4B35ED8B7》 * |
青铁: "JFace 数据绑定", 《HTTPS://BLOG.CSDN.NET/JC69186918/ARTICLE/DETAILS/27143803》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795845A (zh) * | 2023-08-23 | 2023-09-22 | 深圳市金政软件技术有限公司 | 数据的展示方法、装置、终端设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114911466B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200233889A1 (en) | Data integration tool | |
US7694272B2 (en) | Method, a language and a system for the definition and implementation of software solutions by using a visualizable computer executable modeling language | |
US6769095B1 (en) | Hierarchically structured control information editor | |
US6490719B1 (en) | System and method for configuring and executing a flexible computer program comprising component structures | |
US20050081141A1 (en) | Visual programming system and method | |
US20060168557A1 (en) | Methods and apparatus for implementing model-based software solution development and integrated change management | |
US20050283758A1 (en) | Bi-directional programming system/method for program development | |
CN111625226B (zh) | 一种基于原型的人机交互设计实现方法及系统 | |
US7899846B2 (en) | Declarative model editor generation | |
US11556702B2 (en) | Orchestration of crud operations for a hierarchical web service data model in a spreadsheet | |
US20150370766A1 (en) | Ontology-driven requirements engineering methodology mind-mapper | |
US10776351B2 (en) | Automatic core data service view generator | |
CN114911466B (zh) | 一种采集端数据质量控制系统 | |
US11010140B2 (en) | Integration of workflow and logical data objects using visual programming | |
US10896161B2 (en) | Integrated computing environment for managing and presenting design iterations | |
Moore | Mastering GUI programming with Python: Develop impressive cross-platform GUI applications with Pyqt | |
US20240037325A1 (en) | Ability to add non-direct ancestor columns in child spreadsheets | |
US20230041718A1 (en) | Automated code generation based on pseudo-code | |
US12038940B2 (en) | Architecture for data map converters | |
Yarahmadi et al. | Unraveling Bi-Lingual Multi-Feature Based Text Classification: A Case Study | |
CN112035040B (zh) | 一种接口变量信息处理方法及装置 | |
Chebanyuk et al. | An Approach for Design of Architectural Solutions Based on Software Model-To-Model Transformation | |
EP1208426A2 (en) | Hierarchically structured control information editor | |
CN116127134A (zh) | 一种基于xml的运动员信息管理系统 | |
CN116466931A (zh) | 一种对象模型文件编辑方法、系统、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |