CN106980523A - 可视化工具自动化更新机制 - Google Patents
可视化工具自动化更新机制 Download PDFInfo
- Publication number
- CN106980523A CN106980523A CN201710219313.XA CN201710219313A CN106980523A CN 106980523 A CN106980523 A CN 106980523A CN 201710219313 A CN201710219313 A CN 201710219313A CN 106980523 A CN106980523 A CN 106980523A
- Authority
- CN
- China
- Prior art keywords
- data
- visualization tool
- data set
- business
- update mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种可视化工具自动化更新机制，它涉及可视化工具自动化处理领域。其包括以下步骤：1、从数据仓库按照预定的取数逻辑获取原始数据；2、按一系列由专家创建的预定义规则进行质量检查来确保数据的正确性；3、将单个经过质量校正后的数据文件按照一定的数据合并规则进行合并；4、将前述合并后的数据集用SAS程序按照业务需求进一步加工；5、对最终的数据集进行基于预定义的商业和技术规则的检查并校正数据集，从而发现可能的缺陷或错误。本发明减少了数据处理分析所耗费的时间，同时也将人为错误发生的可能最小化。此外，和多个流程相关的数据处理以及转换的算法也被连接并整合在一起以此消除需要将多个算法程序逐个运行一次的情形。
Description
技术领域
本发明涉及的是可视化工具自动化处理领域，具体涉及一种可视化工具自动化更新机制。
背景技术
可视化工具自动化是一种能够将从数据获取步骤到将数据加载到可视化工具步骤整个流程人工干预最小化的技术。与人工手动操作过程相比，该技术大体上能减少整个流程最多90%的时间。现有的端到端自动化、数据整合以及数据处理的工具和技术可能有结构不够合理并且没有包含关键的基准检查等问题。即便是包含了基准检查的可视化工具自动化机制，很多也需要一名专家来运行用于数据质量检查的代码。本发明所描述的这个新的可视化工具自动化机制能够很容易地被一个没有专业背景的人所掌握并且无需很多技术方面的知识。这个结构化的新机制可以基于预先制定的衡量标准以及数据有效性规则的基础上更彻底地检查数据。这个机制减少了发生人为错误的几率并且减少了对人力介入的依赖。通过开发一个可以凭借一系列预定义的规则来评估报告的工具，本机制能够生成关于数据可接受性以及数据集中问题的报告，并保存这些报告以备将来进一步核查。其中部分的预定义规则是通过最初和商业伙伴讨论确定的，部分是根据分析提供的数据中包含的逻辑确定的。这些规则是动态的，并且很容易被操作工具的人根据需要进行修改。
发明内容
针对现有技术上存在的不足，本发明目的是在于提供一种可视化工具自动化更新机制，提供了数据质量检查结果以及处理后的数据输出，并且还能够把数据分析的洞见以更容易理解和阅读的方式呈现。如此，每次有新数据需要更新的时候，由于自动化机制已经替代了人工反复检查，就减少了所耗费的时间，同时也将人为错误发生的可能最小化。此外，和多个流程相关的数据处理以及转换的算法也被连接并整合在一起以此消除需要将多个算法程序逐个运行一次的情形。
为了实现上述目的，本发明是通过如下的技术方案来实现：可视化工具自动化更新机制，其包括以下步骤：1、从数据仓库按照预定的取数逻辑获取原始数据；2、按一系列由专家创建的预定义规则进行质量检查来确保数据的正确性；3、将单个经过质量校正后的数据文件按照一定的数据合并规则进行合并；4、将前述合并后的数据集用SAS程序按照业务需求进一步加工；5、对最终的数据集进行基于预定义的商业和技术规则的检查并校正数据集，从而发现可能的缺陷或错误。同时提供可以直接加载到可视化工具的整合数据输出。如果发现最终的数据的质量经检查是无法接受的，本机制则会自动生成合适的报告以备进一步补救或改进。
所述的步骤2能够在生成有缺陷的输出数据集之前，从最初的输入数据源发现错误。
所述的步骤3和步骤4通过对数据集进行一定的加工，以便能够更好地在数据分析中运用。
本发明特别加入了一种能够对多达8项可视化工具进行月度更新的机制。其中包括了数据质量管理、通过应用商业规则与数据协调规则进行数据转换、以及通过分析数据处理及数据质量检查的结果来发现问题等流程。数据质量管理流程进一步包含了诸如对数据质量规则的详细清单、以及定义和应用数据质量规则的流程进行标准化、应用已定义的规则创建和实施的标准模版、通过分析结果确定异常值、及临界值冲突等关键步骤。除此之外，本发明自动化了整个通常由人力手动完成的数据处理流程，包括数据获取、数据清理、数据问题确定及纠正、数据整合、数据质量检查和数据可视化等步骤。系统从服务器上的预定地点抓取数据，部署早期数据质量探测系统以监控新数据的一致性，为更精细的数据分析添加相关字段，在数据准备的前后进行彻底的数据质量检查并最终将处理后的数据整体导入数据可视化工具以供进一步的分析及使用。
本发明的有益效果：1、实现了整个数据质量管理、数据处理以及可视化工具的数据更新流程可以在一天（在原始数据有明显问题的情况下，可能需要两天）内完成，并且只需要一个人完成操作。这样就显著地减少了人力和工时的需求。
2、本发明可以实现对有多个数据源，总共超过50个数据集的可视化工具进行每日更新。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明的流程图；
图2为本发明实施例1的可视化工具自动化处理平台的界面图；
图3为本发明实施例1的用户操作平台第三步界面图；
图4为本发明实施例1的处理界面图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参照图1，本具体实施方式采用以下技术方案：可视化工具自动化更新机制，其包括以下步骤：1、从数据仓库按照预定的取数逻辑获取原始数据；2、按一系列由专家创建的预定义规则进行质量检查来确保数据的正确性；3、将单个经过质量校正后的数据文件按照一定的数据合并规则进行合并；4、将前述合并后的数据集用SAS程序按照业务需求进一步加工；5、对最终的数据集进行基于预定义的商业和技术规则的检查并校正数据集，从而发现可能的缺陷或错误。同时提供可以直接加载到可视化工具的整合数据输出。如果发现最终的数据的质量经检查是无法接受的，本机制则会自动生成合适的报告以备进一步补救或改进。其步骤如下表所示：
在任何机构中，数据都是从很多不同的数据源中提取的，并且很可能已经被观察到其中有明显的质量问题。这就需要很多人为努力来进行数据质量检查并为相关的应用进行数据准备。再加上ETL流程的因素（例如商业规则的应用，数据协调规则，数据转换等），导致整个流程高度依赖人为操作、缺乏效率、冗长、并且容易出错。本发明通过用有限的人力对可视化工具信息更新的整个流程实现自动化，减少了端对端流程中数据质量管理、数据转换、数据整合以及数据可视化的人为介入。本发明提供了数据质量检查结果以及处理后的数据输出，并且还能够把数据分析的洞见以更容易理解和阅读的方式呈现。如此，每次有新数据需要更新的时候，由于已经淘汰人为反复检查，就减少了所耗费的时间，同时也将人为错误发生的可能最小化。此外，和多个流程相关的数据处理以及转换的算法也被连接并整合在一起以此消除需要将多个算法程序逐个运行一次的情形。
本具体实施方式所描述新机制是完全自动的，并且也提供了图形化用户界面，如果需要，从中用户可以灵活地选择运行整个流程的任意部分。一般大致可以分为五个步骤：首先，从数据仓库按照预定的取数逻辑获取原始数据。然后，按一系列由专家创建的预定义规则进行质量检查来确保数据的正确性。这个步骤是至关重要的因为它能够在生成有缺陷的输出数据集之前，从最初的输入数据源发现错误。第三步将单个经过质量校正后的数据文件按照一定的数据合并规则进行合并。第四步将前述合并后的数据集用SAS程序按照业务需求进一步加工。第三步和第四步通过对数据集进行一定的加工，以便能够更好地在数据分析中运用。因为在很多情况下，最初的数据集不足以发现可能有帮助的洞见；因此，这两个步骤是创建有意义且内容丰富的数据集所需要的。最后一步，对最终的数据集进行基于预定义的商业和技术规则的检查并校正数据集，从而发现可能的缺陷或错误。同时提供可以直接加载到可视化工具的整合数据输出。如果发现最终的数据的质量经检查是无法接受的，本机制则会自动生成合适的报告以备进一步补救或改进。
以前，人为完成一项对有两个不规则数据源的可视化工具进行最新数据更新的所有步骤往往需要大约10天。这种情形通常在需要对最新数据马上进行分析的状况下会成为一种阻碍。现在有了可视化工具自动化机制，整个数据质量管理、数据处理以及可视化工具的数据更新流程可以在一天（在原始数据有明显问题的情况下，可能需要两天）内完成，并且只需要一个人完成操作。这样就显著地减少了人力和工时的需求。目前，本发明可以实现对有多个数据源，总共超过50个数据集的可视化工具进行每日更新。
本具体实施方式所描述的机制额外的好处是它非常容易操控并且并不需要由一个专家来操作。用这个机制去评估数据中可能出现的缺陷会远比人为进行质量检查耗时少。本发明在数据质量检查后生成的报告只需基础的技术知识就能理解。这些报告以Excel格式生成并且能够很容易地和最终的数据使用者共享。如果希望更好地运用本发明，下一步工作可以在多个利益相关方中共同达成一个普遍归一化的数据交互标准。这个归一化的标准是由这些利益相关方形成的一种共识，共同定义了数据处理流程的时间表，数据里变量的格式和顺序以及存储、提取和展示数据的基准规则。也可以包括制定协议来约定当提供的数据没有遵从协定的情况下数据提供者的应对以及补救措施以及当预期的数据交互标准没有被满足时的工作流程。
实施例1：本实施例展示了可视化工具自动化处理平台的界面，如图2所示，（第 1步：输入 – 客户原始数据；第 2 步：质量检查 – 客户原始数据；第 3 步：合并 – 客户原始数据（编辑/修改）；第 4 步：处理 – 整合的 SAS 数据（编辑/修改）；第 5 步：质量检查– 经SAS 处理后的数据（编辑/修改）），以及其对业务分析效率的影响，在需要大量数据文件时尤其明显。
1. 包含步骤点击功能的平台页面
如图3和图4所示，这些步骤提供直接修改数据文件并按数据类别进行处理的功能。
其中图2中，中英文翻译对照如下表所示：
| 英文 | 中文 |
| STEP 1: INPUT – CLIENT RAW DATA | 第 1 步：输入 – 客户原始数据 |
| STEP 2: QUALITY CHECK – CLIENT RAW DATA | 第 2 步：质量检查 – 客户原始数据 |
| STEP 3: APPEND – CLIENT RAW DATA | 第 3 步：合并 – 客户原始数据 |
| EDIT / MODIFY | 编辑/修改 |
| STEP 4: PROCESS – CONSOLIDATED SAS DATA | 第 4 步：处理 – 整合的 SAS 数据 |
| STEP 5: QUALITY CHECK – SAS PROCESSED DATA | 第 5 步：质量检查 – 经SAS 处理后的数据 |
其中图3中，中英文翻译对照如下表所示：
其中图4中，中英文翻译对照如下表所示：
2. 本工具在特定案例上的影响
在本实施例所描述的自动化工具开始发挥作用后，和自动化相关的大部分性能指标都有了显著的改善。
1、对人工干预的需求从相当高的水平下降到了相对很低的水平；
2、节约处理时间达 90%；
3、由于采取了自动化的系统质量检查，出错的可能性显著降低；
4、高度的标准化是本工具嵌入在设计理念中的特点；
5、执行更改的灵活性以及按类别进行数据处理时的可扩展性得到了大幅的增强，从而在未来需要进行文件更改时不必对整个系统作出大的改造。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.可视化工具自动化更新机制，其特征在于，其包括以下步骤：(1)、从数据仓库按照预定的取数逻辑获取原始数据；(2)、按一系列由专家创建的预定义规则进行质量检查来确保数据的正确性；(3)、将单个经过质量校正后的数据文件按照一定的数据合并规则进行合并；(4)、将前述合并后的数据集用SAS程序按照业务需求进一步加工；(5)、对最终的数据集进行基于预定义的商业和技术规则的检查并校正数据集，从而发现可能的缺陷或错误；同时提供可以直接加载到可视化工具的整合数据输出。
2.根据权利要求1所述的可视化工具自动化更新机制，其特征在于，所述的步骤(2)能够在生成有缺陷的输出数据集之前，从最初的输入数据源发现错误。
3.根据权利要求1所述的可视化工具自动化更新机制，其特征在于，所述的步骤(3)和步骤(4)通过对数据集进行一定的加工，以便能够更好地在数据分析中运用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710219313.XA CN106980523A (zh) | 2017-04-06 | 2017-04-06 | 可视化工具自动化更新机制 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710219313.XA CN106980523A (zh) | 2017-04-06 | 2017-04-06 | 可视化工具自动化更新机制 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106980523A true CN106980523A (zh) | 2017-07-25 |
Family
ID=59345174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710219313.XA Pending CN106980523A (zh) | 2017-04-06 | 2017-04-06 | 可视化工具自动化更新机制 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106980523A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101199370A (zh) * | 2007-12-13 | 2008-06-18 | 重庆大学 | 机器人服装触觉传感信息融合数据处理方法 |
| CN105718432A (zh) * | 2016-03-16 | 2016-06-29 | 北京睿新科技有限公司 | 一种用于电网运行设备的信息挖掘与数据质量的校验方法 |
| CN106127879A (zh) * | 2016-06-24 | 2016-11-16 | 都城绿色能源有限公司 | 用于新能源发电设备的移动智能巡检管理系统及巡检方法 |
-
2017
- 2017-04-06 CN CN201710219313.XA patent/CN106980523A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101199370A (zh) * | 2007-12-13 | 2008-06-18 | 重庆大学 | 机器人服装触觉传感信息融合数据处理方法 |
| CN105718432A (zh) * | 2016-03-16 | 2016-06-29 | 北京睿新科技有限公司 | 一种用于电网运行设备的信息挖掘与数据质量的校验方法 |
| CN106127879A (zh) * | 2016-06-24 | 2016-11-16 | 都城绿色能源有限公司 | 用于新能源发电设备的移动智能巡检管理系统及巡检方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10380265B2 (en) | Statistical process control and analytics for translation supply chain operational management | |
| CN103678109B (zh) | 一种转储文件分析方法、装置和系统 | |
| CN112163553B (zh) | 物料价格核算方法、装置、存储介质和计算机设备 | |
| US11580272B2 (en) | 3D model creation support system and 3D model creation support method | |
| CN107784057B (zh) | 医疗数据匹配方法和装置 | |
| US6708185B2 (en) | SQL execution analysis | |
| US9152415B2 (en) | Abstracting benefit rules from computer code | |
| CN111400505A (zh) | 一种用电信息采集系统匹配故障消缺方案的方法及系统 | |
| CN118012767B (zh) | 一种面向多覆盖率用例生成与多方法融合的软件bug定位方法 | |
| CN111679808A (zh) | Rpa机器人应用需求测评方法及装置 | |
| US11393232B2 (en) | Extracting values from images of documents | |
| US20100131091A1 (en) | A method and relative device for the management of technological recipe information to aid in defining process flows, in particular for the development and production of micro-and nanotechnology devices in cleanroom laboratories | |
| CN107895235A (zh) | 基于决策树分析法的财务建模系统 | |
| CN107590303A (zh) | 快速查找和修正版图数据中异常图形的方法 | |
| CN106980523A (zh) | 可视化工具自动化更新机制 | |
| Scrivner et al. | XD Metrics on demand value analytics: visualizing the impact of internal information technology investments on external funding, publications, and collaboration networks | |
| CN114297052A (zh) | 测试数据生成方法及装置 | |
| CN113642669A (zh) | 基于特征分析的防欺诈检测方法、装置、设备及存储介质 | |
| CN114245895A (zh) | 为至少两个日志文件生成一致表示的方法 | |
| US20190138576A1 (en) | Method for visualizing results of analyses of cad/cam data | |
| US6466927B1 (en) | Method for creating a process capability database | |
| CN114416988B (zh) | 基于自然语言处理的缺陷自动评级及处置建议推送方法 | |
| CN116759099B (zh) | 一种医保基金审核系统数据处理方法、装置及设备 | |
| US11042536B1 (en) | Systems and methods for automated data visualization | |
| CN111062816B (zh) | 账户资产监管方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170725 |