CN108062407A - 一种项目可视化管控数据抽取方法 - Google Patents

一种项目可视化管控数据抽取方法 Download PDF

Info

Publication number
CN108062407A
CN108062407A CN201711463737.7A CN201711463737A CN108062407A CN 108062407 A CN108062407 A CN 108062407A CN 201711463737 A CN201711463737 A CN 201711463737A CN 108062407 A CN108062407 A CN 108062407A
Authority
CN
China
Prior art keywords
data
processing
pick
project
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711463737.7A
Other languages
English (en)
Inventor
刘翔
邹光勇
李世彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU SONGXING TECHNOLOGY Co Ltd
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
CHENGDU SONGXING TECHNOLOGY Co Ltd
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU SONGXING TECHNOLOGY Co Ltd, Chengdu Aircraft Industrial Group Co Ltd filed Critical CHENGDU SONGXING TECHNOLOGY Co Ltd
Priority to CN201711463737.7A priority Critical patent/CN108062407A/zh
Publication of CN108062407A publication Critical patent/CN108062407A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Abstract

本发明公开了一种项目可视化管控数据抽取方法，包含以下步骤：配置抽取目标数据的抽取参数；编制抽取SQL命令；将目标数据抽取后进行处理，集成到基础库；基础库数据抽取完成，生成消息通知；数据处理总线监控接收消息通知队列，进行数据处理计算处理；数据处理计算完成，数据进入项目可视化主题数据库；对主题数据库中数据进行项目可视化展示。本发明增强了项目可视化管控数据抽取与分析处理的感知性和灵活性；同时实现了数据抽取资源的动态调度，提高了资源利用效率。

Description

一种项目可视化管控数据抽取方法
技术领域
本发明涉及数据处理领域，尤其涉及一种项目可视化管控数据抽取方法。
背景技术
在企业进行项目可视化管控时，由于企业业务系统不同、供应商不同、数据库多样性、传统业务系统主要目标进行内容的增加、修改、删除等操作，经常不能按不同项目维度、时间维度、多部门、多业务系统数据共享等方式统一主题数据可视化展示，一般的数据抽取技术只是针对多业务数据接入、简单时间系列进行处理，缺少完善的机制进行数据抽处理的通知机制。在相关项目可视化管控数据抽取的技术中，存在着分别提供数据抽取定义和时间系列，在数据在进行抽取到统一数据资源库中，解决了多业务系统、多数据环境下数据统一抽取问题，但未提供数据抽取与分数据分析消息通知机制、分布式集群数据处理环境下等正常业务流程下保障数据抽取的消息机制造与数据调度处理方法，也未提供在出现错误数据后的异常处理措施。
为了解决上述问题，本发明提出一种项目可视化管控数据抽取方法，为企业中项目可视化管控数据抽取提供一种可靠高效的调度方法，在多系统和多数据源抽取需求、数据抽取与数据处理的消息通知制造、数据抽取处理在分布式集成环境下，达到以下技术效果：
1、项目可视化管控数据抽取与分析处理的感知性：规则可灵活配置或扩展以适应不同业务系统、不同关系性数据的数据提取动态感知消息传递；
2、项目可视化管控数据抽取与分析处理的资源性：在进行数据抽与处理复杂物理环境时，在多分布式集群环境下，数据抽取资源的动态调度。
发明内容
为了解决上述问题，本发明提出一种项目可视化管控数据抽取方法。
具体的，一种项目可视化管控数据抽取方法，包含以下步骤：
S1，配置抽取目标数据的抽取参数；
S2，编制抽取SQL命令；
S3，将目标数据抽取后进行处理，集成到基础库；
S4，基础库数据抽取完成，生成消息通知；
S5，数据处理总线监控接收消息通知队列，进行数据处理计算处理；
S6，数据处理计算完成，数据进入项目可视化主题数据库；
S7，对主题数据库中数据进行项目可视化展示。
优选的，S1中所述的配置数据抽取参数包括：源数据的基础信息、抽取数据的接入方式、抽取数据的频率。
优选的，所述抽取数据的接入方式包含Web Service接口、Rest接口、数据库接口、在线填报、文件上传、批量导入。
优选的，S3中所述的处理包括过滤、清洗、格式转换、脱敏处理、脱密处理、分析处理；以及对数据定义、数据结构、数据标识、数据编码、数据编目、来源、转换关系、质量等级、依赖关系、安全权限内容进行管理；所述过滤包括对残缺数据、错误数据、重复数据进行过滤。
优选的，S5中的数据处理计算包含以下步骤：
1）在数据抽取前置机建立所有数据抽取计算资源列表；
2） 在进行数据抽取初始化时，对计算资源的线程池中最大线程数量进行初始化；
3）将接收到的消息通知，转化为消息处理队列，等待处理；
4）对计算资源线程池进行监测，是否有空余处理线程，直到有空余处理线程；
5）存在空余处理线程时，选择空余线程较多的资源对消息处理队列进行处理；
6）计算完成，释放线程占用处理资源。
优选的，2）中所述最大线程数量是应用程序按计算资源配置单与计算资源列表进行确定的。
优选的，3）中还包括对所述消息处理队列实行持久化，该持久化在数据处理异常时对消息处理队列进行恢复。
本发明的有益效果在于：增强项目可视化管控数据抽取与分析处理的感知性：规则可灵活配置或扩展以适应不同业务系统、不同关系性数据的数据提取动态感知消息传递；有效管控项目可视化管控数据抽取与分析处理的资源：在进行数据抽与处理复杂物理环境时，在多分布式集群环境下，数据抽取资源的动态调度。
附图说明
图1是本发明的步骤流程图；
图2是本发明中数据处理计算的步骤流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
具体的，一种项目可视化管控数据抽取方法，包含以下步骤，如附图1所示：
S1，配置抽取目标数据的抽取参数；数据抽取参数包括：源数据的基础信息、抽取数据的接入方式、抽取数据的频率。源数据的基础信息包括源数据的数据库类型等基础信息；抽取数据的接入方式包含Web Service接口、Rest接口、数据库接口、在线填报、文件上传、批量导入；抽取数据的频率例如1小时、2小时，10分钟、1天等，按要求的时间的频率进行作业任务的创建。
S2，编制抽取SQL命令；也可使用SQL脚本进行批量化、定时进行抽取。
S3，将目标数据抽取后进行处理，处理包括过滤、清洗、格式转换、脱敏处理、脱密处理、分析处理；以及对数据定义、数据结构、数据标识、数据编码、数据编目、来源、转换关系、质量等级、依赖关系、安全权限内容进行管理；所述过滤包括对残缺数据、错误数据、重复数据等脏数据、废数据进进行过滤，再将其集成到基础库；其数据抽取可采用的同步方式有实时同步、定时同步与手工同步；
S4，基础库数据抽取完成，生成消息通知；
S5，数据处理总线监控接收消息通知队列，进行数据处理计算处理；在项目可视化管控的数据抽取完成，监视器监控一类指标数据完成，就创建可识别标识类别的消息通知，并推送消息到消息处理数据抽前置机的数据处理总线监控接收消息队列，为保障数据处理异常情况，对消息任务队列实行持久化实现，保障极端异常情况（如异常断电）后可以恢复消息队列；
S6，数据处理计算完成，数据进入项目可视化主题数据库；该主题数据库是根据当前的查看与分析需求而建立的数据库。
S7，对主题数据库中数据进行项目可视化展示，对用户进行直观的呈现。
S5中的数据处理计算包含以下步骤，具体如附图2所示：
1）在数据抽取前置机建立所有数据抽取计算资源列表；
2） 在进行数据抽取初始化时，对计算资源的线程池中最大线程数量进行初始化；
3）将接收到的消息通知，转化为消息处理队列，等待处理；
4）对计算资源线程池进行监测，是否有空余处理线程，直到有空余处理线程；
5）存在空余处理线程时，选择空余线程较多的资源对消息处理队列进行处理；
6）计算完成，释放线程占用处理资源。
优选的，2）中所述最大线程数量是应用程序按计算资源配置单与计算资源列表进行确定的。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种项目可视化管控数据抽取方法，其特征在于，包含以下步骤：
S1，配置抽取目标数据的抽取参数；
S2，编制抽取SQL命令；
S3，将目标数据抽取后进行处理，集成到基础库；
S4，基础库数据抽取完成，生成消息通知；
S5，数据处理总线监控接收消息通知队列，进行数据处理计算处理；
S6，数据处理计算完成，数据进入项目可视化主题数据库；
S7，对主题数据库中数据进行项目可视化展示。
2.如权利要求1所述的一种项目可视化管控数据抽取方法，其特征在于， S1中所述的配置数据抽取参数包括：源数据的基础信息、抽取数据的接入方式、抽取数据的频率。
3.如权利要求2所述的一种项目可视化管控数据抽取方法，其特征在于，所述抽取数据的接入方式包含Web Service接口、Rest接口、数据库接口、在线填报、文件上传、批量导入。
4.如权利要求1所述的一种项目可视化管控数据抽取方法，其特征在于，S3中所述的处理包括过滤、清洗、格式转换、脱敏处理、脱密处理、分析处理；以及对数据定义、数据结构、数据标识、数据编码、数据编目、来源、转换关系、质量等级、依赖关系、安全权限内容进行管理；所述过滤包括对残缺数据、错误数据、重复数据进行过滤。
5.如权利要求1所述的一种项目可视化管控数据抽取方法，其特征在于，S5中的数据处理计算包含以下步骤：
1）在数据抽取前置机建立所有数据抽取计算资源列表；
2） 在进行数据抽取初始化时，对计算资源的线程池中最大线程数量进行初始化；
3）将接收到的消息通知，转化为消息处理队列，等待处理；
4）对计算资源线程池进行监测，是否有空余处理线程，直到有空余处理线程；
5）存在空余处理线程时，选择空余线程较多的资源对消息处理队列进行处理；
6）计算完成，释放线程占用处理资源。
6.如权利要求5所述的一种项目可视化管控数据抽取方法，其特征在于，2）中所述最大线程数量是应用程序按计算资源配置单与计算资源列表进行确定的。
7.如权利要求5所述的一种项目可视化管控数据抽取方法，其特征在于，3）中还包括对所述消息处理队列实行持久化，该持久化在数据处理异常时对消息处理队列进行恢复。
CN201711463737.7A 2017-12-28 2017-12-28 一种项目可视化管控数据抽取方法 Pending CN108062407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711463737.7A CN108062407A (zh) 2017-12-28 2017-12-28 一种项目可视化管控数据抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711463737.7A CN108062407A (zh) 2017-12-28 2017-12-28 一种项目可视化管控数据抽取方法

Publications (1)

Publication Number Publication Date
CN108062407A true CN108062407A (zh) 2018-05-22

Family

ID=62140725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711463737.7A Pending CN108062407A (zh) 2017-12-28 2017-12-28 一种项目可视化管控数据抽取方法

Country Status (1)

Country Link
CN (1) CN108062407A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101573A (zh) * 2018-07-18 2018-12-28 上海汉得信息技术股份有限公司 一种云对接监控方法及设备
CN110399529A (zh) * 2019-07-23 2019-11-01 福建奇点时空数字科技有限公司 一种基于深度学习技术的数据实体抽取方法
CN110619014A (zh) * 2019-09-18 2019-12-27 国网江苏省电力有限公司宝应县供电分公司 一种基于etl的数据抽取方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074710A1 (en) * 2004-09-30 2006-04-06 Funk Michael K Healthcare revenue cycle management system
CN101566981A (zh) * 2008-04-24 2009-10-28 长沙创智天马财务软件有限公司 分析处理系统中建立动态虚拟数据仓库的方法
CN101882165A (zh) * 2010-08-02 2010-11-10 山东中创软件工程股份有限公司 基于etl的多线程数据处理方法
CN102033748A (zh) * 2010-12-03 2011-04-27 中国科学院软件研究所 一种数据处理流程代码的生成方法
CN102054025A (zh) * 2010-12-01 2011-05-11 北京中交通信科技有限公司 交通信息资源整合处理方法及系统
CN103955502A (zh) * 2014-04-24 2014-07-30 科技谷（厦门）信息技术有限公司 一种可视化olap的应用实现方法及系统
CN104915341A (zh) * 2014-03-10 2015-09-16 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和系统
CN106021378A (zh) * 2016-05-11 2016-10-12 吕骏 基于数据抽取、数据可视化的查询分析方法及系统
CN107169069A (zh) * 2017-05-08 2017-09-15 山大地纬软件股份有限公司 分布式分级抽取多应用方法和数据抽取应用器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074710A1 (en) * 2004-09-30 2006-04-06 Funk Michael K Healthcare revenue cycle management system
CN101566981A (zh) * 2008-04-24 2009-10-28 长沙创智天马财务软件有限公司 分析处理系统中建立动态虚拟数据仓库的方法
CN101882165A (zh) * 2010-08-02 2010-11-10 山东中创软件工程股份有限公司 基于etl的多线程数据处理方法
CN102054025A (zh) * 2010-12-01 2011-05-11 北京中交通信科技有限公司 交通信息资源整合处理方法及系统
CN102033748A (zh) * 2010-12-03 2011-04-27 中国科学院软件研究所 一种数据处理流程代码的生成方法
CN104915341A (zh) * 2014-03-10 2015-09-16 中国科学院沈阳自动化研究所 可视化多数据库etl集成方法和系统
CN103955502A (zh) * 2014-04-24 2014-07-30 科技谷（厦门）信息技术有限公司 一种可视化olap的应用实现方法及系统
CN106021378A (zh) * 2016-05-11 2016-10-12 吕骏 基于数据抽取、数据可视化的查询分析方法及系统
CN107169069A (zh) * 2017-05-08 2017-09-15 山大地纬软件股份有限公司 分布式分级抽取多应用方法和数据抽取应用器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟鹏: "基于感知数据的三维可视化平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101573A (zh) * 2018-07-18 2018-12-28 上海汉得信息技术股份有限公司 一种云对接监控方法及设备
CN110399529A (zh) * 2019-07-23 2019-11-01 福建奇点时空数字科技有限公司 一种基于深度学习技术的数据实体抽取方法
CN110619014A (zh) * 2019-09-18 2019-12-27 国网江苏省电力有限公司宝应县供电分公司 一种基于etl的数据抽取方法

Similar Documents

Publication Publication Date Title
AU2020276284C1 (en) Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
CN108628929B (zh) 用于智能存档和分析的方法和装置
US9324038B2 (en) Method and system for clustering, modeling, and visualizing process models from noisy logs
CN104285212A (zh) 用于建模在线商务行为和检测异常值的自动化分析系统
CN104615777A (zh) 一种基于流式计算引擎的实时数据处理方法及装置
US20200092180A1 (en) Methods and systems for microservices observability automation
CN108062407A (zh) 一种项目可视化管控数据抽取方法
US10110419B2 (en) Alarm to event tracing
TWI621989B (zh) Graph-based method and system for analyzing users
US10295979B2 (en) Scheduling in manufacturing environments
US11455550B2 (en) System and method for detecting and forecasting the behavior of a system
CN108829505A (zh) 一种分布式调度系统及方法
CN110619014A (zh) 一种基于etl的数据抽取方法
CN105550939A (zh) 一种针织生产管理系统终端
CN109190025A (zh) 信息监控方法、装置、系统和计算机可读存储介质
CN111221890B (zh) 通用指标类自动监控预警方法及装置
CN111339052A (zh) 一种非结构化日志数据处理方法及装置
CN109819332A (zh) 一种用于提高获取节目数据性能的方法和装置
CN109165212A (zh) 一种大数据实时监控与稽核的方法
CN114140241A (zh) 一种交易监控指标的异常识别方法及装置
CN109033196A (zh) 一种分布式数据调度系统及方法
CN110941536B (zh) 监控方法及系统、第一服务器集群
CN112765216A (zh) 一种基于物联网的数据批量处理方法
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN112926877A (zh) 批处理业务的健康情况判断方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180522