CN106599313A - 可视化数据认知方法 - Google Patents

可视化数据认知方法 Download PDF

Info

Publication number
CN106599313A
CN106599313A CN201611257320.0A CN201611257320A CN106599313A CN 106599313 A CN106599313 A CN 106599313A CN 201611257320 A CN201611257320 A CN 201611257320A CN 106599313 A CN106599313 A CN 106599313A
Authority
CN
China
Prior art keywords
data
memory database
integration
configuration file
threads
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611257320.0A
Other languages
English (en)
Inventor
黄惠寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yi Source Data Technology Co Ltd
Original Assignee
Shanghai Yi Source Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yi Source Data Technology Co Ltd filed Critical Shanghai Yi Source Data Technology Co Ltd
Priority to CN201611257320.0A priority Critical patent/CN106599313A/zh
Publication of CN106599313A publication Critical patent/CN106599313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的一种可视化数据认知方法，具有这样的特征，包括以下步骤：步骤A，在明确了业务模型，并且根据业务模型梳理出数据模型之后，通过管理工具定义和生成配置文件；步骤B，主控单元根据配置文件按需创建不同的数据获取线程以及数据整合线程，数据获取线程通过与封装模块的交互获得数据写入内存数据库，数据整合线程从内存数据库里读取数据并按照数据整合逻辑计算后得到结果返回内存数据库；步骤C，封装模块从各业务模型获得所需数据；步骤D，自动导出模块负责将内存数据库中的数据定期高频地导出到数据库管理系统，做数据备份和恢复之用；以及步骤E，数据接口模块根据上层可视化组件的周期性请求，组织数据返回。

Description

可视化数据认知方法
技术领域
本发明涉及数据统计，特别涉及一种可视化数据认知方法。
背景技术
在现有的技术中，技术架构：系统和数据间的割裂导致无法真正全面的进行数据融合和挖掘。
分析方法：传统的BI分析方案都是从数据出发，试图从数据中挖掘有价值的结论。但是在大数据时代，这种方式受到了很大的挑战。因为通过数据，人类从来没有如此客观地认知我们每天生活的世界，一些精细的、微妙的、隐性的、曾经难以捕捉的关系和知识，现在都可以捕捉到，快速上升为显性的认知。但是另一方便，数据越多，分歧也可能越多，因为每一个不同的观点，都能找到相应的数据来支持，一定程度上，比没有数据还糟糕。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种数据融合，可视化的可视化数据认知方法。
本发明提供的一种可视化数据认知方法，具有这样的特征，包括以下步骤：
步骤A，在明确了业务模型，并且根据业务模型梳理出数据模型之后，通过管理工具定义和生成配置文件，包括数据获取单元的逻辑和数据整合单元的逻辑两部分；
步骤B，主控单元根据配置文件按需创建不同的数据获取线程以及数据整合线程，数据获取线程和数据整合线程根据配置文件中的描述具体执行，数据获取线程通过与封装模块的交互获得数据写入内存数据库，若发生数据无法获取的异常，需要记录下来；数据整合线程从内存数据库里读取数据并按照数据整合逻辑计算后得到结果返回内存数据库；
步骤C，封装模块从各业务模型获得所需数据；
步骤D，自动导出模块负责将内存数据库中的数据定期高频地导出到数据库管理系统，做数据备份和恢复之用；以及
步骤E，数据接口模块根据上层可视化组件的周期性请求，组织数据返回。
本发明提供的一种可视化数据认知方法，还具有这样的特征：其中，步骤E，具有以下步骤：
步骤E1，将预定义好的数据集批量抽取到文件存储数据库；
步骤E2，搭建基于YARN的Spark平台；
步骤E3，根据两个具体的数据挖掘需求，利用MLlib机器学习库设计实现分布式框架下的流程和算法；以及
步骤E4，确定开源数据可视化分析工具，以实现在自主选择不同数据维度后，动态生成数据对比图。
本发明提供的一种可视化数据认知方法，还具有这样的特征：其中，业务模型为O2O、MES、ERP、HR。
本发明提供的一种可视化数据认知方法，还具有这样的特征：其中，封装单元的数量为四个。
发明作用和效果
根据本发明所涉及一种可视化数据认知方法，数据融合：不同来源/不同纬度/不同格式的数据融合，为决策目标的重构提供数据支撑；面向认知决策的分析方法和流程：从用户的决策目标入手进行多维度的解构，对应到最小的数据颗粒，然后根据业务场景进行重构；可视化表达：只有在特定的场景中，数据才是有意义的，而将数据和信息进行可视化处理，是让数据产生持久效应的最佳模式，将可视化技术用于认知决策、产品创新及精准化营销等领域，将技术与艺术相结合，跨越数据到行动的最后1公里。
附图说明
图1是本发明在实施例中的可视化数据认知方法的流程图；以及。
图2是本发明在实施例中的步骤E法的流程图。
具体实施方式
以下参照附图实及施例对本发明所涉及的可视化数据认知方法作详细的描述。
实施例
图1是本发明在实施例中的可视化数据认知方法的结构框图。
如图1所示，可视化数据认知方法具有以下步骤：
步骤A：在明确了业务模型，并且根据业务模型梳理出数据模型之后，通过管理工具定义和生成配置文件，包括数据获取单元的逻辑和数据整合单元的逻辑两部分，进入步骤B。业务模型为O2O、MES、ERP、HR等。
步骤B：主控单元根据配置文件按需创建不同的数据获取线程以及数据整合线程，数据获取线程和数据整合线程根据配置文件中的描述具体执行，数据获取线程通过与封装模块的交互获得数据写入内存数据库，若发生数据无法获取的异常，需要记录下来；数据整合线程从内存数据库里读取数据并按照数据整合逻辑计算后得到结果返回内存数据库，进入步骤C。
步骤C：封装模块从各业务模型获得所需数据，进入步骤D。封装单元的数量为四个。
步骤D：自动导出模块负责将内存数据库中的数据定期高频地导出到数据库管理系统，做数据备份和恢复之用，进入步骤E。
步骤E：数据接口模块根据上层可视化组件的周期性请求，组织数据返回。
图2是本发明在实施例中的步骤E法的流程图。
如图2所示，步骤E具有以下步骤：
步骤E1：将预定义好的数据集批量抽取到文件存储数据库，进入步骤E2。
步骤E2：搭建基于YARN的Spark平台，进入步骤E3。
步骤E3：根据两个具体的数据挖掘需求，利用MLlib机器学习库设计实现分布式框架下的流程和算法，进入步骤E4。
步骤E4：确定开源数据可视化分析工具，以实现在自主选择不同数据维度后，动态生成数据对比图。
统一的数据可视化平台能够集成各IT系统的信息数据，以预算、费用、库存计划、销售、财务、生产、供应链等业务领域的管理主题，统一展现企业运营活动的状态信息，统一管理技术信息、业务信息、资源信息以及知识信息，根据不同的主题与维度对信息数据进行自动化的加工与分析。可与其他业务系统集成的用户与权限管理，可实现单点登录的统一系统入口。
用户场景设计和行为模型为不同的用户和不同的目标设计各类场景，并按照在不同场景下用户认知决策的行为方式匹配相应用户行为模型，让用户能够在高效的进行决策和判断。
多视图整合，探索不同维度的数据关系，通过专业的统计数据分析系统设计方法，理清海量数据指标与维度，按主题、成体系呈现复杂数据背后的联系；将多个视图整合，展示同一数据在不同维度下呈现的数据背后的规律，帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。具备显示结果的形象化和使用过程的互动性，便于用户及时捕捉其关注的数据信息
所有数据视图交互联动将数据图片转化为数据查询，每一项数据在不同维度指标下交互联动，展示数据在不同角度的走势、比例、关系，帮助使用者识别趋势，发现数据背后的知识与规律。除了原有的饼状图、柱形图、热图、地理信息图等数据展现方式，还可以通过图像的颜色、亮度、大小、形状、运动趋势等多种方式在一系列图形中对数据进行分析，帮助用户通过交互，挖掘数据之间的关联。并支持数据的上钻下探、多维并行分析，利用数据推动决策。
跨平台的展示功能，强大的大屏展示功能支持主从屏联动、多屏联动、自动翻屏等大屏展示功能，可实现高达上万分辨率的超清输出，并且具备优异的显示加速性能，支持触控交互，满足用户的不同展示需求。可以将同一主题下的多种形式的数据综合展现在同一个或分别展示在几个高分辨率界面之内，实现多种数据的同步跟踪、切换；同时提供大屏幕触控屏，作为大屏监控内容的中控台，通过简单的触控操作即可实现大屏展现内容的查询、缩放、切换，全方位展示企业信息化水准。
实施例的作用与效果
根据本实施例所涉及可视化数据认知方法，数据融合：不同来源/不同纬度/不同格式的数据融合，为决策目标的重构提供数据支撑；面向认知决策的分析方法和流程：从用户的决策目标入手进行多维度的解构，对应到最小的数据颗粒，然后根据业务场景进行重构；可视化表达：只有在特定的场景中，数据才是有意义的，而将数据和信息进行可视化处理，是让数据产生持久效应的最佳模式，将可视化技术用于认知决策、产品创新及精准化营销等领域，将技术与艺术相结合，跨越数据到行动的最后1公里。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (4)

1.一种可视化数据认知方法，其特征在于，包括以下步骤：
步骤A，在明确了业务模型，并且根据所述业务模型梳理出数据模型之后，通过管理工具定义和生成配置文件，包括数据获取单元的逻辑和数据整合单元的逻辑两部分；
步骤B，主控单元根据所述配置文件按需创建不同的数据获取线程以及数据整合线程，所述数据获取线程和所述数据整合线程根据所述配置文件中的描述具体执行，所述数据获取线程通过与所述封装模块的交互获得数据写入内存数据库，若发生数据无法获取的异常，需要记录下来；所述数据整合线程从所述内存数据库里读取数据并按照数据整合逻辑计算后得到结果返回所述内存数据库；
步骤C，所述封装模块从各所述业务模型获得所需数据；
步骤D，自动导出模块负责将所述内存数据库中的数据定期高频地导出到数据库管理系统，做数据备份和恢复之用；以及
步骤E，数据接口模块根据上层可视化组件的周期性请求，组织数据返回。
2.根据权利要求1所述的可视化数据认知方法，其特征在于：
其中，所述步骤E，具有以下步骤：
步骤E1，将预定义好的数据集批量抽取到文件存储数据库；
步骤E2，搭建基于YARN的Spark平台；
步骤E3，根据两个具体的数据挖掘需求，利用MLl ib机器学习库设计实现分布式框架下的流程和算法；以及
步骤E4，确定开源数据可视化分析工具，以实现在自主选择不同数据维度后，动态生成数据对比图。
3.根据权利要求1所述的可视化数据认知方法，其特征在于：
其中，所述业务模型为O2O、MES、ERP、HR。
4.根据权利要求1所述的可视化数据认知方法，其特征在于：
其中，所述封装单元的数量为四个。
CN201611257320.0A 2016-12-30 2016-12-30 可视化数据认知方法 Pending CN106599313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611257320.0A CN106599313A (zh) 2016-12-30 2016-12-30 可视化数据认知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611257320.0A CN106599313A (zh) 2016-12-30 2016-12-30 可视化数据认知方法

Publications (1)

Publication Number Publication Date
CN106599313A true CN106599313A (zh) 2017-04-26

Family

ID=58582966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611257320.0A Pending CN106599313A (zh) 2016-12-30 2016-12-30 可视化数据认知方法

Country Status (1)

Country Link
CN (1) CN106599313A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577708A (zh) * 2017-07-31 2018-01-12 北京北信源软件股份有限公司 基于SparkMLlib文档分类的类库构建方法及系统
CN108268648A (zh) * 2018-01-25 2018-07-10 成都明途科技有限公司 一种基于管理系统的数据可视化方法
CN109544050A (zh) * 2019-01-24 2019-03-29 黄志敏 一种数据可视化呈现财务数据的方法及系统
CN111580809A (zh) * 2020-05-07 2020-08-25 讯飞幻境(北京)科技有限公司 一种可视化webgl框架构建方法、装置及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053981A (zh) * 2009-10-30 2011-05-11 吴立新 一种顾及语义的地上下集成模型的多尺度表达方法
US20130091148A1 (en) * 2008-04-09 2013-04-11 American Express Travel Related Services Company, Inc. Infrastructure and architecture for development and execution of predictive models
CN105631027A (zh) * 2015-12-30 2016-06-01 中国农业大学 一种面向企业商务智能的数据可视化分析方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091148A1 (en) * 2008-04-09 2013-04-11 American Express Travel Related Services Company, Inc. Infrastructure and architecture for development and execution of predictive models
CN102053981A (zh) * 2009-10-30 2011-05-11 吴立新 一种顾及语义的地上下集成模型的多尺度表达方法
CN105631027A (zh) * 2015-12-30 2016-06-01 中国农业大学 一种面向企业商务智能的数据可视化分析方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577708A (zh) * 2017-07-31 2018-01-12 北京北信源软件股份有限公司 基于SparkMLlib文档分类的类库构建方法及系统
CN108268648A (zh) * 2018-01-25 2018-07-10 成都明途科技有限公司 一种基于管理系统的数据可视化方法
CN109544050A (zh) * 2019-01-24 2019-03-29 黄志敏 一种数据可视化呈现财务数据的方法及系统
CN111580809A (zh) * 2020-05-07 2020-08-25 讯飞幻境(北京)科技有限公司 一种可视化webgl框架构建方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN111542813B (zh) 使用异构数据的对象模型来便于建立数据可视化
US10817534B2 (en) Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations
McLachlan et al. LiveRAC: interactive visual exploration of system management time-series data
CN106294888B (zh) 一种基于时空数据库的对象数据的订阅方法
US10515469B2 (en) Proactive monitoring tree providing pinned performance information associated with a selected node
US10460485B2 (en) Multi-dimensional data visualization
US20170257293A1 (en) Systems and Methods For Monitoring And Analyzing Performance In A Computer System With Severity-State Sorting
US20180137180A1 (en) Systems and methods for interest-driven data visualization systems utilized in interest-driven business intelligence systems
US20160328432A1 (en) System and method for management of time series data sets
Steed et al. Falcon: Visual analysis of large, irregularly sampled, and multivariate time series data in additive manufacturing
CN106599313A (zh) 可视化数据认知方法
US20150149914A1 (en) Proactive monitoring tree with node pinning
US20150112969A1 (en) Systems and Methods for Interest-Driven Data Visualization Systems Utilizing Visualization Image Data and Trellised Visualizations
US20020038230A1 (en) User interface and method for analyzing customer behavior based upon event attributes
US20120084325A1 (en) Master data management hierarchy merging
Dhyani et al. Big data analytics using Hadoop
US20150317573A1 (en) User-relevant statistical analytics using business intelligence semantic modeling
CN113722383A (zh) 一种基于时序情报调查装置及方法
CN117493412A (zh) 数字基座运营管理系统
Sackett et al. A review of data visualization: opportunities in manufacturing sequence management
Kerracher et al. Visual Techniques to Support Exploratory Analysis of Temporal Graph Data.
CN106649854A (zh) 可视化数据认知系统
He et al. Spatiotemporal analytics of topic trajectory
US10839571B2 (en) Displaying large data sets in a heat map
US10387024B2 (en) Interactive analysis of data based on progressive visualizations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426

RJ01 Rejection of invention patent application after publication