CN106354786A - 一种可视分析方法及系统 - Google Patents
一种可视分析方法及系统 Download PDFInfo
- Publication number
- CN106354786A CN106354786A CN201610711736.9A CN201610711736A CN106354786A CN 106354786 A CN106354786 A CN 106354786A CN 201610711736 A CN201610711736 A CN 201610711736A CN 106354786 A CN106354786 A CN 106354786A
- Authority
- CN
- China
- Prior art keywords
- data
- visual analysis
- engine
- visual
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种可视分析方法及系统,属于大数据可视分析领域。其中,可视分析方法包括对数据来源采集数据源;对数据源进行数据关联,生成数据关联库表;基于数据关联库表创建数据仓库;基于数据仓库生成可视分析引擎;对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。通过本发明的技术方案,可实现数据的高效分析、缩短项目周期及数据的可视分析及呈现。
Description
技术领域
本发明涉及大数据可视分析技术领域。更具体地,涉及一种可视分析方法及系统。
背景技术
随着信息化应用程度的不断发展,现代的企业在生产经营过程中都会遇到很多数据,在项目上积累了海量数据,而且数据仍在长期快速增长,这些数据已成为企业的一笔无形资产。如何对数据进行合理、有效的利用,以获得对企业发展有利的知识和指导,是商务智能领域的研究热点,也是现代企业在发展过程中都要面对的难题之一。
商务智能(Business Intelligence,缩写BI),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。
现有的企业数据分析方法多采用传统的商务智能分析,但是传统的商务智能方法数据建模的过程从源系统中将源数据根据构建完成的数据模型,抽取、转换并装载到数据仓库。将数据仓库中的星型模型数据,根据需求生成OLAP Cube完成Cube构建,供给前端分析工具展现。OLAP需要花费大量的时间,并需要专业的技能来构建Cube。一旦最终用户希望增加、调整多维分析的要求,则必须将其需求递交给IT人员,由IT人员从数据建模,Cube制作直至展现,重新构建。一个建模过程通常占整个商务智能项目的30%-50%时间,造成项目周期比较长、实施周期一般以月来估算。而且只具有传统的报表格式,只能查询结果。并且体系复杂,需要大量培训,只有具有经验的IT专业人员才能实施。
此外,许多企业外部数据对企业数据分析有极大的帮助(如法院、商务部门的公开信息等),但这些数据往往格式多样,存在处所分散,只能人工查找和分析。
综上所述,现有的企业数据分析方法多为集中式数据处理方法,数据分析速度慢,无法高效解析数据,另外缺少人机交互式的可视分析方法。
发明内容
有鉴于此,本发明的目的在于提供一种可视分析方法及系统,以解决现有技术中数据分析速度慢,无法高效解析数据,另外缺少人机交互式的可视分析方法,能够提高数据分析效率,实现人机交换。
第一方面,本发明实施例提供了一种可视分析方法,包括以下步骤:
对数据来源采集数据源;
对所述数据源进行数据关联,生成数据关联库表;
基于所述数据关联库表创建数据仓库;
基于所述数据仓库生成可视分析引擎;
对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,
所述数据来源包括结构化数据、半结构化数据和非结构化数据。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,
基于所述数据关联库表创建数据仓库具体包括:
对数据关联库表进行数据抽取、融合,生成数据关系表;
对数据关系表进行数据清洗,生成数据仓库。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,
所述数据清洗是指按特定规则去除数据关系表中的无用数据,所述无用数据包括无效数据、项目外数据、冗余信息。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,
所述输出可视化结果,具体包括:
接收外部的信号,并输出可视化分析结果,其中外部信号包括以下任一种:
视图修改、信息提示、视图切换、区域缩放。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,
所述对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果,可视分析具体包括以下步骤:
选择图表、地图、控件、组件拖拽到画布;
数据维度拖拽到对应图表、地图、控件、组件的坐标轴进行绑定;
添加交互设置。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,
所述可视分析引擎包括可视化组件库,所述可视化组件库包括图表库、控件库和地理信息系统。
结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,其中,
所述交互引擎包括仪表板。
本发明实施例提供了一种可视分析方法,首先通过收集方式对数据来源采集得到数据源,接着对数据源进行数据关联,生成数据关联库表,进而对数据关联库表进行数据抽取、融合、清洗,创建数据仓库,然后将数据仓库中的数据转换,将数据统一化为标准数据格式,生成可视分析引擎,最后对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
从而解决了现有技术中数据分析速度慢,无法高效解析数据,另外缺少人机交互式的可视分析方法的问题,能够提高数据分析效率,实现人机交换。
第二方面,本发明实施例提供了一种可视分析系统,
数据采集模块,用于对数据来源采集数据源;
数据关联模块,用于对所述数据源进行数据关联,生成数据关联库表;
数据建模模块,用于基于所述数据关联库表创建数据仓库;
数据转换模块,用于基于所述数据仓库生成可视分析引擎;
可视分析模块,用于对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,
所述数据来源包括结构化数据、半结构化数据和非结构化数据。
本发明实施例提供了一种可视分析系统,包括数据采集模块,数据关联模块,数据建模模块,数据转换模块和可视分析模块,实施时,数据采集模块对数据来源采集数据源,接着数据关联模块对数据源进行数据关联,生成数据关联库表,随后数据建模模块基于数据关联库表进行数据抽取、融合、清洗,创建数据仓库,然后数据转换模块基于数据仓库统一数据格式,生成可视分析引擎,最后可视分析模块对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出本发明实施例提供的一种可视分析方法的流程图;
图2示出本发明实施例提供的一种可视分析方法中S110中可视分析的流程图;
图3示出本发明实施例提供的一种可视分析系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
为便于对本实施例进行理解,首先对本发明实施例所公开的一种可视分析方法进行详细介绍,
图1为本发明实施例提供的一种可视分析方法的流程图。
如图1所示,该可视分析方法包括以下步骤:
S102:对数据来源采集数据源。
具体的,对数据来源的原始数据采集数据源。需要说明的是,数据采集可以通过配置的方式实现,原始数据包括外部数据和企业内业务系统数据。
数据来源包括结构化数据、半结构化数据和非结构化数据。结构化数据是指即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。半结构化数据就是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据,HTML文档就属于半结构化数据。它一般是自描述的,数据的结构和内容混在一起,没有明显的区分。
数据源支持结构化、半结构化、非结构化数据源的连接。对于Oracle,SQL Server,My SQL等主流数据库采取数据接口接入的方式采集数据源。
对于Excel、CSV、JSON等文本类型文件采用数据导入的方式采集数据源,可以在很大程度上解决客户多年所累积的日志、报表等文件梳理难问题。
S104:对数据源进行数据关联,生成数据关联库表。
具体的,对接入的数据库和导入的数据表进行数据关联,生成数据关联库表。
数据间的关联提供了数据库表之间字段值的对应规则,是连接各个数据库表间的桥梁,有了数据库表间的关联,各个表之间的数据才能在一个分析中得到体现。数据关联控制了外键表数据的有效性,并在数据库的层面体现了业务层的逻辑关系。数据之间的关联是通过给当前数据库表建立添加主键表的方式来建立的,多个表间可以直接继承数据库已设的外键关系,也可以手动建立表间关系。1:N关系、N:1关系和1:1关系都可以通过数据关联建立起关联,依据该方法建立的系统可以自动判断主外键关系。
S106:基于数据关联库表创建数据仓库。
具体的,对数据关联库表进行数据抽取、融合,生成数据关系表;
对数据关系表进行数据清洗,生成数据仓库。
进一步的是,数据清洗是指按特定规则去除数据关系表中的无用数据,所述无用数据包括无效数据、项目外数据、冗余信息。
S108:基于数据仓库生成可视分析引擎。
具体的,对数据仓库的数据进行格式统一,将非结构化、半结构化的数据转换为结构化数据格式,并存储到可视分析引擎中。
S110:对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
具体的,可视分析引擎包括可视化组件库,可视化组件库包括图表库、控件库和地理信息系统(GIS)。图表库支持多种图表类型,图表类型包括柱形图、条形图、折线图、饼图、面积图、组合图、仪表盘和矢量地图,控件库包括文本框、单选框、复选框、图片、线条、下拉框、滑动条、下拉列表、按钮、列表。地理信息系统(GIS,Geographic Information System)是一门综合性学科,结合地理学与地图学以及遥感和计算机科学,已经广泛的应用在不同的领域,是用于输入、存储、查询、分析和显示地理数据的计算机系统,GIS是一种基于计算机的工具,它可以对空间信息进行分析和处理(简而言之,是对地球上存在的现象和发生的事件进行成图和分析)。GIS技术把地图这种独特的视觉化效果和地理分析功能与一般的数据库操作(例如查询和统计分析等)集成在一起。
相比传统单一图表报表的展现形式,为充分满足用户需求、完美展现业务数据、更加直观美观地体现出可视分析主题,可视分析引擎集图表、控件及地理信息系统(GIS)于一体。利用先进的视觉技术渲染、可定制化编辑配置、允许多组件联动,深度切合业务数据,精准展现可视分析主题。可视分析引擎作为可视化展现的重要组成部分,随着技术的发展,可视分析引擎可以不断进行完善扩充,打造更多的可视化图表和控件。
交互引擎是通过配置交互操作逻辑关联可视分析引擎中的相关图表、地图、控件或组件等的可视分析主题。
需要说明的是,可视化组件库是使用D3、WebGL封装得到的。
1)D3:
D3是一个基于数据的操作文档的JavaScript库,主要用于各异的图表的输出,支持DIV这种图案生成,也支持SVG这种图案的生成。D3可以屏蔽浏览器差异,以简洁的代码做出炫酷的图表。基于数据文档高效操作。避免专有的表现,同时提供良好适应性。公开全部功能,如CSS3、HTML5和SVG网页标准,很少的开销,D3速度非常快。支持大数据集、动态交互和动画效果。D3的功能设计允许代码重用,通过集合不同的组件和插件。
2)WebGL:
WebGL是一种3D绘图标准,这种绘图技术标准允许把JavaScript和OpenGL ES 2.0结合在一起,通过增加OpenGL ES 2.0的一个JavaScript绑定,WebGL可以为HTML5Canvas提供硬件3D加速渲染,(Canvas是HTML5中的新元素,可以使用Javascript来绘制图形、图标、以及其它任何视觉性图像。它也可用于创建图片特效和动画。可以用canvas创建丰富的web应用程序。用与HTML5Canvas元素你可以开发动态绘图对象比如如可视化信息或数据图。HTML5的Canvas元素使用JavaScript在网页上绘制2D图像。在矩形区域的画布上,控制其每一像素,JavaScript来绘制2D图形,逐像素进行渲染。可以通过多种方法使用Canvas元素绘制路径、矩形、圆形、字符以及添加图像。Canvas提供的功能更原始,适合像素处理,动态渲染和大数据量绘制。)这样Web开发人员就可以借助系统显卡来在浏览器里更流畅地展示3D场景和模型了,还能创建复杂的导航和数据视觉化。显然,WebGL技术标准免去了开发网页专用渲染插件的麻烦,可被用于创建具有复杂3D结构的网站页面,甚至可以用来设计3D网页游戏等等。WebGL完美地解决了现有的Web交互式三维动画的两个问题:第一,它通过HTML脚本本身实现Web交互式三维动画的制作,无需任何浏览器插件支持;第二,它利用底层的图形硬件加速功能进行的图形渲染,是通过统一的、标准的、跨平台的OpenGL接口实现的。
作为一个优选方案,本实施例中,对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。其中,输出可视化结果,具体包括:
接收外部的信号,并输出可视化分析结果,其中外部信号包括以下任一种:
视图修改、信息提示、视图切换、区域缩放。
视图修改:支持图表数据的批量修改。图表已与数据维度的数据关联成功,需要做一些数据上的小改动,不需要再去拖拽数据维度、图表等操作,节省用户操作时间。
信息提示:支持鼠标悬浮交互时的信息提示。当鼠标悬浮在图表,显示详细的信息,如维度名称、时间、具体数值等。
视图切换:图易提供了图表动态切换,让用户随心所欲的切换到他所需要的图表类型和堆叠状态。
区域缩放:如果组件的数据太多,数据点太密,拖拽区域框缩小区域查看区域内的详细数据内容,拖拽区域框放大区域查看全局数据的浏览。
进一步的是,如图2所示,可视分析具体包括以下步骤:
S202:选择图表、地图、控件、组件拖拽到画布。
S204:数据维度拖拽到对应图表、地图、控件、组件的坐标轴进行绑定。
具体的,数据维度是以树状结构实时展现连接的数据维度。可视分析主题的内容可以根据用户需求的差异,定制自己的数据维度及展现内容,实现真正的个性化服务,支持公式计算,数据透视等功能,新的数据维度可通过公式计算和数据透视完成。
数据维度列表所对应的维度和度量通过公式计算可得出新的度量。需要说明的是,公式已经预先配置完成,可以调用,具体可以参考Excel里面的公式。
数据透视包括合计、计数、平均、最大值、最小值、方差、标准差、中位数、众数等操作。透视完成后产生新的数据维度,并在数据维度的列表中增加。
结合业务场景通过简单地拖拽数据维度组合形成新的可视分析主题项目;图表、控件、项目等资源可灵活复用;这个操作只需要几秒钟,快速获取价值,无需复杂的重复性的建模工作。
S206:添加交互设置。
也就是实现人机交互,添加关联、组件联动、添加组件等一系列交互设置。
进一步的是,交互引擎包括仪表板,仪表板包括母版、容器、多页操作、集成工具栏。需要说明的是,交互引擎是由React和Redux搭建起来的。
1)React:
React是Facebook开发的一款JS库,在Web开发中,我们总需要将变化的数据实时反应到UI上,这时就需要对DOM进行操作。而复杂或频繁的DOM操作通常是性能瓶颈产生的原因(如何进行高性能的复杂DOM操作通常是衡量一个前端开发人员技能的重要指标)。React为此引入了虚拟DOM(Virtual DOM)的机制:在浏览器端用Javascript实现了一套DOMAPI。基于React进行开发时所有的DOM构造都是通过虚拟DOM进行,每当数据变化时,React都会重新构建整个DOM树,然后React将当前整个DOM树和上一次的DOM树进行对比,得到DOM结构的区别,然后仅仅将需要变化的部分进行实际的浏览器DOM更新。而且React能够批处理虚拟DOM的刷新,在一个事件循环(Event Loop)内的两次数据变化会被合并,例如你连续的先将节点内容从A变成B,然后又从B变成A,React会认为UI不发生任何变化,而如果通过手动控制,这种逻辑通常是极其复杂的。尽管每一次都需要构造完整的虚拟DOM树,但是因为虚拟DOM是内存数据,性能是极高的,而对实际DOM进行操作的仅仅是Diff部分,因而能达到提高性能的目的。这样,在保证性能的同时,开发者将不再需要关注某个数据的变化如何更新到一个或多个具体的DOM元素,而只需要关心在任意一个数据状态下,整个界面是如何Render的,Render是指渲染。渲染是这样一个过程,浏览器根据页面的HTML代码、CSS定义、Javascript脚本的操作,在浏览器上按照一定的规范显示出相应的内容。举个最简单的例子:<b>这个是粗体显示</b>,浏览器根据该代码在浏览器上面显示出粗体的文字,这个过程就叫渲染。
2)Redux:
Redux是facebook提出的flux架构的一种优秀实现;而且不局限于为React提供数据状态处理。它是零依赖的,可以配合其他任何框架或者类库一起使用。其核心概念却非常简单,就是Map/Reduce中的Reduce。要想配合React,需要引入React-Redux。
本发明实施例提供的一种可视分析方法,通过对数据来源采集数据源;接着对数据源进行数据关联,生成数据关联库表;随后基于数据关联库表创建数据仓库;然后基于数据仓库生成可视分析引擎;最后对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。相比现有技术,能够提高数据分析的运行效率;该方法通过交互引擎向用户输出可视分析结果,实现了对数据的交互式可视分析,确保了数据分析的易用性和交互性。
实施例二
本发明实施例提供一种可视分析系统,可用于基于大数据的数据展示。
如图3所示,该可视分析系统包括数据采集模块1、数据关联模块2、数据建模模块3、数据转换模块4、可视分析模块5。
数据采集模块1用于对数据来源采集数据源。进一步的是,数据来源包括结构化数据、半结构化数据和非结构化数据。对于Oracle,SQL Server,My SQL等主流数据库采取数据接口接入的方式采集数据源。
对于Excel、CSV、JSON等文本类型文件采用数据导入的方式采集数据源,可以在很大程度上解决客户多年所累积的日志、报表等文件梳理难问题。
数据关联模块2用于对数据源进行数据关联,生成数据关联库表。具体的,对接入的数据库和导入的数据表进行数据关联,生成数据关联库表。数据间的关联提供了数据库表之间字段值的对应规则,是连接各个数据库表间的桥梁,有了数据库表间的关联,各个表之间的数据才能在一个分析中得到体现。数据关联控制了外键表数据的有效性,并在数据库的层面体现了业务层的逻辑关系。数据之间的关联是通过给当前数据库表建立添加主键表的方式来建立的,多个表间可以直接继承数据库已设的外键关系,也可以手动建立表间关系。1:N关系、N:1关系和1:1关系都可以通过数据关联建立起关联,系统会自动判断主外键关系。
数据建模模块3用于基于数据关联库表创建数据仓库。具体的,数据建模模块3首先对数据关联库表进行数据抽取、融合,生成数据关系表,从数据库表中直接抽取细节数据,细节数据包括维度、度量(指标)。需要说明的是,任何字段都可以作为维度和度量(指标),并可以灵活组合融合在一起。
然后对数据关系表进行数据清洗,生成数据仓库。具体的,数据清洗数据清洗是指按特定规则去除数据关系表中的无用数据,所述无用数据包括无效数据、项目外数据、冗余信息。
数据转换模块4用于基于数据仓库生成可视分析引擎。具体的,对数据仓库的数据进行格式统一,将非结构化、半结构化的数据转换为结构化数据格式,并存储到可视分析引擎中。也就是说,可视分析引擎已经定义好对应的数据格式。
可视分析模块5用于对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。具体的,可视分析引擎包括可视化组件库,可视化组件库包括图表库、控件库和地理信息系统(GIS)。需要说明的是,可视分析引擎包括两部分,一是把已完成项目中的图表内容放到资源库中,二是有丰富的资源库来支撑项目的快速开发。图表库支持多种图表类型,图表类型包括柱形图、条形图、折线图、饼图、面积图、组合图、仪表盘和矢量地图,控件库包括文本框、单选框、复选框、图片、线条、下拉框、滑动条、下拉列表、按钮、列表。地理信息系统(GIS,Geographic Information System)是一门综合性学科,结合地理学与地图学以及遥感和计算机科学,已经广泛的应用在不同的领域,是用于输入、存储、查询、分析和显示地理数据的计算机系统,GIS是一种基于计算机的工具,它可以对空间信息进行分析和处理(简而言之,是对地球上存在的现象和发生的事件进行成图和分析)。GIS技术把地图这种独特的视觉化效果和地理分析功能与一般的数据库操作(例如查询和统计分析等)集成在一起。
需要说明的是,可视化组件库是使用D3、WebGL封装得到的。
作为一个更优选的方案,本实施例中,可视分析模块5对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。其中,输出可视化结果,具体包括:
接收外部的信号,并输出可视化分析结果,其中外部信号包括以下任一种:
视图修改、信息提示、视图切换、区域缩放。
视图修改:支持图表数据的批量修改。图表已与数据维度的数据关联成功,需要做一些数据上的小改动,不需要再去拖拽数据维度、图表等操作,节省用户操作时间。
信息提示:支持鼠标悬浮交互时的信息提示。当鼠标悬浮在图表,显示详细的信息,如维度名称、时间、具体数值等。
视图切换:图易提供了图表动态切换,让用户随心所欲的切换到他所需要的图表类型和堆叠状态。
区域缩放:如果组件的数据太多,数据点太密,拖拽区域框缩小区域查看区域内的详细数据内容,拖拽区域框放大区域查看全局数据的浏览。
进一步的是,交互引擎包括仪表板,仪表板包括母版、容器、多页操作、集成工具栏。优选的是,在仪表板中,开放资源复用功能,针对因需求变更、持续更新迭代而无法复用业务模型的问题,解决了数据组件复用的问题,当用户需要再次分析或在已分析完成的数据基础上进行新的分析,即可将保存于文档中的项目进行复用。将复用率提升至70%,迅速推动项目落地。传统的后台开发可能需要1个月时间来开发完成一个项目。该系统可以通过配置来实现可能需要不到半个月的时候来完成,并且所完成项目的结果还能复用到以后有相同需求的项目中去。缩短了项目开发周期,降低了开发成本。
仪表板操作简洁,结合业务场景通过简单地拖拽数据维度组合形成新的可视分析主题项目;图表、控件、项目等资源可灵活复用;这个操作只需要几秒钟,快速获取价值,无需复杂的重复性的建模工作。无需专业技术技能、通过短时少量培训用户即可使用,极大的缩短实施周期,大幅度提高效率,推动用户精准决策,为用创造巨大价值。
需要说明的是,交互引擎是由React和Redux搭建起来的。
进一步的是,可视分析模块5进行可视分析具体包括以下步骤:
首先选择图表、地图、控件、组件拖拽到画布,然后将数据维度拖拽到对应图表、地图、控件、组件的坐标轴进行绑定,最后添加交互设置。
本发明实施例提供的一种可视分析系统,包括数据采集模块,用于对数据来源采集数据源;数据关联模块,用于对数据源进行数据关联,生成数据关联库表;数据建模模块,用于基于数据关联库表创建数据仓库;数据转换模块,用于基于数据仓库生成可视分析引擎;可视分析模块,用于对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。通过关联数据,能够提高数据分析效率,同时具有易操作的交互引擎的可视分析主题,可视化呈现数据分析结果,帮助企业发现规律,做出有效的决策。该系统通过在可视化开发流程的每个节点(数据采集、数据关联、数据建模、数据转换、可视分析)都可通过配置的方式来完成项目的开发。且对用户的要求也会低很多:用户可以自己通过配置的方式来完成修改。解决了传统的项目开发通过后台开发来实现数据采集、数据建模等造成的时间长、需要专业人员操作、不够高效的问题。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.一种可视分析方法,其特征在于,包括以下步骤:
对数据来源采集数据源;
对所述数据源进行数据关联,生成数据关联库表;
基于所述数据关联库表创建数据仓库;
基于所述数据仓库生成可视分析引擎;
对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
2.根据权利要求1所述的可视分析方法,其特征在于,所述数据来源包括结构化数据、半结构化数据和非结构化数据。
3.根据权利要求1所述的可视分析方法,其特征在于,基于所述数据关联库表创建数据仓库具体包括:
对数据关联库表进行数据抽取、融合,生成数据关系表;
对数据关系表进行数据清洗,生成数据仓库。
4.根据权利要求1所述的可视分析方法,其特征在于,所述数据清洗是指按特定规则去除数据关系表中的无用数据,所述无用数据包括无效数据、项目外数据、冗余信息。
5.根据权利要求1所述的可视分析方法,其特征在于,所述输出可视化结果,具体包括:
接收外部的信号,并输出可视化分析结果,其中外部信号包括以下任一种:
视图修改、信息提示、视图切换、区域缩放。
6.根据权利要求1所述的可视分析方法,其特征在于,所述对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果,可视分析具体包括以下步骤:
选择图表、地图、控件、组件拖拽到画布;
数据维度拖拽到对应图表、地图、控件、组件的坐标轴进行绑定;
添加交互设置。
7.根据权利要求1所述的可视分析方法,其特征在于,所述可视分析引擎包括可视化组件库,所述可视化组件库包括图表库、控件库和地理信息系统。
8.根据权利要求1所述的可视分析方法,其特征在于,所述交互引擎包括仪表板。
9.一种可视分析系统,其特征在于,包括:
数据采集模块,用于对数据来源采集数据源;
数据关联模块,用于对所述数据源进行数据关联,生成数据关联库表;
数据建模模块,用于基于所述数据关联库表创建数据仓库;
数据转换模块,用于基于所述数据仓库生成可视分析引擎;
可视分析模块,用于对可视分析引擎进行可视分析,通过交互引擎,输出可视化结果。
10.根据权利要求9所述的可视分析系统,其特征在于,所述数据来源包括结构化数据、半结构化数据和非结构化数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610711736.9A CN106354786A (zh) | 2016-08-23 | 2016-08-23 | 一种可视分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610711736.9A CN106354786A (zh) | 2016-08-23 | 2016-08-23 | 一种可视分析方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106354786A true CN106354786A (zh) | 2017-01-25 |
Family
ID=57844598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610711736.9A Pending CN106354786A (zh) | 2016-08-23 | 2016-08-23 | 一种可视分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106354786A (zh) |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107276821A (zh) * | 2017-07-11 | 2017-10-20 | 上海精数信息科技有限公司 | 用户行为监测系统和方法 |
CN107330053A (zh) * | 2017-06-27 | 2017-11-07 | 北京天机数测数据科技有限公司 | 基于ReactJS的可视化设计器及数据大屏制作方法 |
CN107330045A (zh) * | 2017-06-28 | 2017-11-07 | 携程旅游网络技术(上海)有限公司 | 机票预订平台的大数据可视化分析方法及系统 |
CN107590198A (zh) * | 2017-08-16 | 2018-01-16 | 浙江力太科技有限公司 | 一种工业物联网的数据可视化管理方法 |
CN107622093A (zh) * | 2017-08-29 | 2018-01-23 | 苏州优圣美智能系统有限公司 | 一种从非结构化数据提取结构化数据的系统 |
CN107643935A (zh) * | 2017-10-11 | 2018-01-30 | 成都知道创宇信息技术有限公司 | 一种重展示可扩展的数据可视化仪表盘及构建方法 |
CN107679025A (zh) * | 2017-09-20 | 2018-02-09 | 北京数猎天下科技有限公司 | 一种对工作表的图表展示进行操作与维护方法 |
CN107818177A (zh) * | 2017-11-23 | 2018-03-20 | 山东浪潮通软信息科技有限公司 | 一种商务智能模型搭建方法及搭建装置 |
CN107943913A (zh) * | 2017-11-20 | 2018-04-20 | 深圳市启明星电子商务有限公司 | 一种数据报表分析系统 |
CN107967359A (zh) * | 2017-12-21 | 2018-04-27 | 百度在线网络技术(北京)有限公司 | 数据可视分析方法、系统、终端和计算机可读存储介质 |
CN108595604A (zh) * | 2018-04-20 | 2018-09-28 | 杭州弯流科技有限公司 | 一种智能报表的数据可视化系统及方法 |
CN108710693A (zh) * | 2018-05-22 | 2018-10-26 | 浪潮软件集团有限公司 | 一种数据可视化的方法及装置 |
CN108804513A (zh) * | 2018-04-24 | 2018-11-13 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 大数据平台的自动可视化分析方法 |
CN109902279A (zh) * | 2019-01-15 | 2019-06-18 | 新智云数据服务有限公司 | 数据处理方法、装置、设备和存储介质 |
CN109901893A (zh) * | 2017-12-07 | 2019-06-18 | 腾讯科技(武汉)有限公司 | 应用小程序的数据流管理方法 |
CN110019246A (zh) * | 2018-07-13 | 2019-07-16 | 浙江甲骨文超级码科技股份有限公司 | 一种扶贫大数据可视化信息系统 |
CN110064862A (zh) * | 2019-04-12 | 2019-07-30 | 中国大唐集团科学技术研究院有限公司火力发电技术研究院 | 一种导汽管焊缝应力状态的网络监测平台 |
CN110347688A (zh) * | 2019-07-10 | 2019-10-18 | 星环信息科技(上海)有限公司 | 多元信息的特征融合方法、装置、设备及存储介质 |
CN110569298A (zh) * | 2019-09-12 | 2019-12-13 | 成都中科大旗软件股份有限公司 | 一种数据对接、可视化方法和系统 |
CN110688421A (zh) * | 2018-06-20 | 2020-01-14 | 南京网感至察信息科技有限公司 | 一种智能化的可定制的数据治理和分析方法 |
CN110908649A (zh) * | 2019-10-14 | 2020-03-24 | 成都西山居世游科技有限公司 | 一种可拆分及合并的图表绘制方法和系统 |
CN110909017A (zh) * | 2019-11-11 | 2020-03-24 | 苏宁金融科技(南京)有限公司 | 数据分析方法和系统 |
CN111125075A (zh) * | 2019-12-17 | 2020-05-08 | 国网天津市电力公司电力科学研究院 | 一种不可算台区数据治理方法及系统 |
CN111400565A (zh) * | 2020-03-19 | 2020-07-10 | 北京三维天地科技股份有限公司 | 一种可视化拖拽在线数据处理方法和系统 |
CN111427922A (zh) * | 2020-03-19 | 2020-07-17 | 广东蔚海数问大数据科技有限公司 | 基于分布式架构的数据分析方法、系统、装置及存储介质 |
CN111444230A (zh) * | 2019-01-17 | 2020-07-24 | 苏州黑牛新媒体有限公司 | 一种基于大数据平台的数据可视化分析方法 |
CN111597172A (zh) * | 2020-03-25 | 2020-08-28 | 北京梦天门科技股份有限公司 | 基于检查表的多维度大数据分析展示系统 |
CN111753234A (zh) * | 2020-06-24 | 2020-10-09 | 中国建设银行股份有限公司 | 一种数据可视化方法、装置、服务器和介质 |
CN111930723A (zh) * | 2020-09-25 | 2020-11-13 | 国网冀北电力有限公司经济技术研究院 | 基于大数据的科技成果数据融合方法 |
CN112183044A (zh) * | 2020-09-22 | 2021-01-05 | 新奥数能科技有限公司 | 一种分析报告生成方法、装置、平台及可读介质 |
CN113572764A (zh) * | 2021-07-23 | 2021-10-29 | 广东轻工职业技术学院 | 一种基于ai的工业互联网网络安全态势感知系统 |
CN114780074A (zh) * | 2022-06-20 | 2022-07-22 | 北京风锐科林医疗科技有限公司 | 一种用于实现大数据分析的信息计算系统及构建方法 |
CN115563425A (zh) * | 2022-11-09 | 2023-01-03 | 西安葡萄城软件有限公司 | 基于商业智能系统的多粒度嵌入式集成方法及装置 |
WO2023061454A1 (zh) * | 2021-10-14 | 2023-04-20 | 广州广电运通金融电子股份有限公司 | 非结构化数据的可视化处理系统、方法、存储介质和终端 |
CN117078139A (zh) * | 2023-10-16 | 2023-11-17 | 国家邮政局邮政业安全中心 | 跨境快递的监管方法、系统、电子设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1347529A (zh) * | 1999-01-15 | 2002-05-01 | 米泰吉公司 | 数据仓库环境下使信息可视化的方法 |
CN101271455A (zh) * | 2007-03-23 | 2008-09-24 | 上海众恒信息产业有限公司 | 可视化数据信息应用系统及其应用方法 |
US20130046798A1 (en) * | 2011-08-16 | 2013-02-21 | Computer Associates Think, Inc. | Method and apparatus for visualization of infrastructure using a non-relational graph data store |
CN104572096A (zh) * | 2014-12-29 | 2015-04-29 | 中国科学院计算机网络信息中心 | 一种基于web的多模型数据可视化开发方法及平台 |
-
2016
- 2016-08-23 CN CN201610711736.9A patent/CN106354786A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1347529A (zh) * | 1999-01-15 | 2002-05-01 | 米泰吉公司 | 数据仓库环境下使信息可视化的方法 |
CN101271455A (zh) * | 2007-03-23 | 2008-09-24 | 上海众恒信息产业有限公司 | 可视化数据信息应用系统及其应用方法 |
US20130046798A1 (en) * | 2011-08-16 | 2013-02-21 | Computer Associates Think, Inc. | Method and apparatus for visualization of infrastructure using a non-relational graph data store |
CN104572096A (zh) * | 2014-12-29 | 2015-04-29 | 中国科学院计算机网络信息中心 | 一种基于web的多模型数据可视化开发方法及平台 |
Non-Patent Citations (1)
Title |
---|
龙虎等: "大数据背景下的数据分析与可视化研究", 《凯里学院学报》 * |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330053A (zh) * | 2017-06-27 | 2017-11-07 | 北京天机数测数据科技有限公司 | 基于ReactJS的可视化设计器及数据大屏制作方法 |
CN107330045A (zh) * | 2017-06-28 | 2017-11-07 | 携程旅游网络技术(上海)有限公司 | 机票预订平台的大数据可视化分析方法及系统 |
CN107276821A (zh) * | 2017-07-11 | 2017-10-20 | 上海精数信息科技有限公司 | 用户行为监测系统和方法 |
CN107590198A (zh) * | 2017-08-16 | 2018-01-16 | 浙江力太科技有限公司 | 一种工业物联网的数据可视化管理方法 |
CN107622093A (zh) * | 2017-08-29 | 2018-01-23 | 苏州优圣美智能系统有限公司 | 一种从非结构化数据提取结构化数据的系统 |
CN107679025A (zh) * | 2017-09-20 | 2018-02-09 | 北京数猎天下科技有限公司 | 一种对工作表的图表展示进行操作与维护方法 |
CN107643935A (zh) * | 2017-10-11 | 2018-01-30 | 成都知道创宇信息技术有限公司 | 一种重展示可扩展的数据可视化仪表盘及构建方法 |
CN107943913A (zh) * | 2017-11-20 | 2018-04-20 | 深圳市启明星电子商务有限公司 | 一种数据报表分析系统 |
CN107818177B (zh) * | 2017-11-23 | 2021-06-15 | 浪潮通用软件有限公司 | 一种商务智能模型搭建方法及搭建装置 |
CN107818177A (zh) * | 2017-11-23 | 2018-03-20 | 山东浪潮通软信息科技有限公司 | 一种商务智能模型搭建方法及搭建装置 |
CN109901893A (zh) * | 2017-12-07 | 2019-06-18 | 腾讯科技(武汉)有限公司 | 应用小程序的数据流管理方法 |
US11216353B2 (en) | 2017-12-21 | 2022-01-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Data visual analysis method, system and terminal and computer readable storage medium |
CN107967359A (zh) * | 2017-12-21 | 2018-04-27 | 百度在线网络技术(北京)有限公司 | 数据可视分析方法、系统、终端和计算机可读存储介质 |
CN108595604B (zh) * | 2018-04-20 | 2021-11-02 | 杭州弯流科技有限公司 | 一种智能报表的数据可视化系统及方法 |
CN108595604A (zh) * | 2018-04-20 | 2018-09-28 | 杭州弯流科技有限公司 | 一种智能报表的数据可视化系统及方法 |
CN108804513A (zh) * | 2018-04-24 | 2018-11-13 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 大数据平台的自动可视化分析方法 |
CN108710693A (zh) * | 2018-05-22 | 2018-10-26 | 浪潮软件集团有限公司 | 一种数据可视化的方法及装置 |
CN110688421A (zh) * | 2018-06-20 | 2020-01-14 | 南京网感至察信息科技有限公司 | 一种智能化的可定制的数据治理和分析方法 |
CN110019246A (zh) * | 2018-07-13 | 2019-07-16 | 浙江甲骨文超级码科技股份有限公司 | 一种扶贫大数据可视化信息系统 |
CN109902279A (zh) * | 2019-01-15 | 2019-06-18 | 新智云数据服务有限公司 | 数据处理方法、装置、设备和存储介质 |
CN111444230A (zh) * | 2019-01-17 | 2020-07-24 | 苏州黑牛新媒体有限公司 | 一种基于大数据平台的数据可视化分析方法 |
CN110064862A (zh) * | 2019-04-12 | 2019-07-30 | 中国大唐集团科学技术研究院有限公司火力发电技术研究院 | 一种导汽管焊缝应力状态的网络监测平台 |
CN110064862B (zh) * | 2019-04-12 | 2021-08-24 | 中国大唐集团科学技术研究院有限公司火力发电技术研究院 | 一种导汽管焊缝应力状态的网络监测平台 |
CN110347688A (zh) * | 2019-07-10 | 2019-10-18 | 星环信息科技(上海)有限公司 | 多元信息的特征融合方法、装置、设备及存储介质 |
CN110347688B (zh) * | 2019-07-10 | 2020-09-11 | 星环信息科技(上海)有限公司 | 多元信息的特征融合方法、装置、设备及存储介质 |
CN110569298B (zh) * | 2019-09-12 | 2023-03-24 | 成都中科大旗软件股份有限公司 | 一种数据对接、可视化方法和系统 |
CN110569298A (zh) * | 2019-09-12 | 2019-12-13 | 成都中科大旗软件股份有限公司 | 一种数据对接、可视化方法和系统 |
CN110908649B (zh) * | 2019-10-14 | 2023-07-04 | 成都西山居世游科技有限公司 | 一种可拆分及合并的图表绘制方法和系统 |
CN110908649A (zh) * | 2019-10-14 | 2020-03-24 | 成都西山居世游科技有限公司 | 一种可拆分及合并的图表绘制方法和系统 |
CN110909017B (zh) * | 2019-11-11 | 2023-05-02 | 苏宁金融科技(南京)有限公司 | 数据分析方法和系统 |
CN110909017A (zh) * | 2019-11-11 | 2020-03-24 | 苏宁金融科技(南京)有限公司 | 数据分析方法和系统 |
CN111125075A (zh) * | 2019-12-17 | 2020-05-08 | 国网天津市电力公司电力科学研究院 | 一种不可算台区数据治理方法及系统 |
CN111400565A (zh) * | 2020-03-19 | 2020-07-10 | 北京三维天地科技股份有限公司 | 一种可视化拖拽在线数据处理方法和系统 |
CN111427922A (zh) * | 2020-03-19 | 2020-07-17 | 广东蔚海数问大数据科技有限公司 | 基于分布式架构的数据分析方法、系统、装置及存储介质 |
CN111597172A (zh) * | 2020-03-25 | 2020-08-28 | 北京梦天门科技股份有限公司 | 基于检查表的多维度大数据分析展示系统 |
CN111597172B (zh) * | 2020-03-25 | 2024-02-02 | 北京梦天门科技股份有限公司 | 基于检查表的多维度大数据分析展示系统 |
CN111753234A (zh) * | 2020-06-24 | 2020-10-09 | 中国建设银行股份有限公司 | 一种数据可视化方法、装置、服务器和介质 |
CN112183044A (zh) * | 2020-09-22 | 2021-01-05 | 新奥数能科技有限公司 | 一种分析报告生成方法、装置、平台及可读介质 |
CN111930723A (zh) * | 2020-09-25 | 2020-11-13 | 国网冀北电力有限公司经济技术研究院 | 基于大数据的科技成果数据融合方法 |
CN111930723B (zh) * | 2020-09-25 | 2024-02-02 | 国网冀北电力有限公司经济技术研究院 | 基于大数据的科技成果数据融合方法 |
CN113572764A (zh) * | 2021-07-23 | 2021-10-29 | 广东轻工职业技术学院 | 一种基于ai的工业互联网网络安全态势感知系统 |
WO2023061454A1 (zh) * | 2021-10-14 | 2023-04-20 | 广州广电运通金融电子股份有限公司 | 非结构化数据的可视化处理系统、方法、存储介质和终端 |
CN114780074B (zh) * | 2022-06-20 | 2022-09-16 | 北京风锐科林医疗科技有限公司 | 一种用于实现大数据分析的信息计算系统及构建方法 |
CN114780074A (zh) * | 2022-06-20 | 2022-07-22 | 北京风锐科林医疗科技有限公司 | 一种用于实现大数据分析的信息计算系统及构建方法 |
CN115563425A (zh) * | 2022-11-09 | 2023-01-03 | 西安葡萄城软件有限公司 | 基于商业智能系统的多粒度嵌入式集成方法及装置 |
CN117078139A (zh) * | 2023-10-16 | 2023-11-17 | 国家邮政局邮政业安全中心 | 跨境快递的监管方法、系统、电子设备以及存储介质 |
CN117078139B (zh) * | 2023-10-16 | 2024-02-09 | 国家邮政局邮政业安全中心 | 跨境快递的监管方法、系统、电子设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106354786A (zh) | 一种可视分析方法及系统 | |
CN105302578B (zh) | 一种拖拽式布局配置的门户综合管理系统 | |
CN103744846B (zh) | 一种多维度动态局部知识地图及其构建方法 | |
CN103440682B (zh) | 一种快速三维成图方法和系统 | |
CN106843835A (zh) | 一种元数据定制的应用系统软件构建系统、系统构建方法 | |
CN104281447A (zh) | 一种报表快速生成及发布的系统及其方法 | |
CN105955208A (zh) | 一种基于云平台的网络机器人数据控制系统 | |
CN110807015A (zh) | 一种大数据资产价值交付管理方法及系统 | |
CN109784708A (zh) | 水行业多模型耦合计算的云服务系统 | |
CN111275297A (zh) | 一种基于bim技术的建筑工程epc造价和进度管理系统及管理方法 | |
CN101799753A (zh) | 一种实现树形结构的方法及装置 | |
CN105808244A (zh) | 一种基于工作流的动态数据可视化分析工具 | |
CN112651711B (zh) | 基于xdb文件在bs架构下的协同设计管理平台的搭建系统 | |
CN108536718A (zh) | 一种基于输入输出语义化实现的管理信息化的方法和系统 | |
CN103413041A (zh) | 一种基于复杂产品研制对象的协同感知系统构建方法 | |
US10776351B2 (en) | Automatic core data service view generator | |
CN108170855B (zh) | 一种CityGML与IFC数据统一查询及数据抽取方法 | |
Hijazi et al. | 3DCITYDB4BIM: A system architecture for linking bim server and 3d citydb for bim-gis-integration | |
CN106846431B (zh) | 一种支持多表现形式的统一Web图形绘制系统 | |
CN110162731B (zh) | 一种IFC模型构件空间信息在Web显示的方法 | |
CN107895282A (zh) | 一种基于时空网格的烟草市场大数据可视化方法 | |
CN103970900B (zh) | 基于工业现场的多维交叉数据柔性管理方法及系统 | |
CN114118752A (zh) | 基于oms的一键完成二次设备风险评估的平台及评估方法 | |
CN114385740A (zh) | 一种基于铀矿地质云平台的可视化展示系统及方法 | |
Guillem et al. | Building an argumentation platform for 3D reconstruction using CIDOC-CRM and Drupal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170125 |
|
RJ01 | Rejection of invention patent application after publication |