CN104572074B - 基于大数据图形化展示定制系统 - Google Patents

Abstract

一种基于大数据图形化展示定制系统(BCSS)，涉及电数字数据处理领域，所述系统包括以下四个模块：图形处理模块、开发模块、组织结构模块、管理系统模块。本发明以海量数据为前提，以图形化展示研究为核心，以自定义灵活配置为目标，采用目前最为前沿的UI展示方案，同时兼容了Flex，Flash，HTML5，Siverlight，Jquery等主流UI展示技术的综合性图形展示系统。

Description

基于大数据图形化展示定制系统

技术领域

本发明涉及电数字数据处理领域，特别涉及一种基于大数据图形化展示定制系统(BCSS)，以海量数据为前提，以图形化展示研究为核心，以自定义灵活配置为目标，采用目前最为前沿的UI展示方案，同时兼容了Flex，Flash，HTML5，Siverlight，Jquery等主流UI展示技术的综合性图形展示系统。

背景技术

随着科学技术的不断发展，互联网的普及、社交网站的盛行、办公自动化水平的不断提高，越来越多的数据信息在不断的影响着我们的生活、学习、工作，大数据信息已经渗透到了我们这个社会的每个角落，他在无形当中已经开始潜移默化的影响改变着我们的习惯。

所谓数据可视化(Data Visualization)是对大型数据库或数据仓库中数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。数据可视化的基本思想是将数据库中的每个数据项作为一个图形元素表示，例如，点、矩形条、扇形片等，大量的数据构成数据图像，同时将数据的各个属性值以多维数据的形式表示，以多样的连线表示实体之间复杂的关系，同时还可以按照人的思维关联模式，通过数据可视化引擎提供的方法，针对图中关键实体进行关联、回溯、扩展、布局、缩放、隐藏、删除等操作，从不同的视角观察数据，从而对数据进行更深入的研究和分析。

目前，基于大数据图形化展示方面，国内几乎没有公司提出解决方案并且设计出能够满足实际需求的图形展示产品，大部分知名的图形展示插件都是国外的产品，例如：ChartDirector、JScharts、JFreeChart、JqueryChart等等，这些国外插件普遍存在如下问题：

1、属于商业插件，价格昂贵；

2、部署麻烦，开发人员不能够快速上手；

3、用户不能对展示的结果进行合理操作，图形效果不尽人意；

4、基于大数据集的数据分析挖掘结果数据量较大，因此展示效率慢，展示结果不直观；

5、由于是国外插件，对图形化展示解果无法做到自定义扩展，用户对图伴随着大数据分析挖掘技术不断的发展，传统的数据展示技术已经不能满足大数据的需要，无论从展示风格、加载性能还是对展示多样化等方面，传统的数据展示面临着大数据都束手无策。

发明内容

本发明提供一种基于大数据图形化展示定制系统，以解决上述现有技术中存在的技术问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于大数据图形化展示定制系统。本系统是一个以海量数据为前提，以图形化展示研究为核心，以自定义灵活配置为目标的采用目前最为前沿的UI展示方案，同时兼容了Flex，Flash，HTML5，Siverlight，Jquery等主流UI展示技术的综合性图形展示系统。

本发明所述的图形化展示定制系统包括以下四个模块：图形处理模块、开发模块、组织结构模块、管理系统模块。

1、图形处理模块：图形处理模块由图形编辑器、图形参数管理子模块、图形预览子模块、图形发布子模块和图形导出子模块构成。

(1)图形编辑器主要用来对图形展示效果进行编辑，包括图形类型编辑区域、图形样式调整区域、图形自定义区域、图形数据输入区域以及图形显示区域。

所述图形类型编辑区域分成三个部分：简单图形展示子区域、复杂图形展示子区域、海量数据图形展示子区域。简单图形包括：柱状图、线形图、饼状图、区域图、网络图；复杂图形包括：气泡图、股票图、追星图、仪表图；海量数据图形包括：星云图、分裂图、人立方、关联关系图、路径图。

所述图形样式调整区域是指对所选择的图形中包含的线段、边框、底纹、背景色等属性进行大小、宽窄、粗细、颜色的修改；

所述图形自定义区域支持用户自己上传图形中包含的节点、图片等信息，从而加入个性化的元素信息；

所述图形数据输入区域是指，用户选择图形展示类型后，图形数据输入区域将会自动填充当前类型的图形展示效果的DEMO数据，用户录入自己的数据，需要按照DEMO数据的格式进行查看和分析。

所述图形显示区域是指目前的编辑条件下展示图形效果。

(2)图形参数管理子模块是指图形编辑器中的所有参数信息均可以进行用户自定义设置，例如：图形编辑器的显示整体布局；图形编辑器中样式调整区域中显示哪些组件；图形类型编辑区域显示哪些类型；设置一些常用的基本类型；图形自定义区域中包含哪些按钮；图形显示区域的画布的大小长宽背景等等。

(3)图形预览子模块是指在图形编辑的过程当中，可以随时点击图形预览对编辑的图形进行查看。

(4)图形发布子模块是指在图形编辑完成并且成功通过预览后，点击图形发布，系统将会自动对当前编辑的图形进行保存，并且支持历史版本的维护。

(5)图形导出子模块是指图形发布完成之后，系统将会自动对当前编辑的图形进行保存，同时用户可以对当前生成的图形进行导出，导出格式包括：

网页版本：自动生成网页版的图形展示静态页面；

静态JPG图形：设计好的图形可以保存成为静态图片；

PDF格式：可以将设计好的图形导出到PDF中。

2、开发模块：开发模块由注册子模块、图形接口开发子模块、图形接口扩展子模块、图形代码生成子模块构成。

(1)注册子模块：为了便于系统管理，提高系统的服务质量，平台开发者在进行图形定制开发的时候，需要注册为开发者，注册流程很简单，需要输入相关信息，包括开发者语言、开发者项目名称以及开发者权限等信息，平台管理员审核后即可发放开发Token和License。开发者注册成功，得到开发者Token和License后，就可以进行图形定制调用了，平台开发接口中在初始化BCSSInitToolCenter的核心类对象的时候，需要输入开发者Token和License信息。BCSS系统中的所有开发接口都衍生自BCSSInitToolCenter类。

(2)图形接口开发子模块：当前系统提供JAVA/C#/PHP+JS的接口，兼容目前主流的开发语言，能够非常方便的与目前各种语言的开发框架做兼容和接入，开发者操作图形接口犹如操作类库一样，只需要了解开发语言的基本语法就可以熟练的操作图形定制。图形接口以BCSSInifToolCenter为核心类，在当前类的基础上衍生出图形类型类族(BCSSBaseTypeImpl)、图形样式编辑类族(BCSSBasePropertyImpl)、图形数据源类族(BCSSBaseDataSourceImpl)以及图形自定义类族(BCSSBaseCustomImpl)。每一个类族中，又衍生出具体的操作类，平台还支持用户自己定义每个类组的接口，实现定制个性化的实现结果，图3-5为平台接口中的主要实现类。

(3)图形接口扩展子模块：当前平台支持开发者在现有接口基础上进行个性化接口定制，开发者只需要实现BCSSBaseCustomImpl类族中的相关方法即可，开发者定制仅仅是定制目前平台支持的扩充功能，主要包括：

数据源格式定制：开发者可以根据自己的数据格式扩展BCSSBaseCustomImpl下面的BCSSBigDataCustomImpl接口，定制自己的数据格式接口，例如可以定制一个BCSSBaseDataExcelImpl类实现接口中的相关方法，这样在为图形提供数据的时候即可调用自己的类提供的数据信息，图形可以读取到数据并且进行显示。

图形关联算法定制：目前系统中大数据复杂图形展示效果是依赖于点点对应关联关系挖掘算法进行显示的，点点对应关联关系挖掘算法的作用就是通过数据源中的数据，对图形中的实体信息间的关系进行计算，从而将点和点进行连接，开发者可以定制自己的点点关联算法，通过自己数据的格式和特点来确定点点之间的关联度，从而开发出满足自己条件的展示效果。

(4)图形代码生成子模块：平台支持图形在Web页面、CS客户端、移动终端、APP等媒介上进行显示，开发者用户可以通过图形编辑器编辑图形，图形编辑完成后，可以在平台上直接生成相关的开发代码，具体操作步骤如下：

图形编辑器编辑图形；

设置图形的类型、属性、数据源信息，对图形的展示效果进行调整；

点击查看开发代码，即可生成代码，目前平台支持生成的代码类型包括JAVA、PHP、C#、JS、Android、IOS几种格式。

3、组织结构模块：组织结构模块主要是对平台的用户角色权限进行管理和维护，由用户管理子模块、角色管理子模块、分配角色子模块、权限分配子模块构成。

(1)用户管理子模块：用户管理子模块是对平台的用户进行管理维护，包括如下功能：

添加用户：添加某一个平台用户；

修改用户：对用户的基本信息进行修改；

注销用户：删除某一个平台用户。

(2)角色管理子模块：角色管理子模块是对平台的角色进行管理维护，包括如下功能：

添加角色：添加某一个平台角色；

修改角色：对角色的基本信息进行修改；

删除角色：删除某一个平台角色。

(3)分配角色子模块：分配角色子模块是对平台的用户进行角色分配，平台支持同一个用户属于不同的角色。

(4)权限分配子模块：权限分配是对平台的角色进行授权，为角色授权后，平台用户将自动继承角色的权限信息。

4、系统管理模块：系统管理模块中包含了与平台正常运行紧密关联的系统运维、运行监控、设置调优、任务控制等核心操作，由日志管理子模块、图形插件管理子模块、任务管理子模块、接口管理子模块、系统管理子模块、开发者管理子模块构成。

(1)日志管理子模块：日志管理子模块包括：

平台用户操作日志：对平台用户在登录平台后的主要操作进行记录监控；

平台运行记录：对整个平台的运行情况进行监控，一旦出现异常自动报警；

开发者调用记录：平台中的开发者利用平台进行开发过程中的相关操作记录。

(2)图形插件管理子模块：由于平台中进行图形展示需要用到目前所有主流的图形展示技术，例如：Flash、Flex、Siverlight、Jquery、HTML5等等，为了便于开发者方便的进行调用和部署，系统提供图形插件下载的相关功能，提供最新版本的插件的安装下载说明。

(3)任务管理子模块：任务管理子模块是平台提供的定时触发调用相关任务的插件，包括：

系统任务：平台中的任务，不能进行删除和修改，主要包括一些与平台运行息息相关的任务调用，例如缓存清理任务、数据优化任务、图形插件优化任务等。

定制任务：开发者自己开发的相关任务，开发者只需要实现平台中的相关接口，并且在任务中进行相关配置即可按照相关规则进行调用。

(4)接口管理子模块：接口管理子模块是平台提供相关接口下载文件、接口使用说明的维护入口，管理员可以通过接口管理上传最新的接口文件以及说明文档，开发者可以在平台上对最新的接口文件和文档进行下载。

(5)系统管理子模块：系统配置是平台参数配置的入口，系统运行的相关参数都可以在系统配置中进行修改和维护，系统配置修改后，会于第二天生效。

(6)开发者管理子模块：开发者管理是对平台上注册的所有开发者信息进行维护、修改、注销、删除的入口，平台管理员可以对开发者进行相关的管理和维护。

本发明所构建的系统应用环境如下：

1、硬件环境：

服务器端：内存：32G以上；硬盘：100T以上服务器或专用内存服务器；

客户端：普通PC，内存4G以上。

2、软件环境

服务器端：

Windows2003、XP或Linux；数据库采用MySQL、SQLServer、Oracle；应用服务器采用TOMCAT5以上或WebSphere、WebLogic；JDK1.6及以上；

客户端：Windows系统操作系统；IE8.0以上版本或其他支持HTML5的浏览器。

本发明采用上述技术方案，具有以下有益效果：

1、柔性化：采用“构件化”的柔性系统架构，提高了系统的伸缩性；充分满足各种功能需求、以及未来系统的扩展；

2、灵活化：灵活完备的自定义开发接口，充分满足其他系统中各种定制开发功能；

3、简单化：操作界面简单易用，用户可对系统进行任意裁减和配置，无需专业技术人员的编程；

4、智能化：多种图形展示风格供用户随意挑选和使用，同时可以根据数据特点智能的进行筛选展示；

5、可视化：柱状图、饼状图、线形图、气泡图、股票图、追星图、仪表图、星云图、分裂图、人立方、关联关系图、路径图等类型的可视化展示效果随时随地调用查看；

6、高性能：对海量数据进行可视化展示能够达到百万以上数据集，能够迅速加载海量数据，并对其进行运算分析展示一体化执行，能够迅速响应用户要求，提高用户体验。

附图说明

图1为基于大数据图形化展示定制系统体系架构图

图2为基于大数据图形化展示定制系统模块分布图

图3为基本BaseType类族图谱

图4为基本BaseProperty类族图谱

图5为基本BaseBigDataSource类族图谱

图6为柱状图

图7为线形图

图8为饼状图

图9为热地图

图10为气泡图

图11为股票图

图12为仪表图

图13为星云图

图14为分裂图

图15为关联关系图1

图16为路径图

图17为关联关系推荐图

图18为胰岛图

图19为关联关系图2

图20为关联关系图绘制步骤

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

实施例1

如图6-8所示，简单图形展示以2D图形展示效果为主，主要包括目前互联网上流行的各种展示效果，包括最简单的柱状图、饼状图、线形图、区域图等。

如图9-12所示，复杂图形展示以复杂2D图形和3D展示效果为主，主要包括：热地图、气泡图、股票图、追星图、仪表图、云图等。

大数据图形展示是在大数据集的基础上，对数据进行分析挖掘后得到结果，将结果以图形的形式进行展示。大数据的分析结果中往往也包含了大量的结果数据，要想将这些结果数据以图形的形式进行展示，对数据的处理速度、读取速度、图形的绘制效率都有较高的要求，目前较为流行的大数据图形展示效果包括：星云图、分裂图、胰岛图、人立方、关联关系图、路径图等，如图13-19所示。

实施例2：

实施步骤：通过分析社交网站数据(新浪微博)，得到社交数据中的微博主之间的关联关系，利用图形化展示定制系统绘制关联关系图形，绘制步骤如图20所示。

步骤一：通过调用关联关系分析抽取算法，将所有关联关系分析结果存储到关系型数据库中，数据库存储格式如下：

实体一	实体二	实体关系
			袁裕来律师	专栏女作家	合作者
凡人肖申克	卫庄	绯闻
			自由良知	雪天放晴	夫妻
张三	李四	朋友
			王五	赵六	同事
…	…	…

步骤二：开发者注册，注册成为大数据图形化展示定制系统的开发者，获取系统的license和开发者code，为了便于系统对开发者进行管理，系统要求开发者必须在系统中进行注册，系统根据开发者的code和license对开发者的权限和行为进行约束和监控。

步骤三：数据格式转换，开发者定制开发相关程序，将关系型数据库中的数据读取出来，转换成为图形展示定制系统要求的格式，图形展示定制系统支持的格式包括JSON、XML两种，以XML为例，开发者转换后的结果如下所示：

步骤四：调用关联关系展示接口，图形展示定制系统中包含了各种图形展示样式，例如：关联关系图、散点图、聚散点图等等，开发者需要获取关联关系展示接口关联关系图，调用如下方法即可：

步骤五：设置图形属性：获取关联关系图形展示实例后，开发者需要修改设置图形的属性，例如图形的宽度、高度、画布大小、图形中的线段的长度等等，如下所示：

步骤六：设置事件：为图形中的所有元素添加事件，例如为所有实体节点添加鼠标单击事件，一旦鼠标点击节点弹出当前实体上的文字信息：

步骤七：加载数据：将步骤三：数据格式转换后的数据提供给关联关系图形，设置数据加载模式为全部加载、部分加载、缓冲加载，图形将会按照数据加载模式对数据进行加载，并且显示到图形上：

步骤八：图形显示：开发者可以将图形存储到本地文件系统中，或者将图形展示到任意位置，系统会给用户返回一个图形对象，图形对象可以被添加到任意的画布上：

通过上面的实现过程，最终的显示效果如图15所示，开发者可以通过调用系统接口，继续在现有图形的基础上继续进行完善，例如动态设置图形上面的节点颜色、线段颜色实现图形的动态变换；动态加载不同的数据，重新绘制图形实现图形变换的效果等等。

Claims (3)

1.一种基于大数据图形化展示定制系统的应用方法，其特征在于：所述系统包括以下四个模块：图形处理模块、开发模块、组织结构模块、管理系统模块；图形处理模块由图形编辑器、图形参数管理子模块、图形预览子模块、图形发布子模块和图形导出子模块构成；开发模块由注册子模块、图形接口开发子模块、图形接口扩展子模块、图形代码生成子模块构成；组织结构模块是对平台的用户角色权限进行管理和维护，由用户管理子模块、角色管理子模块、分配角色子模块、权限分配子模块构成；系统管理模块包含与平台正常运行紧密关联的系统运维、运行监控、设置调优、任务控制的核心操作，由日志管理子模块、图形插件管理子模块、任务管理子模块、接口管理子模块、系统管理子模块、开发者管理子模块构成；所述图形编辑器包括图形类型编辑区域、图形样式调整区域、图形自定义区域、图形数据输入区域以及图形显示区域；所述图形类型编辑区域分成三个部分：简单图形展示子区域、复杂图形展示子区域、海量数据图形展示子区域；

所述应用方法包括：通过分析社交网站数据，得到社交数据中的微博主之间的关联关系，利用图形化展示定制系统绘制关联关系图形，绘制步骤如下：

步骤一：通过调用关联关系分析抽取算法，将所有关联关系分析结果存储到关系型数据库中；

步骤二：开发者注册，注册成为大数据图形化展示定制系统的开发者，获取系统的license和开发者code，为了便于系统对开发者进行管理，系统要求开发者必须在系统中进行注册，系统根据开发者的code和license对开发者的权限和行为进行约束和监控；

步骤三：数据格式转换，开发者定制开发相关程序，将关系型数据库中的数据读取出来，转换成为图形展示定制系统要求的格式，图形展示定制系统支持的格式包括JSON、XML两种；

步骤四：调用关联关系展示接口，图形展示定制系统中包含了各种图形展示样式，开发者需要获取关联关系展示接口关联关系图；

步骤五：设置图形属性：获取关联关系图形展示实例后，开发者需要修改设置图形的属性；

步骤六：设置事件：为图形中的所有元素添加事件；

步骤七：加载数据：将步骤三中数据格式转换后的数据提供给关联关系图形，设置数据加载模式为全部加载、部分加载、缓冲加载，图形将会按照数据加载模式对数据进行加载，并且显示到图形上；

步骤八：图形显示：开发者可以将图形存储到本地文件系统中，或者将图形展示到任意位置，系统会给用户返回一个图形对象，图形对象可以被添加到任意的画布上。

2.如权利要求1所述的应用方法，其特征在于，简单图形包括：柱状图、线形图、饼状图、区域图、网络图；复杂图形包括：气泡图、股票图、追星图、仪表图；海量数据图形包括：星云图、分裂图、人立方、关联关系图、路径图。

3.如权利要求1所述的应用方法，其特征在于，基于大数据图形化展示定制系统的应用环境如下：

硬件环境：

服务器端：内存32G以上；

硬盘：100T以上服务器或专用内存服务器；

客户端：普通PC，内存4G以上；

软件环境：

服务器端：Windows2003、XP或Linux；

数据库采用MySQL、SQLServer或Oracle；

应用服务器采用TOMCAT5以上或WebSphere、WebLogic；JDK1.6及以上；

客户端：Windows系统操作系统，IE8.0以上版本或其他支持HTML5的浏览器。