CN107608078A - 一种带有vr眼镜的ela大数据驾驶舱系统 - Google Patents
一种带有vr眼镜的ela大数据驾驶舱系统 Download PDFInfo
- Publication number
- CN107608078A CN107608078A CN201710884597.4A CN201710884597A CN107608078A CN 107608078 A CN107608078 A CN 107608078A CN 201710884597 A CN201710884597 A CN 201710884597A CN 107608078 A CN107608078 A CN 107608078A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- servers
- ela
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种带有VR眼镜的ELA大数据驾驶舱系统,包括数据中心模块、与数据中心模块连接的VR眼镜及用于控制VR眼镜的操控手柄、数据中心模块包括Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块。第一Logstash服务器用于抓取Web服务器产生的实时日志数据,第二Logstash服务器用于将Redis缓存模块中已经存储的实时数据传送至ElasticSearch服务器。本发明为用户行为分析、用户画像等类型业务大数据计算、数据呈现提供了一种有效解决方案,有效解决了传统数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题,本发明还结合VR技术,创造一个带有VR眼镜的ELA大数据驾驶舱系统。
Description
技术领域
本发明属于商务智能实时数据分析技术领域,涉及一种大数据驾驶舱技术的系统,尤其涉及一种带有VR眼镜的ELA大数据驾驶舱系统。
背景技术
当今社会是一个信息暴增,数据横飞的世界,随着近些年来大数据热潮的到来,数据的整理、归纳与分析成了人们关注的热点。数据分析是一个专门的学科,它是信息、数据挖掘、数据管理、信息论、认知学、人机交互、图形学、图像处理等多种学科相互交融衍生出的一种分析方法。它的主要优势在于,它既能够充分利用计算机的高计算、高记忆、高存储性能对多维复杂数据集进行存储、计算和处理,将数据转换、映射成图形、图像进行分析,并能从原始数据、挖掘模型、分析结果等多个层面进行可视化展示,开展动态的渐进式人机交互分析,使用户能够依靠肉眼进行数据选择,在数据中发现潜藏的信息并及时做出相对应的行为调整。
当人们认识到数据分析的重要性后,市面上也就随应而出了很多数据分析系统。目前这些系统的数据分析、决策报表生成一般都是采用是BI(Business Intelligence)和BO(Business Object)这两项技术;BI也就是人们常说的商务智能,顾名思义,它是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值,商务智能主要包括数据挖掘,ETL等技术;BO其实就是商务智能系统下的配套功能,为商务智能系统的报表、查询和分析、绩效管理以及数据集成提供了基础技术构架。其主要是数据呈现技术,包括水晶报表、webReport等。
但是,BI技术主要还是针对传统数据库,如oracle,mysql等,数据量有限,不能满足互联网超大量数据访问的存储和分析计算,因此,在承接第一手用户数据时不能用数据仓库;
而BO技术虽然可以做很漂亮的报表,但开放性不够,使用不够灵活,不能随时随地依据市场数据编辑分析、决策信息,决策滞后。
因此,现有的数据分析系统基本都存在着数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题。这大大影响了用户的试用体验,也使用户的可分析的内容出现了局限性。以上几个问题一直是商务智能实时数据分析技术领域急需解决的技术难题。
发明内容
为了解决背景技术中所存在的技术问题,本发明提出了一种带有VR眼镜的ELA大数据驾驶舱系统,有效的解决了数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题,使用户能够方便快捷的获取数据,并且用户通过本系统生成的报表不依赖后台服务逻辑,可灵活呈现。
本发明的技术解决方案是:一种带有VR眼镜的ELA大数据驾驶舱系统,其特殊之处在于:包括数据中心模块、与数据中心模块连接的VR眼镜及用于控制VR眼镜的操控手柄;
所述数据中心模块中数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块;
上述Web服务器用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据;
上述第一Logstash服务器用于抓取Web服务器提供的实时数据;
上述Redis缓存模块用于将Logstash服务器抓取的实时数据进行暂存;
上述第二Logstash服务器用于将Redis缓存模块中已经暂存的实时数据传送至ElasticSearch服务器;
上述ElasticSearch服务器用于提供搜索功能并将实时数据存储到数据库存储模块;
上述数据库存储模块用于向数据分析与处理模块提供基础分析数据;
上述数据分析与处理模块用于将处理后的基础分析数据传送至数据显示模块;
上述数据显示模块用于向用户显示由高阶决策数据组成图形或图表。
上述ElasticSearch服务器的对外接口为REST式接口。
上述数据分析与处理模块包括依次设置的数据清洗模块、数据转化模块和数据装载模块;上述基础分析数据经过数据清洗模块、数据转化模块和数据装载模块依次处理后形成高阶决策数据。
上述数据分析与处理模块还包括设置在数据装载模块后端的highCharts图表库模块。
上述highCharts图表库模块是基于AngularJS框架下搭建的图表库。
上述数据分析与处理模块通过highCharts图表库模块将处理后得到的高阶决策数据转换2D或3D图形。
上述数据库存储模块是基于mysql数据管理系统下的存储模块。
上述数据显示模块包括若干用于显示图形或文字的自定义显示模块。
上述用于形成每个自定义显示模块所显示的图形或文字的实时数据不同。
VR眼镜通过wifi或蓝牙分别与数据显示模块和操控手柄连接。
1.本发明的优点是:鉴于关系型数据仓库存储容量有限和读取效率低,本发明采用logstash+redis+elasticSearch,通过logstash获取web服务日志,主要使用了logstash读取log日志效率高的特点,log数据暂存到redis缓存数据库,主要是使用redis来将数据传递过程解耦,形成流式计算,最后数据存放到elasticSearch,elasticSearch是key-value结构的内存数据库,存储容量大,使用lucene作为搜素引擎,数据查询效率高,同时它还提供了很简单友好的REST接口,可以方便快捷的获取数据。
2.对于BO实现过程僵化,本发明采用AngularJS+highCharts技术,让静态报表变成依据市场变化可实时调整决策策略的智慧驾驶舱,具体来说,AngularJS可提供决策或运营人员在报表上编辑策略的功能,编辑完后所见即所得,highCharts是目前对3D支持比较好的图形空间,同时,使得报表不依赖后台服务逻辑,可灵活呈现。
3.本发明为用户行为分析、用户画像等类型业务大数据计算、数据呈现提供了一种有效解决方案,有效解决了传统数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题,本发明还结合VR技术,创造一个带有VR眼镜的ELA大数据驾驶舱系统。
附图说明
图1为本发明结构示意图;
图2为本发明数据中心模块结构框架图;
图3为本发明系统操作流程图;
图4为本发明数据分析与处理模块结构示意图;
其中,1-Web服务器、2-第一Logstash服务器、3-Redis缓存服务、4-第二Logstash服务器、5-ElasticSearch服务器、6-数据库存储模块、7-数据分析与处理模块、8-数据显示模块、9-VR眼镜、10-数据中心模块、11-操控手柄。
具体实施方式
下面我们结合说明书附图介绍本发明的一个较佳实施例,举例证明本发明可以实施,可以向本领域中的技术人员完整介绍本发明,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,其保护范围并非仅限于文中提到的实施例,本文的附图和说明本质上是举例说明而不是限制本发明。
如图1-3所示,一种带有VR眼镜的ELA大数据驾驶舱系统,包括数据中心模块10、与数据中心模块10连接的VR眼镜9及用于控制VR眼镜9的操控手柄11;
数据中心模块10中数据流流通路径上依次设置有Web服务器1、第一Logstash服务器2、Redis缓存模块3、第二Logstash服务器4、ElasticSearch服务器5、数据库存储模块6、数据分析与处理模块7及数据显示模块8;
Web服务器1用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据;
第一Logstash服务器2用于抓取Web服务器1提供的实时数据;
Redis缓存模块3用于将Logstash服务器2抓取的实时数据进行暂存;
第二Logstash服务器4用于将Redis缓存模块3中已经暂存的实时数据传送至ElasticSearch服务器5;
ElasticSearch服务器5用于提供搜索功能并将实时数据存储到数据库存储模块6;
数据库存储模块6用于向数据分析与处理模块7提供基础分析数据;
数据分析与处理模块7用于将处理后的基础分析数据传送至数据显示模块8;
数据显示模块8用于向用户显示由高阶决策数据组成图形或图表。
ElasticSearch服务器5的对外接口为REST式接口。
数据分析与处理模块7包括依次设置的数据清洗模块、数据转化模块和数据装载模块;所述基础分析数据经过数据清洗模块、数据转化模块和数据装载模块依次处理后形成高阶决策数据。
数据分析与处理模块7还包括设置在数据装载模块后端的highCharts图表库模块。
highCharts图表库模块是基于AngularJS框架下搭建的图表库。
数据分析与处理模块7通过highCharts图表库模块将处理后得到的高阶决策数据转换2D或3D图形。
数据库存储模块6是基于mysql数据管理系统下的存储模块。
数据显示模块8包括若干用于显示图形或文字的自定义显示模块。
用于形成每个自定义显示模块所显示的图形或文字的实时数据不同。
VR眼镜9通过wifi或蓝牙分别与数据显示模块8和操控手柄连接11。
实施例一
一种带有VR眼镜的ELA大数据驾驶舱系统的物业管理系统,管理系统分别管理物业内的各种电气自动化系统以及物业管理区内使用人员的使用峰值和使用习惯。
当管理人员登录基于ELA大数据驾驶舱技术的系统的物业管理系统时,系统首先去取Log日志,通过日志分析用户行为,通过实时行为数据分析,展示统计结果来指导业务,通过这样的数据分析可以使物业公司得到相应的管理数据,如:周内与周末的停车场使用率、空置率,还可以通过物业管理范围内用户白天和黑夜的用电量判断分析管理范围的人口密集度,这样可以合理的规划配套设置的开启与关闭等等;由于物业管理人员所使用的是一种基于ELA大数据驾驶舱技术的系统,因此,在进行用户行为分析的收视不需要从各个业务系统中植入Log的代码,本系统可以直接通过Web服务器调取log实时数据,因此不会发生各个系统之间的相互侵入,这样不仅提高了效率也保证了各个系统的安全性。
实施例二
一种带有VR眼镜的ELA大数据驾驶舱系统的公园管理系统,管理系统中分别管理公园的设备信息、环境信息、门票收入信息、公园内游客数量信息等。
当工作人员登录基于ELA大数据驾驶舱技术的系统的公园管理系统时,先佩戴好VR眼镜,VR眼镜系统中装载有本发明所提供的系统APP,然后用操作手柄控制自己想要选取的内容,这时数据中心模块中的Web服务器将实时数据发送给logstash,采集到web服务日志后暂存到redis缓存数据库,数据暂存在redis中主要是为了解耦,保证数据的完整性;对于redis中的日志数据再通过另外一个logstash服务取出放到elasticSearch服务中存储,elasticSearch也是一个大数据存储数据库,同时提供数据搜索引擎和简单易用的REST对外接口。通过elasticSearch提供的REST服务,将elasticSearch中的数据分拣后存储到关系型数据库mysql中,这些数据作为BI分析基础;通过ETL数据清洗、转化和装载后形成高阶决策数据;通过AngularJS和highCharts技术将高阶决策数据和实时决策意见图文并茂的呈现出来,形成大数据驾驶舱。其中,AngularJS提供灵活的决策意见编辑功能,highCharts提供各种2D,3D图形。工作人员根据大数据驾驶舱所提供的信息可以针对游客量的增减来改变近期公园内的活动项目,也可以及时根据系统信息对公园内有游乐设备进行检修,大大降低了工作人员的实际工作量,提高了工作人员的工作效率。
下面我们针对前文描述中的专有名词进行进一步的解释:
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便。
ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
angularJS是一款优秀的前端JS框架。
Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,供俄国大型的入口网站及搜索引擎Rambler(俄文:Рамблер)使用。其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好。
Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩充,将Perl/Python等解释器编译到服务器中。
Highcharts是一个用纯JavaScript编写的一个图表库,能够很简单便捷的在web网站或是web应用程序添加有交互性的图表,并且免费提供给个人学习、个人网站和非商业用途使用。HighCharts支持的图表类型有曲线图、区域图、柱状图、饼状图、散状点图和综合图表。
Lucene是一套用于全文检索和搜寻的开源程式库,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (10)
1.一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:包括数据中心模块、与数据中心模块连接的VR眼镜及用于控制VR眼镜的操控手柄;
所述数据中心模块中数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块;
所述Web服务器用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据;
所述第一Logstash服务器用于抓取Web服务器提供的实时log数据;
所述Redis缓存模块用于将第一Logstash服务器抓取的实时log数据进行暂存;
所述第二Logstash服务器用于将Redis缓存模块中已经暂存的实时log数据传送至ElasticSearch服务器;
所述ElasticSearch服务器用于提供搜索功能并将实时log数据存储到数据库存储模块;
所述数据库存储模块用于向数据分析与处理模块提供基础分析数据;
所述数据分析与处理模块用于将处理后的基础分析数据传送至数据显示模块;
所述数据显示模块用于向用户显示由高阶决策数据组成的图形或图表。
2.根据权利要求1所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述ElasticSearch服务器的对外接口为REST式接口。
3.根据权利要求1或2所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述数据分析与处理模块包括依次设置的数据清洗模块、数据转化模块和数据装载模块;所述基础分析数据经过数据清洗模块、数据转化模块和数据装载模块依次处理后形成高阶决策数据。
4.根据权利要求3所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述数据分析与处理模块还包括设置在数据装载模块后端的highCharts图表库模块。
5.根据权利要求4所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述highCharts图表库模块是基于AngularJS框架下搭建的图表库。
6.根据权利要求5所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述数据分析与处理模块通过highCharts图表库模块将处理后得到的高阶决策数据转换2D或3D图形。
7.根据权利要求6所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述数据库存储模块是基于mysql数据管理系统下的存储模块。
8.根据权利要求7所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述数据显示模块包括若干用于显示图形或文字的自定义显示模块。
9.根据权利要求8所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述用于形成每个自定义显示模块所显示的图形或文字的实时log数据不同。
10.根据权利要求9所述的一种带有VR眼镜的ELA大数据驾驶舱系统,其特征在于:所述VR眼镜通过wifi或蓝牙分别与数据显示模块和操控手柄连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710884597.4A CN107608078A (zh) | 2017-09-26 | 2017-09-26 | 一种带有vr眼镜的ela大数据驾驶舱系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710884597.4A CN107608078A (zh) | 2017-09-26 | 2017-09-26 | 一种带有vr眼镜的ela大数据驾驶舱系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107608078A true CN107608078A (zh) | 2018-01-19 |
Family
ID=61057960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710884597.4A Pending CN107608078A (zh) | 2017-09-26 | 2017-09-26 | 一种带有vr眼镜的ela大数据驾驶舱系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107608078A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112131217A (zh) * | 2020-09-03 | 2020-12-25 | 河南网络广播电视台有限公司 | 一种大数据分析系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106130782A (zh) * | 2016-07-19 | 2016-11-16 | 努比亚技术有限公司 | 一种获取服务器日志的方法和系统 |
CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
CN107194797A (zh) * | 2017-04-14 | 2017-09-22 | 广东网金控股股份有限公司 | 一种基于虚拟现实技术的vr银行系统 |
-
2017
- 2017-09-26 CN CN201710884597.4A patent/CN107608078A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106130782A (zh) * | 2016-07-19 | 2016-11-16 | 努比亚技术有限公司 | 一种获取服务器日志的方法和系统 |
CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
CN107194797A (zh) * | 2017-04-14 | 2017-09-22 | 广东网金控股股份有限公司 | 一种基于虚拟现实技术的vr银行系统 |
Non-Patent Citations (6)
Title |
---|
GOPU, ARVIND; HAYASHI, SOICHI; YOUNG, MICHAEL D.; ETC.: "Trident: Scalable Compute Archives - Workflows, Visualization, and Analysis", 《PROCEEDINGS OF SPIE》 * |
YOUNG, MICHAEL D.; HAYASHI, SOICHI; GOPU, ARVIND; ETC.: "Operational Support for Instrument Stability through ODI-PPA Metadata Visualization and Analysis", 《ASTRONOMICAL SOCIETY OF THE PACIFIC CONFERENCE SERIES》 * |
伍扬彬: "对大型电网公司财务商业智能系统的研究和实践", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
刘逸琛,谢文勇,柳彩志: "基于智慧校园理论的智慧一卡通学生管理系统设计与开发", 《电脑知识与技术》 * |
张卫华: "基于大数据技术的高校图书馆电子资源访问日志分析", 《创新科技》 * |
陈挺,王小梅,吕伟民: "ng-info-chart: 基于自定义HTML标签的交互式可视化组件", 《现代图书情报技术》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112131217A (zh) * | 2020-09-03 | 2020-12-25 | 河南网络广播电视台有限公司 | 一种大数据分析系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | Big data with ten big characteristics | |
Jaeger et al. | Where is the cloud? Geography, economics, environment, and jurisdiction in cloud computing | |
Mussari et al. | Practices of social reporting in public sector and non-profit organizations: An Italian perspective | |
Schmalzbauer | Temporary and transnational: Gender and emotion in the lives of Mexican guest worker fathers | |
CN107528735A (zh) | 基于空间分析的大数据分析平台 | |
US20160232464A1 (en) | Statistically and ontologically correlated analytics for business intelligence | |
CN107679151A (zh) | 一种基于ela大数据驾驶舱系统的数据处理方法 | |
CN103390037A (zh) | 基于移动终端的万人协同标绘方法 | |
Smyth | The privatization of council housing: Stock transfer and the struggle for accountable housing | |
Sun | 10 Bigs: Big data and its ten big characteristics | |
Chen et al. | Metadata-based information resource integration for research management | |
CN118153964B (zh) | 基于大数据技术的供应商企业风险评估方法及系统 | |
Greenspan | QR codes and the sentient city | |
Ibtisum | A Comparative Study on Different Big Data Tools | |
Castro et al. | Data Innovation 101 | |
Gai et al. | [Retracted] Using Social Media Data to Explore Urban Land Value and Sentiment Inequality: A Case Study of Xiamen, China | |
CN107608078A (zh) | 一种带有vr眼镜的ela大数据驾驶舱系统 | |
Sun et al. | A strategic perspective on big data driven socioeconomic development | |
CN107748762A (zh) | 一种基于ela大数据驾驶舱技术的系统 | |
CN107748763A (zh) | 一种基于ela大数据驾驶舱的3d触摸系统及方法 | |
Bichler et al. | The scientist and the church | |
Stein et al. | Public land revisited: municipalization and privatization in Newark and New York City | |
Ni et al. | Rethinking big data in a networked world | |
Vafopoulos et al. | Insights in global public spending | |
CN103167023A (zh) | 基于云计算与地理位置服务的建筑专业学习移动平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |
|
RJ01 | Rejection of invention patent application after publication |