CN110413681A - 一款Web端基于大数据技术的可视化数据处理方法 - Google Patents

一款Web端基于大数据技术的可视化数据处理方法 Download PDF

Info

Publication number
CN110413681A
CN110413681A CN201910704850.2A CN201910704850A CN110413681A CN 110413681 A CN110413681 A CN 110413681A CN 201910704850 A CN201910704850 A CN 201910704850A CN 110413681 A CN110413681 A CN 110413681A
Authority
CN
China
Prior art keywords
data
warning
pulling force
preparation
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910704850.2A
Other languages
English (en)
Inventor
张伟
刘宇
洪佳琪
段萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shengtai Information Technology Co Ltd
Original Assignee
Shanghai Shengtai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shengtai Information Technology Co Ltd filed Critical Shanghai Shengtai Information Technology Co Ltd
Priority to CN201910704850.2A priority Critical patent/CN110413681A/zh
Publication of CN110413681A publication Critical patent/CN110413681A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一款Web端基于大数据技术的可视化数据处理方法,包括以下步骤:S1:数据搜索:利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎;S2:数据可视化,利用echarts实现的千万级数据可视化渲染能力;S3:数据挖掘及数据存储:数据由第三方接口并发实时接入;S4:高并发处理及nosql数据库:nosql数据库redis,以内存存储的数据结构服务器;S5:自动预警,通过第三平台提供短信预警,javamail实现邮件预警;S6:Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。本发明主要针对一款Web端基于大数据技术的可视化数据处理方法,本发明能够全网抓取资讯数据,实现自动预警与数据可视化,可对数据进行较好的分析与统计,提供工作效率。

Description

一款Web端基于大数据技术的可视化数据处理方法
技术领域
本发明涉及数据处理技术领域,具体为一款Web端基于大数据技术的可视化数据处理方法。
背景技术
舆情是指在一定的社会空间内,围绕中介性社会事件的发生、发展和变化,作为主体的民众对作为客体的社会管理者、企业、个人及其他各类组织及其政治、社会、道德等方面的取向产生和持有的社会态度,社会舆情映射到互联网环境中产生了网络舆情,随着因特网在全球范围内的蓬勃发展与应用,互联网环境中的的信息数据也呈几何级数的速度迅速膨胀,而在当今这个大数据时代,不仅给网络舆情的相关工作带来了挑战,同时也带来了机遇,大数据成为了舆情研究的利器,与此同时,数据之间存在着封闭性与关系断裂性会使得我们在整理数据时不好进行统计,也无法对敏感新闻预警进行实时预警,传统的数据跟踪搜集分析手段已经对此力不从心,这就对数据分析的技术手段提出了更高的要求。
发明内容
本发明的目的在于提供一款Web端基于大数据技术的可视化数据处理方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一款Web端基于大数据技术的可视化数据处理方法,包括以下步骤:
S1:数据搜索:利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎;
S2:数据可视化,利用echarts实现的千万级数据可视化渲染能力,支持常规的折线图、柱状图、散点图、饼图、K线图,并且支持图与图之间的混搭;jfreechart使用JAVA语言来实现可视化;
S3:数据挖掘及数据存储:数据由第三方接口并发实时接入,利用关系型数据库mysql来存储数据,并利用分区,读写分离等技术对应大数据量处理需求;
S4:高并发处理及nosql数据库:nosql数据库redis,以内存存储的数据结构服务器,来做关系数据库的补充,高速缓存数据,为数据查询统计并数据可视化提供性能保障;
S5:自动预警:通过词库中关键词,及一系列规则匹配符合的新闻资讯,通过第三平台提供短信预警,javamail实现邮件预警;
S6:Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。
优选的,在S1中,数据搜索可实现资讯数据的检索,添加,更新和删除,以及文本分析,标记和过滤,各类复杂的搜索查询和聚类查询分析功能。
优选的,在S2中,数据可视化支持图例、视觉映射、数据区域缩放、tooltip、数据刷选等交互式数据技术,可以自由选择数据,挖掘数据,对多个图表数据联动查看,进行多维有效分析,可以在折线图柱状图等上面直接交互点击跳转到对应数据列表或者跳转另外的统计图表。
优选的,在S3中,通过图表之间的关联可实现数据筛选及数据清洗,并向搜索引擎中做数据索引。
优选的,在S4中,高并发处理及nosql数据库支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型,内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区。
优选的,在S5中,短信预警为封装短信内容发送post请求,通过第三方短信通道,发送短信预警。
优选的,在S5中,邮件预警为javamail java语言处理email的API。
优选的,在S6中,Nginx及文件服务器将对应文件及图片上传至服务器,并可以通过http访问及下载,并通过gzip压缩图片或者css。
与现有技术相比,本发明的有益效果是:通过词库预警词实现自动预警,将预警新闻通过短信,邮件方式发送目标公司负责人,全网抓取资讯数据,实现自动预警与数据可视化,可对数据进行较好的分析与统计,提供工作效率,根据设定关键词进行专项事件分类,elasticsearch做搜索引擎,提供基于关键词,文本分析的数据统计,mysql关系型数据库的数据筛选统计,通过redis进行缓存提高性能,并通过echarts,jfreechart实现数据可视化,通过后台管理系统提供人工的敏感新闻预警,舆情报告撰写,能够实时跟进,可对数据进行较好的分析与统计,提供工作效率。
附图说明
图1为本发明的整体流程框图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一款Web端基于大数据技术的可视化数据处理方法,包括以下步骤:
S1:数据搜索:利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎,能够实现资讯数据的检索,添加,更新和删除,以及文本分析,标记和过滤,各类复杂的搜索查询和聚类查询分析功能;
S2:数据可视化,利用echarts实现的千万级数据可视化渲染能力,支持常规的折线图、柱状图、散点图、饼图、K线图,并且支持图与图之间的混搭,支持图例、视觉映射、数据区域缩放、tooltip、数据刷选等交互式数据技术,可以自由选择数据,挖掘数据,对多个图表数据联动查看,进行多维有效分析,基于软硬件环境、数据量、功能等需求,自由选择Canvas和SVG两种渲染器,并能够以png或jpg格式保存结果图像,jfreechart使用JAVA语言来实现可视化,它有较强的交互能力,可以在折线图柱状图等上面直接交互点击跳转到对应数据列表或者跳转另外的统计图表;
S3:数据挖掘及数据存储:数据由第三方接口并发实时接入,利用关系型数据库mysql来存储数据,并利用分区,读写分离等技术对应大数据量处理需求,通过表表之间的关联等实现数据筛选及数据清洗,并向搜索引擎中做数据索引;
S4:高并发处理及nosql数据库:nosql数据库redis,以内存存储的数据结构服务器,来做关系数据库的补充,高速缓存数据,为数据查询统计并数据可视化提供性能保障,它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型,内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区;自动预警:通过词库中关键词,及一系列规则匹配符合的新闻资讯,通过第三平台提供短信预警,javamail实现邮件预警,短信预警:封装短信内容发送post请求,通过第三方短信通道,发送短信预警;邮件预警:javamail java语言处理email的API,它可以方便地执行一些常用的邮件传输,JavaMail包中用于处理电子邮件的核心类是:Session,Message,Address,Authenticator,Transport,Store,Folder等;
S6:Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器,其特点是占有内存少,并发能力强,同时可以配置为文件服务器,将对应文件及图片上传至服务器,并可以通过http访问及下载,并通过gzip压缩图片或者css,js文件来提高网页访问速度。
elasticsearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎;lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎;echarts提供了常规的图,盒形图,用于地理数据可视化的图,用于关系数据可视化的图,多维数据可视化的平行坐标,并且支持图与图之间的混搭;hyperloglogs是一种非常巧妙的近似统计海量去重元素数量的算法;Redis Sentinel(哨兵模式)是Redis官方推荐的高可用性解决方案;Nginx是一个高性能的HTTP和反向代理服务;js为JavaScript一种直译式脚本语言,是一种动态类型、弱类型、基于原型的语言,内置支持类型。
本发明主要针对一款Web端基于大数据技术的可视化数据处理方法,通过词库预警词实现自动预警,将预警新闻通过短信,邮件方式发送目标公司负责人,全网抓取资讯数据,根据设定关键词进行专项事件分类,elasticsearch做搜索引擎,提供基于关键词,文本分析的数据统计,mysql关系型数据库的数据筛选统计,通过redis进行缓存提高性能,并通过echarts,jfreechart实现数据可视化,通过后台管理系统提供人工的敏感新闻预警,舆情报告撰写,能够实时跟进,可对数据进行较好的分析与统计,提供工作效率。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一款Web端基于大数据技术的可视化数据处理方法,其特征在于,包括以下步骤:
S1:数据搜索:利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎;
S2:数据可视化,利用echarts实现的千万级数据可视化渲染能力,支持常规的折线图、柱状图、散点图、饼图、K线图,并且支持图与图之间的混搭;jfreechart使用JAVA语言来实现可视化;
S3:数据挖掘及数据存储:数据由第三方接口并发实时接入,利用关系型数据库mysql来存储数据,并利用分区,读写分离等技术对应大数据量处理需求;
S4:高并发处理及nosql数据库:nosql数据库redis,以内存存储的数据结构服务器,来做关系数据库的补充,高速缓存数据,为数据查询统计并数据可视化提供性能保障;
S5:自动预警:通过词库中关键词,及一系列规则匹配符合的新闻资讯,通过第三平台提供短信预警,javamail实现邮件预警;
S6:Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。
2.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S1中,数据搜索可实现资讯数据的检索,添加,更新和删除,以及文本分析,标记和过滤,各类复杂的搜索查询和聚类查询分析功能。
3.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S2中,数据可视化支持图例、视觉映射、数据区域缩放、tooltip、数据刷选等交互式数据技术,可以自由选择数据,挖掘数据,对多个图表数据联动查看,进行多维有效分析,可以在折线图柱状图等上面直接交互点击跳转到对应数据列表或者跳转另外的统计图表。
4.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S3中,通过图表之间的关联可实现数据筛选及数据清洗,并向搜索引擎中做数据索引。
5.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S4中,高并发处理及nosql数据库支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型,内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区。
6.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S5中,短信预警为封装短信内容发送post请求,通过第三方短信通道,发送短信预警。
7.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S5中,邮件预警为javamail java语言处理email的API。
8.根据权利要求1的透明拉力胶的制备方法,其特征在于:在S6中,Nginx及文件服务器将对应文件及图片上传至服务器,并可以通过http访问及下载,并通过gzip压缩图片或者css。
CN201910704850.2A 2019-08-01 2019-08-01 一款Web端基于大数据技术的可视化数据处理方法 Pending CN110413681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704850.2A CN110413681A (zh) 2019-08-01 2019-08-01 一款Web端基于大数据技术的可视化数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704850.2A CN110413681A (zh) 2019-08-01 2019-08-01 一款Web端基于大数据技术的可视化数据处理方法

Publications (1)

Publication Number Publication Date
CN110413681A true CN110413681A (zh) 2019-11-05

Family

ID=68365043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704850.2A Pending CN110413681A (zh) 2019-08-01 2019-08-01 一款Web端基于大数据技术的可视化数据处理方法

Country Status (1)

Country Link
CN (1) CN110413681A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553129A (zh) * 2020-04-21 2020-08-18 广东电网有限责任公司 一种基于canvas的svg与echarts图形融合方法
CN111880892A (zh) * 2020-06-15 2020-11-03 中冶南方都市环保工程技术股份有限公司 一种基于svg技术的实时监测工业数据的方法
CN112306835A (zh) * 2020-11-02 2021-02-02 平安科技(深圳)有限公司 用户数据监控分析方法、装置、设备及介质
CN112822648A (zh) * 2021-01-05 2021-05-18 银盛支付服务股份有限公司 一种基于随机权重算法和策略模式的短信通道路由方法
CN113065051A (zh) * 2021-04-02 2021-07-02 西南石油大学 一种可视化农业大数据分析交互系统
CN114146388A (zh) * 2022-02-07 2022-03-08 北京新赛点体育投资股份有限公司 一种基于大数据的数据处理系统及方法
CN114650303A (zh) * 2022-03-29 2022-06-21 广东工业大学 分布式id生成方法、装置及系统
CN114780820A (zh) * 2022-04-28 2022-07-22 广州高专资讯科技有限公司 一种基于开源平台的目标匹配系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239760A1 (en) * 2006-04-09 2007-10-11 Daniel Simon System for providing an interactive intelligent internet based knowledgebase
CN104850549A (zh) * 2014-02-13 2015-08-19 夷希数码科技(上海)有限公司 一种网络舆情的监控方法
CN109101597A (zh) * 2018-07-31 2018-12-28 中电传媒股份有限公司 一种电力新闻数据采集系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239760A1 (en) * 2006-04-09 2007-10-11 Daniel Simon System for providing an interactive intelligent internet based knowledgebase
CN104850549A (zh) * 2014-02-13 2015-08-19 夷希数码科技(上海)有限公司 一种网络舆情的监控方法
CN109101597A (zh) * 2018-07-31 2018-12-28 中电传媒股份有限公司 一种电力新闻数据采集系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553129A (zh) * 2020-04-21 2020-08-18 广东电网有限责任公司 一种基于canvas的svg与echarts图形融合方法
CN111553129B (zh) * 2020-04-21 2023-02-24 广东电网有限责任公司 一种基于canvas的svg与echarts图形融合方法
CN111880892A (zh) * 2020-06-15 2020-11-03 中冶南方都市环保工程技术股份有限公司 一种基于svg技术的实时监测工业数据的方法
CN112306835A (zh) * 2020-11-02 2021-02-02 平安科技(深圳)有限公司 用户数据监控分析方法、装置、设备及介质
CN112306835B (zh) * 2020-11-02 2024-05-28 平安科技(深圳)有限公司 用户数据监控分析方法、装置、设备及介质
CN112822648A (zh) * 2021-01-05 2021-05-18 银盛支付服务股份有限公司 一种基于随机权重算法和策略模式的短信通道路由方法
CN113065051A (zh) * 2021-04-02 2021-07-02 西南石油大学 一种可视化农业大数据分析交互系统
CN114146388A (zh) * 2022-02-07 2022-03-08 北京新赛点体育投资股份有限公司 一种基于大数据的数据处理系统及方法
CN114650303A (zh) * 2022-03-29 2022-06-21 广东工业大学 分布式id生成方法、装置及系统
CN114780820A (zh) * 2022-04-28 2022-07-22 广州高专资讯科技有限公司 一种基于开源平台的目标匹配系统及方法
CN114780820B (zh) * 2022-04-28 2022-11-01 广州高专资讯科技有限公司 一种基于开源平台的目标匹配系统及方法

Similar Documents

Publication Publication Date Title
CN110413681A (zh) 一款Web端基于大数据技术的可视化数据处理方法
CN105408857B (zh) 数据仓库系统、生成关系数据库的多列索引的方法和系统
CN112214611B (zh) 一种企业知识图谱的构建系统和方法
CN104182389B (zh) 一种基于语义的大数据分析商业智能服务系统
CN102831248B (zh) 网络热点挖掘方法及装置
CN104216989B (zh) 一种基于HBase的输电线路综合数据存储方法
US20170193016A1 (en) Generation of a data model
CN107045531A (zh) 一种优化hdfs小文件存取的系统及方法
CN100462969C (zh) 利用互联网为公众提供和查询信息的方法
CN109446362A (zh) 基于外存的图数据库结构、图数据存储方法、装置
US20180144061A1 (en) Edge store designs for graph databases
CN107092639A (zh) 一种搜索引擎系统
CN105653732A (zh) 一种基于元数据自动建立表方法及系统
US11789940B2 (en) Natural language interface to databases
CN105373607B (zh) 一种电力业务系统sql访问日志压缩方法
CN102591855A (zh) 一种数据标识方法及系统
CN104021123A (zh) 用于数据迁移的方法和系统
CN105550375A (zh) 一种异构数据的整合方法及系统
CN112000889A (zh) 一种信息汇聚呈现系统
CN106844089A (zh) 一种用于恢复树形数据存储的方法与设备
CN113420009B (zh) 一种基于大数据的电磁数据分析装置、系统及方法
US20210026862A1 (en) Methods and systems for indexing and accessing documents over cloud network
CN107798062A (zh) 一种变电站历史数据统一存储方法和系统
CN109697200A (zh) 一种基于Solr的HBase二级索引方法及设备
CN108880980A (zh) 基于微信群信息的数据分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105