CN106202455A - 一种实现多行业数据切换查询的数据查询系统及方法 - Google Patents

Abstract

本发明涉及一种实现多行业数据切换查询的数据查询系统及方法，涉及数据查询统计领域。目的在于解决现有数据查询系统无法实现查询多个行业领域在国外各大网站上的数据。针对国内被监测对象的关键词在国外各大网站进行爬取，将采集来的原始数据存储在ElasticSearch数据库中并进行清洗，然后再将处理过的有效数据对接到MySQL数据库中，按照系统需要的字段存储到中间表中，最后再根据此系统的各个模块所需要的数据格式，将中间表中的数据进行统计分析，将最后结果存放在MySQL库中的最终表中，并通过多行业之间切换展示的方式对数据信息进行展示。本发明能够使用户随意浏览其注册行业下所有国外网站下的该行业的各项数据指标。

Description

一种实现多行业数据切换查询的数据查询系统及方法

技术领域

本发明涉及数据查询领域。

背景技术

随着网络技术的日益发展，人们往往通过网络就会知道自己所要想了解的行业领域的数据，从而为自己的出行、见识面甚至是生涯规划提供数据支持。但是目前现有大数据可视化平台种类单一，无法通过一套系统同时涉及多个行业的数据展示，更无法实现众多行业领域在国外各大网站上的数据，并且也无法通过一个平台系统对多个行业数据进行任意的切换，对于人们要求越来越多的数据查询领域而言是非常不便的。

发明内容

本发明所要解决的技术问题是提供一种实现多行业数据切换查询的数据查询系统及方法，目的在于解决目前数据查询展示领域中无法实现在一个系统平台上对多个行业数据进行任意切换的问题。

本发明解决上述技术问题的技术方案如下：一种实现多行业数据切换查询的数据查询系统，该系统包括：

数据处理模块，用于对国内被监测对象的关键词在国外各大网站进行提取和处理；

数据展示模块，用于将处理后的数据按照行业领域划分进行展示；

切换查询模块，用于用户在不同行业领域间进行切换查询。

本发明的有益效果是：本发明所述的数据查询系统对当前的数据查询展示系统相比进行了强有力的升级，使得本系统能够呈现国外的网站数据，同时可以通过一套系统就能够涉及无数的行业领域，而不是每个行业对应一套系统那样的复杂和冗余。另外，对于研发人员而言，只需要维护少量的代码修改量就可以新增行业领域或者删除行业领域，而不用新增或修改大量代码。同时，对于用户而言，可以不仅看到自身所属行业情况，也可以看到和自己相关行业的情况，对于选择良好的合作伙伴或者后续发展也是一种决策辅助。最后对于广大社会群体而言，可以通过本系统得到一些有用信息，比如去旅游，可以通过本系统铺设的旅游行业来作为旅游攻略的辅助，选择旅游目的地。数据的查询和展示非常直观，不同行业之间的切换也非常流畅，具有更加强大的功能，也更符合和适用于现代网络。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述数据处理模块包括：

数据采集模块，用于采用网络爬虫技术针对国内被监测对象的关键词在国外各大网站进行爬取，并将采集来的原始数据存储在ElasticSearch数据库中，同时在HDFS分布式存储系统中备份一份数据；

数据清洗模块，用于对原始数据进行ETL数据清洗获得有效数据；

数据存储模块，用于将清洗后的有效数据对接到MySQL数据库中，并按照系统数据展示所需字段存储到中间表中；

数据分析模块，用于根据系统数据展示所需的数据格式，将中间表中的数据进行统计分析，并将最终的数据存放在MySQL的最终表中。

进一步，所述数据清洗模块中对原始数据进行ETL数据清洗的过程是采用传播影响力评估模型以及数据统计分析模型实现的。

进一步，所述数据分析模块包括：

数据计算模块，用于对中间表中的数据进行加权平均值计算，获得监测对象相关维度的增长率。

进一步，所述数据展示模块包括：

网站展示模块，用于对不同国外网站下的不同行业进行展示，并采用JAVA语言拦截器技术，判定在未登录情况下，默认进入当前网站下的某个行业，并且不允许跳转；

注册模块，用于用户对不同行业进行账号注册，每一个行业对应用户的唯一一个账号；

登录模块，用于用户在登录之后通过前台的AJAX的异步请求请求出用户所属行业，并在前台页面根据转发器跳转到数据首页，后台根据用户所属行业请求该行业下的数据进行展示。

本发明解决上述技术问题的另一技术方案如下：一种实现多行业数据切换查询的数据查询方法，该方法包括：

数据处理步骤，用于对国内被监测对象的关键词在国外各大网站进行提取和处理；

数据展示步骤，用于将处理后的数据按照行业领域划分进行展示；

切换查询步骤，用于用户在不同行业领域间进行切换查询。

本发明的有益效果是：本发明所述的数据查询方法对当前的数据查询展示方法相比进行了强有力的升级，使得本方法能够呈现国外的网站数据，同时可以通过一套系统就能够涉及无数的行业领域，而不是每个行业对应一套系统那样的复杂和冗余。另外，对于研发人员而言，只需要维护少量的代码修改量就可以新增行业领域或者删除行业领域，而不用新增或修改大量代码。同时，对于用户而言，可以不仅看到自身所属行业情况，也可以看到和自己相关行业的情况，对于选择良好的合作伙伴或者后续发展也是一种决策辅助。最后对于广大社会群体而言，可以通过本方法得到一些有用信息，比如去旅游，可以通过本方法铺设的旅游行业来作为旅游攻略的辅助，选择旅游目的地。数据的查询和展示非常直观，不同行业之间的切换也非常流畅，具有更加强大的功能，也更符合和适用于现代网络。

进一步，所述数据处理步骤包括：

数据采集步骤，用于采用网络爬虫技术针对国内被监测对象的关键词在国外各大网站进行爬取，并将采集来的原始数据存储在ElasticSearch数据库中，同时在HDFS分布式存储系统中备份一份数据；

数据清洗步骤，用于对原始数据进行ETL数据清洗获得有效数据；

数据存储步骤，用于将清洗后的有效数据对接到MySQL数据库中，并按照系统数据展示所需字段存储到中间表中；

数据分析步骤，用于根据系统数据展示所需的数据格式，将中间表中的数据进行统计分析，并将最终的数据存放在MySQL的最终表中。

进一步，数据清洗步骤中对原始数据进行ETL数据清洗的过程是采用传播影响力评估模型以及数据统计分析模型实现的。

进一步，所述数据分析步骤包括：

数据计算步骤，用于对中间表中的数据进行加权平均值计算，获得监测对象相关维度的增长率。

进一步，所述数据展示步骤包括：

网站展示步骤，用于对不同国外网站下的不同行业进行展示，并采用JAVA语言拦截器技术，判定在未登录情况下，默认进入当前网站下的某个行业，并且不允许跳转；

注册步骤，用于用户对不同行业进行账号注册，每一个行业对应用户的唯一一个账号；

登录步骤，用于用户在登录之后通过前台的AJAX的异步请求请求出用户所属行业，并在前台页面根据转发器跳转到数据首页，后台根据用户所属行业请求该行业下的数据进行展示。

附图说明

图1为本发明实施例所述的数据查询系统的原理示意图；

图2为本发明实施例所述的数据处理模块1的原理示意图；

图3为本发明实施例所述的数据展示模块2的原理示意图；

图4为本发明实施例所述的数据查询方法的流程图；

图5为本发明实施例所述的数据处理步骤的流程图；

图6为本发明实施例所述的数据展示步骤的流程图。

附图中，各标号所代表的部件列表如下：

1、数据处理模块，2、数据展示模块，3、切换查询模块，4、数据采集模块，5、数据清洗模块，6、数据存储模块，7、数据分析模块，8、网站展示模块，9、注册模块，10、登录模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1

如图1所示，本实施例提出一种实现多行业数据切换查询的数据查询系统，该系统包括：

数据处理模块1，用于对国内被监测对象的关键词在国外各大网站进行提取和处理；

数据展示模块2，用于将处理后的数据按照行业领域划分进行展示；

切换查询模块3，用于用户在不同行业领域间进行切换查询。

该数据查询系统对当前的数据查询展示系统相比进行了强有力的升级，使得本系统能够呈现国外的网站数据，同时可以通过一套系统就能够涉及无数的行业领域，而不是每个行业对应一套系统那样的复杂和冗余。另外，对于研发人员而言，只需要维护少量的代码修改量就可以新增行业领域或者删除行业领域，而不用新增或修改大量代码。同时，对于用户而言，可以不仅看到自身所属行业情况，也可以看到和自己相关行业的情况，对于选择良好的合作伙伴或者后续发展也是一种决策辅助。最后对于广大社会群体而言，可以通过本系统得到一些有用信息，比如去旅游，可以通过本系统铺设的旅游行业来作为旅游攻略的辅助，选择旅游目的地。数据的查询和展示非常直观，不同行业之间的切换也非常流畅，具有更加强大的功能，也更符合和适用于现代网络。

该系统在实际使用时，首先打开网站的地址，进入网站首页后会看到许多国外网站的选项，在这些选项下面是众多行业领域的选项卡；根据选择的国外网站的不同和行业领域的不同，可以进入到不同的界面，以查看相应的“游客权限”能看到的粗略内容；在网站首页点击“登录/注册”按钮进行新账号注册，在注册时候可以选择相应的行业领域，一旦成功后便可以使用此账号进入相应的行业，进入后便可浏览此行业下的数据在所有国外网站上的情况，以及定制不同的榜单。

优选的，如图2所示，所述数据处理模块1包括：

数据采集模块4，用于采用网络爬虫技术针对国内被监测对象的关键词在国外各大网站进行爬取，并将采集来的原始数据存储在ElasticSearch数据库中，同时在HDFS分布式存储系统中备份一份数据；

数据清洗模块5，用于对原始数据进行ETL数据清洗获得有效数据；

数据存储模块6，用于将清洗后的有效数据对接到MySQL数据库中，并按照系统数据展示所需字段存储到中间表中；

数据分析模块7，用于根据系统数据展示所需的数据格式，将中间表中的数据进行统计分析，并将最终的数据存放在MySQL的最终表中。

所述数据清洗模块5中对原始数据进行ETL数据清洗的过程是采用传播影响力评估模型以及数据统计分析模型实现的。

其中传播影响力评估模型以及数据统计分析模型通过传播领域中关于数据展示、数据处理以及数据分类等方向的需求进行建立的。

首先通过对国内被监测对象的关键词在国外各大网站进行爬取，然后将爬取到的数据信息经过处理和分类后以不同行业领域进行展示。

优选的，所述数据分析模块7包括：

数据计算模块，用于对中间表中的数据进行加权平均值计算，获得监测对象相关维度的增长率。

通过计算加权平均值获得数据信息整体的变化趋势，为用户数据查询提供依据。

优选的，如图3所示，所述数据展示模块2包括：

网站展示模块8，用于对不同国外网站下的不同行业进行展示，并采用JAVA语言拦截器技术，判定在未登录情况下，默认进入当前网站下的某个行业，并且不允许跳转；

注册模块9，用于用户对不同行业进行账号注册，每一个行业对应用户的唯一一个账号；

登录模块10，用于用户在登录之后通过前台的AJAX的异步请求请求出用户所属行业，并在前台页面根据转发器跳转到数据首页，后台根据用户所属行业请求该行业下的数据进行展示。

用于可以随意浏览其注册行业下所有国外网站下的该行业的各项数据指标。

实施例2

如图4所示，本实施例提出了一种实现多行业数据切换查询的数据查询方法，该方法包括：

数据处理步骤，用于对国内被监测对象的关键词在国外各大网站进行提取和处理；

数据展示步骤，用于将处理后的数据按照行业领域划分进行展示；

切换查询步骤，用于用户在不同行业领域间进行切换查询。

该数据查询方法对当前的数据查询展示方法相比进行了强有力的升级，使得本方法能够呈现国外的网站数据，同时可以通过一套系统就能够涉及无数的行业领域，而不是每个行业对应一套系统那样的复杂和冗余。另外，对于研发人员而言，只需要维护少量的代码修改量就可以新增行业领域或者删除行业领域，而不用新增或修改大量代码。同时，对于用户而言，可以不仅看到自身所属行业情况，也可以看到和自己相关行业的情况，对于选择良好的合作伙伴或者后续发展也是一种决策辅助。最后对于广大社会群体而言，可以通过本方法得到一些有用信息，比如去旅游，可以通过本方法铺设的旅游行业来作为旅游攻略的辅助，选择旅游目的地。数据的查询和展示非常直观，不同行业之间的切换也非常流畅，具有更加强大的功能，也更符合和适用于现代网络。

采用该方法进行数据查询时，首先打开网站的地址，进入网站首页后会看到许多国外网站的选项，在这些选项下面是众多行业领域的选项卡；根据选择的国外网站的不同和行业领域的不同，可以进入到不同的界面，以查看相应的“游客权限”能看到的粗略内容；在网站首页点击“登录/注册”按钮进行新账号注册，在注册时候可以选择相应的行业领域，一旦成功后便可以使用此账号进入相应的行业，进入后便可浏览此行业下的数据在所有国外网站上的情况，以及定制不同的榜单。

优选的，如图5所示，所述数据处理步骤包括：

数据采集步骤，用于采用网络爬虫技术针对国内被监测对象的关键词在国外各大网站进行爬取，并将采集来的原始数据存储在ElasticSearch数据库中，同时在HDFS分布式存储系统中备份一份数据；

数据清洗步骤，用于对原始数据进行ETL数据清洗获得有效数据；

数据存储步骤，用于将清洗后的有效数据对接到MySQL数据库中，并按照系统数据展示所需字段存储到中间表中；

数据分析步骤，用于根据系统数据展示所需的数据格式，将中间表中的数据进行统计分析，并将最终的数据存放在MySQL的最终表中。

数据清洗步骤中对原始数据进行ETL数据清洗的过程是采用传播影响力评估模型以及数据统计分析模型实现的。

其中传播影响力评估模型以及数据统计分析模型通过传播领域中关于数据展示、数据处理以及数据分类等方向的需求进行建立的。

首先通过对国内被监测对象的关键词在国外各大网站进行爬取，然后将爬取到的数据信息经过处理和分类后以不同行业领域进行展示。

优选的，所述数据分析步骤包括：

数据计算步骤，用于对中间表中的数据进行加权平均值计算，获得监测对象相关维度的增长率。

通过计算加权平均值获得数据信息整体的变化趋势，为用户数据查询提供依据。

优选的，如图6所示，所述数据展示步骤包括：

网站展示步骤，用于对不同国外网站下的不同行业进行展示，并采用JAVA语言拦截器技术，判定在未登录情况下，默认进入当前网站下的某个行业，并且不允许跳转；

注册步骤，用于用户对不同行业进行账号注册，每一个行业对应用户的唯一一个账号；

登录步骤，用于用户在登录之后通过前台的AJAX的异步请求请求出用户所属行业，并在前台页面根据转发器跳转到数据首页，后台根据用户所属行业请求该行业下的数据进行展示。

用于可以随意浏览其注册行业下所有国外网站下的该行业的各项数据指标。

实施例3

本实施例通过本发明在实际使用过程中所具体涉及的内容进行说明。

例如进入了电视台行业，首先映入眼帘的是在某个平台下电视台的总榜排名，当点击“定制榜单”的时候，用户可以选择时间周期，如“总榜”、“日榜”、“周榜”、“月榜”以及“自定义榜”，同时可以选择按照“点赞数”、“踩数”、“分享数”、“评论数”等进行排名。同时可以切换至“详情”界面，浏览此机构下电视节目的排名情况以及各个维度的情况。以下为具体的操作过程。

(1)打开本系统，点击任意平台图标后，点击所需领域的图片中央，进入相关领域传播力榜单top10页面。以FaceBook平台——电视台领域为例，点击“FaceBook平台”图标，再点击“电视台CCTV”图片进入电视台：FaceBook中文传播力榜单。

(2)由于是以游客身份进入系统，只能查看到榜单前十名信息，在此页面进行任意操作，均可跳转到“会员登录”界面，登录后可查看到更多信息。榜单排名统计截止时间为登陆目的前一天。

(3)进入到“会员登录”界面后，如果已经拥有系统账号，请直接输入用户名、密码、验证码后点击“登录”按钮进入系统；如果没有账号，则需要点击“立即注册”按钮进行账号注册。

(4)点击“立即注册”后，按照页面提示要求输入个人信息，选择所需领域；以电视台为例，信息填写完成后，点击“注册”按钮。

(5)注册完成后自动跳转到登录界面，输入账号信息，点击“登录”。

(6)用户登录后进入到电视台领域系统，可查看系统中电视台领域在YouTube、Twitter、FaceBook等平台内的“机构榜单”和“栏目榜单”。

(7)“机构榜单”和“栏目榜单”均可按照个人需求定制显示。以“机构榜单”为例，点击“定制榜单”选择所需榜单周期、排序、语言类型，点击“生成榜单”，系统会自动按照需求刷新榜单内容，点击“收起选择”来收起选项。

(8)榜单生成。点击“详细榜单”中的“详情”字样，可查看对应机构的详细信息。例如以YouTube平台——电视台领域——机构榜单为例，点击的“湖南卫视”的详情。

(9)点击详情后，可查看到湖南卫视在YouTube平台上的各项指标的统计情况，包括湖南卫视的所有栏目在YouTube平台上的排名榜单，和一周内湖南卫视的观看数量和观看日增比的变化图表。

(10)机构详情中的栏目榜单也可以按照个人需求进行定制显示，定制方法同上。同时，栏目榜单中的“详情”也可以点击，来查看相应栏目的详细信息。

(11)在具体下属的一些栏目中点击“详情”可查看具体栏目的传播力图表，图表包括观看次数和日增比，同时也可以看到有关栏目的最近发布TOP10和热门发布TOP10内容。

(12)在对图表进行查看中，存在许多图表的使用方法，包括在图表中增加辅助线、逐条删除绘制的辅助线、清空所有的辅助线、显示此图表的数据视图、刷新数据信息和关闭收起数据视图功能。另外，也可以将图表切换为直线图和柱状图，还可以进行图表还原并将图表保存到本地文件夹中。

(13)当进入到某平台中任意机构或者栏目的详情页面时，点击页面上的“榜单”，可回到该平台榜单首页。

(14)选择热门平台，点击“热门发布”，可查看到相应平台上一周内的热门内容。

(15)用户浏览某平台内容时，点击页面上的“退出”，可退到游客浏览状态，仅显示该平台上的TOP10榜单，若想浏览更多内容，需重新登录系统。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现多行业数据切换查询的数据查询系统，其特征在于，它包括：

数据处理模块(1)，用于对国内被监测对象的关键词在国外各大网站进行提取和处理：

数据展示模块(2)，用于将处理后的数据按照行业领域划分进行展示；

切换查询模块(3)，用于用户在不同行业领域间进行切换查询。

2.根据权利要求1所述的一种实现多行业数据切换查询的数据查询系统，其特征在于，所述数据处理模块(1)包括：

数据采集模块(4)，用于采用网络爬虫技术针对国内被监测对象的关键词在国外各大网站进行爬取，并将采集来的原始数据存储在ElasticSearch数据库中，同时在HDFS分布式存储系统中备份一份数据；

数据清洗模块(5)，用于对原始数据进行ETL数据清洗获得有效数据；

数据存储模块(6)，用于将清洗后的有效数据对接到MySQL数据库中，并按照系统数据展示所需字段存储到中间表中；

数据分析模块(7)，用于根据系统数据展示所需的数据格式，将中间表中的数据进行统计分析，并将最终的数据存放在MySQL的最终表中。

3.根据权利要求2所述的一种实现多行业数据切换查询的数据查询系统，其特征在于，数据清洗模块(5)中对原始数据进行ETL数据清洗的过程是采用传播影响力评估模型以及数据统计分析模型实现的。

4.根据权利要求2所述的一种实现多行业数据切换查询的数据查询系统，其特征在于，所述数据分析模块(7)包括：

数据计算模块，用于对中间表中的数据进行加权平均值计算，获得监测对象相关维度的增长率。

5.根据权利要求1所述的一种实现多行业数据切换查询的数据查询系统，其特征在于，所述数据展示模块(2)包括：

网站展示模块(8)，用于对不同国外网站下的不同行业进行展示，并采用JAVA语言拦截器技术，判定在未登录情况下，默认进入当前网站下的某个行业，并且不允许跳转；

注册模块(9)，用于用户对不同行业进行账号注册，每一个行业对应用户的唯一一个账号；

登录模块(10)，用于用户在登录之后通过前台的AJAX的异步请求请求出用户所属行业，并在前台页面根据转发器跳转到数据首页，后台根据用户所属行业请求该行业下的数据进行展示。

6.一种实现多行业数据切换查询的数据查询方法，其特征在于，所述方法包括：

数据处理步骤，用于对国内被监测对象的关键词在国外各大网站进行提取和处理：

数据展示步骤，用于将处理后的数据按照行业领域划分进行展示；

切换查询步骤，用于用户在不同行业领域间进行切换查询。

7.根据权利要求6所述的一种实现多行业数据切换查询的数据查询方法，其特征在于，所述数据处理步骤包括：

数据采集步骤，用于采用网络爬虫技术针对国内被监测对象的关键词在国外各大网站进行爬取，并将采集来的原始数据存储在ElasticSearch数据库中，同时在HDFS分布式存储系统中备份一份数据；

数据清洗步骤，用于对原始数据进行ETL数据清洗获得有效数据；

数据存储步骤，用于将清洗后的有效数据对接到MySQL数据库中，并按照系统数据展示所需字段存储到中间表中；

数据分析步骤，用于根据系统数据展示所需的数据格式，将中间表中的数据进行统计分析，并将最终的数据存放在MySQL的最终表中。

8.根据权利要求7所述的一种实现多行业数据切换查询的数据查询方法，其特征在于，数据清洗步骤中对原始数据进行ETL数据清洗的过程是采用传播影响力评估模型以及数据统计分析模型实现的。

9.根据权利要求7所述的一种实现多行业数据切换查询的数据查询方法，其特征在于，所述数据分析步骤包括：

数据计算步骤，用于对中间表中的数据进行加权平均值计算，获得监测对象相关维度的增长率。

10.根据权利要求6所述的一种实现多行业数据切换查询的数据查询方法，其特征在于，所述数据展示步骤包括：

网站展示步骤，用于对不同国外网站下的不同行业进行展示，并采用JAVA语言拦截器技术，判定在未登录情况下，默认进入当前网站下的某个行业，并且不允许跳转；

注册步骤，用于用户对不同行业进行账号注册，每一个行业对应用户的唯一一个账号；

登录步骤，用于用户在登录之后通过前台的AJAX的异步请求请求出用户所属行业，并在前台页面根据转发器跳转到数据首页，后台根据用户所属行业请求该行业下的数据进行展示。