CN106503213A - 一种网络数据信息展示管理方法及系统 - Google Patents

一种网络数据信息展示管理方法及系统 Download PDF

Info

Publication number
CN106503213A
CN106503213A CN201610958921.8A CN201610958921A CN106503213A CN 106503213 A CN106503213 A CN 106503213A CN 201610958921 A CN201610958921 A CN 201610958921A CN 106503213 A CN106503213 A CN 106503213A
Authority
CN
China
Prior art keywords
data
data information
network data
authority
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610958921.8A
Other languages
English (en)
Inventor
赵子忠
李贞冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nebula (beijing) Big Data Information Technology Co Ltd
Original Assignee
Nebula (beijing) Big Data Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nebula (beijing) Big Data Information Technology Co Ltd filed Critical Nebula (beijing) Big Data Information Technology Co Ltd
Priority to CN201610958921.8A priority Critical patent/CN106503213A/zh
Publication of CN106503213A publication Critical patent/CN106503213A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种网络数据信息展示管理方法及系统，涉及数据信息展示管理领域。对网络数据信息进行爬取和分析；设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。在最高权限管理员的权限下创建多个行业领域，然后创建多个普通管理员，再为不同的行业领域创建不同的用户权限。最后将这些创建好的权限分配给普通管理员，这样，不同的普通管理员就有了各自相应权限的行业领域，利于不同行业数据的分类管理，数据管理过程更为有序。

Description

一种网络数据信息展示管理方法及系统
技术领域
本发明涉及数据信息展示管理领域。
背景技术
随着网络技术的日益发展，人们往往通过网络就会知道自己所要想了解的行业领域的数据，从而为自己的出行、见识面甚至是生涯规划提供数据支持。但是目前现有网络数据展示平台种类单一，无法通过一套系统同时涉及多个行业的数据展示，同时对于网络数据的分析和展示也容易出现差错，导致用户无法准确的对需要的数据进行浏览和查询，并且现有的平台对于后台管理方面也存在着管理混乱的问题，严重影响了用户体验。
发明内容
本发明为了解决上述问题，提出了一种网络数据信息展示管理方法及系统
本发明解决上述技术问题的技术方案如下：
一种网络数据信息展示管理方法，所述方法包括：
S1、对网络数据信息进行爬取和分析；
S2、设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；
S3、最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。
本发明的有益效果是：在最高权限管理员的权限下创建多个行业领域，然后创建多个普通管理员，再为不同的行业领域创建不同的用户权限。最后将这些创建好的权限分配给普通管理员，这样，不同的普通管理员就有了各自相应权限的行业领域，利于不同行业数据的分类管理，数据管理过程更为有序。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述S1中对对网络数据信息进行爬取和分析的过程为：
S11、在tomcat服务器端启动程序，客户端中获取任务多线程进行；
S12、提供需要查询或者提取数据的关键字；
S13、模拟浏览器提交请求访问网页，并将关键字对应的网页下载下来并进行存储；
S14、获取网页的内容到本地并进行HTML解析；
S15、将解析后的数据进行去重、去噪和格式化处理，并将处理后的数据存入到es数据库中；
S16、在处理后的数据中提取出需要的数据并保存到mysq l数据库中。
采用上述进一步方案的有益效果是：对网络数据进行更为精准、更为细致的分析处理，提高每个行业所对应的关键字及数据信息的准确率。
进一步，所述S16中对需要的数据进行去重、去噪和格式化处理是基于海量数据处理模型和统计学模型实现的。
进一步，所述普通管理员仅可以对其所对应的行业领域内的数据、普通浏览用户的权限进行增删改查的操作。
采用上述进一步方案的有益效果是：对普通管理员的权限进行限制，使其无法对其他行业领域的数据进行操作，能够实现更为有序的管理体制。
进一步，所述普通浏览用户仅可以浏览普通管理员操作后的数据进行浏览以及自身权限内的数据进行操作，除此之外不可以对数据进行任何操作。
采用上述进一步方案的有益效果是：普通浏览用户只允许浏览数据，无法对数据进行任何操作。
为了解决上述问题，本发明还提出了一种网络数据信息展示管理系统，所述系统包括：
数据分析模块，用于对网络数据信息进行爬取和分析；
行业领域创建模块，用于设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；
管理分配模块，用于最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。
本发明的有益效果是：在最高权限管理员的权限下创建多个行业领域，然后创建多个普通管理员，再为不同的行业领域创建不同的用户权限。最后将这些创建好的权限分配给普通管理员，这样，不同的普通管理员就有了各自相应权限的行业领域，利于不同行业数据的分类管理，数据管理过程更为有序。
进一步，所述数据分析模块包括：
启动模块，用于在tomcat服务器端启动程序，客户端中获取任务多线程进行；
关键字提取模块，用于提供需要查询或者提取数据的关键字；
网页下载模块，用于模拟浏览器提交请求访问网页，并将关键字对应的网页下载下来并进行存储；
解析模块，用于获取网页的内容到本地并进行HTML解析；
数据处理模块，用于将解析后的数据进行去重、去噪和格式化处理，并将处理后的数据存入到es数据库中。
数据保存模块，用于在处理后的数据中提取出需要的数据并保存到mysq l数据库中。
采用上述进一步方案的有益效果是：对网络数据进行更为精准、更为细致的分析处理，提高每个行业所对应的关键字及数据信息的准确率。
进一步，所述数据处理模块中对需要的数据进行去重、去噪和格式化处理是基于海量数据处理模型和统计学模型实现的。
进一步，所述普通管理员仅可以对其所对应的行业领域内的数据、普通浏览用户的权限进行增删改查的操作。
采用上述进一步方案的有益效果是：对普通管理员的权限进行限制，使其无法对其他行业领域的数据进行操作，能够实现更为有序的管理体制。
进一步，所述普通浏览用户仅可以浏览普通管理员操作后的数据进行浏览以及自身权限内的数据进行操作，除此之外不可以对数据进行任何操作。
采用上述进一步方案的有益效果是：普通浏览用户只允许浏览数据，无法对数据进行任何操作。
附图说明
图1为本发明实施例所述的网络数据信息展示管理方法的流程图；
图2为本发明实施例所述的对网络数据信息进行爬取和分析的流程图；
图3为本发明实施例所述的网络数据信息展示管理系统的原理示意图；
图4为本发明实施例所述的数据分析模块的原理示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1
如图1所示，本实施例提出了一种网络数据信息展示管理方法，所述方法包括：
S1、对网络数据信息进行爬取和分析；
S2、设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；
S3、最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。
如图2所示，所述S1中对对网络数据信息进行爬取和分析的过程为：
S11、在tomcat服务器端启动程序，客户端中获取任务多线程进行；
S12、提供需要查询或者提取数据的关键字；
S13、模拟浏览器提交请求访问网页，并将关键字对应的网页下载下来并进行存储；
S14、获取网页的内容到本地并进行HTML解析；
S15、将解析后的数据进行去重、去噪和格式化处理，并将处理后的数据存入到es数据库中；
S16、在处理后的数据中提取出需要的数据并保存到mysq l数据库中。
在最高权限管理员的权限下创建多个行业领域，然后创建多个普通管理员，再为不同的行业领域创建不同的用户权限。最后将这些创建好的权限分配给普通管理员，这样，不同的普通管理员就有了各自相应权限的行业领域，利于不同行业数据的分类管理，数据管理过程更为有序。
普通管理员仅可以对其所对应的行业领域内的数据、普通浏览用户的权限进行增删改查的操作。具体操作过程为：
进入后台管理系统后，新建一个自定义的菜单，在菜单下新建栏目。栏目在创建的时候可以勾选某一种图表类型，根据不同的图表类型去选择不同的“X轴对比”和“Y轴对比”以及数据检索表达式。这样一个菜单下的一个栏目就创建完毕。返回前台即可看到此菜单以及此菜单下的此栏目。当创建多个栏目后，在后台系统栏目显示的顺序，即为前台不同栏目在此菜单下的排放顺序。可以拖拽每条栏目后的箭头图表进行排序，则前台的栏目将会按照排序后的顺序进行呈现。这样的操作同样适用于多个菜单。
普通浏览用户仅可以浏览普通管理员操作后的数据进行浏览以及自身权限内的数据进行操作，除此之外不可以对数据进行任何操作。
实施例2
如图3所示，本实施例提出了一种网络数据信息展示管理系统，所述系统包括：
数据分析模块，用于对网络数据信息进行爬取和分析；
行业领域创建模块，用于设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；
管理分配模块，用于最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。
如图4所示，所述数据分析模块包括：
启动模块，用于在tomcat服务器端启动程序，客户端中获取任务多线程进行；
关键字提取模块，用于提供需要查询或者提取数据的关键字；
网页下载模块，用于模拟浏览器提交请求访问网页，并将关键字对应的网页下载下来并进行存储；
解析模块，用于获取网页的内容到本地并进行HTML解析；
数据处理模块，用于将解析后的数据进行去重、去噪和格式化处理，并将处理后的数据存入到es数据库中。
数据保存模块，用于在处理后的数据中提取出需要的数据并保存到mysq l数据库中。
在最高权限管理员的权限下创建多个行业领域，然后创建多个普通管理员，再为不同的行业领域创建不同的用户权限。最后将这些创建好的权限分配给普通管理员，这样，不同的普通管理员就有了各自相应权限的行业领域，利于不同行业数据的分类管理，数据管理过程更为有序。
普通管理员仅可以对其所对应的行业领域内的数据、普通浏览用户的权限进行增删改查的操作。具体操作过程为：
进入后台管理系统后，新建一个自定义的菜单，在菜单下新建栏目。栏目在创建的时候可以勾选某一种图表类型，根据不同的图表类型去选择不同的“X轴对比”和“Y轴对比”以及数据检索表达式。这样一个菜单下的一个栏目就创建完毕。返回前台即可看到此菜单以及此菜单下的此栏目。当创建多个栏目后，在后台系统栏目显示的顺序，即为前台不同栏目在此菜单下的排放顺序。可以拖拽每条栏目后的箭头图表进行排序，则前台的栏目将会按照排序后的顺序进行呈现。这样的操作同样适用于多个菜单。
普通浏览用户仅可以浏览普通管理员操作后的数据进行浏览以及自身权限内的数据进行操作，除此之外不可以对数据进行任何操作。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网络数据信息展示管理方法，其特征在于，所述方法包括：
S1、对网络数据信息进行爬取和分析；
S2、设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；
S3、最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。
2.根据权利要求1所述的一种网络数据信息展示管理方法，其特征在于，所述S1中对对网络数据信息进行爬取和分析的过程为：
S11、在tomcat服务器端启动程序，客户端中获取任务多线程进行；
S12、提供需要查询或者提取数据的关键字；
S13、模拟浏览器提交请求访问网页，并将关键字对应的网页下载下来并进行存储；
S14、获取网页的内容到本地并进行HTML解析；
S15、将解析后的数据进行去重、去噪和格式化处理，并将处理后的数据存入到es数据库中；
S16、在处理后的数据中提取出需要的数据并保存到mysql数据库中。
3.根据权利要求1或2所述的一种网络数据信息展示管理方法，其特征在于，所述S16中对需要的数据进行去重、去噪和格式化处理是基于海量数据处理模型和统计学模型实现的。
4.根据权利要求3所述的一种网络数据信息展示管理方法，其特征在于，所述普通管理员仅可以对其所对应的行业领域内的数据、普通浏览用户的权限进行增删改查的操作。
5.根据权利要求4所述的一种网络数据信息展示管理方法，其特征在于，所述普通浏览用户仅可以浏览普通管理员操作后的数据进行浏览以及自身权限内的数据进行操作，除此之外不可以对数据进行任何操作。
6.一种网络数据信息展示管理系统，其特征在于，所述系统包括：
数据分析模块，用于对网络数据信息进行爬取和分析；
行业领域创建模块，用于设定最高权限管理员，并在最高权限管理员的权限下创建多个行业领域；
管理分配模块，用于最高权限管理员在每个行业领域下分别分配一个普通管理员，每个普通管理员根据爬取网络数据信息对相应的行业领域的数据进行管理和展示。
7.根据权利要求6所述的一种网络数据信息展示管理系统，其特征在于，所述数据分析模块包括：
启动模块，用于在tomcat服务器端启动程序，客户端中获取任务多线程进行；
关键字提取模块，用于提供需要查询或者提取数据的关键字；
网页下载模块，用于模拟浏览器提交请求访问网页，并将关键字对应的网页下载下来并进行存储；
解析模块，用于获取网页的内容到本地并进行HTML解析；
数据处理模块，用于将解析后的数据进行去重、去噪和格式化处理，并将处理后的数据存入到es数据库中；
数据保存模块，用于在处理后的数据中提取出需要的数据并保存到mysql数据库中。
8.根据权利要求6或7所述的一种网络数据信息展示管理系统，其特征在于，所述数据处理模块中对需要的数据进行去重、去噪和格式化处理是基于海量数据处理模型和统计学模型实现的。
9.根据权利要求8所述的一种网络数据信息展示管理系统，其特征在于，所述普通管理员仅可以对其所对应的行业领域内的数据、普通浏览用户的权限进行增删改查的操作。
10.根据权利要求9所述的一种网络数据信息展示管理系统，其特征在于，所述普通浏览用户仅可以浏览普通管理员操作后的数据进行浏览以及自身权限内的数据进行操作，除此之外不可以对数据进行任何操作。
CN201610958921.8A 2016-10-27 2016-10-27 一种网络数据信息展示管理方法及系统 Pending CN106503213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610958921.8A CN106503213A (zh) 2016-10-27 2016-10-27 一种网络数据信息展示管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610958921.8A CN106503213A (zh) 2016-10-27 2016-10-27 一种网络数据信息展示管理方法及系统

Publications (1)

Publication Number Publication Date
CN106503213A true CN106503213A (zh) 2017-03-15

Family

ID=58321522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610958921.8A Pending CN106503213A (zh) 2016-10-27 2016-10-27 一种网络数据信息展示管理方法及系统

Country Status (1)

Country Link
CN (1) CN106503213A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797860A (zh) * 2017-11-21 2018-03-13 上海望友信息科技有限公司 任务自动处理方法及系统、客户端、服务器及存储介质
CN108021655A (zh) * 2017-12-01 2018-05-11 广东工业大学 一种数据处理方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027142A (ko) * 2000-10-04 2002-04-13 송완주 정보 모니터링 시스템 및 방법
CN101860517A (zh) * 2009-04-08 2010-10-13 北京博越世纪科技有限公司 一种精准控制系统用户权限的方法
CN101951377A (zh) * 2010-09-21 2011-01-19 用友软件股份有限公司 分层授权管理方法和装置
CN102609427A (zh) * 2011-11-10 2012-07-25 天津大学 舆情垂直搜索分析系统及方法
CN103886412A (zh) * 2014-03-21 2014-06-25 沈阳化工大学 新闻管理与发布系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027142A (ko) * 2000-10-04 2002-04-13 송완주 정보 모니터링 시스템 및 방법
CN101860517A (zh) * 2009-04-08 2010-10-13 北京博越世纪科技有限公司 一种精准控制系统用户权限的方法
CN101951377A (zh) * 2010-09-21 2011-01-19 用友软件股份有限公司 分层授权管理方法和装置
CN102609427A (zh) * 2011-11-10 2012-07-25 天津大学 舆情垂直搜索分析系统及方法
CN103886412A (zh) * 2014-03-21 2014-06-25 沈阳化工大学 新闻管理与发布系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797860A (zh) * 2017-11-21 2018-03-13 上海望友信息科技有限公司 任务自动处理方法及系统、客户端、服务器及存储介质
CN108021655A (zh) * 2017-12-01 2018-05-11 广东工业大学 一种数据处理方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN102354315B (zh) 一种网址导航页面生成方法和装置
CN105447184B (zh) 信息抓取方法及装置
CN106293365B (zh) 一种获取页面内容的方法及装置
CN102164186B (zh) 一种实现云搜索服务的方法及系统
US10176251B2 (en) Systems and methods for identifying similarities using unstructured text analysis
US9910870B2 (en) System and method for creating data models from complex raw log files
CN105989082A (zh) 报表视图生成方法和装置
CN108875091A (zh) 一种统一管理的分布式网络爬虫系统
US9335901B1 (en) Grid-based user interface system
CN108319608A (zh) 访问日志存储查询的方法、装置及系统
CN106503213A (zh) 一种网络数据信息展示管理方法及系统
Cartledge How Many Vs are there in big data
EP3069271B1 (en) Dynamic stream computing topology
CN107704585A (zh) 一种查询hdfs数据方法及系统
JP6565205B2 (ja) ナレッジ管理プログラム、方法及び装置
Li et al. Solving siphons with the minimal cardinality in Petri nets and its applications to deadlock control
CN104714983A (zh) 分布式索引的生成方法及装置
CN107862033A (zh) 一种用户行为分析方法和系统
WO2017077544A1 (en) G-mvc architecture by providing view rules to handle the action events of controller and states of model
JP6961987B2 (ja) 日時情報抽出方法、日時情報抽出装置及び日時情報抽出プログラム
CN105824976A (zh) 一种优化分词库的方法和装置
CN110580144A (zh) 一种通过给页面控件添加查询运算符实现的通用查询方法
US20180113918A1 (en) Micro product specification update based on results to a search query
JP6102567B2 (ja) 製品情報管理システムおよび製品情報登録方法
CN103544317B (zh) 维度表数据的处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315