CN109857936A - 一种大数据采集分析与服务系统 - Google Patents
一种大数据采集分析与服务系统 Download PDFInfo
- Publication number
- CN109857936A CN109857936A CN201910072373.2A CN201910072373A CN109857936A CN 109857936 A CN109857936 A CN 109857936A CN 201910072373 A CN201910072373 A CN 201910072373A CN 109857936 A CN109857936 A CN 109857936A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- information
- module
- web publishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种大数据采集分析与服务系统，包括云服务器、若干用户端和网络发布端，云服务器分别与若干用户端和网络发布端信号连接。云服务器定期从网络发布端采集数据，并对采集到的数据进行审核后进行分类保存；将分类保存的数据与用户注册信息进行匹配，筛选匹配用户并将分类的数据发送至对应用户端。用户端发送用户注册信息，并接收云服务器发送的分类数据；网络发布端用于向公众发布数据。本发明可面向注册的所有用户端的用户，实现数据定期主动提取、筛选、分类、存储、用户匹配和数据发布，改善现有信息发布平台没有主动信息推送功能，不能精准、及时到达需求用户，信息不对称的不足。
Description
技术领域
本发明涉及大数据应用领域，尤其涉及一种大数据采集分析与服务系统。
背景技术
目前，政府网站会定期发布公报，进行政务信息公开。公报刊登的是行政法规和规章标准文本的法定载体，是政府发布政令的权威渠道，也是推行政务公开、加强政务服务、密切政府与群众联系和进行正常宣传的重要工具。但是政务发布平台建设水平参差不齐，地域差异很大，信息繁杂且没有分析功能，仅提供简单的检索功能。非常不利于企业获取最新政务信息和行业政策。如能将公共平台发布的各类政策、行业政策等信息进行及时收集并分类优化，将有利于资源或政策的合理利用。
发明内容
有鉴于此，本发明提出了一种具有网络数据采集和分析、并根据用户端注册信息进行匹配和发布的大数据采集分析与服务系统。
本发明提供了一种大数据采集分析与服务系统，包括云服务器(1)、若干用户端(2)和网络发布端(3)，云服务器(1)分别与若干用户端(2)和网络发布端(3)信号连接；
云服务器(1)，用于定期从网络发布端(3)采集数据，并对采集到的数据进行审核后进行分类保存；将分类保存的数据与用户注册信息进行匹配，筛选匹配用户并将分类的数据发送至对应用户端(2)；
用户端(2)，用于发送用户注册信息，并接收云服务器(1)发送的分类数据；
网络发布端(3)，用于向公众发布数据。
在以上技术方案的基础上，优选的，所述云服务器(1)，包括用户管理模块(11)、信息采集模块(12)、信息审核模块(13)、信息储存模块(14)和信息发布模块(15)，所述用户管理模块(11)与用户端(2)信号连接；信息采集模块(12)分别与信息审核模块(13)和网络发布端(3)信号连接；信息审核模块(13)与信息储存模块(14)信号连接；信息储存模块(14)与信息发布模块(15)信号连接；信息发布模块(15)分别与用户端(2)和用户管理模块(11)信号连接；
用户管理模块(11)，用于接收用户端(2)发送的用户注册信息；
信息采集模块(12)，用于向网络发布端(3)发出访问请求，获取网络发布端(3)发布的数据，将网络发布端(3)发布的数据进行提取，将提取后的数据发送至信息审核模块(13)；
信息审核模块(13)，用于根据信息采集模块(12)提取的数据，进行筛选和分类，将筛选后的细分数据发送至信息储存模块(14)；
信息储存模块(14)，用于储存信息审核模块(13)筛选和分类后的细分数据；
信息发布模块(15)，用于调取信息储存模块(14)储存的细分数据、用户注册信息，将用户注册信息与细分数据进行匹配，符合要求的数据发送至对应用户的用户端(2)。
进一步优选的，所述用户管理模块(11)还用于接收用户端(2)发出的用户需求信息；用户管理模块(11)接收到用户需求信息，申请信息发布模块(15)调用信息储存模块(14)中的细分数据，将细分数据与用户需求信息和用户注册信息进行匹配，并将符合要求的数据返回用户端(2)。
更进一步优选的，所述用户端(2)输入的用户需求信息，包括政策需求信息、项目需求信息、招聘需求信息和招投标需求信息。
再进一步优选的，所述信息采集模块(12)对网络发布端(3)发布的进行数据提取，是提取网络发布端(3)的网页地址、网页跳转链接、网页代码、文字、图片和视频。
再进一步优选的，所述信息审核模块(13)根据信息采集模块(12)提取的数据进行筛选和分类，是根据数据发布时间、数据失效时间、数据发布地域、数据发布来源、数据发布部门和行业领域的先后顺序进行分类，剔除错误数据和不可信数据，得到细分数据，并将细分数据发送至信息储存模块(14)进行储存。
在以上技术方案的基础上，再进一步优选的，所述信息审核模块(13)剔除错误数据和不可信数据是逐个验证网络发布端(3)提供的数据，剔除不可信网页地址、网页跳转链接和无法下载的文字、图片和视频。
在以上技术方案的基础上，优选的，所述用户端(2)发送的用户注册信息，包括用户地址、用户成立时间、用户性质、用户规模、用户主营业务、用户资质数据和用户行业代码。
在以上技术方案的基础上，优选的，所述网络发布端(3)包括政府信息平台、政府部门网站、门户网站、招聘网站和招投标网站。
本发明提供的一种大数据采集分析与服务系统，相对于现有技术，具有以下有益效果：
(1)本发明可面向注册的所有用户端的用户，实现数据定期主动提取、筛选、分类、存储、用户匹配和数据发布，数据匹配依照相关性进行匹配，根据用户端的确认情况，来储存用户偏好，作为后期数据发布的依据，另外本发明可以立即响应用户端输入的需求信息，即时发送匹配信息给用户端；
(2)数据主动提取来源于政府信息发布平台、政府部门网站、门户网站、招聘网站和招投标网站，并按时间进行排序和筛选，剔除虚假链接、不安全链接和无法下载的内容，使得采集的数据真实可靠；
(3)信息发布模块将细分数据与用户注册信息或者用户需求信息进行相关性的匹配，将地域、行业、数据发布部门和用户成立时间、用户性质、用户规模、用户主营业务、用户资质数据和用户行业代码等信息进行关联，并向用户端发布匹配的细分数据，便于用户及时查看；
(4)本发明能改善现有信息发布平台没有主动信息推送功能，不能精准、及时到达需求用户，信息不对称的不足。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种大数据采集分析与服务系统的系统结构图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1所示，本发明提供了一种大数据采集分析与服务系统，包括云服务器1、若干用户端2和网络发布端3，云服务器1分别与若干用户端2和网络发布端3信号连接。
如图1所示，云服务器1，用于定期从网络发布端3采集数据，并对采集到的数据进行审核后进行分类保存；将分类保存的数据与用户注册信息进行匹配，筛选匹配用户并将分类的数据发送至对应用户端2。用户端2，用于发送用户注册信息，并接收云服务器1发送的分类数据；网络发布端3，用于向公众发布数据。
具体的，云服务器1包括用户管理模块11、信息采集模块12、信息审核模块13、信息储存模块14和信息发布模块15。用户管理模块11与用户端2信号连接；信息采集模块12分别与信息审核模块13和网络发布端3信号连接；信息审核模块13与信息储存模块14信号连接；信息储存模块14与信息发布模块15信号连接；信息发布模块15分别与用户端2和用户管理模块11信号连接。
其中：用户管理模块11用于接收用户端2发送的用户注册信息；用户端2发送的用户注册信息，包括用户地址、用户成立时间、用户性质、用户规模、用户主营业务、用户资质数据和用户行业代码。用户注册信息反映了用户营业场所、用户企业性质、用户人员规模和营收规模、用户主营业务范围、用户获得的资质荣誉以及用户在《国民经济行业分类(GB/T4754-2017)》中的行业细分类别。
信息采集模块12用于向网络发布端3发出访问请求，获取网络发布端3发布的数据，将网络发布端3发布的数据进行提取，将提取后的数据发送至信息审核模块13；网络发布端3包括政府信息平台、政府部门网站、门户网站、招聘网站和招投标网站。信息采集模块12对网络发布端3发布的进行数据提取，是提取网络发布端3的网页地址、网页跳转链接、网页代码、文字、图片和视频。网络发布端3发布各种政策、法规、行业发展规划、招聘信息以及招投标信息等内容，这些内容不能被用户第一时间知晓，信息采集模块12定期进行采集，并进行后续汇总分析。信息采集模块12可以采用爬虫工具进行设定抓取规则，从网络发布端3定期进行数据抓取。
信息审核模块13用于根据信息采集模块12提取的数据，进行筛选和分类，将筛选后的细分数据发送至信息储存模块14；信息审核模块13根据信息采集模块12提取的数据进行筛选和分类，是根据数据发布时间、数据失效时间、数据发布地域、数据发布来源、数据发布部门和行业领域的先后顺序进行分类，剔除错误数据和不可信数据，即逐个验证网络发布端3提供的数据，剔除不可信网页地址、网页跳转链接和无法下载的文字、图片和视频；得到细分数据，并将细分数据发送至信息储存模块14进行储存。信息审核模块13剔除不安全链接、虚假信息和无法获取的信息，使得数据真实可信。
信息储存模块14，用于储存信息审核模块13筛选和分类后的细分数据；
信息发布模块15，用于调取信息储存模块14储存的细分数据、用户注册信息，将用户注册信息与细分数据进行匹配，符合要求的数据发送至对应用户的用户端2。匹配过程是细分数据与用户注册数据的对比，地域与用户是最优先的，随后是行业类别，可以快速筛选用户的行业范围，然后根据网络发布端3的其他要求，进一步确定符合要求的用户，随后信息发布模块15将细分数据发布至用户对应的用户端2，提示用户及时关注，如用户端2反馈不感兴趣，则用户端2的偏好会反馈回用户管理模块11，不再向用户端2推送该细分数据。
作为本发明的进一步改进，用户管理模块11还可用于接收用户端2发出的用户需求信息；用户需求信息，包括用户端2主动请求的政策需求信息、项目需求信息、招聘需求信息和招投标需求信息。用户管理模块11接收到用户需求信息，申请信息发布模块15调用信息储存模块14中的细分数据，将细分数据与用户需求信息和用户注册信息进行匹配，并将符合要求的数据返回用户端2。
本发明中，用户端2可以是具有网络访问功能的手机、PDA、笔记本电脑或者平板电脑等智能终端。
本发明能改善现有信息发布平台没有主动信息推送功能，不能精准、及时到达需求用户，信息不对称的不足，是的在系统中的注册用户，能够定期接收系统抓取、筛选后的细分数据；也可以响应用户端2的用户需求信息，即时反馈。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种大数据采集分析与服务系统，其特征在于：包括云服务器(1)、若干用户端(2)和网络发布端(3)，云服务器(1)分别与若干用户端(2)和网络发布端(3)信号连接；
云服务器(1)，用于定期从网络发布端(3)采集数据，并对采集到的数据进行审核后进行分类保存；将分类保存的数据与用户注册信息进行匹配，筛选匹配用户并将分类的数据发送至对应用户端(2)；
用户端(2)，用于发送用户注册信息，并接收云服务器(1)发送的分类数据；
网络发布端(3)，用于向公众发布数据。
2.如权利要求1所述的一种大数据采集分析与服务系统，其特征在于：所述云服务器(1)，包括用户管理模块(11)、信息采集模块(12)、信息审核模块(13)、信息储存模块(14)和信息发布模块(15)，所述用户管理模块(11)与用户端(2)信号连接；信息采集模块(12)分别与信息审核模块(13)和网络发布端(3)信号连接；信息审核模块(13)与信息储存模块(14)信号连接；信息储存模块(14)与信息发布模块(15)信号连接；信息发布模块(15)分别与用户端(2)和用户管理模块(11)信号连接；
用户管理模块(11)，用于接收用户端(2)发送的用户注册信息；
信息采集模块(12)，用于向网络发布端(3)发出访问请求，获取网络发布端(3)发布的数据，将网络发布端(3)发布的数据进行提取，将提取后的数据发送至信息审核模块(13)；
信息审核模块(13)，用于根据信息采集模块(12)提取的数据，进行筛选和分类，将筛选后的细分数据发送至信息储存模块(14)；
信息储存模块(14)，用于储存信息审核模块(13)筛选和分类后的细分数据；
信息发布模块(15)，用于调取信息储存模块(14)储存的细分数据、用户注册信息，将用户注册信息与细分数据进行匹配，符合要求的数据发送至对应用户的用户端(2)。
3.如权利要求2所述的一种大数据采集分析与服务系统，其特征在于：所述用户管理模块(11)还用于接收用户端(2)发出的用户需求信息；用户管理模块(11)接收到用户需求信息，申请信息发布模块(15)调用信息储存模块(14)中的细分数据，将细分数据与用户需求信息和用户注册信息进行匹配，并将符合要求的数据返回用户端(2)。
4.如权利要求3所述的一种大数据采集分析与服务系统，其特征在于：所述用户端(2)输入的用户需求信息，包括政策需求信息、项目需求信息、招聘需求信息和招投标需求信息。
5.如权利要求2所述的一种大数据采集分析与服务系统，其特征在于：所述信息采集模块(12)对网络发布端(3)发布的进行数据提取，是提取网络发布端(3)的网页地址、网页跳转链接、网页代码、文字、图片和视频。
6.如权利要求5所述的一种大数据采集分析与服务系统，其特征在于：所述信息审核模块(13)根据信息采集模块(12)提取的数据进行筛选和分类，是根据数据发布时间、数据失效时间、数据发布地域、数据发布来源、数据发布部门和行业领域的先后顺序进行分类，剔除错误数据和不可信数据，得到细分数据，并将细分数据发送至信息储存模块(14)进行储存。
7.如权利要求6所述的一种大数据采集分析与服务系统，其特征在于：所述信息审核模块(13)剔除错误数据和不可信数据是逐个验证网络发布端(3)提供的数据，剔除不可信网页地址、网页跳转链接和无法下载的文字、图片和视频。
8.如权利要求1所述的一种大数据采集分析与服务系统，其特征在于：所述用户端(2)发送的用户地址、用户注册信息，包括用户成立时间、用户性质、用户规模、用户主营业务、用户资质数据和用户行业代码。
9.如权利要求1所述的一种大数据采集分析与服务系统，其特征在于：所述网络发布端(3)包括政府信息平台、政府部门网站、门户网站、招聘网站和招投标网站。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072373.2A CN109857936A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据采集分析与服务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072373.2A CN109857936A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据采集分析与服务系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109857936A true CN109857936A (zh) | 2019-06-07 |
Family
ID=66896185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910072373.2A Pending CN109857936A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据采集分析与服务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109857936A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609939A (zh) * | 2019-09-11 | 2019-12-24 | 北京网聘咨询有限公司 | 基于Web的分布式招聘信息采集系统 |
| CN110807165A (zh) * | 2019-09-29 | 2020-02-18 | 江苏华泽微福科技发展有限公司 | 用于活动资讯的策划、执行的信息处理方法、计算机设备及存储介质 |
| CN110955835A (zh) * | 2019-11-28 | 2020-04-03 | 重庆市科学技术研究院 | 一种基于大数据技术的共享平台信息发布系统 |
| CN110990744A (zh) * | 2019-12-04 | 2020-04-10 | 江苏智谋科技有限公司 | 大数据处理中的虚假信息筛查设别系统及方法 |
| CN111949873A (zh) * | 2020-08-12 | 2020-11-17 | 成都鱼泡科技有限公司 | 一种工程任务信息推送方法及系统 |
| CN112365322A (zh) * | 2020-11-25 | 2021-02-12 | 刘维 | 一种供需对接方法及系统 |
| CN115250200A (zh) * | 2022-07-14 | 2022-10-28 | 平安科技（深圳）有限公司 | 服务授权认证方法及其相关设备 |
| CN116225216A (zh) * | 2023-01-04 | 2023-06-06 | 湖北工业大学 | 一种基于ar技术的茶叶文化展示系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101031100A (zh) * | 2007-03-28 | 2007-09-05 | 中国联合通信有限公司 | 一种涉农信息的分众传播系统及方法 |
| CN106855962A (zh) * | 2015-12-09 | 2017-06-16 | 星际空间（天津）科技发展有限公司 | 一种构建政务大数据平台的方法 |
| CN108510244A (zh) * | 2018-03-31 | 2018-09-07 | 四川久久合创信息技术有限公司 | 一种基于大数据的政策信息服务平台 |
-
2019
- 2019-01-25 CN CN201910072373.2A patent/CN109857936A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101031100A (zh) * | 2007-03-28 | 2007-09-05 | 中国联合通信有限公司 | 一种涉农信息的分众传播系统及方法 |
| CN106855962A (zh) * | 2015-12-09 | 2017-06-16 | 星际空间（天津）科技发展有限公司 | 一种构建政务大数据平台的方法 |
| CN108510244A (zh) * | 2018-03-31 | 2018-09-07 | 四川久久合创信息技术有限公司 | 一种基于大数据的政策信息服务平台 |
Non-Patent Citations (1)
| Title |
|---|
| 刘骊等: "《计算机服装建模及仿真》", 31 December 2018, 云南大学出版社 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609939A (zh) * | 2019-09-11 | 2019-12-24 | 北京网聘咨询有限公司 | 基于Web的分布式招聘信息采集系统 |
| CN110807165A (zh) * | 2019-09-29 | 2020-02-18 | 江苏华泽微福科技发展有限公司 | 用于活动资讯的策划、执行的信息处理方法、计算机设备及存储介质 |
| CN110955835A (zh) * | 2019-11-28 | 2020-04-03 | 重庆市科学技术研究院 | 一种基于大数据技术的共享平台信息发布系统 |
| CN110990744A (zh) * | 2019-12-04 | 2020-04-10 | 江苏智谋科技有限公司 | 大数据处理中的虚假信息筛查设别系统及方法 |
| CN111949873A (zh) * | 2020-08-12 | 2020-11-17 | 成都鱼泡科技有限公司 | 一种工程任务信息推送方法及系统 |
| CN112365322A (zh) * | 2020-11-25 | 2021-02-12 | 刘维 | 一种供需对接方法及系统 |
| CN115250200A (zh) * | 2022-07-14 | 2022-10-28 | 平安科技（深圳）有限公司 | 服务授权认证方法及其相关设备 |
| CN115250200B (zh) * | 2022-07-14 | 2023-08-22 | 平安科技（深圳）有限公司 | 服务授权认证方法及其相关设备 |
| CN116225216A (zh) * | 2023-01-04 | 2023-06-06 | 湖北工业大学 | 一种基于ar技术的茶叶文化展示系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109857936A (zh) | 一种大数据采集分析与服务系统 | |
| CN104809634B (zh) | 旅游数据调研与监测系统 | |
| CN107818150A (zh) | 一种日志审计方法及装置 | |
| CN109086325A (zh) | 基于区块链的数据处理方法和装置 | |
| Moreschini et al. | Cloud continuum: The definition | |
| CN109120428B (zh) | 一种用于风控分析的方法及系统 | |
| CN109670797A (zh) | 支付路由选取方法、装置、设备及存储介质 | |
| CN108710681A (zh) | 文件获取方法、装置、设备及存储介质 | |
| CN110362473A (zh) | 测试环境的优化方法及装置、存储介质、终端 | |
| CN109376187A (zh) | 一种基于区块链的查询方法和装置 | |
| CN109636307B (zh) | 河长app系统 | |
| CN105404644A (zh) | 一种舆情信息处理方法和系统 | |
| CN110175730A (zh) | 一种基于大数据的政府政策智能与企业匹配的系统及方法 | |
| CN107231376A (zh) | 一种idc机房动态分类分级管理系统 | |
| CN110134759A (zh) | 一种获取企业的行业信息的方法 | |
| CN110490559A (zh) | 一种移动执法检查方法、装置、系统及服务器 | |
| CN109710667A (zh) | 一种基于大数据平台的多源数据融合共享实现方法及系统 | |
| CN108876314B (zh) | 一种职业生涯专业能力可追溯方法及平台 | |
| CN109146663A (zh) | 流水信息的处理方法和系统 | |
| Bruns et al. | Detecting Twitter bots that share SoundCloud tracks | |
| CN106933971B (zh) | 一种基于科技服务的数据分析统计系统 | |
| CN109558887A (zh) | 一种预测行为的方法和装置 | |
| Ko et al. | Design of RPC-based blockchain monitoring agent | |
| CN108764832A (zh) | 城管和舆情诉求信息管理方法、系统、装置及设备 | |
| Li et al. | Learning to bundle proactively for on-demand meal delivery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |