CN109902225A - 一种基于大数据的政策信息查询推送系统及方法 - Google Patents

Abstract

本发明涉及大数据技术领域，涉及一种基于大数据的政策信息查询推送系统及方法，所述ES数据库模块利用网络爬虫技术采集网站上与科技政策有关的网页内容；所述政策原始数据库模块用于对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；所述政策采编模块用于对有用的政策通知文件进行再次分类标记；所述政策入库模块用于将编译好的政策数据选择入库并展示；所述政策展示模块用于对入库的政策进行罗列展示；所述政策推送模块即时推送政策信息给用户。本发明解决了现有技术无法对现有政策进行及时全面集中查询与推送的缺陷，达到快速有效进行政策信息查询推送的目的。

Description

一种基于大数据的政策信息查询推送系统及方法

技术领域

本发明涉及大数据技术领域，更具体地说，涉及一种基于大数据的政策信息查询推送系统及方法。

背景技术

目前国内整体创新发展环境良好，各地发布了一系列支持科技型企业创新发展的利好政策。但由于各类政策类型不同、分布零散、发布时间不同、所属管理部门也不同，需要花费大量的时间和精力来搜索政策来源、验证政策时效性、评估申报可行性等，这不利于及时从海量政策中筛选出符合其自身申报的政策，不能充分有效地做好项目规划和申报准备，加之多数企业并无专人负责政策管理或者负责政策管理的人员流动大且不够专业，导致错失享受优惠政策的机会。所以如何从海量的数据中快速筛选出符合企业申报或是企业重点关注的政策信息，并第一时间自动推送给企业联系人成了信息技术处理领域重要的研究方向。

目前关于这方面公开的发明技术方案并不多，专利申请号为《CN201810805780.5》的发明专利“一种政策信息推送的方法及装置”，该技术方案主要通过获取用户输入的政策订阅请求，根据订阅请求在预设的政策信息系统中搜索，以获取相匹配的政策信息，推送与关键词匹配的政策信息，该发明技术方案能提高企业获取政策信息的便捷性和实时性。专利申请号为《CN201510756679.1》的发明专利“一种政策推送管理系统”，该技术方案主要通过实时采集企业用户的企业基础数据及政策信息，先对采集保存的政策信息进行分解，再依照企业基础数据与政策信息匹配条件进行匹配，最后提取匹配的政策信息推送至对应的企业用户，该发明技术方案能够及时的将对企业用户利好的政策经分解后，根据自动获取的企业用户信息进行匹配并进行推送，使企业用户可以在第一时间享受优惠政策，同时还降低了人力成本，减少了企业成本。

现有专利所公开的技术主要是通过用户的订阅要求或条件匹配去推送符合用户的政策资讯，仅是为用户提供了很小一部分的政策资讯，对于用户想要同时查询了解整个政策最新动态有局限，且当前由于政策众多、政策信息变化以及用户自身条件变化等，对企业条件与政策信息的匹配也很难做到精准，所以当前这种方法仍未能实现整体、动态、全面地了解政策和精准匹配推送政策，一定程度上仍会导致错过部分政策项目申报。

发明内容

有鉴于此，本发明提供了一种基于大数据的政策信息查询推送系统及方法，以解决现有技术无法对现有政策进行及时全面集中查询与推送的缺陷。

本发明公开了一种基于大数据的政策信息查询推送系统，包括有ES数据库模块、政策原始数据库模块、政策采编模块、政策入库模块、政策展示模块以及政策推送模块；所述ES数据库模块的输出端与所述政策原始数据库模块的输入端电性连接，用于收集汇总全国各地政府网站，利用网络爬虫技术采集网站上与科技政策有关的网页内容；所述政策原始数据库模块的输出端与所述政策采编模块的输入端电性连接，用于对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；所述政策采编模块的输出端与所述政策入库模块的输入端电性连接，用于对有用的政策通知文件进行再次分类标记，并对政策类型进行分类标记成高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他板块；所述政策入库模块的输出端与所述政策展示模块的输入端电性连接，用于将编译好的政策数据选择入库并展示，同时对排版格式有误的页面内容重新编辑进行排版，对分类好的入库政策信息按照重要程度进行置顶操作；所述政策展示模块的输出端与所述政策推送模块的输入端电性连接，用于对入库的政策进行罗列展示，用户可以自定义筛选条件进行政策查询；所述政策推送模块通过在后台管理系统中导入目标用户名单，然后选择合适的政策信息，通过短信的方式即时推送给用户。

作为本发明的优选方案，所述政策采编模块还用于过滤掉没有价值的政策信息，把一些与科技政策无关的政策信息进行删除。

作为本发明的优选方案，所述政策采编模块还用于对政策性质进行分类标记成申报通知、公示名录、政府文件、政策解读、新闻资讯以及其他板块；且所述政策采编模块通过设置爬虫监控单元以实时监测政策数据更新情况，同时对每天更新的政策数据进行汇总。

作为本发明的优选方案，所述政策入库模块还用于将政策按照入库时间顺序排列，保证重要政策信息不遗漏，且同时在查找政策时有时间逻辑关联。

作为本发明的优选方案，所述政策展示模块用于对国家-省级-市级-区级的地区范围进行政策查询，或用于对高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他政策的政策类型进行政策查询。在本发明中，所述政策展示模块具有自动记录收藏地区范围检索的性能，即当用户首次选定了区域后，下次再登录政策展示模块，会记忆上次关注的区域，快速进行关联区域政策的查询；当选择到区域时，政策信息显示的内容包括区级+市级+省级的政策，比如查询天河区的政策，速递显示结果为天河区、广州市和广东省的全部政策，方便用户了解更全面的政策信息，同时有利于用户进行政策方面的规划工作。

作为本发明的优选方案，所述政策展示模块还用于对申报通知、公示名录、政府文件、政策解读、新闻资讯、其他政策的性质分类进行政策查询。在本发明中，针对申报通知进行政策查询，当用户首次选定标记项目起止日期后，下次再登录政策展示模块，会记忆上次关注的申报通知起止日期，快速进行关联区域政策的查询，并对项目申报截止时间进行倒计时提醒，避免用户错过项目的申报时间与申报要求。

作为本发明的优选方案，所述政策展示模块还用于对人民政府、科技局、知识产权局、人社局、经信委、工信委、发改委、工商局、中小企业局以及其他地方的发布单位进行政策查询。

作为本发明的优选方案，所述政策展示模块还用于对政策起始时间与截止时间的发布日期进行政策查询。

作为本发明的优选方案，所述政策推送模块还用于通过微信程序查看与了解实时政策动态，同时订阅自己关注的区域与感兴趣的政策信息，或通过智能匹配的方式进行个性定制。

一种基于大数据的政策信息查询推送方法，用于控制该基于大数据的政策信息查询推送系统，包括有：

S1、通过ES数据库模块收集汇总全国各地政府网站，利用网络爬虫技术采集网站上与科技政策有关的网页内容；

S2、通过政策原始数据库模块对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；

S3、通过政策采编模块对有用的政策通知文件进行再次分类标记，并对政策类型进行分类标记成高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他板块；

S4、通过政策入库模块将编译好的政策数据选择入库并展示，同时对排版格式有误的页面内容重新编辑进行排版，对分类好的入库政策信息按照重要程度进行置顶操作；

S5、通过政策展示模块对入库的政策进行罗列展示，用户可以自定义筛选条件进行政策查询；

S6、通过政策推送模块在后台管理系统中导入目标用户名单，然后选择合适的政策信息，通过短信的方式即时推送给用户。

从上述的技术方案可以看出，与现有技术相比，本发明的有益效果为：该系统收集囊括全国各省市区各个政府网站信息，实时更新政策数据库，以保证政策的及时性和全面性；且该系统设置的政策入库采编，可过滤无用政策，对有用政策通过文件类型、政策性质、发布时间、发布区域的重点标记来进行展示发布，这可实现多条件高级筛选，同时通过对重点文件进行标记置顶展示，实现优先级排序，可第一时间查看重点政策，这为政策查询大大节约时间，保证不错过任何重要的政策信息；通过政策推送模块的智能推送，通过短信或微信微信程序的查看，一方面可方便用户更及时地了解政策；另一方面也可方便科技从业者实时推送政策给企业用户，解决了现有技术无法对现有政策进行及时全面集中查询与推送的缺陷，并基于全面的政策体系，自动匹配推送适宜政策给用户，节省时间人力成本，从而达到快速有效进行政策信息查询推送的目的。

附图说明

图1为本发明实施例所提供的一种基于大数据的政策信息查询推送系统的系统框图。

图2为本发明实施例所提供的一种基于大数据的政策信息查询推送方法的步骤流程框图。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所述的附图作简单地介绍，显而易见，下面的描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在其它实施例中实现本发明创造所公开的技术。

具体实施方式

在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明实施例公开了一种基于大数据的政策信息查询推送系统，包括有ES数据库模块、政策原始数据库模块、政策采编模块、政策入库模块、政策展示模块以及政策推送模块；所述ES数据库模块的输出端与所述政策原始数据库模块的输入端电性连接，用于收集汇总全国各地政府网站，利用网络爬虫技术采集网站上与科技政策有关的网页内容；所述政策原始数据库模块的输出端与所述政策采编模块的输入端电性连接，用于对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；所述政策采编模块的输出端与所述政策入库模块的输入端电性连接，用于对有用的政策通知文件进行再次分类标记，并对政策类型进行分类标记成高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他板块；所述政策入库模块的输出端与所述政策展示模块的输入端电性连接，用于将编译好的政策数据选择入库并展示，同时对排版格式有误的页面内容重新编辑进行排版，对分类好的入库政策信息按照重要程度进行置顶操作；所述政策展示模块的输出端与所述政策推送模块的输入端电性连接，用于对入库的政策进行罗列展示，用户可以自定义筛选条件进行政策查询；所述政策推送模块通过在后台管理系统中导入目标用户名单，然后选择合适的政策信息，通过短信的方式即时推送给用户。

具体地，所述政策采编模块还用于过滤掉没有价值的政策信息，把一些与科技政策无关的政策信息进行删除。所述政策采编模块还用于对政策性质进行分类标记成申报通知、公示名录、政府文件、政策解读、新闻资讯以及其他板块；且所述政策采编模块通过设置爬虫监控单元以实时监测政策数据更新情况，同时对每天更新的政策数据进行汇总。所述政策采编模块针对申报通知标记倒计时提醒。此外，所述政策采编模块还设置爬虫监控单元，可以用来实时监测政策数据更新情况，可以监控每个爬虫有没有正常在工作，如果没有正常工作就会报错，同时对每天更新的政策数据进行汇总。所述政策入库模块还用于将政策按照入库时间顺序排列，保证重要政策信息不遗漏，且同时在查找政策时有时间逻辑关联。所述政策展示模块用于对国家-省级-市级-区级的地区范围进行政策查询，或用于对高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他政策的政策类型进行政策查询。所述政策展示模块还用于对申报通知、公示名录、政府文件、政策解读、新闻资讯、其他政策的性质分类进行政策查询。所述政策展示模块还用于对人民政府、科技局、知识产权局、人社局、经信委、工信委、发改委、工商局、中小企业局以及其他地方的发布单位进行政策查询。在本发明中，所述政策展示模块具有自动记录收藏地区范围检索的性能，即当用户首次选定了区域后，下次再登录政策展示模块，会记忆上次关注的区域，快速进行关联区域政策的查询；当选择到区域时，政策信息显示的内容包括区级+市级+省级的政策，比如查询天河区的政策，速递显示结果为天河区、广州市和广东省的全部政策，方便用户了解更全面的政策信息，同时有利于用户进行政策方面的规划工作。

所述政策展示模块还用于对政策起始时间与截止时间的发布日期进行政策查询。所述政策推送模块还用于通过微信程序查看与了解实时政策动态，同时订阅自己关注的区域与感兴趣的政策信息，或通过智能匹配的方式进行个性定制。在本发明中，针对申报通知进行政策查询，当用户首次选定标记项目起止日期后，下次再登录政策展示模块，会记忆上次关注的申报通知起止日期，快速进行关联区域政策的查询，并对项目申报截止时间进行倒计时提醒。

如图2所示，本发明实施例还公开了一种基于大数据的政策信息查询推送方法，用于控制该基于大数据的政策信息查询推送系统，包括有：

S1、通过ES数据库模块收集汇总全国各地政府网站，利用网络爬虫技术采集网站上与科技政策有关的网页内容；

S2、通过政策原始数据库模块对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；

S3、通过政策采编模块对有用的政策通知文件进行再次分类标记，并对政策类型进行分类标记成高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他板块；

S4、通过政策入库模块将编译好的政策数据选择入库并展示，同时对排版格式有误的页面内容重新编辑进行排版，对分类好的入库政策信息按照重要程度进行置顶操作；

S5、通过政策展示模块对入库的政策进行罗列展示，用户可以自定义筛选条件进行政策查询；

S6、通过政策推送模块在后台管理系统中导入目标用户名单，然后选择合适的政策信息，通过短信的方式即时推送给用户。

显然，本发明实施例收集囊括全国各省市区各个政府网站信息，实时更新政策数据库，以保证政策的及时性和全面性；且该系统设置的政策入库采编，可过滤无用政策，对有用政策通过文件类型、政策性质、发布时间、发布区域的重点标记来进行展示发布，这可实现多条件高级筛选，同时通过对重点文件进行标记置顶展示，实现优先级排序，可第一时间查看重点政策，这为政策查询大大节约时间，保证不错过任何重要的政策信息；通过政策推送模块的智能推送，通过短信或微信微信程序的查看，一方面可方便用户更及时地了解政策；另一方面也可方便科技从业者实时推送政策给企业用户，解决了现有技术无法对现有政策进行及时全面集中查询与推送的缺陷，并基于全面的政策体系，自动匹配推送适宜政策给用户，节省时间人力成本，从而达到快速有效进行政策信息查询推送的目的。

本发明实施例的具体优势和创新性可体现在以下几方面：

(1)政策标准化处理

对采集的各类政策进行筛选、标记处理后再入库发布展示，可实现多维度政策检索查询，提供最新最全面有价值的政策信息。

(2)自动识别地区

用户可通过“条件筛选”，关注自己所在地区的最新政策。其中“地区范围”进行了“记忆保存”设计，可自动保存用户第一次选择的结果，方便用户下一次能够更加快捷的了解自己所在区域的政策更新情况。

(3)政策智能推送

该系统通过短信的方式便可将合适的政策推送给用户，同步使用微信微信程序进行政策监控和智能匹配，用户只需要关注订阅，便可第一时间查看到最新最适合最感兴趣的政策。

因此，本发明实施例通过收集全国省市区各个口径的政府官方网站，后台统一完成网站政策数据的爬取，形成政策大数据库，再经过“政策采编”系统，从数据库中挑选相关的、有用的、重要的政策信息，过滤掉没有价值的政策信息，同时将散乱的政策通过“地区”、“政策类型”、“政策性质”、“发布单位”、“发布日期”的分类，清晰、有逻辑的呈现在用户面前。用户可随时查看与了解实时政策动态，同时订阅自己关注的区域与感兴趣的政策信息，或通过“智能匹配”的方式获得最佳的政策推送信息，其能够有效解决现有政策查询不及时、不集中、不全面的问题，同时基于全面的政策体系，自动匹配推送适宜政策给用户，节省时间人力成本。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于大数据的政策信息查询推送系统，其特征在于，包括有ES数据库模块、政策原始数据库模块、政策采编模块、政策入库模块、政策展示模块以及政策推送模块；所述ES数据库模块的输出端与所述政策原始数据库模块的输入端电性连接，用于收集汇总全国各地政府网站，利用网络爬虫技术采集网站上与科技政策有关的网页内容；所述政策原始数据库模块的输出端与所述政策采编模块的输入端电性连接，用于对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；所述政策采编模块的输出端与所述政策入库模块的输入端电性连接，用于对有用的政策通知文件进行再次分类标记，并对政策类型进行分类标记成高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他板块；所述政策入库模块的输出端与所述政策展示模块的输入端电性连接，用于将编译好的政策数据选择入库并展示，同时对排版格式有误的页面内容重新编辑进行排版，对分类好的入库政策信息按照重要程度进行置顶操作；所述政策展示模块的输出端与所述政策推送模块的输入端电性连接，用于对入库的政策进行罗列展示，用户可以自定义筛选条件进行政策查询；所述政策推送模块通过在后台管理系统中导入目标用户名单，然后选择合适的政策信息，通过短信的方式即时推送给用户。

2.根据权利要求1所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策采编模块还用于过滤掉没有价值的政策信息，把一些与科技政策无关的政策信息进行删除。

3.根据权利要求2所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策采编模块还用于对政策性质进行分类标记成申报通知、公示名录、政府文件、政策解读、新闻资讯以及其他板块；且所述政策采编模块通过设置爬虫监控单元以实时监测政策数据更新情况，同时对每天更新的政策数据进行汇总。

4.根据权利要求1所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策入库模块还用于将政策按照入库时间顺序排列，保证重要政策信息不遗漏，且同时在查找政策时有时间逻辑关联。

5.根据权利要求1所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策展示模块用于对国家-省级-市级-区级的地区范围进行政策查询，或用于对高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他政策的政策类型进行政策查询。

6.根据权利要求5所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策展示模块还用于对申报通知、公示名录、政府文件、政策解读、新闻资讯、其他政策的性质分类进行政策查询。

7.根据权利要求6所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策展示模块还用于对人民政府、科技局、知识产权局、人社局、经信委、工信委、发改委、工商局、中小企业局以及其他地方的发布单位进行政策查询。

8.根据权利要求7所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策展示模块还用于对政策起始时间与截止时间的发布日期进行政策查询。

9.根据权利要求1所述的一种基于大数据的政策信息查询推送系统，其特征在于，所述政策推送模块还用于通过微信程序查看与了解实时政策动态，同时订阅自己关注的区域与感兴趣的政策信息，或通过智能匹配的方式进行个性定制。

10.一种基于大数据的政策信息查询推送方法，其特征在于，用于控制权利要求1所述的一种基于大数据的政策信息查询推送系统，包括有：

S1、通过ES数据库模块收集汇总全国各地政府网站，利用网络爬虫技术采集网站上与科技政策有关的网页内容；

S2、通过政策原始数据库模块对网络爬虫爬取的数据按照政策标题、政策来源、政策省市区、URL链接以及发布时间的形式进行整合；

S3、通过政策采编模块对有用的政策通知文件进行再次分类标记，并对政策类型进行分类标记成高新技术企业、研发机构、科研立项、科技成果、知识产权、财税金融、人才团队以及其他板块；

S4、通过政策入库模块将编译好的政策数据选择入库并展示，同时对排版格式有误的页面内容重新编辑进行排版，对分类好的入库政策信息按照重要程度进行置顶操作；

S5、通过政策展示模块对入库的政策进行罗列展示，用户可以自定义筛选条件进行政策查询；

S6、通过政策推送模块在后台管理系统中导入目标用户名单，然后选择合适的政策信息，通过短信的方式即时推送给用户。