CN106960063A - 一种针对招商引资领域的互联网情报抓取和推荐系统 - Google Patents

Abstract

一种针对招商引资领域的互联网情报抓取和推荐系统，包括招商情报采集模块、招商情报分析模块、招商情报服务模块和数据存储模块。系统通过网络爬虫技术对媒体网站和社交媒体网站的公司信息进行抓取；通过基于人工监督和机器学习的推荐算法对网络的信息进行过滤和推荐，推荐出高质量符合用户目标范围的资讯信息；根据审核人的推荐与否以及推荐资讯的阅读量来自动修正情报推荐分析，从而使未来抓取信息的质量更高，减少人为的干预。本发明通过网络爬虫技术对网站信息进行爬取，同时将搜索结果按照用户设置的过滤规则进行过滤，获取用户所关注行业领域的各种企业和高科技企业的投资机会，从而汇集信息提供给招商人员作为招商引资的目标客商。

Description

一种针对招商引资领域的互联网情报抓取和推荐系统

技术领域

本发明涉及一种针对招商引资领域的互联网情报抓取和推荐系统，属于互联网技术领域。

背景技术

从事招商引资领域的人员依赖信息的获取来开展招商工作、服务工作和咨询工作。目前招商信息的来源偏重于线下的活动和客户拜访，缺少主动获取信息的高效手段。因此，利用互联网网络爬虫技术、全文检索技术和文本挖掘技术来帮助招商人员获得互联网的招商信息和资讯很有必要。

网络爬虫又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。网络爬虫将互联网的所有页面分为五类：已下载未过期、已下载已过期、待下载、可知、不可知。抓取策略可分为广度优先搜索策略、最佳优先搜索策略、深度优先搜索策略等。

全文检索是一种将文件中所有文本与检索项匹配的文字资料检索方法。全文检索研究的是对整个文档信息的表示、存储、组织和访问，即根据用户的查询要求，从信息数据库中检索出相关信息资料。全文检索的中心环节是文件内容表达、信息查询的获得以及相关信息的匹配。

文本挖掘是抽取有效、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。文本挖掘利用智能算法，如神经网络、基于案例的推理、可能性推理等，并结合文字处理技术，分析大量的非结构化文本源（如文档、电子表格、客户电子邮件、问题查询、网页等），抽取或标记关键字概念、文字间的关系，并按照内容对文档进行分类，获取有用的知识和信息。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。

发明内容

本发明的目的是为了解决招商引资的服务咨询方面存在的问题，提出一种针对招商引资领域的互联网情报抓取和推荐系统。

本发明的技术方案如下，一种针对招商引资领域的互联网情报抓取和推荐系统，将互联网的财经舆情、上市公司投资或并购的资讯、各公司CEO公开讲话以及社交媒体的跟踪信息通过网络爬虫的方式及时获取；通过基于人工监督和机器学习的推荐算法对网络的信息进行过滤和推荐，推荐出高质量符合用户目标范围的资讯信息；根据审核人的推荐与否以及推荐资讯的阅读量来自动修正情报推荐分析，从而使未来抓取信息的质量更高，减少人为的干预。

所述系统对媒体网站和社交媒体网站的公司提供的信息进行抓取，抓取的关键字比对和招商引资领域相关，用来发现各种招商项目信号。

所述机器学习的算法如下：

（1）推荐模型的初始算法是判断资讯是否出现知识库里的关键字以及关键字出现的频率，出现关键字频率高的资讯会被优先推荐；

（2）推荐出来的网页的特征要经过人工筛选，人工筛选的结果将网页分为正向网页和负向网页，同时筛选的结果被不同用户进行点击，点击量反映了网页的准确性和关联度；

（3）系统分析网页的特征值，网页特征值包括网页的网站网址、时间、出现频率最好的关键字；

（4）系统将网页的特征值，与人工筛选的结果以及网页的查看次数进行关联，用随机数建立最初的预测模型，用深度学习的神经网络加以训练，最后得出修正的推荐模型。

本发明是一种针对招商引资领域的互联网情报抓取和推荐系统，包括招商情报采集模块、招商情报分析模块、招商情报服务模块。招商情报采集模块从各网站采集招商情报后，将数据发送至招商情报分析模块；招商情报分析模块经过情报分析后，发出情报服务的指令给招商情报服务模块执行；招商情报采集模块、招商情报分析模块和招商情报服务模块的输出数据存入数据库中。

所述招商情报采集模块包括抓取规则定义子模块、网络爬虫子模块、统计分析子模块、人工审核子模块和规则设置子模块。所述抓取规则子模块制定情报抓取规则，网络爬虫子模块根据抓取规则将互联网的财经舆情、上市公司投资或并购的资讯、各公司关键人公开讲话以及社交媒体的跟踪信息通过网络爬虫子模块及时获取。

所述招商情报分析模块包括内容去重子模块、敏感词过滤子模块、情报关键词子模块、机器学习子模块和数据规范子模块。招商情报分析模块分析网页的特征值，网页的特征值包括网页的网站网址、时间、出现频率最好的关键字等。

所述招商情报服务模块包括专题展现子模块、舆情简报子模块、统计分析子模块、人工审核子模块和规则设置子模块。

与现有技术相比，本发明的有益效果是：本发明系统的情报抓取模块主要聚焦于财经类的舆情并有特定招商关键字来过滤这些舆情，使得信息更加精准。本发明系统返回的信息覆盖更广，不仅包括国内主要网络媒体，也包括各级政府官网、以及国外网站的公司资讯；通过本发明系统推荐的招商舆情筛选系统具有自我学习能力，能够根据用户的选择和查阅数量，形成新的推荐算法，从而推荐出更加符合用户需要的情报信息。

附图说明

图1为本发明的结构框图；

图2为本实施例采用的通用网络爬虫采集程序框图；

图3为本实施例采用的神经网络构成图。

具体实施方式

本发明的具体实施方式如图1所示。

本实施例一种针对招商引资领域的互联网情报抓取和推荐系统，包括招商情报采集模块、招商情报分析模块和招商情报服务模块。以下是对这几个模块的功能描述：

情报采集模块：

所述模块负责采集招商投资及相关主题的信息，只采集指定相关网站和版块的网页。通用网络爬虫所返回的结果包含大量用户不关心的网页，因此本系统的采集程序适合采用垂直型爬虫实现。根据给定入口地址，不断获取页面上新的链接，进行下载。链接分为目标URL和非目标URL，目标URL主要是文章正文的URL，目标URL除了解析其中的链接，还要进行正文、标题、发表时间等信息的抽取。通用网络爬虫采集程序如图2所示。

采集程序应满足的要求如下：

（1）采集的主题包括：招商、投资、财经、行业、企业、企业家、科技、高新技术、专利和科技成果、世界500强、国内100强等自定义的主题。

（2）采集相关文章的正文、标题、发表时间等。

（3）可以按采集网站对采集任务自动灵活调度，也可手动触发任务。

（4）静态页面和正文页面只采集一次，不重复采集。

（5）内容更新的动态页面可重复采集。

（6）待采集队列应做去重处理，避免重复采集。

（7）最新的信息能及时采集。

（8）可灵活设定采集线程数。

（9）可对不同网站设定不同的采集深度。

（10）能根据链接组织规则、页面结构灵活配置处理规则。

招商情报分析模块：

对采集到的正文进行分析，包括以下步骤：舆情识别，文本去重、文本摘要、舆情分类、舆情情感分析、企业关键字标记、可信度分析、计算招商机会指数、计算企业媒体指数和机器学习。

（1）舆情识别：

通过统计符合规则的关键字个数、权重，判断是否是包含舆情信息的文章。对于不包含舆情信息的文章，不需要进行进一步的分析处理，也不需要发布。文章的匹配指数= ，但匹配指数达到一定阈值的时候，该舆情就被识别。

（2）文本去重：

从相似度极高的文章中识别出内容基本相同的文章，进行去重处理。并将该文章加入到已有文章的转载列表。在文本去重的算法中，将文本进行中文分词，将文本看做是所有词的词频组成的向量，然后对这个向量降维成一个固定位数的签名，然后比较两个文本的哈希值，如果哈希值相同，那么就识别为同一篇文章。

（3）文本摘要：

可从正文提取出文章的重要的句子，并形成一篇文章的摘要内容。

（4）舆情分类：

按照文章的主题、不同分类方式和分类规则，对文章进行分类。主要包括舆情事件分类和行业分类，设置分类关键字及权重，计算文本中各分类关键字权重，分类权重大于一定阈值，则将此类文章划定为此分类。

（5）舆情情感分析：

自动识别文章是正面的、中性的、还是负面的文章。我们整合腾讯文智中文语义平台进行文本的情感分析。

（6）企业和关键字标记：

标记文本中出现的企业名称、简称、关键字。

（7）可信度分析：

文本去重时，记录内容相同文章的不同网站来源，统计同一文章在不同网站的转载数，转载数越高的文章可信度越高。

（8）计算招商机会指数：

通过匹配“并购”、“计划在华投资”等关键招商信号词语，依赖匹配的次数和权重来计算招商机会指数。

（9）企业媒体活跃指数：

定时统计一段时间类有企业标记的文章数量。

（10）机器学习：

所有匹配的资讯都有审核人进行人工审查，审查的过程就是机器进行数据训练的过程。将审核人的审核结果以及资讯推荐次数的信息关联筛选文章的关键字，典型的关联方法如下：

其中E为资讯是否为有用信息的人为判断结果，1代表有用，-1代表为没用，B为修正值。把每一次审查的结果都作为训练数据输入到机器学习的算法中，利用深度学习神经网络的算法不断对关键字的权重和B值调整迭代，直到以上公式对95%的信息都能在容错区间内成立。

本实施例采用的神经网络构成如图3所示。

本实施例将所有的网络舆情文章通过检索分类，按照行业、是否是企业库内的企业、舆情主题、发生时间以及所有核心时间关键字出现的频率进行分类。将这些文章输入到以上构建的神经网络中进行训练，设置一定数量的隐藏层神经网络来保证深度学习训练的准确性，通常设为2×输入数量+1，学习的规则定义为BP（BackPropagation）算法。通过设置好的神经网络进行训练，来调整关键字的权重，从而获得相对准确的文章和情报的关联关系。随着训练用的舆情文章数量越来越多，系统的舆情过滤就会越来越准确，也越来越符合用户的目标方向。

招商情报服务模块：

通过专题展现、舆情简报等向相关用户推荐可能的项目线索；招商情报服务模块应包括：

（1）首页展示：将最新的舆情按照行业分类、按照招商机会指数排名来展示目前最热门的咨询。

（2）领导人舆情：将最新的领导人讲话或活动信息，按照其代表的企业规模排名来呈现给招商情报部门。

（3）统计报表：对舆情情报的汇总情况进行按行业、按投资规模、国别进行统计，方便情报信息管理。

（4）信息简报：提供每周的舆情简报内容，方便领导快速找到相关的招商情报。

（5）舆情预警：但重大招商讯号出现的时候，提供短信提醒机制。

Claims (7)

1.一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述系统通过网络爬虫的方式及时获取互联网的财经舆情、上市公司投资或并购的资讯、各公司CEO公开讲话以及社交媒体的跟踪信息；通过网络爬虫技术对媒体网站和社交媒体网站的公司信息进行抓取；通过基于人工监督和机器学习的推荐算法对网络的信息进行过滤和推荐，推荐出高质量符合用户目标范围的资讯信息；根据审核人的推荐与否以及推荐资讯的阅读量来自动修正情报推荐分析，从而使未来抓取信息的质量更高，减少人为的干预。

2.根据权利要求1所述的一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述系统对媒体网站和社交媒体网站的公司提供的信息进行抓取，抓取的关键字比对和招商引资领域相关，用来发现各种招商项目信号。

3.根据权利要求1所述的一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述机器学习的算法如下：

（1）推荐模型的初始算法是判断资讯是否出现知识库里的关键字以及关键字出现的频率，出现关键字频率高的资讯会被优先推荐；

（2）推荐出来的网页的特征要经过人工筛选，人工筛选的结果将网页分为正向网页和负向网页，同时筛选的结果被不同用户进行点击，点击量反映了网页的准确性和关联度；

（3）系统分析网页的特征值，网页特征值包括网页的网站网址、时间、出现频率最好的关键字；

（4）系统将网页的特征值，与人工筛选的结果以及网页的查看次数进行关联，用随机数建立最初的预测模型，用深度学习的神经网络加以训练，最后得出修正的推荐模型。

4.根据权利要求1所述的一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述系统包括招商情报采集模块、招商情报分析模块、招商情报服务模块和数据存储模块；招商情报采集模块从各网站采集招商情报后，将数据发送至招商情报分析模块；招商情报分析模块经过情报分析后，发出情报服务的指令给招商情报服务模块执行；招商情报采集模块、招商情报分析模块和招商情报服务模块的输出数据存入数据库中。

5.根据权利要求4所述的一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述招商情报采集模块包括抓取规则定义子模块、网络爬虫子模块、统计分析子模块、人工审核子模块和规则设置子模块；所述抓取规则子模块制定情报抓取规则，网络爬虫子模块根据抓取规则将互联网的财经舆情、上市公司投资或并购的资讯、各公司关键人公开讲话以及社交媒体的跟踪信息通过网络爬虫子模块及时获取。

6.根据权利要求4所述的一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述招商情报分析模块包括内容去重子模块、敏感词过滤子模块、情报关键词子模块、机器学习子模块和数据规范子模块；招商情报分析模块分析网页的特征值，网页的特征值包括网页的网站网址、时间、出现频率最好的关键字。

7.根据权利要求4所述的一种针对招商引资领域的互联网情报抓取和推荐系统，其特征在于，所述招商情报服务模块包括专题展现子模块、舆情简报子模块、统计分析子模块、人工审核子模块和规则设置子模块。