CN105808722B - 一种信息判别方法和系统 - Google Patents

Abstract

本发明提供了一种信息判别方法及系统，基于网络爬虫技术，检索并收集传统媒体和社交媒体的热点信息对应的网页信息，并对收集到的网页信息进行处理，得到类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；基于训练集数据进行主题建模获取主题与关键词文档，并建立对应传统媒体数据的主题特征集合和对应社交媒体数据的关键词特征集合；利用主题特征集合和关键词特征集合训练分类器，通过得到的传统媒体分类器和社交媒体分类器对测试集数据进行分类判别，得到能够引发社交媒体报道的传统媒体数据，和/或能够引发传统媒体报道的社交媒体数据。由此采用对多个媒体的监测，能够更全面，更快的分析和预测舆情发展的趋势。

Description

一种信息判别方法和系统

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种信息判别方法方法和系统。

背景技术

目前针对网络舆情监控的方式，主要采用从信息流中进行新话题的自动识别和已知话题进行持续跟踪。如美国的TDT(Topic Detection and Tracking)系统、北京拓尔思公司的TRS舆情监控系统等。但是上述系统所进行的网络舆情监控仅仅在单一的媒体中监测，无法结合传统媒体和社交媒体两者信息流之间的互动关系来更好的分析预测舆情的发展趋势。

针对当前我国国土面积庞大且分散的国情，人们获取信息的来源并不仅仅依赖于一种媒体，且传统媒体和社交媒体之间存在信息交互的能够产生相互影响的关系。例如，作为社交媒体之一的微博所传播的热点信息，也可以引起作为传统媒体的新闻的广泛报道；同样的，新闻所播报的事件也可能引发微博的热议，从而显著推动着舆论的发展趋势。

鉴于此，如何结合传统媒体和社交媒体的相互影响关系，更全面更迅速的掌握网络舆情的发展趋势及预测突发事件的爆发，则成为当前最重要的研究方向。

发明内容

本发明基于上述问题，提出了一种信息判别方法和系统，以便于解决现有技术中仅对单一媒体进行监测，导致分析和预测舆情发展趋势较为片面的问题。

为解决上述问题，本发明公开了以下技术方案；

一种信息判别方法，所述方法包括：

基于网络爬虫技术，检索并收集互联网上传统媒体和社交媒体的热点信息对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库；

对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；

其中，相同主题下不同影响力的传统媒体数据和社交媒体数据分别用不同类别数据进行表示；

基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合；

利用所述主题特征集合和关键词特征集合训练分类器，分别得到传统媒体分类器和社交媒体分类器，并通过所述传统媒体分类器和社交媒体分类器分别基于每一类别数据按照热度进行分类，且每一个分类中按照时间先后顺序对当前分类中所包含的数据进行排列；

利用所述传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，得到能够引发社交媒体报道的所述传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。

优选的，所述基于网络爬虫技术，检索并收集互联网上传统媒体和社交媒体的热点话题对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库，包括：

基于网络爬虫技术，检索互联网上传统媒体和社交媒体的热点话题；

收集对应所述热点话题的传统媒体网页信息和社交媒体网页信息；

按时间先后顺序对每条所述传统媒体网页信息和社交媒体网页信息进行存储，并生成对应的传统媒体信息库和社交媒体信息库；

其中，所述网页信息中包括时间信息，来源信息，原始URL，著者信息和正文信息。

优选的，所述对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，分 别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合，包括：

解析所述传统媒体信息库中存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签，得到对应的传统媒体数据和社交媒体数据；

对所述传统媒体数据和社交媒体数据进行格式归一化，利用类别数据标记传统媒体数据和社交媒体数据，并针对每类别数据划分训练集数据和测试集数据；

其中，对同一主题下传统媒体数据和社交媒体数据，利用第一类别数据表示发文时间早的数据，利用第二类别数据表示发文时间晚的数据；

对每类别数据划分的所述训练集数据和测试集数据的数据进行文本分词，命名实体识别和去粒度化操作，得到传统媒体和社交媒体数据集合。

优选的，所述基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合，包括：

识别训练集数据中传统媒体数据和社交媒体数据的主题信息，获取所述主题信息对应的关键词集合，生成主题与关键词文档；

针对所述传统媒体数据，提取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合；

针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合。

优选的，所述针对所述传统媒体数据，获取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合，包括：

针对所述传统媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词特征表；

遍历所述关键词特征表和所述主题与关键词文档，得到每个所述关键词所对应的主题；

构建每个所述关键词的索引与所对应的主题的索引的映射关系，生成对应的关键词和主题索引映射表，其中，一个关键词对应一个映射关系和/或对应多个映射关系；

将所述关键词和主题索引映射表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述传统媒体数据，将所述关键词对应的主题索引作为特征指序号，并建立对应的主题特征集合。

优选的，所述针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合，包括：

针对所述社交媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词文档；

对所述关键词文档中的内容进行去重复和去无用词操作，生成关键词特征表；

将所述关键词特征表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述社交媒体数据，将所述关键词的索引作为特征指序号，并建立对应的关键词特征集合。

一种信息判别系统，所述系统包括：

信息收集模块，用于基于网络爬虫技术，检索并收集互联网上传统媒体和社交媒体的热点话题对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库；

信息预处理模块，用于对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；其中，相同主题下不同影响力的传统媒体数据和社交媒体数据分别用不同类别数据进行表示；

特征集合生成模块，用于基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合；

分类器训练模块，用于利用所述主题特征集合和关键词特征集合训练分类器，分别得到传统媒体分类器和社交媒体分类器，并通过所述传统媒 体分类器和社交媒体分类器分别基于每一类别数据按照热度进行分类，且每一个分类中按照时间先后顺序对当前分类中所包含的数据进行排列；

分类判别模块，用于利用所述传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，得到能够引发社交媒体报道的所述传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。

优选的，所述信息预处理模块包括：

网页解析单元，用于解析所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签，得到对应的传统媒体数据和社交媒体数据；

格式归一化单元，用于对所述传统媒体数据和社交媒体数据进行格式归一化，利用类别数据标记传统媒体数据和社交媒体数据，并针对每类别数据划分训练集数据和测试集数据；其中，对同一主题下传统媒体数据和社交媒体数据，利用第一类别数据表示发文时间早的数据，利用第二类别数据表示发文时间晚的数据；

处理单元，用于对每类别数据划分的所述训练集数据和测试集数据的数据进行文本分词，命名实体识别和去粒度化操作，得到传统媒体和社交媒体数据集合。

优选的，所述特征集合生成模块包括：

识别单元，用于识别训练集数据中传统媒体数据和社交媒体数据的主题信息，获取所述主题信息对应的关键词集合，生成主题与关键词文档；

第一建立单元，用于针对所述传统媒体数据，提取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合；

第二建立单元，用于针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合。

优选的，所述第一建立单元包括：

第一生成子单元，用于针对所述传统媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词特征表；

遍历子单元，用于遍历所述关键词特征表和所述主题与关键词文档，得到每个所述关键词所对应的主题；

构建子单元，用于构建每个所述关键词的索引与所对应的主题的索引的映射关系，生成对应的关键词和主题索引映射表，其中，一个关键词对应一个映射关系和/或对应多个映射关系；

第一建立子单元，用于将所述关键词和主题索引映射表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述传统媒体数据，将所述关键词对应的主题索引作为特征指序号，并建立对应的主题特征集合；

所述第二建立单元包括：

第二生成子单元，用于针对所述社交媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词文档；

第三生成子单元，用于对所述关键词文档中的内容进行去重复和去无用词操作，生成关键词特征表；

第二建立子单元，用于将所述关键词特征表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述社交媒体数据，将所述关键词的索引作为特征指序号，并建立对应的关键词特征集合。

本发明实施例公开的一种信息判别方法及系统，基于网络爬虫技术，检索并收集互联网上传统媒体和社交媒体的热点信息对应的网页信息，并对收集到的传统媒体和社交媒体的网页信息分别进行数据分析处理，得到利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；基于训练集数据进行主题建模获取主题与关键词文档，并利用主题与关键词文档分别建立对应传统媒体数据的主题特征集合和对应社交媒体数据的关键词特征集合；利用主题特征集合和关键词特征集合训练分类器，并通过得到的传统媒体和社交媒体分类器进行分类，以及对测试集数据进行分类判别，得到能够引发社交媒体报道的传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。由此，采用对多个媒体的监测，能够更全面，更快的分析和预测舆情发展的趋势。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例一公开的一种信息判别方法的流程示意图；

图2示出了本发明实施例二公开的一种信息判别方法的部分流程示意图；

图3示出了本发明实施例二公开了一种信息判别方法的部分流程示意图；

图4示出了本发明实施例二公开了一种信息判别方法的部分流程示意图；

图5示出了本发明实施例三公开了一种信息判别系统的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明结合传统媒体和社交媒体的相互影响关系，更全面更迅速的掌握网络舆情的发展趋势及预测突发事件的爆发，具体通过以下实施例进行详细说明。

实施例一

如图1所示，为本发明实施例公开的一种信息判别方法的流程图，主要包括：

S101，基于网络爬虫技术，检索并收集互联网上传统媒体和社交媒体的热点信息对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库；

在S101中所基于的网络爬虫技术可以根据需求由监人员进行自定义或者预先进行设置。在执行S101的过程中，以URL(统一资源定位符Uniform Resource Locator)为入口，可以从如百度实时热点排行榜等门户网站的热点排行榜中的关键词列表得到热点话题关键词，然后依据每个热点话题关键词结合网络爬虫技术在互联网或万维网上检索和采集传统媒体的热点信息对应的网页信息，以及社交媒体的热点信息对应的网页信息，并对应生成传统媒体信息库和社交媒体信息库；

其中，在传统媒体信息库和社交媒体信息库中，按照时间先后顺序将各自的网页信息存储于对应的传统媒体信息库和社交媒体信息库中；

需要说明的是，这里的传统媒体信息库可以是文档的形式，即传统媒体文档，同样的，社交媒体信息库也可以是文档的形式，即社交媒体文档；

另外，需要说明的是，传统媒体通常采用长文本，社交媒体通常采用短文本；

S102，对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；

在S102中，对于存储于传统媒体信息库和社交媒体信息库中的网页信息分别进行数据处理，得到纯文本数据，并将网页信息中的非有效信息摒弃，只保留有效信息，该网页信息的有效信息主要包括：时间信息，来源信息，原始URL，著者信息和正文信息。当然该有效信息并不仅限于此，还可以根据需求保留更多的有效信息；将上述得到的纯文本数据进行格式归一化，利用不同的类别数据进行标记，其中，相同主题下不同影响力的传统媒体数据和社交媒体数据分别用不同类别数据进行表示；在标记后， 将一部分数据作为训练集数据保存于传统媒体和社交媒体数据集合中，将剩余数据作为测试集数据保存于传统媒体和社交媒体数据集合中；

需要说明的是，作为训练集数据保存的数据大于作为测试集数据保存的数据，通常情况下，利用同一类别数据标记的传统媒体数据和社交媒体数据中，训练集数据占80％，测试集数据占20％；

S103，基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合；

在S103中，通过主题建模的方式，从训练集数据中自动识别主题信息，并提取关键词，生成包含主题与关键词文档，并利用该主题与关键词文档针对社交媒体数据的特征生成关键词特征集合，针对传统媒体数据的特征生成主题特征集合；

S104，利用所述主题特征集合和关键词特征集合训练分类器，分别得到传统媒体分类器和社交媒体分类器，并通过所述传统媒体分类器和社交媒体分类器分别基于每一类别数据按照热度进行分类，且每一个分类中按照时间先后顺序对当前分类中所包含的数据进行排列；

在S104中，利用所述主题特征集合和关键词特征集合训练分类器，生成传统媒体分类器和社交媒体分类器，需要说明的是，在本发明公开的实施例中所采用的分类器为SVM分类器，但是，本发明对所采用的分类器类型并仅限于此，还可以是其他类型的分类器；

S105，利用所述传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，得到能够引发社交媒体报道的所述传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。

在S105中，利用执行S104获取到的传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，由此在传统媒体数据中识别出能够引发社交媒体报道的传统媒体数据，在社交媒体数据中识别出能够引发传统媒体报道的社交媒体数据。

本发明实施例公开的信息判别方法，基于上述对传统媒体数据和社交媒体数据进行分类，并基于分类判断得到两个不同媒体中可以相互影响的数据，对与上述不限于对单一的媒体进行监控，也更能够更全面，更快的分析和预测舆情发展的趋势。

实施例二

基于上述本发明实施例一公开的信息判别方法，针对图1中所示出的S101，具体执行过程如图2所示，主要包括：

S201，基于网络爬虫技术，检索互联网上传统媒体和社交媒体的热点话题；

S202，收集对应所述热点话题的传统媒体网页信息和社交媒体网页信息；

S203，按时间先后顺序对每条所述传统媒体网页信息和社交媒体网页信息进行存储，并生成对应的传统媒体信息库和社交媒体信息库。

其中，所述网页信息中包括时间信息，来源信息，原始URL，著者信息和正文信息等有效信息，这里的传统媒体信息库可以是文档的形式，即传统媒体文档，同样的，社交媒体信息库也可以是文档的形式，即社交媒体文档。

针对图1中所示出的S102，具体执行过程如图3所示，主要包括：

S301，解析所述传统媒体信息库中存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签，得到对应的传统媒体数据和社交媒体数据；

在S301中，对所述传统媒体信息库中存储的传统媒体网页信息中的HTML标签进行解析，得到纯文本数据的传统媒体数据；对所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签进行解析，得到纯文本数据的社交媒体数据；

S302，对所述传统媒体数据和社交媒体数据进行格式归一化，利用类别数据标记传统媒体数据和社交媒体数据，并针对每类别数据划分训练集数据和测试集数据；

在S302中，对同一主题下传统媒体数据和社交媒体数据，利用第一类别数据表示发文时间早的数据，利用第二类别数据表示发文时间晚的数据；如，用类别数据+1和-1表示或标记文档的正负例，其中，+1标记在同一主题下影响力大的传统媒体数据或社交媒体数据，-1标记在同一主题下影响力小的传统媒体数据或社交媒体数据；需要说明的是，影像力的大小可以通过点击率，阅读量等等信息体现，此外，发文时间的早晚在同一主题下也对影响力有作用；

S303，对每类别数据划分的所述训练集数据和测试集数据的数据进行文本分词，命名实体识别和去粒度化操作，得到传统媒体和社交媒体数据集合。

在S303中，按照标记的类别数据，对训练集数据和测试集数据进行文本分词，在分成单个词后，进行命名实体识别并执行去粒度化操作；采用对分词后的命名实体的去粒度化操作，能够使原本被细粒度化的人名、地名、机构名重新组合成一个对应的实体名词，并将其整体作为一个关键词。

针对图1中所示出的S103，具体执行过程如图4所示，主要包括：

S401，识别训练集数据中传统媒体数据和社交媒体数据的主题信息，获取所述主题信息对应的关键词集合，生成主题与关键词文档；

因为传统媒体通常采用长文本，社交媒体通常采用短文本；因此，针对传统媒体数据通常执行步骤S402，针对社交媒体数据通常执行步骤S403；

S402，针对所述传统媒体数据，提取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合；

在本发明实施例公开的技术方案中，优选的，若S401中传统媒体数据来源于新闻，社交媒体数据来源于微博，则在执行S402的过程中，首先，针对所述传统媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词特征表；

其次，遍历所述关键词特征表和所述主题与关键词文档，得到每个所述关键词所对应的主题；

其次，构建每个所述关键词的索引与所对应的主题的索引的映射关系，生成对应的关键词和主题索引映射表，其中，一个关键词对应一个映射关系和/或对应多个映射关系；

最后，将所述关键词和主题索引映射表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述传统媒体数据，将所述关键词对应的主题索引作为特征指序号，并建立对应的主题特征集合；

S403，针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合。

在本发明实施例公开的技术方案中，优选的，若S401中传统媒体数据来源于新闻，社交媒体数据来源于微博，在执行S403的过程中，首先，针对所述社交媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词文档；

其次，对所述关键词文档中的内容进行去重复和去无用词操作，生成关键词特征表；

最后，将所述关键词特征表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述社交媒体数据，将所述关键词的索引作为特征指序号，并建立对应的关键词特征集合。

在本发明实施例公开的信息判别方法的技术方案中，基于网络爬虫技术，检索并收集传统媒体和社交媒体的热点信息对应的网页信息，并对收集到的网页信息进行处理，得到类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；基于训练集数据进行主题建模获取主题与关键词文档，并建立对应传统媒体数据的主题特征集合和对应社交媒体数据的关键词特征集合；利用主题特征集合和关键词特征集合训练分类器，通过得到的传统媒体分类器和社交媒体分类器对测试集数据进行分类判别，得到能够引发社交媒体报道的传统媒体数据，和/或能够引发 传统媒体报道的社交媒体数据。由此采用对多个媒体的监测，能够更全面，更快的分析和预测舆情发展的趋势。

实施例三

基于上述本发明实施例一和实施例二公开的一种信息判别方法，本发明该实施例三对应公开了相应的信息判别系统。

如图5所示，为对应本发明实施例一公开的信息判别系统100的示意框图，主要包括：

信息收集模块101，用于基于网络爬虫技术，检索并收集互联网上传统媒体和社交媒体的热点话题对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库；

信息预处理模块102，用于对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；其中，相同主题下不同影响力的传统媒体数据和社交媒体数据分别用不同类别数据进行表示；

特征集合生成模块103，用于基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合；

分类器训练模块104，用于利用所述主题特征集合和关键词特征集合训练分类器，分别得到传统媒体分类器和社交媒体分类器，并通过所述传统媒体分类器和社交媒体分类器分别基于每一类别数据按照热度进行分类，且每一个分类中按照时间先后顺序对当前分类中所包含的数据进行排列；

分类判别模块105，用于利用所述传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，得到能够引发社交媒体报道的所述传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。

在上述本发明实施例公开的信息判别系统中，优选的，上述公开的所述信息收集模块101包括：

检索单元，用于基于网络爬虫技术，检索互联网上传统媒体和社交媒体的热点话题；

收集单元，用于收集对应所述热点话题的传统媒体网页信息和社交媒体网页信息；

第一生成单元，用于按时间先后顺序对每条所述传统媒体网页信息和社交媒体网页信息进行存储，并生成对应的传统媒体信息库和社交媒体信息库；其中，所述网页信息中包括时间信息，来源信息，原始URL，著者信息和正文信息。

在上述本发明实施例公开的信息判别系统中，优选的，上述公开的信息预处理模块102包括：

网页解析单元，用于解析所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签，得到对应的传统媒体数据和社交媒体数据；

格式归一化单元，用于对所述传统媒体数据和社交媒体数据进行格式归一化，利用类别数据标记传统媒体数据和社交媒体数据，并针对每类别数据划分训练集数据和测试集数据；其中，对同一主题下传统媒体数据和社交媒体数据，利用第一类别数据表示发文时间早的数据，利用第二类别数据表示发文时间晚的数据；

处理单元，用于对每类别数据划分的所述训练集数据和测试集数据的数据进行文本分词，命名实体识别和去粒度化操作，得到传统媒体和社交媒体数据集合。

在上述本发明实施例公开的信息判别系统中，优选的，上述公开的信息预处理模块103包括：

识别单元，用于识别训练集数据中传统媒体数据和社交媒体数据的主题信息，获取所述主题信息对应的关键词集合，生成主题与关键词文档；

第一建立单元，用于针对所述传统媒体数据，提取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合；

第二建立单元，用于针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合。

在本发明实施例公开的信息判别系统中，优选的，所述第一建立单元包括：

第一生成子单元，用于针对所述传统媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词特征表；

遍历子单元，用于遍历所述关键词特征表和所述主题与关键词文档，得到每个所述关键词所对应的主题；

构建子单元，用于构建每个所述关键词的索引与所对应的主题的索引的映射关系，生成对应的关键词和主题索引映射表，其中，一个关键词对应一个映射关系和/或对应多个映射关系；

第一建立子单元，用于将所述关键词和主题索引映射表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述传统媒体数据，将所述关键词对应的主题索引作为特征指序号，并建立对应的主题特征集合；

在本发明实施例公开的信息判别系统中，优选的，所述第二建立单元包括：

第二生成子单元，用于针对所述社交媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词文档；

第三生成子单元，用于对所述关键词文档中的内容进行去重复和去无用词操作，生成关键词特征表；

第二建立子单元，用于将所述关键词特征表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述社交媒体数据，将所述关键词的索引作为特征指序号，并建立对应的关键词特征集合。

需要说明的是，上述本发明实施例公开的信息判别系统中的各个单元和模块，其具体执行过程的原理与上述本发明实施例公开的信息判别方法对应，可参看上述记载，这里不再进行赘述。

以上结合附图详细说明了本发明的技术方案，本发明提出了一种信息判别方法及系统，通过基于网络爬虫技术，检索并收集传统媒体和社交媒体的热点信息对应的网页信息，并对收集到的网页信息进行处理，得到类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；基于训练集数据进行主题建模获取主题与关键词文档，并建立对应传统媒体数据的主题特征集合和对应社交媒体数据的关键词特征集合；利用主题特征集合和关键词特征集合训练分类器，通过得到的传统媒体分类器和社交媒体分类器对测试集数据进行分类判别，得到能够引发社交媒体报道的传统媒体数据，和/或能够引发传统媒体报道的社交媒体数据。由此采用对多个媒体的监测，能够更全面，更快的分析和预测舆情发展的趋势。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种信息判别方法，其特征在于，所述方法包括：

基于网络爬虫技术，从实时热点排行榜中确定热点信息，检索并收集互联网上传统媒体和社交媒体的热点信息对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库；所述传统媒体包括从事新闻工作的媒体平台，所述社交媒体为供用户撰写和分享信息的网络虚拟平台；

对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，将网页信息中的非有效信息摒弃，保留有效信息，并分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；

其中，相同主题下不同影响力的传统媒体数据和社交媒体数据分别用不同类别数据进行表示；

基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合；

利用所述主题特征集合和关键词特征集合训练分类器，分别得到传统媒体分类器和社交媒体分类器，并通过所述传统媒体分类器和社交媒体分类器分别基于每一类别数据按照热度进行分类，且每一个分类中按照时间先后顺序对当前分类中所包含的数据进行排列；

利用所述传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，得到能够引发社交媒体报道的所述传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。

2.根据权利要求1所述的方法，其特征在于，所述基于网络爬虫技术，从实时热点排行榜中确定热点信息，检索并收集互联网上传统媒体和社交媒体的热点话题对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库，包括：

基于网络爬虫技术，检索互联网上传统媒体和社交媒体的热点话题；

收集对应所述热点话题的传统媒体网页信息和社交媒体网页信息；

按时间先后顺序对每条所述传统媒体网页信息和社交媒体网页信息进行存储，并生成对应的传统媒体信息库和社交媒体信息库；

其中，所述网页信息中包括时间信息，来源信息，原始URL，著者信息和正文信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合，包括：

解析所述传统媒体信息库中存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签，将网页信息中的非有效信息摒弃，保留有效信息，得到对应的传统媒体数据和社交媒体数据；

对所述传统媒体数据和社交媒体数据进行格式归一化，利用类别数据标记传统媒体数据和社交媒体数据，并针对每类别数据划分训练集数据和测试集数据；

其中，对同一主题下传统媒体数据和社交媒体数据，利用第一类别数据表示发文时间早的数据，利用第二类别数据表示发文时间晚的数据；

对每类别数据划分的所述训练集数据和测试集数据的数据进行文本分词，命名实体识别和去粒度化操作，得到传统媒体和社交媒体数据集合。

4.根据权利要求1所述的方法，其特征在于，所述基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合，包括：

识别训练集数据中传统媒体数据和社交媒体数据的主题信息，获取所述主题信息对应的关键词集合，生成主题与关键词文档；

针对所述传统媒体数据，提取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合；

针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合。

5.根据权利要求4所述的方法，其特征在于，所述针对所述传统媒体数据，获取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合，包括：

针对所述传统媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词特征表；

遍历所述关键词特征表和所述主题与关键词文档，得到每个所述关键词所对应的主题；

构建每个所述关键词的索引与所对应的主题的索引的映射关系，生成对应的关键词和主题索引映射表，其中，一个关键词对应一个映射关系和/或对应多个映射关系；

将所述关键词和主题索引映射表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述传统媒体数据，将所述关键词对应的主题索引作为特征指序号，并建立对应的主题特征集合。

6.根据权利要求4所述的方法，其特征在于，所述针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合，包括：

针对所述社交媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词文档；

对所述关键词文档中的内容进行去重复和去无用词操作，生成关键词特征表；

将所述关键词特征表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述社交媒体数据，将所述关键词的索引作为特征指序号，并建立对应的关键词特征集合。

7.一种信息判别系统，其特征在于，所述系统包括：

信息收集模块，用于基于网络爬虫技术，从实时热点排行榜中确定热点信息，检索并收集互联网上传统媒体和社交媒体的热点话题对应的网页信息，并生成对应的传统媒体信息库和社交媒体信息库；所述传统媒体包括从事新闻工作的媒体平台，所述社交媒体为供用户撰写和分享信息的网络虚拟平台；

信息预处理模块，用于对所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息分别进行数据分析处理，将网页信息中的非有效信息摒弃，保留有效信息，并分别生成利用类别数据标记的、划分有训练集数据和测试集数据的传统媒体和社交媒体数据集合；其中，相同主题下不同影响力的传统媒体数据和社交媒体数据分别用不同类别数据进行表示；

特征集合生成模块，用于基于所述训练集数据进行主题建模获取主题与关键词文档，利用所述主题与关键词文档建立对应所述传统媒体数据的主题特征集合，及建立对应所述社交媒体数据的关键词特征集合；

分类器训练模块，用于利用所述主题特征集合和关键词特征集合训练分类器，分别得到传统媒体分类器和社交媒体分类器，并通过所述传统媒体分类器和社交媒体分类器分别基于每一类别数据按照热度进行分类，且每一个分类中按照时间先后顺序对当前分类中所包含的数据进行排列；

分类判别模块，用于利用所述传统媒体分类器和社交媒体分类器对所述测试集数据进行分类判别，得到能够引发社交媒体报道的所述传统媒体数据，和/或得到能够引发传统媒体报道的社交媒体数据。

8.根据权利要求7所述的系统，其特征在于，所述信息预处理模块包括：

网页解析单元，用于解析所述传统媒体信息库存储的传统媒体网页信息，及所述社交媒体信息库中存储的社交媒体网页信息中的HTML标签，将网页信息中的非有效信息摒弃，保留有效信息，得到对应的传统媒体数据和社交媒体数据；

格式归一化单元，用于对所述传统媒体数据和社交媒体数据进行格式归一化，利用类别数据标记传统媒体数据和社交媒体数据，并针对每类别数据划分训练集数据和测试集数据；其中，对同一主题下传统媒体数据和社交媒体数据，利用第一类别数据表示发文时间早的数据，利用第二类别数据表示发文时间晚的数据；

处理单元，用于对每类别数据划分的所述训练集数据和测试集数据的数据进行文本分词，命名实体识别和去粒度化操作，得到传统媒体和社交媒体数据集合。

9.根据权利要求7所述的系统，其特征在于，所述特征集合生成模块包括：

识别单元，用于识别训练集数据中传统媒体数据和社交媒体数据的主题信息，获取所述主题信息对应的关键词集合，生成主题与关键词文档；

第一建立单元，用于针对所述传统媒体数据，提取所述主题与关键词文档中同一关键词下的主题，构建所述关键词的索引与每个主题信息索引的映射关系，建立对应的主题特征集合；

第二建立单元，用于针对所述社交媒体数据，提取所述主题与关键词文档中的每个主题下的所有关键词，将每个关键词作为特征值序号，建立对应的关键词特征集合。

10.根据权利要求9所述的系统，其特征在于，所述第一建立单元包括：

第一生成子单元，用于针对所述传统媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词特征表；

遍历子单元，用于遍历所述关键词特征表和所述主题与关键词文档，得到每个所述关键词所对应的主题；

构建子单元，用于构建每个所述关键词的索引与所对应的主题的索引的映射关系，生成对应的关键词和主题索引映射表，其中，一个关键词对应一个映射关系和/或对应多个映射关系；

第一建立子单元，用于将所述关键词和主题索引映射表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述传统媒体数据，将所述关键词对应的主题索引作为特征指序号，并建立对应的主题特征集合；

所述第二建立单元包括：

第二生成子单元，用于针对所述社交媒体数据，提取所述主题与关键词文档中每个主题下的所有关键词，生成关键词文档；

第三生成子单元，用于对所述关键词文档中的内容进行去重复和去无用词操作，生成关键词特征表；

第二建立子单元，用于将所述关键词特征表与所述训练集数据、所述测试集数据进行一一匹配，对匹配到关键词的所述社交媒体数据，将所述关键词的索引作为特征指序号，并建立对应的关键词特征集合。

Images