CN103970848A - 一种通用型互联网信息数据挖掘方法 - Google Patents

Abstract

本发明通过直接向数据挖掘需求用户提供通用型互联网信息数据挖掘需求描述人机交互模板，对海量互联网数据提供了一组既开放又有严格定义的概念集合、数据结构、挖掘数据操作的完整性约束条件，满足了建立数据挖掘模型的三要素，为提供互联网挖掘服务的价值密度提供了重要条件，可以实现互联网结构化数据、半结构化数据、非结构化数据的通用和并行挖掘。

Description

一种通用型互联网信息数据挖掘方法

技术领域

本发明涉及计算机及通信领域，特别是涉及到一种通用型互联网信息数据挖掘方法。

背景技术

当互联网越来越成为人们获取各类信息的重要渠道时，互联网上的信息存储总量也在持续高速膨胀。根据IBM的研究，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。因此，随着人类对互联网信息和互联网应用的依赖程度的增长，人们也越来越需要互联网数据挖掘服务——从大量数据或者数据库中提取有用信息的服务，来不断改善和提高海量互联网信息的应用效率。

虽然互联网信息中包括了各种不同的数据类型（如文本、图片、音频、视频、结构化数据等），但在以网页形式出现的互联网信息中，文字信息不仅是互联网信息的最主要内容，也是面向用户组织其它各类数据的基本工具。因此，互联网信息数据挖掘服务的首要任务，是从各类以文字形式表达的结构化信息（如，各类结构化摘要）、半结构化信息（如，网站信息）、非结构化信息（如被链接的纯文本信息）信息中提取对用户有价值的数据挖掘结果。

数据挖掘的主要技术特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助用户决策的关键性数据。但在海量的互联网文字信息中，虽然结构化数据的价值密度最大，但数据量最小；而半结构化网页信息、非结构化（纯文本）信息虽然价值密度最小，但数据量却最大。因此，互联网信息数据挖掘服务虽然市场巨大，但挖掘难度却相当大，并还没有形成真正具有普遍实用价值的系统方法。

本发明提供一种通用型互联网信息数据挖掘方法，以实现从互联网上结构化、半结构化、非结构化文字信息中进行全面、系统数据挖掘，提供对用户有价值的挖掘结果。

发明内容

为了便于理解本发明的合理性和实用性，在说明本发明内容之前，需先说明一下本发明的基础原理：通过对互联网信息全文关键词搜索结果进行的系统分析，我们发现了以下语用关键词“双十定律”——输入任意主题关键字，其锁定目标信息应用功能与效用范围的常用顶层常用语用关键词在10X10范围以内。（见附图1）

基于上述双十定律， 本发明提供一种通用型互联网信息数据挖掘方法，以实现从互联网上结构化、半结构化、非结构化文字信息中进行全面、系统数据挖掘，提供对用户有价值的挖掘结果。

其发明内容如下：输出数据挖掘人机交互模板，从数据挖掘人机交互模板中的挖掘需求关键词输入模板中获得数据挖掘中的主题关键词、语用关键词、语用关键词项下的普通关键词，从数据挖掘人机交互模板中的相关挖掘需求选择栏中获得用户选择的相关需求，以及直接输入的特殊需求，获得“数据挖掘”操作指令，并根据获得的数据挖掘需求关键词以及获得的用户选择的挖掘需求，对互联网信息进行数据挖掘操作，将数据挖掘结果输出给相关需求方；

其中，所述的数据挖掘人机交互模板中预设有挖掘需求关键词输入模板、相关挖掘需求选择项，以及挖掘需求自由输入框；

其中，所述的数据挖掘人机交互模板中的挖掘需求关键词输入模板中预设有任意主题关键词输入框、任意主题关键词常用顶层及下层语用关键词的分类集成、数据形式分类，以及挖掘需求关键词输入模板使用方法说明；

其中，所述的任意主题关键词常用顶层及下层摘要结构标签的分类集成结果的产生方法可以与发布通用型互联网信息发布系统中的互联网信息通用摘要数据库结构标签的产生方法一致；

其中，所述的从数据挖掘人机交互模板的相关挖掘需求选择项中获得用户选择的相关需求可包括时间、空间、地域、数据来源等多种数据挖掘范围选择；

其中，所述的对互联网信息“进行数据挖掘操作”中的挖掘对象可包括但不限于本发明所述通用型互联网信息发布系统中存储的结构化信息、半结构化信息、相关详细信息、可链接的其它网站信息，以及通过中国发明专利《一种语用关键词检索方法与装置》（发明专利申请号CN 102880632 A）中所述方法获得的网页信息全文关键词检索结果；

其中，所述的数据挖掘操作中的数据检索，是指用数据挖掘人机交互模板的关键词获取模板中获得的用户输入的所需挖掘信息的主题关键词、用户选择的语用关键词、语用关键词选择项下的普通关键词或组合结果对包括本发明所述通用型互联网信息发布系统中的相关信息及各类互联网信息进行检索；

其中，所述的数据挖掘操作包括但不限于数据检索、统计、抽取、分析和相关模型化自动处理，以及根据用户需求对信息挖掘结果的自动整理；

其中，所述的数据挖掘操作中的数据统计包括但不限于发布信息量统计、检索信息量统计、主题关键词、语用关键词、普通关键词的相关性统计、点击量统计；

其中，所述的数据挖掘操作中的数据分析包括但不限于历史数据演变分析、数据关联分析、未来趋势分析；

其中，如果用户自由输入的数据挖掘特殊需求需要进行挖掘方案人工设计，则在人工设计或调整挖掘方案基础上进行数据挖掘；

其中，本发明中所指的通用型互联网信息发布系统，具有下述特征：

基于前述双十定律，统计分析互联网信息任意主题关键词的常用顶层及下层摘要结构标签及分类集成结果，获得上述结果，自动生成包括其他类、其他项、详细信息链接地址的互联网信息通用摘要数据库结构标签和信息发布通用模板，在信息发布通用模板上获得由用户自主添加的适用于互联网信息任意主题关键词的顶层及下层摘要结构标签，根据系统用户使用频率自动调整互联网信息通用摘要数据库及信息发布通用模板结构标签，并将用户自主添加的结构标签保留在该用户独立使用的摘要结构标签中；

获得用户的调用信息发布模版指令，输出预设有上述任意主题关键词常用顶层及下层摘要结构标签的互联网信息发布通用模板，在该模板上获得用户输入的结构化信息摘要和“其它”类、项下的非结构化摘要，以及获得其他网站中结构化信息标签与本系统摘要结构标签已建立映射关系的结构化摘要发布信息和非结构化摘要发布信息，在该模板中获得摘要信息发布后的用户上传详细信息，或，将本系统摘要结构标签自动或人工添加至上传详细信息或系统外网页信息全文关键词搜索的叙词表中；

获得信息存储指令，将获得的摘要信息存储在本系统的通用摘要信息存储数据库，将获得的详细信息存储于本系统的详细信息分类存储数据库。

附图说明

图1、任意关键词顶层结构化标签示意图

图2、本发明数据挖掘方法主流程

图3、数据挖掘人机交互模板示意图

图4、互联网信息发布通用模板示意图

图5、结构标签映射关系设置模板

图3说明：图5中的第一栏是挖掘需求关键词输入模板中的任意主题关键词输入框，以下5行文字为挖掘需求关键词输入模板使用方法说明，中间的结构化模板是预设的挖掘需求语用关键词选择项和语用关键词选择项下的关键词输入框、相关数据需求分类；图5的下部为相关挖掘需求选择项，以及挖掘需求自由输入框。

图5说明：该图是获得通用型互联网信息发布系统摘要结构标签与其他网站中结构化信息标签映射关系的映射关系设置模版示意图。

具体实施方式

实施例：

本发明提供一种通用型互联网信息数据挖掘方法，以实现从互联网上结构化、半结构化、非结构化文字信息中进行全面、系统数据挖掘，提供对用户有价值的挖掘结果。其主流程具体步骤如下：

参见附图2、3，

步骤101：输出数据挖掘需求人机交互模板（见附图5），

步骤102：从数据挖掘人机交互模板的主题关键词输入模板中获得数据挖掘的主题关键词，数据挖掘的语用关键词、语用关键词选择项下的普通关键词，以及数据分类需求，

步骤103：从数据挖掘人机交互模板的相关挖掘需求选择栏中获得用户选择的相关需求，包括直接输入的特殊需求，

步骤104：获得“数据挖掘”操作指令，并根据获得的数据挖掘相关关键词以及获得的用户选择的挖掘需求，对互联网信息进行数据挖掘操作，

步骤105：将数据挖掘结果输出给相关需求方。

本发明的主要应用优势在于：

本发明通过直接向数据挖掘需求用户提供通用型互联网信息数据挖掘需求描述人机交互模板，对海量互联网数据提供了一组既开放又有严格定义的概念集合、数据结构、挖掘数据操作的完整性约束条件，满足了建立数据挖掘模型的三要素，并且，其中的顶层和下层结构标签（语用关键词）不仅可以表达关系型数据结构，也可以表达树状数据结构，为提供互联网挖掘结果的价值密度提供了重要条件。

其次，本发明可以实现互联网结构化数据、半结构化数据、非结构化数据的通用和并行挖掘。

第三，通过与本发明所述的通用型信息发布系统对接，可以大规模自动提供有普遍应用需求的数据挖掘服务。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.本发明提供一种通用型互联网信息数据挖掘方法，其具体步骤如下：

输出数据挖掘人机交互模板，

从数据挖掘人机交互模板中的挖掘需求关键词输入模板中获得数据挖掘中的主题关键词、语用关键词、语用关键词项下的普通关键词，

从数据挖掘人机交互模板中的相关挖掘需求选择栏中获得用户选择的相关需求，以及直接输入的特殊需求，

获得“数据挖掘”操作指令，并根据获得的数据挖掘需求关键词以及获得的用户选择的挖掘需求，对互联网信息进行数据挖掘操作，

将数据挖掘结果输出给相关需求方。

2.权利要求1中所述的数据挖掘人机交互模板中预设有挖掘需求关键词输入模板、相关挖掘需求选择项，以及挖掘需求自由输入框；

其中，所述的数据挖掘人机交互模板中的挖掘需求关键词输入模板中预设有任意主题关键词输入框、任意主题关键词常用顶层及下层语用关键词的分类集成、数据形式分类，以及挖掘需求关键词输入模板使用方法说明；

其中，所述的任意主题关键词常用顶层及下层摘要结构标签的分类集成结果的产生方法可以与发布通用型互联网信息发布系统中的互联网信息通用摘要数据库结构标签的产生方法一致；

其中，所述的从数据挖掘人机交互模板的相关挖掘需求选择项中获得用户选择的相关需求可包括时间、空间、地域、数据来源等多种数据挖掘范围选择；

其中，所述的对互联网信息“进行数据挖掘操作”中的挖掘对象可包括但不限于本发明所述通用型互联网信息发布系统中存储的结构化信息、半结构化信息、相关详细信息、可链接的其它网站信息，以及通过中国发明专利《一种语用关键词检索方法与装置》（发明专利申请号CN 102880632 A）中所述方法获得的网页信息全文关键词检索结果；

其中，所述的数据挖掘操作中的数据检索，是指用数据挖掘人机交互模板的关键词获取模板中获得的用户输入的所需挖掘信息的主题关键词、用户选择的语用关键词、语用关键词选择项下的普通关键词或组合结果对包括本发明所述通用型互联网信息发布系统中的相关信息及各类互联网信息进行检索；

其中，所述的数据挖掘操作包括但不限于数据检索、统计、抽取、分析和相关模型化自动处理，以及根据用户需求对信息挖掘结果的自动整理；

其中，所述的数据挖掘操作中的数据统计包括但不限于发布信息量统计、检索信息量统计、主题关键词、语用关键词、普通关键词的相关性统计、点击量统计；

其中，所述的数据挖掘操作中的数据分析包括但不限于历史数据演变分析、数据关联分析、未来趋势分析；

其中，如果用户自由输入的数据挖掘特殊需求需要进行挖掘方案人工设计，则在人工设计或调整挖掘方案基础上进行数据挖掘。

3.权利要求2中所述的通用型互联网信息发布系统，具有下述特征：

统计分析互联网信息任意主题关键词的常用顶层及下层摘要结构标签及分类集成结果，

获得上述结果，自动生成包括详细信息链接地址的互联网信息通用摘要数据库结构标签和信息发布通用模板，

在信息发布通用模板上获得由用户自主添加的适用于互联网信息任意主题关键词的顶层及下层摘要结构标签，

根据系统用户使用频率自动调整互联网信息通用摘要数据库及信息发布通用模板结构标签，并用户自主添加的结构标签保留在该用户独立使用的摘要结构标签中；

获得用户的调用信息发布模版指令，输出预设有上述任意主题关键词常用顶层及下层摘要结构标签的互联网信息发布通用模板，

在该模板上获得用户输入的结构化信息摘要和“其它”类、项下的非结构化摘要，以及获得其他网站中结构化信息标签与本系统摘要结构标签已建立映射关系的结构化摘要发布信息和非结构化摘要发布信息，

在该模板中获得摘要信息发布后的用户上传详细信息，或，

将本系统摘要结构标签自动或人工添加至上传详细信息或系统外网页信息全文关键词搜索的叙词表中；

获得信息存储指令，将获得的摘要信息存储在本系统的通用摘要信息存储数据库，将获得的详细信息存储于本系统的详细信息分类存储数据库。