CN106383835A - 一种基于形式语义推理和深度学习的自然语言知识挖掘系统 - Google Patents

Abstract

本发明公开了一种基于形式语义推理和深度学习的自然语言知识挖掘系统，包括：机器学习模块，用于将形式语义推理和机器学习方法相结合，并进行包含语义的机器学习；意图学习模块，用于学习待挖掘的自然语言的描述意图；文本主题提取模块，用于根据LDA模型分析文本主题内容和段落内容描述意图；文档结构分类模型搭建模块，用于根据深度卷积神经网络进行模型训练，在训练过程中自动修饰完善该神经网络，并搭建自动文档结构分类器。本发明依靠自动化语义推理与深度学习技术与自然语言处理的结合，直接对以文献、语音等为代表的非结构化数据群进行处理并对意图进行推理，以了解文字描述的真实意图，将挖掘和检索到的知识用于新知识结构的分析和构造，从而实现高效、智能与可学习和自演化地进行知识挖掘与检索。

Description

一种基于形式语义推理和深度学习的自然语言知识挖掘系统

技术领域

本发明涉及知识挖掘领域，尤其涉及一种利用形式语义推理、深度学习技术对自然语言进行知识挖掘的系统。

背景技术

随着人工智能的发展，生活中越来越需要对自然语言进行知识、语义的挖掘。现有技术中对自然语言进行挖掘时，通常采用词语分解的方式，例如当获取到自然语言时，通过将语句划分成多个词语，以这些词语作为关键词，进行知识构建，从而获取该自然语言的主要信息。

然而上述语言挖掘方法并不能很好地体现自然语言的特点和内涵。人类语言具有多样化表达方式和复杂的结构特性，同样的含义可以有很多种表达，同一种表达在不同语境下还可以有很多种含义，有时甚至在一种语言中穿插多种其他语言。因此，在对一段自然语言进行挖掘时，由于整体文本的数据结构性较差，数据多源异构等问题，导致语言挖掘结果只能机械化地表达语义，而不能适应真实语言环境下的自然语言的知识内涵。

此外，现有技术在对非结构化数据群进行处理时，通常使用常见数据库进行搜索分析，不能快速地进行精准定位，其处理过程不够高效，也无法实现智能化的知识挖掘。

发明内容

为了克服现有技术中的上述缺陷，本发明提出了一种基于形式语义推理和深度学习的自然语言知识挖掘系统。本发明的目的是通过以下技术方案实现的。该系统包括：机器学习模块，用于将形式语义推理和机器学习方法相结合，并进行包含语义的机器学习；意图学习模块，用于学习待挖掘的自然语言的描述意图；文本主题提取模块，用于根据LDA模型分析文本主题内容和段落内容描述意图；文档结构分类模型搭建模块，用于根据深度卷积神经网络进行模型训练，在训练过程中自动修饰完善该神经网络，并搭建自动文档结构分类器。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述意图学习模块还包括，结合形式语义推理，对待挖掘的数据进行语法分析和语义推理，进行意图推理以了解文字描述的意图。特别地，所述意图包括定义、描述、否定。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述意图学习模块还包括，使用机器学习技术，学习文本数据的意图。通过引入机器学习技术，有助于对动态化的数据群进行及时更新，从而实现更好的知识挖掘效果。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述文本主题提取模块还包括,根据LDA主题模型自动提取文本主题，根据该文本主题进行文本分类、信息提取和自动文稿撰写。文本主题是对文本数据进行处理和分析的基础，通过该模块，能够有效提高文本数据处理能力，实现信息挖掘以及文稿的自动撰写和编辑。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述文本主题提取模块还包括，利用LDA模型设置特殊隐层变量及变量关系，对自动学习模型进行完善。所设定的特殊隐层变量及变量关系可以解决数据特征提取困难的问题，有效丰富了自动学习模型。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述文本主题提取模块还包括，提取文本数据的属性，根据该属性选择关系数据的先验分布信息。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述文本主题提取模块还包括，设计LDA模型的算法，采用分布式及块分裂技术构建模型。通过分布式数据处理，并且将文本数据进行分块，可以满足大规模文本数据处理的要求。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述文档结构分类模型搭建模块还包括，利用文本处理的经验信息，对文本进行结构特征提取。

本发明提出的所述基于形式语义推理与深度学习的自然语言知识挖掘系统中，所述文档结构分类模型搭建模块还包括，将语言特征进行分解并提取特征，当特征规模较小时，使用卷积神经网络对特征进行扩充，所述卷积神经网络包括多层隐含层，从而完善整体神经网络。

本发明的优点在于：本发明构造了一个可高速挖掘和检索非结构化数据中的知识信息的系统，依靠自动化语义推理与深度学习两方面的技术，并将两方面技术与自然语言处理相结合，直接对以文献、语音等为代表的非结构化数据群进行处理，同时进行“意图”性推理，以了解文字描述的真实意图，并且将挖掘和检索到的知识用于新知识结构的分析和构造，从而实现高效、智能与可学习和自演化地进行知识挖掘与检索。

本发明的基于形式语义推理与深度学习的自然语言知识挖掘系统，实现了将语义推理应用于知识点的挖掘过程，可在数秒内对常规篇幅的文章进行结构信息、主题信息、参数信息以及多种其它不同维度语义信息的知识点挖掘。同时，可以对千万级的非结构化数据文件进行高速检索。可在较短的时间对非结构化数据中的知识信息进行带有多种约束的高性能检索。与如百度、谷歌等在内的搜索系统对比，本项目产品能适应更多不同行业的特殊需求。

本发明的有益效果是，实现更加垂直的自然语言知识挖掘系统，可针对不同行业进行知识点定制，省去用户不需要的信息而更专注于用户所需领域的知识。同时，知识呈现方式也更加贴合用户的领域应用场景。本发明的自然语言知识挖掘系统更加智能，通过不断学习和自我完善神经网络，能更加深度了解非结构化数据表达的意图，知识点挖掘工作依照这些意图进行分类与索引，形成模型化的数据格式，同时，通过机器学习技术使系统自动演化，结合云计算技术，能够使得本系统具有自演化能力，实现更加灵活的自然语言知识挖掘，根据用户的需求定制新的知识点与挖掘意图，使系统更加方便地向其它领域迁移，满足灵活多变的用户需求。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了根据本发明实施方式的基于形式语义推理与深度学习技术的自然语言知识挖掘系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的实施方式，提出一种可高速挖掘与检索非结构化数据中知识信息的系统，通过将挖掘和检索到的知识用于新知识的分析与构造过程,依靠自动化语义推理与深度学习两方面技术，并将两方面技术与自然语言处理技术相结合，直接对以文献、语音等为代表的非结构化数据群进行处理，同时进行意图性推理以了解文字描述的意图，实现高效、智能与可学习和自演化地进行知识挖掘与检索。

参见图1，本发明基于形式语义推理与深度学习技术的自然语言知识挖掘系统，包括：机器学习模块，如图中的带语义的机器学习部分(1)所示，用于将形式语义推理和机器学习方法相结合，并进行包含语义的机器学习；意图学习模块，如图中的自然语言的描述“意图”学习部分(2)所示，用于学习待挖掘的自然语言的描述意图，具体而言，是根据语法分析和语义推理，得到语言的“意图”；文本主题提取模块，如图中的基于LDA的主题模型提取方案设计部分(3)所示，用于根据LDA模型分析文本主题内容和段落内容描述意图，具体而言，其根据LDA模型算法，获得所需的主题模型，以及依据模型实现主题和意图的分析；文档结构分类模型搭建模块，如图中的文档结构分类模型搭建部分(4)所示，用于根据深度卷积神经网络得到语句结构特征，进行模型训练，在训练过程中自动修饰完善该神经网络，并搭建自动文档结构分类器。

更具体地，本发明的基于形式语义推理与深度学习的自然语言知识挖掘系统还与结构化数据群、非结构化数据群进行通信，用于学习结构化、非结构化数据群中的语义、意图、结构特征。因此，本发明不仅能够解决结构化语言的语义推理、学习和知识挖掘，还能够通过上述模块进行语义学习，对非结构化语言也能够实现高效、准确的知识挖掘。

其中，所述机器学习模块具有语义分析功能，可以对文献进行知识点和知识链的提取，并根据所提取的知识点、知识链进行语义分析和推理，从而可以对海量的文献和其它非结构化数据进行知识挖掘。所述机器学习模块还包括对知识点和知识链的再整理、再构造，以实现智能化的学习过程，构建更加完善的数据库。

所述意图学习模块结合形式语义推理，对待挖掘的数据进行语法分析和语义推理，使用机器学习技术，学习文本数据的意图，并进行意图推理以了解文字描述的意图。所学习的文本数据的意图包括定义、描述、否定，并且不限于此。该意图学习模块用于辅助进行更加精准的知识挖掘。

所述文本主题提取模块用于有效提高内容的处理精度。通过分析主题内容与段落内容描述意图，结合LDA(Latent Dirichlet Allocation)文档主题生成模型，自动提取文本主题，根据该文本主题进行文本分类、信息提取和自动文稿撰写。文本主题是对文本数据进行处理和分析的基础，通过该模块，能够有效提高文本数据处理能力，实现信息挖掘以及文稿的自动撰写和编辑。

所述文本主题提取模块还利用LDA模型设置特殊隐层变量及变量关系，对自动学习模型进行完善。所设定的特殊隐层变量及变量关系可以解决数据特征提取困难的问题，有效丰富了自动学习模型。

所述文本主题提取模块还用于提取文本数据的属性，根据该属性选择关系数据的先验分布信息，以及设计LDA模型的算法，采用分布式及块分裂技术构建模型。通过分布式数据处理，并且将文本数据进行分块，可以满足大规模文本数据处理的要求。

所述文档结构分类模型搭建模块基于深度卷积神经网络进行模型搭建和完善，用于提高处理精度，有高度的平行度与可扩展性，达到高效的基于机器学习与结合语义推理的知识挖掘的目的。所述文档结构分类模型搭建模块利用文本处理的经验信息，对文本进行结构特征提取，将语言特征进行分解并提取特征，当特征规模较小时，使用卷积神经网络对特征进行扩充，所述卷积神经网络包括多层隐含层，从而完善整体神经网络。

本发明基于形式语义推理与深度学习的自然语言知识挖掘系统，实现将语义推理技术应用于知识点的挖掘过程中，可在数秒内对常规篇幅的文章进行结构信息、主题信息、参数信息以及多种其它不同维度语义信息的知识点挖掘。同时，可以对千万级的非结构化数据文件进行高速检索。可在较短的时间对非结构化数据中的知识信息进行带有多种约束的高性能检索。与如百度、谷歌等在内的搜索系统对比，本发明更加能适应不同行业的特殊需求。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于形式语义推理和深度学习的自然语言知识挖掘系统，包括：

机器学习模块，用于将形式语义推理和机器学习方法相结合，并进行包含语义的机器学习；

意图学习模块，用于学习待挖掘的自然语言的描述意图；

文本主题提取模块，用于根据LDA模型分析文本主题内容和段落内容描述意图；以及

文档结构分类模型搭建模块，用于根据深度卷积神经网络进行模型训练，在训练过程中自动修饰完善该神经网络，并搭建自动文档结构分类器。

2.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述意图学习模块还包括，结合形式语义推理，对待挖掘的数据进行语法分析和语义推理，进行意图推理以了解文字描述的意图。

3.如权利要求2所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述意图包括定义、描述、否定。

4.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述意图学习模块还包括，使用机器学习技术，学习文本数据的意图。

5.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述文本主题提取模块还包括,根据LDA主题模型自动提取文本主题，根据该文本主题进行文本分类、信息提取和自动文稿撰写。

6.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述文本主题提取模块还包括，利用LDA模型设置特殊隐层变量及变量关系，对自动学习模型进行完善。

7.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述文本主题提取模块还包括，提取文本数据的属性，根据该属性选择关系数据的先验分布信息。

8.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述文本主题提取模块还包括，设计LDA模型的算法，采用分布式及块分裂技术构建模型。

9.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述文档结构分类模型搭建模块还包括，利用文本处理的经验信息，对文本进行结构特征提取。

10.如权利要求1所述的基于形式语义推理和深度学习的自然语言知识挖掘系统，所述文档结构分类模型搭建模块还包括，将语言特征进行分解并提取特征，当特征规模较小时，使用卷积神经网络对特征进行扩充，以完善整体神经网络，其中所述卷积神经网络包括多层隐含层。