CN109033267A - 一种智能化的知识灌入系统及方法 - Google Patents

Abstract

本发明公开了一种智能化的知识灌入系统，包括数据灌入单元，语义网单元，结构化单元，碎片化单元，标签单元，知识管理单元，知识转换单元和知识仓储。知识灌入系统对接收到的数据进行分类，将不同类型的数据发送至对应类型的处理单元，各个处理单元生成对应类型的知识数据，知识转换单元将知识数据转换为可机读的知识模型数据并转发至知识仓储中分类存储。本发明解决了目前数据存储处理系统存在不支持各种类型知识数据的统一处理，也不能生成统一模式的机读数据，用户调用不方便的问题，提供了一种支持任意类型知识数据灌入，将任意类型知识数据转换为统一模式的机读数据并且分类存储，方便调用的知识灌入系统。

Description

一种智能化的知识灌入系统及方法

技术领域

本发明涉及一种数据存储系统及方法，尤其涉及一种智能化的知识灌入系统及方法。

背景技术

随着信息科技的发展，大数据时代已经到来，人们日常中将面对大量的知识数据，单靠人力对数据进行处理分析是完全不可能实现的，对面这种情况，对大数据进行存储分析处理的系统应运而生。由于知识数据的类型多样，目前的知识数据处理系统大多相互独立，不同类型的系统处理不同类型的知识数据，单一系统往往不支持各种类型数据的统一处理，也不能生成统一模式的机读数据，这样的数据处理系统大大的影响了目前的数据处理及调用效率，目前需要一种可以针对各种类型的知识数据进行处理，自动分类存储，实现知识数据自动转化为机读数据的处理系统，以帮助处理目前类型多样的知识数据，得到不同类型的知识并且分类存储，便于用户调用。

发明内容

本发明提供了一种智能化的知识灌入系统及方法，旨在解决目前数据存储处理系统存在不支持各种类型知识数据的统一处理，也不能生成统一模式的机读数据，用户调用不方便的问题。

为实现上述目的，本发明提供了一种智能化的知识灌入系统，包括数据灌入单元，语义网单元，结构化单元，碎片化单元，标签单元，知识管理单元，知识转换单元和知识仓储，

数据灌入单元，所述数据灌入单元接收大量数据的灌入，并判断灌入的数据的类型，将场景数据，非结构化数据，结构化数据，语义网数据和标签数据对应转发至知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元；

知识管理单元，所述知识管理单元接收数据灌入单元转发的数据，对场景数据进行处理，生成场景知识，将生成的场景知识发送至知识转换单元；

碎片化单元，所述碎片化单元接收数据灌入单元转发的数据，对非结构化数据进行处理，生成碎片化知识，将生成的碎片化知识发送至知识转换单元；

结构化单元，所述结构化单元接收数据灌入单元转发的数据，对结构化数据进行处理，生成结构化知识，将生成的结构化知识发送至知识转换单元；

语义网单元，所述结构化单元接收数据灌入单元转发的数据，对语义网数据进行处理，生成语义网知识，将生成的语义网知识发送至知识转换单元；

标签单元，所述标签单元接收数据灌入单元转发的数据，对标签数据进行处理，生成标签知识，将生成的标签知识发送至知识转换单元；

知识转换单元，所述知识转换单元接收知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元分别发送的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，并对接收到的知识进行数据模式转换形成可机读的知识模型数据并转发至知识仓储；

知识仓储，所述知识仓储接收可机读的知识模型数据并根据知识类型分类存储。

与现有技术相比，本发明公开的一种智能化的知识灌入系统，数据灌入单元对灌入的数据进行类型分析，将不同类型的数据发送至不同的单元进行处理，该该数据灌入单元接收到数据可以是用户传输的内部资文档，数据质量等，也可以是该数据灌入单元从互联网上抓取的数据，此单元为该系统的数据入口。并且，数据灌入单元既可以主动对数据类型进行区分，将不同类型的数据对应的发送至不同的单元，也可以接受用户的主动选择，对不同的单元进行调用。此处的调用既可以是用户需要存储某种类型的数据，而主动调用某种类型单元对数据进行处理，也可以是用户需要调取某种类型数据，通过数据灌入单元调用某种类型单元中的引擎，以便在知识仓储中搜索某类型的知识模型数据。本发明中不同的类型单元分别为知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元，各类型单元可以分别处理场景数据，非结构化数据，结构化数据，语义网数据和标签数据生成对应的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，通过不同类型的处理单元，本发明实现了对不同类型知识的处理，解决了目前数据处理系统往往处理单一类型知识数据的问题。并且，不同类型的知识通过知识转换单元生成不同类型的可机读的知识模型数据，实现了生成统一模式的机读数据，方便用户调用。本发明解决了目前数据存储处理系统存在不支持各种类型知识数据的统一处理，也不能生成统一模式的机读数据，用户调用不方便的问题，提供了一种支持任意类型知识数据灌入，将任意类型知识数据转换为统一模式的机读数据并且分类存储，方便调用的知识灌入系统。

本发明提供了一种智能化的知识灌入方法，包括以下步骤：

S1，数据灌入单元接收大量数据的灌入，并判断灌入的数据的类型，将场景数据，非结构化数据，结构化数据，语义网数据和标签数据对应转发至知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元；

S2，知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元分别对数据进行处理得到场景知识，碎片化知识，结构化知识，语义网知识和标签知识并将知识数据转发至知识转换单元；

S3，知识转换单元对接受到的场景知识，碎片化知识，结构化知识，语义网知识和标签知识进行处理得到可机读的场景知识模型数据，碎片化知识模型数据，结构化知识模型数据，语义网知识模型数据和标签知识模型数据；

S4，知识仓储接收可机读的场景知识模型数据，碎片化知识模型数据，结构化知识模型数据，语义网知识模型数据和标签知识模型数据并进行分类存储；

S5，通过对应的引擎调用知识仓储中存放的对应的知识模型数据。

与现有技术相比，本发明公开的一种智能化的知识灌入方法，数据灌入单元对灌入的数据进行类型分析，将不同类型的数据发送至不同的单元进行处理，该该数据灌入单元接收到数据可以是用户传输的内部资文档，数据质量等，也可以是该数据灌入单元从互联网上抓取的数据，此单元为该系统的数据入口。并且，数据灌入单元既可以主动对数据类型进行区分，将不同类型的数据对应的发送至不同的单元，也可以接受用户的主动选择，对不同的单元进行调用。此处的调用既可以是用户需要存储某种类型的数据，而主动调用某种类型单元对数据进行处理，也可以是用户需要调取某种类型数据，通过数据灌入单元调用某种类型单元中的引擎，以便在知识仓储中搜索某类型的知识模型数据。本发明中不同的类型单元分别为知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元，各类型单元可以分别处理场景数据，非结构化数据，结构化数据，语义网数据和标签数据生成对应的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，通过不同类型的处理单元，本发明实现了对不同类型知识的处理，解决了目前数据处理系统往往处理单一类型知识数据的问题。并且，不同类型的知识通过知识转换单元生成不同类型的可机读的知识模型数据，实现了生成统一模式的机读数据，方便用户调用。本发明解决了目前数据存储处理系统存在不支持各种类型知识数据的统一处理，也不能生成统一模式的机读数据，用户调用不方便的问题，提供了一种支持任意类型知识数据灌入，将任意类型知识数据转换为统一模式的机读数据并且分类存储，方便调用的知识灌入方法。

附图说明

图1是本发明一种智能化的知识灌入系统的系统框图1；

图2是本发明一种智能化的知识灌入系统的系统框图2；

图3是本发明一种智能化的知识灌入方法的流程图。

具体实施方式

如图1所示，本发明所述的一种智能化的知识灌入系统，包括数据灌入单元，语义网单元，结构化单元，碎片化单元，标签单元，知识管理单元，知识转换单元和知识仓储，数据灌入单元，所述数据灌入单元接收大量数据的灌入，并判断灌入的数据的类型，将场景数据，非结构化数据，结构化数据，语义网数据和标签数据对应转发至知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元；知识管理单元，所述知识管理单元接收数据灌入单元转发的数据，对场景数据进行处理，生成场景知识，将生成的场景知识发送至知识转换单元；碎片化单元，所述结构化单元接收数据灌入单元转发的数据，对非结构化数据进行处理，生成碎片化知识，将生成的碎片化知识发送至知识转换单元，可以调用知识仓储中的碎片化知识模型数据；结构化单元，所述结构化单元接收数据灌入单元转发的数据，对结构化数据进行处理，生成结构化知识，将生成的结构化知识发送至知识转换单元，可以调用知识仓储中的结构化知识模型数据；语义网单元，所述结构化单元接收数据灌入单元转发的数据，对语义网数据进行处理，生成语义网知识，将生成的语义网知识发送至知识转换单元，可以调用知识仓储中的语义网知识模型数据；标签单元，所述标签单元接收数据灌入单元转发的数据，对标签数据进行处理，生成标签知识，将生成的标签知识发送至知识转换单元，可以调用知识仓储中的标签知识模型数据；知识转换单元，所述知识转换单元接收知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元分别发送的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，并对接收到的知识进行数据模式转换形成可机读的知识模型数据并转发至知识仓储；知识仓储，所述知识仓储接收可机读的知识模型数据并根据知识类型分类存储。

与现有技术相比，本发明公开的一种智能化的知识灌入系统，数据灌入单元对灌入的数据进行类型分析，将不同类型的数据发送至不同的单元进行处理，该该数据灌入单元接收到数据可以是用户传输的内部资文档，数据质量等，也可以是该数据灌入单元从互联网上抓取的数据，此单元为该系统的数据入口。并且，数据灌入单元既可以主动对数据类型进行区分，将不同类型的数据对应的发送至不同的单元，也可以接受用户的主动选择，对不同的单元进行调用。此处的调用既可以是用户需要存储某种类型的数据，而主动调用某种类型单元对数据进行处理，也可以是用户需要调取某种类型数据，通过数据灌入单元调用某种类型单元中的引擎，以便在知识仓储中搜索某类型的知识模型数据。本发明中不同的类型单元分别为知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元，各类型单元可以分别处理场景数据，非结构化数据，结构化数据，语义网数据和标签数据生成对应的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，通过不同类型的处理单元，本发明实现了对不同类型知识的处理，解决了目前数据处理系统往往处理单一类型知识数据的问题。并且，不同类型的知识通过知识转换单元生成不同类型的可机读的知识模型数据，实现了生成统一模式的机读数据，方便用户调用。本发明解决了目前数据存储处理系统存在不支持各种类型知识数据的统一处理，也不能生成统一模式的机读数据，用户调用不方便的问题，提供了一种支持任意类型知识数据灌入，将任意类型知识数据转换为统一模式的机读数据并且分类存储，方便调用的知识灌入系统。

如图2所示，所述知识管理单元包括，场景管理模块，所述场景管理模块对接收的数据进行判断，对场景数据进行处理，生成场景知识，将生成的场景知识发送至知识转换单元。知识管理单元对场景数据进行处理，使得该知识灌入系统支持场景类型的知识数据的处理。进一步而言，本发明的一个实施例中，所述知识管理单元还包括标注管理模块，所述标注管理模块可以对知识数据进行标注。

如图2所示，所述碎片化单元包括，碎片管理模块，所述碎片管理模块对接收的非结构化数据进行处理，生成碎片化知识，将生成的结构化知识发送至知识转换单元；碎片化模型模块，所述碎片化模型模块存储非结构化数据的全部可用模型；碎片化引擎模块，所述碎片化引擎加载碎片化的模型，然后与输入的非结构化数据进行匹配识别，然后根据匹配上的模型对非结构化数据进行碎片化切割。碎片化单元对非结构化数据进行处理，使得该知识灌入系统支持碎片化类型的知识数据的处理。

如图2所示，所述碎片化单元还包括碎片化模板配置模块，供用户对碎片化模型模块进行更改设置。通过设置碎片化模板配置模块，用于可以对碎片化模型模块中存储的非结构化数据处理模型进行操作，例如可以增加或删除模型，更改模型设定等等。

如图2所示，所述结构化单元包括，结构管理模块，所述结构管理模块对接收的结构化数据进行处理，生成结构化知识，将生成的结构化知识发送至知识转换单元；结构化模型模块，所述结构化模型模块存储结构化数据的全部可用模型；结构化引擎模块，所述结构化引擎加载结构化模型，然后与输入的结构化数据结构进行比对，然后根据对应模版将结构化数据进行拆分。结构化单元对结构化数据进行处理，使得该知识灌入系统支持结构化类型的知识数据的处理。

如图2所示，所述结构化单元还包括结构化模板配置模块，供用户对结构化模型模块进行更改设置。通过设置结构化模板配置模块，用于可以对结构化模型模块中存储的结构化数据处理模型进行操作，例如可以增加或删除模型，更改模型设定等等。

如图2所示，所述语义网单元包括，语义网编辑模块，所述语义网编辑模块对接收的语义网数据进行处理，生成语义网知识，将生成的语义网知识发送至知识转换单元；语义网引擎模块，所述语义网引擎模块接收用户要求调用知识仓储中的语义网知识模型数据。语义网单元对语义网数据进行处理，使得该知识灌入系统支持语义网类型的知识数据的处理。

如图2所示，所述标签单元包括，标签管理模块，所述标签管理模块对接收的标签数据进行处理，生成标签知识，将生成的标签知识发送至知识转换单元；标签引擎模块，所述标签引擎模块调用知识仓储中的标签知识模型数据对用户要求的数据进行打标签。标签单元对标签数据进行处理，使得该知识灌入系统支持标签类型的知识数据的处理。

如图3所示，本发明所述的一种智能化的知识灌入方法，包括以下步骤：S1，数据灌入单元接收大量数据的灌入，并判断灌入的数据的类型，将场景数据，非结构化数据，结构化数据，语义网数据和标签数据对应转发至知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元；S2，知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元分别对数据进行处理得到场景知识，碎片化知识，结构化知识，语义网知识和标签知识并将知识数据转发至知识转换单元；S3，知识转换单元对接受到的场景知识，碎片化知识，结构化知识，语义网知识和标签知识进行处理得到可机读的场景知识模型数据，碎片化知识模型数据，结构化知识模型数据，语义网知识模型数据和标签知识模型数据；S4，知识仓储接收可机读的场景知识模型数据，碎片化知识模型数据，结构化知识模型数据，语义网知识模型数据和标签知识模型数据并进行分类存储；S5，通过对应的引擎调用知识仓储中存放的对应的知识模型数据。

与现有技术相比，本发明公开的一种智能化的知识灌入方法，数据灌入单元对灌入的数据进行类型分析，将不同类型的数据发送至不同的单元进行处理，该该数据灌入单元接收到数据可以是用户传输的内部资文档，数据质量等，也可以是该数据灌入单元从互联网上抓取的数据，此单元为该系统的数据入口。并且，数据灌入单元既可以主动对数据类型进行区分，将不同类型的数据对应的发送至不同的单元，也可以接受用户的主动选择，对不同的单元进行调用。此处的调用既可以是用户需要存储某种类型的数据，而主动调用某种类型单元对数据进行处理，也可以是用户需要调取某种类型数据，通过数据灌入单元调用某种类型单元中的引擎，以便在知识仓储中搜索某类型的知识模型数据。本发明中不同的类型单元分别为知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元，各类型单元可以分别处理场景数据，非结构化数据，结构化数据，语义网数据和标签数据生成对应的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，通过不同类型的处理单元，本发明实现了对不同类型知识的处理，解决了目前数据处理系统往往处理单一类型知识数据的问题。并且，不同类型的知识通过知识转换单元生成不同类型的可机读的知识模型数据，实现了生成统一模式的机读数据，方便用户调用。本发明解决了目前数据存储处理系统存在不支持各种类型知识数据的统一处理，也不能生成统一模式的机读数据，用户调用不方便的问题，提供了一种支持任意类型知识数据灌入，将任意类型知识数据转换为统一模式的机读数据并且分类存储，方便调用的知识灌入方法。

进一步而言，所述步骤S2还包括以下无顺序步骤：结构化单元对结构化数据进行结构化解析，标签引擎对解析后的结构化数据进行打标签，标签数据与解析的结构化数据一同生成结构化知识；碎片化单元对结构化数据进行碎片化处理，标签引擎对处理后的非结构化数据进行打标签，标签数据与处理的非结构化数据一同生成碎片化知识；知识管理单元对场景数据进行处理，生成场景知识；语义网单元对语义网数据进行处理，生成语义网知识；标签单元对标签数据进行处理，生成标签知识。所述碎片化单元和结构化单元在生成碎片化知识数据和结构化知识数据时，可以利用发布后的语义网，结合标签库，合成标签引擎，对相应的数据进行打标签，结合标签生成碎片化知识数据或结构化知识数据，进一步方便用户调用查询。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种智能化的知识灌入系统，其特征在于，包括数据灌入单元，语义网单元，结构化单元，碎片化单元，标签单元，知识管理单元，知识转换单元和知识仓储，数据灌入单元，所述数据灌入单元接收大量数据的灌入，并判断灌入的数据的类型，将场景数据，非结构化数据，结构化数据，语义网数据和标签数据对应转发至知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元；

知识管理单元，所述知识管理单元接收数据灌入单元转发的数据，对场景数据进行处理，生成场景知识，将生成的场景知识发送至知识转换单元；

碎片化单元，所述碎片化单元接收数据灌入单元转发的数据，对非结构化数据进行处理，生成碎片化知识，将生成的碎片化知识发送至知识转换单元；

结构化单元，所述结构化单元接收数据灌入单元转发的数据，对结构化数据进行处理，生成结构化知识，将生成的结构化知识发送至知识转换单元；

语义网单元，所述结构化单元接收数据灌入单元转发的数据，对语义网数据进行处理，生成语义网知识，将生成的语义网知识发送至知识转换单元；

标签单元，所述标签单元接收数据灌入单元转发的数据，对标签数据进行处理，生成标签知识，将生成的标签知识发送至知识转换单元；

知识转换单元，所述知识转换单元接收知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元分别发送的场景知识，碎片化知识，结构化知识，语义网知识和标签知识，并对接收到的知识进行数据模式转换形成可机读的知识模型数据并转发至知识仓储；

知识仓储，所述知识仓储接收可机读的知识模型数据并根据知识类型分类存储。

2.根据权利要求1所述的一种智能化的知识灌入系统，其特征在于，所述知识管理单元包括，场景管理模块，所述场景管理模块对接收的数据进行判断，对场景数据进行处理，生成场景知识，将生成的场景知识发送至知识转换单元。

3.根据权利要求1所述的一种智能化的知识灌入系统，其特征在于，所述碎片化单元包括，

碎片管理模块，所述碎片管理模块对接收的非结构化数据进行处理，生成碎片化知识，将生成的结构化知识发送至知识转换单元；

碎片化模型模块，所述碎片化模型模块存储非结构化数据的全部可用模型；

碎片化引擎模块，所述碎片化引擎加载碎片化的模型，然后与输入的非结构化数据进行匹配识别，然后根据匹配上的模型对非结构化数据进行碎片化切割。

4.根据权利要求3所述的一种智能化的知识灌入系统，其特征在于，所述碎片化单元还包括碎片化模板配置模块，供用户对碎片化模型模块进行更改设置。

5.根据权利要求1所述的一种智能化的知识灌入系统，其特征在于，所述结构化单元包括，

结构管理模块，所述结构管理模块对接收的结构化数据进行处理，生成结构化知识，将生成的结构化知识发送至知识转换单元；

结构化模型模块，所述结构化模型模块存储结构化数据的全部可用模型；

结构化引擎模块，所述结构化引擎加载结构化模型，然后与输入的结构化数据结构进行比对，然后根据对应模版将结构化数据进行拆分。

6.根据权利要求5所述的一种智能化的知识灌入系统，其特征在于，所述结构化单元还包括结构化模板配置模块，供用户对结构化模型模块进行更改设置。

7.根据权利要求1所述的一种智能化的知识灌入系统，其特征在于，所述语义网单元包括，

语义网编辑模块，所述语义网编辑模块对接收的语义网数据进行处理，生成语义网知识，将生成的语义网知识发送至知识转换单元；

语义网引擎模块，所述语义网引擎模块接收用户要求调用知识仓储中的语义网知识模型数据。

8.根据权利要求1所述的一种智能化的知识灌入系统，其特征在于，所述标签单元包括，

标签管理模块，所述标签管理模块对接收的标签数据进行处理，生成标签知识，将生成的标签知识发送至知识转换单元；

标签引擎模块，所述标签引擎模块调用知识仓储中的标签知识模型数据对用户要求的数据进行打标签。

9.一种智能化的知识灌入方法，其特征在于包括以下步骤：

S1，数据灌入单元接收大量数据的灌入，并判断灌入的数据的类型，将场景数据，非结构化数据，结构化数据，语义网数据和标签数据对应转发至知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元；

S2，知识管理单元，碎片化单元，结构化单元，语义网单元和标签单元分别对数据进行处理得到场景知识，碎片化知识，结构化知识，语义网知识和标签知识并将知识数据转发至知识转换单元；

S3，知识转换单元对接受到的场景知识，碎片化知识，结构化知识，语义网知识和标签知识进行处理得到可机读的场景知识模型数据，碎片化知识模型数据，结构化知识模型数据，语义网知识模型数据和标签知识模型数据；

S4，知识仓储接收可机读的场景知识模型数据，碎片化知识模型数据，结构化知识模型数据，语义网知识模型数据和标签知识模型数据并进行分类存储；

S5，通过对应的引擎调用知识仓储中存放的对应的知识模型数据。

10.根据权利要求9所述的一种智能化的知识灌入方法，其特征在于，所述步骤S2还包括以下无顺序步骤：

结构化单元对结构化数据进行结构化解析，标签引擎对解析后的结构化数据进行打标签，标签数据与解析的结构化数据一同生成结构化知识；

碎片化单元对结构化数据进行碎片化处理，标签引擎对处理后的非结构化数据进行打标签，标签数据与处理的非结构化数据一同生成碎片化知识；

知识管理单元对场景数据进行处理，生成场景知识；

语义网单元对语义网数据进行处理，生成语义网知识；

标签单元对标签数据进行处理，生成标签知识。