CN104866310B

CN104866310B - 知识数据的处理方法和系统

Info

Publication number: CN104866310B
Application number: CN201510260646.8A
Authority: CN
Inventors: 郝志新; 李羽
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2015-05-20
Filing date: 2015-05-20
Publication date: 2018-07-13
Anticipated expiration: 2035-05-20
Also published as: CN104866310A

Abstract

本发明实施例提供一种的知识数据的处理方法和系统。所述方法包括：获取计算脚本，该计算脚本中的语句包含用于调用封装好的计算算子的代码，该计算算子用于对知识库中的数据进行操作；对计算脚本中的语句进行解析，生成包括执行计算算子的指令；分别执行指令，以通过计算算子对知识库中的数据进行处理。本发明的技术方案提高了代码的复用性，并降低编码成本。

Description

知识数据的处理方法和系统

技术领域

本发明涉及信息处理技术，尤其涉及一种知识数据的处理方法和系统。

背景技术

知识图谱的建设是将现实世界对象化、实体化的过程。对知识图谱涉及的数据(知识库中的数据)进行组织和计算是知识图谱技术中的重要环节。其中，通过数据的结构化提取进行数据的组织。此外，还需要针对知识库中的数据执行处理和计算的函数来实现具体的功能。如此，知识数据计算就是在实体和属性这个数据结构上，提供用以支持各种应用的计算能力以及承载计算需要的相关机制，从而将知识库的输出达到最大化。

现有技术中，针对不同知识库的应用产品需编写不同的代码完成不同的计算逻辑，计算逻辑的复用性差，代码的编写效率低；无法根据某种规则，以及知识库中的知识完成知识的推理计算。

因而，现有的知识数据计算方法针对不同知识库的应用产品需编写不同的代码完成不同的计算逻辑，其大多存在以下问题：(1)代码的开发成本较高，设计人员需了解知识库的底层数据接口才能够完成相关开发；(2)代码的复用性较差，不同应用各自为战，完成类似的处理逻辑，浪费人力成本；(3)缺乏知识推理的能力，无法动态的根据已有知识推理出新的知识；(4)缺乏统一的在线计算平台，提供高效的在线运算能力。

发明内容

本发明的实施例提供一种知识数据的处理方法和系统，以提高代码的复用性，并降低编码成本。

为达到上述目的，本发明的实施例提供了一种知识数据的处理方法，所述方法包括：获取计算脚本，所述计算脚本中的语句包含用于调用封装好的计算算子的代码，所述计算算子用于对知识库中的数据进行操作；对所述计算脚本中的语句进行解析，生成包括执行所述计算算子的指令；分别执行所述指令，以通过所述计算算子对所述知识库中的数据进行处理。

可选的，所述方法还包括：按照预设的规则对知识库中的数据进行推理，生成新的知识数据；将用于对生成的所述新的知识数据执行的操作封装为新的计算算子。

进一步地，所述方法还包括：存储生成的所述新的知识数据。

可选地，所述对所述计算脚本中的语句进行解析，生成包括执行所述计算算子的指令的处理还包括：生成执行运算符、内置函数和/或自定义函数的指令。

优选地，所述方法还包括：接收用于知识处理的请求，所述请求包括需调用的功能的信息，并且所述获取计算脚本的处理包括：根据所述需调用的功能的信息获取相应的计算脚本。

可选地，编写所述计算脚本的脚本语言包括但不限于以下任意一种：Scala、JavaScript，VBScript，ActionScript、MAX Script、ASP、JSP、PHP、SQL、Perl、Shell、python、Ruby、JavaFX、Lua、AutoIt以及自定义脚本语言。

本发明的实施例还提供了一种知识数据的处理系统，所述系统包括：脚本获取模块，用于获取计算脚本，所述计算脚本中的语句包含用于调用封装好的计算算子的代码，所述计算算子用于对知识库中的数据进行操作；脚本解析模块，用于对所述计算脚本中的语句进行解析，生成包括执行所述计算算子的指令；指令执行模块，用于分别执行所述指令，以通过所述计算算子对所述知识库中的数据进行处理。

可选地，所述系统还包括：知识推理模块，用于按照预设的规则对知识库中的数据进行推理，生成新的知识数据；算子封装模块，用于将用于对生成的所述新的知识数据执行的操作封装为新的计算算子。

进一步地，所述系统还包括：知识存储模块，用于存储生成的所述新的知识数据。

可选地，所述脚本解析模块还用于：生成执行运算符、内置函数和/或自定义函数的指令。

优选地，所述系统还包括：请求接收模块，用于接收用于知识处理的请求，所述请求包括需调用的功能的信息，并且所述脚本获取模块还用于根据所述需调用的功能的信息获取相应的计算脚本。

本发明实施例提供的知识数据的处理方法和系统，基于预先封装的对知识库中数据进行指定操作的计算算子，获取和解析包含计算算子的代码的计算脚本，生成和执行相应的指令，以对知识库中的数据进行处理。本方案可实现如下有益效果：可通过调用包含计算算子的代码完成知识数据处理，无需深层了解知识库的底层数据接口便可完成相关开发；利用已封装的计算算子，无需对相同操作的脚本的代码进行重复编写，代码复用性强，节省了人力成本。

附图说明

图1为本发明提供的知识数据的处理方法一个实施例的方法流程图；

图2为本发明提供的知识库数据样例；

图3为本发明提供的知识数据的处理方法另一个实施例的方法流程图；

图4为本发明提供的知识数据的处理系统一个实施例的结构示意图；

图5为本发明提供的知识数据的处理系统另一个实施例的结构示意图。

具体实施方式

本发明的基本发明构思是，将针对知识库中数据进行的指定操作预先封装为对应的计算算子，然后通过解析和执行包含不同的计算算子的代码的计算脚本来实现对知识库中数据的处理，得到结果数据。本发明实施例的技术方案采用已封装的计算算子进行知识数据操作，无需深层了解知识库的底层数据接口便可完成相关开发；同时利用已封装的计算算子，无需对相同操作的脚本的代码进行重复编写，代码复用性强，节省了人力成本。

实施例一

图1为本发明提供的知识数据的处理方法一个实施例的方法流程图。

参照图1，在步骤S110，获取计算脚本，该计算脚本中的语句包含用于调用封装好的计算算子的代码，该计算算子用于对知识库中的数据进行操作。

本实施例中，将针对知识库的各常用操作预先封装，并将封装后的操作称为计算算子，当调用各计算算子对应的指令时，便可对目标知识库进行该计算算子所对应的操作。

如下示出了几种针对知识库的各常用操作对应的计算算子的代码：

GetData() 获取知识库数据算子

Sort() 排序算子

Topn() 排序后取第N值算子

Compare() 比较算子，用来比较两个实体或属性的差值

GetRuleInfr() 规则推理算子

GetField() 获取实体的某个属性的算子(比如人物实体，包含名字、身高、年龄等属性)

将各计算算子对应的代码编写在计算脚本中，便可通过解析计算脚本来调用计算算子对应的针对知识库的指定操作。

在步骤S120，对计算脚本中的语句进行解析，生成包括执行计算算子的指令。

本实施例中，编写计算脚本的脚本语言可包括但不限于以下任何一种语言：Scala、JavaScript，VBScript，ActionScript、MAX Script、ASP、JSP、PHP、SQL、Perl、Shell、python、Ruby、JavaFX、Lua、AutoIt以及自定义脚本语言。

通常，当系统中集成有解释上述现有脚本语言的解释器时，可以对采用上述现有脚本语言编写的计算脚本进行自行解释，并形成相应的指令。而针对自定义脚本语言生成的计算脚本还需另行配置编写适用的自定义解释器来完成计算脚本的解析。

如图2中示出了知识库数据样例。在所述知识库数据中，“：”前为数据实体类型,“：”后为数据实体类型对应的实体值。例如：

"type":[

"Mountain"

]

其中，"type"为数据实体类型，“类型”，["Mountain"]为数据实体类型对应的实体值，即“山”。

针对知识库数据中“山”的处理操作，结合前述示出的计算算子的代码示出如下的计算脚本的代码样例：

样例一

Mountain1_height＝GetField(Topn(Sort(GetData(北京的山),’height’),2),’height’)

Mountain2_height＝GetField(Topn(Sort(GetData(北京的山),’height’),3),’height’)

diff＝Compare(Mountain1_height,Mountain2_height)

该计算脚本对应指令为“计算北京第二高山和第三高山的差为多少米”的功能。

样例二

该计算脚本对应指令为：“取北京所有的山的实体，然后将这些实体按高度排序，取第2个实体，最后取第2个实体的height属性作为结果返回”。

在步骤S130，分别执行指令，以通过计算算子对知识库中的数据进行处理。

通过解释器解析计算脚本对应的包含计算算子在内的指令后，分别执行这些指令，以通过执行计算算子对应的操作对知识库中的数据进行处理。

本发明实施例提供的知识数据的处理方法，基于预先封装的对知识库中数据进行指定操作的计算算子，获取和解析包含计算算子的代码的计算脚本，生成和执行相应的指令，以对知识库中的数据进行处理。本方案可通过调用包含计算算子的代码完成知识数据处理，无需深层了解知识库的底层数据接口便可完成相关开发；利用已封装的计算算子，无需对相同操作的脚本的代码进行重复编写，代码复用性强，节省了人力成本。

实施例二

图3为本发明提供的知识数据的处理方法另一个实施例的方法流程图，可视为图1所示实施例的一种具体实现方式。本实施例中，进一步示出了关于计算算子的生成，计算脚本的获取以及对计算脚本进行解析生成指令的步骤内容。

参照图3，在步骤S310，接收用于知识处理的请求，该请求包括需调用的功能的信息。

对于现有脚本语言，特别是自定义脚本语言的计算脚本的获取，均可通过脚本处理平台实现。该脚本处理平台可与多个在线知识库之间设置运算接口，从而实现对知识库数据进行处理的目的。用户也可根据对知识库中知识数据欲进行的处理功能，向脚本处理平台发送用于知识处理的请求，该请求中即包含了需要调用的功能的信息，以请求脚本计算平台根据知识处理的请求获取计算脚本，完成知识数据计算。

在步骤S320，获取计算脚本，该计算脚本中的语句包含用于调用封装好的计算算子的代码，该计算算子用于对知识库中的数据进行操作。步骤S320的处理与前述步骤S110的处理类似。

具体地，基于步骤S310中，接收用于知识处理的请求，在获取计算脚本时可根据需调用的功能的信息获取相应的计算脚本。获取的计算脚本中可对应包含实现所需调用的功能的计算算子、执行运算符、内置函数和/或自定义函数的指令的代码。

其中，计算算子的代码前述内容已示出样例，如下对执行运算符、内置函数和自定义函数的指令的代码进行一一列举。

表1 执行运算符的代码

内置函数、自定义函数

在编写计算脚本时，常常会使用到脚本语言中已有的函数，如变量赋值、逻辑判断、循环等功能函数，这些函数称为内置函数。而针对知识库中某些特殊的操作，在具体编写计算脚本时还可自定义的编写函数，这些函数称为自定义函数。

本实施例中，自定义函数可包含关键词function、begin、end，自定义函数的定义形式如下：

自定义函数示例：

在步骤S330，对计算脚本中的语句进行解析，生成包括执行计算算子、执行运算符、内置函数和/或自定义函数的指令。步骤S330的处理与前述步骤S120的处理类似。

基于对上述计算脚本进行解析，在解析生成执行计算算子的指令的同时，还可生成执行运算符、内置函数和/或自定义函数的指令。

在步骤S340，分别执行指令，以通过计算算子对知识库中的数据进行处理。步骤S330的处理与前述步骤S130的处理类似。

基于生成的执行运算符、内置函数和/或自定义函数的指令，在通过计算算子对数据库中的数据进行处理时，还包括执行这些指令对应的操作。

在本实施例，基于计算算子对数据库中的数据进行处理的过程中，还可执行包括步骤S350～S360的步骤内容，推理数据的生成和存储。

步骤S350，按照预设的规则对知识库中的数据进行推理，生成新的知识数据；

为了对知识库中的数据进行进一步挖掘，可利用预设的规则对知识数据进行推理，获得新的知识数据。例如，利用规则引擎在结合知识库中的已有知识，以及人工定义的规则，推导出新的知识的示例如下：

规则的定义：(A爸爸B)(B爸爸C)＝>(A爷爷C)。这条规则表示，如果A的爸爸是B，并且B的爸爸是C，可以推导出A的爷爷是C这个新的事实。规则引擎的加入可极大的丰富知识处理的能力，完成更加智能的处理。

将生成的新的知识数据存储在如上述的知识库中以便于对其进行操作处理，还可用于生成更新的知识数据。

步骤S360，将用于对生成的新的推理知识数据执行的操作封装为新的计算算子。

在步骤S350，生成新的知识数据的过程中，可将生成新的知识数据所采用的规则或操作的内容进行封装，从而形成针对知识数据操作的计算算子。这些计算算子同样也可被编写在上述计算脚本中，从而丰富脚本操作。

本发明实施例提供的知识数据的处理方法，在图1所示实施例的基础上，进一步示出了关于计算算子的生成，计算脚本的获取以及对计算脚本进行解析生成指令的步骤内容。同时，采用包含计算算子的知识在线处理方式，可实现处理平台统一化，提高在线处理能力。

实施例三

图4为本发明提供的知识数据的处理系统一个实施例的结构示意图，可用于执行如图1所示实施例的方法步骤。

参照图4，该知识数据的处理系统具体包括脚本获取模块410、脚本解析模块420和指令执行模块430。

脚本获取模块410用于获取计算脚本，该计算脚本中的语句包含用于调用封装好的计算算子的代码，该计算算子用于对知识库中的数据进行操作。

脚本解析模块420用于对计算脚本中的语句进行解析，生成包括执行计算算子的指令。

指令执行模块430，用于分别执行所述指令，以通过计算算子对所述知识库中的数据进行处理。

本发明实施例提供的知识数据的处理系统，通过调用包含计算算子的代码完成知识数据处理，无需深层了解知识库的底层数据接口便可完成相关开发；利用已封装的计算算子，无需对相同操作的脚本的代码进行重复编写，代码复用性强，节省了人力成本。

实施例四

图5为本发明提供的知识数据的处理系统另一个实施例的结构示意图，可视为图4所示实施例的一种具体实现结构，用于执行如图3所示实施例的方法步骤。

参照图5，该知识数据的处理系统包括脚本获取模块410、脚本解析模块420和指令执行模块430，且分别与图4中的相应模块基本相同。

在此基础上，图5所示的知识数据的处理系统中，还可包括：知识推理模块440，用于按照预设的规则对知识库中的数据进行推理，生成新的知识数据；算子封装模块450，用于将用于对生成的新的知识数据执行的操作封装为新的计算算子。

相应地，上述的知识数据的处理系统还可包括：知识存储模块460，用于存储生成的新的知识数据。

进一步地，脚本解析模块420还用于生成执行运算符、内置函数和/或自定义函数的指令。

进一步地，上述的知识数据的处理系统还可包括：请求接收模块470，用于接收用于知识处理的请求，该请求包括需调用的功能的信息，并且脚本获取模块410还用于根据需调用的功能的信息获取相应的计算脚本。

进一步地，在上述的知识数据的处理系统中，编写计算脚本的脚本语言包括但不限于以下任何一种语言：Scala、JavaScript，VBScript，ActionScript、MAX Script、ASP、JSP、PHP、SQL、Perl、Shell、python、Ruby、JavaFX、Lua、AutoIt以及自定义脚本语言。

本发明实施例提供的知识数据的处理系统，在图4所示系统实施例的基础上，进一步示出了了关于计算算子的生成，计算脚本的获取以及对计算脚本进行解析生成指令的步骤内容。同时，采用包含计算算子的知识在线处理方式，可实现处理平台统一化，提高在线处理能力。

上述根据本发明的方法和装置可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种知识数据的处理方法，其特征在于，所述方法包括：获取计算脚本，所述计算脚本中的语句包含用于调用封装好的计算算子的代码，所述计算算子用于对知识库中的数据进行操作；其中，按照预设的规则对知识库中的数据进行推理，生成新的知识数据；将用于对生成的所述新的知识数据执行的操作封装为新的计算算子；

对所述计算脚本中的语句进行解析，生成包括执行所述计算算子的指令；

分别执行所述指令，以通过所述计算算子对所述知识库中的数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

存储生成的所述新的知识数据。

3.根据权利要求1～2中任一项所述的方法，其特征在于，所述对所述计算脚本中的语句进行解析，生成包括执行所述计算算子的指令的处理还包括：

生成执行运算符、内置函数和/或自定义函数的指令。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收用于知识处理的请求，所述请求包括需调用的功能的信息，并且

所述获取计算脚本的处理包括：根据所述需调用的功能的信息获取相应的计算脚本。

5.根据权利要求1-2任一项所述的方法，其特征在于，编写所述计算脚本的脚本语言包括以下几种脚本语言：Scala、JavaScript，VBScript，ActionScript、MAX Script、ASP、JSP、PHP、SQL、Perl、Shell、python、Ruby、JavaFX、Lua、AutoIt以及自定义脚本语言。

6.一种知识数据的处理系统，其特征在于，所述系统包括：

脚本获取模块，用于获取计算脚本，所述计算脚本中的语句包含用于调用封装好的计算算子的代码，所述计算算子用于对知识库中的数据进行操作；

脚本解析模块，用于对所述计算脚本中的语句进行解析，生成包括执行所述计算算子的指令；

指令执行模块，用于分别执行所述指令，以通过所述计算算子对所述知识库中的数据进行处理；

知识推理模块，用于按照预设的规则对知识库中的数据进行推理，生成新的知识数据；

算子封装模块，用于将用于对生成的所述新的知识数据执行的操作封装为新的计算算子。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

知识存储模块，用于存储生成的所述新的知识数据。

8.根据权利要求6～7中任一项所述的系统，其特征在于，所述脚本解析模块还用于：

生成执行运算符、内置函数和/或自定义函数的指令。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：

请求接收模块，用于接收用于知识处理的请求，所述请求包括需调用的功能的信息，并且

所述脚本获取模块还用于根据所述需调用的功能的信息获取相应的计算脚本。

10.根据权利要求6-7任一项所述的系统，其特征在于，编写所述计算脚本的脚本语言包括以下任意一种语言：Scala、JavaScript，VBScript，ActionScript、MAX Script、ASP、JSP、PHP、SQL、Perl、Shell、python、Ruby、JavaFX、Lua、AutoIt以及自定义脚本语言。