CN111966895A - 一种基于Watson对话服务的电影问答系统构建方法、装置及系统 - Google Patents

Abstract

本发明涉及一种基于Watson对话服务的电影问答系统构建方法、装置及系统。该电影问答系统构建方法的步骤包括：利用爬虫从HTML源码中爬取电影信息，并以“实体—属性—值”的三元组的格式存储；建立Watson问答系统基本模型；在Watson问答系统基本模型中构建包含三元组各实体的节点；在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。本发明通过爬虫获取具体领域的结构化数据作为后端数据，对表示电影数据的三元组进行包装和重构，将其自动表示为Watson可识别的节点形式，并在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答，据此实现了电影问答系统，可以向用户给出完整正确的答案。

Description

一种基于Watson对话服务的电影问答系统构建方法、装置及 系统

技术领域

本发明涉及知识图谱及问答系统构建方法，尤其涉及IBM公司提供的Waston对话服务在问答系统构建中的应用，该方法属于人工智能技术领域中的知识图谱子领域。

背景技术

互联网技术的迅猛发展和广泛普及，使得网络信息呈现爆炸式增长，尽管人们可以通过网络方便的获取到大量信息，但是如何从海量数据中快速筛选出目标信息，却仍是需要解决的问题。目前大多数搜索引擎和检索系统基本可以满足人们获取百科知识、查询信息、休闲娱乐等的需要，但是这些系统仍然存在很多不足。问答系统的出现，则以另一种设计理念和呈现形式进行人机交互，它不但可以接受自然语言的提问形式，亦可以准确快速的返回精确答案，因此问答系统的研究成为目前一大研究热点。IBM Watson是由IBM公司开发的一个技术平台，它的出现，代表了一种全新计算模式——认知计算的产生。Watson囊括了包括深度问答、信息检索、自然语言处理、知识表达推理以及机器学习等多种先进技术。

为了实现特定领域问答系统的实际应用，需要获取网络上的该领域的各类数据及数据关系作为问答系统的数据源，对文本数据的存储和检索则由Watson来完成。但Watson在做出回答时，仅能机械地根据用户输入返回检索到的答案文本，对于带有“标签”类型的、需要返回多条实体作为答案的问题，仅能返回第一个符合执行条件的答案，无法返回完整的答案。考虑到具体域的知识数量之多，为所有“标签”问题的各种情况依次手动建立节点不现实。因此需要一种自动将数据关系进行整合表达的方法来实现该类问题的完整回答。

发明内容

本发明通过爬虫获取具体领域的结构化数据作为后端数据，对表示电影数据的三元组进行包装和重构，将其自动表示为Watson可识别的节点形式，并在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答，据此实现了一个小型的电影问答系统。

本发明采用的技术方案如下：

一种基于Watson对话服务的电影问答系统构建方法，其特征在于，包括以下步骤：

利用爬虫从HTML源码中爬取电影信息，并以“实体—属性—值”的三元组的格式存储；

建立Watson问答系统基本模型；

在Watson问答系统基本模型中构建包含三元组各实体的节点；

在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

进一步地，所述利用爬虫从HTML源码中爬取电影信息，是构建Scrapy爬虫从HTML源码中爬取电影信息，包括以下步骤：

创建scrapy.Item类，类属性定义为scrapy.Field，每个item对应一个三元组，在item中定义存储各项信息的基本字段，包括movie_name、movie_rela和movie_item，其中movie_name储存电影的名字，movie_rela储存电影的属性，movie_item存储爬取到的属性值；

爬虫Spider继承scrapy.Spider类，定义三个属性：start_urls，即Spider在开始运行时访问的的URL列表；name：定义Spider的名称；parse()：用于解析返回数据的Spider方法；

执行命令启动Spider即开始进行爬取，抽取数据时使用XPath或者CSS表达式来定位和选择HTML文件中的电影字段信息，爬取到的字段以“实体—属性—值”的三元组的格式存储到csv文件中，在存储到文件之前对爬取到的数据进行清洗、分类及格式规范化。

进一步地，所述建立Watson问答系统基本模型，包括：

意图创建及检测：在工作空间中创建第一个意图并命名，为该意图定义若干实例，使Watson学习应该将何种类型的用户类型匹配为该意图；同样构建其他意图，指定对话系统针对电影作出回答的基本关系；通过对话检测和训练意图的准确性，对Watson中已定义的某项意图进行测试，使用简短的句子进行模拟提问，验证Watson是否能对输入语料包含的意图进行正确判断；

实体创建：创建第一个实体并添加第一个值，采用同样的方法新建其他实体；

对话节点构建：在每个节点中具体设定的内容有：节点的名字、作出的回应以及下一步跳转到哪个节点；在对话开始时，Watson首先对根节点进行用户意图匹配度检测，若不符合则向下继续监测，若匹配到高置信度的意图，则向右转入该根节点的子节点继续匹配用户输入包含的实体，依此类推，根据节点执行条件做出回应及下一跳的目的节点跳转。通过人工创建，最后获得包含多个基本节点的对话基础模型。

进一步地，所述在Watson问答系统基本模型中构建包含三元组各实体的节点，包括：对每个三元组在Watson对话模型中建立正反两个方向的节点。

进一步地，所述在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答，包括：

在Watson中将相关的三元组储存成无向图的形式；

利用节点的“jump to”功能，在Watson作出一个回答之后不使其结束，而是跳转到其他符合执行条件的节点上做出另一个三元组的回答，依次如此，利用相关节点之间的联系，将所有符合条件的答案全部返回，从而呈现给用户正确无遗漏的答案。

进一步地，将所有影片信息的三元组写入Watson问答系统基本模型之后，程序运行结束自动生成一个json文件，将该文件上传到Conversation服务中之后生成的工作空间中即包含所有影片的全部信息。

一种采用上述方法的基于Watson对话服务的电影问答系统构建装置，其包括：

爬取模块，用于利用爬虫从HTML源码中爬取电影信息，并以“实体—属性—值”的三元组的格式存储；

Watso模型建立模块，用于建立Watson问答系统基本模型；

节点构建模块，用于在Watson问答系统基本模型中构建包含三元组各实体的节点；

节点连接模块，用于在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

一种采用上述方法构建的基于Watson对话服务的电影问答系统，包括Watson问答系统基本模型，所述Watson问答系统基本模型具有包含三元组各实体的节点；在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

本发明的创新点和有益效果在于：通过在三元组实体之间添加类似“指针”的指向链接，在一个答案实体返回之后并不结束对话流而是到达下一个符合条件要求的实体答案文本继续返回，经过指向路径的遍历返回所有符合条件的答案实体，由此可以向用户给出完整正确的答案。

附图说明

图1是Scrapy爬虫中item对象的字段定义；

图2是爬虫Spider程序工作流程；

图3是在Bluemix上建好的工作空间；

图4是意图创建示例；

图5是意图识别检测示例；

图6是七类实体创建结果；

图7是节点对话流构建图；

图8是基础模型节点结构图；

图9是本地模型文件的json格式；

图10是模型文件中实体的json格式；

图11是模型文件中节点的json格式；

图12是三元组检索方式示例图；

图13是无向图形式存储的电影数据；

图14是三元组数据导入流程图；

图15是三元组实体链接节点结构图；

图16是对话模型中自动生成的实体图；

图17～图28是效果测试示例图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明的基于Watson对话服务的电影问答系统构建方法主要包括以下步骤：

(1)构建Scrapy爬虫从HTML源码中抽取和存储电影信息

首先创建scrapy.Item类，类属性定义为scrapy.Field，每个存储对象item(scrapy框架定义的用于存储爬取信息的对象)对应一个三元组。为了存储爬取到的导演、编剧、演员等各项信息，在item中定义存储各项信息的基本字段如图1所示，包括movie_name、movie_rela和movie_item。其中movie_name储存电影的名字，movie_rela储存电影的属性(可能为“导演”、“编剧”、“演员”、“类型”、“评分”、“日期”其中之一)，movie_item存储爬取到的属性值。

爬虫Spider继承scrapy.Spider类，定义了三个属性：start_urls，即Spider在开始运行时访问的的URL列表；name：定义Spider的名称；parse()：用于解析返回数据的Spider方法。执行命令启动Spider即开始进行爬取(图2)。抽取数据时使用XPath或者CSS表达式来定位和选择HTML文件中的电影字段信息。爬取到的字段以“实体—属性—值”的三元组的格式存储到csv文件中，在存储到文件之前，要对爬取到的数据进行清洗、分类及格式规范化。

(2)建立Watson问答系统基本模型，包括6项意图、7类实体及50个基本节点

基础模型构建是在将三元组填入之前的存储框架的搭建，为三元组提供存储的基础空间。首先需要登录Bluemix账户，在Watson APIs列表中选择Conversation并创建一个Conversation服务，打开Conversation提供的开发工具“Launch Tool”，在Bluemix云端开发平台新建一个工作空间，即对话模型(图3)。然后将对话模型下载至本地以便将三元组知识导入。

a)“意图”创建及检测

共6项意图，包括导演、编剧、演员、类型、评分、日期。在工作空间中创建第一个意图并命名为“导演”，并为该意图定义几个实例，使Watson学习应该将何种类型的用户类型匹配为该意图。同样构建“编剧”、“演员”等其他五个意图，指定对话系统针对电影作出回答的六项基本关系，对应6项意图。图4是意图创建示例图。

通过对话检测和训练意图的准确性(图5)，对Watson中已定义的某项意图进行测试，使用简短的句子进行模拟提问，验证Watson是否能对输入语料包含的意图进行正确判断。

b)“实体”创建

创建第一个实体“导演名字”并添加第一个值“陈凯歌”，同样的方法新建其他六个实体：“编剧名字”、“演员名字”、“电影名字”、“类型名字”、“日期时间”、“评分分数”(图6)。

c)对话节点构建

一个对话节点是一个分支的对话流，基于用户的输入，每一个节点有一个可以触发其执行的条件。它定义了应用程序在识别定义的意图和实体时如何响应。开发者使用对话框生成器来与创建与用户的对话，根据从用户输入中识别出的意图和实体来做出回应。在每个节点中可以具体设定的内容有：节点的名字、作出的回应以及下一步跳转到哪个节点。图7是节点对话流构建图。

在对话开始时，Watson首先对根节点进行用户意图匹配度检测，若不符合则向下继续监测，若匹配到高置信度的意图，则向右转入该根节点的子节点继续匹配用户输入包含的实体，依此类推，根据节点执行条件做出回应及下一跳的目的节点跳转。通过人工创建，最后获得包含50个基本节点的对话基础模型。50个基本节点可以视为用于存储电影信息的基本框架，后续数据的填入即在这50个节点上进行填充。六种关系各自对应8个节点，共48个，加上“开始”节点与“结束”节点，组成50个。图8提供了一个示意图，仅以“导演”意图为例，画出其对应的8个节点，另外五种意图同理。

上述6项意图、7类实体及50个基本节点仅是举例，根据该方案所使用的数据规模的不同，可以为其他任意非零数量。

d)模型下载

为了将爬取的200条电影信息写入对话模型，需要将构建好的对话模型框架下载为本地json文件(图9)。在工作空间的选项标签中选择“Download as JSON”，保存为本地json文件。文件以json的数据格式存储了11项属性。“entities”中存储了该工作空间中对所有实体的定义，“intents”中存储的是对“意图”的定义，而“dialog_nodes”中则包含了每个节点的信息。下一步工作是将爬取到的三元组中的所有实体无重复地添加到“entities”(图10)中并构建和添加正确的节点到“dialog_nodes”(图11)。

(3)对爬取到的三元组进行分类及形式转换，自动在Watson问答系统基本模型中构建包含三元组各实体的信息节点

由于直接爬取到的电影数据可能在一个文件中包含多种关系，后续进行使用时，需要先按照其关系(亦即“意图”)进行分类，再提供给后续问答系统构建使用。形式转换是将原始爬到的电影数据进行清洗，包装，构建成Waston可以解析的json格式。

对三元组进行查询应用时需要分为两种情况：正向，如询问某电影的导演是谁；反向，如询问某导演执导过的电影有哪些(图12)。相应地，对每个三元组需要在Watson对话模型中建立正反两个方向的节点。

一般情况下，在Watson中构建节点，使其在检测到三元组的其中两项后直接回答剩余的一项即是正确答案，但是这样做出的回答并不完全。同时对于一种数据关系而言，实际情况中会有一对一、一对多、多对一的不同情况，因此在导入三元组时要对上述几种情况做出处理，使Watson针对用户的提问做出正确的回答。为了解决“一对多”和“多对一”的问题，则需要在相关的三元组之间建立连接，即在Watson中将这些三元组储存成无向图的形式(图13)。

具体方法是利用节点的“jump to”功能，在Watson作出一个回答之后不使其结束，而是跳转到其他符合执行条件的节点上做出另一个三元组的回答，依次如此，利用相关节点之间的联系，将所有符合条件的答案全部返回，从而呈现给用户正确无遗漏的答案。如图14所示，例如一名导演执导过多部影片的“一对多”的关系，在包含这名导演名字的三元组后建立“jump to”的链接，使其在执行完毕第一个三元组后，直接跳转到下一个具有相同导演名字的三元组节点，继续判断执行条件做出回答。程序运行以六个三元组文本文件和基础模型文件作为输入，运行结束后输出新的模型(图15)。

(4)模型文档上传

将所有影片信息的三元组写入原始的对话模型之后，程序运行结束自动生成一个新的json文件，该模型在原始框架50个基本节点的基础上增加了每个三元组新建成的两个节点，最终共建成7090个节点。将该文件上传到Conversation服务中之后生成的工作空间中即包含了写好的所有200部影片的全部信息。图16展示了由三元组实体自动定义生成的实体列表。

本发明在Node环境下将系统部署为网页应用程序，模拟用户输入，通过两大类共12个问题对系统进行测试和验证。

(1)以电影名称作为提问主语

“以电影名称作为提问主语”即针对三元组进行正向提问，用户给出电影名称和该影片的需求信息项，系统回答出相应电影的属性值。如：

询问一部影片的导演：(图17)

询问一部影片的编剧：(图18)

询问一部影片的演员：(图19)

询问一部影片的类型：(图20)

询问一部影片的评分：(图21)

询问一部影片的上映时间：(图22)

对于上述测试的6个问题，系统均快速、准确地返回了正确的答案，并且答案完整没有遗漏项。验证了系统对于以电影名称作为提问主语的问题进行回答的能力。

(2)以电影名称作为回答的提问

“以电影名称作为回答的提问”即针对三元组进行的反向提问，用户给出限制查询的条件选项，系统则需回答出符合条件的电影名称。如：

询问某导演执导过的电影：(图23)

询问某编剧编写过的剧本：(图24)

询问某演员演过的电影：(图25)

询问某类型的电影有什么：(图26)

询问某个分数的电影有哪些：(图27)

询问某年上映的电影有什么：(图28)

对于上述测试的6个反向问题，系统同样快速、准确地返回了正确的答案，由此表明验证了系统对于需要以电影名称作为回答的问题进行回答的能力。

综上所述，该问答系统对于已构建的六种关系类型，和已定义的电影信息均可以通过自动构建的对话流做出三元组的正反方向查询并返回正确结果，由此表明本发明的可行性以及该系统的实用性。

基于同一发明构思，本发明的另一个实施例提供一种采用上述方法的基于Watson对话服务的电影问答系统构建装置，其包括：

爬取模块，用于利用爬虫从HTML源码中爬取电影信息，并以“实体—属性—值”的三元组的格式存储；

Watso模型建立模块，用于建立Watson问答系统基本模型；

节点构建模块，用于在Watson问答系统基本模型中构建包含三元组各实体的节点；

节点连接模块，用于在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

其中各模块的具体实施过程参见前文对本发明方法的描述。

基于同一发明构思，本发明的另一个实施例提供一种采用上述方法构建的基于Watson对话服务的电影问答系统，其特征在于，包括Watson问答系统基本模型，所述Watson问答系统基本模型具有包含三元组各实体的节点；在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

基于同一发明构思，本发明的另一个实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于Watson对话服务的电影问答系统构建方法，其特征在于，包括以下步骤：

利用爬虫从HTML源码中爬取电影信息，并以“实体—属性—值”的三元组的格式存储；

建立Watson问答系统基本模型；

在Watson问答系统基本模型中构建包含三元组各实体的节点；

在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

2.根据权利要求1所述的方法，其特征在于，所述利用爬虫从HTML源码中爬取电影信息，是构建Scrapy爬虫从HTML源码中爬取电影信息，包括以下步骤：

创建scrapy.Item类，类属性定义为scrapy.Field，每个item对应一个三元组，在item中定义存储各项信息的基本字段，包括movie_name、movie_rela和movie_item，其中movie_name储存电影的名字，movie_rela储存电影的属性，movie_item存储爬取到的属性值；

爬虫Spider继承scrapy.Spider类，定义三个属性：start_urls，即Spider在开始运行时访问的的URL列表；name：定义Spider的名称；parse()：用于解析返回数据的Spider方法；

执行命令启动Spider即开始进行爬取，抽取数据时使用XPath或者CSS表达式来定位和选择HTML文件中的电影字段信息，爬取到的字段以“实体—属性—值”的三元组的格式存储到csv文件中，在存储到文件之前对爬取到的数据进行清洗、分类及格式规范化。

3.根据权利要求1所述的方法，其特征在于，所述建立Watson问答系统基本模型，包括：

意图创建及检测：在工作空间中创建第一个意图并命名，为该意图定义若干实例，使Watson学习应该将何种类型的用户类型匹配为该意图；同样构建其他意图，指定对话系统针对电影作出回答的基本关系；通过对话检测和训练意图的准确性，对Watson中已定义的某项意图进行测试，使用简短的句子进行模拟提问，验证Watson是否能对输入语料包含的意图进行正确判断；

实体创建：创建第一个实体并添加第一个值，采用同样的方法新建其他实体；

对话节点构建：在每个节点中具体设定的内容有：节点的名字、作出的回应以及下一步跳转到哪个节点；在对话开始时，Watson首先对根节点进行用户意图匹配度检测，若不符合则向下继续监测，若匹配到高置信度的意图，则向右转入该根节点的子节点继续匹配用户输入包含的实体，依此类推，根据节点执行条件做出回应及下一跳的目的节点跳转。

通过人工创建，最后获得包含多个基本节点的对话基础模型。

4.根据权利要求1所述的方法，其特征在于，所述在Watson问答系统基本模型中构建包含三元组各实体的节点，包括：对每个三元组在Watson对话模型中建立正反两个方向的节点。

5.根据权利要求1所述的方法，其特征在于，所述在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答，包括：

在Watson中将相关的三元组储存成无向图的形式；

利用节点的“jump to”功能，在Watson作出一个回答之后不使其结束，而是跳转到其他符合执行条件的节点上做出另一个三元组的回答，依次如此，利用相关节点之间的联系，将所有符合条件的答案全部返回，从而呈现给用户正确无遗漏的答案。

6.根据权利要求1所述的方法，其特征在于，将所有影片信息的三元组写入Watson问答系统基本模型之后，程序运行结束自动生成一个json文件，将该文件上传到Conversation服务中之后生成的工作空间中即包含所有影片的全部信息。

7.一种采用权利要求1～6中任一权利要求所述方法的基于Watson对话服务的电影问答系统构建装置，其特征在于，包括：

爬取模块，用于利用爬虫从HTML源码中爬取电影信息，并以“实体—属性—值”的三元组的格式存储；

Watso模型建立模块，用于建立Watson问答系统基本模型；

节点构建模块，用于在Watson问答系统基本模型中构建包含三元组各实体的节点；

节点连接模块，用于在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

8.一种采用权利要求1～6中任一权利要求所述方法构建的基于Watson对话服务的电影问答系统，其特征在于，包括Watson问答系统基本模型，所述Watson问答系统基本模型具有包含三元组各实体的节点；在三元组相关实体对应的节点之间建立连接以实现对标签问题的回答。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～6中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～6中任一权利要求所述的方法。

Images