CN106294678B - 一种智能机器人的话题发起装置及方法 - Google Patents

Abstract

本发明公开了一种智能机器人的话题发起方法及装置，该方法包括：目光朝向检测步骤，获取有关用户当前注视目标的图像，根据所述图像检测出所述用户的注视方向信息；视线搜索步骤，根据检测出的所述用户的注视方向信息，搜索所述用户注视的对象并获取相应的对象图像；注视对象识别步骤，根据所述对象图像识别出所述用户可能注视的物体，获取与所述物体对应的物体标签；以及话题发起步骤，根据所述物体标签发起与所述物体相关的话题的对话。本发明能够更好地提高用户体验和用户粘度，可以与用户进行主动交互，主动发起话题的方案，进而使智能机器人更加智能和人性化。

Description

一种智能机器人的话题发起装置及方法

技术领域

本发明涉及智能机器人领域，尤其涉及一种智能机器人的话题发起装置及方法。

背景技术

随着人工智能的发展，智能机器人越来越快的进入到普通的家庭中。

现有的智能机器人与用户的交互方式一般是进行问题答复和生活辅助查询。这种交互方式多是被动的，即用户主动发起话题，机器人根据用户发起的话题进行答复，而机器人无法主动发起话题，因此，降低了用户体验和用户粘度。

因此，为了更好地提高用户体验和用户粘度，亟需提供一种能够实现智能机器人与用户进行主动交互，主动发起话题的方案，进而使智能机器人更加智能和人性化。

发明内容

本发明所要解决的技术问题之一是需要提供一种能够实现智能机器人与用户进行主动交互，主动发起话题的方案，进而使智能机器人更加智能和人性化。

为了解决上述技术问题，本申请的实施例首先提供了一种智能机器人的话题发起方法，包括：目光朝向检测步骤，获取有关用户当前注视目标的图像，根据所述图像检测出所述用户的注视方向信息；视线搜索步骤，根据检测出的所述用户的注视方向信息，搜索所述用户注视的对象并获取相应的对象图像；注视对象识别步骤，根据所述对象图像识别出所述用户可能注视的物体，获取与所述物体对应的物体标签；以及话题发起步骤，根据所述物体标签发起与所述物体相关的话题的对话。

优选地，所述目标朝向检测步骤中，根据所述图像分别获得用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量，作为所述用户的注视方向信息。

优选地，在所述目光朝向检测步骤中，利用人眼检测技术和目光检测技术根据所述图像分别获得用户两眼中心相对于智能机器人摄像头的三维位置信息和三维视线朝向向量，作为所述用户的注视方向信息；或者利用人脸检测技术和头部姿势检测技术根据所述图像分别获得用户鼻尖相对于智能机器人摄像头的三维位置信息和三维头部朝向向量，作为所述用户的注视方向信息。

优选地，在所述视线搜索步骤中，进一步包括：改变所述智能机器人摄像头方向的电机状态，并使所述摄像头的注视中心从用户的面部特征点开始依次遍历、由用户面部特征点和三维朝向向量的方向所组成的射线上的每个点，直到点与三维空间中的物体或障碍重合，得到此重合点的三维坐标；根据与所述重合点的三维坐标所对应的对象图像，计算所述三维朝向向量的焦点在该对象图像上的概率分布，并根据所述对象图像获取物体识别和定位结果。

优选地，在所述注视对象识别步骤中，进一步包括：根据所述概率分布计算出所述物体识别和定位结果中每个物体被注视的概率；将概率值最高的物体作为所述用户可能注视的物体，并获取与该物体对应的物体标签。

优选地，根据所述物体标签，查询到与所述物体标签对应的话题信息；利用所述话题信息发起与所述物体相关的话题的对话。

另一方面，还提供了一种智能机器人的话题发起装置，包括：目光朝向检测单元，其获取有关用户当前注视目标的图像，根据所述图像检测出所述用户的注视方向信息；视线搜索单元，其根据检测出的所述用户的注视方向信息，搜索所述用户注视的对象并获取相应的对象图像；注视对象识别单元，其根据所述对象图像识别出所述用户可能注视的物体，获取与所述物体对应的物体标签；以及话题发起单元，其根据所述物体标签发起与所述物体相关的话题的对话。

优选地，所述目标朝向检测单元，进一步根据所述图像分别获得用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量，作为所述用户的注视方向信息。

优选地，所述目光朝向检测单元，进一步利用人眼检测技术和目光检测技术根据所述图像分别获得用户两眼中心相对于智能机器人摄像头的三维位置信息和三维视线朝向向量，作为所述用户的注视方向信息；或者利用人脸检测技术和头部姿势检测技术根据所述图像分别获得用户鼻尖相对于智能机器人摄像头的三维位置信息和三维头部朝向向量，作为所述用户的注视方向信息。

优选地，所述视线搜索单元，进一步改变所述智能机器人摄像头方向的电机状态，并使所述摄像头的注视中心从用户的面部特征点开始依次遍历、由用户面部特征点和三维朝向向量的方向所组成的射线上的每个点，直到点与三维空间中的物体或障碍重合，得到此重合点的三维坐标；根据与所述重合点的三维坐标所对应的对象图像，计算所述三维朝向向量的焦点在该对象图像上的概率分布，并根据所述对象图像获取物体识别和定位结果。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例通过智能机器人进行目光朝向检测、视线搜索和注视对象识别，能够准确获取用户当前所关注的物体，根据用户关注的物体，智能机器人主动发起与物体相关的话题，这样就能够实现与用户进行主动交互，进而使智能机器人更加智能和人性化。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1是根据本发明实施例的智能机器人的话题发起装置的结构框图。

图2是根据本发明实施例的智能机器人的话题发起方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

(实施例)

图1是根据本发明实施例的智能机器人的话题发起装置100的结构框图。如图1所示，本申请实施例的智能机器人的话题发起装置100，主要包括：目光朝向检测单元110、视线搜索单元120、注视对象识别单元130以及话题发起单元140。

目光朝向检测单元110，其获取有关用户当前注视目标的图像，根据图像检测出用户的注视方向信息。

在本实施方式中，目光朝向检测单元110通过RGBD摄像头来获取有关用户当前注视目标的RGBD图像，该RGBD摄像头包括双目摄像头或TOF或结构光摄像头，可以得到场景的色彩和深度信息。在获取RGBD图像之后，目标朝向检测单元110进一步根据RGBD图像分别获得用户的一个面部特征点相对于智能机器人摄像头的三维(简称3D)位置信息和三维朝向向量，作为用户的注视方向信息。

在本例中，用户的一个面部特征点优选为用户两眼中心或用户鼻尖等代表用户面部朝向的部位。另外，该面部特征点也可以选择用户的下巴或额头，本发明对此不作特别限定。

在确定用户的一个面部特征点为用户两眼中心时，目光朝向检测单元110具体利用人眼检测技术和目光检测技术根据图像分别获得用户两眼中心相对于智能机器人摄像头的三维位置信息和三维视线朝向向量，作为用户的注视方向信息。

在确定用户的一个面部特征点为用户鼻尖部位时，目光朝向检测单元110具体利用人脸检测技术和头部姿势检测技术根据图像分别获得用户鼻尖相对于智能机器人摄像头的三维位置信息和三维头部朝向向量，作为用户的注视方向信息。

视线搜索单元120，其与目光朝向检测单元110相连，根据检测出的用户的注视方向信息，搜索用户注视的对象并获取相应的对象图像。

在目标朝向检测单元110获得了作为用户的注视方向信息的用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量后，视线搜索单元120进一步改变智能机器人摄像头方向的电机状态，并使摄像头的注视中心从用户的面部特征点开始依次遍历、由用户面部特征点和三维朝向向量的方向所组成的射线上的每个点，直到点与三维空间中的物体或障碍重合，得到此重合点的三维坐标，随后，视线搜索单元120根据与重合点的三维坐标所对应的对象图像，计算三维朝向向量的焦点在该对象图像上的概率分布，并根据对象图像获取物体识别和定位结果。

更具体地，以用户两眼中心作为用户面部特征点为例，视线搜索单元120在视线搜索过程中，视线搜索单元120的输入为人眼中心相对于机器人摄像头的3D位置坐标和3D视线向量及其协方差矩阵(视线方向误差的概率分布)。视线搜索单元120的输出为用户注视的物体的位置坐标及物体标签。首先视线搜索单元120改变控制摄像头方向的电机状态，并使摄像头的注视中心从人两眼中心点p0开始依次遍历“由人两眼中心点和3D视线向量v的方向组成的射线”上的每个点，直到点与3D空间中的物体或障碍重合，得到此重合点的3D坐标p1。视线搜索单元120根据此时捕获与重合点的三维坐标所对应的1帧输入的深度图像I，并计算3D视线向量的焦点在此深度图像上的概率分布P。

视线搜索单元120通过上面流程最终会获取概率分布P和物体识别定位结果。

注视对象识别单元130，其与视线搜索单元120相连，根据对象图像识别出用户可能注视的物体，获取与物体对应的物体标签。

具体地，注视对象识别单元130进一步根据概率分布计算出物体识别和定位结果中每个物体被注视的概率，然后将概率值最高的物体作为用户可能注视的物体，并获取与该物体对应的物体标签。

需要说明的是，在本实施例的装置中会存储大量的物体的图片及其对应的标签，该标签用来表明物体的名称等信息，在确定了用户可能注视的物体后，可以拍摄到该物体的图片，并将该物体的图片与内部存储的图片进行匹配，确定对应标签。

话题发起单元140，其与注视对象识别单元130相连，根据物体标签发起与物体相关的话题的对话。具体地，话题发起单元140根据物体标签，查询到与物体标签对应的话题信息，利用话题信息发起与物体相关的话题的对话。

例如，若物体标签为“苹果”，则话题发起单元140利用TTS技术将与“苹果”相关的文本内容转换成语音内容，发起与“苹果”相关的各种话题，吸引用户的注意。如话题发起单元140会跟用户说“苹果是营养价值非常高的水果，多吃苹果有助于身体健康，你今天吃苹果了吗？”这样，用户就会被所发出的话题吸引过去，并根据话题内容与机器人进行对话，这样就能够提高用户体验和用户粘度。

下面参照图2中的流程对智能机器人的话题发起方法的具体情况进行分步说明。

(步骤S210)

首先，目光朝向检测单元110获取有关用户当前注视目标的图像，根据图像检测出用户的注视方向信息。

具体地，目标朝向检测单元110通过RGBD摄像头来获取有关用户当前注视目标的RGBD图像，该RGBD摄像头包括双目摄像头或TOF或结构光摄像头，可以得到场景的色彩和深度信息。在获取RGBD图像之后，目标朝向检测单元110根据图像分别获得用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量，作为用户的注视方向信息。

更进一步来说，目光朝向检测单元110利用人眼检测技术和目光检测技术根据图像分别获得用户两眼中心相对于智能机器人摄像头的三维位置信息和三维视线朝向向量，作为用户的注视方向信息。或者利用人脸检测技术和头部姿势检测技术根据所述图像分别获得用户鼻尖相对于智能机器人摄像头的三维位置信息和三维头部朝向向量，作为用户的注视方向信息。

(步骤S220)

接下来，视线搜索单元120根据检测出的所述用户的注视方向信息，搜索用户注视的对象并获取相应的对象图像。

具体地，在目标朝向检测单元110获得了作为用户的注视方向信息的用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量后，视线搜索单元120改变智能机器人摄像头方向的电机状态，并使摄像头的注视中心从用户的面部特征点开始依次遍历、由用户面部特征点和三维朝向向量的方向所组成的射线上的每个点，直到点与三维空间中的物体或障碍重合，得到此重合点的三维坐标。其次，视线搜索单元120根据与重合点的三维坐标所对应的对象图像，计算三维朝向向量的焦点在该对象图像上的概率分布，并根据对象图像获取物体识别和定位结果。

(步骤S230)

接着，注视对象识别单元130根据对象图像识别出所述用户可能注视的物体，获取与所述物体对应的物体标签。

具体来说，注视对象识别单元130进一步根据概率分布计算出物体识别和定位结果中每个物体被注视的概率，并将概率值最高的物体作为用户可能注视的物体，并获取与该物体对应的物体标签。

(步骤S240)

在此，话题发起单元140根据物体标签发起与物体相关的话题的对话。具体地，根据物体标签，查询到与物体标签对应的话题信息，然后利用话题信息发起与物体相关的话题的对话。

本发明实施例通过智能机器人进行目光朝向检测、视线搜索和注视对象识别，能够准确获取用户当前所关注的物体，根据用户关注的物体，智能机器人主动发起与物体相关的话题，这样就能够实现与用户进行主动交互，进而使智能机器人更加智能和人性化。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法中的全部或部分步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

Claims (6)

1.一种智能机器人的话题发起方法，包括：

目光朝向检测步骤，获取有关用户当前注视目标的图像，根据所述图像检测出所述用户的注视方向信息，其中，根据所述图像分别获得用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量，作为所述用户的注视方向信息，所述面部特征点为用户两眼中心或用户鼻尖；

视线搜索步骤，根据检测出的所述用户的注视方向信息，通过改变用于控制智能机器人摄像头方向的电机的状态，并使得所述摄像头的注视中心从用户面部特征点开始依次遍历、由用户面部特征点和三维朝向向量的方向所组成的射线上的每个点，直到点与三维空间中的物体或障碍重合，得到此重合点的三维坐标，以使得所述智能机器人摄像头沿着所述射线搜索到所述用户注视的对象并获取相应的对象图像；

注视对象识别步骤，根据所述对象图像识别出所述用户可能注视的物体，并获取与所述物体对应的物体标签，其中，根据与所述重合点的三维坐标所对应的对象图像，计算所述三维朝向向量的焦点落在该对象图像上的概率分布，并根据所述对象图像获取图像中每个物体的识别和定位结果，基于此，确定所述用户可能注视的物体；以及

话题发起步骤，根据所述物体标签发起与所述物体相关的话题的对话。

2.根据权利要求1所述的话题发起方法，其特征在于，

在所述目光朝向检测步骤中，利用人眼检测技术和目光检测技术根据所述图像分别获得用户两眼中心相对于智能机器人摄像头的三维位置信息和三维视线朝向向量，作为所述用户的注视方向信息；

或者

利用人脸检测技术和头部姿势检测技术根据所述图像分别获得用户鼻尖相对于智能机器人摄像头的三维位置信息和三维头部朝向向量，作为所述用户的注视方向信息。

3.根据权利要求1所述的话题发起方法，其特征在于，在所述注视对象识别步骤中，进一步包括：

根据所述概率分布计算出所述物体识别和定位结果中每个物体被注视的概率；

将概率值最高的物体作为所述用户可能注视的物体，并获取与该物体对应的物体标签。

4.根据权利要求1～3中任一项所述的话题发起方法，其特征在于，

根据所述物体标签，查询到与所述物体标签对应的话题信息；

利用所述话题信息发起与所述物体相关的话题的对话。

5.一种智能机器人的话题发起装置，包括：

目光朝向检测单元，其获取有关用户当前注视目标的图像，根据所述图像检测出所述用户的注视方向信息，其中，所述目标朝向检测单元，进一步根据所述图像分别获得用户的一个面部特征点相对于智能机器人摄像头的三维位置信息和三维朝向向量，作为所述用户的注视方向信息，所述面部特征点为用户两眼中心或用户鼻尖；

视线搜索单元，其根据检测出的所述用户的注视方向信息，通过改变用于控制智能机器人摄像头方向的电机的状态，并使得所述摄像头的注视中心从用户面部特征点开始依次遍历、由用户面部特征点和三维朝向向量的方向所组成的射线上的每个点，直到点与三维空间中的物体或障碍重合，得到此重合点的三维坐标，以使得所述智能机器人摄像头沿着所述射线搜索到所述用户注视的对象并获取相应的对象图像；

注视对象识别单元，其根据所述对象图像识别出所述用户可能注视的物体，并获取与所述物体对应的物体标签，其中，根据与所述重合点的三维坐标所对应的对象图像，计算所述三维朝向向量的焦点落在该对象图像上的概率分布，并根据所述对象图像获取图像中每个物体的识别和定位结果，基于此，确定所述用户可能注视的物体；以及

话题发起单元，其根据所述物体标签发起与所述物体相关的话题的对话。

6.根据权利要求5所述的话题发起装置，其特征在于，

所述目光朝向检测单元，进一步利用人眼检测技术和目光检测技术根据所述图像分别获得用户两眼中心相对于智能机器人摄像头的三维位置信息和三维视线朝向向量，作为所述用户的注视方向信息；

或者

利用人脸检测技术和头部姿势检测技术根据所述图像分别获得用户鼻尖相对于智能机器人摄像头的三维位置信息和三维头部朝向向量，作为所述用户的注视方向信息。

Images