CN106327492A - 一种面向智能机器人的注意力数据处理方法及装置 - Google Patents

Abstract

一种面向智能机器人的注意力数据处理方法及装置，其中，该方法包括：步骤一、根据采集到的图像确定当前注意力所朝向的目标物信息，其中，目标物信息包括当前焦点的空间信息和监听数据；步骤二、根据监听数据判断是否需要进行注意力转移，如果需要，则基于预设注意力转移模型和当前焦点的空间信息，确定注意力转移后的焦点的空间信息，并执行注意力转移。本方法能够实现机器人注意力的自动转移，这样机器人也就不会长期注视同一物体，并且机器人的注意力还更有可能转移到运动物体或发声物体等更容易引起注意力的物体上，从而使得机器人表现地更加智能化和人性化，进而提高了机器人的交互体验和用户粘度，提高了智能机器人的产品竞争力。

Description

一种面向智能机器人的注意力数据处理方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种面向智能机器人的注意力数据处理方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

在现有的人机交互方式中，基于视觉的人机交互是一种重要的交互方式。对于基于视觉的人机交互方式来说，面对多个人和多个运动物体，如何恰当的选择将机器人的摄像头对准那个人或运动物体，即如何恰当地确定机器人的焦点是现有技术中尚未涉及到的技术领域。

发明内容

为解决上述问题，本发明提供了一种面向智能机器人的注意力数据处理方法，其包括：

步骤一、根据采集到的图像确定当前注意力所朝向的目标物信息，其中，所述目标物信息包括当前焦点的空间信息和监听数据；

步骤二、根据所述监听数据判断是否需要进行注意力转移，如果需要，则基于预设注意力转移模型和所述当前焦点的空间信息，确定注意力转移后的焦点的空间信息，并执行注意力转移。

根据本发明的一个实施例，在所述步骤一中，获取采集到的图像中各物体中心点坐标，得到注意力转移后的候选焦点的坐标数据。

根据本发明的一个实施例，在所述步骤二中，基于疲劳模型、懒惰模型和/或随机模型，从所述候选焦点的坐标数据中确定出注意力转移后的焦点的坐标数据。

根据本发明的一个实施例，在所述步骤二中，

根据预设规则对应生成各候选焦点的价值参量；

根据所述各候选焦点的价值参量、当前焦点的坐标数据，从候选焦点中确定出注意力转移后的焦点的坐标数据。

根据本发明的一个实施例，在所述预设规则中，人脸的价值参考量的取值较非人脸物体的价值参考量的取值高，且/或，运动物体的价值参考量的取值较静止物体的价值参考量的取值高，且/或，发声物体的价值参考量的取值较非发声物体的价值参考量的取值高。

本发明还提供了一种面向智能机器人的注意力数据处理装置，其包括：

目标物信息确定模块，其用于根据采集到的图像确定当前注意力所朝向的目标物信息，其中，所述目标物信息包括当前焦点的空间信息和监听数据；

注意力转移模块，其用于根据所述监听数据判断是否需要进行注意力转移，如果需要，则基于预设注意力转移模型和所述当前焦点的空间信息，确定注意力转移后的焦点的空间信息，并执行注意力转移。

根据本发明的一个实施例，所述目标物信息确定模块配置为获取采集到的图像中各物体中心点坐标，得到注意力转移后的候选焦点的坐标数据。

根据本发明的一个实施例，所述注意力转移模块配置为基于疲劳模型、懒惰模型和/或随机模型，从所述候选焦点的坐标数据中确定出注意力转移后的焦点的坐标数据。

根据本发明的一个实施例，所述注意力转移模块配置为：

根据预设规则对应生成各候选焦点的价值参量；

根据所述各候选焦点的价值参量、当前焦点的坐标数据，从候选焦点中确定出注意力转移后的焦点的坐标数据。

根据本发明的一个实施例，在所述预设规则中，人脸的价值参考量的取值较非人脸物体的价值参考量的取值高，且/或，运动物体的价值参考量的取值较静止物体的价值参考量的取值高，且/或，发声物体的价值参考量的取值较非发声物体的价值参考量的取值高。

本发明所提供的面向智能机器人的注意力数据处理方法及装置能够实现机器人注意力的自动转移，这样机器人也就不会长期注视同一物体，并且机器人的注意力还更有可能转移到人脸，运动物体或发声物体等更容易引起注意力的物体上，从而使得机器人表现地更加智能化和人性化，进而提高了智能机器人的交互体验和用户粘度，提高了智能机器人的产品竞争力。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的面向智能机器人的注意力数据处理方法的实现流程图；

图2是根据本发明一个实施例的确定转移后的焦点坐标数据的实现流程图；

图3是根据本发明一个实施例的面向智能机器人的注意力数据处理装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

针对现有技术中所存在的上述问题，本实施例提供了一种新的面向智能机器人的注意力数据处理方法，图1示出了该方法的实现流程图。

如图1所示，本实施例所提供的注意力数据处理方法首先在步骤S101中根据采集到的图像确定当前注意力所朝向的目标物信息。本实施例中，该方法在步骤S101中所确定出的当前注意力所朝向的目标物信息包括当前焦点的空间信息和监听数据。其中，当前焦点的空间信息优选地包括当前焦点的坐标数据。

需要指出的是，在本发明的不同实施例中，该方法在步骤S101中所获取到的监听数据可以根据实际需要为不同形式的多模态数据。利用监听数据，该方法可以在步骤S102中来判断是否满足注意力转移的触发条件，即当前是否需要进行注意力转移。

如果该方法在步骤S102中根据监听数据判断出此时需要进行注意力转移，那么该方法则会在步骤S103中根据预设注意力转移模型和当前焦点的空间信息，来确定出注意力转移后的焦点的空间信息，并将摄像头的焦点对准所得到的注意力转移后的焦点的坐标上；进一步地，需要说明：所述摄像头的焦点对准可通过旋转摄像头的物理角度实现，也可通过控制机器人的身体或头部的角度，以带动所述摄像头的角度，从而实现智能机器人注意力的转移。

本实施例中，在判断是否需要进行注意力转移以及进行注意力转移的过程中，本方法优选地基于疲劳模型、懒惰模型和随机模型来进行判断以及分析。具体地，如果智能机器人长时间(例如某一时段内)持续盯着某一物体(例如人脸或运动物体)，那么智能机器人则会像人一样感到厌倦，那么此时智能机器人也就会更加倾向于将注意力转移到别处，此过程即疲劳模型。

因此，基于该疲劳模型，在判断出智能机器人的当前注意力的焦点的坐标数据在某一时间段内保持不变(例如智能机器人长时间盯着某一静止物体)或落入某一物体的轮廓范围内(例如智能机器人长时间盯着某一运动物体)时，该方法会将注意力转移参数调高，当注意力转移参数大于预设注意力转移参数阈值时，该方法便会判定此时满足注意力转移条件，从而启动智能机器人的注意力转移过程。

智能机器人在进行注意力转移时，注意力转移前和注意力转移后的焦点之间的间距通常不会太大，即智能机器人更加倾向于先观察当前焦点附近的区域，此过程即懒惰模型。

因此，基于懒惰模型，智能机器人在进行注意力转移时，与当前焦点的间距在特定范围内的候选焦点将具有更高的权重(即优先级)。候选焦点的权重越高，那么其作为注意力转移后的焦点的概率也就越大。

虽然智能机器人在进行注意力转移时通常会遵循上述模型，但是在某些情况下，机器人即使长时间盯着某一物体，其仍有可能并不会进行注意力的转移(即视线焦点的变动)，同时，当智能机器人在进行注意力转移时，其视线焦点的转移同样具有一定的随机性(即各个候选焦点的优先级具有一定的随机性)，而此过程即随机模型。

本实施例中，智能机器人在进行注意力转移时，优选地采用上述三种模型来确定注意力转移以后的焦点的空间信息(例如坐标数据)，这样能够使得智能机器人表现得更加人性化，从而提高智能机器人的用户体验，进而增加机器人的用户粘度与产品竞争力。

需要指出的是，在本发明的其他实施例中，该方法既可以仅根据以上所列模型中的某一项或某几项来判断是否需要进行注意力转移以及确定注意力转移后的焦点的空间信息，也可以根据其他未列出的合理模型来进行相关分析，还可以根据以上所列模型中的某一项或某几项与其他未列出的合理模型的任意组合来进行相关分析，本发明不限于此。

图2示出了本实施例所提供的注意力数据处理方法确定注意力转移后的焦点的坐标数据的具体流程图。

如图2所示，本实施例中，在确定出当前需要进行注意力转移后，该方法首先在步骤S201中获取采集到的图像中各物体中心点坐标，并根据图像中各物体中心点坐标来得到注意力转移后的候选焦点的坐标数据。

在本发明的不同实施例中，图像中个物体的中心点坐标既可以通过人脸检测、运动检测或物体检测/识别来得到，也可以通过对图像进行分析得到的图像特征(例如图像纹理、图像颜色等)来得到，也可以根据人类注视点推算的他人视线焦点来得到，还可以利用相关算法得到的所获取的图形的特征地图来得到。当然，在本发明的其他实施例中，各物体中心点坐标还可以通过其他合理方式来得到，本发明不限于此。由于智能机器人的注意力焦点通常是物体的中心点，因此本实施例中，注意力转移后的候选焦点的坐标优选地为图像中各物体的中心点坐标。

该方法在步骤S202中根据预设规则对应生成各候选焦点的价值参量。对于人和智能机器人来说，在日常交互过程中，如果视线范围内存在人脸，那么人或智能机器人的注意力通常会集中在人脸上。因此，本实施例中，在预设规则中，人脸的价值参考量的取值较非人脸物体的价值参考量的取值要高。

同时，相较于静止不动的物体，处于运动状态的物体能够更加吸引人和智能机器人的注意力。因此本实施例中，在预设规则中，运动物体的价值参考量的取值较静止物体的价值参考量的取值要高。

此外，在日常交互过程中，如果某一物体处于发生状态，那么该物体同样能够吸引人的注意力。因此本实施例中，在预设规则中，发声物体的价值参考量较非发声物体的价值参考量要高。

需要指出的是，在本发明的不同实施例中，根据实际需要，该方法既可以仅采用上述所列项中的某一项或某几项作为规则来确定各候选焦点的价值参考量，也可以采用其他未列出的合理方式来确定各候选焦点的价值参考量，本发明不限于此。

在得到各候选焦点的价值参量后，该方法在步骤S203中根据各候选焦点的价值参量、当前焦点的坐标数据，来从候选焦点中确定出注意力转移后的焦点的坐标数据。

具体地，在步骤S203中确定注意力转移后的焦点的坐标数据的过程中，首先根据当前焦点的坐标数据和各候选焦点的坐标数据计算持续观察对应候选焦点时因厌倦而导致的价值参考量的衰减速率(即第一衰减速率)。其中，候选焦点与当前焦点之间的距离越大，那么该候选焦点的第一衰减速率就就将越小。

例如，本实施例中，当候选焦点与当前焦点的距离超过预设距离阈值时，那么该候选焦点的第一衰减速率将为0；而当候选焦点与当前焦点的距离为超过预设距离阈值时，那么该候选焦点的第一衰减速率将为1。

需要指出的是，在本发明的其他实施例中，还可以通过其他合理方式来确定各候选焦点的第一衰速率，本发明不限于此。例如，在本发明的一个实施例中，还可以通过设置多个距离阈值，来根据候选焦点与当前焦点之间的距离的取值所落入的距离阈值范围，将候选焦点的第一衰减速率取值为相应的值。

随后，本方法根据各候选焦点的坐标数据来确定当不观察候选焦点时价值参考量的恢复速率，而根据该恢复速度以及第一衰减速率则可以计算得到候选焦点的第一价值参数。具体地，本实施例中，第一价值参数优选地为第一衰减速率与恢复速率之和。

在得到第一价值参数后，该方法根据各个候选焦点的第一价值参数和第二价值参数可以得到各个候选焦点的第三价值参数。其中，候选焦点的第二价值参数可以根据其自身的坐标数据计算得到。其中，候选焦点与原点之间距离越大，其第二价值参数的取值将越小。具体地，本实施例中，第二价值参数可以采用以自然常数e为底的、以候选焦点与原点之间的距离的一次项式为指数的指数函数计算得到。

本实施例中，各个候选焦点的第三价值参数优选地为第一价值参数与第二价值参数之积。其中，距离原点(例如当前焦点)距离越远的候选焦点的第三价值参数越小，因此该方法也就可以选取距离原点较近的候选焦点作为注意力转以后的焦点。

当得到各个候选焦点的第三价值参数后，本方法将选取出第三价值参数最大的候选焦点来作为注意力转以后的焦点，这样也就可以得到注意力转以后的焦点的坐标数据。根据该坐标数据，本方法也就可以将智能机器人的视线焦点(例如摄像头焦点)调整到相应位置；进一步地，需要说明：所述摄像头的焦点对准可通过旋转摄像头的物理角度实现，也可通过控制机器人的身体或头部的角度，以带动所述摄像头的角度，从而实现机器人注意力的转移。

从上述描述中可以看出，本实施例所提供的面向智能机器人的注意力数据处理方法能够实现机器人注意力的自动转移，这样机器人也就不会长期注视同一物体，并且机器人的注意力还更有可能转移到人脸，运动物体或发声物体等更容易引起注意力的物体上，从而使得机器人表现地更加智能化和人性化，进而提高了智能机器人的交互体验和用户粘度，提高了智能机器人的产品竞争力。

本发明还通过了一种面向智能机器人的注意力数据处理装置，图3示出了本实施例中该装置的结构示意图。

如图3所示，本实施例所提供的面向智能机器人的注意力数据处理装置优选地包括：目标物信息确定模块301和注意力转移模块302。其中，目标物信息确定模块301能够根据采集到的图像确定当前注意力所朝向的目标物信息。本实施例中，目标物信息确定模块301所确定出的当前注意力所朝向的目标物信息包括当前焦点的空间信息和监听数据。其中，当前焦点的空间信息优选地包括当前焦点的坐标数据。

需要指出的是，在本发明的不同实施例中，目标物信息确定模块301所获取到的监听数据可以根据实际需要为不同形式的多模态数据，本发明不限于此。

当得到目标物信息后，目标物信息确定模块301会将目标物信息传输给注意力转移模块302。其中，注意力转移模块302会根据监听数据来判断是否满足注意力转移的触发条件，即当前是否需要进行注意力转移。

如果根据监听数据判断出此时需要进行注意力转移，那么注意力转移模块302根据预设注意力转移模型和当前焦点的空间信息，来确定出注意力转移后的焦点的空间信息，并将摄像头的焦点对准所得到的注意力转移后的焦点的坐标上，从而实现智能机器人注意力的转移。

本实施例中，在判断是否需要进行注意力转移以及确定注意力转移后的焦点时，注意力转移模块302优选地基于疲劳模型、懒惰模型和随机模型来进行判断及分析。需要指出的是，注意力转移模块302判断是否需进行注意力转移以及确定注意力转移后的焦点的具体原理以及实现过程与上述注意力数据处理方法所涉及的内容类似，故在此不再对注意力转移模块302的具体实现原理以及实现过程进行赘述。

与上述面向智能机器人的注意力数据处理方法类似，本实施例所提供的面向智能机器人的注意力数据处理装置同样能够实现实现机器人注意力的自动转移，这样机器人也就不会长期注视同一物体，并且机器人的注意力还更有可能转移到运动物体或发声物体等更容易引起注意力的物体上，从而使得机器人表现地更加智能化和人性化，进而提高了智能机器人的交互体验和用户粘度，提高了智能机器人的产品竞争力。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (10)

1.一种面向智能机器人的注意力数据处理方法，其特征在于，包括：

步骤一、根据采集到的图像确定当前注意力所朝向的目标物信息，其中，所述目标物信息包括当前焦点的空间信息和监听数据；

步骤二、根据所述监听数据判断是否需要进行注意力转移，如果需要，则基于预设注意力转移模型和所述当前焦点的空间信息，确定注意力转移后的焦点的空间信息，并执行注意力转移。

2.如权利要求1所述的方法，其特征在于，在所述步骤一中，获取采集到的图像中各物体中心点坐标，得到注意力转移后的候选焦点的坐标数据。

3.如权利要求2所述的方法，其特征在于，在所述步骤二中，基于疲劳模型、懒惰模型和/或随机模型，从所述候选焦点的坐标数据中确定出注意力转移后的焦点的坐标数据。

4.如权利要求3所述的方法，其特征在于，在所述步骤二中，

根据预设规则对应生成各候选焦点的价值参量；

根据所述各候选焦点的价值参量、当前焦点的坐标数据，从候选焦点中确定出注意力转移后的焦点的坐标数据。

5.如权利要求4所述的方法，其特征在于，在所述预设规则中，人脸的价值参考量的取值较非人脸物体的价值参考量的取值高，且/或，运动物体的价值参考量的取值较静止物体的价值参考量的取值高，且/或，发声物体的价值参考量的取值较非发声物体的价值参考量的取值高。

6.一种面向智能机器人的注意力数据处理装置，其特征在于，包括：

目标物信息确定模块，其用于根据采集到的图像确定当前注意力所朝向的目标物信息，其中，所述目标物信息包括当前焦点的空间信息和监听数据；

注意力转移模块，其用于根据所述监听数据判断是否需要进行注意力转移，如果需要，则基于预设注意力转移模型和所述当前焦点的空间信息，确定注意力转移后的焦点的空间信息，并执行注意力转移。

7.如权利要求6所述的装置，其特征在于，所述目标物信息确定模块配置为获取采集到的图像中各物体中心点坐标，得到注意力转移后的候选焦点的坐标数据。

8.如权利要求7所述的装置，其特征在于，所述注意力转移模块配置为基于疲劳模型、懒惰模型和/或随机模型，从所述候选焦点的坐标数据中确定出注意力转移后的焦点的坐标数据。

9.如权利要求8所述的装置，其特征在于，所述注意力转移模块配置为：

根据预设规则对应生成各候选焦点的价值参量；

根据所述各候选焦点的价值参量、当前焦点的坐标数据，从候选焦点中确定出注意力转移后的焦点的坐标数据。

10.如权利要求9所述的装置，其特征在于，在所述预设规则中，人脸的价值参考量的取值较非人脸物体的价值参考量的取值高，且/或，运动物体的价值参考量的取值较静止物体的价值参考量的取值高，且/或，发声物体的价值参考量的取值较非发声物体的价值参考量的取值高。