CN110335306B - 注视点预测方法及装置 - Google Patents

Abstract

本发明实施例提供一种注视点预测方法及装置，包括：获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点；根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在三维场景中的视线的方向；根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点。用于在三维场景中预测移动对象的注视点，进而提高机器人的可靠性。

Description

注视点预测方法及装置

技术领域

本发明实施例涉及机器视觉领域，尤其涉及一种注视点预测方法及装置。

背景技术

目前，机器人可以协助用户的工作。在机器人协助用户工作的过程中，机器人可以根据用户的活动，确定用户的注视点，从而根据用户的注视点，协助用户工作。

机器人协助用户工作的过程中，需要用户面对机器人，使得机器人可以获取用户的眼部几何特征(例如，眼部轮廓、眼角开合度、瞳孔方向等)，并根据获取到的眼部几何特征预测用户的注视点。然而，在实际应用中，用户的一些活动通过需要背对机器人进行，在用户背对机器人时，机器人无法获取到用户的眼部几何特征，从而导致机器人无法确定用户的注视点，进而导致机器人协助用户工作失败，降低了机器人的可靠性。

发明内容

本发明实施例提供一种注视点预测方法及装置，用于在三维场景中预测移动对象的注视点，提高机器人的可靠性，进而提高机器人协助用户工作的鲁棒性。

第一方面，本发明实施例提供一种注视点预测方法，包括：

获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点；

根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在所述三维场景中的视线的方向；

根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点。

在一种可能的实施方式中，所述根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，包括：

获取每个标注点所在的肢体类型；

根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量，包括：

获取预设模型，所述预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量；

所述预设模型根据所述至少两个标注点所在的肢体类型对所述至少两个标注点的三维位置信息，进行处理，得到所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点，包括：

根据所述三维空间信息，获取所述三维场景中每个环境对象的三维坐标；

根据所述三维视线向量和所述每个环境对象的三维坐标，确定所述移动对象的注视点，所述注视点为所述视线向量经过的第一环境对象的三维坐标，所述视线方向的起始位置为所述移动对象的头部标注点。

在另一种可能的实施方式中，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

第二方面，本发明实施例提供一种注视点预测装置，包括第一获取模块、第一确定模块和第二确定模块，其中，

所述第一获取模块用于，获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点；

所述第一确定模块用于，根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在所述三维场景中的视线的方向；

所述第二确定模块用于，根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点。

在一种可能的实施方式中，所述第一确定模块具体用于：

获取每个标注点所在的肢体类型；

根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述第一确定模块具体用于：

获取预设模型，所述预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量；

所述预设模型根据所述至少两个标注点所在的肢体类型对所述至少两个标注点的三维位置信息，进行处理，得到所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述第二确定模块具体用于：

根据所述三维空间信息，获取所述三维场景中每个环境对象的三维坐标；

根据所述三维视线向量和所述每个环境对象的三维坐标，确定所述移动对象的注视点，所述注视点为所述视线向量经过的第一环境对象的三维坐标，所述视线方向的起始位置为所述移动对象的头部标注点。

在另一种可能的实施方式中，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

第三方面，本发明实施例提供一种注视点预测装置，包括：处理器，所述处理器与存储器耦合；

所述存储器用于，存储计算机程序；

所述处理器用于，执行所述存储器中存储的计算机程序，以使得所述注视点预测装置执行上述第一方面任一项所述的方法。

第四方面，本发明实施例提供一种可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，如上述第一方面任意一项所述的方法被执行。

本发明实施例提供的注视点预测方法及装置，所述方法获取三维场景的三维空间信息、以及三维场景中移动对象的至少两个标注点的三维位置信息，标注点为移动对象的肢体上的预设点；根据至少两个标注点的三维位置信息，确定移动对象的三维视线向量，三维视线向量用于指示移动对象在三维场景中的视线的方向；根据三维视线向量和三维空间信息，确定移动对象的注视点。在上述过程中，在移动对象自由的在三维场景中移动时，仍然可以准确的获取到三维空间信息和标注点的三维位置信息，并根据获取到的三维空间信息和标注点的三维位置信息，确定移动对象的注视点，可以避免在无法获取到用户的眼部几何特征时，导致无法预测用户的注视点的问题。进一步的，在本发明实施例提供的注视点预测方法中，若将执行所述注视点预测方法的注视点预测装置设置于机器人上，可提高机器人在复杂三维场景中获取用户注视点，并根据注视点协助用户工作的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的注视点预测方法的应用场景示意图；

图2为本发明实施例提供的注视点预测方法的流程示意图一；

图3为本发明实施例提供的注视点预测方法的流程示意图二；

图4为本发明实施例提供的一种预设模型的结构示意图；

图5为本发明实施例提供的一种注视点预测系统的结构示意图；

图6为本发明实施例提供的一种注视点预测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的注视点预测方法的应用场景示意图。请参见图1，三维场景中包括移动对象11和注视点预测装置13，其中，移动对象11的肢体上预设有多个标注点，例如，当移动对象11为人时，可以将人的手臂、腿、以及躯干(包括头和脊椎)设置为标注点。

在注视点预测装置13预测移动对象11的注视点的过程中，注视点预测装置13获取移动对象11的标注点的位置和三维场景的三维空间信息(例如，三维空间信息12)，并根据标注点的位置和三维空间信息，确定移动对象的注视点(例如，注视点10)。

本发明实施例提供的注视点预测方法，在注视点预测装置13预测移动对象11的注视点的过程中，若移动对象11背对注视点预测装置13移动，注视点预测装置13仍然可以获取移动对象的肢体上的至少两个标注点的三维位置信息，并根据三维空间信息和移动对象的肢体上的至少两个标注点的三维位置信息，确定移动对象的注视点，进而可以避免用户背对注视点预测装置时，注视点预测装置无法获取到用户的眼部几何特征，导致无法确定用户的注视点的问题。

下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图2为本发明实施例提供的注视点预测方法的流程示意图一，请参见图2，注视点预测方法的包括：

S201：获取三维场景的三维空间信息、以及三维场景中移动对象的至少两个标注点的三维位置信息，标注点为移动对象的肢体上的预设点。

可选的，本发明实施例的执行主体为注视点预测装置，所述注视点预测装置通过软件和/或硬件的结合来实现。

在实际应用中，注视点预测装置中设置有深度相机，可以通过深度相机对三维场景进行信息采集，以获取三维空间信息，还可以通过深度相机对移动对象进行信息采集，以获取移动对象的至少两个标注点的三维位置信息。

需要说明的是，三维空间信息包括构成三维场景的多个虚拟云块的三维坐标。

例如，将三维场景看作一个三阶玩具魔方时，则虚拟云块为构成三阶玩具魔方的多个小方块。

在实际应用中，深度相机可以获取到构成三维场景的云点、并对构成三维场景的云点进行分块处理，以获取多个虚拟云块，其中，每个虚拟云块中包括至少一个云点。

可选的，每个虚拟云块具有三维坐标，所述三维坐标为与对应的虚拟云块中多个云点的三维坐标的平均值。

可选的，深度相机获取到多个虚拟云块后，对每个虚拟云块进行标志处理。

例如，将深度相机的视线可以穿透的虚拟云块(例如，与空气对应的云块)标志为空NULL，将深度相机的视线无法穿透的虚拟云块(例如，与墙体、桌子等对应的云块)标志为非空NULL。

可选的，三维空间信息中还包括每个虚拟云块的标志。

可选的，移动对象可以为人。可选的，标注点的三维位置信息为标注点的三维坐标。

在实际应用中，移动对象的肢体可以包括手臂、腿、躯干(头部和脊椎)中的至少一种。

例如，当移动对象为人时，可以在其手臂上各预设5个标注点，在其腿上各预设5个标注点，在其躯干(头部和脊椎)上预设5个标注点，以使深度相机可以获取到移动对象的25个标注点。

可选的，当手臂上预设有5个标注点时，可以在肩膀上预设1个标注点，在手腕上预设1个标注点，在手上预设3个标注点。

可选的，当腿上预设有5个标注点时，可以在脚掌上预设1个标注点，在脚踝上预设1个标注点，在膝盖上预设1个标注点，在大腿上预设1个标注点，在髋关节预设1个标注点。

可选的，当躯干(头部和脊椎)上预设有5个标注点时，可以在头部预设1个标注点，在颈部预设1个标注点，在胸部预设1个标注点，在腰椎上预设1个标注点，在尾椎上预设1个标注点。

S202：根据至少两个标注点的三维位置信息，确定移动对象的三维视线向量，三维视线向量用于指示移动对象在三维场景中的视线的方向。

可选的，注视点预测装置可以根据至少两个标注点的三维位置信息、预设模型、以及每个标注点所在的肢体类型，确定移动对象的三维视线向量。

可选的，在移动对象为人时，所述肢体类型可以包括手臂、腿、躯干(包括头和脊椎)中的至少一种类型。

可选的，预设模型可以为长短期记忆(Long Short-Term Memory，LSTM)网络模型。

在实际应用中，注视点预测装置将至少两个标注点的三维位置信息输入到预设模型中，以使预设模型根据输入的三维位置信息确定移动对象的三维视线向量。

需要说明的是，所述三维视线向量是一个三维方向向量。

S203：根据三维视线向量和三维空间信息，确定移动对象的注视点。

可选的，注视点预测装置从与移动对象的头部标注点开始，在三维视线向量的方向上，根据“沿三维直线的体素遍历整数算法”和阈值D，在三维空间信息中搜索注视点。

需要说明的是，阈值D为球体的半径，所述球体的球心为当前遍历到的云块(例如Vo，其坐标为(x0,y0,z0))，所述球体中包括多个云块。

可选的，D可以为2毫米、3毫米等，在本申请中，不对D的大小和单位进行限定。

在实际应用中，在三维空间信息中搜索到的注视点为在所述球体中，与当前遍历到的云块Vo距离最近的、其标志为非空NULL的云块。

本发明实施例提供的注视点预测方法，所述方法获取三维场景的三维空间信息、以及三维场景中移动对象的至少两个标注点的三维位置信息，标注点为移动对象的肢体上的预设点；根据至少两个标注点的三维位置信息，确定移动对象的三维视线向量，三维视线向量用于指示移动对象在三维场景中的视线的方向；根据三维视线向量和三维空间信息，确定移动对象的注视点。在上述过程中，在移动对象自由的在三维场景中移动时，仍然可以准确的获取到三维空间信息和标注点的三维位置信息，并根据获取到的三维空间信息和标注点的三维位置信息，确定移动对象的注视点，可以避免在无法获取到用户的眼部几何特征时，导致无法预测用户的注视点的问题。进一步的，在本发明实施例提供的注视点预测方法中，若将执行所述注视点预测方法的注视点预测装置设置于机器人上，可提高机器人在复杂三维场景中获取用户注视点，并根据注视点协助用户工作的鲁棒性。

在上述任意一个实施例的基础上，下面，结合图3实施例，对发明所示的技术方案进行详细的说明，具体的，请参见图3。

图3为本发明实施例提供的注视点预测方法的流程示意图二。请参见图3，所述方法包括：

S301：获取三维场景的三维空间信息、以及三维场景中移动对象的至少两个标注点的三维位置信息，标注点为移动对象的肢体上的预设点。

在一种可能实施例方式中，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

需要说明的是，S301与S201相同，此处，不再赘述S301的内容。

S302：获取每个标注点所在的肢体类型。

可选的，在深度相机获取到移动对象的至少两个标注点的三维位置信息后，根据标注点的位置信息，确定每个标注点所在的肢体类型。

可选的，每种肢体类型可以包括相同个数、或者不同个数的标注点。

例如，当移动对象为人时，可以在其左手臂上预设5个标注点，在其右手臂上预设5个标注点，在其右腿上预设5个标注点，在其左腿上预设5个标注点，在其躯干(头部和脊椎)上预设5个标注点。

例如，当移动对象为人时，可以在其左手臂上预设5个标注点，在其右手臂上预设2个标注点，在其右腿上预设3个标注点，在其左腿上预设4个标注点，在其躯干(头部和脊椎)上预设5个标注点。

S303：获取预设模型，预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量。

可选的，多组样本数据为第二对象的样本数据。

需要说明的是，当移动对象为人类时，第二对象也人类，且所述多组样本数据为人类的样本数据。

可选的，样本三维位置信息为第二对象的肢体上的预设点的三维坐标。

可选的，样本肢体类型包括第二对象的手、腿、躯干(包括头和脊椎)中的至少一种。

可选的，样本三维视线向量可以为第二对象的预设三维视线向量。

在实际应用中，根据多组样本数据训练预设模型的过程，通常包括将多组样本数据输入LSTM网络模型，以使LSTM网络模型输出预测三维视线向量，将预设三维视线向量和预测三维视线向量进行比较，通过“反向传播算法”不断的调整LSTM网络模型中的参数，以使预设模型能有输出准确三维视线向量。

S304：通过预设模型根据所述至少两个标注点所在的肢体类型，对至少两个标注点的三维位置信息进行处理，得到移动对象的三维视线向量。

需要说明的是，预设模型包括多个运算模块，每个运算模块包括多个特征提取层，每个特征提取层包括多个运算单元。

可选的，将至少两个标注点的三维位置信息和每个标注点所在的肢体类型，输入预设模型的一个运算模块中，以使预设模型输出移动对象的一个三维视线向量。

S305：根据三维空间信息，获取三维场景中每个环境对象的三维坐标。

可选的，环境对象为三维场景中的实体设备。

例如，实体设备可以为墙体、桌子等。

在实际应用中，深度相机获取到三维空间信息后，根据三维空间信息，进行三维场景的虚拟重构，即采用多个虚拟云块重建三维场景，并将阻挡深度相机视线的虚拟云块(例如，与墙体、桌子等对应的虚拟云块)标志为非空NULL。

可选的，每个环境对象的三维坐标为标志为非空NULL的虚拟云块的三维坐标。

需要说明的是，由于每个环境对象对应的虚拟云块的标志为非空NULL，因此，注视点预测装置可以根据非空NULL标志的虚拟云块的三维坐标，确定每个环境对象的三维坐标。

S306：根据三维视线向量和每个环境对象的三维坐标，确定移动对象的注视点，注视点为视线向量经过的第一环境对象的三维坐标，视线方向的起始位置为移动对象的头部标注点。

可选的，第一环境对象为实体设备，第一环境对象的三维坐标为第一对象的虚拟云块的三维坐标。

需要说明的是，第一环境对象为多个环境对象中所述视线向量首次通过的环境对象。

可选的，参见S203，在半径为D、球心为云块Vo(当前遍历到云块)的球体内，包括多个环境对象的三维坐标(即标志为NULL的云块)，在多个环境对象的三维坐标中，沿着三维视线向量的方向，搜索与云块Vo距离最近的云块。所述移动对象的注视点即为与云块Vo距离最近的云块。

在本发明实施例提供的注视点预测方法之前，利用相机采集用户眼部信息计算用户三维视线向量，并在屏幕上显示的二维图像信息上确定允许小幅度头部移动的移动对象的注视点。由于移动对象的注视点是根据二维图像信息确定的，因此无法将此注视点作为三维场景中移动对象的注视点。而在本发明中，根据三维空间信息确定出移动对象的注视点，实现了三维场景下自由移动的移动对象的注视点预测。

可选的，在本发明实施例中，由于预设模型包括多个运算模块，因此可以根据移动对象的多组位置信息(每组位置信息包括至少两个标注点的三维位置信息)，确定移动对象的三维视线向量多个三维视线向量。具体的，可参见图4。

图4为本发明实施例提供的一种预设模型的结构示意图。请参见图4，预设模型40包括运算模块401、运算模块404、运算模块405和运算模块406，运算模块401、运算模块404、运算模块405、以及运算模块406中均包括N个特征提取层402(简写为L₁～L_N)和1个全连接层403(简写为FC)，其中，N为大于或者等于1的整数。

在实际应用中，深度相机可以获取到连续时刻的多组位置信息，并将连续时刻的多组位置信息分别输入运算模块中，以使每个运算模块输出对应的三维视线向量。

例如，t-1时刻的一个组位置信息的输入运算模块401，以使运算模块401输出一个三维视线向量4011；t时刻的一个组位置信息的输入运算模块404，运算模块404输出一个三维视线向量4041；t+1时刻的一个组位置信息的输入运算模块405，运算模块405输出一个三维视线向量4051；t+2时刻的一个组位置信息的输入运算模块406，运算模块406输出一个三维视线向量4061。

可选的，根据三维视线向量和三维空间信息，确定注视点。

例如，根据三维视线向量4011和三维空间信息，确定注视点4012，根据三维视线向量4041和三维空间信息，确定注视点4042；根据三维视线向量4051和三维空间信息，确定注视点4052；根据三维视线向量4061和三维空间信息，确定注视点4062。

需要说明的是，在图4实施例中，以预设模型中包括4个运算模块，示例性的对本发明实施例中的预设模型的结构示意图进行了简要的说明。

在实际应用中，在每个运算模块(例如，运算模块401、运算模块404)中，N个特征提取层的预算方式引入了前后不同时刻之间的数据，因此运算模块确定出的注视点具有时间关联性。例如，运算模块401中，对t-1时刻的位置信息进行特征提取层运算的过程中，运算模块401的部分运算结果被传递到运算模块404中的N个特征提取层，从而协同运算模块404对t时刻的位置信息进行特征提取层运算。同理，运算模块404的部分运算结果被传递到运算模块405中的N个特征提取层，从而协同运算模块405对t时刻的位置信息进行特征提取层运算。

图5为本发明实施例提供的一种注视点预测系统的结构示意图。请参见图5，注视点预测系统包括场景表达子系统51、空间表达子系统52、动作表示子系统53和凝视预测子系统54，其中，场景表达子系统51中设置有凝视预测装置511，所述凝视预测装置511可对三维场景512进行信息采集，并将采集得到的信息分别发送至空间表达子系统52和动作表示子系统53，以使空间表达子系统52根据接收到的信息，确定三维空间信息，并根据三维空间信息确定三维场景中环境对象的三维坐标521，同时，使动作表示子系统53根据接收到的信息，确定移动对象的多帧骨架信息，并根据多帧骨架信息确定每帧骨架信息对应的移动对象的至少两个标注点的三维位置信息531。

在确定每帧骨架信息对应的移动对象的至少两个标注点的三维位置信息531和环境对象的三维坐标521之后，对每帧骨架信息对应的移动对象的至少两个标注点的三维位置信息531和环境对象的三维坐标521进行坐标统一(如图5中的55)处理，并将坐标统一后的每帧骨架信息对应的移动对象的至少两个标注点的三维位置信息531输入到凝视预测子系统54中，以使凝视预测子系统54逐帧输出三维视线向量541，并根据坐标统一后的三维坐标521和每个三维视线向量确定注视点56。

图6为本发明实施例提供的一种注视点预测装置的结构示意图。请参见图6，注视点预测装置包括：第一获取模块61、第一确定模块62和第二确定模块63：

所述第一获取模块61用于，获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点；

所述第一确定模块62用于，根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在所述三维场景中的视线的方向；

所述第二确定模块63用于，根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点。

本发明实施例提供的注视点预测装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述第一确定模块62还用于：

获取每个标注点所在的肢体类型；

根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述第一确定模块62还用于：

获取预设模型，所述预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量；

所述预设模型根据所述至少两个标注点所在的肢体类型，对所述至少两个标注点的三维位置信息进行处理，得到所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述第二确定模块63还用于：

根据所述三维空间信息，获取所述三维场景中每个环境对象的三维坐标；

根据所述三维视线向量和所述每个环境对象的三维坐标，确定所述移动对象的注视点，所述注视点为所述视线向量经过的第一环境对象的三维坐标，所述视线方向的起始位置为所述移动对象的头部标注点。

在另一种可能的实施方式中，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

本发明实施例提供的注视点预测装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本发明实施例提供一种注视点预测装置，包括：处理器，所述处理器与存储器耦合；

所述存储器用于，存储计算机程序；

所述处理器用于，执行所述存储器中存储的计算机程序，以使得所述注视点预测装置执行上述任意方法实施例所述的方法。

本发明实施例提供一种可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，如上述任意方法实施例所述的方法被执行。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。

Claims (8)

1.一种注视点预测方法，其特征在于，包括：

获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点，所述三维空间信息中包括构成所述三维场景的多个虚拟云块的三维坐标和每个虚拟云块的标志，所述标志为非空或者空；

根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在所述三维场景中的视线的方向；

根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点；

所述根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点，包括：

根据所述三维空间信息，获取所述三维场景中每个环境对象的三维坐标；

在以阈值为半径的球体内包括的多个环境对象对应的三维坐标中，从所述移动对象的头部标注点开始，沿着所述三维视线向量的方向，搜索与所述球体的球心距离最近的云块；所述多个环境对象的三维坐标为所述多个环境对象对应的虚拟云块的三维坐标；所述环境对象对应的虚拟云块标志为非空；

将所述三维视线向量首次通过的、与所述球体的球心距离最近的、且标志为非空的虚拟云块，确定为所述移动对象的注视点。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，包括：

获取每个标注点所在的肢体类型；

根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量，包括：

获取预设模型，所述预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量；

通过所述预设模型根据所述至少两个标注点所在的肢体类型，对所述至少两个标注点的三维位置信息进行处理，得到所述移动对象的三维视线向量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

5.一种注视点预测装置，其特征在于，包括第一获取模块、第一确定模块和第二确定模块，其中，

所述第一获取模块用于，获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点，所述三维空间信息中包括构成所述三维场景的多个虚拟云块的三维坐标，每个虚拟云块的标志为非空或者空；

所述第一确定模块用于，根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在所述三维场景中的视线的方向；

所述第二确定模块用于，根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点；

所述第二确定模块具体用于：

根据所述三维空间信息，获取所述三维场景中每个环境对象的三维坐标；

在以阈值为半径的球体内包括的多个环境对象对应的三维坐标中，从所述移动对象的头部标注点开始，沿着所述三维视线向量的方向，搜索与所述球体的球心距离最近的云块；所述多个环境对象的三维坐标为所述多个环境对象对应的虚拟云块的三维坐标；所述环境对象对应的虚拟云块标志为非空；

将所述三维视线向量首次通过的、与所述球体的球心距离最近的、且标志为非空的虚拟云块，确定为所述移动对象的注视点。

6.根据权利要求5所述的装置，其特征在于，所述第一确定模块具体用于：

获取每个标注点所在的肢体类型；

根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块具体用于：

获取预设模型，所述预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量；

所述预设模型根据所述至少两个标注点所在的肢体类型，对所述至少两个标注点的三维位置信息进行处理，得到所述移动对象的三维视线向量。

8.根据权利要求5-7任一项所述的装置，其特征在于，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

Images