CN105183169B - 视线方向识别方法及装置 - Google Patents

Abstract

本公开是关于一种视线方向识别方法及装置，属于电子技术应用领域。该方法包括：获取家居设备所在空间中的人体的位置信息；在家居设备所在空间中确定参考平面；获取人体的眼球的朝向与参考平面之间的夹角；根据位置信息和夹角，确定人体的视线方向。确定视线方向后，可以根据视线方向控制家居设备，本公开解决了家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。本公开用于根据视线方向控制家居设备。

Description

视线方向识别方法及装置

技术领域

本公开涉及电子技术应用领域，特别涉及一种视线方向识别方法及装置。

背景技术

随着电子技术的不断发展，基于电子技术的家居设备在人们的生活中日益普及。用户可以通过网络控制和管理家居设备，以提高智能化生活水平。

相关技术中，用户通常通过触控家居设备的操作模块(如遥控器)来操作家居设备，比如，用户通过智能电视机的遥控器来控制智能电视机的开启、关闭、音量大小的调节等。

发明内容

为了实现丰富家居设备控制方式的有益效果，本公开实施例提供了一种视线方向识别方法及装置。所述技术方案如下：

根据本公开实施例的第一方面，提供一种视线方向识别方法，所述方法包括：

获取家居设备所在空间中的人体的位置信息；

在所述家居设备所在空间中确定参考平面；

获取所述人体的眼球的朝向与所述参考平面之间的夹角；

根据所述位置信息和所述夹角，确定所述人体的视线方向。

可选地，所述方法还包括：

根据所述视线方向控制目标家居设备。

本公开实施例提供的视线方向识别方法，通过根据视线方向控制目标家居设备，达到了控制家居设备的有益效果。

可选地，所述根据所述位置信息和所述夹角，确定所述人体的视线方向，包括：

调整所述夹角的空间位置，使调整后的所述夹角的顶点位于所述位置信息指示的坐标位置，且所述夹角的一边平行于所述参考平面；

将调整后的所述夹角的另一边由所述顶点向外发散的方向作为所述视线方向。

本公开实施例提供的视线方向识别方法，通过调整夹角的空间位置，将调整后的夹角的另一边由顶点向外发散的方向作为视线方向，达到了确定视线方向的有益效果。

可选地，所述在所述家居设备所在空间中确定参考平面，包括：

检测所述家居设备所在空间中位于所述人体的背面的墙面的个数；

若位于所述人体的背面的墙面的个数为一个，则将所述位于所述人体的背面的墙面作为所述参考平面；

若位于所述人体的背面的墙面的个数为至少两个，则确定所述人体在所述至少两个墙面中的各个墙面的正投影的面积，将所述人体在所述至少两个墙面中的各个墙面的正投影的面积最大的墙面作为所述参考平面。

本公开实施例提供的视线方向识别方法，通过检测家居设备所在空间中位于人体的背面的墙面的个数，在位于人体的背面的墙面的个数为一个时，将位于人体的背面的墙面作为参考平面，在位于人体的背面的墙面的个数为至少两个时，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面，达到了确定参考平面的有益效果。

可选地，所述获取所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

获取人脸正面与所述参考平面之间的第一夹角，所述人脸正面为将所述人体上的人脸所在曲面平面化后得到的平面；

获取所述人脸正面与所述眼球的朝向之间的第二夹角；

根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角。

本公开实施例提供的视线方向识别方法，通过获取人脸正面与参考平面之间的第一夹角以及人脸正面与眼球的朝向之间的第二夹角，根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角，达到了确定眼球的朝向与参考平面之间的夹角的有益效果。

可选地，所述根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

调整所述第一夹角和所述第二夹角的空间位置，使所述第一夹角位于所述人脸正面的射线与所述第二夹角位于所述人脸正面的射线重合；

确定调整后的所述第一夹角和所述第二夹角中除重合射线之外的两条射线之间的角度；

判断所述角度是否小于180°；

若所述角度小于180°，则将所述第一夹角和所述第二夹角中除所述重合射线之外的两条射线所成的第三夹角作为所述人体的眼球的朝向与所述参考平面之间的夹角。

本公开实施例提供的视线方向识别方法，通过调整第一夹角和第二夹角的空间位置，确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度，在该角度小于180°时，将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角，达到了计算眼球的朝向与参考平面之间的夹角的有益效果。

可选地，所述在所述家居设备所在空间中确定参考平面，包括：

将所述人体上的人脸所在曲面平面化得到人脸正面；

将所述人脸正面作为所述参考平面；

所述获取所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

获取所述人脸正面与所述眼球的朝向之间的第二夹角；

将所述第二夹角确定为所述人体的眼球的朝向与所述参考平面之间的夹角。

本公开实施例提供的视线方向识别方法，通过将人体上的人脸所在曲面平面化得到人脸正面，将人脸正面作为参考平面，并将人脸正面与眼球的朝向之间的第二夹角确定为眼球的朝向与参考平面之间的夹角，达到了确定眼球的朝向与参考平面之间的夹角的有益效果。

可选地，所述获取所述人脸正面与所述眼球的朝向之间的第二夹角，包括：

获取所述人脸正面的图像；

从所述人脸正面的图像中确定出人眼图像区域，所述人眼图像区域中包括两个眼球图像，所述两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个所述眼球图像的中心在所述人脸正面的图像中的坐标位置；

确定两个所述眼球图像的中心的连线的中点在所述人脸正面的图像中的坐标位置；

根据所述第一眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第一眼球的朝向之间的第一角度；

根据所述第二眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第二眼球的朝向之间的第二角度；

确定所述第一角度和所述第二角度的平均角度；

根据所述平均角度和所述人脸正面确定所述第二夹角。

本公开实施例提供的视线方向识别方法，通过获取人脸正面的图像，从人脸正面的图像中确定出人眼图像区域，确定每个眼球图像的中心在人脸正面的图像中的坐标位置，并确定两个眼球图像的中心的连线的中点在人脸正面的图像中的坐标位置，根据第一眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第一眼球的朝向之间的第一角度，根据第二眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第二眼球的朝向之间的第二角度，根据第一角度和第二角度的平均角度以及人脸正面确定第二夹角，达到了确定人脸正面与眼球的朝向之间的第二夹角的有益效果。

根据本公开实施例的第二方面，提供一种视线方向识别装置，所述装置包括：

第一获取模块，被配置为获取家居设备所在空间中的人体的位置信息；

第一确定模块，被配置为在所述家居设备所在空间中确定参考平面；

第二获取模块，被配置为获取所述人体的眼球的朝向与所述参考平面之间的夹角；

第二确定模块，被配置为根据所述位置信息和所述夹角，确定所述人体的视线方向。

可选地，所述装置还包括：

控制模块，被配置为根据所述视线方向控制目标家居设备。

可选地，所述第二确定模块，被配置为：

调整所述夹角的空间位置，使调整后的所述夹角的顶点位于所述位置信息指示的坐标位置，且所述夹角的一边平行于所述参考平面；

将调整后的所述夹角的另一边由所述顶点向外发散的方向作为所述视线方向。

可选地，所述第一确定模块，被配置为：

检测所述家居设备所在空间中位于所述人体的背面的墙面的个数；

在位于所述人体的背面的墙面的个数为一个时，将所述位于所述人体的背面的墙面作为所述参考平面；

在位于所述人体的背面的墙面的个数为至少两个时，确定所述人体在所述至少两个墙面中的各个墙面的正投影的面积，将所述人体在所述至少两个墙面中的各个墙面的正投影的面积最大的墙面作为所述参考平面。

可选地，所述第二获取模块，包括：

第一获取子模块，被配置为获取人脸正面与所述参考平面之间的第一夹角，所述人脸正面为将所述人体上的人脸所在曲面平面化后得到的平面；

第二获取子模块，被配置为获取所述人脸正面与所述眼球的朝向之间的第二夹角；

确定子模块，被配置为根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角。

可选地，所述确定子模块，被配置为：

调整所述第一夹角和所述第二夹角的空间位置，使所述第一夹角位于所述人脸正面的射线与所述第二夹角位于所述人脸正面的射线重合；

确定调整后的所述第一夹角和所述第二夹角中除重合射线之外的两条射线之间的角度；

判断所述角度是否小于180°；

在所述角度小于180°时，将所述第一夹角和所述第二夹角中除所述重合射线之外的两条射线所成的第三夹角作为所述人体的眼球的朝向与所述参考平面之间的夹角。

可选地，所述第一确定模块，被配置为将所述人体上的人脸所在曲面平面化得到人脸正面；将所述人脸正面作为所述参考平面；

所述第二获取模块，包括：

第二获取子模块，被配置为获取所述人脸正面与所述眼球的朝向之间的第二夹角；

确定子模块，被配置为将所述第二夹角确定为所述人体的眼球的朝向与所述参考平面之间的夹角。

可选地，所述第二获取子模块，被配置为：

获取所述人脸正面的图像；

从所述人脸正面的图像中确定出人眼图像区域，所述人眼图像区域中包括两个眼球图像，所述两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个所述眼球图像的中心在所述人脸正面的图像中的坐标位置；

确定两个所述眼球图像的中心的连线的中点在所述人脸正面的图像中的坐标位置；

根据所述第一眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第一眼球的朝向之间的第一角度；

根据所述第二眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第二眼球的朝向之间的第二角度；

确定所述第一角度和所述第二角度的平均角度；

根据所述平均角度和所述人脸正面确定所述第二夹角。

根据本公开实施例的第三方面，提供一种视线方向识别装置，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为：

获取家居设备所在空间中的人体的位置信息；

在所述家居设备所在空间中确定参考平面；

获取所述人体的眼球的朝向与所述参考平面之间的夹角；

根据所述位置信息和所述夹角，确定所述人体的视线方向。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的实施例视线方向识别方法及装置，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚地说明本公开的实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开各个实施例提供的视线方向识别方法所涉及的一种实施环境的示意图；

图2是根据一示例性实施例示出的一种视线方向识别方法的方法流程图；

图3-1是根据另一示例性实施例示出的一种视线方向识别方法的方法流程图；

图3-2是图3-1所示实施例提供的一种在家居设备所在空间中确定参考平面的方法流程图；

图3-3是图3-1所示实施例提供的另一种在家居设备所在空间中确定参考平面的方法流程图；

图3-4是图3-1所示实施例提供的一种获取人体的眼球的朝向与参考平面之间的夹角的方法流程图；

图3-5是图3-1所示实施例提供的一种视线方向的示意图；

图3-6是图3-1所示实施例提供的一种获取人脸正面与眼球的朝向之间的第二夹角的方法流程图；

图3-7是图3-1所示实施例提供的一种人脸正面的图像的示意图；

图3-8是图3-1所示实施例提供的一种根据第一夹角和第二夹角确定人体的眼球的朝向与参考平面之间的夹角的方法流程图；

图3-9是图3-1所示实施例提供的另一种获取人体的眼球的朝向与参考平面之间的夹角的方法流程图；

图3-10是图3-1所示实施例提供的一种根据位置信息和夹角确定人体的视线方向的方法流程图；

图4是根据一示例性实施例示出的一种视线方向识别装置的框图；

图5-1是根据另一示例性实施例示出的一种视线方向识别装置的框图；

图5-2是根据图5-1所示实施例示出的一种第二获取模块的框图；

图5-3是根据图5-1所示实施例示出的另一种第二获取模块的框图；

图6是根据一示例性实施例示出的一种视线方向识别装置的框图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部份实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

图1是本公开各个实施例提供的视线方向识别方法所涉及的一种实施环境的示意图，该实施环境是一种室内环境，参见图1，该实施环境中可以包括：视线方向识别装置01和人体02，视线方向识别装置01用于识别人体02的视线方向，可选地，该实施环境中还可以包括：家居设备03，视线方向识别装置01识别人体02的视线方向后，可以根据人体02的视线方向控制家居设备03。

其中，视线方向识别装置01可以是摄像机或者具有摄像功能的电子设备，且视线方向识别装置01可以是与家居设备03相互独立的两个设备，也可以是位于家居设备03上的一个组件，本公开实施例对此不做限定。图1所示的实施环境以视线方向识别装置01与家居设备03相互独立，且以视线方向识别装置01为摄像机为例进行说明，该视线方向识别装置01可以设置在室内的墙壁上。

家居设备03可以是智能电视机、智能冰箱、智能洗衣机、智能空调、智能防盗门、智能监控设备、智能安防设备、智能可视对讲设备等智能家居设备。

视线方向识别装置01可以根据人体02的视线方向控制目标家居设备，该目标家居设备可以为家居设备03，其中，目标家居设备可以是人体02的视线方向上的距离该人体02最近的家居设备，视线方向识别装置01可以根据预先设定的控制指令控制目标家居设备03，示例地，视线方向识别装置01可以与目标家居设备进行通信，且视线方向识别装置01可以获取人体02的视线方向，根据人体02的视线方向判断人体02上的人眼是否注视目标家居设备，若人体02上的人眼注视目标家居设备，则视线方向识别装置01向目标家居设备发送该视线方向，以便于目标家居设备根据该视线方向，执行相应的操作；可选地，视线方向识别装置01还可以确定视线方向对应的控制指令，然后向目标家居设备发送该控制指令，使得目标家居设备根据该控制指令执行相应操作。比如，假设在目标家居设备处于开启状态时，人体02上的人眼注视目标家居设备的时长超过预设时长时，对应的控制指令为关闭指令，则视线方向识别装置01可以判断人眼注视目标家居设备的时长是否超过预设时长，若人眼注视目标家居设备的时长超过预设时长，则视线方向识别装置01确定人体02的视线方向对应的控制指令为关闭指令，视线方向识别装置01向目标家居设备发送该关闭指令，使得目标家居设备根据该关闭指令关闭目标家居设备，再比如，目标家居设备可以为智能电视机，当智能电视机处于开启状态时，人体02的眼睛连续眨两下对应的控制指令为换台指令，则视线方向识别装置01可以根据视线方向确定人体02的眼睛是否注视目标家居设备并连续眨了两下，若人体02的注视目标家居设备并连续眨了两下，则视线方向识别装置01确定人体02的视线方向对应的控制指令为换台指令，视线方向识别装置01向目标家居设备发送该换台指令，使得目标家居设备根据该换台指令执行换台操作。

视线方向识别装置01可以获取人体02的视线方向，然后向位于视线方向识别装置01所在空间中的所有家居设备发送该视线方向，该所有家居设备包括目标家居设备，目标家居设备接收到视线方向识别装置01发送的视线方向时，可以判断根据该视线方向判断人体02上的人眼是否注视目标家居设备，若人体02上的人眼注视目标家居设备，则目标家居设备根据该视线方向，执行相应的操作；可选地，目标家居设备还可以确定视线方向对应的控制指令，然后根据该控制指令执行相应操作。比如，假设在目标家居设备处于开启状态时，人体02上的人眼注视目标家居设备的时长超过预设时长时，对应的控制指令为关闭指令，则目标家居设备可以判断人眼注视目标家居设备的时长是否超过预设时长，若人眼注视目标家居设备的时长超过预设时长，则目标家居设备确定视线方向对应的控制指令为关闭指令，目标家居设备根据该关闭指令关闭目标家居设备，完成家居设备控制的过程。

图2是根据一示例性实施例示出的一种视线方向识别方法的方法流程图，该视线方向识别方法可以用于控制家居设备，该视线方向识别方法可以由图1所示实施环境中的视线方向识别装置01来执行。参见图2，该方法流程可以包括如下几个步骤：

在步骤201中，获取家居设备所在空间中的人体的位置信息。

在步骤202中，在家居设备所在空间中确定参考平面。

在步骤203中，获取人体的眼球的朝向与参考平面之间的夹角。

在步骤204中，根据位置信息和夹角，确定人体的视线方向。

综上所述，本公开实施例提供的视线方向识别方法，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

可选地，该方法还包括：

根据视线方向控制目标家居设备。

本公开实施例提供的视线方向识别方法，通过根据视线方向控制家居设备，达到了控制家居设备的有益效果。

可选地，步骤204可以包括：

调整夹角的空间位置，使调整后的夹角的顶点位于位置信息指示的坐标位置，且夹角的一边平行于参考平面；

将调整后的夹角的另一边由顶点向外发散的方向作为视线方向。

本公开实施例提供的视线方向识别方法，通过调整夹角的空间位置，将调整后的夹角的另一边由顶点向外发散的方向作为视线方向，达到了确定视线方向的有益效果。

可选地，步骤202可以包括：

检测家居设备所在空间中位于人体的背面的墙面的个数；

若位于人体的背面的墙面的个数为一个，则将位于人体的背面的墙面作为参考平面；

若位于人体的背面的墙面的个数为至少两个，则确定人体在至少两个墙面中的各个墙面的正投影的面积，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面。

本公开实施例提供的视线方向识别方法，通过检测家居设备所在空间中位于人体的背面的墙面的个数，在位于人体的背面的墙面的个数为一个时，将位于人体的背面的墙面作为参考平面，在位于人体的背面的墙面的个数为至少两个时，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面，达到了确定参考平面的有益效果。

可选地，步骤203可以包括：

获取人脸正面与参考平面之间的第一夹角，人脸正面为将人体上的人脸所在曲面平面化后得到的平面；

获取人脸正面与眼球的朝向之间的第二夹角；

根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角。

本公开实施例提供的视线方向识别方法，通过获取人脸正面与参考平面之间的第一夹角以及人脸正面与眼球的朝向之间的第二夹角，根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角，达到了确定眼球的朝向与参考平面之间的夹角的有益效果。

可选地，根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角，包括：

调整第一夹角和第二夹角的空间位置，使第一夹角位于人脸正面的射线与第二夹角位于人脸正面的射线重合；

确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度；

判断角度是否小于180°；

若角度小于180°，则将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角。

本公开实施例提供的视线方向识别方法，通过调整第一夹角和第二夹角的空间位置，确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度，在该角度小于180°时，将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角，达到了计算眼球的朝向与参考平面之间的夹角的有益效果。

可选地，步骤202可以包括：

将人体上的人脸所在曲面平面化得到人脸正面；

将人脸正面作为参考平面；

步骤203可以包括：

获取人脸正面与眼球的朝向之间的第二夹角；

将第二夹角确定为人体的眼球的朝向与参考平面之间的夹角。

本公开实施例提供的视线方向识别方法，通过将人体上的人脸所在曲面平面化得到人脸正面，将人脸正面作为参考平面，并将人脸正面与眼球的朝向之间的第二夹角确定为眼球的朝向与参考平面之间的夹角，达到了确定眼球的朝向与参考平面之间的夹角的有益效果。

可选地，获取人脸正面与眼球的朝向之间的第二夹角，包括：

获取人脸正面的图像；

从人脸正面的图像中确定出人眼图像区域，人眼图像区域中包括两个眼球图像，两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个眼球图像的中心在人脸正面的图像中的坐标位置；

确定两个眼球图像的中心的连线的中点在人脸正面的图像中的坐标位置；

根据第一眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第一眼球的朝向之间的第一角度；

根据第二眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第二眼球的朝向之间的第二角度；

确定第一角度和第二角度的平均角度；

根据平均角度和人脸正面确定第二夹角。

本公开实施例提供的视线方向识别方法，通过获取人脸正面的图像，从人脸正面的图像中确定出人眼图像区域，确定每个眼球图像的中心在人脸正面的图像中的坐标位置，并确定两个眼球图像的中心的连线的中点在人脸正面的图像中的坐标位置，根据第一眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第一眼球的朝向之间的第一角度，根据第二眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第二眼球的朝向之间的第二角度，根据第一角度和第二角度的平均角度以及人脸正面确定第二夹角，达到了确定人脸正面与眼球的朝向之间的第二夹角的有益效果。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

综上所述，本公开实施例提供的视线方向识别方法，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备时，可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

图3-1是根据另一示例性实施例示出的一种视线方向识别方法的方法流程图，该视线方向识别方法可以用于控制家居设备，该视线方向识别方法可以由图1所示实施环境中的视线方向识别装置01来执行。参见图3-1，该方法流程可以包括如下几个步骤：

在步骤301中，获取家居设备所在空间中的人体的位置信息。

其中，家居设备所在空间可以为图1所示实施环境中的家居设备03所在的室内，人体的位置信息为人体02在该室内的位置信息。

可选地，视线方向识别装置可以采用室内定位技术获取家居设备所在空间中的人体的位置信息。示例地，视线方向识别装置可以具有摄像头，视线方向识别装置可以采用摄像头拍摄包括人体的实际拍摄图像的室内图像，视线方向识别装置还可以获取人体的参考图像和人体的参考尺寸，然后在室内图像中识别出与参考图像匹配的人体的实际拍摄图像，确定人体的实际拍摄图像在室内图像所在的二维坐标系中的二维坐标，并根据人体的实际拍摄图像确定人体的实际拍摄尺寸，根据预设焦距、参考尺寸、实际拍摄尺寸以及二维坐标确定人体在室内与预设焦距对应的三维坐标，该三维坐标即为人体在室内的坐标位置，也即，人体在室内的位置的坐标。

其中，参考图像可以是视线方向识别装置预先拍摄下来的人体的图像，参考尺寸可以是预先对人体进行实际测量后获取到的尺寸，本公开实施例对此不做限定。视线方向识别装置采用室内定位技术获取家居设备所在空间中的人体的位置信息也可以参考相关技术，本公开实施例在此不再赘述。

在步骤302中，在家居设备所在空间中确定参考平面。

其中，视线方向识别装置在拍摄包括人体的实际拍摄图像的室内图像时，可以拍摄到人体的正面，同时还可以拍摄到位于人体的背面的墙面，因此，视线方向识别装置可以将位于人体的背面的墙面作为参考平面，也可以将人脸正面作为参考平面。

当视线方向识别装置将位于人体的背面的墙面作为参考平面时，在一种可能的实现方式中，视线方向识别装置在拍摄包括人体的实际拍摄图像的室内图像时，可能拍摄到多个位于人体的背面的墙面，比如，当人体当前处于室内的墙角等位置时，视线方向识别装置在拍摄包括人体的实际拍摄图像的室内图像时，可以拍摄到至少两个位于人体的背面的墙面，因此，在本公开实施例中，视线方向识别装置在以位于人体的背面的墙面为参考平面时，视线方向识别装置在家居设备所在空间中确定参考平面可以按照下图3-2所示实施例提供的方法执行。

示例地，请参考图3-2，其示出的是图3-1所示实施例提供的一种在家居设备所在空间中确定参考平面的方法流程图。参见图3-2，该方法流程可以包括如下几个步骤：

在子步骤3021a中，检测家居设备所在空间中位于人体的背面的墙面的个数。

视线方向识别装置可以检测家居设备所在空间中位于人体的背面的墙面的个数，示例地，视线方向识别装置可以采用图像识别技术，在拍摄得到的包括人体的实际拍摄图像的室内图像中，识别出位于人体的背面的墙面，进而确定出位于人体的背面的墙面的个数。

在子步骤3022a中，若位于人体的背面的墙面的个数为一个，则将位于人体的背面的墙面作为参考平面。

若在子步骤3021a中，视线方向识别装置确定位于人体的背面的墙面的个数为一个，那么，视线方向识别装置将该位于人体的背面的墙面作为参考平面。

在子步骤3023a中，若位于人体的背面的墙面的个数为至少两个，则确定人体在至少两个墙面中的各个墙面的正投影的面积，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面。

若在子步骤3021a中，视线方向识别装置确定位于人体的背面的墙面的个数为至少两个，则视线方向识别装置可以将人体投影在该至少两个墙面中的各个墙面上，然后分别计算出人体在该至少两个墙面中的各个墙面的正投影的面积，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面。示例地，假设位于人体的背面的墙面的个数为三个，该三个墙面分别为墙面Q1、Q2和Q3，则视线方向识别装置分别将人体投影在该三个墙面Q1、Q2和Q3上，然后分别计算出人体在该三个墙面Q1、Q2和Q3上的正投影的面积，假设人体在墙面Q1上的正投影的面积为S1，在墙面Q2上的正投影的面积为S2，在墙面Q3上的正投影的面积为S3，且假设S1大于S2且大于S3，则视线方向识别装置可以将墙面Q1作为参考平面。

需要说明的是，在本公开实施例中，当位于人体的背面的墙面的个数为至少两个时，视线方向识别装置是通过人体在各个墙面上的正投影的面积确定参考平面，且将人体在各个墙面上的正投影的面积最大的墙面作为参考平面的，实际应用中，视线方向识别装置还可以采用其他方式确定参考平面，本公开实施例对此不做限定。

当视线方向识别装置将人脸正面作为参考平面时，视线方向识别装置在家居设备所在空间中确定参考平面可以按照下图3-3所示实施例提供的方法执行。

示例地，请参考图3-3，其示出的是图3-1所示实施例提供的另一种在家居设备所在空间中确定参考平面的方法流程图。参见图3-3，该方法流程可以包括如下几个步骤：

在子步骤3021b中，将人体上的人脸所在曲面平面化得到人脸正面。

由于人脸通常为曲面，而参考平面是平面，因此，视线方向识别装置在以人脸正面为参考平面时，需要先将人体上的人脸所在曲面平面化得到人脸正面，其中，将人体上的人脸所在曲面平面化得到人脸正面的实现过程可以参考相关技术，本公开实施例在此不再赘述。

在子步骤3022b中，将人脸正面作为参考平面。

将人体上的人脸所在曲面平面化得到人脸正面后，视线方向识别装置可以将人脸正面作为参考平面。

在步骤303中，获取人体的眼球的朝向与参考平面之间的夹角。

视线方向识别装置可以获取人体的眼球的朝向与参考平面之间的夹角，比如，视线方向识别装置获取人体的眼球的朝向与位于人体的背面的墙面之间的夹角，或者，视线方向识别装置获取人体的眼球的朝向与人脸正面之间的夹角。

示例地，请参考图3-4，其示出的是图3-1所示实施例提供的一种获取人体的眼球的朝向与参考平面之间的夹角的方法流程图。该方法与步骤302中的图3-2所示的在家居设备所在空间中确定参考平面的方法对应，也即，该图3-4以参考平面为位于人体的背面的墙面为例进行说明。参见图3-4，该方法流程可以包括如下几个步骤：

在子步骤3031a中，获取人脸正面与参考平面之间的第一夹角，人脸正面为将人体上的人脸所在曲面平面化后得到的平面。

其中，参考平面为位于人体的背面的墙面，因此，视线方向识别装置可以获取人脸正面与位于人体的背面的墙面之间的第一夹角，该人脸正面为视线方向识别装置将人体上的人脸所在曲面平面化后得到的平面。

可选地，视线方向识别装置可以根据人体上的人脸正面，查询存储的人脸正面，以及人脸正面与背部墙面之间的夹角的对应关系，将与人体上的人脸正面对应的夹角作为人脸正面与参考平面之间的第一夹角。其中，视线方向识别装置存储的人脸正面，以及人脸正面与背部墙面之间的夹角的对应关系是视线方向识别装置预先通过标定的方式获取到的。

比如，假设人体上的人脸正面为人脸正面b，视线方向识别装置存储的人脸正面，以及人脸正面与背部墙面之间的夹角的对应关系可以如下表1所示：

表1

人脸正面	人脸正面与背部墙面之间的夹角
		人脸正面a	10°
人脸正面b	30°
		人脸正面c	15°
......	......

视线方向识别装置查询表1所示的对应关系可以确定人体上的人脸正面与参考平面之间的第一夹角为30°。

需要说明的是，本公开实施例是以视线方向识别装置预先通过标定的方式获取到人脸正面，以及人脸正面与背部墙面之间的夹角的对应关系为例进行说明的，实际应用中，视线方向识别装置还可以标定人脸正面上的像素点以及人脸正面上的像素点与背部墙面上的像素点之间的夹角的对应关系，视线方向识别装置可以提取人体上的人脸正面上的像素点，然后查询视线方向识别装置存储的人脸正面上的像素点与背部墙面上的像素点之间的夹角的对应关系，确定出人体上的人脸正面上的每个像素点对应的夹角，视线方向识别装置一共可以确定人体上的人脸正面上的多个像素点对应的多个夹角，视线方向识别装置将该多个夹角的平均值作为人体上的人脸正面与参考平面之间的第一夹角。比如，视线方向识别装置可以提取人体上的人脸正面上的100个像素点，然后查询视线方向识别装置存储的人脸正面上的像素点与背部墙面上的像素点之间的夹角的对应关系，确定出与该100个像素点对应的100个夹角，然后将这100个夹角的平均值作为人体上的人脸正面与参考平面之间的第一夹角。需要说明的是，本公开实施例中确定人脸正面与参考平面之间的第一夹角的方法仅是示例性的，实际应用中，视线方向识别装置还可以采用其他方式获取人脸正面与参考平面之间的第一夹角，本公开实施例对此不做限定。

请参考图3-5，其示出的是图3-1所示实施例提供的一种视线方向的示意图，参见图3-5，人体的位置为P点所在位置，位于人体的背面的墙面为Q1，人体上的人脸正面所在平面为W，视线方向识别装置可以采用上述方法可以获取人体上的人脸正面所在平面为W与位于人体的背面的墙面为Q1之间的第一夹角A1，该第一夹角A1可以为30°。

在子步骤3032a中，获取人脸正面与眼球的朝向之间的第二夹角。

视线方向识别装置可以获取人体上的人脸正面与眼球的朝向之间的第二夹角，其中，眼球的朝向可以为眼球所面对的方向。

示例地，请参考图3-6，其示出的是图3-1所示实施例提供的一种获取人脸正面与眼球的朝向之间的第二夹角的方法流程图。参见图3-6，该方法流程可以包括如下几个步骤：

在子步骤3032a1中，获取人脸正面的图像。

视线方向识别装置可以在步骤301拍摄的室内图像中识别出人体的实际拍摄图像，然后在该人体的实际拍摄图像中识别出该人体上的人脸正面的图像；或者，视线方向识别装置可以直接采用摄像头拍摄该人体上的人脸正面的图像，或者，视线方向识别装置还可以直接采用摄像头拍摄人体的图像，然后在该人体的图像中识别出该人体上的人脸正面的图像，本公开实施例对此不做限定。

需要说明的是，视线方向识别装置在人体的图像中识别人脸正面的图像时，可以采用自适应增强(英文：Adaptive Boosting，简称：adaboost)方法对人体的图像进行检测，得到人脸正面的图像。adaboost方法是一种机器学习方法，adaboost方法中包括多个分类器，前一个分类器分错的样本会被用来训练下一个分类器，且adaboost方法对于噪声数据和异常数据很敏感，能够提高获取的人脸正面的图像的准确性。

在子步骤3032a2中，从人脸正面的图像中确定出人眼图像区域，人眼图像区域中包括两个眼球图像，两个眼球图像包括第一眼球图像和第二眼球图像。

示例地，视线方向识别装置获取到该人体上的人脸正面的图像后，可以通过人脸分析技术，从该人体上的人脸正面的图像中确定出人眼图像区域，其中，人眼图像区域中可以包括两个眼球图像，该两个眼球图像包括第一眼球图像和第二眼球图像。实际应用中，第一眼球图像和第二眼球图像可以分别为左眼球的图像和右眼球的图像，本公开实施例对此不做限定。

需要说明的是，视线方向识别装置在确定人眼图像区域时，可以采用adaboost方法对该人体上的人脸正面的图像进行检测，得到人眼图像区域。其中，人眼图像区域可以是包括第一眼球图像和第二眼球图像的一个矩形框区域。

示例地，假设在子步骤3032a1中，视线方向识别装置获取到的该人体上的人脸正面的图像如图3-7所示，则视线方向识别装置通过人脸分析技术，从人脸正面的图像中确定出人眼图像区域可以如图3-7中所示的人眼图像区域310，参见图3-7，人眼图像区域310为矩形框区域，该人眼图像区域310中包括第一眼球图像311和第二眼球图像312。

在子步骤3032a3中，确定每个眼球图像的中心在人脸正面的图像中的坐标位置。

视线方向识别装置确定出人眼图像区域后，可以确定每个眼球图像的中心在人脸正面的图像中的坐标位置。

其中，该人体上的人脸正面的图像的二维坐标系的原点可以设置在该人体上的人脸正面的图像的左上角、右上角、左下角、右下角、中心点中的任意一点，二维坐标系的单位长度可以是任意预设值，然后在该二维坐标系中确定出每个眼球图像的中心在该人体上的人脸正面的图像中的坐标位置。可选地，假设二维坐标的两个坐标轴分别为X轴和Y轴，则为了便于表示每个眼球图像的中心在人脸正面的图像中的坐标位置，可以尽可能使每个眼球图像的中心落在二维坐标系的正向X轴和正向Y轴内。假设第一眼球图像的中心在该人体上的人脸正面的图像中的坐标位置为(x1，y1)，第二眼球图像的中心在该人体上的人脸正面的图像中的坐标位置为(x2，y2)。

需要说明的是，视线方向识别装置在确定每个眼球图像的中心在该人体上的人脸正面的图像中的坐标位置时，可以采用径向对称变换(英文：Radial symmetry transform，简称：RST)方法确定每个眼球图像的中心在该人体上的人脸正面的图像中的坐标位置。

在子步骤3032a4中，确定两个眼球图像的中心的连线的中点在人脸正面的图像中的坐标位置。

视线方向识别装置确定每个眼球图像的中心在该人体上的人脸正面的图像中的坐标位置后，可以确定两个眼球图像的中心的连线的中点在该人体上的人脸正面的图像中的坐标位置，比如，视线方向识别装置确定两个眼球图像的中心的连线的中点在该人体上的人脸正面的图像中的坐标位置为(x3，y3)，则

在子步骤3032a5中，根据第一眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第一眼球的朝向之间的第一角度。

视线方向识别装置确定出每个眼球图像的中心在该人体上的人脸正面的图像中的坐标位置以及两个眼球图像的中心的连线的中点在该人体上的人脸正面的图像中的坐标位置后，可以根据第一眼球图像的中心在该人体上的人脸正面的图像中的坐标位置和中点在该人体上的人脸正面的图像中的坐标位置，确定该人体上的人脸正面与第一眼球的朝向之间的第一角度。

示例地，假设该人体上的人脸正面与第一眼球的朝向之间的第一角度为a1，则视 线方向识别装置可以根据确定第一角度a1为

在子步骤3032a6中，根据第二眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第二眼球的朝向之间的第二角度。

该子步骤3032a6与上述子步骤3032a5相同或者类似，假设该人体上的人脸正面与 第二眼球的朝向之间的第二角度为a2，则视线方向识别装置可以根据确 定第二角度a2为

在子步骤3032a7中，确定第一角度和第二角度的平均角度。

视线方向识别装置确定第一角度和第二角度后，可以确定第一角度和第二角度的平均角度。假设第一角度和第二角度的平均角度为a3，则

在子步骤3032a8中，根据平均角度和人脸正面确定第二夹角。

视线方向识别装置在确定第一角度和第二角度的平均角度后，可以根据该平均角度和该人体上的人脸正面确定第二夹角。该第二夹角为与该人体上的人脸正面之间的角度为a3的夹角中的，一边位于该人体上的人脸正面所在平面上，另一边在该人体上的人脸正面所在平面上的投影与第一夹角在该人体上的人脸正面所在平面上的一边重合的夹角。示例地，请继续参考图3-5，第二夹角可以为图3-5中的夹角A2，该夹角A2的角度可以为a3，夹角A2的一边位于人体上的人脸正面所在平面为W上，另一边在该人体上的人脸正面所在平面W上的投影与第一夹角A1在人脸正面所在平面W上的一边重合。

在子步骤3033a中，根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角。

视线方向识别装置确定该人体上的人脸正面与参考平面之间的第一夹角A1以及该人体上的人脸正面与眼球的朝向之间的第二夹角A2之后，可以根据该第一夹角A1和第二夹角A2，确定人体的眼球的朝向与参考平面之间的夹角。

示例地，请参考图3-8，其示出的是图3-1所示实施例提供的一种根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角的方法流程图。参见图3-8，该方法流程可以包括如下几个步骤：

在子步骤3033a1中，调整第一夹角和第二夹角的空间位置，使第一夹角位于人脸正面的射线与第二夹角位于人脸正面的射线重合。

视线方向识别装置可以调整第一夹角A1和第二夹角A2的空间位置，使得第一夹角A1位于该人体上的人脸正面的射线与第二夹角A2位于该人体上的人脸正面的射线重合。其中，视线方向识别装置可以通过调节参考平面的位置，使得第一夹角A1位于该人体上的人脸正面的射线与第二夹角A2位于该人体上的人脸正面的射线重合。

示例地，如图3-5所示，视线方向识别装置调节位于人体的背面的墙面Q1的位置，得到调节后的位于人体的背面的墙面Q11，人体的位置P位于该墙面Q11上，此时，第一夹角A1位于该人体上的人脸正面W的射线与第二夹角A2位于该人体上的人脸正面W的射线重合。需要说明的是，视线方向识别装置调节位于人体的背面的墙面为Q11实际上是视线方向识别装置在几何上对位于人体的背面的墙面为Q1进行平移。

在子步骤3033a2中，确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度。

视线方向识别装置调整第一夹角和第二夹角的空间位置，使第一夹角位于人脸正面的射线与第二夹角位于人脸正面的射线重合之后，视线方向识别装置可以确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度。示例地，请继续参考图3-5，即，视线方向识别装置确定调整后的墙面Q11与射线m之间的角度，假设调整后的墙面Q11与射线m之间的角度为a4，参见图3-5可知，a4等于夹角A1对应的角度和夹角A2对应的角度之和。

在子步骤3033a3中，判断角度是否小于180°。

视线方向识别装置可以判断角度a4是否小于180°。

在子步骤3033a4中，若角度小于180°，则将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角。

若在子步骤3033a3中，视线方向识别装置确定角度a4小于180°，则视线方向识别装置将第一夹角A1和第二夹角A2中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角，假设该第三夹角为A，则人体的眼球的朝向与参考平面之间的夹角就为A。

在本公开实施例中，参见图3-5可知，角度a4小于180°，因此，视线方向识别装置将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角。

需要说明的是，由于角度a4大于180°时，相当于人眼看到了参考平面的另一侧，这种情况在实际应用中不可能发生，因此，若在子步骤3033a3中，视线方向识别装置确定角度a4大于180°，则视线方向识别装置确定人体的眼球的朝向与参考平面之间的夹角获取失败。

示例地，请参考图3-9，其示出的是图3-1所示实施例提供的另一种获取人体的眼球的朝向与参考平面之间的夹角的方法流程图。该方法与步骤302中的图3-3所示的在家居设备所在空间中确定参考平面的方法对应，也即，该图3-9以参考平面为该人体上的人脸正面为例进行说明。参见图3-9，该方法流程可以包括如下几个步骤：

在子步骤3031b中，获取人脸正面与眼球的朝向之间的第二夹角。

该子步骤3031b与上述子步骤3032a相同或者类似，其实现过程可以参考上述子步骤3032a，本公开实施例在此不再赘述。

在子步骤3032b中，将第二夹角确定为人体的眼球的朝向与参考平面之间的夹角。

视线方向识别装置确定人脸正面与眼球的朝向之间的第二夹角后，可以将第二夹角确定为人体的眼球的朝向与参考平面之间的夹角，示例地，视线方向识别装置将图3-5中的第二夹角A2确定为眼球的朝向与参考平面之间的夹角。

在步骤304中，根据位置信息和夹角，确定人体的视线方向。

视线方向识别装置确定人体在家居设备所在空间中位置信息和人体的眼球的朝向与参考平面之间的夹角后，可以根据该位置信息和该夹角确定人体的视线方向。示例地，如图3-5所示，当参考平面为位于人体的背面的墙面时，视线方向识别装置可以根据人体的位置P和夹角A，确定人体的视线方向。当参考平面为位于人体上的人脸正面时，视线方向识别装置可以根据人体的位置P和第二夹角A2，确定人体的视线方向。

示例地，请参考图3-10，其示出的是图3-1所示实施例提供的一种根据位置信息和夹角，确定人体的视线方向的方法流程图。参见图3-10，该方法流程可以包括如下几个步骤：

在子步骤3041中，调整夹角的空间位置，使调整后的夹角的顶点位于位置信息指示的坐标位置，且夹角的一边平行于参考平面。

视线方向识别装置可以调整人体的眼球的朝向与参考平面之间的夹角的空间位置，使调整后的夹角的顶点位于位置信息指示的坐标位置，且夹角的一边平行于参考平面。示例地，如图3-5所示，视线方向识别装置调整夹角A或者夹角A2的位置，使得夹角A或者夹角A2的顶点位于P点，且使得夹角的一边平行于参考平面Q1或平行于人脸正面所在平面W。

在子步骤3042中，将调整后的夹角的另一边由顶点向外发散的方向作为视线方向。

视线方向识别装置调整夹角的空间位置后，将调整后的夹角的另一边由顶点向外发散的方向作为视线方向，其中，调整后的夹角的另一边指的是调整后的夹角不平行于参考平面的一边。示例地，如图3-5所示，视线方向识别装置将射线m所在方向作为视线方向。

在步骤305中，根据视线方向目标控制家居设备。

视线方向识别装置确定视线方向后，可以根据视线方向控制目标家居设备，其中，目标家居设备可以是人体的视线方向上的距离该人体最近的家居设备，且视线方向识别装置可以根据预先设定的控制指令控制目标家居设备。比如，视线方向识别装置根据预先设定的控制指令控制目标家居设备的开启、关闭等。示例地，视线方向识别装置根据视线方向控制智能电视机的开启、关闭、音量大小的调节、换台等。

视线方向识别装置可以与家居设备进行通信。视线方向识别装置获取到人体的视线方向后，根据该视线方向确定出判断人体上的人眼注视的目标家居设备，然后向人体上的人眼注视的目标家居设备发送该视线方向，目标家居设备接收到该视线方向时，可以根据该视线方向，执行相应的操作；可选地，视线方向识别装置还可以确定视线方向对应的控制指令，然后向目标家居设备发送该控制指令，目标家居设备可以根据该控制指令执行相应操作。比如，假设在目标家居设备处于开启状态时，人体上的人眼注视目标家居设备的时长超过预设时长时，对应的控制指令为关闭指令，则视线方向识别装置可以判断人眼注视目标家居设备的时长是否超过预设时长，若人眼注视目标家居设备的时长超过预设时长，则视线方向识别装置确定视线方向对应的控制指令为关闭指令，视线方向识别装置向目标家居设备发送该关闭指令，目标家居设备根据该关闭指令关闭家居设备。再比如，目标家居设备可以为智能电视机，当智能电视机处于开启状态时，人体的眼睛连续眨两下对应的控制指令可以为换台指令，则视线方向识别装置可以根据视线方向确定人体的眼睛是否注视目标家居设备并连续眨了两下，若人体的眼睛注视目标家居设备并连续眨了两下，则视线方向识别装置确定人体的视线方向对应的控制指令为换台指令，视线方向识别装置向目标家居设备发送该换台指令，使得目标家居设备根据该换台指令执行换台操作。

视线方向识别装置获取到人体的视线方向后，可以向位于视线方向识别装置所在空间中的所有家居设备发送该视线方向，该所有家居设备包括目标家居设备，家居设备接收到视线方向识别装置发送的视线方向时，可以判断根据该视线方向判断人体上的人眼是否注视自身，若人体上的人眼注视自身，则目标家居设备根据该视线方向，执行相应的操作；可选地，目标家居设备还可以确定视线方向对应的控制指令，然后根据该控制指令执行相应操作。比如，假设在目标家居设备处于开启状态时，人体上的人眼注视目标家居设备的时长超过预设时长时，对应的控制指令为关闭指令，则目标家居设备可以判断人眼注视目标家居设备的时长是否超过预设时长，若人眼注视目标家居设备的时长超过预设时长，则目标家居设备确定视线方向对应的控制指令为关闭指令，目标家居设备根据该关闭指令关闭家居设备。

需要说明的是，视线方向识别装置还可以根据视线方向采用其他方式控制目标家居设备，比如，视线方向识别装置根据视线方向通过遥控器控制目标家居设备，视线方向识别装置可以根据人体上的人眼注视智能电视机的遥控器上的某个按钮的时长，通过遥控器控制目标家居设备，示例地，若智能电视机当前处于开启状态，且视线方向识别装置确定人体上的人眼注视智能电视机的遥控器上的音量调大按钮的时长超过预设时长，则视线方向识别装置通过智能电视机的遥控器将智能电视机的声音调大。

还需要说明的是，本公开实施例是以视线方向识别装置根据人体上的人眼注视目标家居设备或者目标家居设备的遥控器的时长为例来对视线方向识别装置控制目标家居设备进行说明的，实际应用中，视线方向识别装置还可以根据视线方向，采用其他方式控制目标家居设备，本公开实施例对此不做限定。

还需要说明的是，本公开实施例中所列举的根据视线方向控制目标家居设备的方法仅是示例性的，并不能用以限制本公开，任何符合本公开构思的根据视线方向控制目标家居设备的方法，都在本公开的保护范围内，因此不再赘述。

综上所述，本公开实施例提供的视线方向识别方法，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备时，可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图4是根据一示例性实施例示出的一种视线方向识别装置400的框图，该视线方向识别装置400可以用于执行图2或图3-1所示的视线方向识别方法，参见图4，该视线方向识别装置400可以包括：

第一获取模块410，被配置为获取家居设备所在空间中的人体的位置信息。

第一确定模块420，被配置为在家居设备所在空间中确定参考平面。

第二获取模块430，被配置为获取人体的眼球的朝向与第一确定模块420确定的参考平面之间的夹角。

第二确定模块440，被配置为根据第一获取模块410获取到的位置信息和第二获取模块430获取到的夹角，确定人体的视线方向。

综上所述，本公开实施例提供的视线方向识别装置，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备时，可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

图5-1是根据另一示例性实施例示出的一种视线方向识别装置500的框图，该视线方向识别装置500可以用于执行图2或图3-1所示的视线方向识别方法，参见图5-1，该视线方向识别装置500可以包括但不限于：

第一获取模块510，被配置为获取家居设备所在空间中的人体的位置信息；

第一确定模块520，被配置为在家居设备所在空间中确定参考平面；

第二获取模块530，被配置为获取人体的眼球的朝向与第一确定模块520确定的参考平面之间的夹角；

第二确定模块540，被配置为根据第一获取模块510获取到的位置信息和第二获取模块530获取到的夹角，确定人体的视线方向。

可选地，请继续参考图5-1，该视线方向识别装置500还包括：

控制模块550，被配置为根据第二确定模块540确定的视线方向控制家居设备。

可选地，第二确定模块540，被配置为：

调整夹角的空间位置，使调整后的夹角的顶点位于位置信息指示的坐标位置，且夹角的一边平行于参考平面；

将调整后的夹角的另一边由顶点向外发散的方向作为视线方向。

可选地，第一确定模块520，被配置为：

检测家居设备所在空间中位于人体的背面的墙面的个数；

在位于人体的背面的墙面的个数为一个时，将位于人体的背面的墙面作为参考平面；

在位于人体的背面的墙面的个数为至少两个时，确定人体在至少两个墙面中的各个墙面的正投影的面积，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面。

可选地，请参考图5-2，其示出的是图5-1所示实施例提供的一种第二获取模块530的框图，参见图5-2，第二获取模块530可以包括：

第一获取子模块531，被配置为获取人脸正面与参考平面之间的第一夹角，人脸正面为将人体上的人脸所在曲面平面化后得到的平面；

第二获取子模块532，被配置为获取人脸正面与眼球的朝向之间的第二夹角；

确定子模块533，被配置为根据第一获取子模块531获取到的第一夹角和第二获取子模块532获取到的第二夹角，确定人体的眼球的朝向与参考平面之间的夹角。

可选地，确定子模块533，被配置为：

调整第一夹角和第二夹角的空间位置，使第一夹角位于人脸正面的射线与第二夹角位于人脸正面的射线重合；

确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度；

判断角度是否小于180°；

在角度小于180°时，将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角。

可选地，第一确定模块520，被配置为将人体上的人脸所在曲面平面化得到人脸正面；将人脸正面作为参考平面；

可选地，请参考图5-3，其示出的是图5-1所示实施例提供的另一种第二获取模块530的框图，参见图5-3，第二获取模块530可以包括：

第二获取子模块532，被配置为获取人脸正面与眼球的朝向之间的第二夹角；

确定子模块533，被配置为将第二获取子模块532获取到的第二夹角确定为人体的眼球的朝向与参考平面之间的夹角。

可选地，第二获取子模块532，被配置为：

获取人脸正面的图像；

从人脸正面的图像中确定出人眼图像区域，人眼图像区域中包括两个眼球图像，两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个眼球图像的中心在人脸正面的图像中的坐标位置；确定两个眼球图像的中心的连线的中点在人脸正面的图像中的坐标位置；

根据第一眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第一眼球的朝向之间的第一角度；

根据第二眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第二眼球的朝向之间的第二角度；

确定第一角度和第二角度的平均角度；

根据平均角度和人脸正面确定第二夹角。

综上所述，本公开实施例提供的视线方向识别装置，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备时，可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

图6是根据一示例性实施例示出的一种视线方向识别装置600的框图。例如，装置600可以是摄像机、或者具有摄像功能的设备，视线方向识别装置600可以用于控制家居设备，该家居设备可以是智能电视机、智能冰箱、智能洗衣机、智能空调、智能防盗门、智能监控设备、智能安防设备、智能可视对讲设备等。

参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)接口612，传感器组件614，以及通信组件616。

处理组件602通常控制装置600的整体操作，诸如与数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，如，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。

多媒体组件608包括在装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如，记录模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到装置600的打开/关闭状态，组件的相对定位，例如组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当存储介质中的指令由装置600的处理器执行时，使得装置600能够执行一种视线方向识别方法，该方法包括：

获取家居设备所在空间中的人体的位置信息；

在家居设备所在空间中确定参考平面；

获取人体的眼球的朝向与参考平面之间的夹角；

根据位置信息和夹角，确定人体的视线方向。

可选地，该方法还包括：

根据视线方向控制目标家居设备。

可选地，根据位置信息和夹角，确定人体的视线方向，包括：

调整夹角的空间位置，使调整后的夹角的顶点位于位置信息指示的坐标位置，且夹角的一边平行于参考平面；

将调整后的夹角的另一边由顶点向外发散的方向作为视线方向。

可选地，在家居设备所在空间中确定参考平面，包括：

检测家居设备所在空间中位于人体的背面的墙面的个数；

若位于人体的背面的墙面的个数为一个，则将位于人体的背面的墙面作为参考平面；

若位于人体的背面的墙面的个数为至少两个，则确定人体在至少两个墙面中的各个墙面的正投影的面积，将人体在至少两个墙面中的各个墙面的正投影的面积最大的墙面作为参考平面。

可选地，获取人体的眼球的朝向与参考平面之间的夹角，包括：

获取人脸正面与参考平面之间的第一夹角，人脸正面为将人体上的人脸所在曲面平面化后得到的平面；

获取人脸正面与眼球的朝向之间的第二夹角；

根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角。

可选地，根据第一夹角和第二夹角，确定人体的眼球的朝向与参考平面之间的夹角，包括：

调整第一夹角和第二夹角的空间位置，使第一夹角位于人脸正面的射线与第二夹角位于人脸正面的射线重合；

确定调整后的第一夹角和第二夹角中除重合射线之外的两条射线之间的角度；

判断角度是否小于180°；

若角度小于180°，则将第一夹角和第二夹角中除重合射线之外的两条射线所成的第三夹角作为人体的眼球的朝向与参考平面之间的夹角。

可选地，在家居设备所在空间中确定参考平面，包括：

将人体上的人脸所在曲面平面化得到人脸正面；

将人脸正面作为参考平面；

获取人体的眼球的朝向与参考平面之间的夹角，包括：

获取人脸正面与眼球的朝向之间的第二夹角；

将第二夹角确定为人体的眼球的朝向与参考平面之间的夹角。

可选地，获取人脸正面与眼球的朝向之间的第二夹角，包括：

获取人脸正面的图像；

从人脸正面的图像中确定出人眼图像区域，人眼图像区域中包括两个眼球图像，两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个眼球图像的中心在人脸正面的图像中的坐标位置；

确定两个眼球图像的中心的连线的中点在人脸正面的图像中的坐标位置；

根据第一眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第一眼球的朝向之间的第一角度；

根据第二眼球图像的中心在人脸正面的图像中的坐标位置和中点在人脸正面的图像中的坐标位置，确定人脸正面与第二眼球的朝向之间的第二角度；

确定第一角度和第二角度的平均角度；

根据平均角度和人脸正面确定第二夹角。

综上所述，本公开实施例提供的视线方向识别装置，通过获取家居设备所在空间中的人体的位置信息，在家居设备所在空间中确定参考平面，获取人体的眼球的朝向与参考平面之间的夹角，根据位置信息和夹角，确定人体的视线方向，由于确定视线方向后，可以根据视线方向控制家居设备，根据视线方向控制家居设备时，可以提高控制家居设备的智能化，解决了相关技术中家居设备控制方式单一的问题，达到了丰富家居设备控制方式的有益效果。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种视线方向识别方法，其特征在于，所述方法包括：

获取家居设备所在空间中的人体的位置信息；

在所述家居设备所在空间中确定参考平面，所述在所述家居设备所在空间中确定参考平面，包括：

检测所述家居设备所在空间中位于所述人体的背面的墙面的个数；若位于所述人体的背面的墙面的个数为一个，则将所述位于所述人体的背面的墙面作为所述参考平面；若位于所述人体的背面的墙面的个数为至少两个，则确定所述人体在所述至少两个墙面中的各个墙面的正投影的面积，将所述人体在所述至少两个墙面中的各个墙面的正投影的面积最大的墙面作为所述参考平面；

获取所述人体的眼球的朝向与所述参考平面之间的夹角，所述获取所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

获取人脸正面与所述参考平面之间的第一夹角，所述人脸正面为将所述人体上的人脸所在曲面平面化后得到的平面；获取所述人脸正面与所述眼球的朝向之间的第二夹角；根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角；

根据所述位置信息和所述夹角，确定所述人体的视线方向。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述视线方向控制目标家居设备。

3.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息和所述夹角，确定所述人体的视线方向，包括：

调整所述夹角的空间位置，使调整后的所述夹角的顶点位于所述位置信息指示的坐标位置，且所述夹角的一边平行于所述参考平面；

将调整后的所述夹角的另一边由所述顶点向外发散的方向作为所述视线方向。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

调整所述第一夹角和所述第二夹角的空间位置，使所述第一夹角位于所述人脸正面的射线与所述第二夹角位于所述人脸正面的射线重合；

确定调整后的所述第一夹角和所述第二夹角中除重合射线之外的两条射线之间的角度；

判断所述角度是否小于180°；

若所述角度小于180°，则将所述第一夹角和所述第二夹角中除所述重合射线之外的两条射线所成的第三夹角作为所述人体的眼球的朝向与所述参考平面之间的夹角。

5.根据权利要求1至3任一所述的方法，其特征在于，

所述在所述家居设备所在空间中确定参考平面，还包括：

将所述人体上的人脸所在曲面平面化得到人脸正面；

将所述人脸正面作为所述参考平面；

所述获取所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

获取所述人脸正面与所述眼球的朝向之间的第二夹角；

将所述第二夹角确定为所述人体的眼球的朝向与所述参考平面之间的夹角。

6.根据权利要求5所述的方法，其特征在于，所述获取所述人脸正面与所述眼球的朝向之间的第二夹角，包括：

获取所述人脸正面的图像；

从所述人脸正面的图像中确定出人眼图像区域，所述人眼图像区域中包括两个眼球图像，所述两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个所述眼球图像的中心在所述人脸正面的图像中的坐标位置；

确定两个所述眼球图像的中心的连线的中点在所述人脸正面的图像中的坐标位置；

根据所述第一眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第一眼球的朝向之间的第一角度；

根据所述第二眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第二眼球的朝向之间的第二角度；

确定所述第一角度和所述第二角度的平均角度；

根据所述平均角度和所述人脸正面确定所述第二夹角。

7.一种视线方向识别装置，其特征在于，所述装置包括：

第一获取模块，被配置为获取家居设备所在空间中的人体的位置信息；

第一确定模块，被配置为在所述家居设备所在空间中确定参考平面；

第二获取模块，被配置为获取所述人体的眼球的朝向与所述参考平面之间的夹角；

第二确定模块，被配置为根据所述位置信息和所述夹角，确定所述人体的视线方向；

其中，所述第一确定模块，被配置为：

检测所述家居设备所在空间中位于所述人体的背面的墙面的个数；在位于所述人体的背面的墙面的个数为一个时，将所述位于所述人体的背面的墙面作为所述参考平面；在位于所述人体的背面的墙面的个数为至少两个时，确定所述人体在所述至少两个墙面中的各个墙面的正投影的面积，将所述人体在所述至少两个墙面中的各个墙面的正投影的面积最大的墙面作为所述参考平面；

其中，所述第二获取模块，包括：

第一获取子模块，被配置为获取人脸正面与所述参考平面之间的第一夹角，所述人脸正面为将所述人体上的人脸所在曲面平面化后得到的平面；第二获取子模块，被配置为获取所述人脸正面与所述眼球的朝向之间的第二夹角；

确定子模块，被配置为根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

控制模块，被配置为根据所述视线方向控制目标家居设备。

9.根据权利要求7所述的装置，其特征在于，

所述第二确定模块，被配置为：

调整所述夹角的空间位置，使调整后的所述夹角的顶点位于所述位置信息指示的坐标位置，且所述夹角的一边平行于所述参考平面；

将调整后的所述夹角的另一边由所述顶点向外发散的方向作为所述视线方向。

10.根据权利要求7所述的装置，其特征在于，

所述确定子模块，被配置为：

调整所述第一夹角和所述第二夹角的空间位置，使所述第一夹角位于所述人脸正面的射线与所述第二夹角位于所述人脸正面的射线重合；

确定调整后的所述第一夹角和所述第二夹角中除重合射线之外的两条射线之间的角度；

判断所述角度是否小于180°；

在所述角度小于180°时，将所述第一夹角和所述第二夹角中除所述重合射线之外的两条射线所成的第三夹角作为所述人体的眼球的朝向与所述参考平面之间的夹角。

11.根据权利要求7至9任一所述的装置，其特征在于，

所述第一确定模块，还被配置为将所述人体上的人脸所在曲面平面化得到人脸正面；将所述人脸正面作为所述参考平面；

所述第二获取模块，包括：

第二获取子模块，还被配置为获取所述人脸正面与所述眼球的朝向之间的第二夹角；

确定子模块，还被配置为将所述第二夹角确定为所述人体的眼球的朝向与所述参考平面之间的夹角。

12.根据权利要求11所述的装置，其特征在于，

所述第二获取子模块，被配置为：

获取所述人脸正面的图像；

从所述人脸正面的图像中确定出人眼图像区域，所述人眼图像区域中包括两个眼球图像，所述两个眼球图像包括第一眼球图像和第二眼球图像；

确定每个所述眼球图像的中心在所述人脸正面的图像中的坐标位置；

确定两个所述眼球图像的中心的连线的中点在所述人脸正面的图像中的坐标位置；

根据所述第一眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第一眼球的朝向之间的第一角度；

根据所述第二眼球图像的中心在所述人脸正面的图像中的坐标位置和所述中点在所述人脸正面的图像中的坐标位置，确定所述人脸正面与所述第二眼球的朝向之间的第二角度；

确定所述第一角度和所述第二角度的平均角度；

根据所述平均角度和所述人脸正面确定所述第二夹角。

13.一种视线方向识别装置，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为：

获取家居设备所在空间中的人体的位置信息；

在所述家居设备所在空间中确定参考平面，所述在所述家居设备所在空间中确定参考平面，包括：

检测所述家居设备所在空间中位于所述人体的背面的墙面的个数；若位于所述人体的背面的墙面的个数为一个，则将所述位于所述人体的背面的墙面作为所述参考平面；若位于所述人体的背面的墙面的个数为至少两个，则确定所述人体在所述至少两个墙面中的各个墙面的正投影的面积，将所述人体在所述至少两个墙面中的各个墙面的正投影的面积最大的墙面作为所述参考平面；

获取所述人体的眼球的朝向与所述参考平面之间的夹角，所述获取所述人体的眼球的朝向与所述参考平面之间的夹角，包括：

获取人脸正面与所述参考平面之间的第一夹角，所述人脸正面为将所述人体上的人脸所在曲面平面化后得到的平面；获取所述人脸正面与所述眼球的朝向之间的第二夹角；根据所述第一夹角和所述第二夹角，确定所述人体的眼球的朝向与所述参考平面之间的夹角；

根据所述位置信息和所述夹角，确定所述人体的视线方向。