CN104699249A - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明提供一种信息处理方法及电子设备，通过电子设备的第一传感器获得位于电子设备前的用户的第一数字图像；通过第一数字图像确定出用户的操作体以及操作体位于显示屏幕的第一位置；通过电子设备的第二传感器获得用户的眼睛的第一运动参数；基于第一运动参数确定用户的眼睛的视点位于显示屏幕的第二位置；确定第一位置和第二位置是否重合；基于第一位置和第二位置重合的确定结果，产生一控制指令并响应，使得可以基于用户的操作体和眼睛的视点在显示屏幕上的位置来控制电子设备，以实现通过对用户自身在环境中的移动来控制电子设备。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及信息处理技术领域，特别涉及一种信息处理方法及电子设备。

背景技术

随着电子设备的发展，越来越多的厂商开始研发与电子设备相关的设备，如空中鼠标。空中鼠标作为一种输入设备，像传统的电脑鼠标一样操作位于显示屏幕中的光标，却不需要放在任何平面上，在空中晃动或点击进行使用。

现有技术中，空中鼠标在移动时通过内置的陀螺仪和重力加速度传感器采集鼠标运动时各方向的角速度，并根据各方向的角速度与速度的对应关系确定鼠标在各方向上的移动速度，这个对应关系是根据传统的电脑鼠标的使用经验得到，最后根据移动时间来确定空中鼠标在各方向上的位移。

但是诸如空中鼠标这种设备来说，都需要空中鼠标与电子设备相互结合来实现对电子设备的控制，其不能通过对用户自身在环境中的移动来控制电子设备。

发明内容

有鉴于此，本发明提供一种信息处理方法及电子设备，以基于用户的操作体和眼睛的视点在显示屏幕上的位置来控制电子设备。技术方案如下：

本发明提供一种信息处理方法，所述方法包括：

通过电子设备的第一传感器获得位于所述电子设备前的用户的第一数字图像，其中，当所述用户位于所述电子设备前时通过所述电子设备的显示屏幕的镜面效果物理成像方式呈现出与所述用户对应的虚像；所述第一数字图像与所述虚像匹配一致；

通过所述第一数字图像确定出所述用户的操作体以及所述操作体位于所述显示屏幕的第一位置；

通过所述电子设备的第二传感器获得所述用户的眼睛的第一运动参数；

基于所述第一运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第二位置；

确定所述第一位置和所述第二位置是否重合；

基于所述第一位置和第二位置重合的确定结果，产生一控制指令；

响应所述控制指令。

优选的，所述方法还包括：

通过所述显示屏幕显示多个虚拟对象；

基于所述第一位置从多个虚拟对象中确定所述第一虚拟对象，其中，所述第一虚拟对象显示在所述显示屏幕的第一区域，所述第一位置属于所述第一区域，且所述控制指令用于指示控制所述第一虚拟对象。

优选的，所述响应所述控制指令，包括：启动所述第一虚拟对象所对应的第一应用程序并显示在所述显示屏幕上。

优选的，所述控制指令为缩放指令，所述响应所述控制指令，包括：基于所述第一位置和所述第二位置确定缩放参数；

基于所述缩放参数，对所述第一虚拟对象执行缩放指令。

优选的，所述基于所述第一位置和第二位置重合的确定结果，产生一控制指令，包括：

在得到所述第一位置和第二位置重合的确定结果后，通过所述第二传感器获得所述用户的眼睛的第二运动参数；

基于所述第二运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第三位置；

基于所述第三位置和基准点，确定所述眼睛的视点与所述基准点的位置关系，其中所述基准点为所述第一位置和所述第二位置的重合点；

当所述眼睛的视点与所述基准点的位置关系满足坐标系正向关系时，产生放大指令，所述坐标系为以所述基准点为坐标中心点构建的二维坐标系；

当所述眼睛的视点与所述基准点的位置关系满足坐标负向关系时，产生缩小指令。

优选的，所述基于所述第一位置和所述第二位置确定缩放参数，包括：

确定所述第一位置和所述第二位置的重合点为所述缩放指令的基准点；

基于所述第三位置和所述基准点，确定所述眼睛的视点相对于所述基准点的运动方向，所述运动方向用于指示所述第一虚拟对象以所述基准点为准在执行所述缩放指令时的运动趋势。

优选的，所述方法还包括：通过所述第一传感器获得当前时刻位于所述电子设备前的用户的第二数字图像；

通过所述第二数字图像确定出所述操作体位于所述显示屏幕的第四位置；

当所述第四位置指示所述操作体离开所述第一位置时，终止所述控制指令。

本发明还提供一种电子设备，所述电子设备包括：

第一获取单元，用于通过电子设备的第一传感器获得位于所述电子设备前的用户的第一数字图像，其中，当所述用户位于所述电子设备前时通过所述电子设备的显示屏幕的镜面效果物理成像方式呈现出与所述用户对应的虚像；所述第一数字图像与所述虚像匹配一致；

第一位置确定单元，用于通过所述第一数字图像确定出所述用户的操作体以及所述操作体位于所述显示屏幕的第一位置；

第二获取单元，用于通过所述电子设备的第二传感器获得所述用户的眼睛的第一运动参数；

第二位置确定单元，用于基于所述第一运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第二位置；

确定单元，用于确定所述第一位置和所述第二位置是否重合；

指令产生单元，用于基于所述第一位置和第二位置重合的确定结果，产生一控制指令；

响应单元，用于响应所述控制指令。

优选的，所述电子设备还包括：

显示单元，用于通过所述显示屏幕显示多个虚拟对象；

对象确定单元，用于基于所述第一位置从多个虚拟对象中确定所述第一虚拟对象，其中，所述第一虚拟对象显示在所述显示屏幕的第一区域，所述第一位置属于所述第一区域，且所述控制指令用于指示控制所述第一虚拟对象。

优选的，所述响应单元具体用于：启动所述第一虚拟对象所对应的第一应用程序并显示在所述显示屏幕上。

优选的，所述控制指令为缩放指令，所述响应单元具体用于：基于所述第一位置和所述第二位置确定缩放参数，并基于所述缩放参数，对所述第一虚拟对象执行缩放指令。

优选的，所述指令产生单元包括：

参数获取子单元，用于在得到所述第一位置和第二位置重合的确定结果后，通过所述第二传感器获得所述用户的眼睛的第二运动参数；

位置确定子单元，用于基于所述第二运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第三位置；

关系确定子单元，用于基于所述第三位置和基准点，确定所述眼睛的视点与所述基准点的位置关系，其中所述基准点为所述第一位置和所述第二位置的重合点；

第一指令产生子单元，用于当所述眼睛的视点与所述基准点的位置关系满足坐标系正向关系时，产生放大指令，所述坐标系为以所述基准点为坐标中心点构建的二维坐标系；

第二指令产生子单元，用于当所述眼睛的视点与所述基准点的位置关系满足坐标负向关系时，产生缩小指令。

优选的，所述响应单元包括：

第一确定子单元，用于确定所述第一位置和所述第二位置的重合点为所述缩放指令的基准点；

第二确定子单元，用于基于所述第三位置和所述基准点，确定所述眼睛的视点相对于所述基准点的运动方向，所述运动方向用于指示所述第一虚拟对象以所述基准点为准在执行所述缩放指令时的运动趋势；

响应子单元，用于基于所述基准点和所述运动方向，对所述第一虚拟对象执行缩放指令。

优选的，所述电子设备还包括：

第三获取单元，用于通过所述第一传感器获得当前时刻位于所述电子设备前的用户的第二数字图像；

第四位置获取单元，用于通过所述第二数字图像确定出所述操作体位于所述显示屏幕的第四位置；

处理单元，用于当所述第四位置指示所述操作体离开所述第一位置时，终止所述控制指令。

与现有技术相比，本发明提供的技术方案具有如下优点：

本发明提供的上述技术方案，通过电子设备的第一传感器获得位于电子设备前的用户的第一数字图像，以确定出用户的操作体移机操作体位于显示屏幕的第一位置；通过电子设备的第二传感器获得用户的眼睛的第一运动参数以确定用户的眼睛的视点位于显示屏幕的第二位置；基于第一位置和第二位置重合的确定结果，产生一控制指令并响应，使得可以基于用户的操作体和眼睛的视点在显示屏幕上的位置来控制电子设备，以实现通过对用户自身在环境中的移动来控制电子设备。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的信息处理方法的第一种流程图；

图2为本发明实施例提供的用户位于电子设备前的一种示意图；

图3为本发明实施例提供的信息处理方法的第二种流程图；

图4为本发明实施例提供的虚拟对象显示的一种示意图；

图5为图3所示信息处理方法中步骤106的流程图；

图6为本发明实施例提供的信息处理方法的第三种流程图；

图7为本发明实施例提供的电子设备的第一种结构示意图；

图8为本发明实施例提供的电子设备的第二种结构示意图；

图9为本发明实施例提供的电子设备中指令产生单元的结构示意图；

图10本发明实施例提供的电子设备中响应单元的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的信息处理方法的第一种流程图，用于基于用户的操作体和眼睛的视点在显示屏幕上的位置来控制电子设备，具体可以包括以下步骤：

101：通过电子设备的第一传感器获得位于电子设备前的用户的第一数字图像。

当用户位于电子设备前通过电子设备的显示屏幕的镜面效果物理成像方式呈现出与用户对应的虚像，也就是说电子设备的显示屏幕好比是一面镜子，当用户位于电子设备前通过显示屏幕的物理成像原理可以在显示屏幕上呈现出与用户对应的虚像，以在显示屏幕上呈现出用户位于电子设备前的姿势图像。

并且通过第一传感器所获得的第一数字图像也是用户位于电子设备前时的姿势图像，因此本发明实施例中第一数字图像与虚像一致，两者都是用户位于电子设备前时的姿势图像。其中所谓第一数字图像与虚像一致可以是两者是按照一定比例得到的用户位于电子设备前时的姿势图像。

比如当电子设备的显示屏幕的长度大于等于用户的身长时，在显示屏幕上呈现的虚像可以是用户相同的姿势图像，即得到的虚像是与实物一比一的姿势图像，第一数字图像则可以是将用户的姿势图像按照一定比例缩小后的图像；当电子设备的显示屏幕的长度小于用户的身长时，在显示屏幕上呈现的虚像也是用户的姿势图像按照一定比例缩小后的图像。

102：通过第一数字图像确定出用户的操作体以及操作体位于显示屏幕的第一位置。在本发明实施例中第一数字图像是位于电子设备前的用户的图像，因此通过图像识别技术可以确定出用户的操作体，其中用户的操作体是用于对电子设备进行控制的用户身体的某一部分，比如用户的手。操作体位于显示屏幕的第一位置可以是操作体在显示屏幕上形成的某一位置，如图2所示，在图2中的点A则是操作体位于显示屏幕的第一位置。

在本发明实施例中以第一传感器采用深度摄像头为例，阐述利用深度摄像头确定操作体位于显示屏幕的第一位置的过程：首先通过深度摄像头标定方法，得到用户的操作体在深度摄像头的空间坐标系下的空间位置，其中空间坐标系是以用户身体中心点为空间坐标系的圆点得到的X轴、Y轴和Z轴构建的坐标系；其次，在显示屏幕上对深度摄像头的空间坐标系进行位置标定，得到深度摄像头与显示屏幕的空间坐标关系；最后基于空间坐标关系将操作体在深度摄像头的空间坐标系下的空间位置进行转化，以获得操作体在显示屏幕的空间坐标系下的空间位置，从而得到操作体位于显示屏幕的第一位置。

103：通过电子设备的第二传感器获得用户的眼睛的第一运动参数。

104：基于第一运动参数确定用户的眼睛的视点位于显示屏幕的第二位置。

可以理解的是：第一运动参数用于表示眼睛运动时的运动轨迹，该运动轨迹可以指示出眼睛运动时眼睛的视点在显示屏幕上的位置，因此基于第一运动参数可以确定出用户的眼睛的视点位于显示屏幕的第二位置，同样如图2所示，第二位置是眼睛的视点在显示屏幕上形成的某个位置，在图2中第二位置与第一位置重合。

在本发明实施例中，第二传感器可以是眼动仪，其可以记录眼睛运动时的运动轨迹，将眼动仪所记录的运动轨迹作为第一运动参数。

105：确定第一位置和第二位置是否重合。在本发明实施例中，基于用户的操作体和用户的眼睛对电子设备的控制是在操作体的第一位置和第二位置重合的情况下，因此在获得第一位置和第二位置后，确定第一位置和第二位置是否重合，以确定当前的用户行为是否为针对电子设备的控制所作出的操作行为。

其中第一位置和第二位置是否重合可以是：第一位置和第二位置的部分区域是否重合，当第一位置和第二位置重合时，表明眼睛的视点位于用户的操作体上，此时可以通过眼睛的视点和用户的操作体结合得到的操作行为来控制电子设备；当第一位置和第二位置未重合时，表明眼睛的视点和用户的操作体分别执行独立的动作，此时电子设备并未处于眼睛的视点和用户的操作体的结合控制下。

106：基于第一位置和第二位置重合的确定结果，产生一控制指令。

107：响应控制指令。

在本发明实施例中，第一位置和第二位置重合的示意图可以参阅图2所示，基于第一位置和第二位置重合的确定结果可以产生一用于控制电子设备的控制指令，并使得电子设备响应控制指令，这样通过眼睛的视点和用户的操作体结合得到的操作行为则可以控制电子设备。

可以理解的是：基于第一位置和第二位置重合的确定结果产生的控制指令是预先设定的一个控制指令，其可以是在第一位置和第二位置重合的情况下执行的点击指令，当然其也可以是在第一位置和第二位置重合的情况下执行的滑动指令，对此本发明实施例并不限定控制指令为何种形式的指令。

从上述技术方案可以看出，通过电子设备的第一传感器获得位于电子设备前的用户的第一数字图像，以确定出用户的操作体移机操作体位于显示屏幕的第一位置；通过电子设备的第二传感器获得用户的眼睛的第一运动参数以确定用户的眼睛的视点位于显示屏幕的第二位置；基于第一位置和第二位置重合的确定结果，产生一控制指令并响应，使得可以基于用户的操作体和眼睛的视点在显示屏幕上的位置来控制电子设备，这样就可以通过对用户自身在环境中的移动来控制电子设备。

请参阅图3，其示出了本发明实施例提供的信息处理方法的第二种流程图，在图1基础上还可以包括以下步骤：

108：通过显示屏幕显示多个虚拟对象。在本发明实施例中，虚拟对象是用户在对电子设备进行操作时其显示的对象，如图4所示。并且在电子设备执行不同的操作后显示屏幕上显示的虚拟对象也可以不同，例如电子设备在开启后，显示屏幕上显示的是多个虚拟图标；而当电子设备进入图库这一虚拟图标后，显示屏幕上显示的则是图像列表。

109：基于第一位置从多个虚拟对象中确定第一虚拟对象。在本发明实施例中，显示屏幕包括第一区域和第二区域，其中第一虚拟对象显示在显示屏幕的第一区域，并且第一位置也属于第一区域，因此基于第一位置可以从多个虚拟对象中确定出第一虚拟对象，即基于第一位置可以选中某一虚拟对象，进一步由控制指令来控制第一虚拟对象。例如在确定第一虚拟对象之后，可以通过控制指令来移动第一虚拟对象。

当然在基于第一位置和第二位置重合的确定结果，可以产生用于点击第一虚拟对象的控制指令，相应的在响应控制指令的过程可以是：启动第一虚拟对象所对应的第一应用程序并显示在显示屏幕上，这样通过用户的操作体和眼睛可以直接启动第一虚拟对象对应的第一应用程序。

例如第一虚拟对象为“相机”这一虚拟图标，在响应用于点击第一虚拟对象的控制指令后，相机对应的拍照应用程序被启动，显示屏幕上显示出拍照的应用界面。

在本发明实施例中，控制指令可以是缩放指令，即对第一虚拟对象进行缩放以便于用户查看，相应的响应控制指令时可以基于第一位置和第二位置确定缩放参数，并基于缩放参数，对第一虚拟对象执行缩放指令。

可以理解的是缩放指令包括缩小指令和放大指令，在第一位置和第二位置重合的确定结果下，需要基于第一位置和第二位置生成放大指令或缩小指令，其过程可以参阅图5所示，其中图5示出了上述图3所示信息处理方法中步骤106的流程图，可以包括以下步骤：

1061：在得到第一位置和第二位置重合的确定结果后，通过第二传感器获得用户的眼睛的第二运动参数。

1062：基于第二运动参数确定用户的眼睛的视点位于显示屏幕的第三位置。

其中第二运动参数用于表示用户的眼睛在第一位置和第二位置重合后运动时的运动轨迹，其可以指示出眼睛在第一位置和第二位置重合后运动时眼睛的视点在显示屏幕上的位置，因此基于第二运动参数可以确定出用户的眼睛的视点位于显示屏幕的第三位置。

在本发明实施例中第三位置指示出在第一位置和第二位置重合后，眼睛的视点在显示屏幕上的第二位置发生变化，其位置变化表示用户希望对第一虚拟对象进行放大或者缩小，因此在本发明实施例可以基于第三位置来确定放大指令或者缩小指令。

1063：基于第三位置和基准点，确定眼睛的视点与基准点的位置关系。在本发明实施例中，基准点为第一位置和第二位置的重合点，将基准点和第三位置相比较，可以确定出眼睛的视点与基准点的位置关系。

其中位置关系可以是以基准点为坐标中心点所构建的二维坐标系下，眼睛的视点与基准点的位置关系，从该二维坐标系下可以确定眼睛的视点位于二维坐标系下的哪个区域，进而得到眼睛的视点位于基准点的哪个方向，以两者的方向关系为位置关系。

1064：当眼睛的视点与基准点的位置关系满足坐标系正向关系时，产生放大指令。

1065：当眼睛的视点与基准点的位置关系满足坐标负向关系时，产生缩小指令。

其中坐标系为上述以基准点为坐标中心点所构建的二维坐标系。当眼睛的视点位于不同区域时，其与基准点的位置关系对应坐标系下的不同关系，基于眼睛的视点与基准点的位置关系所满足的坐标系关系则可以产生对应的指令。例如当眼睛的视点与基准点的位置关系满足坐标系正向关系时，产生放大指令；当眼睛的视点与基准点的位置关系满足坐标负向关系时，产生缩小指令。

其中，坐标系正向关系和坐标系负向关系可以以眼睛的视点运动轨迹来确定，如眼睛的视点纵向运动时，坐标系正向关系可以是指眼睛的视点位于二维坐标系的第一象限和第二象限，坐标系负向关系可以是指眼睛的视点位于二维坐标系的第三象限和第四象限；眼睛的视点横向运动时，坐标系正向关系可以是指眼睛的视点位于二维坐标系的第一象限和第四象限，坐标系负向关系可以是指眼睛的视点位于二维坐标系的第二象限和第三象限，当然坐标系正向关系和坐标系负向关系也可以采用其他方式限定，对此本发明实施例并不加以限定。

此外上述缩放参数用于指示响应缩放指令时对第一虚拟对象进行缩放的参考信息，其中缩放参数可以包括基准点和缩放方向，缩放基准点用于指示以哪个点为基准对第一虚拟对象进行缩放，缩放方向用于指示以哪个方向为准对第一虚拟对象进行缩放，如在垂直方向上对第一虚拟对象进行缩放。

在本发明实施例中基准点和缩放方向可以预先设定，当然其也可以基于第一位置和第二位置确定缩放参数，例如：确定第一位置和第二位置的重合点为缩放指令的基准点；基于第三位置和基准点，确定眼睛的视点相对于基准点的运动方向，运动方向用于指示第一虚拟对象以基准点为准在执行缩放指令时的运动趋势，即运动方向为缩放指令的缩放方向，在所确定的运动方向上对第一虚拟对象执行缩放指令，以使位于运动方向上的第一虚拟对象的内容被放大或者缩小。

请参阅图6，其示出了本发明实施例提供的信息处理方法的第三种流程图，在图1基础上，还可以包括以下步骤：

110：通过第一传感器获得当前时刻位于电子设备前的用户的第二数字图像。其中第二数字图像与显示屏幕上呈现的用户对应的虚像匹配一致，两者都是用户位于电子设备前时按照一定比例得到的姿势图像。

111：通过第二数字图像确定出操作体位于显示屏幕的第四位置。第四位置是操作体在显示屏幕上形成的某一位置，其确定过程与第一位置的确定过程相同，对此本发明实施例不再阐述。

112：当第四位置指示操作体离开第一位置时，终止控制指令。在本发明实施例中，当第四位置指示操作体离开第一位置时，表明用户终止通过操作体和眼睛的结合操作来控制电子设备，此时电子设备则会终止控制指令，并且控制第二传感器终止获取用户的眼睛的第一运动参数，以降低第二传感器运行时对电子设备的损耗。

其中判断第四位置指示操作体离开第一位置的可行方式是：通过判断第四位置和第一位置是否重合，当第四位置和第一位置重合时，表明操作体未离开第一位置；当第四位置和第一位置未重合时，表明操作体离开第一位置。

由于用户在长时间保持某一姿势时会使得操作体发生细小偏移，所以本发明实施例中第四位置和第一位置重合可以是：第四位置和第一位置部分重合，以排除用户自身原因导致的误操作。

与上述方法实施例相对应，本发明实施例还提供一种电子设备，其结构示意图可以参阅图7所示，包括：第一获取单元11、第一位置确定单元12、第二获取单元13、第二位置确定单元14、确定单元15、指令产生单元16和响应单元17。

第一获取单元11，用于通过电子设备的第一传感器获得位于电子设备前的用户的第一数字图像，其中，当用户位于电子设备前时通过电子设备的显示屏幕的镜面效果物理成像方式呈现出与用户对应的虚像，第一数字图像与虚像匹配一致。也就是说电子设备的显示屏幕好比是一面镜子，当用户位于电子设备前通过显示屏幕的物理成像原理可以在显示屏幕上呈现出与用户对应的虚像，以在显示屏幕上呈现出用户位于电子设备前的姿势图像。

并且通过第一传感器所获得的第一数字图像也是用户位于电子设备前时的姿势图像，因此本发明实施例中第一数字图像与虚像一致，两者都是用户位于电子设备前时的姿势图像。其中所谓第一数字图像与虚像一致可以是两者是按照一定比例得到的用户位于电子设备前时的姿势图像。

比如当电子设备的显示屏幕的长度大于等于用户的身长时，在显示屏幕上呈现的虚像可以是用户相同的姿势图像，即得到的虚像是与实物一比一的姿势图像，第一数字图像则可以是将用户的姿势图像按照一定比例缩小后的图像；当电子设备的显示屏幕的长度小于用户的身长时，在显示屏幕上呈现的虚像也是用户的姿势图像按照一定比例缩小后的图像。

第一位置确定单元12，用于通过第一数字图像确定出用户的操作体以及操作体位于显示屏幕的第一位置。在本发明实施例中第一数字图像是位于电子设备前的用户的图像，因此第一位置确定单元12通过图像识别技术可以确定出用户的操作体，其中用户的操作体是用于对电子设备进行控制的用户身体的某一部分，比如用户的手。操作体位于显示屏幕的第一位置可以是操作体在显示屏幕上形成的某一位置，如图2所示，在图2中的点A则是操作体位于显示屏幕的第一位置。

在本发明实施例中以第一传感器采用深度摄像头为例，阐述利用深度摄像头确定操作体位于显示屏幕的第一位置的过程：首先第一位置确定单元12通过深度摄像头标定方法，得到用户的操作体在深度摄像头的空间坐标系下的空间位置，其中空间坐标系是以用户身体中心点为空间坐标系的圆点得到的X轴、Y轴和Z轴构建的坐标系；其次，在显示屏幕上对深度摄像头的空间坐标系进行位置标定，得到深度摄像头与显示屏幕的空间坐标关系；最后基于空间坐标关系将操作体在深度摄像头的空间坐标系下的空间位置进行转化，以获得操作体在显示屏幕的空间坐标系下的空间位置，从而得到操作体位于显示屏幕的第一位置。

第二获取单元13，用于通过电子设备的第二传感器获得用户的眼睛的第一运动参数。

第二位置确定单元14，用于基于第一运动参数确定用户的眼睛的视点位于显示屏幕的第二位置。

可以理解的是：第一运动参数用于表示眼睛运动时的运动轨迹，该运动轨迹可以指示出眼睛运动时眼睛的视点在显示屏幕上的位置，因此基于第一运动参数可以确定出用户的眼睛的视点位于显示屏幕的第二位置，同样如图2所示，第二位置是眼睛的视点在显示屏幕上形成的某个位置，在图2中第二位置与第一位置重合。

在本发明实施例中，第二传感器可以是眼动仪，其可以记录眼睛运动时的运动轨迹，将眼动仪所记录的运动轨迹作为第一运动参数。

确定单元15，用于确定第一位置和第二位置是否重合。在本发明实施例中，基于用户的操作体和用户的眼睛对电子设备的控制是在操作体的第一位置和第二位置重合的情况下，因此在获得第一位置和第二位置后，确定第一位置和第二位置是否重合，以确定当前的用户行为是否为针对电子设备的控制所作出的操作行为。

其中第一位置和第二位置是否重合可以是：第一位置和第二位置的部分区域是否重合，当第一位置和第二位置重合时，表明眼睛的视点位于用户的操作体上，此时可以通过眼睛的视点和用户的操作体结合得到的操作行为来控制电子设备；当第一位置和第二位置未重合时，表明眼睛的视点和用户的操作体分别执行独立的动作，此时电子设备并未处于眼睛的视点和用户的操作体的结合控制下。

指令产生单元16，用于基于第一位置和第二位置重合的确定结果，产生一控制指令。

响应单元17，用于响应控制指令。

在本发明实施例中，第一位置和第二位置重合的示意图可以参阅图2所示，基于第一位置和第二位置重合的确定结果可以产生一用于控制电子设备的控制指令，并使得电子设备响应控制指令，这样通过眼睛的视点和用户的操作体结合得到的操作行为则可以控制电子设备。

可以理解的是：基于第一位置和第二位置重合的确定结果产生的控制指令是预先设定的一个控制指令，其可以是在第一位置和第二位置重合的情况下执行的点击指令，当然其也可以是在第一位置和第二位置重合的情况下执行的滑动指令，对此本发明实施例并不限定控制指令为何种形式的指令。

从上述技术方案可以看出，通过电子设备的第一传感器获得位于电子设备前的用户的第一数字图像，以确定出用户的操作体移机操作体位于显示屏幕的第一位置；通过电子设备的第二传感器获得用户的眼睛的第一运动参数以确定用户的眼睛的视点位于显示屏幕的第二位置；基于第一位置和第二位置重合的确定结果，产生一控制指令并响应，使得可以基于用户的操作体和眼睛的视点在显示屏幕上的位置来控制电子设备，这样就可以通过对用户自身在环境中的移动来控制电子设备。

请参阅图8，其示出了本发明实施例提供的电子设备的第二种结构示意图，在图7基础上还可以包括：显示单元18和对象确定单元19。其中显示单元18，用于通过显示屏幕显示多个虚拟对象，如图4所示。并且在电子设备执行不同的操作后显示屏幕上显示的虚拟对象也可以不同，例如电子设备在开启后，显示屏幕上显示的是多个虚拟图标；而当电子设备进入图库这一虚拟图标后，显示屏幕上显示的则是图像列表。

对象确定单元，用于基于第一位置从多个虚拟对象中确定第一虚拟对象，在本发明实施例中，显示屏幕包括第一区域和第二区域，其中第一虚拟对象显示在显示屏幕的第一区域，并且第一位置也属于第一区域，因此基于第一位置可以从多个虚拟对象中确定出第一虚拟对象，即基于第一位置可以选中某一虚拟对象，进一步由控制指令来控制第一虚拟对象。例如在确定第一虚拟对象之后，可以通过控制指令来移动第一虚拟对象。

当然在基于第一位置和第二位置重合的确定结果，可以产生用于点击第一虚拟对象的控制指令，相应的在响应控制指令的过程可以是：启动第一虚拟对象所对应的第一应用程序并显示在显示屏幕上，这样通过用户的操作体和眼睛可以直接启动第一虚拟对象对应的第一应用程序。

例如第一虚拟对象为“相机”这一虚拟图标，在响应用于点击第一虚拟对象的控制指令后，相机对应的拍照应用程序被启动，显示屏幕上显示出拍照的应用界面。

在本发明实施例中，控制指令可以是缩放指令，即对第一虚拟对象进行缩放以便于用户查看，相应的响应单元可以基于第一位置和第二位置确定缩放参数，并基于缩放参数，对第一虚拟对象执行缩放指令。

可以理解的是缩放指令包括缩小指令和放大指令，指令产生单元16在第一位置和第二位置重合的确定结果下，需要基于第一位置和第二位置生成放大指令或缩小指令，其对应的结构示意图如图9所示，可以包括：参数获取子单元161、位置确定子单元162、关系确定子单元163、第一指令产生子单元164和第二指令产生子单元165。

参数获取子单元161，用于在得到第一位置和第二位置重合的确定结果后，通过第二传感器获得用户的眼睛的第二运动参数。

位置确定子单元162，用于基于第二运动参数确定用户的眼睛的视点位于显示屏幕的第三位置。其中第二运动参数用于表示用户的眼睛在第一位置和第二位置重合后运动时的运动轨迹，其可以指示出眼睛在第一位置和第二位置重合后运动时眼睛的视点在显示屏幕上的位置，因此基于第二运动参数可以确定出用户的眼睛的视点位于显示屏幕的第三位置。

在本发明实施例中第三位置指示出在第一位置和第二位置重合后，眼睛的视点在显示屏幕上的第二位置发生变化，其位置变化表示用户希望对第一虚拟对象进行放大或者缩小，因此在本发明实施例可以基于第三位置来确定放大指令或者缩小指令。

关系确定子单元163，用于基于第三位置和基准点，确定眼睛的视点与基准点的位置关系。在本发明实施例中，基准点为第一位置和第二位置的重合点，将基准点和第三位置相比较，可以确定出眼睛的视点与基准点的位置关系。

其中位置关系可以是以基准点为坐标中心点所构建的二维坐标系下，眼睛的视点与基准点的位置关系，从该二维坐标系下可以确定眼睛的视点位于二维坐标系下的哪个区域，进而得到眼睛的视点位于基准点的哪个方向，以两者的方向关系为位置关系。

第一指令产生子单元164，用于当眼睛的视点与基准点的位置关系满足坐标系正向关系时，产生放大指令，坐标系为以基准点为坐标中心点构建的二维坐标系。

第二指令产生子单元165，用于当眼睛的视点与基准点的位置关系满足坐标负向关系时，产生缩小指令。

其中坐标系为上述以基准点为坐标中心点所构建的二维坐标系。当眼睛的视点位于不同区域时，其与基准点的位置关系对应坐标系下的不同关系，基于眼睛的视点与基准点的位置关系所满足的坐标系关系则可以产生对应的指令。例如当眼睛的视点与基准点的位置关系满足坐标系正向关系时，产生放大指令；当眼睛的视点与基准点的位置关系满足坐标负向关系时，产生缩小指令。

其中，坐标系正向关系和坐标系负向关系可以以眼睛的视点运动轨迹来确定，如眼睛的视点纵向运动时，坐标系正向关系可以是指眼睛的视点位于二维坐标系的第一象限和第二象限，坐标系负向关系可以是指眼睛的视点位于二维坐标系的第三象限和第四象限；眼睛的视点横向运动时，坐标系正向关系可以是指眼睛的视点位于二维坐标系的第一象限和第四象限，坐标系负向关系可以是指眼睛的视点位于二维坐标系的第二象限和第三象限，当然坐标系正向关系和坐标系负向关系也可以采用其他方式限定，对此本发明实施例并不加以限定。

此外上述缩放参数用于指示响应缩放指令时对第一虚拟对象进行缩放的参考信息，其中缩放参数可以包括基准点和缩放方向，缩放基准点用于指示以哪个点为基准对第一虚拟对象进行缩放，缩放方向用于指示以哪个方向为准对第一虚拟对象进行缩放，如在垂直方向上对第一虚拟对象进行缩放。

在本发明实施例中基准点和缩放方向可以预先设定，当然其也可以基于第一位置和第二位置确定缩放参数，相对应的结构示意图如图10所示，响应单元17包括：第一确定子单元171、第二确定子单元172和响应子单元173。

第一确定子单元171，用于确定第一位置和第二位置的重合点为缩放指令的基准点。

第二确定子单元172，用于基于第三位置和基准点，确定眼睛的视点相对于基准点的运动方向，运动方向用于指示第一虚拟对象以基准点为准在执行缩放指令时的运动趋势，即运动方向为缩放指令的缩放方向，在所确定的运动方向上对第一虚拟对象执行缩放指令，以使位于运动方向上的第一虚拟对象的内容被放大或者缩小。

响应子单元173，用于基于基准点和运动方向，对第一虚拟对象执行缩放指令。

此外在上述设备实施例中，电子设备还需要确定何时终止控制指令，基于此在上述图7基础上电子设备还包括：第三获取单元、第四位置获取单元和处理单元。

第三获取单元，用于通过第一传感器获得当前时刻位于电子设备前的用户的第二数字图像。其中第二数字图像与显示屏幕上呈现的用户对应的虚像匹配一致，两者都是用户位于电子设备前时按照一定比例得到的姿势图像。

第四位置获取单元，用于通过第二数字图像确定出操作体位于显示屏幕的第四位置。第四位置是操作体在显示屏幕上形成的某一位置，其确定过程与第一位置的确定过程相同，对此本发明实施例不再阐述。

处理单元，用于当第四位置指示操作体离开第一位置时，终止控制指令。在本发明实施例中，当第四位置指示操作体离开第一位置时，表明用户终止通过操作体和眼睛的结合操作来控制电子设备，此时电子设备则会终止控制指令，并且控制第二传感器终止获取用户的眼睛的第一运动参数，以降低第二传感器运行时对电子设备的损耗。

其中判断第四位置指示操作体离开第一位置的可行方式是：通过判断第四位置和第一位置是否重合，当第四位置和第一位置重合时，表明操作体未离开第一位置；当第四位置和第一位置未重合时，表明操作体离开第一位置。

由于用户在长时间保持某一姿势时会使得操作体发生细小偏移，所以本发明实施例中第四位置和第一位置重合可以是：第四位置和第一位置部分重合，以排除用户自身原因导致的误操作。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种信息处理方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种信息处理方法，其特征在于，所述方法包括：

通过电子设备的第一传感器获得位于所述电子设备前的用户的第一数字图像，其中，当所述用户位于所述电子设备前时通过所述电子设备的显示屏幕的镜面效果物理成像方式呈现出与所述用户对应的虚像；所述第一数字图像与所述虚像匹配一致；

通过所述第一数字图像确定出所述用户的操作体以及所述操作体位于所述显示屏幕的第一位置；

通过所述电子设备的第二传感器获得所述用户的眼睛的第一运动参数；

基于所述第一运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第二位置；

确定所述第一位置和所述第二位置是否重合；

基于所述第一位置和第二位置重合的确定结果，产生一控制指令；

响应所述控制指令。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述显示屏幕显示多个虚拟对象；

基于所述第一位置从多个虚拟对象中确定所述第一虚拟对象，其中，所述第一虚拟对象显示在所述显示屏幕的第一区域，所述第一位置属于所述第一区域，且所述控制指令用于指示控制所述第一虚拟对象。

3.根据权利要求2所述的方法，其特征在于，所述响应所述控制指令，包括：启动所述第一虚拟对象所对应的第一应用程序并显示在所述显示屏幕上。

4.根据权利要求2所述的方法，其特征在于，所述控制指令为缩放指令，所述响应所述控制指令，包括：基于所述第一位置和所述第二位置确定缩放参数；

基于所述缩放参数，对所述第一虚拟对象执行缩放指令。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一位置和第二位置重合的确定结果，产生一控制指令，包括：

在得到所述第一位置和第二位置重合的确定结果后，通过所述第二传感器获得所述用户的眼睛的第二运动参数；

基于所述第二运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第三位置；

基于所述第三位置和基准点，确定所述眼睛的视点与所述基准点的位置关系，其中所述基准点为所述第一位置和所述第二位置的重合点；

当所述眼睛的视点与所述基准点的位置关系满足坐标系正向关系时，产生放大指令，所述坐标系为以所述基准点为坐标中心点构建的二维坐标系；

当所述眼睛的视点与所述基准点的位置关系满足坐标负向关系时，产生缩小指令。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一位置和所述第二位置确定缩放参数，包括：

确定所述第一位置和所述第二位置的重合点为所述缩放指令的基准点；

基于所述第三位置和所述基准点，确定所述眼睛的视点相对于所述基准点的运动方向，所述运动方向用于指示所述第一虚拟对象以所述基准点为准在执行所述缩放指令时的运动趋势。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述第一传感器获得当前时刻位于所述电子设备前的用户的第二数字图像；

通过所述第二数字图像确定出所述操作体位于所述显示屏幕的第四位置；

当所述第四位置指示所述操作体离开所述第一位置时，终止所述控制指令。

8.一种电子设备，其特征在于，所述电子设备包括：

第一获取单元，用于通过电子设备的第一传感器获得位于所述电子设备前的用户的第一数字图像，其中，当所述用户位于所述电子设备前时通过所述电子设备的显示屏幕的镜面效果物理成像方式呈现出与所述用户对应的虚像；所述第一数字图像与所述虚像匹配一致；

第一位置确定单元，用于通过所述第一数字图像确定出所述用户的操作体以及所述操作体位于所述显示屏幕的第一位置；

第二获取单元，用于通过所述电子设备的第二传感器获得所述用户的眼睛的第一运动参数；

第二位置确定单元，用于基于所述第一运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第二位置；

确定单元，用于确定所述第一位置和所述第二位置是否重合；

指令产生单元，用于基于所述第一位置和第二位置重合的确定结果，产生一控制指令；

响应单元，用于响应所述控制指令。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括：

显示单元，用于通过所述显示屏幕显示多个虚拟对象；

对象确定单元，用于基于所述第一位置从多个虚拟对象中确定所述第一虚拟对象，其中，所述第一虚拟对象显示在所述显示屏幕的第一区域，所述第一位置属于所述第一区域，且所述控制指令用于指示控制所述第一虚拟对象。

10.根据权利要求9所述的电子设备，其特征在于，所述响应单元具体用于：启动所述第一虚拟对象所对应的第一应用程序并显示在所述显示屏幕上。

11.根据权利要求9所述的电子设备，其特征在于，所述控制指令为缩放指令，所述响应单元具体用于：基于所述第一位置和所述第二位置确定缩放参数，并基于所述缩放参数，对所述第一虚拟对象执行缩放指令。

12.根据权利要求11所述的电子设备，其特征在于，所述指令产生单元包括：

参数获取子单元，用于在得到所述第一位置和第二位置重合的确定结果后，通过所述第二传感器获得所述用户的眼睛的第二运动参数；

位置确定子单元，用于基于所述第二运动参数确定所述用户的眼睛的视点位于所述显示屏幕的第三位置；

关系确定子单元，用于基于所述第三位置和基准点，确定所述眼睛的视点与所述基准点的位置关系，其中所述基准点为所述第一位置和所述第二位置的重合点；

第一指令产生子单元，用于当所述眼睛的视点与所述基准点的位置关系满足坐标系正向关系时，产生放大指令，所述坐标系为以所述基准点为坐标中心点构建的二维坐标系；

第二指令产生子单元，用于当所述眼睛的视点与所述基准点的位置关系满足坐标负向关系时，产生缩小指令。

13.根据权利要求12所述的电子设备，其特征在于，所述响应单元包括：

第一确定子单元，用于确定所述第一位置和所述第二位置的重合点为所述缩放指令的基准点；

第二确定子单元，用于基于所述第三位置和所述基准点，确定所述眼睛的视点相对于所述基准点的运动方向，所述运动方向用于指示所述第一虚拟对象以所述基准点为准在执行所述缩放指令时的运动趋势；

响应子单元，用于基于所述基准点和所述运动方向，对所述第一虚拟对象执行缩放指令。

14.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括：

第三获取单元，用于通过所述第一传感器获得当前时刻位于所述电子设备前的用户的第二数字图像；

第四位置获取单元，用于通过所述第二数字图像确定出所述操作体位于所述显示屏幕的第四位置；

处理单元，用于当所述第四位置指示所述操作体离开所述第一位置时，终止所述控制指令。