CN110286754A - 基于眼球追踪的投射方法及相关设备 - Google Patents

基于眼球追踪的投射方法及相关设备 Download PDF

Info

Publication number
CN110286754A
CN110286754A CN201910502918.9A CN201910502918A CN110286754A CN 110286754 A CN110286754 A CN 110286754A CN 201910502918 A CN201910502918 A CN 201910502918A CN 110286754 A CN110286754 A CN 110286754A
Authority
CN
China
Prior art keywords
target
target object
eyeball
electronic equipment
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502918.9A
Other languages
English (en)
Other versions
CN110286754B (zh
Inventor
王文东
陈岩
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910502918.9A priority Critical patent/CN110286754B/zh
Publication of CN110286754A publication Critical patent/CN110286754A/zh
Application granted granted Critical
Publication of CN110286754B publication Critical patent/CN110286754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请公开了一种基于眼球追踪的投射方法及相关设备，应用于包括触控屏、摄像模组和增强现实模组的电子设备，方法包括：通过摄像模组获取眼球的运动信息；根据运动信息确定眼球注视的目标物体，目标物体在触控屏上；获取目标物体的投射信息，以及根据投射信息确定目标物体在三维空间中的目标投射位置；通过增强现实模组将目标物体投射在目标投射位置上。采用本申请实施例可实现通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。

Description

基于眼球追踪的投射方法及相关设备
技术领域
本申请涉及电子技术领域，尤其涉及一种基于眼球追踪的投射方法及相关设备。
背景技术
增强现实技术(Augmented Reality，AR)，是一种实时地计算摄像机影像的位置及角度并加上相应图像的技术，这种技术的目标是在触控屏上把虚拟世界套在现实世界并进行互动。目前，电子设备通过增强现实模组将虚拟物体显示在触控屏上，比如移动终端通过增强现实模组拍摄卡片得到在触控屏上显示的卡片和虚拟卡通人物，无法通过增强现实模组将虚拟物体投射到三维空间中。
发明内容
本申请实施例提供一种基于眼球追踪的投射方法及相关设备，用于通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。
第一方面，本申请实施例提供一种基于眼球追踪的投射方法，应用于包括触控屏、摄像模组和增强现实模组的电子设备，所述方法包括：
通过所述摄像模组获取眼球的运动信息；
根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；
获取所述目标物体的投射信息，以及根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；
通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
第二方面，本申请实施例提供一种基于眼球追踪的投射装置，应用于包括触控屏、摄像模组和增强现实模组的电子设备，所述装置包括：
第一获取单元，用于通过所述摄像模组获取眼球的运动信息；
第一确定单元，用于根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；
第二获取单元，用于获取所述目标物体的投射信息；
第二确定单元，用于根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；
投射单元，用于通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
第三方面，本申请实施例提供一种电子设备，上述电子设备包括触控屏、摄像模组和增强现实模组，上述电子设备还包括处理器、存储器、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，上述计算机可读存储介质存储用于电子数据交换的计算机程序，上述计算机程序使得计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，电子设备根据摄像模组获取到的眼球的运动信息确定眼球注视的目标物体，目标物体在触控屏上，根据获取到的目标物体的投射信息确定目标物体在三维空间中的目标投射位置，通过增强现实模组将目标物体投射在目标投射位置上。相较于通过增强现实模组将虚拟物体显示在触控屏上，本申请实施例实现了通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2A是本申请实施例提供的一种基于眼球追踪的投射方法的流程示意图；
图2B是本申请实施例提供的一种基于眼球追踪的投射示意图；
图3是本申请实施例提供的另一种基于眼球追踪的投射方法的流程示意图；
图4是本申请实施例提供的一种基于眼球追踪的投射装置的功能单元组成框图；
图5是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
请参阅图1，图1是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括处理器、存储器、信号处理器、通信接口、触控屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像模组、增强现实模组、发射器和传感器等等。
其中，处理器可以是AP处理器，也可以是其他处理器。
其中，存储器、信号处理器、触控屏、扬声器、麦克风、RAM、摄像模组、发射器和传感器与处理器连接，通信接口与信号处理器连接。
其中，触控屏包括显示屏和触控面板(TouchPanel，TP)。
其中，传感器包括屏下指纹传感器、红外传感器、陀螺仪等。
其中，摄像模组包括前置摄像头和后置摄像头，摄像模组用于追踪眼球。
其中，增强现实模组用于将眼球注视的物体投射到三维空间中。
其中，发射器用于发射光信号。
在本申请实施例中，处理器，用于通过所述摄像模组获取眼球的运动信息；根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；获取所述目标物体的投射信息，以及根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
可以看出，在本申请实施例中，电子设备根据摄像模组获取到的眼球的运动信息确定眼球注视的目标物体，目标物体在触控屏上，根据获取到的目标物体的投射信息确定目标物体在三维空间中的目标投射位置，通过增强现实模组将目标物体投射在目标投射位置上。相较于通过增强现实模组将虚拟物体显示在触控屏上，本申请实施例实现了通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。
在一个可能的示例中，在根据所述运动信息确定所述眼球注视的目标物体方面，处理器具体用于：
解析所述运动信息，得到在所述触控屏上的N个注视点和N个注视时长，所述N个注视时长与所述N个注视点一一对应，所述N为大于或等于1的整数；
从所述N个注视点中按照注视时长从大到小的顺序选取出M个注视点，所述M个注视点中的每个对应的注视时长均大于或等于设定时长，所述M为大于或等于1且小于或等于所述N的整数；
将所述M个注视点对应的M个物体确定为所述目标物体，所述M个物体与所述M个注视点一一对应。
在一个可能的示例中，在获取所述目标物体的投射信息方面，处理器具体用于:
获取所述眼球的中点与所述目标物体的连线和所述中点与所述触控屏的垂线之间的夹角，以及将所述夹角确定为目标角度；
获取所述垂线与所述触控屏所处平面的交点，以及将所述交点确定为目标相对位置；
获取所述中点与所述触控屏的最短距离，以及将所述最短距离确定为第一距离；
将所述目标角度、所述目标相对位置和所述第一距离确定为所述目标物体的所述投射信息。
在一个可能的示例中，在根据所述投射信息确定所述目标物体在三维空间中的目标投射位置方面，处理器具体用于：
根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离；
获取所述目标相对位置在所述增强现实模组的三维坐标系中的目标坐标；
根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值；
根据距离与放大倍数的映射关系确定所述第一距离对应的目标放大倍数，以及将所述第二距离与所述目标放大倍数的乘积确定为所述目标投射位置在所述三维坐标系中的z值；
将所述x值、所述y值和所述z值确定为所述目标物体在三维空间中的所述目标投射位置。
在一个可能的示例中，在通过所述增强现实模组将所述目标物体投射在所述目标投射位置上方面，处理器具体用于：
对所述目标物体进行图像增强处理，得到处理后的目标物体；
获取所述目标物体的第一大小，以及将所述第一大小与所述目标放大倍数的乘积确定为第二大小；
通过所述增强现实模组将所述处理后的目标物体以所述第二大小投射在所述目标投射位置上。
在一个可能的示例中，所述通过所述摄像模组获取眼球的运动信息之前，处理器还用于：
当检测到满足预设条件时，触发所述通过所述摄像模组获取眼球的运动信息的操作；
其中，所述预设条件包括以下至少一种：所述眼球与所述摄像模组的距离小于或等于设定值、所述电子设备处于手持状态、所述电子设备当前处于工作模式。
在一个可能的示例中，所述通过所述摄像模组获取眼球的运动信息之前，处理器还用于：
获取所述电子设备当前运行的目标应用；
判断所述目标应用是否属于设定应用集合，所述设定应用集合包括P个权限应用，所述P为大于1的整数；
若所述目标应用为所述P个权限应用中的第i个权限应用，则触发所述通过所述摄像模组获取眼球的运动信息的操作，所述第i个权限应用为所述P个权限应用中的其中一个。
需要说明的是，各模块所执行的步骤的具体实现过程可参见下述方法所述的具体实现过程，在此不再叙述。
请参阅图2A，图2A是本申请实施例提供的一种基于眼球追踪的投射方法的流程示意图，应用于包括触控屏、摄像模组和增强现实模组的电子设备，该基于眼球追踪的投射方法包括步骤201-204，具体如下：
201：电子设备通过所述摄像模组获取眼球的运动信息。
在一个可能的示例中，电子设备通过所述摄像模组获取眼球的运动信息，包括：
电子设备控制所述摄像模组发射红外光信号照射所述眼球；
电子设备通过所述摄像模组获取所述眼球的Q个眼球图像，所述Q为大于1的整数；
电子设备确定每个所述眼球图像中的所述眼球的瞳孔的第一位置和普尔钦斑的第二位置，所述普尔钦斑为所述红外光信号照射在所述眼球的角膜上反射形成的光斑；
电子设备根据每个所述眼球图像中的所述第一位置和所述第二位置确定所述眼球注视的所述N个注视点，所述N个注视点中的每个均在所述触控屏上；
电子设备确定所述N个注视点中的任一注视点A对应的第一眼球图像和第二眼球图像，所述第一眼球图像为所述Q个眼球图像中首次出现所述注视点A的眼球图像，所述第二眼球图像为所述Q个眼球图像中末次出现所述注视点A的眼球图像；
电子设备将所述第二眼球图像的拍摄时刻与所述第一眼球图像的拍摄时刻的差值确定为所述注视点A对应的注视时长。
具体地，电子设备根据每个所述眼球图像中的所述第一位置和所述第二位置确定所述眼球注视的所述N个注视点的实施方式可以为：
电子设备根据第一公式和第二公式确定所述眼球注视的所述N个注视点中每个的坐标，所述第一公式和所述第二公式分别为：
xn＝a+a1×δxn+a2×δxn 2+a3×δxn 3+a4×δxn 4+a5×δxn 5；
yn＝b+b1×δyn+b2×δyn 2+b3×δyn 3+b4×δyn 4+b5×δyn 5；
其中，所述xn和yn分别为第n个注视点的横坐标和纵坐标，所述δxn和δyn分别为第n个普尔钦斑的横坐标和第n个瞳孔的横坐标之差的绝对值、第n个普尔钦斑的纵坐标和第n个瞳孔的纵坐标之差的绝对值，所述a～a5、b～b5为经验参数，所述n为1至N中的任意一个；
电子设备根据所述N个注视点的坐标确定所述N个注视点。
其中，a～a5、b～b5可以基于多次试验确定，或者基于神经网络方法训练确定。
在一个可能的示例中，电子设备通过所述摄像模组获取眼球的运动信息之前，所述方法还包括：
当检测到满足预设条件时，电子设备触发所述通过所述摄像模组获取眼球的运动信息的操作；
其中，所述预设条件包括以下至少一种：所述眼球与所述摄像模组的距离小于或等于设定值、所述电子设备处于手持状态、所述电子设备当前处于工作模式。
可见，在本示例中，若眼球与摄像模组的距离大于设定值、电子设备未处于手持状态或电子设备当前处于休眠模式，则表示此时用户没有将眼球注视的物体投射到三维空间中的需求，因此不需要通过摄像模组获取眼球的运动信息。只有当眼球与所述摄像模组的距离小于或等于设定值、电子设备处于手持状态或电子设备当前处于工作模式时，电子设备才会触发通过摄像模组获取眼球的运动信息的操作，这样不仅满足了用户将眼球注视的物体投射到三维空间中的潜在需求，而且有助于降低电子设备的功耗。
在一个可能的示例中，电子设备通过所述摄像模组获取眼球的运动信息之前，所述方法还包括：
电子设备获取所述电子设备当前运行的目标应用；
电子设备判断所述目标应用是否属于设定应用集合，所述设定应用集合包括P个权限应用，所述P为大于1的整数；
若所述目标应用为所述P个权限应用中的第i个权限应用，则电子设备触发所述通过所述摄像模组获取眼球的运动信息的操作，所述第i个权限应用为所述P个权限应用中的其中一个。
其中，权限应用指的是具有通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中的功能的应用。
可见，在本示例中，只有当检测到电子设备当前运行的应用为具有通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中的功能的应用，电子设备才会通过摄像模组获取眼球的运动信息，这样有助于降低电子设备的功耗。
202：电子设备根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上。
在一个可能的示例中，电子设备根据所述运动信息确定所述眼球注视的目标物体，包括：
电子设备解析所述运动信息，得到在所述触控屏上的N个注视点和N个注视时长，所述N个注视时长与所述N个注视点一一对应，所述N为大于或等于1的整数；
电子设备从所述N个注视点中按照注视时长从大到小的顺序选取出M个注视点，所述M个注视点中的每个对应的注视时长均大于或等于设定时长，所述M为大于或等于1且小于或等于所述N的整数；
电子设备将所述M个注视点对应的M个物体确定为所述目标物体，所述M个物体与所述M个注视点一一对应。
203：电子设备获取所述目标物体的投射信息，以及根据所述投射信息确定所述目标物体在三维空间中的目标投射位置。
在一个可能的示例中，电子设备获取所述目标物体的投射信息，包括：
电子设备获取所述眼球的中点与所述目标物体的连线和所述中点与所述触控屏的垂线之间的夹角，以及将所述夹角确定为目标角度；
电子设备获取所述垂线与所述触控屏所处平面的交点，以及将所述交点确定为目标相对位置；
电子设备获取所述中点与所述触控屏的最短距离，以及将所述最短距离确定为第一距离；
电子设备将所述目标角度、所述目标相对位置和所述第一距离确定为所述目标物体的所述投射信息。
在一个可能的示例中，电子设备根据所述投射信息确定所述目标物体在三维空间中的目标投射位置，包括：
电子设备根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离；
电子设备获取所述目标相对位置在所述增强现实模组的三维坐标系中的目标坐标；
电子设备根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值；
电子设备根据距离与放大倍数的映射关系确定所述第一距离对应的目标放大倍数，以及将所述第二距离与所述目标放大倍数的乘积确定为所述目标投射位置在所述三维坐标系中的z值；
电子设备将所述x值、所述y值和所述z值确定为所述目标物体在三维空间中的所述目标投射位置。
具体地，电子设备根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离的实施方式可以为：
电子设备根据所述目标角度、所述第一距离和第三公式确定所述中点与所述目标物体的所述第二距离；
电子设备根据所述第一距离、所述第二距离和第四公式确定所述目标物体与所述目标相对位置的所述第三距离。
其中，所述第三公式为：
L2＝L1/cosα；
所述L2为所述中点与所述目标物体的所述第二距离，所述L1为所述第一距离，所述α为所述目标角度。
其中，所述第四公式为：
L3＝(L22-L12)1/2；
所述L3为所述目标物体与所述目标相对位置的所述第三距离，所述L2为所述中点与所述目标物体的所述第二距离，所述L1为所述第一距离。
具体地，电子设备根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值的实施方式可以为：
若所述目标相对位置与所述增强现实模组的距离大于所述目标物体与所述增强现实模组的距离，则电子设备将所述目标坐标包括的X轴的坐标值确定为所述目标投射位置在所述三维坐标系中的所述x值，以及将所述目标坐标包括的Y轴的坐标值与所述第三距离的差值确定为所述目标投射位置在所述三维坐标系中的所述y值；
若所述目标相对位置与所述增强现实模组的距离小于所述目标物体与所述增强现实模组的距离，则电子设备将所述目标坐标包括的X轴的坐标值确定为所述目标投射位置在所述三维坐标系中的所述x值，以及将所述目标坐标包括的Y轴的坐标值与所述第三距离的和确定为所述目标投射位置在所述三维坐标系中的所述y值。
其中，距离与放大倍数的映射关系预先存储于电子设备中，距离与方法倍数的映射关系如下表1所示：
表1
距离 放大倍数
L≤m1 B1
m1＜L≤m2 B2
m2＜L≤m3 B3
m3＜L≤m4 B4
L≥m4 B5
其中，距离与放大倍数成正比关系，B1＜B2＜B3＜B4＜B5。
204：电子设备通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
举例来说，如图2B所示，电子设备获取眼球C1的运动信息，根据眼球C1的运动信息确定眼球C1注视的目标物体C2，根据目标物体C2的投射信息确定目标物体C2在三维空间中的目标投射位置C3，通过增强显示模组将目标物体C2投射在目标投射位置C3上。
可以看出，在本申请实施例中，电子设备根据摄像模组获取到的眼球的运动信息确定眼球注视的目标物体，目标物体在触控屏上，根据获取到的目标物体的投射信息确定目标物体在三维空间中的目标投射位置，通过增强现实模组将目标物体投射在目标投射位置上。相较于通过增强现实模组将虚拟物体显示在触控屏上，本申请实施例实现了通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。
在一个可能的示例中，电子设备通过所述增强现实模组将所述目标物体投射在所述目标投射位置上，包括：
电子设备对所述目标物体进行图像增强处理，得到处理后的目标物体；
电子设备获取所述目标物体的第一大小，以及将所述第一大小与所述目标放大倍数的乘积确定为第二大小；
电子设备通过所述增强现实模组将所述处理后的目标物体以所述第二大小投射在所述目标投射位置上。
具体地，电子设备获取所述目标物体的第一大小的实施方式可以为:
电子设备根据边缘跟踪算法获取所述目标物体所占不规则区域；
电子设备根据不规则图像的面积算法确定所述不规则区域的目标面积；
电子设备将所述目标面积确定为所述目标物体的所述第一大小。
可见，在本申请实施例中，电子设备将图像增强处理后的目标物体放大目标放大倍数，通过增强现实模组将该目标物体投射在目标投射位置上，这样实现了根据眼球与触控屏的距离自动调整投射在三维空间中的目标物体的大小，提升了用户的观赏体验。
与上述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的另一种基于眼球追踪的投射方法的流程示意图，应用于包括触控屏、摄像模组和增强现实模组的电子设备，该基于眼球追踪的投射方法包括步骤301-311，具体如下：
301：当检测到满足预设条件时，电子设备通过所述摄像模组获取眼球的运动信息，所述预设条件包括以下至少一种：所述眼球与所述摄像模组的距离小于或等于设定值、所述电子设备处于手持状态、所述电子设备当前处于工作模式。
302：电子设备根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上。
303：电子设备获取所述眼球的中点与所述目标物体的连线和所述中点与所述触控屏的垂线之间的夹角，以及将所述夹角确定为目标角度。
304：电子设备获取所述垂线与所述触控屏所处平面的交点，以及将所述交点确定为目标相对位置。
305：电子设备获取所述中点与所述触控屏的最短距离，以及将所述最短距离确定为第一距离。
306：电子设备根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离。
307：电子设备获取所述目标相对位置在所述增强现实模组的三维坐标系中的目标坐标。
308：电子设备根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值。
309：电子设备根据距离与放大倍数的映射关系确定所述第一距离对应的目标放大倍数，以及将所述第二距离与所述目标放大倍数的乘积确定为所述目标投射位置在所述三维坐标系中的z值。
310：电子设备将所述x值、所述y值和所述z值确定为所述目标物体在三维空间中的所述目标投射位置。
311：电子设备通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
需要说明的是，图3所示的方法的各个步骤的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面为本申请装置实施例，本申请装置实施例用于执行本申请方法实施例所实现的方法。请参阅图4，图4是本申请实施例提供的一种基于眼球追踪的投射装置的功能单元组成框图，应用于包括触控屏、摄像模组和增强现实模组的电子设备，该基于眼球追踪的投射装置400包括：
第一获取单元401，用于通过所述摄像模组获取眼球的运动信息；
第一确定单元402，用于根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；
第二获取单元403，用于获取所述目标物体的投射信息；
第二确定单元404，用于根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；
投射单元405，用于通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
可以看出，在本申请实施例中，电子设备根据摄像模组获取到的眼球的运动信息确定眼球注视的目标物体，目标物体在触控屏上，根据获取到的目标物体的投射信息确定目标物体在三维空间中的目标投射位置，通过增强现实模组将目标物体投射在目标投射位置上。相较于通过增强现实模组将虚拟物体显示在触控屏上，本申请实施例实现了通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。
在一个可能的示例中，在根据所述运动信息确定所述眼球注视的目标物体方面，上述第一确定单元402具体用于：
解析所述运动信息，得到在所述触控屏上的N个注视点和N个注视时长，所述N个注视时长与所述N个注视点一一对应，所述N为大于或等于1的整数；
从所述N个注视点中按照注视时长从大到小的顺序选取出M个注视点，所述M个注视点中的每个对应的注视时长均大于或等于设定时长，所述M为大于或等于1且小于或等于所述N的整数；
将所述M个注视点对应的M个物体确定为所述目标物体，所述M个物体与所述M个注视点一一对应。
在一个可能的示例中，在获取所述目标物体的投射信息方面，上述第二获取单元403具体用于：
获取所述眼球的中点与所述目标物体的连线和所述中点与所述触控屏的垂线之间的夹角，以及将所述夹角确定为目标角度；
获取所述垂线与所述触控屏所处平面的交点，以及将所述交点确定为目标相对位置；
获取所述中点与所述触控屏的最短距离，以及将所述最短距离确定为第一距离；
将所述目标角度、所述目标相对位置和所述第一距离确定为所述目标物体的所述投射信息。
在一个可能的示例中，在根据所述投射信息确定所述目标物体在三维空间中的目标投射位置方面，上述第二确定单元404具体用于：
根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离；
获取所述目标相对位置在所述增强现实模组的三维坐标系中的目标坐标；
根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值；
根据距离与放大倍数的映射关系确定所述第一距离对应的目标放大倍数，以及将所述第二距离与所述目标放大倍数的乘积确定为所述目标投射位置在所述三维坐标系中的z值；
将所述x值、所述y值和所述z值确定为所述目标物体在三维空间中的所述目标投射位置。
在一个可能的示例中，在通过所述增强现实模组将所述目标物体投射在所述目标投射位置上方面，上述投射单元405具体用于：
对所述目标物体进行图像增强处理，得到处理后的目标物体；
获取所述目标物体的第一大小，以及将所述第一大小与所述目标放大倍数的乘积确定为第二大小；
通过所述增强现实模组将所述处理后的目标物体以所述第二大小投射在所述目标投射位置上。
在一个可能的示例中，所述通过所述摄像模组获取眼球的运动信息之前，上述基于眼球追踪的投射装置400还包括：
第一触发单元406，用于当检测到满足预设条件时，触发所述通过所述摄像模组获取眼球的运动信息的操作；
其中，所述预设条件包括以下至少一种：所述眼球与所述摄像模组的距离小于或等于设定值、所述电子设备处于手持状态、所述电子设备当前处于工作模式。
在一个可能的示例中，所述通过所述摄像模组获取眼球的运动信息之前，上述基于眼球追踪的投射装置400还包括：
第三获取单元407，用于获取所述电子设备当前运行的目标应用；
判断单元408，用于判断所述目标应用是否属于设定应用集合，所述设定应用集合包括P个权限应用，所述P为大于1的整数；
第二触发单元409，用于若所述判断单元408判断出所述目标应用为所述P个权限应用中的第i个权限应用，则触发所述通过所述摄像模组获取眼球的运动信息的操作，所述第i个权限应用为所述P个权限应用中的其中一个。
需要说明的是，第一获取单元401、第一确定单元402、第二获取单元403、第二确定单元404、投射单元405、第一触发单元406、第三获取单元407、判断单元408和第二触发单元409可通过处理器实现。
与上述图2A和图3所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备的结构示意图，该电子设备500包括触控屏、摄像模组和增强现实模组，该电子设备500还包括存储器、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
通过所述摄像模组获取眼球的运动信息；
根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；
获取所述目标物体的投射信息，以及根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；
通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
可以看出，在本申请实施例中，电子设备根据摄像模组获取到的眼球的运动信息确定眼球注视的目标物体，目标物体在触控屏上，根据获取到的目标物体的投射信息确定目标物体在三维空间中的目标投射位置，通过增强现实模组将目标物体投射在目标投射位置上。相较于通过增强现实模组将虚拟物体显示在触控屏上，本申请实施例实现了通过眼球追踪技术和增强现实技术将眼球注视的物体投射到三维空间中。
在一个可能的示例中，在根据所述运动信息确定所述眼球注视的目标物体方面，上述程序包括具体用于执行以下步骤的指令：
解析所述运动信息，得到在所述触控屏上的N个注视点和N个注视时长，所述N个注视时长与所述N个注视点一一对应，所述N为大于或等于1的整数；
从所述N个注视点中按照注视时长从大到小的顺序选取出M个注视点，所述M个注视点中的每个对应的注视时长均大于或等于设定时长，所述M为大于或等于1且小于或等于所述N的整数；
将所述M个注视点对应的M个物体确定为所述目标物体，所述M个物体与所述M个注视点一一对应。
在一个可能的示例中，在获取所述目标物体的投射信息方面，上述程序包括具体用于执行以下步骤的指令：
获取所述眼球的中点与所述目标物体的连线和所述中点与所述触控屏的垂线之间的夹角，以及将所述夹角确定为目标角度；
获取所述垂线与所述触控屏所处平面的交点，以及将所述交点确定为目标相对位置；
获取所述中点与所述触控屏的最短距离，以及将所述最短距离确定为第一距离；
将所述目标角度、所述目标相对位置和所述第一距离确定为所述目标物体的所述投射信息。
在一个可能的示例中，在根据所述投射信息确定所述目标物体在三维空间中的目标投射位置方面，上述程序包括具体用于执行以下步骤的指令：
根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离；
获取所述目标相对位置在所述增强现实模组的三维坐标系中的目标坐标；
根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值；
根据距离与放大倍数的映射关系确定所述第一距离对应的目标放大倍数，以及将所述第二距离与所述目标放大倍数的乘积确定为所述目标投射位置在所述三维坐标系中的z值；
将所述x值、所述y值和所述z值确定为所述目标物体在三维空间中的所述目标投射位置。
在一个可能的示例中，在通过所述增强现实模组将所述目标物体投射在所述目标投射位置上方面，上述程序包括具体用于执行以下步骤的指令：
对所述目标物体进行图像增强处理，得到处理后的目标物体；
获取所述目标物体的第一大小，以及将所述第一大小与所述目标放大倍数的乘积确定为第二大小；
通过所述增强现实模组将所述处理后的目标物体以所述第二大小投射在所述目标投射位置上。
在一个可能的示例中，所述通过所述摄像模组获取眼球的运动信息之前，上述程序还包括用于执行以下步骤的指令：
当检测到满足预设条件时，触发所述通过所述摄像模组获取眼球的运动信息的操作；
其中，所述预设条件包括以下至少一种：所述眼球与所述摄像模组的距离小于或等于设定值、所述电子设备处于手持状态、所述电子设备当前处于工作模式。
在一个可能的示例中，所述通过所述摄像模组获取眼球的运动信息之前，上述程序还包括用于执行以下步骤的指令：
获取所述电子设备当前运行的目标应用；
判断所述目标应用是否属于设定应用集合，所述设定应用集合包括P个权限应用，所述P为大于1的整数；
若所述目标应用为所述P个权限应用中的第i个权限应用，则触发所述通过所述摄像模组获取眼球的运动信息的操作，所述第i个权限应用为所述P个权限应用中的其中一个。
本申请实施例还提供一种计算机存储介质，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于眼球追踪的投射方法，其特征在于，应用于包括触控屏、摄像模组和增强现实模组的电子设备，所述方法包括：
通过所述摄像模组获取眼球的运动信息；
根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；
获取所述目标物体的投射信息，以及根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；
通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
2.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息确定所述眼球注视的目标物体，包括：
解析所述运动信息，得到在所述触控屏上的N个注视点和N个注视时长，所述N个注视时长与所述N个注视点一一对应，所述N为大于或等于1的整数；
从所述N个注视点中按照注视时长从大到小的顺序选取出M个注视点，所述M个注视点中的每个对应的注视时长均大于或等于设定时长，所述M为大于或等于1且小于或等于所述N的整数；
将所述M个注视点对应的M个物体确定为所述目标物体，所述M个物体与所述M个注视点一一对应。
3.根据权利要求2所述的方法，其特征在于，所述获取所述目标物体的投射信息，包括：
获取所述眼球的中点与所述目标物体的连线和所述中点与所述触控屏的垂线之间的夹角，以及将所述夹角确定为目标角度；
获取所述垂线与所述触控屏所处平面的交点，以及将所述交点确定为目标相对位置；
获取所述中点与所述触控屏的最短距离，以及将所述最短距离确定为第一距离；
将所述目标角度、所述目标相对位置和所述第一距离确定为所述目标物体的所述投射信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述投射信息确定所述目标物体在三维空间中的目标投射位置，包括：
根据所述目标角度和所述第一距离确定所述中点与所述目标物体的第二距离和所述目标物体与所述目标相对位置的第三距离；
获取所述目标相对位置在所述增强现实模组的三维坐标系中的目标坐标；
根据所述目标坐标和所述第三距离确定所述目标投射位置在所述三维坐标系中的x值和y值；
根据距离与放大倍数的映射关系确定所述第一距离对应的目标放大倍数，以及将所述第二距离与所述目标放大倍数的乘积确定为所述目标投射位置在所述三维坐标系中的z值；
将所述x值、所述y值和所述z值确定为所述目标物体在三维空间中的所述目标投射位置。
5.根据权利要求4所述的方法，其特征在于，所述通过所述增强现实模组将所述目标物体投射在所述目标投射位置上，包括：
对所述目标物体进行图像增强处理，得到处理后的目标物体；
获取所述目标物体的第一大小，以及将所述第一大小与所述目标放大倍数的乘积确定为第二大小；
通过所述增强现实模组将所述处理后的目标物体以所述第二大小投射在所述目标投射位置上。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过所述摄像模组获取眼球的运动信息之前，所述方法还包括：
当检测到满足预设条件时，触发所述通过所述摄像模组获取眼球的运动信息的操作；
其中，所述预设条件包括以下至少一种：所述眼球与所述摄像模组的距离小于或等于设定值、所述电子设备处于手持状态、所述电子设备当前处于工作模式。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述通过所述摄像模组获取眼球的运动信息之前，所述方法还包括：
获取所述电子设备当前运行的目标应用；
判断所述目标应用是否属于设定应用集合，所述设定应用集合包括P个权限应用，所述P为大于1的整数；
若所述目标应用为所述P个权限应用中的第i个权限应用，则触发所述通过所述摄像模组获取眼球的运动信息的操作，所述第i个权限应用为所述P个权限应用中的其中一个。
8.一种基于眼球追踪的投射装置，其特征在于，应用于包括触控屏、摄像模组和增强现实模组的电子设备，所述装置包括：
第一获取单元，用于通过所述摄像模组获取眼球的运动信息；
第一确定单元，用于根据所述运动信息确定所述眼球注视的目标物体，所述目标物体在所述触控屏上；
第二获取单元，用于获取所述目标物体的投射信息；
第二确定单元，用于根据所述投射信息确定所述目标物体在三维空间中的目标投射位置；
投射单元，用于通过所述增强现实模组将所述目标物体投射在所述目标投射位置上。
9.一种电子设备，其特征在于，所述电子设备包括触控屏、摄像模组和增强现实模组，所述电子设备还包括存储器、通信接口以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
CN201910502918.9A 2019-06-11 2019-06-11 基于眼球追踪的投射方法及相关设备 Active CN110286754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502918.9A CN110286754B (zh) 2019-06-11 2019-06-11 基于眼球追踪的投射方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502918.9A CN110286754B (zh) 2019-06-11 2019-06-11 基于眼球追踪的投射方法及相关设备

Publications (2)

Publication Number Publication Date
CN110286754A true CN110286754A (zh) 2019-09-27
CN110286754B CN110286754B (zh) 2022-06-24

Family

ID=68004599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502918.9A Active CN110286754B (zh) 2019-06-11 2019-06-11 基于眼球追踪的投射方法及相关设备

Country Status (1)

Country Link
CN (1) CN110286754B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706268A (zh) * 2019-11-14 2020-01-17 维沃移动通信有限公司 一种距离调整方法及电子设备
CN110908517A (zh) * 2019-11-29 2020-03-24 维沃移动通信有限公司 图像编辑方法、装置、电子设备及介质
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN112580409A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 目标物体选择方法及相关产品
WO2021147905A1 (zh) * 2020-01-20 2021-07-29 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN114523886A (zh) * 2020-10-30 2022-05-24 上海汽车集团股份有限公司 一种车内交互控制方法及系统

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030146901A1 (en) * 2002-02-04 2003-08-07 Canon Kabushiki Kaisha Eye tracking using image data
GB201002485D0 (en) * 2010-02-15 2010-03-31 Cavalier Marcus A M Use of portable electonic devices with head mounted display devices
CN101819492A (zh) * 2010-04-20 2010-09-01 苏州瀚瑞微电子有限公司 三维投射空间触控系统
US20100322479A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Systems and methods for 3-d target location
JP2011090702A (ja) * 2006-07-18 2011-05-06 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
US20140168056A1 (en) * 2012-12-19 2014-06-19 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140225915A1 (en) * 2013-02-14 2014-08-14 Research In Motion Limited Wearable display system with detached projector
US20140292645A1 (en) * 2013-03-28 2014-10-02 Sony Corporation Display control device, display control method, and recording medium
US20150301596A1 (en) * 2012-11-06 2015-10-22 Zte Corporation Method, System, and Computer for Identifying Object in Augmented Reality
US20160150154A1 (en) * 2013-09-30 2016-05-26 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging to facilitate object gaze
CN107016733A (zh) * 2017-03-08 2017-08-04 北京光年无限科技有限公司 基于增强现实ar的交互系统及交互方法
US20170285737A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Gaze-Based Control of Virtual Reality Media Content
CN107506037A (zh) * 2017-08-23 2017-12-22 三星电子（中国）研发中心 一种基于增强现实的控制设备的方法和装置
KR101817436B1 (ko) * 2016-08-02 2018-02-21 연세대학교 산학협력단 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
CN107924237A (zh) * 2015-09-02 2018-04-17 微软技术许可有限责任公司 计算设备的增强现实控制
CN108335364A (zh) * 2018-01-23 2018-07-27 北京易智能科技有限公司 一种基于全息投影的三维场景显示方法
CN108629830A (zh) * 2018-03-28 2018-10-09 深圳臻迪信息技术有限公司 一种三维环境信息显示方法及设备
CN109204326A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 一种基于增强现实的驾驶提醒方法和系统
CN109298780A (zh) * 2018-08-24 2019-02-01 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、ar设备及存储介质
US20190068765A1 (en) * 2017-08-24 2019-02-28 Asher Wilens System, method and apparatus for augmented viewing of real world objects
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030146901A1 (en) * 2002-02-04 2003-08-07 Canon Kabushiki Kaisha Eye tracking using image data
JP2011090702A (ja) * 2006-07-18 2011-05-06 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
US20100322479A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Systems and methods for 3-d target location
GB201002485D0 (en) * 2010-02-15 2010-03-31 Cavalier Marcus A M Use of portable electonic devices with head mounted display devices
CN101819492A (zh) * 2010-04-20 2010-09-01 苏州瀚瑞微电子有限公司 三维投射空间触控系统
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
US20150301596A1 (en) * 2012-11-06 2015-10-22 Zte Corporation Method, System, and Computer for Identifying Object in Augmented Reality
US20140168056A1 (en) * 2012-12-19 2014-06-19 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140225915A1 (en) * 2013-02-14 2014-08-14 Research In Motion Limited Wearable display system with detached projector
US20140292645A1 (en) * 2013-03-28 2014-10-02 Sony Corporation Display control device, display control method, and recording medium
US20160150154A1 (en) * 2013-09-30 2016-05-26 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging to facilitate object gaze
CN107924237A (zh) * 2015-09-02 2018-04-17 微软技术许可有限责任公司 计算设备的增强现实控制
US20170285737A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Gaze-Based Control of Virtual Reality Media Content
KR101817436B1 (ko) * 2016-08-02 2018-02-21 연세대학교 산학협력단 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
CN107016733A (zh) * 2017-03-08 2017-08-04 北京光年无限科技有限公司 基于增强现实ar的交互系统及交互方法
CN109204326A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 一种基于增强现实的驾驶提醒方法和系统
CN107506037A (zh) * 2017-08-23 2017-12-22 三星电子（中国）研发中心 一种基于增强现实的控制设备的方法和装置
US20190068765A1 (en) * 2017-08-24 2019-02-28 Asher Wilens System, method and apparatus for augmented viewing of real world objects
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN108335364A (zh) * 2018-01-23 2018-07-27 北京易智能科技有限公司 一种基于全息投影的三维场景显示方法
CN108629830A (zh) * 2018-03-28 2018-10-09 深圳臻迪信息技术有限公司 一种三维环境信息显示方法及设备
CN109298780A (zh) * 2018-08-24 2019-02-01 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、ar设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580409A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 目标物体选择方法及相关产品
CN112580409B (zh) * 2019-09-30 2024-06-07 Oppo广东移动通信有限公司 目标物体选择方法及相关产品
CN110706268A (zh) * 2019-11-14 2020-01-17 维沃移动通信有限公司 一种距离调整方法及电子设备
CN110908517A (zh) * 2019-11-29 2020-03-24 维沃移动通信有限公司 图像编辑方法、装置、电子设备及介质
WO2021147905A1 (zh) * 2020-01-20 2021-07-29 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111399658B (zh) * 2020-04-24 2022-03-15 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN114523886A (zh) * 2020-10-30 2022-05-24 上海汽车集团股份有限公司 一种车内交互控制方法及系统

Also Published As

Publication number Publication date
CN110286754B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN110286754A (zh) 基于眼球追踪的投射方法及相关设备
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
TW452723B (en) Method and apparatus for three-dimensional input entry
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
CN116348836A (zh) 增强现实中用于交互式游戏控制的手势跟踪
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
US9001006B2 (en) Optical-see-through head mounted display system and interactive operation
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN106200944A (zh) 一种对象的控制方法、控制装置和控制系统
CN109529327B (zh) 虚拟交互场景中目标定位方法、装置及电子设备
CN112346572A (zh) 一种虚实融合实现方法、系统和电子设备
US20140347329A1 (en) Pre-Button Event Stylus Position
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
CN102508578A (zh) 投影定位装置及方法、交互系统和交互方法
CN107562288A (zh) 基于红外触控装置的响应方法、红外触控装置和介质
US7377650B2 (en) Projection of synthetic information
CN104881128A (zh) 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN105278659B (zh) 基于视线追踪技术的目标定位方法和装置
CN111857333A (zh) 眼动追踪方法、装置及电子设备
US20230256297A1 (en) Virtual evaluation tools for augmented reality exercise experiences
CN106681506B (zh) 一种终端设备中非vr应用的交互方法及终端设备
WO2014111947A1 (en) Gesture control in augmented reality
WO2018042948A1 (en) Information processing system, method of information processing, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant