CN116841397A - 操作执行方法、装置、电子设备及可读存储介质 - Google Patents

操作执行方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116841397A
CN116841397A CN202310858355.3A CN202310858355A CN116841397A CN 116841397 A CN116841397 A CN 116841397A CN 202310858355 A CN202310858355 A CN 202310858355A CN 116841397 A CN116841397 A CN 116841397A
Authority
CN
China
Prior art keywords
position information
user
target
gesture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310858355.3A
Other languages
English (en)
Inventor
李俊鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202310858355.3A priority Critical patent/CN116841397A/zh
Publication of CN116841397A publication Critical patent/CN116841397A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种操作执行方法、装置、电子设备及可读存储介质，属于终端控制技术领域。其中，该方法包括：在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；第一位置信息为：第一隔空手势对应的第一用户的眼部在物理空间中的位置信息，第二位置信息为：第一隔空手势对应的第一用户的手部在物理空间中的位置信息；根据第一位置信息和第二位置信息，确定第三位置信息；第三位置信息为：在沿第一用户的眼部至手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息；对第三位置信息对应的第一显示对象，执行对应的第一操作。

Description

操作执行方法、装置、电子设备及可读存储介质
技术领域
本申请属于终端控制技术领域，具体涉及一种操作执行方法、装置、电子设备及可读存储介质。
背景技术
通常，在电子设备将显示界面投影至指定位置上之后，用户可以将用户的手部朝向投影显示的该显示界面进行隔空手势，从而电子设备可以从电子设备中的预设手势库中确定与该隔空手势相匹配的预设手势，并对该显示界面中的显示对象，执行与该预设手势对应的操作(例如开启操作、删除操作等)。
但是，由于可能会出现显示界面中的显示对象的数量为两个或两个以上的情况，此时电子设备在从预设手势库中确定与隔空手势相匹配的预设手势之后，可能会对用户不需求的显示对象执行与该预设手势对应的操作，因此，导致电子设备执行用户的隔空手势对应的操作的准确性较差。
发明内容
本申请实施例的目的是提供一种操作执行方法、装置、电子设备及可读存储介质，能够解决电子设备执行用户的隔空手势对应的操作的准确性较差的问题。
第一方面，本申请实施例提供了一种操作执行方法，该方法包括：在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；该第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；该第一位置信息为：第一隔空手势对应的第一用户的眼部在物理空间中的位置信息，该第二位置信息为：第一隔空手势对应的第一用户的手部在物理空间中的位置信息；根据第一位置信息和第二位置信息，确定第三位置信息；该第三位置信息为：在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息；对第三位置信息对应的第一显示对象，执行第一隔空手势对应的第一操作，该第一显示对象为目标界面中的显示对象。
第二方面，本申请实施例提供了一种操作执行装置，该操作执行装置包括：获取模块、确定模块以及执行模块。其中，获取模块，用于在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；该第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；该第一位置信息为：第一隔空手势对应的第一用户的眼部在物理空间中的位置信息，该第二位置信息为：第一隔空手势对应的第一用户的手部在物理空间中的位置信息。确定模块，用于根据获取模块获取的第一位置信息和第二位置信息，确定第三位置信息；该第三位置信息为：在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息。执行模块，用于对确定模块确定的第三位置信息对应的第一显示对象，执行第一隔空手势对应的第一操作，该第一显示对象为目标界面中的显示对象。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。
在本申请实施例中，由于在识别到第一用户相对于投影显示的目标界面的第一隔空手势的情况下，电子设备可以根据第一用户的眼部在物理空间中的位置信息和第一用户的手部在物理空间中的位置信息，确定在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息，以准确地确定第一用户的眼部观察和手部朝向的第一显示对象的位置信息，因此，电子设备可以准确地对该第一显示对象执行该第一隔空手势对应的第一操作，而不是对第一用户不需求的显示对象执行该第一操作，即电子设备可以准确地确定第一隔空手势对应的第一显示对象，如此，可以提高电子设备执行用户的隔空手势对应的操作的准确性。
附图说明
图1是本申请实施例提供的操作执行方法的流程示意图之一；
图2是本申请实施例提供的操作执行方法的流程示意图之二；
图3是本申请实施例提供的操作执行方法的流程示意图之三；
图4是本申请实施例提供的操作执行方法中深度摄像设备与目标对象的位置关系示意图；
图5是本申请实施例提供的操作执行方法的流程示意图之四；
图6是本申请实施例提供的操作执行方法中第一摄像设备和第二摄像设备与目标对象的位置关系示意图；
图7是本申请实施例提供的操作执行方法中第三坐标系和第一坐标系的关系示意图；
图8是本申请实施例提供的操作执行方法中第四坐标系和第一坐标系的关系示意图；
图9是本申请实施例提供的操作执行方法的流程示意图之五；
图10是本申请实施例提供的操作执行方法的流程示意图之六；
图11是本申请实施例提供的操作执行方法的流程示意图之七；
图12是本申请实施例提供的操作执行方法中超声波阵列单元与目标对象的位置关系示意图；
图13是本申请实施例提供的操作执行方法的流程示意图之八；
图14是本申请实施例提供的操作执行方法中目标界面的界面示意图之一；
图15是本申请实施例提供的操作执行方法的流程示意图之九；
图16是本申请实施例提供的操作执行方法中目标界面的界面示意图之二；
图17是本申请实施例提供的操作执行方法中目标界面的界面示意图之三；
图18是本申请实施例提供的操作执行方法中目标界面的界面示意图之四；
图19是本申请实施例提供的操作执行方法的流程示意图之十；
图20是本申请实施例提供的操作执行装置的结构示意图之一；
图21是本申请实施例提供的操作执行装置的结构示意图之二；
图22是本申请实施例提供的操作执行装置的结构示意图之三；
图23是本申请实施例提供的电子设备的硬件结构示意图之一；
图24是本申请实施例提供的电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一隔空手势可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的操作执行方法、装置、电子设备及可读存储介质进行详细地说明。
本申请实施例提供的操作执行方法可以应用于投影显示的场景。
假设用户使用电子设备进行投影，在将投影界面投影至投影幕布上之后，若用户想要触发电子设备开启投影界面中的应用图标指示应用，则用户可以将用户的手部朝向该投影界面隔空进行点击的手势，从而电子设备可以从电子设备中的预设手势库中确定与该点击的手势相匹配的预设手势，并对该应用图标执行开启操作，以开启该应用。但是，由于可能会出现该投影界面中的应用图标的数量为两个或两个以上的情况，此时电子设备在从预设手势库中确定与点击的手势相匹配的预设手势之后，可能会对用户不需求的应用图标执行开启操作，因此，电子设备执行用户的隔空手势对应的操作的准确性较差。
然而，在本申请实施例中，电子设备在识别到用户隔空对该投影界面进行点击的手势之后，可以获取进行点击的手势时用户的眼部在物理空间中的位置信息1和用户的手部在物理空间中的位置信息2，并根据该位置信息1和位置信息2，确定在沿用户的眼部至用户的手部的方向上，点击的手势对应在投影幕布上的投影界面上的触摸点的位置信息，以准确地确定进行点击的手势时用户的眼部的观察的和手部朝向的某个应用图标的位置信息，因此，电子设备可以准确地确定点击的手势对应的应用图标，并开启应用A，而不是对用户不需求的应用图像执行开启操作，如此，可以提高电子设备执行用户的隔空手势对应的操作的准确性。
本申请实施例提供的操作执行方法，执行主体可以为操作执行装置，或者电子设备，或者电子设备中的功能模块或实体。本申请实施例中以电子设备执行操作执行方法为例，说明本申请实施例提供的操作执行方法的。
图1示出了本申请实施例提供的操作执行方法的流程示意图。如图1所示，本申请实施例提供的一种操作执行方法可以包括下述的步骤101至步骤103。
步骤101、在电子设备识别到第一隔空手势的情况下，电子设备获取第一位置信息和第二位置信息。
本申请实施例中，上述第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；上述第一位置信息为：第一隔空手势对应的第一用户的眼部在物理空间中的位置信息，上述第二位置信息为：第一隔空手势对应的第一用户的手部在物理空间中的位置信息。
在本申请的一些实施例中，上述目标界面可以为以下任一项：桌面、应用界面、文件界面等任意界面。
需要说明的是，上述“第一用户相对于投影显示的目标界面的隔空手势”可以理解为：第一用户在不与投影显示的目标界面接触的情况下凌空进行的手势。
在本申请的一些实施例中，上述第一隔空手势可以包括以下至少一项：第一用户的左手手指的手势、第一用户的右手手指的手势。例如，第一隔空手势可以为第一用户的左手的食指的手势。
示例性地，上述第一隔空手势具体可以为以下任一项：滑动手势、单击手势、双击手势等。
需要说明的是，上述“第一隔空手势对应的第一用户的眼部”可以理解为：在第一用户进行第一隔空手势时第一用户的眼部。上述“第一隔空手势对应的第一用户的手部”可以理解为：在第一用户进行第一隔空手势时第一用户的手部。
在本申请的一些实施例中，在电子设备显示目标界面的情况下，电子设备可以根据第一用户(或其他用户)在电子设备中的输入或第一用户(或其他用户相对于电子设备的隔空手势，与投影设备建立通信连接，并通过该投影设备在目标对象上投影显示该目标界面，从而电子设备可以通过摄像装置识别第一用户的手势，并在识别到第一隔空手势的情况下，电子设备可以获取第一位置信息和第二位置信息。
在本申请的一些实施例中，上述投影设备可以为以下任一项：投影仪、全息投影设备、平视显示器(HeadUp Display，HUD)等。
在本申请的一些实施例中，上述目标对象可以为以下任一项：投影屏幕、投影幕布、物理空间中的物体的表面。
其中，上述物理空间可以为第一用户所处的现实世界中的空间。在目标对象为物理空间中的物体的表面的情况下，该物体的表面的形状可以为以下任一项：平面、曲面、不规则的面等。
在本申请的一些实施例中，上述摄像装置可以为电子设备的摄像模组，或者，可以为电子设备连接的其他摄像设备。
在本申请的一些实施例中，上述摄像装置设置于物理空间中，从而电子设备可以获取该摄像装置采集的该物理空间的图像，并对该图像进行识别，以确定第一用户的手部的手势，进而电子设备可以根据第一用户的手部的手势，确定是否识别到第一隔空手势。
其中，该摄像装置可以为具备深度摄像功能的设备，或不具备深度摄像功能的设备，该摄像装置的数量可以为至少一个。
需要说明的是，上述“具备深度摄像功能的设备”可以理解为：该设备可以拍摄得到深度图像。
进一步地，在摄像装置为具备深度摄像功能的设备的情况下，该摄像装置的数量可以为一个，该一个摄像装置可以设置于物理空间中的目标对象所处的平面上。
可以理解，具备深度摄像功能的设备采集得到的图像为深度图像，该深度图像中包括第一用户的眼部和第一用户的手部在物理空间中的两个方向上的位置信息，和第一用户的眼部和第一用户的手部的深度信息，因此，在摄像装置为具备深度摄像功能的设备的情况下，该摄像装置的数量可以为一个。
进一步地，在摄像装置为不具备深度摄像功能的设备的情况下，该摄像装置的数量可以为至少两个，该至少两个摄像装置中的至少一个摄像装置设置于物理空间中的目标对象所处的平面上。
可以理解，不具备深度摄像功能的设备采集得到的图像不为深度图像，即该图像中仅包括第一用户的眼部和第一用户的手部在物理空间中的两个方向上的位置信息，因此，在摄像装置为不具备深度摄像功能的设备的情况下，该摄像装置的数量可以为至少两个。
在本申请的一些实施例中，在电子设备中存储有预设手势库，该预设手势库中存储有至少一个预设手势，从而电子设备可以在第一用户的手部的手势与该至少一个预设手势中的任一个预设手势相匹配的情况下，确定识别到第一隔空手势。
需要说明的是，上述“相匹配”可以理解为：相同，或相似度大于或等于预设相似度。
在本申请的一些实施例中，在电子设备确定识别到第一隔空手势的情况下，电子设备可以控制摄像装置采集物理空间的图像，例如下述实施例中的目标图像，该图像中包括第一用户的眼部和第一用户的手部，并根据该图像确定第一位置信息和第二位置信息。
在本申请的一些实施例中，第一用户的眼部和第一用户的手部上均佩戴有定位装置，从而在电子设备确定识别到第一隔空手势的情况下，电子设备可以通过该定位装置，确定第一位置信息和第二位置信息。
其中，上述定位装置可以包括以下至少一项：射频识别(Radio FrequencyIdentification，RFID)模块、超宽带(UltraWide Band，UWB)模块。
下面将以两种不同的示例，举例说明电子设备获取第一位置信息和第二位置信息的具体方案。
可选地，在本申请的一种可能的实现方式中，结合图1，如图2所示，上述步骤101具体可以通过下述的步骤101a至步骤101c实现。
步骤101a、在电子设备识别到第一隔空手势的情况下，电子设备获取目标图像。
本申请实施例中，上述目标图像为第一隔空手势对应的用户图像，该目标图像中包括第一用户的眼部和第一用户的手部。
需要说明的是，上述“第一隔空手势对应的用户图像”可以理解为：在第一用户进行第一隔空手势时采集的第一用户的图像。
在本申请的一些实施例中，上述第一坐标系可以为世界坐标系。
需要说明的是，针对世界坐标系的说明，可以参考相关技术中的具体描述，本申请实施例在此不予赘述。
在本申请的一些实施例中，上述第一坐标信息的维度和第二坐标信息的维度可以相同。示例性地，假设第一坐标信息的维度为三维，则第二坐标信息的维度也为三维。
在本申请的一些实施例中，上述目标图像可以为：上述摄像装置采集的物理空间的图像；该目标图像可以为深度图像或非深度图像，该目标图像的数量可以为至少一个。
其中，在摄像装置为具备深度摄像功能的设备的情况下，目标图像为深度图像，且该目标图像的数量可以为一个；在摄像装置为不具备深度摄像功能的设备的情况下，目标图像为非深度图像，且该目标图像的数量可以为至少两个。
在本申请的一些实施例中，在摄像装置采集到目标图像之后，电子设备可以从摄像装置接收该目标图像，从而电子设备可以获取该目标图像。
步骤101b、电子设备根据目标图像，确定N个目标坐标值。
本申请实施例中，上述N个目标坐标值中的每个目标坐标值为：目标部位在物理空间对应的第一坐标系的一个坐标轴上的坐标值，该目标部位包括第一用户的眼部和第一用户的手部，N为大于1的正整数。
在本申请的一些实施例中，在目标图像的数量为一个的情况下，电子设备可以根据该一个目标图像，确定N个目标坐标值。在目标图像的数量为至少两个的情况下，电子设备可以根据每个目标图像，分别确定一个目标坐标值，以确定N个目标坐标值。
在本申请的一些实施例中，N具体可以为3。
示例性地，假设目标图像的数量为3个，N为3，则电子设备可以根据每个目标图像分别确定一个目标坐标值，以得到3个目标坐标值。
在一种示例中，上述目标图像是深度摄像设备采集的；N个目标坐标值包括第一坐标值和第二坐标值。具体地，结合图2，如图3所示，上述步骤101b具体可以通过下述的步骤101b1和步骤101b2实现。
步骤101b1、电子设备从目标图像中确定目标部位对应的第三特征点。
本申请实施例中，上述第三特征点对应第一深度信息。
可以理解，在本示例中，上述摄像装置为深度摄像设备，即具备深度摄像功能的设备，上述目标图像为深度图像，且该目标图像的数量可以为一个；其中，该深度图像中还包括各个像素点对应的深度信息。
在本申请的一些实施例中，深度摄像设备可以设置于目标对象所在的平面上。
举例说明，图4示出了深度摄像设备与目标对象的位置关系示意图。如图4所示，目标对象10处于物理空间11中的平面111上，且深度摄像设备12设置于该平面111上，从而在电子设备通过投影设备在目标对象10上投影显示目标界面的情况下，电子设备可以通过该深度摄像设备12采集该物理空间11中的第一用户的眼部13和第一用户的手部14的图像，以得到目标图像。
可以理解，由于在电子设备投影显示目标界面之后，在第一用户进行第一隔空手势的情况下，第一用户的眼部和第一用户的手部均会朝向投影显示该目标界面的平面，因此，可以将深度摄像设备设置于目标对象所在的平面上，以使得目标图像中可以包括第一用户的眼部和第一用户的手部的全部部位，从而电子设备可以准确地从目标图像中确定目标部位对应的第三特征点，以准确地确定第一坐标值和第二坐标值。
需要说明的是，上述“目标部位对应的第三特征点”可以理解为：在目标图像中，目标部位的特征部位所处的图像区域中的像素点。
本申请实施例中，上述第三特征点包括第一子特征点和第二子特征点，该第一子特征点为第一用户的眼部对应的特征点，该第二子特征点为第一用户的手部对应的特征点。
其中，第一子特征点可以为第一特征部位所处的图像区域中的像素点，该第一特征部位为以下任一项：第一用户的左眼球的眼珠、第一用户的右眼球的眼珠、第一用户的左眼球和右眼球的连线的中点。
第二子特征点可以为第二特征部位所处的图像区域中的像素点，该第二特征部位为以下任一项：第一用户的手指的指尖、第一用户的手指的指关节。
在本申请的一些实施例中，电子设备可以对目标图像进行图像识别，以确定目标部位的特征部位所处的图像区域，并将图像区域的中心的像素点，确定为第三特征点。
可以理解，电子设备可以将第一用户的眼部的第一特征部位所处的图像区域的中心的像素点，确定为第一子特征点；并将第一用户的手部的第二特征部位所处的图像区域的中心的像素点，确定为第二子特征点。
本申请实施例中，上述第一深度信息用于指示：深度摄像设备与目标部位的特征部位之间的距离。
本申请实施例中，上述第一深度信息可以包括第二深度信息和第三深度信息，该第二深度信息用于指示：深度摄像设备与第一用户的眼部的特征部位之间的距离，该第三深度信息用于指示：深度摄像设备与第一用户的手部的特征部位之间的距离。
步骤101b2、电子设备将第三特征点的像素坐标值转换为第一坐标值，并根据第一深度信息计算得到第二坐标值。
在本申请的一些实施例中，上述第一坐标值可以包括第三坐标值和第四坐标轴。其中，该第三坐标值具体可以为：在第一坐标系的一个水平坐标轴上的坐标值，例如在第一坐标系的X轴上的坐标值；该第四坐标值具体可以为：在第一坐标系的竖直坐标轴上的坐标值，例如在第一坐标系的Y轴上的坐标值。
在本申请的一些实施例中，上述第二坐标值具体可以为：在第一坐标系的另一个水平坐标轴上的坐标值，例如在第一坐标系的Z轴上的坐标值。
需要说明的是，上述“第三特征点的像素坐标值”可以理解为：第三特征点在目标图像对应的第二坐标系中的坐标值。该第二坐标系具体可以为：以目标图像的两个边缘线的交点为坐标原点，且以该两个边缘线中的一条边缘线为X轴，以及，以该两个边缘线中的另一个边缘线为Y轴构成的直角坐标系。
在本申请的一些实施例中，第三特征点的像素坐标值可以包括第一像素坐标值和第二像素坐标值，该第一像素坐标值具体可以为：在第二坐标系的一个坐标轴上的坐标值，例如在第二坐标系的X轴上的坐标值；该第二像素坐标值具体可以为：在第二坐标系的另一个坐标轴上的坐标值，例如在第二坐标系的Y轴上的坐标值。
在本申请的一些实施例中，电子设备可以根据深度摄像设备的内参、深度摄像设备的外参和第一子特征点对应的第一像素坐标值，计算得到第一子特征点对应的第三坐标值，并根据深度摄像设备的内参、深度摄像设备的外参和第一子特征点对应的第二像素坐标值，计算得到第一子特征点对应的第四坐标值，以计算得到第一子特征点对应的第一坐标值。
其中，内参可以包括以下至少一项：光心位置、焦距、畸变参数。
需要说明的是，针对电子设备计算得到第三坐标值和第四坐标值的说明，可以参考相关技术中的具体描述，本申请实施例在此不予赘述。
在本申请的一些实施例中，电子设备可以根据深度摄像设备的内参、深度摄像设备的外参和第二子特征点对应的第一像素坐标值，计算得到第二子特征点对应的第三坐标值，并根据深度摄像设备的内参、深度摄像设备的外参和第二子特征点对应的第二像素坐标值，计算得到第二子特征点对应的第四坐标值，以计算得到第二子特征点对应的第一坐标值。
在本申请的一些实施例中，电子设备可以根据深度摄像设备的相机外参和第二深度信息，计算得到第一子特征点对应的第二坐标值。
其中，外参可以包括以下至少一项：在第一坐标系下的平移参数、深度摄像设备在第一坐标系下的旋转参数。
需要说明的是，针对电子设备计算得到第二坐标值的说明，可以参考相关技术中的具体描述，本申请实施例在此不予赘述。
在本申请的一些实施例中，电子设备可以根据深度摄像设备的相机外参和第三深度信息，计算得到第二子特征点对应的第二坐标值。
可以理解，针对第一用户的眼部，电子设备可以分别确定第一用户的眼部对应的特征点的像素坐标值，并转化为一个坐标值，并根据该第一用户的眼部对应的特征点所对应的深度信息，计算得到另一个坐标值，以根据该一个坐标值和该另一个坐标值，得到第一位置信息。
可以理解，针对第一用户的手部，电子设备可以分别确定第一用户的手部对应的特征点的像素坐标值，并转化为一个坐标值，并根据该第一用户的手部对应的特征点所对应的深度信息，计算得到另一个坐标值，以根据该一个坐标值和该另一个坐标值，得到第二位置信息。
如此可知，由于电子设备可以直接根据深度摄像设备采集的一张图像，确定目标部位对应的第三特征点，并根据该第三特征点计算得到第一坐标值，以及根据该第三特征点对应的深度信息计算得到第二坐标值，而无需根据多张图像确定，因此，可以减少确定N个目标坐标值的过程中，电子设备的运算量。
在另一种示例中，上述目标图像包括第一摄像设备采集的第一图像和第二摄像设备采集的第二图像；N个目标坐标值包括第一坐标值和第二坐标值。具体地，结合图2，如图5所示，上述步骤101b具体可以通过下述的步骤101b3和步骤101b4实现。
步骤101b3、电子设备从第一图像中确定目标部位对应的第一特征点，并从第二图像中确定目标部位对应的第二特征点。
可以理解，在本示例中，第一摄像设备和第二摄像设备均为不具备深度摄像功能的摄像装置，上述第一图像和第二图像均为非深度图像。
本申请实施例中，上述第一摄像设备的光轴和第二摄像设备的光轴不平行。
在本申请的一些实施例中，第一摄像设备可以设置于目标对象所在的平面上。第二摄像设备可以设置于第一平面上，该第一平面不平行于目标对象所在的平面，从而第一摄像设备的光轴和第二摄像设备的光轴可以不平行。
举例说明，图6示出了第一摄像设备和第二摄像设备与目标对象的位置关系示意图。如图6所示，目标对象15处于物理空间16中的平面17上，且第一摄像设备18设置于该平面17上，以及，第二摄像设备19设置于第一平面上，例如垂直于平面17的平面20上，从而在电子设备通过投影设备在目标对象15上投影显示目标界面的情况下，电子设备可以通过第一摄像设备18采集该物理空间16中的第一用户的眼部21和第一用户的手部22的图像，以得到第一图像，并通过第一摄像设备19采集该物理空间16中的第一用户的眼部21和第一用户的手部22的图像，以得到第二图像。
可以理解，由于在电子设备投影显示目标界面之后，在第一用户进行第一隔空手势的情况下，第一用户的眼部和第一用户的手部均会朝向投影显示该目标界面的平面，因此，可以将第一摄像设备设置于目标对象所在的平面上，以使得第一摄像设备的光轴和第二摄像设备的光轴不平行，进而使得第一图像中可以包括第一用户的眼部和第一用户的手部的一个视角下的全部部位，并将第二摄像设备设置于第一平面上，以使得第二图像中可以包括第一用户的眼部和第一用户的手部的另一个视角下的至少部分部位，从而电子设备可以准确地确定在不同视角下的目标部位对应的不同特征点，即第一特征点和第二特征点，以准确地确定第一坐标值和第二坐标值。
需要说明的是，上述“目标部位对应的第一特征点”可以理解为：在第一图像中，目标部位的特征部位所处的图像区域中的像素点。上述“目标部位对应的第二特征点”可以理解为：在第二图像中，目标部位的特征部位所处的图像区域中的像素点。
需要说明的是，针对电子设备确定第一特征点和第二特征点的说明，可以参考上述实施例中电子设备确定第三特征点的具体描述，本申请实施例在此不再赘述。
步骤101b4、电子设备将第一特征点的像素坐标值转换为第一坐标值，并将第二特征点的像素坐标值转换为第二坐标值。
在本申请的一些实施例中，上述第一坐标值可以包括第三坐标值和第四坐标轴。其中，该第三坐标值具体可以为：在第一坐标系的一个水平坐标轴上的坐标值，例如在第一坐标系的X轴上的坐标值；该第四坐标值具体可以为：在第一坐标系的竖直坐标轴上的坐标值，例如在第一坐标系的Y轴上的坐标值。
在本申请的一些实施例中，上述第二坐标值具体可以为：在第一坐标系的另一个水平坐标轴上的坐标值，例如在第一坐标系的Z轴上的坐标值。
需要说明的是，上述“第一特征点的像素坐标值”可以理解为：第一特征点在第一图像对应的第三坐标系中的坐标值。该第三坐标系具体可以为：以第一图像的两个边缘线的交点为坐标原点，且以该两个边缘线中的一条边缘线为X轴，以及，以该两个边缘线中的另一个边缘线为Y轴构成的直角坐标系。
在本申请的一些实施例中，上述第一特征点的像素坐标值可以包括第三像素坐标值和第四像素坐标值，该第三像素坐标值具体可以为：在第三坐标系的一个坐标轴上的坐标值，例如在第三坐标系的X轴上的坐标值；该第四像素坐标值具体可以为：在第三坐标系的另一个坐标轴上的坐标值，例如在第三坐标系的Y轴上的坐标值。
需要说明的是，上述“第二特征点的像素坐标值”可以理解为：第二特征点在第二图像对应的第四坐标系中的坐标值。该第四坐标系具体可以为：以第二图像的两个边缘线的交点为坐标原点，且以该两个边缘线中的一条边缘线为Z轴，以及，以该两个边缘线中的另一个边缘线为Y轴构成的直角坐标系。
在本申请的一些实施例中，上述第二特征点的像素坐标值可以包括第五像素坐标值，该第五像素坐标值具体可以为：在第四坐标系的一个坐标轴上的坐标值，例如在第四坐标系的Z轴上的坐标值。
在本申请的一些实施例中，电子设备可以根据第一摄像设备的内参、第一摄像设备的外参和第三像素坐标值，计算得到第三坐标值，并根据第一摄像设备的内参、第一摄像设备的外参和第四像素坐标值，计算得到第四坐标值，以计算得到第一坐标值。
需要说明的是，针对电子设备计算得到第三坐标值和第四坐标值的说明，可以参考相关技术中的具体描述，本申请实施例在此不予赘述。
举例说明，图7示出了第三坐标系和第一坐标系的关系示意图。如图7所示，电子设备可以从第一图像23中确定第一用户的眼部对应的特征点24，并将该特征点24在第三坐标系251的X轴上的坐标值X1，转化为在第一坐标系252的X轴上的坐标值，以及将该特征点24在第三坐标系251的Y轴上的坐标值Y1，转化为在第一坐标系252的Y轴上的坐标值；或者，电子设备可以从第一图像23中确定第一用户的手部对应的特征点26，并将该特征点26在第三坐标系251的X轴上的坐标值X2，转化为在第一坐标系252的X轴上的坐标值，以及将该特征点26在第三坐标系251的Y轴上的坐标值Y2，转化为在第一坐标系252的Y轴上的坐标值。
在本申请的一些实施例中，电子设备可以根据第一摄像设备的内参、第一摄像设备的外参和第五像素坐标值，计算得到第二坐标值。
需要说明的是，针对电子设备计算得到第二坐标值的说明，可以参考相关技术中的具体描述，本申请实施例在此不予赘述。
举例说明，图8示出了第四坐标系和第一坐标系的关系示意图。如图8所示，电子设备可以从第二图像27中确定第一用户的眼部对应的特征点28，并将该特征点28在第四坐标系291的Z轴上的坐标值Z1，转换为在第一坐标系292的Z轴上的坐标值；或者，电子设备可以从第二图像27中确定第一用户的手部对应的特征点30，并将该特征点30在第四坐标系29的Z轴上的坐标值Z2，转换为在第一坐标系292的Z轴上的坐标值。
可以理解，针对第一用户的眼部，电子设备可以从第一图像中确定第一用户的眼部对应的一个特征点，并从第二图像中确定第一用户的眼部对应的另一个特征点，从而电子设备可以将该一个特征点的像素坐标值转换为一个坐标值，并将该另一个特征点的像素坐标值转换为另一个坐标值，并根据该一个坐标值和该另一个坐标值，得到第一位置信息。
可以理解，针对第一用户的手部，电子设备可以从第一图像中确定第一用户的手部对应的一个特征点，并从第二图像中确定第一用户的手部对应的另一个特征点，从而电子设备可以将该一个特征点的像素坐标值转换为一个坐标值，并将该另一个特征点的像素坐标值转换为另一个坐标值，并根据该一个坐标值和该另一个坐标值，得到第二位置信息。
如此可知，由于电子设备可以根据多张图像来确定第一坐标值和第二坐标值，因此，可以提高确定第一位置信息和第二位置信息的准确性。
本申请实施例中，由于可能会出现第一图像或第二图像中仅包括第一用户的眼部，或者，第一图像或第二图像中仅包括第一用户的手部的情况，因此，第一摄像设备和第二摄像设备可以包括至少两个摄像头，以通过该至少两个摄像头采集不同视角下的物理空间的多个图像，并从该多个图像中确定出包括第一用户的眼部和第一用户的手部的图像，以下将进行举例说明。
可选地，本申请实施例中，上述第一摄像设备包括设置于不同位置的M个第一摄像头，上述第二摄像设备包括设置于不同位置的L个第二摄像头，M、L均为大于1的正整数。示例性地，结合图5，如图9所示，在上述步骤101b3之前，本申请实施例提供的操作执行方法还可以包括下述的步骤201和步骤202。
步骤201、电子设备通过M个第一摄像头分别采集M个第三图像，并通过L个第二摄像头分别采集L个第四图像。
本申请实施例中，上述M个第三图像中的每个第三图像分别是一个第一摄像头采集的，上述M个第四图像中的每个第四图像分别是一个第二摄像头采集的。
可以理解，每个第一摄像头可以分别采集一个视角下的物理空间的一个第三图像，每个第二摄像头可以分别采集一个视角下的物理空间的一个第四图像。
在本申请的一些实施例中，电子设备可以控制M个第一摄像头同时采集M个第三图像，或控制M个第一摄像头先后采集M个第三图像。电子设备可以控制L个第二摄像头同时采集L个第四图像，或控制L个第二摄像头先后采集L个第四图像。
步骤202、电子设备从M个第三图像中确定第一图像，并从L个第四图像中确定第二图像。
可以理解，电子设备可以从M个第三图像中确定包括第一用户的眼部和第一用户的手部的第一图像，并从L个第四图像中确定包括第一用户的眼部和第一用户的手部的第二图像。
如此可知，由于第一摄像设备或第二摄像设备可以包括至少两个摄像头，并通过该至少两个摄像头采集得到不同视角下的物理空间的多个图像，以及，电子设备可以从该多个图像中，确定出包括第一用户的眼部和第一用户的手部的第一图像和第二图像，因此，可以避免出现第一图像和第二图像中仅包括第一用户的眼部，或者，第一图像和第二图像中仅包括第一用户的手部的情况，如此，可以避免电子设备无法确定第一坐标值或第二坐标值的情况。
步骤101c、电子设备根据N个目标坐标值，确定第一位置信息和第二位置信息。
示例性地，假设N个目标坐标值为X1、Y1以及Z1，这样电子设备可以根据X1、Y1以及Z1，得到第一位置信息(X1，Y1，Z1)。
示例性地，假设N个目标坐标值为X2、Y2以及Z2，这样电子设备可以根据X2、Y2以及Z2，得到第二位置信息(X2，Y2，Z2)。
如此可知，电子设备可以通过目标图像，准确地确定出第一用户的手部和第一用户的眼部在第一坐标系的多个坐标轴上的多个坐标值，并根据该多个坐标值，准确地确定第一位置信息和第二位置信息。
可选地，在本申请的另一种可能的实现方式中，第一用户的眼部和第一用户的手部上均佩戴有定位装置，从而在电子设备识别到第一隔空手势的情况下，电子设备可以向定位装置发射定位信号，并根据从该定位装置接收的反射信号，计算得到第一位置信息和第二位置信息。
需要说明的是，针对电子设备根据从定位装置接收的反射信号，计算得到第一位置信息和第二位置信息的说明，可以参考相关技术中的具体描述，本申请实施例在此不予赘述。
如此可知，电子设备可以直接向定位装置发射定位信号，并根据反射信号快速地计算得到第一位置信息和第二位置信息。
步骤102、电子设备根据第一位置信息和第二位置信息，确定第三位置信息。
本申请实施例中，上述第三位置信息为：在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息。
在本申请的一些实施例中，电子设备可以先获取第九位置信息，该第九位置信息为：目标界面在物理空间中的位置信息，然后再根据第一位置信息、第二位置信息以及第九位置信息，确定第三位置信息。
可选地，本申请实施例中，结合图1，如图10所示，上述步骤102具体可以通过下述的步骤102a和步骤102b实现。
步骤102a、电子设备根据第一位置信息和第二位置信息，确定目标直线。
在本申请的一些实施例中，电子设备可以将经过第一位置信息和第二位置信息的直线，确定为目标直线。
步骤102b、电子设备将目标直线与目标界面之间的交点的位置信息，确定为第三位置信息。
在本申请的一些实施例中，电子设备可以先确定目标直线的第十位置信息，然后再根据该第十位置信息和第九位置信息，计算得到目标直线与目标界面之间的交点的位置信息；其中，该第十位置信息具体可以为：目标直线在物理空间中的位置信息。
本申请实施例中，由于第一用户的手部朝向某个显示对象进行隔空手势时，第一用户的眼部、第一用户的手部以及该某个显示对象是处于一条直线上的，因此，电子设备可以根据第一位置信息和第二位置信息，确定出目标直线，并将目标直线与目标界面之间的交点的位置信息，确定为第三位置信息，即第一用户的手部朝向的显示对象的位置信息。
如此可知，由于电子设备是将目标直线与目标界面之间的交点的位置信息，确定为第一隔空手势对应在目标界面上的触摸点的位置信息的，而不是根据第一用户的手部在目标界面上的投影点的位置信息来确定，因此，可以避免出现电子设备对根据投影点的位置确定的显示对象执行第一隔空手势对应的操作，而不是对第一用户的手部朝向的显示对象执行第一隔空手势对应的操作的情况，如此，可以提高电子设备识别用户的隔空手势的准确性。
步骤103、电子设备对第三位置信息对应的第一显示对象，执行第一隔空手势对应的第一操作。
本申请实施例中，上述第一显示对象为目标界面中的显示对象。
在本申请的一些实施例中，上述第一显示对象可以为以下任一项：应用图像、应用控件、文字、图像、视频等。
在本申请的一些实施例中，电子设备可以获取目标界面中的各个显示对象的位置信息，然后再从该各个显示对象中，确定出位置信息与第三位置信息相匹配的第一显示对象，从而电子设备可以对该第一显示对象，执行第一操作。
在本申请的一些实施例中，上述第一操作可以包括以下任一项：开启操作、删除操作、编辑操作、选中操作等。
在本申请的一些实施例中，在电子设备的预设手势库中还存储有至少一个操作，每个操作分别与一个预设手势对应，从而电子设备可以先从至少一个预设手势中，确定出与第一隔空手势对应的一个预设手势，然后再将该一个预设手势对应的一个操作，确定为第一操作，从而电子设备可以执行第一操作。
本申请实施例提供一种操作执行方法，由于在识别到第一用户相对于投影显示的目标界面的第一隔空手势的情况下，电子设备可以根据第一用户的眼部在物理空间中的位置信息和第一用户的手部在物理空间中的位置信息，确定在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息，以准确地确定第一用户的眼部观察和手部朝向的第一显示对象的位置信息，因此，电子设备可以准确地对该第一显示对象执行该第一隔空手势对应的第一操作，而不是对第一用户不需求的显示对象执行该第一操作，即电子设备可以准确地确定第一隔空手势对应的第一显示对象，如此，可以提高电子设备执行用户的隔空手势对应的操作的准确性。
下面将以目标对象为物理空间中的物体的表面为例，举例说明电子设备投影显示目标界面的具体方案。
可选地，本申请实施例中，结合图1，如图11所示，在上述步骤101之前，本申请实施例提供的操作执行方法还可以包括下述的步骤301至步骤303。
步骤301、在识别到第二隔空手势的情况下，电子设备获取第七位置信息和第八位置信息。
本申请实施例中，上述第二隔空手势第二用户相对于电子设备的隔空手势；上述第七位置信息为：第二隔空手势对应的第二用户的眼部在物理空间中的位置信息，上述第八位置信息为：第二隔空手势对应的第二用户的手部在物理空间中的位置信息。
需要说明的是，针对第二隔空手势、第二用户的眼部以及第二用户的手部的说明，可以参考上述实施例中的第一隔空手势、第一用户的眼部以及第一用户的手部的具体描述，本申请实施例在此不再赘述。针对电子设备获取第七位置信息和第八位置信息的说明，可以参考上述实施例中电子设备获取第一位置信息和第二位置信息的具体描述，本申请实施例在此不再赘述。
在本申请的一些实施例中，上述第二用户与第一用户可以相同或不同。
步骤302、电子设备根据第七位置信息和第八位置信息，确定目标投影面。
在本申请的一些实施例中，上述目标投影面的形状可以为以下任一项：平面、曲面、不规则的面等。
在本申请的一些实施例中，电子设备可以先根据第七位置信息和第八位置信息，确定第一直线，然后再将物理空间中的各个物体中，表面垂直于该第一直线的物体的表面，确定为目标投影面。
在本申请的一些实施例中，在物理空间中的各个物体中，表面垂直于该第一直线的物体为多个的情况下，电子设备可以将多个物体中距离第二用户的手部最近的物体的表面，确定为目标投影面。
步骤303、电子设备在目标投影面上，投影显示目标界面。
如此可知，由于电子设备可以根据第二用户的眼部在物理空间中的位置信息和第二用户的手部在物理空间中的位置信息，确定投影显示目标界面的目标投影面，而不是在指定面上投影显示目标界面，因此，可以提高电子设备投影显示界面的灵活性。
当然，为了提高第一用户在进行隔空手势的过程中的体验，电子设备还可以通过超声波阵列单元向第一用户的手部发射超声波，以使得第一用户的手部可以产生触感反馈，以下将举例说明。
可选地，本申请实施例中，在上述步骤101之后，本申请实施例提供的操作执行方法还可以包括下述的步骤401。
步骤401、电子设备控制超声波阵列单元向第二位置信息发射第一超声波。
在本申请的一些实施例中，上述超声波阵列单元可以设置于目标对象所处的平面上。
举例说明，图12示出了超声波阵列单元与目标对象的位置关系示意图。如图12所示，目标对象31处于物理空间32中的平面33上，且超声波阵列单元34设置于该平面33上，从而电子设备可以超声波阵列单元34向第二位置信息发射第一超声波，即向第一用户的手部35在物理空间32中的位置信息发射第一超声波。
在本申请的一些实施例中，上述第一超声波具体可以为：频率大于或等于预设频率的超声波。可以理解，第一超声波为高频超声波。
本申请实施例中，超声波阵列单元可以通过第一超声波，将声波能量集中在第二位置信息，即第一用户的手部在物理空间中的位置信息，以形成一个触觉反馈点，以使得第一用户可以感受到物体表面的凹凸和质感。
如此可知，由于在识别到用户相对于目标界面的第一隔空手势的情况下，电子设备可以控制超声波阵列单元向第一用户的手部在物理空间中的位置信息发射第一超声波，以使得第一用户的手部可以产生触感反馈，因此，可以提高在第一用户进行隔空手势的过程中的使用体验。
本申请实施例中，在识别到第一隔空手势的情况下，电子设备还可以在目标界面中显示光标，以使得第一用户可以获知第一隔空手势对应在目标界面上的触摸点的位置信息，以下将举例说明。
可选地，本申请实施例中，结合图1，如图13所示，在上述步骤102之后，本申请实施例提供的操作执行方法还可以包括下述的步骤501。
步骤501、电子设备在目标界面中的第一显示区域上显示光标。
需要说明的是，针对步骤501和步骤103的执行顺序，本申请实施例在此不作限定；在一种示例中，电子设备可以先执行步骤501，然后再执行步骤103；在另一种示例中，电子设备可以先执行步骤103，然后再执行步骤501；在又一种示例中，电子设备可以在执行步骤501的同时，执行步骤103。
本申请实施例中，上述第一显示区域为：第三位置信息对应的显示区域。
在本申请的一些实施例中，电子设备可以将目标界面中以第三位置信息为中心的预设范围内的显示区域，确定为第一显示区域，并在该第一显示区域上显示光标。
在本申请的一些实施例中，电子设备可以在第一显示区域上悬浮显示光标。
在本申请的一些实施例中，上述光标用于对目标界面中的显示对象执行操作。其中，该操作包括以下至少一项：开启操作、删除操作、编辑操作、选中操作等。
举例说明，图14示出了目标界面的界面示意图。如图14所示，电子设备可以在目标界面36的第一显示区域37上显示光标38，该光标38用于对目标界面36中的显示对象执行操作。
需要说明的是，图14中是以虚线框来示意第一显示区域37的，在实际应用中电子设备可以不显示该虚线框。
如此可知，由于电子设备可以在第一隔空手势对应在目标界面上的触摸点所处的第一显示区域上显示光标，这样第一用户可以根据该光标的位置，确定之后进行隔空手势的位置，以确定地相对于目标界面中的显示对象进行隔空手势，以使得电子设备可以准确确定第一用户的隔空手势对应的显示对象，而无需第一用户进行多次隔空手势，因此，可以简化在触发电子设备执行用户的隔空手势的过程中的操作。
当然，在电子设备显示光标之后，第一用户还可以根据需求触发电子设备移动该光标，并通过该光标对目标界面中的显示对象执行操作，以下将举例进行说明。
可选地，本申请实施例中，结合图13，如图15所示，在上述步骤501之后，本申请实施例提供的操作执行方法还可以包括下述的步骤601至步骤603。
步骤601、在第一用户的手部在物理空间中的位置信息发生变化的情况下，电子设备确定第四位置信息。
本申请实施例中，上述第四位置信息为：第一用户变化后的手部对应在目标界面上的触摸点的位置信息。
在本申请的一些实施例中，电子设备可以实时获取第一用户的手部在物理空间中的位置信息，并根据获取的位置信息，确定该第一用户的手部在物理空间中的位置信息是否发生变化。
需要说明的是，针对电子设备获取第一用户的手部在物理空间中的位置信息的说明，可以参考上述实施例中电子设备获取第一位置信息和第二位置信息的具体描述，本申请实施例在此不再赘述。
在本申请的一些实施例中，电子设备可以根据第一用户变化后的手部在物理空间中的位置信息，和第一用户变化后的眼部在物理空间中的位置信息，确定第四位置信息。
需要说明的是，针对电子设备确定第四位置信息的说明，可以参考上述实施例中电子设备确定第三位置信息的具体描述，本申请实施例在此不再赘述。
步骤602、电子设备根据第三位置信息和第四位置信息，确定第五位置信息。
在本申请的一些实施例中，电子设备可以根据第三位置信息和第四位置信息之间的距离，确定第五位置信息。
可以理解，由于可能会出现第一用户的手部在物理空间中的位置信息变化大于或等于一个距离阈值的情况，因此，为了避免出现光标移动距离大于或等于另一个距离阈值，而导致光标移动不稳定的情况，电子设备可以根据第三位置信息和第四位置信息之间的距离，确定第五位置信息。
可选地，本申请实施例中，上述步骤602具体可以通过下述的步骤602a或步骤602b实现。
步骤602a、在第三位置信息和第四位置信息之间的距离大于或等于预设距离的情况下，电子设备将第六位置信息确定为第五位置信息。
本申请实施例中，上述第六位置信息是根据第三位置信息和预设距离确定的。
在本申请的一些实施例中，电子设备可以先确定从第三位置信息移动至第四位置信息的第一方向，然后再将从第三位置信息起沿第一方向移动预设距离后的位置信息，确定为第五位置信息。
可以理解，上述第三位置信息和第六位置信息之间的距离等于预设距离。
本申请实施例中，若上述第三位置信息和第四位置信息之间的距离大于或等于预设距离，则可以认为上述第一用户的手部在物理空间中的位置信息变化大于或等于一个距离阈值，因此，电子设备可以将根据第三位置信息和预设距离确定的第六位置信息确定为第五位置信息。
如此可知，由于电子设备可以在第三位置信息和第四位置信息之间的距离大于或等于预设距离的情况下，电子设备可以将第六位置信息确定为第五位置信息，以在该第五位置信息对应的显示区域显示光标，而不是在第四位置信息对应的显示区域显示光标，因此，可以避免出现光标移动不稳定的情况。
步骤602b、在第三位置信息和第四位置信息之间的距离小于预设距离的情况下，电子设备将第四位置信息确定为第五位置信息。
本申请实施例中，若第三位置信息和第四位置信息之间的距离小于预设距离，则可以认为第一用户的手部在物理空间中的位置信息变化小于一个距离阈值，即第一用户的手部在物理空间中的位置信息较小，因此，电子设备可以直接将第四位置信息确定为第五位置信息。
如此可知，电子设备可以在第三位置信息和第四位置信息之间的距离小于预设距离的情况下，直接将第四位置信息确定为第五位置信息，以快速地在第一用户需求的显示区域显示光标。
步骤603、电子设备在目标界面中的第二显示区域上显示光标。
本申请实施例中，上述第二显示区域为：第五位置信息对应的显示区域。
在本申请的一些实施例中，电子设备可以将目标界面中以第五位置信息为中心的预设范围内的显示区域，确定为第二显示区域，并将光标由第一显示区域移动至第二显示区域。
举例说明，结合图14，在电子设备在目标界面36的第一显示区域37上显示光标38之后，如图16所示，在第一用户的手部在物理空间中的位置信息发生变化的情况下，电子设备可以确定第五位置信息对应的第二显示区域39，并将光标38移动至该第二显示区域39。
需要说明的是，图16中是以虚线框来示意第二显示区域39的，在实际应用中电子设备可以不显示该虚线框。
如此可知，由于在第一用户的手部在物理空间中的位置信息发生变化的情况下，电子设备可以确定变化后的第一用户的手部对应在目标界面上的触摸点的第四位置信息，并根据第三位置信息和该第四位置信息，确定显示光标的第二显示区域对应的位置信息，而不是直接将第四位置信息确定为该第二显示区域对应的位置信息，因此，可以避免出现光标移动不稳定的情况。
当然，可能会出现第二显示区域与目标界面中的某个显示对象重叠的情况，此时电子设备可以显示提示信息，该提示信息用于提示可操作该某个显示对象，并根据第一用户朝向该某个显示对象的隔空手势，对该某个显示对象执行操作，以下将举例说明。
在本申请的一些实施例中，在电子设备在第二显示区域上显示光标之后，若电子设备检测到第二显示区域与第二显示对象重叠，则电子设备可以显示第一提示信息；其中，该第一提示信息用于提示可操作该第二显示对象，从而第一用户可以相对于投影显示的目标界面进行第三隔空手势，以使得电子设备可以对该第二显示对象，执行该第三隔空手势对应的操作。
举例说明，结合图16，如图17所示，在电子设备将光标38移动至第二显示区域39之后，若该第二显示区域39与第二显示对象(例如应用图标40)重叠，则电子设备可以显示第一提示信息，例如“可执行点击操作”提示信息41，从而第一用户可以相对于投影显示的目标界面36进行第三隔空手势。
进一步地，电子设备可以获取第二显示区域的坐标范围和第二显示对象的坐标范围，并在该第二显示区域的坐标范围和第二显示对象的坐标范围存在交集的情况下，确定第二显示区域与第二显示对象重叠。
进一步地，电子设备可以在第二显示区域的预定范围内的显示区域中，显示第一提示信息。
进一步地，上述第三隔空手势的数量可以为至少一个，该第三隔空手势可以包括以下至少一项：第一用户的左手手指的手势、第一用户的右手手指的手势。例如，第三隔空手势可以包括：第一用户的右手的食指和中指的手势，和第一用户的右手的食指的手势。
进一步地，第三隔空手势可以包括第四隔空手势和第五隔空手势，该第四隔空手势为第一用户相对于第二显示对象的隔空手势，该第四隔空手势用于触发电子设备显示操作选项菜单，该操作选项菜单中包括至少一个第一操作标识，每个操作标识分别对应一个第二操作，该第五隔空手势为第一用户相对于目标操作标识的隔空手势，该第五隔空手势用于触发电子设备执行目标操作标识对应的第二操作。
举例说明，结合图17，如图18所示，第一用户可以相对于应用图标40进行第四隔空手势，例如伸出食指和中指的手势，以使得电子设备可以显示操作选项菜单41，该操作选项菜单41中包括“返回主界面”操作标识、“窗口切换”操作标识、“上一个程序”操作标识、“手写笔”操作标识、“撤销操作”操作标识以及“退出菜单”操作标识，该“返回主界面”操作标识对应返回桌面操作，该“窗口切换”操作标识对应切换显示窗口操作，该“上一个程序”操作标识对应显示电子设备最后运行的应用程序的上一个应用程序的界面操作，该“手写笔”操作标识对应显示手写笔输入界面操作，该“撤销操作”操作标识对应取消第一用户触发的最后一个操作的操作，该“退出菜单”操作标识对应关闭操作选项菜单41操作，从而第一用户可以相对于“退出菜单”操作标识进行第五隔空手势，以使得电子设备可以取消显示操作选项菜单41。
当然，还可能会出现第一用户在触发电子设备移动光标的过程中，电子设备无法获取第一用户的手部或第一用户的眼部在物理空间中的位置信息的情况，此时电子设备可以停止移动光标，并在一段时间之后取消显示光标，以下将举例说明。
可选地，本申请实施例中，结合图13，如图19所示，在上述步骤501之后，本申请实施例提供的操作执行方法还可以包括下述的步骤701。
步骤701、在第一预设时长内未检测到第一部位的情况下，电子设备取消显示光标。
本申请实施例中，上述第一部位为以下任一项：第一用户的眼部、第一用户的手部。
在本申请的一些实施例中，电子设备可以实时获取物理空间的图像，并对该图像进行识别，从而电子设备可以在该图像中未识别到第一部位的情况下，确定无法获取第一部位在物理空间中的位置信息，以确定未检测到第一部位。
本申请实施例中，上述第一预设时长具体可以为：电子设备未识别到第一部位的时刻，至电子设备当前的系统时间的时刻之间的时长。
示例性地，上述第一预设时长具体可以为10秒。
本申请实施例中，若电子设备第一预设时长内未检测到第一部位，则可以认为第一用户可能不需要触发电子设备移动光标，因此，电子设备可以取消显示光标。
在本申请的一些实施例中，在第二预设时长内未检测到第一部位的情况下，电子设备可以在第一显示区域上显示光标。
在本申请的一些实施例中，第二预设时长小于第一预设时长。
本申请实施例中，若第二预设时长内未检测到第一部位，则可以认为第一用户可能因疲劳而闭合眼部，或第一用户可能因疲劳而收回手部，因此，电子设备可以继续在第一显示区域上显示光标。
如此可知，由于电子设备可以在第一预设时长内未检测到第一部位的情况下，才取消显示光标，因此，可以避免因疲劳，而导致误取消显示光标的情况。
本申请实施例提供的操作执行方法，执行主体可以为操作执行装置。本申请实施例中以操作执行装置执行操作执行方法为例，说明本申请实施例提供的操作执行装置的。
图20示出了本申请实施例中涉及的操作执行装置的一种可能的结构示意图。如图20所示，本申请实施例提供的操作执行装置50可以包括：获取模块51、确定模块52以及执行模块53。其中，获取模块51，用于在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；该第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；该第一位置信息为：第一隔空手势对应的第一用户的眼部在物理空间中的位置信息，该第二位置信息为：第一隔空手势对应的第一用户的手部在物理空间中的位置信息。确定模块52，用于根据获取模块51获取的第一位置信息和第二位置信息，确定第三位置信息；该第三位置信息为：在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息。执行模块53，用于对确定模块52确定的第三位置信息对应的第一显示对象，执行第一隔空手势对应的第一操作，该第一显示对象为目标界面中的显示对象。
本申请实施例提供一种操作执行装置，由于在识别到第一用户相对于投影显示的目标界面的第一隔空手势的情况下，操作执行装置可以根据第一用户的眼部在物理空间中的位置信息和第一用户的手部在物理空间中的位置信息，确定在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息，以准确地确定第一用户的眼部观察和手部朝向的第一显示对象的位置信息，因此，操作执行装置可以准确地对该第一显示对象执行该第一隔空手势对应的第一操作，而不是对第一用户不需求的显示对象执行该第一操作，即操作执行装置可以准确地确定第一隔空手势对应的第一显示对象，如此，可以提高操作执行装置执行用户的隔空手势对应的操作的准确性。
在一种可能的实现方式中，上述获取模块51，具体用于获取目标图像；该目标图像为第一隔空手势对应的用户图像，该目标图像中包括第一用户的眼部和第一用户的手部。上述确定模块52，还用于根据获取模块51获取的目标图像，确定N个目标坐标值；每个目标坐标值为：目标部位在物理空间对应的第一坐标系的一个坐标轴上的坐标值，该目标部位包括第一用户的眼部和第一用户的手部，N为大于1的正整数；并根据N个目标坐标值，确定第一位置信息和第二位置信息。其中，上述第一位置信息和第二位置信息均为：在第一坐标系中的坐标信息。
在一种可能的实现方式中，上述目标图像包括第一摄像设备采集的第一图像和第二摄像设备采集的第二图像，N个目标坐标值包括第一坐标值和第二坐标值。上述确定模块52，具体用于从第一图像中确定目标部位对应的第一特征点，并从第二图像中确定目标部位对应的第二特征点。结合图20，如图21所示，本申请实施例提供的操作执行装置50还可以包括：转换模块54。其中，转换模块54，用于将确定模块52确定的第一特征点的像素坐标值转换为第一坐标值，并将确定模块52确定的第二特征点的像素坐标值转换为第二坐标值。其中，上述第一摄像设备的光轴和第二摄像设备的光轴不平行。
在一种可能的实现方式中，上述第一摄像设备包括设置于不同位置的M个第一摄像头，上述第二摄像设备包括设置于不同位置的L个第二摄像头，M、L均为大于1的正整数。结合图21，如图22所示，本申请实施例提供的操作执行装置50还可以包括：采集模块55。其中，采集模块55，用于通过M个第一摄像头分别采集M个第三图像，并通过L个第二摄像头分别采集L个第四图像；每个第三图像分别是一个第一摄像头采集的，每个第四图像分别是一个第二摄像头采集的。上述确定模块52，还用于从采集模块55采集的M个第三图像中确定第一图像，并从采集模块55采集的L个第四图像中确定第二图像。
在一种可能的实现方式中，上述目标图像是深度摄像设备采集的；N个目标坐标值包括第一坐标值和第二坐标值。上述确定模块52，具体用于从目标图像中确定目标部位对应的第三特征点；该第三特征点对应第一深度信息。本申请实施例提供的操作执行装置50还可以包括：转换模块。其中，转换模块，用于将确定模块52确定的第三特征点的像素坐标值转换为第一坐标值，并根据第一深度信息计算得到第二坐标值。
在一种可能的实现方式中，上述确定模块52，具体用于根据第一位置信息和第二位置信息，确定目标直线；并将目标直线与目标界面之间的交点的位置信息，确定为第三位置信息。
在一种可能的实现方式中，本申请实施例提供的操作执行装置50还可以包括：显示模块。其中，显示模块，用于在目标界面中的第一显示区域上显示光标；该第一显示区域为：第三位置信息对应的显示区域。
在一种可能的实现方式中，上述确定模块52，还用于在第一用户的手部在物理空间中的位置信息发生变化的情况下，确定第四位置信息；该第四位置信息为：第一用户变化后的手部对应在目标界面上的触摸点的位置信息；并根据第三位置信息和第四位置信息，确定第五位置信息。上述显示模块，还用于在目标界面中的第二显示区域上显示光标；该第二显示区域为：第五位置信息对应的显示区域。
在一种可能的实现方式中，上述确定模块52，具体用于在第三位置信息和第四位置信息之间的距离大于或等于预设距离的情况下，将第六位置信息确定为第五位置信息；或者，在第三位置信息和第四位置信息之间的距离小于预设距离的情况下，将第四位置信息确定为第五位置信息。其中，上述第六位置信息是根据第三位置信息和预设距离确定的。
在一种可能的实现方式中，上述显示模块，还用于在第一预设时长内未检测到第一部位的情况下，取消显示光标；该第一部位为以下任一项：第一用户的眼部、第一用户的手部。
在一种可能的实现方式中，上述获取模块51，还用于在显示目标界面、且识别到第二隔空手势的情况下，获取第七位置信息和第八位置信息；上述第二隔空手势为第二用户相对于操作执行装置50的隔空手势；该第七位置信息为：第二隔空手势对应的第二用户的眼部在物理空间中的位置信息，该第八位置信息为：第二隔空手势对应的第二用户的手部在物理空间中的位置信息。上述确定模块52，还用于根据获取模块51获取的第七位置信息和第八位置信息，确定目标投影面。本申请实施例提供的操作执行装置50还可以包括：投影模块。其中，投影模块，用于在确定模块52确定的目标投影面上，投影显示目标界面。
本申请实施例中的操作执行装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性地，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(network attached storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的操作执行装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的操作执行装置能够实现图1至图19的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，本申请实施例中，如图23所示，本申请实施例还提供一种电子设备60，包括处理器61和存储器62，存储器62上存储有可在所述处理器61上运行的程序或指令，该程序或指令被处理器61执行时实现上述操作执行方法实施例的各个过程步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图24为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图24中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器110，用于在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；该第一隔空手势为第一用户相对于目标界面的隔空手势；该第一位置信息为：第一隔空手势对应的第一用户的眼部在物理空间中的位置信息，该第二位置信息为：第一隔空手势对应的第一用户的手部在物理空间中的位置信息；并根据第一位置信息和第二位置信息，确定第三位置信息；该第三位置信息为：在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息；以及，对第三位置信息对应的第一显示对象，执行第一隔空手势对应的第一操作，该第一显示对象为目标界面中的显示对象。
本申请实施例提供一种电子设备，由于在识别到第一用户相对于投影显示的目标界面的第一隔空手势的情况下，电子设备可以根据第一用户的眼部在物理空间中的位置信息和第一用户的手部在物理空间中的位置信息，确定在沿第一用户的眼部至第一用户的手部的方向上，第一隔空手势对应在目标界面上的触摸点的位置信息，以准确地确定第一用户的眼部观察和手部朝向的第一显示对象的位置信息，因此，电子设备可以准确地对该第一显示对象执行该第一隔空手势对应的第一操作，而不是对第一用户不需求的显示对象执行该第一操作，即电子设备可以准确地确定第一隔空手势对应的第一显示对象，如此，可以提高电子设备执行用户的隔空手势对应的操作的准确性。
可选地，本申请实施例中，处理器110，还用于获取目标图像；该目标图像为第一隔空手势对应的用户图像，该目标图像中包括第一用户的眼部和第一用户的手部；并根据目标图像，确定N个目标坐标值；每个目标坐标值为：目标部位在物理空间对应的第一坐标系的一个坐标轴上的坐标值，该目标部位包括第一用户的眼部和第一用户的手部，N为大于1的正整数；以及，根据N个目标坐标值，确定第一位置信息和第二位置信息。
其中，上述第一位置信息和第二位置信息均为：在第一坐标系中的坐标信息。
可选地，本申请实施例中，上述目标图像包括第一摄像设备采集的第一图像和第二摄像设备采集的第二图像，N个目标坐标值包括第一坐标值和第二坐标值。
处理器110，具体用于从第一图像中确定目标部位对应的第一特征点，并从第二图像中确定目标部位对应的第二特征点；并将第一特征点的像素坐标值转换为第一坐标值，并将第二特征点的像素坐标值转换为第二坐标值。
其中，上述第一摄像设备的光轴和第二摄像设备的光轴不平行。
可选地，本申请实施例中，上述第一摄像设备包括设置于不同位置的M个第一摄像头，上述第二摄像设备包括设置于不同位置的L个第二摄像头，M、L均为大于1的正整数。
输入单元104，用于通过M个第一摄像头分别采集M个第三图像，并通过L个第二摄像头分别采集L个第四图像；每个第三图像分别是一个第一摄像头采集的，每个第四图像分别是一个第二摄像头采集的。
处理器110，还用于从M个第三图像中确定第一图像，并从L个第四图像中确定第二图像。
可选地，本申请实施例中，上述目标图像是深度摄像设备采集的；N个目标坐标值包括第一坐标值和第二坐标值。
处理器110，具体用于从目标图像中确定目标部位对应的第三特征点；该第三特征点对应第一深度信息；并将第三特征点的像素坐标值转换为第一坐标值，以及，根据第一深度信息计算得到第二坐标值。
可选地，本申请实施例中，处理器110，具体用于根据第一位置信息和第二位置信息，确定目标直线；并将目标直线与目标界面之间的交点的位置信息，确定为第三位置信息。
可选地，本申请实施例中，显示单元106，用于在目标界面中的第一显示区域上显示光标；该第一显示区域为：第三位置信息对应的显示区域。
可选地，本申请实施例中，处理器110，还用于在第一用户的手部在物理空间中的位置信息发生变化的情况下，确定第四位置信息；该第四位置信息为：第一用户变化后的手部对应在目标界面上的触摸点的位置信息；并根据第三位置信息和第四位置信息，确定第五位置信息。
显示单元106，还用于在目标界面中的第二显示区域上显示光标；该第二显示区域为：第五位置信息对应的显示区域。
可选地，本申请实施例中，处理器110，具体用于在第三位置信息和第四位置信息之间的距离大于或等于预设距离的情况下，将第六位置信息确定为第五位置信息；或者，在第三位置信息和第四位置信息之间的距离小于预设距离的情况下，将第四位置信息确定为第五位置信息。
其中，上述第六位置信息是根据第三位置信息和预设距离确定的。
可选地，本申请实施例中，显示单元106，还用于在第一预设时长内未检测到第一部位的情况下，取消显示光标；该第一部位为以下任一项：第一用户的眼部、第一用户的手部。
可选地，本申请实施例中，处理器110，还用于在识别到第二隔空手势的情况下，获取第七位置信息和第八位置信息；上述第二隔空手势为第二用户相对于电子设备的隔空手势；该第七位置信息为：第二隔空手势对应的第二用户的眼部在物理空间中的位置信息，该第八位置信息为：第二隔空手势对应的第二用户的手部在物理空间中的位置信息；并根据第七位置信息和第八位置信息，确定目标投影面；
显示单元106，还用于在目标投影面上，投影显示目标界面。
应理解的是，本申请实施例中，输入单元104可以包括图形处理器(graphicsprocessing unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器109可以包括易失性存储器或非易失性存储器，或者，存储器109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
处理器110可包括一个或多个处理单元；可选的，处理器110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述操作执行方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述操作执行方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述操作执行方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种操作执行方法，其特征在于，所述方法包括：
在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；所述第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；所述第一位置信息为：所述第一隔空手势对应的所述第一用户的眼部在物理空间中的位置信息，所述第二位置信息为：所述第一隔空手势对应的所述第一用户的手部在所述物理空间中的位置信息；
根据所述第一位置信息和所述第二位置信息，确定第三位置信息；所述第三位置信息为：在沿所述第一用户的眼部至所述第一用户的手部的方向上，所述第一隔空手势对应在所述目标界面上的触摸点的位置信息；
对所述第三位置信息对应的第一显示对象，执行所述第一隔空手势对应的第一操作，所述第一显示对象为所述目标界面中的显示对象。
2.根据权利要求1所述的方法，其特征在于，所述获取第一位置信息和第二位置信息，包括：
获取目标图像；所述目标图像为所述第一隔空手势对应的用户图像，所述目标图像中包括所述第一用户的眼部和所述第一用户的手部；
根据所述目标图像，确定N个目标坐标值；每个所述目标坐标值为：目标部位在所述物理空间对应的第一坐标系的一个坐标轴上的坐标值，所述目标部位包括所述第一用户的眼部和所述第一用户的手部，N为大于1的正整数；
根据N个所述目标坐标值，确定所述第一位置信息和所述第二位置信息；
其中，所述第一位置信息和所述第二位置信息均为：在所述第一坐标系中的坐标信息。
3.根据权利要求2所述的方法，其特征在于，所述目标图像包括第一摄像设备采集的第一图像和第二摄像设备采集的第二图像，N个所述目标坐标值包括第一坐标值和第二坐标值；
所述根据所述目标图像，确定N个目标坐标值，包括：
从所述第一图像中确定所述目标部位对应的第一特征点，并从所述第二图像中确定所述目标部位对应的第二特征点；
将所述第一特征点的像素坐标值转换为所述第一坐标值，并将所述第二特征点的像素坐标值转换为所述第二坐标值；
其中，所述第一摄像设备的光轴和所述第二摄像设备的光轴不平行。
4.根据权利要求3所述的方法，其特征在于，所述第一摄像设备包括设置于不同位置的M个第一摄像头，所述第二摄像设备包括设置于不同位置的L个第二摄像头，M、L均为大于1的正整数；
在所述从所述第一图像中确定目标部位对应的第一特征点，并从所述第二图像中确定所述目标部位对应的第二特征点之前，所述方法还包括：
通过M个所述第一摄像头分别采集M个第三图像，并通过L个所述第二摄像头分别采集L个第四图像；每个所述第三图像分别是一个所述第一摄像头采集的，每个所述第四图像分别是一个所述第二摄像头采集的；
从M个所述第三图像中确定所述第一图像，并从L个所述第四图像中确定所述第二图像。
5.根据权利要求2所述的方法，其特征在于，所述目标图像是深度摄像设备采集的；N个所述目标坐标值包括第一坐标值和第二坐标值；
所述根据所述目标图像，确定N个目标坐标值，包括：
从所述目标图像中确定所述目标部位对应的第三特征点；所述第三特征点对应第一深度信息；
将所述第三特征点的像素坐标值转换为所述第一坐标值，并根据所述第一深度信息计算得到所述第二坐标值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息，确定第三位置信息，包括：
根据所述第一位置信息和所述第二位置信息，确定目标直线；
将所述目标直线与所述目标界面之间的交点的位置信息，确定为所述第三位置信息。
7.根据权利要求1所述的方法，其特征在于，在所述根据所述第一位置信息和所述第二位置信息，确定第三位置信息之后，所述方法还包括：
在所述目标界面中的第一显示区域上显示光标；所述第一显示区域为：所述第三位置信息对应的显示区域。
8.根据权利要求7所述的方法，其特征在于，在所述目标界面中的第一显示区域上显示光标之后，所述方法还包括：
在所述第一用户的手部在所述物理空间中的位置信息发生变化的情况下，确定第四位置信息；所述第四位置信息为：所述第一用户变化后的手部对应在所述目标界面上的触摸点的位置信息；
根据所述第三位置信息和所述第四位置信息，确定第五位置信息；
在所述目标界面中的第二显示区域上显示所述光标；所述第二显示区域为：所述第五位置信息对应的显示区域。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第三位置信息和所述第四位置信息，确定第五位置信息，包括：
在所述第三位置信息和所述第四位置信息之间的距离大于或等于预设距离的情况下，将第六位置信息确定为所述第五位置信息；
在所述第三位置信息和所述第四位置信息之间的距离小于所述预设距离的情况下，将所述第四位置信息确定为所述第五位置信息；
其中，所述第六位置信息是根据所述第三位置信息和所述预设距离确定的。
10.根据权利要求7所述的方法，其特征在于，在所述目标界面中的第一显示区域上显示光标之后，所述方法还包括：
在第一预设时长内未检测到第一部位的情况下，取消显示所述光标；所述第一部位为以下任一项：所述第一用户的眼部、所述第一用户的手部。
11.根据权利要求1所述的方法，其特征在于，在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息之前，所述方法还包括：
在识别到第二隔空手势的情况下，获取第七位置信息和第八位置信息；所述第二隔空手势为第二用户相对于电子设备的隔空手势；所述第七位置信息为：所述第二隔空手势对应的所述第二用户的眼部在所述物理空间中的位置信息，所述第八位置信息为：所述第二隔空手势对应的所述第二用户的手部在所述物理空间中的位置信息；
根据所述第七位置信息和所述第八位置信息，确定目标投影面；
在所述目标投影面上，投影显示所述目标界面。
12.一种操作执行装置，其特征在于，所述操作执行装置包括：获取模块、确定模块以及执行模块；
所述获取模块，用于在识别到第一隔空手势的情况下，获取第一位置信息和第二位置信息；所述第一隔空手势为第一用户相对于投影显示的目标界面的隔空手势；所述第一位置信息为：所述第一隔空手势对应的所述第一用户的眼部在物理空间中的位置信息，所述第二位置信息为：所述第一隔空手势对应的所述第一用户的手部在所述物理空间中的位置信息；
所述确定模块，用于根据所述获取模块获取的所述第一位置信息和所述第二位置信息，确定第三位置信息；所述第三位置信息为：在沿所述第一用户的眼部至所述第一用户的手部的方向上，所述第一隔空手势对应在所述目标界面上的触摸点的位置信息；
所述执行模块，用于对所述确定模块确定的所述第三位置信息对应的第一显示对象，执行所述第一隔空手势对应的第一操作，所述第一显示对象为所述目标界面中的显示对象。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至11中任一项所述的操作执行方法的步骤。
14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至11中任一项所述的操作执行方法的步骤。
CN202310858355.3A 2023-07-13 2023-07-13 操作执行方法、装置、电子设备及可读存储介质 Pending CN116841397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310858355.3A CN116841397A (zh) 2023-07-13 2023-07-13 操作执行方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310858355.3A CN116841397A (zh) 2023-07-13 2023-07-13 操作执行方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116841397A true CN116841397A (zh) 2023-10-03

Family

ID=88172403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310858355.3A Pending CN116841397A (zh) 2023-07-13 2023-07-13 操作执行方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116841397A (zh)

Similar Documents

Publication Publication Date Title
US10761612B2 (en) Gesture recognition techniques
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
KR101688355B1 (ko) 다수의 지각 감지 입력의 상호작용
US8525876B2 (en) Real-time embedded vision-based human hand detection
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
O'Hagan et al. Visual gesture interfaces for virtual environments
US20110115892A1 (en) Real-time embedded visible spectrum light vision-based human finger detection and tracking method
US11047691B2 (en) Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications
WO2016109409A1 (en) Virtual lasers for interacting with augmented reality environments
US9703371B1 (en) Obtaining input from a virtual user interface
US20130343607A1 (en) Method for touchless control of a device
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
CA2955072C (en) Reflection-based control activation
WO2023273372A1 (zh) 手势识别对象确定方法及装置
US9958946B2 (en) Switching input rails without a release command in a natural user interface
CN111901518B (zh) 显示方法、装置和电子设备
WO2024012268A1 (zh) 虚拟操作方法、装置、电子设备及可读存储介质
CN116841397A (zh) 操作执行方法、装置、电子设备及可读存储介质
Matulic et al. Above-Screen Fingertip Tracking with a Phone in Virtual Reality
JP2021009552A (ja) 情報処理装置、情報処理方法およびプログラム
Pullan et al. High Resolution Touch Screen Module
Tao et al. Human-Computer Interaction Using Fingertip Based on Kinect
CN116027908A (zh) 颜色获取方法、装置、电子设备及存储介质
CN117908720A (zh) 光标的控制方法和控制装置
Niikura et al. In‐Air finger motion interface for mobile devices with vibration feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination