CN115715405A - 手部姿态估计方法、移动设备、头戴式显示器及系统 - Google Patents

手部姿态估计方法、移动设备、头戴式显示器及系统 Download PDF

Info

Publication number
CN115715405A
CN115715405A CN202180042923.1A CN202180042923A CN115715405A CN 115715405 A CN115715405 A CN 115715405A CN 202180042923 A CN202180042923 A CN 202180042923A CN 115715405 A CN115715405 A CN 115715405A
Authority
CN
China
Prior art keywords
hand
time
mobile device
gesture
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180042923.1A
Other languages
English (en)
Inventor
徐毅
周扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN115715405A publication Critical patent/CN115715405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

一种方法包括：当移动设备被绑定到头戴式显示器(HMD)上并且当该移动设备被第一只手握住时，移动设备感测第一数据；移动设备从第一数据中检测指示哪只手用于执行手势的信息；移动设备将该信息发送给HMD；HMD接收该信息，并且HMD不通过基于图像的检测方法检测该信息，其中，该手势由第二只手执行，并且该信息是关于手势的更新指示，该关于手势的更新指示考虑到从第一数据的感测时间到第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；以及HMD使用该信息对第一图像数据执行侧适配的手部姿态估计。

Description

手部姿态估计方法、移动设备、头戴式显示器及系统
技术领域
本公开涉及通过头戴式显示器估计手部姿态的领域。
背景技术
手势可用于用户与头戴显示器(HMD)中呈现的虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或扩展现实(XR)环境进行交互。可以通过对手势的图像数据执行手部姿态估计来估计手势。在图像数据上执行手部姿态估计是从图像数据中找到用于执行手势的手部的一组关节(例如，2D或3D关键点位置)的任务。对于使用侧适配的手部姿态估计的手部姿态估计，需要知道使用两只手(即，左手和右手)中的哪只手来执行手势的信息。对于一种类型的侧适配的手部姿态估计，需要知道使用两只手中的哪一只用于执行手势的信息，以确定是使用右手姿态估计还是左手姿态估计以对侧相关(side-dependent)的图像数据执行侧相关(side-dependent)的手部姿态估计。对于另一种类型的侧适配的手部姿态估计，需要知道两只手中的哪一只用于执行手势的信息来确定是否翻转图像数据以对与侧面无关的(side-agnostic)图像数据执行侧相关的手部姿态估计。
用于获得关于两只手中的哪只手用于执行手势的信息的一种方法是要求用户明确指定用户的倾向手(即，惯用手)，并且倾向手总是被用作两只手中的哪只手用于执行每个手势的信息。然而，这种方法并不是对所有情况都可行。例如，对于某些情况，用户可以使用他/她的右手来执行一个手势，然后用户可以切换到使用他/她的左手来执行另一手势。用于获得两只手中哪只手用于执行手势的信息的另一方法是通过基于成像的检测方法从图像数据中检测该信息。对于该方法，有利的是，这两只手中的哪只手用于执行手势的信息会根据手势更新。
发明内容
对于现有的手部姿态估计，使用基于成像的检测方法从手势的图像数据中检测哪只手用于执行该手势的信息，由于检测哪只手用于执行手势的信息的步骤是较慢步骤和顺序处理步骤中的至少一个，所以该手部姿态估计的总体速度减慢。当头戴式显示器(HMD)被绑定在移动设备上，并且，移动设备还被用作用户与HMD中呈现的虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或扩展现实(XR)环境交互的输入设备时，使用基于成像的检测方法的现有的手部姿态估计无法实现如本公开所提出的，使用移动设备来检测指示哪只手用于执行手势的信息提高了现有的手部姿态估计的速度。
根据本发明的第一方面，一种由移动设备执行的方法包括：当所述移动设备被绑定到HMD时，以及当所述移动设备被第一只手握住时，所述移动设备的感测设备感测第一数据；所述移动设备的至少一个处理器检测指示哪只手用于执行手势的信息，所述手势待由所述HMD的至少一个自有或代理处理器从第一图像数据估计，其中，指示哪只手用于执行所述手势的所述信息不由HMD借助基于成像的检测方法从所述第一图像数据中检测，而是从所述第一数据中检测；所述移动设备的所述至少一个处理器向所述HMD的所述至少一个自有或代理处理器发送指示哪只手用于执行所述手势的所述信息，所述发送步骤的执行时间点使得HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息对第一图像数据执行侧适配的手部姿态估计；其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到在从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态。
根据本发明的第二方面，一种由HMD执行的方法包括：所述HMD的至少一个自有或代理处理器接收指示哪只手用于执行手势的信息，所述要从第一图像数据中估计得到，并且所述HMD的所述至少一个自有或代理处理器不通过基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；其中，检测指示哪只手用于执行所述手势的所述信息是移动设备在所述HMD被绑定到所述移动设备上并且当所述移动设备被第一只手握住时，从所述移动设备的感测设备感测的第一数据中检测的，以及其中手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到从第一数据的感测时间到第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；以及所述HMD的至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息对第一图像数据执行侧适配的手部姿态估计。
根据本发明的第三方面，一种由移动设备和HMD执行的方法包括：当所述移动设备被绑定到所述HMD时并且当所述移动设备被第一只手握住时，所述移动设备的感测设备感测第一数据；所述移动设备的至少一个处理器检测指示哪只手用于执行手势的信息，所述手势要由所述HMD的至少一个自有或代理处理器从第一图像数据估计，其中，指示哪只手用于执行所述手势的所述信息是从所述第一数据中检测的；所述移动设备的所述至少一个处理器向所述HMD的所述至少一个自有或代理处理器发送指示哪只手用于执行所述手势的所述信息；所述HMD的所述至少一个自有或代理处理器接收指示哪只手用于执行所述手势的所述信息，并且所述HMD的所述至少一个自有或代理处理器不通过基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，所述手势的更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和所述HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息对所述第一图像数据执行侧适配的手部姿态估计。
根据本公开的第四方面，一种移动设备，包括：感测设备，所述感测设备被配置为在所述移动设备被绑定到头戴式显示器(HMD)上并且当所述移动设备被第一只手握住时执行感测第一数据的步骤；存储器；和至少一个处理器，所述至少一个处理器联接到所述存储器且被配置为执行步骤，所述步骤包括：检测指示哪只手用于执行手势的信息，所述手势待由所述HMD的至少一个自有或代理处理器从第一图像数据估计，其中，指示哪只手用于执行所述手势的所述信息不通过所述HMD借助基于成像的检测方法从所述第一图像数据中检测，而是从所述第一数据中检测；将指示哪只手用于执行所述手势的所述信息发送到所述HMD的所述至少一个自有或代理处理器，所述发送步骤的执行时间点使得HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息对所述第一图像数据执行侧适配的手部姿态估计；其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到在从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态。
根据本公开的第五方面，一种HMD包括：存储器；和至少一个自有处理器，所述至少一个自有处理器联接到所述存储器且被配置为执行步骤，所述步骤包括：接收指示哪只手用于执行手势的信息，所述手势要从第一图像数据估计得到，并且不借助基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；其中，当所述HMD绑定到所述移动设备上并且当所述移动设备被第一只手握住时，所述移动设备从由所述移动设备的感测设备感测的第一数据中检测指示哪只手用于执行所述手势的所述信息；和其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和使用指示哪只手用于执行所述手势的所述信息对第一图像数据执行侧适配的手部姿态估计。
根据本公开的第六方面，一种系统，包括移动设备和头戴式显示器(HMD)。所述移动设备包括：感测设备，所述感测设备被配置为当所述移动设备被绑定到头戴式显示器(HMD)上并且当所述移动设备被第一只手握住时执行感测第一数据的步骤；第一存储器；和至少一个处理器，所述至少一个处理器联接到所述第一存储器且被配置为执行步骤，所述步骤包括：检测指示哪只手用于执行手势的信息，所述手势待由所述HMD的至少一个自有或代理处理器从第一图像数据估计，其中，指示哪只手用于执行所述手势的所述信息是从所述第一数据中检测的；所述移动设备的所述至少一个处理器向所述HMD的所述至少一个自有或代理处理器发送指示哪只手用于执行所述手势的所述信息。所述HMD包括：第二存储器；和至少一个自有或代理处理器，所述至少一个自有或代理处理器联接到所述第二存储器，且被配置为执行步骤，所述步骤包括：接收指示哪只手用于执行所述手势的所述信息，并且不通过基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和其中，由所述HMD的所述至少一个自有或代理处理器执行的步骤还包括：使用指示哪只手用于执行所述手势的所述信息对所述第一图像数据执行侧适配的手部姿态估计。
附图说明
为了更清楚地说明本公开或相关技术的实施例，简要地介绍将在实施例中描述的以下附图。很明显，附图仅仅是本公开的一些实施例，并且在本领域具有普通技术的人可以根据这些附图获得其他附图，而无需做出创造性的努力。
图1是示出了现有的手部姿态估计的框图，该现有的手部姿态估计使用基于成像的检测方法来从手势的图像数据中检测哪只手用于执行手势的信息。
图2是根据本公开的一些实施例的由移动设备执行的用于估计手势的方法的流程图。
图3是根据本公开的一些实施例的由头戴式显示器(HMD)执行的用于估计手势的方法的流程图。
图4和图5包括根据本公开的一些实施例的协同地实现指示哪只手用于执行手势的信息是关于手势的更新指示的步骤的流程图，考虑到当第一经过时间段短于不可能进行手切换的最长时间段，以及当第一经过时间段等于不可能进行手切换的最长时间段时，在第一经过时间段期间不可能发生手切换。
图6和图7包括根据本公开的一些实施例的协同地实现指示哪只手用于执行手势的信息是考虑到以下内容的关于手势的更新指示的步骤的流程图，考虑到当第一经过时间段短于不可能进行手切换的最长时间段时，当第一经过时间段等于不可能进行手切换的最长时间段时，以及当第一经过时间段长于不可能进行手切换的最长时间段时，在第一经过时间段内检测到每一个第一发生手切换。
图7和图8包括根据本公开的一些实施例的协同地实现指示哪只手用于执行手势的信息是关于手势的更新指示的步骤的流程图，考虑到当所述第一经过的时间段短于不可能进行手切换的最长时间段，以及当所述第一经过时间段等于不可能进行手切换的最长时间段时，在所述第一经过的时间段期间不可能发生手切换，以及当所述第一经过时间段长于不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
图9包括根据本公开的一些实施例的与使用模式数据和确证数据有关的步骤的流程图，用于检测指示哪只手用于执行手势的信息。
图10包括根据本公开的一些实施例的由移动设备执行的图9中的步骤和由HMD执行的对应的步骤的流程图。
图11和图12示出了针对一些实施例的说明性示例，在该些实施例中，使用基于空闲手姿态图像数据的确证数据的优选特征和触摸输入模式数据的优选特征。
图13是根据本公开的一些实施例的与使用反映移动设备的取向的数据来检测指示哪只手用于执行手势的信息有关的步骤的流程图。
图14示出了针对其中使用反映移动设备的取向的数据的特征的一些实施例的说明性示例。
图15是根据本公开的一些实施例的与使用由移动设备的成像设备感测的图像数据用于检测指示哪只手用于执行手势的信息有关的步骤的流程图。
图16示出了针对其中使用由移动设备的成像设备感测的图像数据的特征的一些实施例的说明性示例。
图17示出了基于本公开的一些实施例的由HMD的至少一个自有或代理处理器执行的方法的一部分和由移动设备的至少一个处理器执行的方法的一部分的并行处理的时间线图。
图18示出了基于本公开的一些实施例的由HMD的至少一个自有或代理处理器执行的方法的一部分和由移动设备的至少一个处理器执行的方法的一部分的并行处理的时间线图。
图19示出了根据本公开的一些实施例可以实现本文所述的方法的系统的图。
具体实施方式
如本文所使用的，当至少一个操作被称为“使用”、“从”、“对”、或者“基于”至少一个对象执行时，该至少一个操作是“直接使用”、“直接从”、“直接对”、或“直接基于”该至少一个对象执行的，或者可以存在至少一个中间操作。相反，当该至少一个操作被称为“直接使用”、“直接来自”、“直接对”、或“直接基于”至少一个对象执行时，不存在中间操作。
如本文所使用的，当至少一个操作被称为“响应于”至少另一操作时，该至少一个操作是“直接响应于”该至少另一操作来执行，或者可以存在至少一个中间操作。相反，当至少一个操作被称为“直接响应于”至少另一操作而执行时，不存在中间操作。
参照图1，图1是示出了现有的手部姿态估计的框图，其使用基于成像的检测方法来从手势的图像数据中检测哪只手用于执行该手势的信息。现有的手部姿态估计100的示例可以在ICCV2017中的作者为C.Zimmermann和T.Brox的“Learning to Estimate 3D handpose from Single RGB Images”中找到。现有的手部姿态估计100接收该手势的图像数据112，并被配置为从图像数据中找到用于执行该手势的手122的一组关节。现有的手部姿态估计100包括对象检测网络102和侧适配(side-adapted)的手部姿态估计模块110。对象检测网络102包括手检测模块104、手图像裁剪模块106、和手势执行手信息检测模块108。对象检测网络102接收图像数据112，并被配置为从图像数据112检测哪只手用于执行该手势的信息。如此，通过对象检测的深度学习模型(即，基于成像的检测方法)来实现手势执行手信息检测模块108。更具体地，对象检测网络102首先被离线训练，然后用于在线推断。手检测模块104接收图像数据112，并被配置为在线推断期间输出手存在概率114(范围从0到1)和手部位置116(例如，图像数据112中围绕手的边界框)。手存在概率114确定现有的手部姿态估计100是否将执行现有的手部姿态估计100的后续部分。例如，如果手存在概率114低于特定阈值(例如0.5)，则将不执行现有的手部姿态估计100的后续部分。如果手存在概率114高于该特定阈值，则手图像裁剪模块106接收图像数据112和手部位置116，并被配置为使用手部位置116裁剪图像数据112，以生成裁剪后的图像数据118。因此，现有的手部姿态估计100的后续部分仅聚焦于手。因为较少数量的背景像素被处理，导致更好的手部姿态估计精度。手势执行手信息检测模块108接收裁剪后的图像数据118，并被配置为使用裁剪后的图像数据118确定哪只手用于执行手势120的信息(即，该手是左手还是右手的概率范围，该概率范围为0至1)。对于一种类型的侧适配的手部姿态估计模块110，使用哪只手用于执行手势120的信息来确定是使用右手姿态估计还是左手姿态估计来对侧相关的裁剪后的图像数据118执行侧相关的手部姿态估计。对于另一类型的侧适配的手部姿态估计模块110，使用哪只手用于执行手势120的信息来确定是否沿着y轴翻转裁剪后的图像数据118以对与侧面无关的裁剪后的图像数据执行侧相关的手部姿态估计。侧适配的手部姿态估计模块110输出用于执行该手势的手122的一组关节。
对于使用基于成像的检测方法来从手势的图像数据中检测哪只手用于执行该手势的信息的现有的手部姿态估计100，由于由手势执行手信息检测模块108执行的检测哪只手用于执行手势的信息的步骤是顺序处理步骤中和较慢的步骤的至少一个，所以该手部姿态估计方法的总体速度减慢。当头戴式显示器(HMD)被绑定在移动设备上，并且移动设备被另外地用作用户与HMD中呈现的虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或扩展现实(XR)环境交互的输入设备时，使用现有的手部姿态估计100不能认识到如本公开所提出的，使用移动设备来检测指示哪只手用于执行手势的信息提高了现有的手部姿态估计100的速度。
根据本公开的第一实施例，移动设备可用于从移动设备感测的数据中检测哪只手握住移动设备的信息。由于移动设备感测的数据与手势的图像数据是分离的，为了使哪只手握住移动设备的信息提供关于手势更新的哪只手用于执行手势的指示，从移动设备感测的数据的感测时间到手势的图像数据的感测时间的经过时间段期间的手切换状态需要对于手切换是不可能的或者需要对于手切换是可能的，并且检测该经过时间段期间的每一次手切换的发生。通过这种方式，由于当手切换不可能时，执行手势的手必须与握住移动设备的手相对，以及当手切换可能并且检测经过时间段内的每一次手切换的发生时，执行手势的手必须与从哪只手握住移动设备的信息和手切换的发生次数推断出的最后一次握住移动设备的手相对，所以哪只手用于执行手势的信息可以从哪只手握住移动设备的信息推断出。通过并行处理手部姿态估计的HMD执行部分和手部姿态估计的移动设备执行部分，可以改进现有的手部姿态估计100的检测使用哪只手执行手势的信息的步骤是顺序处理步骤的不足。此外，对于现有的手部姿态估计100来说，检测哪只手用于执行手势的信息的步骤是较慢的步骤这一缺陷可以通过使用由移动设备感测的数据的类型来改进，该类型的数据导致与基于成像的检测方法相比更快地检测哪只手握住移动设备的信息。用于改进该缺陷的任何解决方案都可以与在手部姿态估计中顺序处理检测哪只手用于执行手势的信息的步骤结合使用，或者并行处理手部姿态估计的HMD执行部分和手部姿态估计的移动设备执行部分。
同时参考图2和图3，图2是根据本公开的第一实施例的由移动设备1904执行的用于估计手势的方法200的流程图，图3是由HMD 1902执行的用于估计手势的方法300的流程图。
根据本公开的第一实施例，由移动设备1904执行的方法200包括以下步骤。
在步骤202中，当移动设备1904被绑定到HMD 1902并且当移动设备1904被第一只手握住时，移动设备1904的感测设备感测第一数据。在将参照图9到图12描述的感测设备的实施例中，感测设备是触摸屏1918。在将参照图13和图14描述的感测设备的另一实施例中，感测设备是至少一个第一惯性传感器1920。在将参照图15和图16描述的感测设备的又一实施例中，感测设备是成像设备1922。
在步骤212中，移动设备1904的至少一个处理器1926检测指示哪只手用于执行手势的信息，该手势从第一图像数据估计得到。指示哪只手用于执行手势的信息是从第一数据中检测的。
在步骤222中，移动设备1904的至少一个处理器1926将指示哪只手用于执行手势的信息发送到HMD 1902的至少一个自有或代理处理器1912或1926。
由第二只手执行手势，指示哪只手用于执行手势的信息是关于手势的更新指示，该关于手势的更新指示考虑到从第一数据的感测时间到第一图像数据的感测时间之间的第一经过时间段期间的手切换状态。
根据本公开的第一实施例，由HMD 1902执行的方法300包括以下步骤。
在步骤332中，HMD 1902的成像设备1908感测第一图像数据。优选地，成像设备1908是HMD 1902的面向外的机载成像设备。可选地，由设置在用户所在空间中的多个成像设备感测第一图像数据。说明性地，第一图像数据是单个图像。可选地，第一图像数据是多个图像或多个视频帧。
在步骤342中，响应于步骤222，由HMD 1902的至少一个自有或代理处理器1912或1926接收指示哪只手用于执行待从第一图像数据估计的手势的信息，并且该信息不由HMD1902的至少一个自有或代理处理器1912或1926通过基于图像的检测方法从第一图像数据中检测。
如本文所使用的，术语“基于成像的检测方法”是指对图像数据执行对象检测的方法。图像数据可以由图19中的成像设备1908产生。现有的手部姿态估计100中的基于深度学习的对象检测是基于成像的检测方法的示例。其它类型的对象检测在本公开的预期的范围内。
在步骤352中，HMD 1902的至少一个自有或代理处理器1912或1926使用指示哪只手用于执行手势的信息来对第一图像数据执行侧适配的手部姿态估计。
手势由第二只手执行，指示哪只手用于执行手势的信息是关于手势的更新指示，该关于手势的更新指示考虑到从第一数据的感测时间到第一图像数据的感测时间之间的第一经过时间段期间的手切换状态。
类似于现有的手部姿态估计100，由HMD 1902执行的方法300示例性地还包括类似于由手检测模块104执行的步骤的手检测的步骤，以及类似于在图3中的步骤332之后和图3中的步骤352之前由手图像裁剪模块106执行的裁剪第一图像数据的步骤。
方法200还包括的至少一个步骤和/或方法200中的至少一个步骤中的每个步骤至少包括的步骤子集与方法300还包括的至少一个步骤和/或方法300中的至少一个步骤包括的至少一个步骤子集中的每个合作，以实现指示哪只手用于执行手势的信息是关于手势的更新指示，该手势的更新指示考虑到在第一经过时间段期间的手切换状态。
说明性地，当第一经过时间段短于不可能进行手切换的最长时间段以及当第一经过时间段等于不可能进行手切换的最长时间段时，在所述第一经过时间段期间的手切换状态为不可能发生手切换。该不可能进行手切换的最长时间段是在移动设备1904被切换为由第一只手的相对手握住之后，不足以发生出现该第二只手成为该第一只手的此种可能的最长时间段。详细的实现将参考图4和图5描述。
对于不可能进行手切换的最长时间段，当由移动设备1904感测的第一数据的感测时间和手势的第一图像数据的感测时间彼此重叠时，确定在第一经过时间段期间不可能发生手切换。当由移动设备1904感测的第一数据的感测时间和手势的第一图像数据的感测时间彼此不重叠时，通过经验研究确定该不可能进行手切换的最长时间段(即，阈值)。将在图4中的步骤420中描述如何使用阈值的示例。
图4和图5包括协同地实现指示哪只手用于执行手势的信息是关于手势的更新指示的步骤的流程图，该关于手势的更新指示考虑到当第一经过时间段短于不可能进行手切换的最长时间段以及当第一经过时间段等于不可能进行手切换的最长时间段时，在第一经过时间段期间不可能发生手切换。图4的流程图包括方法200还包括的至少一个步骤和/或方法200中的至少一个步骤中的每个步骤包括的至少一个步骤子集。图5的流程图包括方法300还包括的至少一个步骤和/或方法300中的至少一个步骤包括的至少一个步骤的子集中的每个子集。
参照图4，图2中的步骤212包括由移动设备1904的至少一个处理器1926执行的步骤414和416。方法200还包括由移动设备1904的至少一个处理器1926执行的步骤418、420和424。步骤422是图2中步骤222的说明性实施方式。参考图5，方法300还包括由HMD 1902的至少一个自有或代理处理器1912或1926执行的步骤540、550和554。步骤550的“是”分支是图3中步骤342的说明性实施方式。步骤552是图3中步骤352的说明性实施方式。
在步骤414中，从第一数据中检测哪只手握住移动设备的信息。说明性地，可以以诸如每秒六十次的固定预定频率执行检测。可选地，方法300进一步执行手跟踪，该手跟踪将当前帧中的手与前一帧中的手连续地相关联。当确定当前帧中的手与前一帧中的手相同时，跳过检测。
在步骤416中，根据哪只手握住移动设备的信息，获得哪只手用于执行手势的信息。
步骤540在图3中的步骤332之后执行。在步骤540中，HMD 1902的至少一个自有或代理处理器1912或1926请求最新的检测结果，并且发送第一图像数据的至少一个系统时间戳。
在步骤418中，响应于步骤540，由移动设备1904的至少一个处理器1926获得最新的检测结果，其中最新的检测结果是哪只手用于执行手势的信息。从对步骤414和416的描述，随着时间的推移获得许多检测结果。以与图2中的步骤202和步骤212相同的方式获得这些检测结果中的任意一个检测结果。为了使第一经过时间段短于或等于不可能满足手切换的最长时间段的条件，在步骤418中使用最新的检测结果。步骤202和步骤212产生最新的检测结果。
在步骤420中，由移动设备1904的至少一个处理器1926确定从第一数据的至少一个系统时间戳到第一图像数据的至少一个系统时间戳的第一经过时间段是否满足阈值。第一数据的该至少一个系统时间戳由感测第一数据的移动设备1904的感测设备记录。第一图像数据的该至少一个系统时间戳由感测第一图像数据的HMD 1902的成像设备1908记录。说明性地，该阈值是第一经过时间段的绝对上限，因此阈值是实数。可选地，该阈值是第一经过时间段的相对上限，因此该阈值是以比率或百分比表示的。
如果满足步骤420中的条件，则在步骤422中，由移动设备1904的至少一个处理器1926将最新的检测结果发送到HMD 1902的至少一个自有或代理处理器1912或1926。步骤422是图2中步骤222的说明性实施方式。
如果不满足步骤420中的条件，则在步骤424中，最新的检测结果不由移动设备1904的至少一个处理器1926发送到HMD 1902的至少一个自有或代理处理器1912或1926。
在步骤550中，响应于步骤422或424，确定是否接收到最新的检测结果。步骤550的“是”分支是图3中步骤342的说明性实施方式。
在步骤552中，由HMD 1902的至少一个自有或代理处理器1912或1926使用最新的检测结果对第一图像数据执行侧适配的手部姿态估计。侧适配的手部姿态估计类似于由现有的手部姿态估计100的任何类型的侧适配的手部姿态估计模块110执行的步骤。因此，关于手势更新最新的检测结果。步骤552是图3中步骤352的说明性实施方式。
如果满足步骤550中的条件，则在步骤554中，由HMD 1902的至少一个自有或代理处理器1912或1926使用用户的倾向手对第一图像数据执行侧适配的手部姿态估计。用户的倾向手(即，惯用手)可以由用户明确指定。
可选地，当第一经过时间段短于不可能进行手切换的最长时间段时，当第一经过时间段等于不可能进行手切换的最长时间段时，以及当第一经过时间段长于不可能进行手切换的最长时间段时，第一经过时间段期间的手切换状态是在第一经过时间段期间检测到每一个第一发生手切换。详细的实现将参考图6和图7来描述。
图6和图7包括协同地实现指示哪只手用于执行手势的信息是考虑到以下内容的关于手势的更新指示的步骤的流程图：当第一经过时间段短于不可能进行手切换的最长时间段时，当第一经过时间段等于不可能进行手切换的最长时间段时，以及当第一经过时间段长于不可能进行手切换的最长时间段时，第一经过时间段期间检测到每一个第一发生手切换。图6的流程图包括方法200还包括的至少一个步骤和/或方法200中的至少一个步骤包括的至少一个步骤的子集中的每个子集。图7的流程图包括方法300还包括的至少一个步骤和/或方法300中的至少一个步骤包括的至少一个步骤的子集中的每个子集。
参考图6，图2中的步骤212包括由移动设备1904的至少一个处理器1926执行的步骤614、6204、6206、6208和616。方法200还包括由移动设备1904的至少一个第二惯性传感器1924执行的步骤6202，第二数据。步骤622包括方法200还包括的部分和作为图2中步骤222的说明性实施方式的部分。参考图7，方法300还包括由HMD 1902的至少一个自有或代理处理器1912或1926执行的步骤740。步骤742是图3中步骤342的说明性实施方式。步骤752是图3中步骤352的说明性实施方式。
步骤614在步骤202之后执行。在步骤614中，由移动设备1904的至少一个处理器1926从第一数据中检测哪只手握住移动设备的信息。步骤614类似于图4中的步骤414。
由步骤6202、6204、和6206形成的循环从步骤202中的第一数据的感测时间开始。在步骤6202中，由移动设备1904的至少一个第二惯性传感器1924感测第二数据。
在步骤6204中，移动设备1904的至少一个处理器1926从第二数据中检测发生手切换。
在步骤6206中，由移动设备1904的至少一个处理器1926确定是否接收到对最新的检测结果的请求和第一图像数据的至少一个系统时间戳。如果不满足步骤6206中的条件，则方法200循环回到步骤6202。
步骤740在图3中的步骤332之后执行。在步骤740中，由HMD1902的至少一个自有或代理处理器1912或1926请求最新的检测结果，并且发送第一图像数据的至少一个系统时间戳。然后，满足步骤6206中的条件，并且方法200进行到步骤6208。
在步骤6208中，移动设备1904的至少一个处理器1926获得检测到的、在第一经过时间段期间每一次手切换的发生。
在步骤616中，移动设备1904的至少一个处理器1926根据哪只手握住移动设备的信息以及检测到的在第一经过时间段期间每一次手切换的发生，获得哪只手用于执行手势的信息。
在步骤622中，由移动设备1904的至少一个处理器1926获得最新的检测结果，并将最新的检测结果发送到HMD 1902的至少一个自有或代理处理器1912或1926。最新的检测结果是哪只手用于执行手势的信息。步骤622的获得部分类似于步骤418。步骤622的发送部分是图2中步骤222的说明性实施方式。使用最新的检测结果不如参考图4和图5所述的实施例重要，这是因为在第一个经过时间段内的每一次发生手切换都被检测到。
在步骤742中，响应于步骤622，由HMD 1902的至少一个自有或代理处理器1912或1926接收最新的检测结果。
在步骤752中，由HMD 1902的至少一个自有或代理处理器1912或1926使用最新的检测结果对第一图像数据执行侧适配的手部姿态估计。步骤752类似于步骤552。
可选地，当第一经过时间段短于不可能进行手切换的最长时间段时，以及当第一经过时间段等于不可能进行手切换的最长时间段时，在所述第一经过时间段期间的手切换状态为在所述第一经过时间段期间不可能发生手切换；以及，当第一经过时间段长于不可能进行手切换的最长时间段时，在所述第一经过时间段期间的手切换状态为在第一经过时间段期间检测到每一个第二发生手切换。详细的实施方式将参考图7和图8来描述。
图7和图8包括协同地实现指示哪只手用于执行手势的信息是关于手势的更新指示的步骤的流程图，该关于手势的更新指示考虑到当第一经过时间段短于不可能进行手切换的最长时间段时以及当第一经过时间段等于不可能进行手切换的最长时间段时，在第一经过的时间段期间不可能发生手切换，以及当第一经过时间段长于不可能进行手切换的最长时间段时，在第一经过时间段期间检测到每一个第二发生手切换。图8的流程图包括方法200还包括的至少一个步骤和/或方法200中的至少一个步骤包括的至少一个步骤的子集的每个子集。
参照图8，图2中的步骤212包括由移动设备1904的至少一个处理器1926执行的步骤614、6204、6206、820、8162、8208和8164。方法200还包括由移动设备1904的至少一个第二惯性传感器1924执行的步骤6202，第二数据。步骤8222和步骤8224中的每个包括方法200还包括的部分和作为图2中步骤222的说明性实施方式的部分。以上参照图6描述了步骤614、6202、6204和6206，这里省略其描述。除了下面要描述的步骤742之外，上面已经描述了图7。这里省略对图7的其他步骤的描述。
在步骤820中，由移动设备1904的至少一个处理器1926确定从第一数据的至少一个系统时间戳到第一图像数据的至少一个系统时间戳的第一经过时间段是否满足阈值。步骤820类似于步骤420。
如果满足步骤820中的条件，则执行步骤8162和8222。步骤8162类似于步骤416。步骤8222包括与步骤418相似的获得部分和与步骤422相似的部分。
如果不满足步骤820中的条件，则执行步骤8208、8164和8224。步骤8208、8164和8224分别类似于步骤6208、616和622。
在步骤742中，响应于步骤8222或8224，由HMD 1902的至少一个自有或代理处理器1912或1926接收最新的检测结果。
上述针对步骤414(类似地，步骤614)描述的检测方法和替选的检测方法是说明性的。可选地，在上述方法300中的手检测步骤之后可以触发执行检测。例如，在图4和图5中，请求步骤540被图4中的检测步骤414响应的触发步骤所取代。再例如，在图6和图7的流程图中，类似于图7和图8的流程图，请求步骤740由检测步骤614的触发步骤和由移动设备的至少一个处理器检测在从第二数据开始的第一经过时间段期间的每一次手切换的发生所响应的步骤所取代。检测在第一经过时间段期间的每一次手切换的发生的步骤取代了步骤6204、6206和6208。
说明性地，从随时间保留的检测结果中选择最新的检测结果。可选地，仅保留最新的检测结果。例如，在图4和图5的流程图中。在步骤418中，以上述两种方式中的任意一种获得最新的检测结果。再例如，在图6和图7的流程图中，在步骤622中，以这两种方式中的任意一种获得最新的检测结果。又例如，在图7和图8的流程图中，在步骤8222和步骤8224中，以这两种方式中的任意一种获得最新的检测结果。
最新的检测结果的使用是说明性的。可选地，还可以使用满足通过考虑参考图4至图5、图6至图7或图7至图8描述的第一经过时间段期间的手切换状态而设定的至少一个条件的较早的检测结果。
由移动设备确定是否满足通过考虑第一经过时间段期间的手切换状态而提出的至少一个条件是说明性的。可选地，可以由HMD 1902执行确定是否满足通过考虑第一经过时间段期间的手切换状态而设定的至少一个条件。例如，在图4和图5的流程图中，只要在步骤418中获得最新的检测结果，就执行步骤422。步骤420由HMD 1902的至少一个自有或代理处理器1912或1926执行，并取代步骤550。作为另外的示例，在图4和图5的流程图中，在步骤418中由HMD 1902请求最新的检测结果还可以通过在移动设备1904可获得新的检测结果时向HMD 1902发送检测结果来替代。这样，图3中步骤342的执行时间点取决于步骤222的执行时间点，并且可以在步骤332之前或之后。又例如，在图6和图7的流程图中，步骤6204、6206和6208中的任意一个可以由HMD 1902适配和执行。再例如，在图7和图8的流程图中，步骤6204、6206和8208中的任意一个可以由HMD 1902适配和执行。
在图2中的步骤222和步骤342中的指示哪只手用于执行手势的信息是考虑到在第一经过时间段期间的手切换状态而从哪只手握住移动设备的信息推导出的哪只手用于执行手势的信息是说明性的。可选地，在图2的步骤222和步骤342中的指示哪只手用于执行手势的信息是哪只手握住移动设备的信息。例如，在图4和图5的流程图中，步骤422中发送的最新的检测结果是步骤414中哪只手握住移动设备的信息。步骤416由HMD 1902的至少一个自有或代理处理器1912或1926执行。再例如，在图6和图7的流程图中，步骤622中发送的最新的检测结果是步骤614中哪只手握住移动设备的信息。步骤616由HMD 1902的至少一个自有或代理处理器1912或1926执行。又例如，在图7和图8的流程图中，步骤8222或8224中发送的最新的检测结果是步骤614中哪只手握住移动设备的信息。步骤8162和8164由HMD 1902的至少一个自有或代理处理器1912或1926执行。
为了改进检测哪只手用于执行手势的信息的步骤是顺序处理步骤的不足，可以单独使用由移动设备1904感测的任何类型的数据或由移动设备1904感测的任何类型的数据与反映哪只手握住移动设备1904的确证数据的组合。为了改进检测哪只手用于执行手势的信息的步骤是较慢的步骤的不足，可以单独使用由移动设备1904感测的任何类型的数据，或者使用移动设备1904感测的任何类型的数据与反映哪只手握住移动设备1904的确证数据的组合，与基于成像的检测方法相比，这二者都可实现更快地检测哪只手握住移动设备的信息。下面将描述的第二实施例、第三实施例、和第四实施例提供了由移动设备1904感测的不同类型的数据的示例，其适合于反映哪只手握住移动设备1904的目的。具体到对应的实施例来描述由移动设备1904感测的一些不同类型的数据的进一步优点。
由移动设备1904感测的第一类型数据是由手部引起的模式数据。手部属于握住移动设备1904的手并且不参与握住移动设备1904的部分。当具有该手部的手握住移动设备1904时，该手部是可移动的。然而，由于当具有该手部的手的相对手握住移动设备1904时，该手部也可移动，因此仅从模式数据不能确定当具有该手部的手握住移动设备1904时，模式数据是由该手部引起的。因此，对于这种类型的数据，需要基于未握住移动设备的另一只手1904的图像数据的确证数据，以实现哪只手握住移动设备的信息的更高置信度。
参照图9，图9包括根据本公开的第二实施例的与使用模式数据和确证数据用于检测指示哪只手用于执行手势的信息有关的步骤的流程图。第二实施例基于第一实施例，因此这里省略与第一实施例相同的内容。步骤904是图3中的方法300还包括的步骤。与使用模式数据和确证数据来检测指示哪只手用于执行手势的信息有关的步骤包括以下步骤。
步骤902是图2中步骤202的实施例。在步骤902中，当移动设备1904被绑定到HMD1902并且当移动设备1904被第一只手握住时，由移动设备1904的感测设备感测第一数据。第一数据模式数据是由手部引起的。手部属于握住移动设备1904的第一只手并且不参与握住移动设备1904的部分。
在步骤904中，由HMD 1902的成像设备1908感测未握住移动设备1904的第三只手的第二图像数据。示例性地，可以类似于图3中的步骤332来执行步骤904。
步骤912是图2中步骤212的实施例。步骤912在步骤902之后执行。在步骤912中，响应于步骤904，移动设备1904的至少一个处理器1926检测指示哪只手用于执行要从第一图像数据估计的手势的信息。从第一数据并进一步基于第二图像数据来检测指示哪只手用于执行手势的信息。从第一数据的感测时间到第二图像数据的感测时间之间的第二经过时间段不足以在移动设备1904被切换为由第一只手的相对手握住之后，出现第三只手成为第一只手的此种可能。从第一数据的感测时间到第二图像数据的感测时间之间的第二经过的时间段不足以出现手切换可能的条件与参考图4和图5所述的第一经过时间段类似地被检查。
参照图10，图10包括由移动设备1904执行的步骤912和由HMD1902执行的对应的步骤的流程图。步骤1006和1008是由图9中的步骤修改的图3中的方法300还包括的步骤。由移动设备1904执行的步骤912和由HMD 1902执行的对应的步骤包括以下步骤。
在步骤904之后执行步骤1006。在步骤1006中，由HMD 1902的至少一个自有或代理处理器1912或1926对第二图像数据执行手检测。步骤1006类似于由现有的手部姿态估计100的手检测模块104执行的步骤。
步骤912包括步骤1014、1015和1016。
步骤1014类似于图4中的步骤414。
在步骤1015中，由移动设备1904的至少一个处理器1926请求第一数据的确证数据，并且发送第一数据的至少一个系统时间戳。
在步骤1008中，响应于步骤1015，由HMD 1902的至少一个自有或代理处理器1912或1926发送作为确证数据的第二图像数据的手检测结果，其中从第一数据的至少一个系统时间戳到第二图像数据的至少一个系统时间戳的第二经过时间段满足该阈值。关于图像数据的至少一个系统时间戳和阈值的细节已经在上面针对步骤420提供，并且在此省略。因此，从第一数据的感测时间到第二图像数据的感测时间之间的第二经过时间段不足以在移动设备1904被切换为由第一只手的相对手握住之后出现第三只手成为第一只手的此种可能。
在步骤1016中，响应于步骤1008，移动设备1904的至少一个处理器1926根据哪只手握住移动设备1904的信息和基于第二图像数据的确证数据来获得哪只手用于执行手势的信息。
优选的是，模式数据的感测时间和基于未握住移动设备1904的手的图像数据的确证数据的感测时间彼此重叠(即，至少部分同步)，这是因为哪只手保持移动设备的信息的置信度最高。这是可能的，因为当握住移动设备1904的手使用移动设备1904执行导致生成模式数据的操作时，未握住移动设备1904的另一只手可能在空中等待以执行手势(即，执行空闲手姿态)，如下面使用说明性示例所解释的。
另外，模式数据优选是触摸输入模式数据。当HMD 1902被绑定到移动设备1904时，使用移动设备1904作为输入设备可以与通过不握住移动设备1904的另一只手执行手势协同工作，以提供与HMD 1902中呈现的VR、AR、MR或XR环境的用户交互。这种类型的用户交互在此被称为“多模态交互范例”。由于多模态交互范例，触摸输入模式数据可用于使用触摸输入模式数据来检测哪只手握住移动设备的信息。此外，由于多模态交互范例，若经常满足从触摸输入模式数据的感测时间到手势的图像数据的感测时间的经过时间段短于或等于不可能进行手切换的最长时间段的条件，如下面使用说明性示例所解释的。此外，与基于成像的检测方法相比，使用触摸输入模式数据来检测哪只手握住移动设备的信息更快、更准确、并且消耗更少的功率。
可以独立于触摸输入模式数据的优选特征来实现基于上述空闲手姿态图像数据的确证数据的优选特征。然而，当它们一起实现时，由于多模态交互范例，很可能当握住移动设备1904的手使用移动设备1904执行导致产生触摸输入模式数据的操作时，未握住移动设备1904的另一只手在空中等待执行手势，如下面使用说明性示例所解释的。
参考图11和图12，图11和图12示出了第二实施例的说明性示例，其中使用了基于空闲手姿态图像数据的确证数据的优选特征和触摸输入模式数据的优选特征。图11示出了用户11016使用移动设备11004的触摸屏11018来通过左手11008的拇指11006执行滑动输入11022。虚拟列表11012由HMD 11002显示，并且具有多个列表项(例如，列表项11014)。滑动输入11022用于上下滑动以突出显示列表项中的一个不同项。作为示例突出显示列表项11014。用户11016的右手11010在空中等待(即，执行空闲手姿态)以执行图12所示的下一空中标签手势12020。HMD 11002、移动设备11004、和触摸屏11018分别对应于图19中的HMD1902、移动设备1904、和触摸屏1918。
参考图9、图10和图11，在步骤902中，移动设备11004的触摸屏11018在移动设备11004绑定到HMD11002时以及在移动设备11004被第一只手(例如，左手11008)握住时感测第一数据，第一数据是由手部(例如，拇指11006)引起的模式数据。该手部属于握住移动设备11004的左手11008并且不参与握住移动设备11004的部分。因为用户11016使用移动设备11004的触摸屏11018来执行滑动输入11022，所以感测设备是触摸屏11018，并且模式数据是触摸输入模式数据。此外，在图11中的示例中，手部是左手11008的拇指11006，并且移动设备11004由左手11008从下方握住。使用左手11008的拇指11006在由左手11008从下方握住移动设备11004的同时执行滑动输入11022更符合人体工程学。
在步骤904中，HMD 11002的成像设备1908感测未握住移动设备11004的第三只手(例如，右手11010)的第二图像数据。右手11010执行空闲手姿态11020。
在步骤912中，移动设备11004的至少一个处理器1926检测指示哪只手用于执行手势的信息，该手势要从第一图像数据中估计，其中指示哪只手用于执行手势的信息是从触摸输入模式数据中并且进一步基于第二图像数据来检测的。下面提供步骤912的细节。
在步骤1014中，移动设备11004的至少一个处理器1926从触摸输入模式数据中检测哪只手握住移动设备的信息。例如，触摸输入模式数据是使用触摸屏11018的滑动输入11022的轨迹。关于使用滑动输入11022的轨迹来检测哪只手拿着移动设备的信息的细节，请参见“Detecting Handedness from Device Use”,Collarbone,stack overflow,2015,https://stackoverflow.com/questions/27720226/detecting-handedness-from-device-use。再例如，触摸输入模式数据是使用触摸屏11018的滑动输入11022的原始电容数据。关于使用滑动输入11022的原始电容数据来检测哪只手握住移动设备的信息的细节，请参见“Investigating the feasibility of finger identification on capacitivetouchscreens using deep learning”,Huy Viet Le,Sven Mayer,以及Niels Henze,IUI‘19:第24届智能用户界面国际会议论文集。
在步骤1015中，移动设备11004的至少一个处理器1926请求触摸输入模式数据的确证数据，并发送触摸输入模式数据的至少一个系统时间戳。
在接着步骤904的步骤1006中，HMD 11002的至少一个自有或代理处理器1912或1926对第二图像数据执行手检测。因为第二图像数据是右手11010的空闲手姿态11020的图像数据，所以手检测结果指示存在手。
在步骤1008中，HMD11002的至少一个自有或代理处理器1912或1926发送第二图像数据的手检测结果作为确证数据，其中从触摸输入模式数据的至少一个系统时间戳到第二图像数据的至少一个系统时间戳的第二经过时间段满足阈值。因为当握住移动设备11004的左手11008使用移动设备11004执行滑动输入11022时，未握住移动设备11004的右手11010在空中执行空闲手姿态11020，触摸输入模式数据的感测时间和第二图像数据的感测时间相互重叠。换句话说，在步骤1008的说明性实施方式中，从触摸输入模式数据的至少一个系统时间戳到第二图像数据的至少一个系统时间戳的第二经过时间段满足阈值。
在步骤1016中，移动设备11004的至少一个处理器1926根据哪只手握住移动设备的信息和基于第二图像数据的确证数据，获得哪只手用于执行手势的信息。该手势是将参考图12描述的下一个空中标签手势12020。
图12示出了用户11016用右手11010执行空中标签手势12020，以确认图11中突出显示的列表项11014是所选择的列表项12014。左手11008此时处于不执行任何触摸输入的状态12022。
参考图2、图3、图4、图5和图12，在步骤332中，HMD 11002的成像设备1908感测要从其估计空中标签手势12020的第一图像数据。
在步骤540中，HMD11002的至少一个自有或代理处理器1912或1926请求最新的检测结果，并发送第一图像数据的至少一个系统时间戳。
在步骤418中，移动设备11004的至少一个处理器1926获得最新的检测结果。因为左手11008处于不执行任何触摸输入的状态12022，而右手11010用于执行空中标签手势12020，所以最新的检测结果是在参考图11描述的步骤1016中获得的使用哪只手执行空中标签手势12020的信息。
在步骤420中，移动设备11004的至少一个处理器1926确定从触摸输入模式数据的至少一个系统时间戳到第一图像数据的至少一个系统时间戳的第一经过时间段是否满足阈值。因为参考图11描述的滑动输入11022和空中标签手势12020用于与虚拟列表11012交互，所以图11和图12中的场景是上面提到的多模态交互范例的一个示例。满足步骤420中的条件。
在步骤422中，移动设备11004的至少一个处理器1926向HMD11002发送哪只手用于执行空中标签手势12020的信息。
在步骤342(即，步骤550的“是”分支)中，HMD11002的至少一个自有或代理处理器1912或1926接收哪只手用于执行空中标签手势12020的信息，并且不通过基于图像的检测方法检测指示哪只手用于执行该手势的信息。
在步骤552中，HMD11002的至少一个自有或代理处理器1912或1926使用哪只手用于执行空中标签手势12020的信息对第一图像数据执行侧适配的手部姿态估计。
参照图11说明性地描述其中使用基于空闲手姿态图像数据的确证数据的优选特征的第二实施例。可选地，确证数据可以基于图12中的空中标签手势12020的图像数据。
在图11中的说明性示例中，左手11008的拇指11006用于在由左手11008握住移动件的同时执行滑动输入11022。可选地，左手11008的食指用于在由左手11008从上方握住移动设备11004的同时执行滑动输入。
说明性地，在第二实施例中，感测设备优选是触摸屏11018，并且模式数据是触摸输入模式数据。可选地，感测设备是指纹感测设备，并且模式数据是指纹模式数据。
由移动设备1904感测的第二类型数据是反映由握住移动设备1904的手引起的移动设备1904的取向的数据。对于这种类型的数据，不需要类似于第二实施例的确证数据的确证数据。除了由于多模态交互范例而可用的触摸输入模式数据之外，反映移动设备1904的取向的数据也由于多模态交互范例而可用。多模态交互范例的移动设备1904部分可以通过使用移动设备1904作为指向HMD 1902中呈现的VR、AR、MR或XR环境中的元素的指向设备来提供。因为由指向设备产生的虚拟指针束的指向方向由反映移动设备1904的取向的数据控制，所以反映移动设备1904的取向的数据可用于使用反映移动设备1904的取向的数据来检测哪只手握住移动设备的信息。此外，由于多模态交互范例，将经常满足从反映移动设备1904的取向的数据的感测时间到手势的图像数据的感测时间的经过时间段短于或等于不可能进行手切换的最长时间段的条件，这将使用下面的说明性示例来解释。此外，与基于成像的检测方法相比，使用反映移动设备1904的取向的数据来检测哪只手握住移动设备的信息更快并且消耗更少的功率。优选地，使用第二类型数据来检测哪只手握住移动设备的信息与使用第一类型数据来检测哪只手握住移动设备的信息一起实现。这样，由于将移动设备1904用作触摸输入设备的时间补充了将移动设备1904用作指向设备的时间，所以从移动设备1904所感测的数据的感测时间到手势的图像数据的感测时间的经过的时间段短于或等于不可能进行手切换的最长时间段的条件将更常被满足。
参照图13，图13是根据本公开的第三实施例的与使用反映移动设备1904的取向的数据来检测指示哪只手用于执行手势的信息有关的步骤的流程图。第三实施例基于第一实施例，因此这里省略与第一实施例相同的内容。
步骤1302是图2中步骤202的实施例。在步骤1302中，当移动设备1904被绑定到HMD1902并且当移动设备1904被第一只手握住时，移动设备1904的至少一个第一惯性传感器1920(图19中示出)感测第一数据。第一数据是反映由握住移动设备1904的第一只手引起的移动设备1904的取向的数据，其中，当移动设备1904用作指向设备时，反映移动设备1904的取向的数据用于控制虚拟指针束的指向方向。
在移动设备1904的取向的实施例中，移动设备1904的取向可以由包括三个旋转分量的三个自由度(3DOF)来表示，例如俯仰(即，绕y轴旋转)、偏航(即，绕z轴旋转)、和滚动(即，绕x轴旋转)。本领域中已知的适合于移动设备1904的取向检测的其他自由度在本公开的预期范围内。
参照图14，图14示出了使用反映移动设备1904的取向的数据特征的第三实施例的说明性示例。在图14中的示例中，用户14016用左手握住移动设备14004，使用移动设备14004作为指向设备，该指向设备生成指向HMD 14002显示的虚拟列表14012的列表项中的一个列表项(例如，列表项14014)的虚拟指针束14022。虚拟指针束14022已用于向上和向下指向以突出显示列表项中的不同一个。在图14中，当虚拟指针束14022指向突出显示的列表项14014时，用户14016用右手14010执行空中标签手势14020，以确认选择了突出显示的列表项14014。HMD 14002和移动设备14004分别对应于HMD 1902和移动设备1904。
参考图2、图3、图4、图5、图13和图14，在步骤1302中，当移动设备14004被绑定到HMD 14002并且当移动设备14004被第一只手(例如，左手14008)保持时，移动设备14004的至少一个第一惯性传感器1920感测第一数据，该第一数据是反映由握住移动设备14004的左手14008引起的移动设备14004的取向的数据，其中，当移动设备14004被用作指向设备时，反映移动设备14004的取向的数据被用于控制虚拟指针束14022的指向方向。感测设备是至少一个第一惯性传感器1920。在虚拟指针束14022的指向方向的实施例中，指向方向平行于移动设备14004的屏幕14018。指向方向和移动设备14004的主体之间的其他关系在本公开的预期范围内。虚拟指针束14022例如是虚拟激光束。
在步骤212中，移动设备14004的至少一个处理器1926检测指示使用哪只手执行手势的信息，该手势要从第一图像数据估计，其中，从反映移动设备14004的取向的数据中检测指示哪只手用于执行手势的信息。下面提供步骤212的细节。
在步骤414中，移动设备14004的至少一个处理器1926从反映移动设备14004的取向的数据中检测哪只手握住移动设备14004的信息。可以通过本领域中已知的方法来从反映移动设备14004的取向的数据中检测哪只手握住移动设备14004的信息。
在步骤416中，移动设备14004的至少一个处理器1926根据哪只手握住移动设备14004的信息，获得哪只手用于执行手势的信息。该手势是空中标签手势14020。
在步骤332中，HMD 14002的成像设备1908感测要从其估计空中标签手势14020的第一图像数据。
在步骤540中，HMD 14002的至少一个自有或代理处理器1912或1926请求最新的检测结果，并发送第一图像数据的至少一个系统时间戳。
在步骤418中，移动设备14004的至少一个处理器1926获得最新的检测结果。因为左手14008使用移动设备14004作为产生指向列表项14014的虚拟指针束14022的指向设备，而右手14010用于执行空中标签手势14020，所以最新的检测结果是在上述步骤416中获得的使用哪只手执行空中标签手势14020的信息。
在步骤420中，移动设备14004的至少一个处理器1926确定从反映移动设备14004的取向的数据的至少一个系统时间戳到第一图像数据的至少一个系统时间戳的第一经过时间段是否满足阈值。因为使用移动设备14004作为指向设备且执行空中标签手势14020协同工作以与虚拟列表
14012交互，所以图14中的场景是上述多模态交互范例的一个示例。在图
14中的示例中，反映移动设备14004的取向的数据的感测时间与第一图像数据的感测时间相互重叠。满足步骤420中的条件。
在步骤422中，移动设备14004的至少一个处理器1926向HMD14002发送哪只手用于执行空中标签手势14020的信息。
在步骤342(即，步骤550的“是”分支)中，HMD 14002的至少一个自有或代理处理器1912或1926接收哪只手用于执行空中标签手势14020的信息，并且不通过基于图像的检测方法检测指示哪只手用于执行所述手势的信息。
在步骤552中，HMD 14002的至少一个自有或代理处理器1912或1926使用哪只手用于执行空中标签手势14020的信息对第一图像数据执行侧适配的手部姿态估计。
由移动设备1904感测的第三类型数据是由移动设备1904的成像设备1922(例如至少一个前成像设备)感测的图像数据。对于这种类型的数据，不需要类似于第二实施例的确证数据的确证数据。当握住移动设备1904的手从用户的躯干向第一侧(例如，左侧)偏置时，成像设备1922从第一侧感测用户的头部，从而在由成像设备1922感测的图像数据中感测到的用户的头部被偏置到由成像设备1922感测的图像数据的第二侧(例如，右侧)。第一侧是与用户相同的侧，通过该侧，连接到与握住移动设备1904的手相同的手的臂悬空。因此，可使用感测到的偏置到第二侧的用户头部的成像数据来检测哪只手握住移动设备的信息，如下面使用说明性示例所说明的。
由移动设备1904感测的第三类型数据不限定于移动设备1904作为输入设备的任何类型的使用。当移动设备1904被用作触摸输入设备或指向设备时，或者当移动设备1904不被用作输入设备时，可以使用由移动设备1904感测的第三类型数据。此外，由移动设备1904的成像设备1922感测的图像数据的感测时间不必对应于移动设备1904用作输入设备时的时间，并且可以对应于感测手势的图像数据时的时间。由于使用第一类型数据和第二类型数据中的至少一个用于检测哪只手握住移动设备的信息的更高置信度、更快速度、更高精度和更低功耗的至少一个优点，优选地，使用第三类型数据来检测哪只手握住移动设备的信息与使用第一类型数据和第二类型数据中的至少一个来检测哪只手握住移动设备的信息一起实现。更优选地，使用第三类型的数据来检测哪只手握住移动设备的信息，与使用第一类型的数据和第二类型的数据来检测哪只手握住移动设备的信息一起实现。这样，由于不将移动设备1904用作输入设备的时间补充了将移动设备1904用作触摸输入设备和将移动设备1904用作指向设备的时间，所以将更加频繁地被满足从移动设备1904感测的数据的感测时间到手势的图像数据的感测时间的经过时间段短于或等于不可能进行手切换的最长时间段的条件。
参照图15，图15是根据本公开的第四实施例的与使用由移动设备1904的成像设备1922感测的图像数据用于检测指示哪只手用于执行手势的信息有关的步骤的流程图。第四实施例基于第一实施例，因此这里省略与第一实施例相同的内容。
步骤1502是图2中步骤202的实施例。在步骤1502中，当移动设备1904绑定到HMD1902并且当移动设备1904被第一只手握住时，感测第一数据。第一数据是由移动设备1904的成像设备1922(图19中示出)感测的第三图像数据，其中第三图像数据中的用户的头部偏置到第三图像数据的一侧的信息用于检测指示哪只手用于执行手势的信息。
说明性地，成像设备1922是前成像设备。
参照图16，图16示出了使用由移动设备1904的成像设备1922感测的图像数据的特征的第四实施例的说明性示例。在图16中的示例中，用户16016用左手16008握住移动设备16004，并且不使用移动设备16004作为输入设备。虚拟列表16012由HMD 16002显示，并且具有多个列表项(例如，列表项16014)。用户16016已经使用右手16010的空中滑动手势来上下滑动以突出显示列表项中的一个不同项。作为示例，突出显示列表项16014。在图16中，当用户16016不使用移动设备16004作为输入设备时，用户16016用右手16010执行空中标签手势16020，以确认选择了突出显示的列表项16014。HMD 16002和移动设备16004分别对应于图19中的HMD 1902和移动设备1904。
参考图2、图3、图4、图15和图16，在步骤1502中，移动设备16004的前成像设备16024(对应于图19中的成像设备1922)感测移动设备16004何时被绑定到HMD 16002以及移动设备16004何时被第一只手(例如，左手16008)握住，第一数据是第三图像数据16026，其中第三图像数据16026中的用户(对应于用户16016)的头部16028偏置到第三图像数据16026的一侧的信息被用于检测指示哪只手用于执行手势的信息。感测设备是前成像设备16024。
在步骤212中，移动设备16004的至少一个处理器1926检测指示哪只手用于执行要从第一图像数据估计的手势的信息，其中指示哪只手用于执行手势的信息从移动设备16004的前成像设备16024感测的第三图像数据16026中检测。下面提供步骤212的细节。
在步骤414中，移动设备16004的至少一个处理器1926从移动设备16004的前成像设备16024感测的第三图像数据16026中检测哪只手握住移动设备16004的信息。
在步骤416中，移动设备16004的至少一个处理器1926根据哪只手握住移动设备16004的信息，获得哪只手用于执行手势的信息。该手势是空中标签手势16020。
在步骤332中，HMD 16002的成像设备1908感测要从其估计空中标签手势16020的第一图像数据。
在步骤540中，HMD 16002的至少一个自有或代理处理器1912或1926请求最新的检测结果，并发送第一图像数据的至少一个系统时间戳。
在步骤418中，移动设备16004的至少一个处理器1926获得最新的检测结果。因为左手16008使用移动设备16004作为产生指向列表项16014的虚拟指针束16022的指向设备，而右手16010用于执行空中标签手势16020，所以最新的检测结果是在上述步骤416中获得的使用哪只手执行空中标签手势16020的信息。
在步骤420中，移动设备16004的至少一个处理器1926确定从移动设备16004的前成像设备16024感测的第三图像数据16026的至少一个系统时间戳到第一图像数据的至少一个系统时间戳的第一经过时间段是否满足阈值。因为如上所述，由移动设备1904的成像设备1922感测的图像数据的感测时间不必对应于移动设备1904用作输入设备时的时间，并且可以对应于感测手势的图像数据时的时间。因此，由移动设备16004的前成像设备16024感测的第三图像数据16026的感测时间与第一图像数据的感测时间相互重叠。满足步骤420中的条件。
在步骤422中，移动设备16004的至少一个处理器1926向HMD16002发送哪只手用于执行空中标签手势16020的信息。
在步骤342(即，步骤550的“是”分支)中，HMD 16002的至少一个自有或代理处理器1912或1926接收哪只手用于执行空中标签手势16020的信息，并且不通过基于图像的检测方法检测指示哪只手用于执行所述手势的信息。
在步骤552中，HMD 16002的至少一个自有或代理处理器1912或1926使用哪只手用于执行空中标签手势16020的信息对第一图像数据执行侧适配的手部姿态估计。
参照图11、图12、图14和图16描述的说明性示例基于参照图4和图5描述的实施例来描述，并且加以必要的修改应用于图6、图7和图8描述的实施例。
为了改进检测哪只手执行手势的信息的步骤是顺序处理步骤的不足，由HMD 1902的至少一个自有或代理处理器1912或1926执行的方法的一部分(即，方法300)由至少一个第一过程执行，并且由移动设备1904的至少一个处理器1926执行的方法的一部分(即，方法200)由至少一个第二过程执行，其中至少一个第一过程和至少一个第二过程并行过程。
参照图17，图17是示出基于本公开第二实施例的由HMD 1902的至少一个自有或代理处理器1912或1926执行的方法的一部分和由移动设备1904的至少一个处理器1926执行的方法的一部分的并行处理的时间线图。为了说明如何通过并行处理由移动设备1904的至少一个处理器1926执行的方法300和由移动设备1904的至少一个处理器1926执行的方法200来改进检测使用哪只手的信息的步骤是顺序处理步骤的不足，将由方法300和方法200执行的步骤分组为任务，类似于如何将由现有的手部姿态估计100执行的步骤分组为图1中的模块。
示例性地，由方法300执行的步骤被分组为由HMD 1902的至少一个自有或代理处理器1912或1926的第一过程执行的空闲手姿态执行手检测任务1702、手势执行手检测任务1704、手势执行手图像裁剪任务1706、以及侧适配的手部姿态估计任务1708。由方法200执行的步骤被分组为由移动设备1904的至少一个处理器1926的第二过程执行的手势执行手信息检测任务1710。
在方法200中执行以下步骤。步骤912和222通过以下步骤实现：(1)图4中的步骤、(2)由移动设备1904的至少一个处理器1926执行的图6中的步骤、或(3)由移动设备1904的至少一个处理器1926执行的图8中的步骤，其中对应于步骤212的部分由图10中的步骤912包括的步骤取代。三个实施方式中的每个实施方式的步骤被分组为手势执行手信息检测任务1710。
在方法300中执行以下步骤。步骤1006和1008被分组为执行手检测任务1702的空闲手姿态。参考图2描述但在图2未示出的手检测步骤和裁剪第一图像数据的步骤分别对应于手势执行手检测任务1704和手势执行手图像裁剪任务1706。步骤342通过(1)图5中的步骤540和550、或(2)图7中的步骤742来实现。由于与图17中的其它任务相比，步骤在时间上是琐碎的，为了并行处理的目的，省略两个实施方式中的每个中的步骤以将其为分组成任务。步骤352通过(1)图5中的步骤552、或(2)图7中的步骤752来实现。两个实施方式中的每个实施方式中的步骤被分组为侧适配的手部姿态估计任务1708。
示例性地，手势执行手信息检测任务1710的一部分依赖于执行手检测任务1702的空闲手姿态。因此，不依赖于空闲手姿态执行手检测任务1702的手势执行手信息检测任务1710的一部分可以与空闲手姿态执行手检测任务1702并行执行。虽然手势执行手检测任务1704不依赖于空闲手姿态执行手检测任务1702，但由于空闲手姿态和手势顺序发生，所以空闲手姿态执行手检测任务1702和手势执行手检测任务1704是顺序执行的。手势执行手图像裁剪任务1706取决于手势执行手检测任务1704。因此，顺序执行手势执行手检测任务1704和手势执行手图像裁剪任务1706。手势执行手检测任务1704和手势执行手图像裁剪任务1706不依赖于手势执行手信息检测任务1710，反之亦然。因此，可以与手势执行手信息检测任务1710并行执行手势执行手检测任务1704和手势执行手图像裁剪任务1706。侧适配的手部姿态估计任务1708取决于手势执行手图像裁剪任务1706和手势执行手信息检测任务1710。因此，顺序执行手势执行手图像裁剪任务1706和侧适配的手部姿态估计任务1708，并且顺序执行手势执行手信息检测任务1710和侧适配的手部姿态估计任务1708。
参照图18，图18是示出基于本公开的第三实施例和第四实施例的由HMD 1902的至少一个自有或代理处理器1912或1926执行的方法的一部分和由移动设备1904的至少一个处理器1926执行的方法的一部分的并行处理的时间线图。为了说明如何通过并行处理由移动设备1904的至少一个处理器1926执行的方法300和由移动设备1904的至少一个处理器1926执行的方法200来改进检测哪只手用于执行手势的信息的步骤是顺序处理步骤的不足，将由方法300和方法200执行的步骤分组为任务，类似于如何将由现有的手部姿态估计100执行的步骤分组为图1中的模块。
示例性地，由方法300执行的步骤被分组为由HMD 1902的至少一个自有或代理处理器1912或1926的第一过程执行的手势执行手检测任务1804、手势执行手图像裁剪任务1806、以及侧适配的手部姿态估计任务1808。由方法200执行的步骤被分组为由移动设备1904的至少一个处理器1926的第二过程执行的手势执行手信息检测任务1810。
在方法200中执行以下步骤。步骤212和222通过(1)图4中的步骤、(2)由移动设备1904的至少一个处理器1926执行的图6中的步骤、或(3)由移动设备1904的至少一个处理器1926执行的图8中的步骤来实现。三个实施方式中的每个实施方式中的步骤被分组为手势执行手信息检测任务1810。
在方法300中执行以下步骤。参考图2描述但在图2中未示出的手检测步骤和裁剪第一图像数据的步骤分别对应于手势执行手检测任务1804和手势执行手图像裁剪任务1806。步骤342通过(1)图5中的步骤540和550或(2)图7中的步骤742来实现。由于与图18中的其他任务相比，其在时间上的琐碎性，为了并行处理的目的，省略了两个实施方式中的每个实施方式中的步骤以将其分组为任务。步骤352通过(1)图5中的步骤552或(2)图7中的步骤752来实现。两个实施方式中的每个实施方式中的步骤被分组为侧适配的手部姿态估计任务1808。
示例性地，手势执行手图像裁剪任务1806取决于手势执行手检测任务1804。因此，顺序执行手势执行手检测任务1804和手势执行手图像裁剪任务1806。手势执行手检测任务1804和手势执行手图像裁剪任务1806不依赖于手势执行手信息检测任务1810，反之亦然。因此，可以与手势执行手信息检测任务1810并行执行手势执行手检测任务1804和手势执行手图像裁剪任务1806。侧适配的手部姿态估计任务1808取决于手势执行手图像裁剪任务1806和手势执行手信息检测任务1810。因此，顺序执行手势执行手图像裁剪任务1806和侧适配的手部姿态估计任务1808，并且顺序执行手势执行手信息检测任务1810和侧适配的手部姿态估计任务1808。
参照图19，图19是示出其中可实现本文所述方法的系统1900的图。系统1900包括HMD 1902和移动设备1904。HMD 1902可以是AR眼镜、VR耳机、或不具有全3D显示屏的智能眼镜(例如谷歌眼镜)。移动设备1904可以是智能手机或计算盒等。HMD 1902经由Wi-Fi 1906或蓝牙等以无线方式绑定到移动设备1904或经由USB电缆绑定到移动设备1904。
HMD 1902包括成像设备1908、至少一个处理器1912(即，至少一个自有处理器)、存储器1914、和总线1910。
成像设备1908包括至少一个视觉传感器(例如，至少一个RGB相机)。可选地，成像设备1908包括至少一个超声波传感器。仍然可选地，成像设备1908包括至少一个毫米波传感器。
该至少一个处理器1912可以被实现为“处理系统”。处理器的示例包括微处理器、微控制器、图形处理单元(GPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、片上系统(SoC)、基带处理器、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、选通逻辑、分立硬件电路以及被配置为执行整个本公开描述的各种功能的其它合适硬件。处理系统中的至少一个处理器可以执行软件。软件应广义地解释为指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行程序、执行线程、过程、功能等，无论是否称为软件、固件、中间件、微码、硬件描述语言或其它。
HMD 1902的该至少一个代理处理器可以是移动设备的至少一个处理器1926。
在软件中实现的功能可以存储在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质，计算机存储介质也可称为非暂时计算机可读介质。术语“非暂时性计算机可读介质”不包括暂时性信号。存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制，这样的计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储器、磁盘存储器、其它磁存储设备、上述类型的计算机可读介质的组合，或可用于以可由计算机存取的指令或数据结构的形式存储计算机可执行代码的任何其它介质。存储器1914可以被称为计算机可读介质。
总线1910将成像设备1908和存储器1914联接到该至少一个处理器1912。
移动设备1904包括触摸屏1918、至少一个第一惯性传感器1920、成像设备1922、至少一个第二惯性传感器1924、至少一个处理器1926、存储器1928和总线1928。
图2中的步骤202中的感测设备包括触摸屏1918。可选地，该感测设备包括该至少一个第一惯性传感器1920。仍然可选地，该感测设备包括成像设备1922。
触摸屏1918可以是电容式触摸屏、电阻式触摸屏、红外触摸屏、或基于超声波的触摸屏等。
该至少一个第一惯性传感器1920和该至少一个第二惯性传感器1924包括在移动设备1904的惯性测量单元(IMU)中。惯性传感器的示例包括加速度计、陀螺仪、和磁强计。该至少一个第一惯性传感器1920和该至少一个第二惯性传感器1924可以至少部分相同。
成像设备1922包括至少一个视觉传感器(例如，至少一个RGB相机)。可选地，成像设备1922包括至少一个超声波传感器。仍然可选地，成像设备1922包括至少一个毫米波传感器。
该至少一个处理器1926可以被实现为“处理系统”。处理器的示例包括微处理器、微控制器、图形处理单元(GPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、片上系统(SoC)、基带处理器、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、选通逻辑、分立硬件电路以及被配置为执行整个本公开描述的各种功能的其它合适硬件。处理系统中的至少一个处理器可以执行软件。软件应广义地解释为指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行程序、执行线程、过程、功能等，无论是否称为软件、固件、中间件、微码、硬件描述语言或其它。
因此，在一个或多个实施例中，在软件中实现的功能可以存储在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质，计算机存储介质也可称为非暂时计算机可读介质。术语“非暂时性计算机可读介质”不包括暂时性信号。存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制，这样的计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储器、磁盘存储器、其它磁存储设备、上述类型的计算机可读介质的组合，或可用于以可由计算机存取的指令或数据结构的形式存储计算机可执行代码的任何其它介质。存储器1928可以被称为计算机可读介质。
总线1928将触摸屏1918、该至少一个第一惯性传感器1920、成像设备1922、该至少一个第二惯性传感器1924、和存储器1928联接到该至少一个处理器1926。

Claims (58)

1.一种由移动设备执行的方法，包括：
当所述移动设备被绑定到头戴式显示器(HMD)上，且当所述移动设备被第一只手握住时，通过所述移动设备的感测设备感测第一数据；
通过所述移动设备的至少一个处理器检测指示哪只手用于执行手势的信息，所述手势由所述HMD的至少一个自有或代理处理器从第一图像数据估计，
其中，指示哪只手用于执行所述手势的所述信息未被所述HMD借助基于成像的检测方法从所述第一图像数据中检测，而是从所述第一数据中检测；
所述移动设备的所述至少一个处理器向所述HMD的所述至少一个自有或代理处理器发送指示哪只手用于执行所述手势的所述信息，所述发送步骤的执行时间点使得HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息，对所述第一图像数据执行侧适配的手部姿态估计；
其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态。
2.根据权利要求1所述的方法，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第一发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
3.根据权利要求1所述的方法，
其中，所述方法还包括：
所述移动设备的至少一个惯性传感器感测第二数据；和
所述移动设备的至少一个处理器从所述第二数据检测在所述第一经过时间段期间的每一次手切换的发生；
其中，指示哪只手用于执行所述手势的所述信息是关于所述手势的所述更新指示，该更新指示至少考虑到在所述第一经过时间段期间的每一次手切换的发生。
4.根据权利要求1所述的方法，
其中，所述第一数据是由手部引起的模式数据，所述手部属于握住所述移动设备的所述第一只手并且不参与握住所述移动设备的部分；
其中，指示哪只手用于执行所述手势的所述信息还基于未握住所述移动设备的第三只手的第二图像数据进行检测，其中，所述第二图像数据由所述HMD的成像设备感测；和
其中，从所述第一数据的所述感测时间到所述第二图像数据的感测时间之间的第二经过时间段不足以在所述移动设备切换为由所述第一只手的相对手握住之后，出现所述第三只手成为所述第一只手此种可能。
5.根据权利要求4所述的方法，
其中，在所述第三只手的所述第二图像数据中，所述第三只手执行空闲手姿态；和
其中，所述第一数据的所述感测时间和所述第二图像数据的所述感测时间相互重叠。
6.根据权利要求4所述的方法，
其中，所述模式数据是触摸输入模式数据。
7.根据权利要求6所述的方法，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
8.根据权利要求6所述的方法，
其中，所述手部是拇指；和
其中，所述移动设备由所述第一只手从下方握住。
9.根据权利要求1所述的方法，
其中，所述第一数据是反映由所述第一只手握住所述移动设备引起的所述移动设备的取向的数据，
其中，当所述移动设备用作指向设备时，反映所述移动设备的取向的所述数据用于控制虚拟指针束的指向方向。
10.根据权利要求9所述的方法，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，每一次检测到的、在所述第一经过时间段期间检测到每一个第二发生手切换。
11.根据权利要求1所述的方法，
其中，所述第一数据是由所述移动设备的成像设备感测的第三图像数据，
其中，使用所述第三图像数据中的用户头部偏置到所述第三图像数据的一侧的信息，来检测指示哪只手用于执行所述手势的所述信息。
12.根据权利要求1所述的方法，
其中，由所述移动设备的至少一个处理器执行的所述方法的一部分由至少一个第二过程执行，所述至少一个第二过程与所述HMD的所述至少一个自有或代理处理器的至少一个第一过程并行进行，在所述至少一个第一过程中，所述手势从所述第一图像数据估计。
13.一种由头戴式显示器(HMD)执行的方法，包括：
所述HMD的至少一个自有或代理处理器接收指示哪只手用于执行手势的信息，所述手势要从第一图像数据估计得到，并且所述HMD的所述至少一个自有或代理处理器不通过基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；
其中，指示哪只手用于执行所述手势的所述信息是由移动设备在所述HMD被绑定到所述移动设备上并且在所述移动设备被第一只手握住时，从所述移动设备的感测设备感测的第一数据中检测的；和
其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和
所述HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息，对所述第一图像数据执行侧适配的手部姿态估计。
14.根据权利要求13所述的方法，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第一发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
15.根据权利要求13所述的方法，
其中，所述第一数据是由手部引起的模式数据，所述手部属于握住所述移动设备的所述第一只手并且不参与握住所述移动设备的部分；
其中，所述方法还包括：由所述HMD的成像设备感测未握住所述移动设备的第三只手的第二图像数据，
其中，指示哪只手用于执行所述手势的所述信息还基于所述第二图像数据被检测；和
其中，从所述第一数据的所述感测时间到所述第二图像数据的感测时间之间的第二经过时间段不足以在所述移动设备切换为由所述第一只手的所述相对手握住之后，出现所述第三只手成为所述第一只手此种可能。
16.根据权利要求15所述的方法，
其中，在所述第三只手的所述第二图像数据中，所述第三只手执行空闲手姿态；和
其中，所述第一数据的所述感测时间和所述第二图像数据的所述感测时间相互重叠。
17.根据权利要求13所述的方法，
其中，所述HMD的所述至少一个自有或代理处理器执行的所述方法的一部分由至少一个第一过程执行，所述至少一个第一过程与所述移动设备的至少一个第二过程并行进行，在所述至少一个第二过程中，检测指示哪只手用于执行所述手势的所述信息。
18.一种由移动设备和头戴式显示器(HMD)执行的方法，包括：
当所述移动设备被绑定到所述HMD时并且当所述移动设备被第一只手握住时，所述移动设备的感测设备感测第一数据；
所述移动设备的至少一个处理器检测指示哪只手用于执行手势的信息，所述手势要由所述HMD的至少一个自有或代理处理器从第一图像数据估计，其中，指示哪只手用于执行所述手势的所述信息是从所述第一数据中检测的；
所述移动设备的所述至少一个处理器向所述HMD的所述至少一个自有或代理处理器发送指示哪只手用于执行所述手势的所述信息；
所述HMD的所述至少一个自有或代理处理器接收指示哪只手用于执行所述手势的所述信息，并且所述HMD的所述至少一个自有或代理处理器不通过基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；
其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，所述手势的更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和
所述HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息，对所述第一图像数据执行侧适配的手部姿态估计。
19.根据权利要求18所述的方法，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第一发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
20.根据权利要求18所述的方法，
其中，所述方法还包括：
通过所述移动设备的至少一个惯性传感器感测第二数据；和
由所述移动设备的至少一个处理器从所述第二数据检测在所述第一经过时间段期间的每一次手切换的发生；
其中，指示哪只手用于执行所述手势的所述信息是关于所述手势的所述更新指示，该更新指示至少考虑到在所述第一经过时间段期间的每一次手切换的发生。
21.根据权利要求18所述的方法，
其中，所述第一数据是由手部引起的模式数据，所述手部属于握住所述移动设备的所述第一只手并且不参与握住所述移动设备的部分；
其中，所述方法还包括：所述HMD的成像设备感测未握住所述移动设备的第三只手的第二图像数据；
其中，指示哪只手用于执行所述手势的所述信息还基于未握住所述移动设备的第三只手的第二图像数据进行检测；和
其中，从所述第一数据的所述感测时间到所述第二图像数据的感测时间之间的第二经过时间段不足以在所述移动设备切换为由所述第一只手的所述相对手握住之后，出现所述第三只手成为所述第一只手此种可能。
22.根据权利要求21所述的方法，
其中，在所述第三只手的所述第二图像数据中，所述第三只手执行空闲手姿态；和
其中，所述第一数据的所述感测时间和所述第二图像数据的所述感测时间相互重叠。
23.根据权利要求21所述的方法，
其中，所述模式数据是触摸输入模式数据。
24.根据权利要求23所述的方法，
其中，不可能进行手切换的最长时间段是在移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
25.根据权利要求23所述的方法，
其中，所述手部是拇指；和
其中，所述移动设备由所述第一只手从下方握住。
26.根据权利要求18所述的方法，
其中，所述第一数据是反映由所述第一只手握住所述移动设备引起的所述移动设备的取向的数据，
其中，当所述移动设备用作指向设备时，反映所述移动设备的取向的所述数据用于控制虚拟指针束的指向方向。
27.根据权利要求26所述的方法，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
28.根据权利要求18所述的方法，
其中，所述第一数据是由所述移动设备的成像设备感测的第三图像数据，
其中，使用所述第三图像数据中的用户头部偏置到所述第三图像数据一侧的信息，来检测指示哪只手用于执行所述手势的所述信息。
29.根据权利要求18所述的方法，
其中，由所述HMD的所述至少一个自有或代理处理器执行的所述方法的一部分由至少一个第一过程执行，由所述移动设备的至少一个处理器执行的所述方法的一部分由至少一个第二过程执行，其中所述至少一个第一过程和所述至少一个第二过程彼此并行。
30.一种移动设备，包括：
感测设备，所述感测设备被配置为在所述移动设备被绑定到头戴式显示器(HMD)上并且当所述移动设备被第一只手握住时，执行感测第一数据的步骤；
存储器；和
至少一个处理器，所述至少一个处理器联接到所述存储器且被配置为执行步骤，所述步骤包括：
检测指示哪只手用于执行手势的信息，所述手势待由所述HMD的至少一个自有或代理处理器从第一图像数据估计，
其中，指示哪只手用于执行所述手势的所述信息不通过所述HMD借助基于成像的检测方法从所述第一图像数据中检测，而是从所述第一数据中检测；
将指示哪只手用于执行所述手势的所述信息发送到所述HMD的所述至少一个自有或代理处理器，所述发送步骤的执行时间点使得HMD的所述至少一个自有或代理处理器使用指示哪只手用于执行所述手势的所述信息，对所述第一图像数据执行侧适配的手部姿态估计；
其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到在从所述第一数据的感测时间到所述第一图像数据的感测时间的之间第一经过时间段期间的手切换状态。
31.根据权利要求30所述的移动设备，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第一发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
32.根据权利要求30所述的移动设备，
其中，所述移动设备还包括至少一个惯性传感器，所述至少一个惯性传感器被配置为执行感测第二数据的步骤；和
其中，由所述移动设备的所述至少一个处理器执行的步骤还包括：
从所述第二数据检测在所述第一经过时间段期间的每一次手切换的发生；
其中，指示哪只手用于执行所述手势的所述信息是关于所述手势的所述更新指示，该更新指示至少考虑到在所述第一经过时间段期间的每一次手切换的发生。
33.根据权利要求30所述的移动设备，
其中，所述第一数据是由手部引起的模式数据，所述手部属于握住所述移动设备的所述第一只手并且不参与握住所述移动设备的部分；
其中，指示哪只手用于执行所述手势的所述信息还基于未握住所述移动设备的第三只手的第二图像数据进行检测，其中，第二图像数据由所述HMD的成像设备感测；和
其中，从所述第一数据的所述感测时间到所述第二图像数据的感测时间之间的第二经过时间段不足以在所述移动设备切换为由所述第一只手的相对手握住之后，出现所述第三只手成为所述第一只手此种可能。
34.根据权利要求33所述的移动设备，
其中，在所述第三只手的所述第二图像数据中，所述第三只手执行空闲手姿态；和
其中，所述第一数据的所述感测时间和所述第二图像数据的所述感测时间相互重叠。
35.根据权利要求33所述的移动设备，
其中，所述模式数据是触摸输入模式数据。
36.根据权利要求35所述的移动设备，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
37.根据权利要求35所述的移动设备，
其中，所述手部是拇指；和
其中，所述移动设备由所述第一只手从下方握住。
38.根据权利要求30所述的移动设备，
其中，所述第一数据是反映由所述第一只手握住所述移动设备引起的所述移动设备的取向的数据，
其中，当所述移动设备用作指向设备时，反映所述移动设备的取向的数据用于控制虚拟指针束的指向方向。
39.根据权利要求38所述的移动设备，
其中，不可能进行手切换的最长时间段是在移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
40.根据权利要求30所述的移动设备，
其中，所述第一数据是由所述移动设备的成像设备感测的第三图像数据，
其中，使用所述第三图像数据中的用户头部偏置到所述第三图像数据一侧的信息，来检测指示哪只手用于执行所述手势的所述信息。
41.根据权利要求30所述的移动设备，
其中，由所述移动设备的至少一个处理器执行的步骤由至少一个第二过程执行，所述至少一个第二过程与所述HMD的所述至少一个自有或代理处理器的至少一个第一过程并行进行，在所述至少一个第一过程中，从所述第一图像数据估计所述手势。
42.一种头戴式显示器(HMD)，包括：
存储器；和
至少一个自有处理器，所述至少一个自有处理器联接到所述存储器且被配置为执行步骤，所述步骤包括：
接收指示哪只手用于执行手势的信息，所述手势要从第一图像数据估计得到，并且不借助基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；
其中，当所述HMD绑定到所述移动设备上并且当所述移动设备被第一只手握住时，所述移动设备从由所述移动设备的感测设备感测的第一数据中检测指示哪只手用于执行所述手势的所述信息；和
其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和
使用指示哪只手用于执行所述手势的所述信息，对第一图像数据执行侧适配的手部姿态估计。
43.根据权利要求42所述的HMD，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第一发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
44.根据权利要求42所述的HMD，
其中，所述第一数据是由手部引起的模式数据，所述手部属于握住所述移动设备的所述第一只手并且不参与握住所述移动设备的部分；
其中，所述HMD还包括成像设备，所述成像设备被配置为执行感测未握住所述移动设备的第三只手的第二图像数据的步骤，
其中，指示哪只手用于执行所述手势的所述信息还基于所述第二图像数据进行检测；和
其中，从所述第一数据的所述感测时间到所述第二图像数据的感测时间之间的第二经过时间段不足以在所述移动设备切换为由所述第一只手的所述相对手握住之后，出现所述第三只手成为所述第一只手此种可能。
45.根据权利要求44所述的HMD，
其中，在所述第三只手的所述第二图像数据中，所述第三只手执行空闲手姿态；和
其中，所述第一数据的所述感测时间和所述第二图像数据的所述感测时间相互重叠。
46.根据权利要求42所述的HMD，
其中，由所述HMD的所述至少一个自有处理器执行的步骤由至少一个第一过程执行，所述至少一个第一过程与所述移动设备的至少一个第二过程并行，在所述至少一个第二过程中，检测指示哪只手用于执行所述手势的所述信息。
47.一种系统，包括：
移动设备，包括：
感测设备，所述感测设备被配置为当所述移动设备被绑定到头戴式显示器(HMD)上并且当所述移动设备被第一只手握住时，执行感测第一数据的步骤；
第一存储器；和
至少一个处理器，所述至少一个处理器联接到所述第一存储器且被配置为执行步骤，所述步骤包括：
检测指示哪只手用于执行手势的信息，所述手势待由所述HMD的至少一个自有或代理处理器从第一图像数据估计，其中，指示哪只手用于执行所述手势的所述信息是从所述第一数据中检测的；
所述移动设备的所述至少一个处理器向所述HMD的所述至少一个自有或代理处理器发送指示哪只手用于执行所述手势的所述信息；
所述HMD，包括：
第二存储器；和
至少一个自有或代理处理器，所述至少一个自有或代理处理器联接到所述第二存储器，且被配置为执行步骤，所述步骤包括：
接收指示哪只手用于执行所述手势的所述信息，并且不通过基于图像的检测方法检测指示哪只手用于执行所述手势的所述信息；
其中，所述手势由第二只手执行，并且指示哪只手用于执行所述手势的所述信息是关于所述手势的更新指示，关于所述手势的所述更新指示考虑到从所述第一数据的感测时间到所述第一图像数据的感测时间之间的第一经过时间段期间的手切换状态；和
其中，由所述HMD的所述至少一个自有或代理处理器执行的步骤还包括：
使用指示哪只手用于执行所述手势的所述信息，对所述第一图像数据执行侧适配的手部姿态估计。
48.根据权利要求47所述的系统，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段，以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时，当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第一发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
49.根据权利要求47所述的系统，
其中，所述移动设备还包括至少一个惯性传感器，所述至少一个惯性传感器被配置为执行感测所述第二数据的步骤；和
其中，由所述移动设备的所述至少一个处理器执行的步骤还包括：
从所述第二数据检测在所述第一经过时间段期间的每一次手切换的发生；
其中，指示哪只手用于执行手势的所述信息是关于所述手势的所述更新指示，该更新指示至少考虑到在所述第一经过时间段期间的每一次手切换的发生。
50.根据权利要求47所述的系统，
其中，所述第一数据是由手部引起的模式数据，所述手部属于握住所述移动设备的第一只手并且不参与握住所述移动设备的部分；
其中，所述系统还包括：由所述HMD的成像设备感测未握住所述移动设备的第三只手的第二图像数据；
其中，指示哪只手用于执行所述手势的所述信息还基于未握住移动设备的第三只手的第二图像数据进行检测；和
其中，从所述第一数据的所述感测时间到所述第二图像数据的感测时间之间的第二经过时间段不足以在所述移动设备切换为由所述第一只手的所述相对手握住之后，出现所述第三只手成为所述第一只手此种可能。
51.根据权利要求50所述的系统，
其中，在所述第三只手的所述第二图像数据中，所述第三只手执行空闲手姿态；和
其中，所述第一数据的所述感测时间和所述第二图像数据的所述感测时间相互重叠。
52.根据权利要求50所述的系统，
其中，所述模式数据是触摸输入模式数据。
53.根据权利要求52所述的系统，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
54.根据权利要求52所述的系统，
其中，所述手部是拇指；和
其中，所述移动设备由所述第一只手从下方握住。
55.根据权利要求47所述的系统，
其中，所述第一数据是反映由所述第一只手握住所述移动设备引起的所述移动设备的取向的数据，
其中，当所述移动设备用作指向设备时，反映所述移动设备的取向的所述数据用于控制虚拟指针束的指向方向。
56.根据权利要求55所述的系统，
其中，不可能进行手切换的最长时间段是在所述移动设备被切换为由所述第一只手的相对手握住之后，不足以出现所述第二只手成为所述第一只手此种可能的最长时间段；
其中，指示哪只手用于执行所述手势的所述信息是考虑到以下内容的关于所述手势的所述更新指示：
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；或
当所述第一经过时间段短于所述不可能进行手切换的最长时间段时以及当所述第一经过时间段等于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间不可能发生手切换；以及当所述第一经过时间段长于所述不可能进行手切换的最长时间段时，在所述第一经过时间段期间检测到每一个第二发生手切换。
57.根据权利要求47所述的系统，
其中，所述第一数据是由所述移动设备的成像设备感测的第三图像数据，
其中，使用所述第三图像数据中的用户头部偏置到所述第三图像数据一侧的信息，来检测指示哪只手用于执行所述手势的所述信息。
58.根据权利要求47所述的系统，
其中，由所述HMD的所述至少一个自有或代理处理器执行的步骤由至少一个第一过程执行，并且由所述移动设备的至少一个处理器执行的步骤由至少一个第二过程执行，其中所述至少一个第一过程和所述至少一个第二过程彼此并行。
CN202180042923.1A 2020-06-25 2021-06-18 手部姿态估计方法、移动设备、头戴式显示器及系统 Pending CN115715405A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063044293P 2020-06-25 2020-06-25
US63/044,293 2020-06-25
PCT/CN2021/101067 WO2021259176A1 (en) 2020-06-25 2021-06-18 Method, mobile device, head-mounted display, and system for estimating hand pose

Publications (1)

Publication Number Publication Date
CN115715405A true CN115715405A (zh) 2023-02-24

Family

ID=79281951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180042923.1A Pending CN115715405A (zh) 2020-06-25 2021-06-18 手部姿态估计方法、移动设备、头戴式显示器及系统

Country Status (3)

Country Link
US (1) US11899848B2 (zh)
CN (1) CN115715405A (zh)
WO (1) WO2021259176A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821006B (zh) * 2022-06-23 2022-09-20 盾钰（上海）互联网科技有限公司 交互式间接推理的孪生体态检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099178B1 (ko) * 2013-11-29 2020-04-09 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법
CN107272892B (zh) * 2017-05-31 2019-12-20 北京一数科技有限公司 一种虚拟触控系统、方法及装置
US10521947B2 (en) * 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
US10671842B2 (en) * 2018-01-29 2020-06-02 Google Llc Methods of determining handedness for virtual controllers
US20220413596A1 (en) * 2021-06-28 2022-12-29 Sigmasense, Llc. Vehicle sensor system

Also Published As

Publication number Publication date
US20230127549A1 (en) 2023-04-27
WO2021259176A1 (en) 2021-12-30
US11899848B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
US20210342387A1 (en) Method and apparatus for image processing and associated user interaction
US9952676B2 (en) Wearable device with gesture recognition mechanism
US10482677B1 (en) Distributed simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
US11047691B2 (en) Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10740918B2 (en) Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US10817050B2 (en) Backchannel resilience for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
US11240525B2 (en) Systems and methods for video encoding acceleration in virtual, augmented, and mixed reality (xR) applications
US10922831B2 (en) Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
US10852819B2 (en) Systems and methods for eye-gaze tracking (EGT) handoff
US10928899B2 (en) Handling multiple eye-gaze tracking (EGT) sources in virtual, augmented, or mixed reality (XR) applications
US11043004B2 (en) Resolving region-of-interest (ROI) overlaps for distributed simultaneous localization and mapping (SLAM) in edge cloud architectures
CN107272892B (zh) 一种虚拟触控系统、方法及装置
US20200240788A1 (en) BACKCHANNEL ENCODING FOR VIRTUAL, AUGMENTED, OR MIXED REALITY (xR) APPLICATIONS IN CONNECTIVITY-CONSTRAINED ENVIRONMENTS
WO2019127306A1 (en) Template-based image acquisition using a robot
US20200244996A1 (en) Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (xr) content in connectivity-constrained environments
US11899848B2 (en) Method, mobile device, head-mounted display, and system for estimating hand pose
JP2017055181A (ja) 運転支援方法およびそれを利用した運転支援装置
US10521964B1 (en) Switching among disparate simultaneous localization and mapping (SLAM) methods in virtual, augmented, and mixed reality (xR) applications
US10852138B2 (en) Scalabale simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
JP2023035870A (ja) ヒューマン・マシン・インターフェースのアプリケーションにおけるコンテンツ識別のためのマルチモーダル・センサ・フュージョン
CN114821630A (zh) 静态手势识别方法及其系统和电子设备
US11983316B2 (en) Method and device for managing attention accumulators
US20240070994A1 (en) One-handed zoom operation for ar/vr devices
US20230244308A1 (en) Method And Device For Managing Attention Accumulators
US20230342026A1 (en) Gesture-based keyboard text entry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination