CN113227941A - 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备 - Google Patents

用于识别用户的真正的手的方法以及用于该方法的可穿戴设备 Download PDF

Info

Publication number
CN113227941A
CN113227941A CN201980086532.2A CN201980086532A CN113227941A CN 113227941 A CN113227941 A CN 113227941A CN 201980086532 A CN201980086532 A CN 201980086532A CN 113227941 A CN113227941 A CN 113227941A
Authority
CN
China
Prior art keywords
hand
wearable device
user
real user
shoulder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980086532.2A
Other languages
English (en)
Inventor
具本坤
高在佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113227941A publication Critical patent/CN113227941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Abstract

本公开提供了一种识别穿戴可穿戴设备的真正用户的手的方法。根据实施例，该方法包括：使用可穿戴设备中所包括的传感器来识别位于传感器的检测区域中的手；基于识别的手的定向与连接至该识别的手的至少一个身体部分之间的位置关系来估计连接至该识别的手的肩的位置；以及使用与在估计位置中存在真正用户的肩的概率有关的信息来确定该识别的手是否为真正用户的手。

Description

用于识别用户的真正的手的方法以及用于该方法的可穿戴 设备
技术领域
本公开的实施例涉及一种用于识别穿戴可穿戴设备的真正用户的手的方法及系统。
背景技术
对增强现实的研究开始于20世纪60年代由范萨瑟兰对第一透明头戴式设备(HMD)的开发，并且通过在20世纪90年代早期由波音公司引入的新术语‘增强现实(AR)’的出现而受到推动。
AR平台正在从桌上型计算机逐渐发展到智能电话。对于基于早期个人计算机(PC)所实现的AR，随着个人数字助理(PDA)、超移动式个人计算机(UMPC)、移动电话等等的分布，自21世纪以来，移动AR平台已经开始多样化，并且在从2009年以来认真地使用智能电话之后，它们已经向真实世界显示出移动AR应用的潜力。智能电话作为AR平台引起注意的原因在于，智能电话不仅配备有照相机，而且配备有诸如全球定位系统(GPS)、指南针、磁性传感器、加速度传感器、接触式传感器、接近传感器、照度传感器、无线保真(Wi-Fi)系统、射频识别(RFID)系统等等的各种紧凑且轻便的传感器以提供附加信息，从而允许得出除了用户的位置以外的用户的命令或意图。
AR平台继续逐渐发展成一种类型的眼镜以应付必须将智能电话拿在用户的手中以检查信息的缺点。同时，随着诸如物联网(IoT)、计算机视觉、现实内容、人工智能(AI)等等的基本技术的进步，对各种应用的潜力的期望正在上涨。
发明内容
一实施例是针对一种可穿戴设备以区分穿戴该可穿戴设备的真正用户的手与其他人的手以防止第三方的无意或有意操纵。
另一实施例是提供通知信息，其指示穿戴可穿戴设备的真正用户的手是否位于该可穿戴设备的检测区域内，从而允许真正用户容易地识别可穿戴设备的操纵范围。
根据实施例，一种识别穿戴可穿戴设备的真正用户的手的方法包括：使用可穿戴设备中所包括的传感器来识别位于传感器的检测区域中的手；基于手的定向与连接至该手的至少一个身体部分之间的位置关系来估计连接至该手的肩的位置；以及基于与在估计位置中存在真正用户的肩的概率有关的信息来确定该识别的手是否为真正用户的手。
根据实施例，一种可穿戴设备包括：输出器；至少一个传感器；存储一个或多个指令的存储器；以及连接至存储器的处理器，该处理器被配置成执行一个或多个指令以执行以下操作：通过使用至少一个传感器来识别位于至少一个传感器的检测区域中的手；基于进入至少一个传感器的检测区域中的手的定向与连接至该手的至少一个身体部分之间的位置关系来估计连接至该手的肩的位置；以及基于与在估计位置中存在穿戴可穿戴设备的真正用户的肩的概率有关的信息来确定识别的手是否为真正用户的手。
根据实施例，一种识别穿戴可穿戴设备的真正用户的手的方法包括：使用可穿戴设备中所包括的传感器来识别位于传感器的检测区域中的手；基于与在检测区域中的每一位置处检测到真正用户的手的概率有关的信息来确定识别的手是否为真正用户的手；当确定识别的手为真正用户的手时，识别该识别的手的手势；以及执行对应于识别的手势的指令。
根据实施例，一种可穿戴设备包括：输出器；至少一个传感器；存储一个或多个指令的存储器；以及连接至存储器的处理器，该处理器被配置成执行一个或多个指令以执行以下操作：通过使用至少一个传感器来识别位于至少一个传感器的检测区域中的手；基于与在检测区域中的每一位置处检测到真正用户的手的概率有关的信息来确定识别的手是否为穿戴可穿戴设备的真正用户的手；当确定识别的手为真正用户的手时，识别该识别的手的手势；以及执行对应于识别的手势的指令。
根据实施例，一种计算机程序产品包括记录介质，在该记录介质上存储有程序以执行以下操作：通过使用至少一个传感器来识别位于至少一个传感器的检测区域中的手；基于手的定向与连接至该手的至少一个身体部分之间的位置关系来估计连接至该手的肩的位置；以及基于与在估计位置中存在真正用户的肩的概率有关的信息来确定识别的手是否为真正用户的手。
附图说明
图1是根据实施例的描述用于识别穿戴可穿戴设备的真正用户的手的系统的图。
图2是根据实施例的描述识别可穿戴设备的真正用户的手的方法的流程图。
图3是根据实施例的描述检测手以及连接至该手的至少一个身体部分的方法的流程图。
图4是根据实施例的描述来自图像的检测结果的图。
图5是根据实施例的描述用于估计肩位置的机器学习模型的图。
图6是根据实施例的描述与真正用户的肩存在的概率有关的信息的图。
图7是根据实施例的描述确定真正用户的手的可穿戴设备的图。
图8是根据实施例的描述识别真正用户的手的手势的方法的流程图。
图9是根据实施例的描述忽略其他人的手的可穿戴设备的图。
图10是根据实施例的描述检测其他人的手的可穿戴设备的图。
图11是根据实施例的描述提供指示真正用户的手是否位于检测区域中的通知信息的方法的流程图。
图12是根据实施例的描述通知信息的图。
图13是根据实施例的描述基于与在检测区域中的每一位置处检测到真正用户的手的概率有关的信息来识别真正用户的手的方法的流程图。
图14是根据实施例的描述与在检测区域中的每一位置处检测到真正用户的手的概率有关的信息的图。
图15是根据实施例的描述区分真正用户的手与其他人的手的可穿戴设备的图。
图16是根据实施例的描述基于识别的手的特征信息来识别真正用户的手的方法的流程图。
图17是根据实施例的描述基于识别的手的特征信息来识别真正用户的手的可穿戴设备的图。
图18是根据实施例的描述其中可穿戴设备与外部设备一起工作以识别真正用户的手的方法的流程图。
图19及图20是根据实施例的描述使用手或臂信息来提供化身的操作的图。
图21及图22是根据实施例的描述可穿戴设备的特征的框图。
具体实施方式
在详细说明本公开的实施例之前，将说明如本文中所用的术语。
将本公开的原理考虑在内，将术语选择为现在广泛使用的常见术语，然而这可以取决于本领域的普通技术人员的意图、司法判例、新技术的出现等等。如本文中所用的一些术语是由申请人自行决定选择的，在这种情况下，稍后将详细解释本公开的说明。因此，术语应基于它们在整个本公开中的意义及说明来进行定义。
术语“包括”或“包含”为包括在内的或无限制的并且不排除附加的、未列举的元件或方法步骤。如本文中所用的术语“单元”、“模块”、“块”等等各自表示用于处理至少一个功能或操作的单元，并且可以在硬件、软件或其组合中实施。
现在将参考附图详细说明本公开的实施例以由本领域的普通技术人员容易地实践。然而，本公开的实施例可以采用许多不同形式实施，并且并不限于如本文所论述的这些形式。在附图中，为了清晰起见，省略了与本公开的说明无关的部分，并且在整个说明书中相同的标号是指相同的元件。
图1是根据实施例描述用于识别穿戴可穿戴设备的真正用户的手的系统的图。
在实施例中，用于识别真正用户的手的系统(在下文中称为系统)可包括可穿戴设备1000。然而，系统可被实施为具有比所示更多的组件。例如，系统可进一步包括外部设备(例如，外部服务器设备、主机终端等等)。稍后将参考图18详细说明进一步包括外部设备的系统的实施例。
在实施例中，可穿戴设备1000可以是可被佩戴在头上的一种头戴式显示器(HMD)。例如，可穿戴设备1000可包括增强现实(AR)设备或虚拟现实(VR)设备，然而并不限于此。AR设备可以是用于通过显示由计算机建模创建的虚拟对象以与真实环境重叠来提供与空间及上下文有关的虚拟信息的设备。VR设备可以是能够用虚拟图像填充用户的整个视场的HMD。
在该说明书中，为了便于解释，假设可穿戴设备1000具有眼镜的形式，但并不限于此。例如，可穿戴设备1000可以具有头盔、帽子或眼罩的形式，或可以具有仅覆盖一只眼的形式。
在实施例中，可穿戴设备1000可包括识别手的手势的用户界面。例如，可穿戴设备1000可根据手的手势来执行各种指令。例如，可穿戴设备1000可根据手的手势来执行指令，例如运行应用、复制内容、移动、旋转、删除或复制虚拟对象、或向外部设备传输内容。
在实施例中，可穿戴设备1000可区分穿戴可穿戴设备1000的真正用户(例如，第一用户10)的手与其他人的手。例如，如图1所示，当第一用户10穿戴可穿戴设备并且与第二用户20一起工作时，第一用户10的可穿戴设备1000可检测进入可穿戴设备1000的检测区域100中的手。在这种情况下，由于第一用户10与第二用户20一起工作，因此进入可穿戴设备1000的检测区域100中的手可以是第一用户10的手11或第二用户20的手12。可穿戴设备1000可确定进入检测区域100中的手是否为第一用户10的手11，并且只有当进入检测区域100中的用户为第一用户10的手11时可以识别手的手势，由此防止可穿戴设备1000发生故障。例如，当进入检测区域100中的手为第二用户20的手12时，可穿戴设备1000可忽略第二用户20的手12的手势。
在该说明书中，术语“真正用户”可指穿戴可穿戴设备1000的用户。此外，在该说明书中，检测区域100可指可穿戴设备1000中配备的图像传感器(例如，通用成像设备、深度照相机、超声波照相机、红外照相机、动态视觉传感器等等)的视场(FOV)范围或通过图像传感器获得的图像的范围。
现在将详细说明通过可穿戴设备1000执行的识别真正用户的手以防止发生故障的方法。
图2是根据实施例的识别可穿戴设备的真正用户的手的方法的流程图。
在操作S210中，可穿戴设备1000可使用可穿戴设备中所包括的传感器来识别位于传感器的检测区域100中的手。
在实施例中，可穿戴设备1000识别手可包括获得捕获检测区域100的图像以及检测所获得的图像中的手。在这种情况下，所获得的图像可以是从穿戴可穿戴设备1000的真正用户看到的图像，但并不限于此。
例如，可穿戴设备1000可使用传感器(例如，图像传感器)来获得(例如，捕获)包括位于传感器的检测区域100中的手的图像。在实施例中，图像可以是彩色图像(RGB图像)或黑白图像。此外，图像可以是三维(3D)图像或二维(2D)图像、移动图像或静止图像，然而并不限于此。例如，图像可以是超声波图像、红外图像或动态视觉传感器图像中的至少一个。
在实施例中，可穿戴设备1000可使用手的预定义模板图像来识别位于检测区域100中的手。例如，可穿戴设备1000可通过比较手的预定义模板图像与通过捕获检测区域100所获得的图像来检测手是否位于检测区域100中。此外，可穿戴设备1000可使用手的预定义模板图像来确定位于检测区域100中的手是右手还是左手。
在实施例中，可穿戴设备1000可使用机器学习模型(或称为人工智能(AI)模型)来识别位于检测区域100中的手。例如，可穿戴设备1000可使用学习各种手的图像的深度神经网络(DNN)模型来识别检测区域100中的手。当可穿戴设备1000将捕获检测区域100的图像输入到机器学习模型(例如，DNN)时，机器学习模型可检测输入图像中的手的形式。
在操作S220中，可穿戴设备1000可基于识别的手的定向与连接至该识别的手的至少一个身体部分之间的位置关系来估计连接至识别的手的肩的位置。
在实施例中，可穿戴设备1000可在捕获检测区域100的图像中检测手，并且进一步在捕获检测区域100的图像中检测连接至所检测的手的至少一个身体部分。连接至手的至少一个身体部分可包括手腕、前臂、肘或上臂中的至少一个，但并不限于此。在这种情况下，可穿戴设备1000可最终基于所检测的手与连接至该手的至少一个身体部分之间的位置关系来估计连接至所检测的手的肩的位置。
例如，参考图3，在操作S300中，可穿戴设备1000可使用图像传感器(例如，手势传感器)来获得检测区域100的图像。例如，可穿戴设备1000可获得第一图像301以及第二图像302。在这种情况下，可穿戴设备1000可使用手和臂检测器303来从第一图像301以及第二图像302中的每一个检测手(例如，手的定向)或连接至该手的至少一个身体部分。例如，在操作S310中，可穿戴设备1000可使用机器学习模型(例如，DNN)来执行从第一图像301以及第二图像302中的每一个检测手的操作。在这种情况下，可穿戴设备1000可确定手的定向或所检测的手是右手还是左手。例如，可穿戴设备1000可从第一图像301以及第二图像302确定手的定向是西北偏北并且所检测的手是右手。在操作S320中，可穿戴设备1000可使用机器学习模型(例如，DNN)来执行从第一图像301以及第二图像302中的每一个检测连接至手的前臂的操作。在操作S330中，可穿戴设备1000可使用机器学习模型(例如，DNN)来执行从第一图像301以及第二图像302中的每一个检测连接至前臂的上臂的操作。在操作S340中，可穿戴设备1000可使用机器学习模型(例如，DNN)来执行从第一图像301以及第二图像302中的每一个检测连接至上臂的肩的操作。图3的操作S310至S340可以按顺序或同时执行。
参考图4，由于通过可穿戴设备1000执行操作S310至S340，可以从第一图像301检测手401以及前臂402，并且可以从第二图像302检测手401、前臂402以及上臂403。在这种情况下，可穿戴设备1000可基于所检测的手的定向以及所检测的身体部分之间的位置关系来估计肩的位置。例如，可穿戴设备1000可基于手401的定向以及在第一图像301中检测到的手401与前臂402之间的位置关系来估计连接至前臂402的上臂403的位置以及肩的位置。此外，可穿戴设备1000可基于在第二图像302中检测到的手401、前臂402与上臂403之间的位置关系来估计连接至上臂403的肩的位置。
参考图5，可穿戴设备1000可使用机器学习模型来估计连接至在第一图像301或第二图像302中所检测到的手的肩的位置。例如，可穿戴设备1000可通过使用生成式DNN模型501或判别式DNN模型502来估计连接至手的肩的位置。生成式DNN模型501可指根据特定数学表达式或规律从输入数据找出结果值的机器学习模型，并且判别式DNN模型502可指从输入数据与现有数据库之间的比较找出结果值的机器学习模型。
在实施例中，当可穿戴设备1000将第一图像301输入到生成式DNN模型501时，生成式DNN模型501可基于从第一图像301检测到的手401与前臂402之间的夹角与上臂的位置之间的规律来估计上臂的位置。生成式DNN模型501还可使用从第一图像301检测到的手401、前臂402与估计位置处的上臂之间的夹角与肩的位置之间的规律来估计肩的位置。
在实施例中，当可穿戴设备1000将第二图像302输入到判别式DNN模型502时，判别式DNN模型502可通过从数据库中的图像当中找出具有与从第二图像302检测到的手401、前臂402以及上臂403的位置类似的数据的图像来估计肩的位置。
在实施例中，当肩包括在通过图像传感器获得的检测区域100的图像中时，可穿戴设备1000可通过分析检测区域100的图像来直接估计肩的位置。为了便于解释，现在将说明检测区域100的图像中不包括肩的情形。
在操作S230中，可穿戴设备1000可使用与在估计肩位置处存在真正用户的肩的概率有关的信息来确定识别的手是否为真正用户的手。
在实施例中，可穿戴设备1000可获得与存在真正用户的肩的概率有关的信息。与存在真正用户的肩的概率有关的信息可包括真正用户的肩可相对于可穿戴设备1000(或真正用户的头)实际上存在于3D空间坐标上的概率值。与存在真正用户的肩的概率有关的信息可用一组概率值或通过概率分布图来表示，然而并不限于此。
与存在真正用户的肩的概率有关的信息可包括与存在右肩的概率有关的信息以及与存在左肩的概率有关的信息。例如，参考图6，假设可穿戴设备1000的中心或真正用户的头的中心是参考点600，存在真正用户的左肩610的概率分布图可以如在第一曲线图631中表示，并且存在真正用户的右肩620的概率分布图可以如在第二曲线图632中表示。在这种情况下，与存在真正用户的肩的概率有关的信息630可包括第一曲线图631以及第二曲线图632。
在实施例中，可穿戴设备1000可从与存在真正用户的肩的概率有关的信息获得估计肩位置中的概率值。当估计肩位置中的概率值大于阈值(例如，95％)时，可穿戴设备1000可确定在检测区域100中所识别的手为真正用户的手。
例如，参考图7，可穿戴设备1000可从检测区域100的图像检测手701，并且通过使用机器学习模型(例如，生成式DNN模型501或判别式DNN模型502)来估计连接至所检测的手701的前臂的位置、连接至前臂的上臂的位置以及连接至上手的肩700的位置。
在这种情况下，可穿戴设备1000可通过比较与存在真正用户的肩的概率有关的信息630与估计肩位置700来获得在估计肩位置700中存在真正用户的肩的概率值。在实施例中，当所检测的手701为右手时，可穿戴设备1000可获得在估计位置700中存在真正用户的右肩的概率值。当在估计位置700中存在真正用户的右肩的概率值等于或大于阈值(例如，90％)时，可穿戴设备1000可确定所检测的手701为真正用户的手。
另一方面，当在估计位置中存在真正用户的肩的概率值小于阈值(例如，90％)时，可穿戴设备1000可确定所检测的手为其他人的手。
在实施例中，可穿戴设备1000可通过比较与存在真正用户的肩的概率有关的信息630与估计肩位置700来获得在估计肩位置700中存在真正用户的肩的概率分布(或模式)。例如，当所检测的手701为右手时，可穿戴设备1000可获得在估计位置700中存在真正用户的右肩的概率分布(或模式)。使用在估计位置700中存在真正用户的右肩的概率分布(或模式)，可穿戴设备1000可确定所检测的手701为真正用户的手。例如，当在估计位置700中存在真正用户的右肩的概率分布(或模式)等于或大于参考分布(或模式)时，可穿戴设备1000可确定所检测的手701为真正用户的手。
图8是根据实施例的识别真正用户的手的手势的方法的流程图。
在操作S810以及S820中，当确定识别的手为真正用户的手时，可穿戴设备1000可识别该识别的手的手势。
在实施例中，可穿戴设备1000可通过比较在检测区域100的图像中所检测到的手的移动与数据库中的预定义手移动来识别该识别的手的手势。例如，可以根据手的整体形式、交叠手指的数量或类型、手移动的方向、展开的手指指向的方向等等来识别不同的手势。例如，可穿戴设备1000可识别挥动手势、拖动手势、捏手势、触摸手势、双击手势、抓紧手势等等，然而并不限于此。
在实施例中，可穿戴设备1000可使用机器学习模型(例如，DNN)来识别检测区域100的图像中所包括的手的手势。例如，当可穿戴设备1000将检测区域100的图像输入到机器学习模型时，机器学习模型可输出对应于检测区域100的图像中所包括的手的手势的指令作为结果值。
在操作S830中，可穿戴设备1000可执行对应于所识别的手势的指令。
在实施例中，可穿戴设备1000可基于在手势与指令之间映射的表来执行对应于手势的指令。例如，对应于手势的指令可包括选择特定内容的指令、运行特定应用的指令、操纵虚拟对象的指令(例如，按比例增大或减小虚拟对象的指令、移动虚拟对象的指令、复制虚拟对象的指令、删除虚拟对象的指令等等)、控制可穿戴设备1000的电源的指令、向外部设备发送数据或从外部设备接收数据的指令等等，然而并不限于此。
在操作S810以及S840中，当确定识别的手不是真正用户的手时，可穿戴设备1000可忽略该识别的手。
例如，当确定识别的手不是真正用户的手时，可穿戴设备1000可不识别该识别的手的手势。
虽然作为示例在图8中描述了可穿戴设备1000根据真正用户的手势而操作的情况，但是本公开并不限于此。在实施例中，可穿戴设备1000可根据真正用户的语音命令来执行对应于该语音命令的操作。例如，可穿戴设备1000可识别真正用户的语音的特征，并且只有当所接收到的语音的特征对应于真正用户的语音的特征时才会执行语音命令。
图9是根据实施例的描述忽略其他人的手的可穿戴设备的图。
参考图9，可穿戴设备1000可在检测区域100中识别第一手911以及第二手921。例如，可穿戴设备1000可获得包括第一手911以及第二手921的检测区域100的图像900。可穿戴设备1000可检测图像900中的第一手911并且估计连接至第一手911的第一肩的第一位置912。可穿戴设备1000还可检测图像900中的第二手921并且估计连接至第二手921的第二肩的第二位置922。
在这种情况下，当第一手911以及第二手921均为右手时，可穿戴设备1000可将穿戴可穿戴设备1000的真正用户的头作为参考点910以获得与存在真正用户的右肩的概率有关的信息。
可穿戴设备1000可从与存在真正用户的右肩的概率有关的信息提取第一位置912的第一概率值以及第二位置922的第二概率值。例如，在第一位置912中存在真正用户的右肩的概率值可以是99％，并且在第二位置922中存在真正用户的右肩的概率值可以是0％。在这种情况下，可穿戴设备1000可确定第一手911是真正用户的手并且第二手921不是真正用户的手。因此，可穿戴设备1000可以仅对第一手911的手势作出反应，相反可以忽略第二手921的手势。
图10是根据实施例的描述检测其他人的手的可穿戴设备的图。
参考图10的第一实施例1010，当其他人站在真正用户的左边时，该其他人的第一右手可进入可穿戴设备1000的检测区域100中。在这种情况下，可穿戴设备1000可获得检测区域100的第一图像1011并且从第一图像1011检测第一右手。可穿戴设备1000可估计连接至第一右手的第一肩的位置1012，并且通过比较第一肩的估计位置1012和与存在真正用户的肩的概率有关的信息来识别在估计位置1012中存在真正用户的右肩的第一概率值。在这种情况下，当第一概率值为0.00001％时，可穿戴设备1000可确定第一右手为其他人的手并且忽略第一右手的手势。
参考图10的第二实施例1020，当其他人站在真正用户的左边时，该其他人的第二左手可进入可穿戴设备1000的检测区域100中。在这种情况下，可穿戴设备1000可获得检测区域100的第二图像1021并且从第二图像1021检测第二左手。可穿戴设备1000可估计连接至第二左手的第二肩的位置1022，并且通过比较第二肩的估计位置1022和与存在真正用户的肩的概率有关的信息来识别在估计位置1022中存在真正用户的左肩的第二概率值。在这种情况下，当第二概率值为0％时，可穿戴设备1000可确定第二左手为其他人的手并且忽略第二左手的手势。
参考图10的第三实施例1030，当某人在真正用户的肩上面伸展他/她的臂时，该其他人的第三右手可进入可穿戴设备1000的检测区域100中。在这种情况下，可穿戴设备1000可获得检测区域100的第三图像1031并且从第三图像1031检测第三右手。可穿戴设备1000可估计连接至第三右手的第三肩的位置1032，并且通过比较第三肩的估计位置1032和与存在真正用户的肩的概率有关的信息来识别在估计位置1032中存在真正用户的右肩的第三概率值。由于第三肩的估计位置1032与参考点100(例如，真正用户的头的中心)处于同一水平，因此第三概率值可以是0％。因此，可穿戴设备1000可确定第三右手为其他人的手并且忽略第三右手的手势。
图11是根据实施例的提供指示真正用户的手是否位于检测区域中的通知信息的方法的流程图。
在操作S1110以及S1120中，当确定识别的手为真正用户的手时，可穿戴设备1000可提供指示真正用户的手是否位于检测区域中的通知信息。在实施例中，可穿戴设备1000可通过使用视觉信号、听觉信号以及振动信号中的至少一个来提供通知信息。
例如，当真正用户的手进入检测区域100中时，可穿戴设备1000可通过在可穿戴设备1000所提供的显示区域中显示第一识别图像来通知真正用户真正用户的手位于检测区域100内。在这种情况下，由于真正用户可意识到他/她的手位于检测区域100内，因此真正用户可通过使用手的手势来自由地操纵可穿戴设备1000。
当真正用户的手偏离检测区域100时，可穿戴设备1000可通过在可穿戴设备1000的显示区域中显示第二识别图像来通知真正用户真正用户的手已经从检测区域100消失。这可以防止真正用户误认为他/她的手处于检测区域100中，并且引导真正用户将他/她的手移动回到检测区域100中以使用真正用户的手的手势操纵可穿戴设备1000。
在实施例中，第一识别图像以及第二识别图像可以是由用户或系统预定义的图像，并且可以通过用户的操纵来改变。例如，第一识别图像可以是显示区域的边缘变成蓝色的第一动画，并且第二识别图像可以是显示区域的边缘变成红色的第二动画。可替代地，第一识别图像可以是具有画在圆圈内的手图标的图像，并且第二识别图像可以是具有重叠在手图标上的X标记的图像。可以存在各种第一及第二识别图像。
当真正用户的手进入检测区域100中时，可穿戴设备1000可通过输出第一声音(例如，第一歌曲、第一语音评论‘检测到手’等等)来通知真正用户真正用户的手位于检测区域100内。另一方面，当真正用户的手偏离检测区域100时，可穿戴设备1000可通过输出第二声音(例如，第二歌曲、第二语音评论‘未检测到手’等等)来通知真正用户真正用户的手已经从检测区域100消失。
在操作S1110以及S1130中，当确定识别的手不是真正用户的手时，可穿戴设备1000可忽略该识别的手。操作S1130对应于图8的操作S840，因此省去其详细说明。
图12是根据实施例的描述通知信息的图。在图12中，作为示例将描述确定检测区域100中的手为真正用户的手的情况。
参考图12的第一实施例1210，穿戴可穿戴设备1000的真正用户的手可进入可穿戴设备1000的检测区域100中。在这种情况下，可穿戴设备1000可在显示区域1230中显示第一识别图像，其表示真正用户的手已经进入检测区域100中。例如，可穿戴设备1000可在显示区域的右下部分中显示半透明蓝色图像1201，真正用户的手从该半透明蓝色图像中出现。
参考图12的第二实施例1220，穿戴可穿戴设备1000的真正用户的手可偏离可穿戴设备1000的检测区域100。在这种情况下，可穿戴设备1000可在显示区域1230中显示第二识别图像，其表示手不在检测区域100中。例如，可穿戴设备1000可在显示区域1230的右下部分中显示半透明红色图像1202，真正用户的手从该半透明红色图像中消失。
图13是根据实施例的基于与在检测区域中的每一位置处检测到真正用户的手的概率有关的信息来识别真正用户的手的方法的流程图。
在操作S1310中，可穿戴设备1000可使用可穿戴设备1000中所包括的传感器来识别位于传感器的检测区域100中的手。
在实施例中，可穿戴设备1000识别手可包括获得捕获检测区域100的图像以及在所获得的图像中检测手。在这种情况下，所获得的图像可以是从穿戴可穿戴设备1000的真正用户看到的图像，但并不限于此。
操作S1310对应于图2的操作S210，因此将省去其详细说明。
在操作S1320中，可穿戴设备1000可基于与可在检测区域100中的每一位置中检测到真正用户的手的概率有关的信息来确定在检测区域100中所识别的手是否为真正用户的手。
在实施例中，与检测真正用户的手的概率有关的信息可包括与真正用户的手在检测区域100中出现的方向的概率有关的信息。例如，参考图14，当将检测区域100分成四个部分时，真正用户的右手在从第四四分之一④至第一四分之一①的方向上出现的概率可能很高。另一方面，真正用户的左手可更有可能在从第三四分之一③至第二四分之一②的方向上出现。
因此，当第一右手1401在从第四四分之一④至第一四分之一①的方向上出现在检测区域100中时，可穿戴设备1000可确定第一右手1401是真正用户的右手并且遵循来自检测区域100中的第一右手1401的指令。另一方面，当第二右手1402在从第二四分之一②至第四四分之一④的方向上出现在检测区域100中时，可穿戴设备1000可确定第二右手1402不是真正用户的右手并且忽略检测区域100中的第二右手1402的手势。
在实施例中，与检测真正用户的手的概率有关的信息可包括与位置有关的概率信息，在这些位置中基于检测区域100中的手，可存在连接至手的身体部分。
例如，参考捕获图15的检测区域100的第一图像1510，当在第一图像1510中检测到第一手1511以及连接至第一手1511的第一前臂1512时，可穿戴设备1000可基于第一手1511的位置来获得其中可在第一图像1510中存在真正用户的手的位置的第一概率分布1501以及其中可在第一图像1510中存在连接至真正用户的手的前臂的位置的第二概率分布1502。使用第一概率分布1501以及第二概率分布1502，可穿戴设备1000可确定第一手1511是否为真正用户的手。例如，当在第一前臂1512的位置中存在真正用户的前臂的概率基于比较连接至第一手1511的第一前臂1512的位置与第二概率分布1502的结果而为99％时，可穿戴设备1000可确定第一手1511为真正用户的手。
此外，参考捕获检测区域100的第二图像1520，当在第二图像1520中检测到第二手1521、连接至第二手1521的第二前臂1522以及连接至第二前臂1522的第二上臂1523时，可穿戴设备1000可基于第二手1521的位置来获得其中可在第二图像1520中存在真正用户的手的位置的第一概率分布1501、其中可在第二图像1520中存在连接至真正用户的手的前臂的位置的第二概率分布1502以及其中可存在连接至真正用户的前臂的上臂的位置的第三概率分布1503。使用第一概率分布1501、第二概率分布1502以及第三概率分布1503，可穿戴设备1000可确定第二手1521是否为真正用户的手。例如，当在第二前臂1522的位置中存在真正用户的前臂的概率基于比较连接至第二手1521的第二前臂1522的位置与第二概率分布1502的结果而为99％时，可穿戴设备1000可确定第二手1521为真正用户的手。此外，当在第二上臂1523的位置中存在真正用户的上臂的概率基于比较连接至第二前臂1522的第二上臂1523的位置与第三概率分布1503的结果而为99％时，可穿戴设备1000可确定第二手1521为真正用户的手。
例如，参考捕获检测区域100的第三图像1530，当在第三图像1530中检测到第三手1531以及连接至第三手1531的第三前臂1532时，可穿戴设备1000可基于第三手1531的位置来获得其中可在第三图像1530中存在真正用户的手的位置的第一概率分布1501以及其中可在第三图像1530中存在连接至真正用户的手的前臂的位置的第二概率分布1502。使用第一概率分布1501以及第二概率分布1502，可穿戴设备1000可确定第三手1531是否为真正用户的手。例如，当在第三前臂1532的位置中存在真正用户的前臂的概率基于比较连接至第三手1531的第三前臂1532的位置与第二概率分布1502的结果而为0.00001％时，可穿戴设备1000可确定第三手1531为其他人的手。
再次参考图13，在操作S1330以及S1340中，当确定识别的手为真正用户的手时，可穿戴设备1000可识别该识别的手的手势。
在实施例中，可穿戴设备1000可通过比较在检测区域100的图像中所检测到的手的移动与数据库中的预定义手移动来识别该识别的手的手势。此外，在实施例中，可穿戴设备1000可使用机器学习模型(例如，DNN)来识别检测区域100的图像中所包括的手的手势。操作S1340对应于图8的操作S820，因此将省去其详细说明。
在操作S1350中，可穿戴设备1000可执行对应于所识别的手势的指令。
在实施例中，可穿戴设备1000可基于在手势与指令之间映射的表来执行对应于手势的指令。例如，对应于手势的指令可包括选择特定内容的指令、运行特定应用的指令、操纵虚拟对象的指令(例如，按比例增大或减小虚拟对象的指令、移动虚拟对象的指令、复制虚拟对象的指令、删除虚拟对象的指令等等)、控制可穿戴设备1000的电源的指令、向外部设备发送数据或从外部设备接收数据的指令等等，然而并不限于此。
在操作S1330以及S1360中，当确定识别的手不是真正用户的手时，可穿戴设备1000可忽略该识别的手。例如，当识别的手是其他人的手时，可穿戴设备1000可不识别该识别的手的手势。
图16是根据实施例的基于识别的手的特征信息来识别真正用户的手的方法的流程图。
在操作S1610中，可穿戴设备1000可使用可穿戴设备1000中所包括的传感器来识别位于传感器的检测区域中的手。
在操作S1620中，可穿戴设备1000可基于识别的手与连接至识别的手的至少一个身体部分之间的位置关系来估计连接至识别的手的肩的位置。例如，可穿戴设备1000可基于识别的手的定向与连接至识别的手的至少一个身体部分之间的位置关系来估计连接至识别的手的肩的位置。
在操作S1630中，可穿戴设备1000可使用与在估计位置处存在真正用户的肩的概率有关的信息来确定识别的手是否为真正用户的手。
操作S1610至S1630对应于图2的操作S210至S230，因此将省去其详细说明。
在操作S1640以及S1650中，当确定识别的手为真正用户的手时，可穿戴设备1000可获得识别的手的第一特征信息。可穿戴设备1000可基于手的第一特征信息来确定位于检测区域中的至少一只手是否为真正用户的手。
在实施例中，手的第一特征信息可包括与手的大小、手的颜色、手是否戴着手套、指甲油颜色、指甲长度等等有关的信息。此外，手的第一特征信息可包括与袖子长度、袖子颜色、袖子类型等等有关的信息，然而并不限于此。
例如，在操作S1660中，可穿戴设备1000可比较手的第一特征信息与位于检测区域100中的至少一只手的第二特征信息。
在操作S1670以及S1680中，当第一特征信息与第二特征信息之间的相似性水平等于或大于阈值(例如，98％)时，可穿戴设备1000可确定所述至少一只手为真正用户的手。
另一方面，在操作S1670中，当第一特征信息与第二特征信息之间的相似性水平小于阈值(例如，98％)时，可穿戴设备1000可返回到操作S1620。例如，当第一特征信息与第二特征信息之间的相似性水平小于阈值时，可穿戴设备1000可估计连接至至少一只手的至少一个肩的位置。可穿戴设备1000可使用与在估计位置中存在真正用户的肩的概率有关的信息来确定至少一只手是否为真正用户的手。
例如，当真正用户戴着戒指、更换衣服、改变指甲油颜色等等时，真正用户的手的特征信息改变，在这种情况下，可穿戴设备1000可能不会在位于检测区域100中的至少一只手中识别出具有与第一特征信息相同或类似的特征信息的手，并且再次基于至少一只手估计肩的位置。
在操作S1640以及S1690中，当确定识别的手不是真正用户的手时，可穿戴设备1000可忽略该识别的手。例如，当识别的手是其他人的手时，可穿戴设备1000可以不识别该识别的手的手势。例如，当识别的手是其他人的手时，可穿戴设备1000可以不识别该识别的手的手势。
在实施例中，当基于估计肩位置而确定识别的手为真正用户的手时，可穿戴设备1000可扫描该识别的手的特征信息，并且只要检测区域100中的该识别的手的特征信息不变，就确定该识别的手为真正用户的手。因此，在实施例中，使用真正用户的手的特征信息，可穿戴设备1000可减少用于实施算法的计算资源，该算法每当在检测区域100中出现手时估计肩的位置并且基于估计位置处的概率值来确定真正用户的手。
图17是根据实施例的描述基于识别的手的特征信息来识别真正用户的手的可穿戴设备的图。
参考图17的第一图像1701，可穿戴设备1000可通过比较与存在真正用户的肩的概率有关的信息1711与估计肩位置1712来获得在估计肩位置1712中存在真正用户的肩的概率值。在实施例中，当在检测区域100中所检测的手1721为右手时，可穿戴设备1000可获得在估计位置1712中存在真正用户的右肩的概率值。例如，当在估计位置1712中存在真正用户的右肩的概率值为95％时，可穿戴设备1000可确定在检测区域100中所检测的手1721为真正用户的手。
参考图17的第二图像1702，当确定在检测区域100中所检测的手1721为真正用户的手时，可穿戴设备1000可通过扫描在检测区域100中所检测的手1721来提取与在检测区域100中所检测的手1721相关的第一特征信息(例如，手的颜色、手指上是否戴有戒指、指甲长度、袖子图案等等)。可穿戴设备1000可基于第一特征信息来确定随后在检测区域100中所检测的手是否为真正用户的手。
参考图17的第三图像1703，可穿戴设备1000可比较在检测区域100中所检测的手1722的特征信息与第一特征信息。当在检测区域100中所检测的手1722的特征信息对应于第一特征信息时，可穿戴设备1000可确定在检测区域100中所检测的手1722为真正用户的手。
参考图17的第四图像1704，当真正用户戴着戒指时，可改变与真正用户的手相关的特征信息。换句话说，在检测区域100中所检测的手1723的特征信息可不同于第一特征信息。在这种情况下，可穿戴设备1000可不再使用第一特征信息来确定在检测区域100中所检测的手1723是否为真正用户的手。因此，可穿戴设备1000可估计连接至在检测区域100中所检测的手1723的肩的位置，并且基于在估计位置中存在真正用户的右肩的概率值来确定所检测的手1723是否为真正用户的手。例如，当在估计位置中存在真正用户的右肩的概率值为98％时，可穿戴设备1000可确定在检测区域100中所检测的手1723为真正用户的手。当确定在检测区域100中所检测的手1723为真正用户的手时，可穿戴设备1000可通过扫描在检测区域100中所检测的手1723来提取与在检测区域100中所检测的手1723相关的第二特征信息(例如，手的颜色、手指上是否戴有戒指、指甲长度、袖子图案等等)。可穿戴设备1000可基于第二特征信息来确定随后在检测区域100中所检测的手是否为真正用户的手。
图18是根据实施例的其中可穿戴设备与外部设备一起工作以识别真正用户的手的方法的流程图。
在操作S1860中，可穿戴设备1000可获得包括位于传感器的检测区域100中的手的图像。在这种情况下，所获得的图像可以是从穿戴可穿戴设备1000的真正用户看到的图像。
例如，可穿戴设备1000可使用传感器(例如，图像传感器)来获得(例如，捕获)包括位于传感器的检测区域100中的手的图像。在实施例中，图像可以是彩色图像(RGB图像)或黑白图像。此外，图像可以是3D图像或2D图像、移动图像或静止图像，然而并不限于此。例如，图像可以是超声波图像、红外图像或动态视觉传感器图像中的至少一个。
在操作S1820中，可穿戴设备1000可将包括手的图像发送到外部设备2000。在这种情况下，可穿戴设备1000可询问外部设备2000在图像中所检测的手是否为穿戴可穿戴设备1000的真正用户的手。
在实施例中，外部设备2000可以是连接至可穿戴设备1000的服务器设备或连接至可穿戴设备1000的主机设备(例如，移动终端)，然而并不限于此。在实施例中，可穿戴设备1000可以通过短程通信网络(例如，蓝牙、Wi-Fi等)或移动通信网络连接至外部设备2000。
在操作S1830中，外部设备2000可分析接收到的图像以基于手与连接至手的至少一个身体部分之间的位置关系来估计连接至图像中所包括的手的肩的位置。
在实施例中，外部设备2000可使用手的预定义模板图像来识别位于检测区域100中的手。例如，外部设备2000可通过比较手的预定义模板图像与接收到的图像来从接收到的图像检测手。此外，外部设备2000可使用手的预定义模板图像来确定从接收到的图像检测的手是右手还是左手。外部设备1000可使用手的预定义模板图像来确定从接收到的图像检测的手的定向。
在实施例中，外部设备2000可使用机器学习模型(或称为AI模型)来从接收到的图像检测手。例如，外部设备2000可使用学习各种手的图像的DNN模型来从接收到的图像识别手。当外部设备2000将接收到的图像输入到机器学习模型(例如，DNN)时，机器学习模型可从输入图像检测手的形式。
在实施例中，外部设备2000可从接收到的图像检测手，并且进一步从接收到的图像检测连接至所检测的手的至少一个身体部分。连接至手的至少一个身体部分可包括手腕、前臂、肘或上臂中的至少一个，但并不限于此。在这种情况下，外部设备2000可最终通过使用所检测的手与连接至来自接收到的图像的手的至少一个身体部分之间的位置关系来估计连接至所检测的手的肩的位置。外部设备2000可使用机器学习模型来估计连接至从接收到的图像检测的手的肩的位置。例如，外部设备2000可使用生成式DNN模型501或判别式DNN模型502来估计连接至手的肩的位置。
在实施例中，当接收到的图像包括肩时，外部设备2000可直接通过分析接收到的图像来估计连接至手的肩的位置。操作S1830对应于图2的操作S220，因此将省去其详细说明。
在操作S1840中，外部设备2000可使用与在估计位置中存在真正用户的肩的概率有关的信息来确定图像中所包括的手是否为真正用户的手。
在实施例中，外部设备2000可获得与存在真正用户的肩的概率有关的信息。与存在真正用户的肩的概率有关的信息可包括真正用户的肩相对于可穿戴设备1000(或真正用户的头)可实际上存在于3D空间坐标上的概率值。与存在真正用户的肩的概率有关的信息可用一组概率值或通过概率分布图来表示，然而并不限于此。与存在真正用户的肩的概率有关的信息可包括与存在右肩的概率有关的信息以及与存在左肩的概率有关的信息。
在实施例中，外部设备2000可通过比较与存在真正用户的肩的概率有关的信息与估计肩位置来获得在估计肩位置中存在真正用户的肩的概率值。例如，当从接收到的图像检测的手是右手时，外部设备2000可获得在估计位置中存在真正用户的右肩的概率值。当在估计位置中存在真正用户的右肩的概率值等于或大于阈值(例如，90％)时，外部设备2000可确定从接收到的图像检测的手是真正用户的手。另一方面，当在估计位置中存在真正用户的右肩的概率值小于阈值(例如，90％)时，外部设备2000可确定从接收到的图像检测的手不是真正用户的手。
在操作S1850中，外部设备2000可向可穿戴设备1000发送确定图像中所包括的手是否为真正用户的手的结果。
在实施例中，外部设备2000可经由短程无线通信网络或移动通信网络向可穿戴设备1000发送确定图像中所包括的手是否为真正用户的手的结果。
在操作S1860以及S1870中，当确定图像中所包括的手为真正用户的手时，可穿戴设备1000可识别检测区域100中的手的手势。
在实施例中，可穿戴设备1000可通过比较在检测区域100的图像中所检测的手的移动与数据库中的预定义手移动来识别该识别的手的手势。在实施例中，可穿戴设备1000可使用机器学习模型(例如，DNN)来识别检测区域100的图像中所包括的手的手势。
在操作S1880中，可穿戴设备1000可执行对应于所识别的手势的指令。
在实施例中，可穿戴设备1000可基于在手势与指令之间映射的表来执行对应于手势的指令。例如，对应于手势的指令可包括选择特定内容的指令、运行特定应用的指令、操纵虚拟对象的指令(例如，按比例增大或减小虚拟对象的指令、移动虚拟对象的指令、复制虚拟对象的指令、删除虚拟对象的指令等等)、控制可穿戴设备1000的电源的指令、向外部设备发送数据或从外部设备接收数据的指令等等，然而并不限于此。
在操作S1860以及S1890中，当确定识别的手不是真正用户的手时，可穿戴设备1000可忽略该识别的手。在实施例中，当识别的手是其他人的手时，可穿戴设备1000可忽略该识别的手的手势。
图19及图20是根据实施例的描述使用手或臂信息来提供化身图像的操作的图。
参考图19，可穿戴设备1000可向其他人的设备(例如，另一人的可穿戴设备)提供对应于穿戴可穿戴设备1000的真正用户的身体的上半部的第一化身图像1901。在这种情况下，可穿戴设备1000可将真正用户的手或臂信息1900应用于第一化身图像1901以形成真实化身图像1902。
例如，可穿戴设备1000可识别位于检测区域100中的手的形式(例如，抓紧状态)，并且基于手的所识别形式来形成真实第二化身图像1902。可穿戴设备1000可向其他人的设备(例如，另一人的可穿戴设备)提供真实第二化身图像1902。
参考图20，可穿戴设备1000可检测真正用户的手，并且形成对应于真正用户的手的手势的化身图像。作为示例将描述第一用户2001以及第二用户2002各自挥动手的情况。第一用户2001的第一手2021以及第二用户2002的第二手2022均可在由第二用户2002穿戴的可穿戴设备1000的检测区域100中检测到。在这种情况下，当可穿戴设备1000基于第一手2021以及第二手2022二者的运动而创建对应于第二用户2002的第一化身图像2003时，第一化身图像2003可看起来就像第二用户2002挥动双手。
然而，在实施例中，可穿戴设备1000可估计连接至第一手2021以及第二手2022中的每一个的肩的位置，并且基于肩的估计位置来确定仅第二手2022是第二用户2002的手而第一手2022不是第二用户2002的手。在这种情况下，可穿戴设备1000可使用第二手2022的运动来创建对应于第二用户2002的第二化身图像2003。此时，第二化身图像2004可看起来像第二用户2002一样仅挥动一只手。
图21及图22是根据实施例的描述可穿戴设备的特征的框图。
如图21所示，在实施例中，可穿戴设备1000可包括输出器1100、至少一个传感器1200、处理器1300以及存储器1600。然而，并非所有所示元件都是必需的。可以使用比所示更多或更少的元件来实施可穿戴设备1000。例如，如图22所示，除了输出器1100、至少一个传感器1200、处理器1300以及存储器1600之外，实施例中的可穿戴设备1000可进一步包括通信模块1400以及用户输入模块1500。
现在将详细描述上述元件。
用于输出音频、视频或振动信号的输出器1100可包括显示模块1111、声音输出器1112、振动电机1113等等。
显示模块1111显示由可穿戴设备1000处理的信息。例如，显示模块1111可以在呼叫模式中显示与呼叫相关的用户界面(UI)或图形用户界面(GUI)；在输入模式中显示虚拟输入界面；在玩游戏模式中显示与游戏相关的内容。
在实施例中，显示模块1111可以是透明的或不透明的显示器。透明显示器是指具有如下形式的信息显示设备，在该形式中用于显示信息的屏幕的背面是透明的。透明显示器包括透明元件，并且可以通过控制透明元件的透光率或通过控制每一像素的RGB值来控制透明度水平。
当显示模块1111与触摸板在分层结构中实施以构成触摸屏时，显示模块1111除了用作输出设备之外还可以用作输入设备。触摸屏可检测用户在触摸屏上面的触摸手势并且将与触摸手势有关的信息发送至控制器1300。用户的触摸手势可包括轻敲、触摸并按住、双击、拖动、平移、轻击、拖放、挥动等等。
显示模块1111可包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器或电泳显示器中的至少一个。此外，根据可穿戴设备1000的实施形式，可穿戴设备1000可包括两个或更多个显示模块1111。
声音输出器1112可输出从通信模块1400接收到的或存储在存储器1600中的音频数据。声音输出器1112输出与在可穿戴设备1000中执行的功能(例如，识别真正用户的手、运行应用、呼叫信号传入声音、消息传入声音等等)相关的声音信号。声音输出器1112可包括扬声器、蜂鸣器等等。
振动电机1113可输出振动信号。例如，振动电机1113可输出对应于音频数据或视频数据(例如，呼叫信号传入声音、消息传入声音等等)的输出的振动信号。当在虚拟输入界面上作出输入时，振动电机1113也可输出振动信号。
至少一个传感器1200可检测可穿戴设备1000的状况或其周围的状况并且将所检测的信息发送至处理器1300。
在实施例中，至少一个传感器1200可包括地磁性传感器1211、超声波传感器1212、惯性测量单元(IMU)传感器1213、红外传感器1214、陀螺仪传感器1215、位置传感器1216、深度传感器1217、接近传感器1218、照相机(图像传感器)1221以及麦克风1222，然而并不限于此。本领域的普通技术人员可直观地推断出相应传感器的功能，因此将省去其详细说明。
处理器1300控制可穿戴设备1000的一般操作。例如，处理器1300可执行存储器1600中所存储的程序以一般性地控制输出器110、至少一个传感器1400、用户输入模块1500、存储器1600等等。
在实施例中，处理器1300可包括用于建立机器学习模型的AI处理器，然而并不限于此。在实施例中，AI处理器1300可以利用与处理器1300分离的芯片实施。
在实施例中，处理器1300可使用至少一个传感器1200来识别位于至少一个传感器1200的检测区域100中的手。例如，当在检测区域100中检测到手时，处理器1300可从照相机(图像传感器)1221获得捕获检测区域100的图像。
在实施例中，处理器1300可基于识别的手与连接至识别的手的至少一个身体部分之间的位置关系来估计连接至识别的手的肩的位置。
在实施例中，处理器1300可使用与在估计位置处存在穿戴可穿戴设备1000的真正用户的肩的概率有关的信息来确定识别的手是否为真正用户的手。例如，处理器1300可获得与存在真正用户的肩的概率有关的信息，并且从与存在真正用户的肩的概率有关的信息获得估计位置中的概率值。当估计位置中的概率值大于阈值时，处理器1300可确定识别的手为真正用户的手。另一方面，当估计位置中的概率值等于或小于阈值时，处理器1300可确定识别的手为其他人的手。
当确定识别的手为真正用户的手时，处理器1300可识别该识别的手的手势并且执行对应于所识别的手势的指令。另一方面，当识别的手不是真正用户的手时，处理器1300可忽略该识别的手。
当确定识别的手为真正用户的手时，处理器1300可通过输出器1100提供指示真正用户的手是否位于检测区域100中的通知信息。例如，处理器1300可在真正用户的手进入检测区域中时通过输出器1100显示第一识别图像，并且在真正用户的手偏离检测区域100时通过输出器1100显示第二识别图像。
在实施例中，当确定识别的手为真正用户的手时，处理器1300可获得识别的手的第一特征信息。处理器1300可基于手的第一特征信息来确定位于检测区域100中的至少一只手是否为真正用户的手。例如，处理器1300可比较手的第一特征信息与位于检测区域100中的至少一只手的第二特征信息。当第一特征信息与第二特征信息之间的相似性水平等于或大于阈值时，处理器1300可确定至少一只手为真正用户的手。另一方面，当第一特征信息与第二特征信息之间的相似性水平小于阈值时，处理器1300可估计连接至至少一只手的至少一个肩的位置以正确地确定至少一只手是否为真正用户的手。在这种情况下，处理器1300可使用与在估计位置中存在真正用户的肩的概率有关的信息来确定至少一只手是否为真正用户的手。
在实施例中，处理器1300可使用至少一个传感器1200来识别位于至少一个传感器1200的检测区域100中的手，并且基于与可在检测区域100中的每一位置处检测到真正用户的手的概率有关的信息来确定识别的手是否为穿戴可穿戴设备1000的真正用户的手。
通信模块1400可包括允许可穿戴设备1000与外部设备2000(例如，服务器设备、移动终端等等)通信的一个或多个元件。例如，通信模块1400可包括短程通信模块1411、移动通信模块1412以及广播接收器1413。
短程通信模块1411可包括蓝牙通信模块、蓝牙低功耗(BLE)通信模块、近场通信(NFC)模块、无线局域网(WLAN)(例如，Wi-Fi)通信模块、Zigbee通信模块、红外数据关联(IrDA)通信模块、Wi-Fi直连(WFD)通信模块、超宽带(UWB)通信模块、Ant+通信模块等等，然而并不限于此。
移动通信模块1412向移动通信网络中的基站、外部终端或服务器中的至少一个发送无线信号或从移动通信网络中的基站、外部终端或服务器中的至少一个接收无线信号。RF信号可包括文本/多媒体消息的发送/接收中所涉及的语音呼叫信号、视频呼叫信号或不同类型的数据。
广播接收器1413在广播信道上从外部接收广播信号和/或与广播相关的信息。广播信道可包括卫星信道或地上信道。根据实施方式，可穿戴设备1000可不包括广播接收器1413。
用户输入模块1500是指允许用户输入数据以控制可穿戴设备1000的部件。例如，用户输入模块1500可包括小键盘、圆顶开关、(电容式、电阻式、红外检测型、表面声波型、积分应变仪型、压电效应型)触摸板、缓动轮、缓动开关等等，然而并不限于此。
在实施例中，用户输入模块1500可包括手势检测器。手势检测器可识别用户的手的手势，并且检测对应于用户的手的手势的指令。此外，在实施例中，用户输入模块1500可包括麦克风1222。在这种情况下，用户输入模块1500可通过麦克风1222接收用户的语音命令。
存储器1600可存储用于处理器1300的处理及控制的程序、输入/输出数据(例如，照相机图像、应用、内容等等)或一个或多个指令。
存储器1600可包括至少一种类型的存储介质，包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦可编程ROM(EEPROM)、可编程ROM(PROM)、磁性存储器、磁盘以及光盘。存储器1600中所存储的程序可基于功能而分为多个模块。
根据实施例的方法可以在程序指令中实施，这些程序指令可由各种计算工具执行并且记录在计算机可读介质中。计算机可读介质可单独地或组合地包括程序指令、数据文件、数据结构等等。计算机可读介质上所记录的程序指令可以专门为本公开设计并配置，或者可对于计算机软件领域的普通技术人员来说众所周知。计算机可读记录介质的示例包括ROM、RAM、光盘(CD)-ROM、磁带、软盘、光学数据存储设备等等。计算机可读记录介质还可以分布在网络耦合的计算机系统上，使得以分布方式存储并执行计算机可读代码。程序指令的示例不仅包括机器语言代码，而且包括可由使用解释器的各种计算部件执行的高级语言代码。
本公开的一些实施例可以采用计算机可读记录介质的形式实施，该计算机可读记录介质包括计算机可执行指令，诸如由计算机执行的程序模块。计算机可读记录介质可以是可由计算机访问的任意可用介质，包括易失性、非易失性、可移除以及不可移除的介质。计算机可读记录介质还可包括计算机存储介质以及通信介质。易失性、非易失性、可移除以及不可移除的介质可以通过用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任意方法或技术来实施。通信介质通常包括计算机可读指令、数据结构、程序模块、或其他数据或用于已调制数据信号(如载波)的其他传输机制，并且包括任意信息传递介质。此外，一些实施例可以在包括计算机可执行指令的计算机程序或计算机程序产品中实施。
已经描述了本公开的若干个实施例，但是应理解，在不背离本公开的范围的条件下，可以作出各种修改。因此，对于本领域的普通技术人员显而易见的是，本公开并不限于所述实施例，而是不仅可以包括随附权利要求，而且包括等效内容。

Claims (20)

1.一种通过可穿戴设备识别穿戴可穿戴设备的真正用户的手的方法，所述方法包括：
使用所述可穿戴设备中所包括的传感器来识别位于所述传感器的检测区域中的手；
基于所述手的定向与连接至所述手的至少一个身体部分之间的位置关系来估计连接至所述手的肩的位置；以及
基于与在估计位置中存在所述真正用户的肩的概率有关的信息来确定所识别的手是否为所述真正用户的手。
2.根据权利要求1所述的方法，其中确定所述识别的手是否为所述真正用户的手包括：
获得与所述真正用户的肩存在的概率有关的信息；
从与所述真正用户的肩存在的概率有关的信息获得所述估计位置中的概率值；以及
当所述概率值大于阈值时，确定所述识别的手为所述真正用户的手。
3.根据权利要求1所述的方法，还包括：
当确定所述识别的手为所述真正用户的手时，识别所识别的手的手势；以及
执行对应于所识别的手势的指令。
4.根据权利要求1所述的方法，还包括当确定所述识别的手不是所述真正用户的手时，忽略所述识别的手。
5.根据权利要求1所述的方法，还包括当确定所述识别的手为所述真正用户的手时，提供指示所述真正用户的手是否位于所述检测区域中的通知信息。
6.根据权利要求5所述的方法，其中所述提供所述通知信息包括：
当所述真正用户的手进入所述检测区域中时，在由所述可穿戴设备提供的显示区域中显示第一识别图像；以及
当所述真正用户的手偏离所述检测区域时，在所述显示区域中显示第二识别图像。
7.根据权利要求1所述的方法，还包括：
当确定所述识别的手为所述真正用户的手时，获得所述手的第一特征信息；以及
基于所述手的第一特征信息确定位于所述检测区域中的至少一只手是否为所述真正用户的手。
8.根据权利要求7所述的方法，还包括：
比较所述手的第一特征信息与位于所述检测区域中的至少一只手的第二特征信息；
当所述第一特征信息与所述第二特征信息之间的相似性水平小于阈值时，估计连接至所述至少一只手的至少一个肩的位置；以及
基于与在估计位置中存在所述真正用户的肩的概率有关的信息而确定所述至少一只手是否为所述真正用户的手。
9.根据权利要求1所述的方法，其中所述估计连接至所述手的肩的位置包括：
获得包括位于所述检测区域中的手的图像；以及
通过分析获得的图像而检测连接至所述手的前臂、连接至所述前臂的上臂以及连接至所述上臂的肩中的至少一个。
10.一种可穿戴设备，包括：
输出器；
至少一个传感器；
存储一个或多个指令的存储器；以及
耦合至所述存储器的处理器，
其中所述处理器被配置成执行所述一个或多个指令以执行以下操作：
通过使用所述至少一个传感器来识别位于所述至少一个传感器的检测区域中的手；
基于所述手的定向与连接至所述手的至少一个身体部分之间的位置关系来估计连接至所述手的肩的位置；以及
基于与在估计位置中存在穿戴所述可穿戴设备的真正用户的肩的概率有关的信息来确定所识别的手是否为所述真正用户的手。
11.根据权利要求10所述的可穿戴设备，其中所述处理器被配置成：
获得与所述真正用户的肩存在的概率有关的信息；
从与所述真正用户的肩存在的概率有关的信息获得所述估计位置中的概率值；以及
当所述概率值大于阈值时，确定所述识别的手为所述真正用户的手。
12.根据权利要求10所述的可穿戴设备，其中所述处理器还被配置成：
当确定所述识别的手为所述真正用户的手时，识别所述识别的手的手势；以及
执行对应于所识别的手势的指令。
13.根据权利要求10所述的可穿戴设备，其中所述处理器还被配置成当确定所述识别的手不是所述真正用户的手时，忽略所述识别的手。
14.根据权利要求10所述的可穿戴设备，其中所述处理器还被配置成当确定所述识别的手为所述真正用户的手时，通过所述输出器提供指示所述真正用户的手是否位于所述检测区域中的通知信息。
15.根据权利要求14所述的可穿戴设备，其中所述处理器被配置成：
当所述真正用户的手进入所述检测区域中时，在所述输出器上显示第一识别图像；以及
当所述真正用户的手偏离所述检测区域时，在所述输出器上显示第二识别图像。
16.根据权利要求10所述的可穿戴设备，其中所述处理器还被配置成：
当确定所述识别的手为所述真正用户的手时，获得所述识别的手的第一特征信息；以及
基于所述手的第一特征信息而确定位于所述检测区域中的至少一只手是否为所述真正用户的手。
17.根据权利要求16所述的可穿戴设备，其中所述处理器还被配置成：
比较所述手的第一特征信息与位于所述检测区域中的所述至少一只手的第二特征信息；
当所述第一特征信息与所述第二特征信息之间的相似性水平小于阈值时，估计连接至所述至少一只手的至少一个肩的位置；以及
基于与在估计位置中存在所述真正用户的肩的概率有关的信息而确定所述至少一只手是否为所述真正用户的手。
18.一种通过可穿戴设备识别穿戴可穿戴设备的真正用户的手的方法，所述方法包括：
使用所述可穿戴设备中所包括的传感器来识别位于所述传感器的检测区域中的手；
基于与在所述检测区域中的每一位置处检测到所述真正用户的手的概率有关的信息来确定识别的手是否为所述真正用户的手；
当确定所述识别的手为所述真正用户的手时，识别所述识别的手的手势；以及
执行对应于识别的手势的指令。
19.一种计算机程序产品，包括至少一个记录介质，所述至少一个记录介质具有存储在其上的程序以执行根据权利要求1所述的方法。
20.根据权利要求19所述的计算机程序产品，其中确定识别的手是否为真正用户的手包括：
获得与所述真正用户的肩存在的概率有关的信息；
从与所述真正用户的肩存在的概率有关的信息获得估计位置中的概率值；以及
当所述概率值大于阈值时，确定所述识别的手为所述真正用户的手。
CN201980086532.2A 2018-12-26 2019-06-10 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备 Pending CN113227941A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0169909 2018-12-26
KR1020180169909A KR20200080047A (ko) 2018-12-26 2018-12-26 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
PCT/KR2019/006946 WO2020138602A1 (ko) 2018-12-26 2019-06-10 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기

Publications (1)

Publication Number Publication Date
CN113227941A true CN113227941A (zh) 2021-08-06

Family

ID=71125800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086532.2A Pending CN113227941A (zh) 2018-12-26 2019-06-10 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备

Country Status (5)

Country Link
US (1) US11941906B2 (zh)
EP (1) EP3859490A4 (zh)
KR (1) KR20200080047A (zh)
CN (1) CN113227941A (zh)
WO (1) WO2020138602A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102323609B1 (ko) 2018-04-30 2021-11-09 이휘원 웨어러블 기기를 이용하여 객체의 이벤트를 자동으로 감지하는 방법 및 이를 운용하는 관리 서버
WO2020226431A1 (ko) 2019-05-07 2020-11-12 인핸드플러스 주식회사 카메라 모듈 및 무선통신 장치를 활용하여 이벤트 감지를 수행하는 웨어러블 기기
KR102344338B1 (ko) 2020-08-19 2021-12-29 인핸드플러스 주식회사 약물 이행 모니터링 시스템 및 이를 이용하는 장치
WO2023146196A1 (ko) * 2022-01-25 2023-08-03 삼성전자 주식회사 비디오에서 사용자의 손을 결정하는 방법 및 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
CN105765516A (zh) * 2013-09-30 2016-07-13 高通股份有限公司 通过使用已知的和有待穿戴的传感器的手势检测系统的分类
CN106922185A (zh) * 2014-09-30 2017-07-04 微软技术许可有限责任公司 经由可穿戴和移动设备的基于自然运动的控制
US20170330569A1 (en) * 2015-04-07 2017-11-16 Sony Corporation Information processing apparatus, information processing method, and program

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
JP2011258159A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5854806B2 (ja) * 2010-12-16 2016-02-09 キヤノン株式会社 映像処理装置および映像処理方法
CA2868276A1 (en) * 2011-03-23 2013-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
JP6045139B2 (ja) * 2011-12-01 2016-12-14 キヤノン株式会社 映像生成装置、映像生成方法及びプログラム
KR101868903B1 (ko) 2012-01-11 2018-06-20 한국전자통신연구원 손 추적 장치 및 방법
JP5509227B2 (ja) * 2012-01-31 2014-06-04 株式会社コナミデジタルエンタテインメント 移動制御装置、移動制御装置の制御方法、及びプログラム
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
WO2014037939A1 (en) * 2012-09-05 2014-03-13 Body Pass Ltd. System and method for deriving accurate body size measures from a sequence of 2d images
US9298970B2 (en) * 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
JP6195893B2 (ja) 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
JP6177872B2 (ja) * 2013-02-19 2017-08-09 ミラマ サービス インク 入出力装置、入出力プログラム、および入出力方法
CN104424649B (zh) * 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
JP6237000B2 (ja) 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
KR101700817B1 (ko) 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
US9348989B2 (en) 2014-03-06 2016-05-24 International Business Machines Corporation Contemporaneous gesture and keyboard entry authentication
EP4239456A1 (en) * 2014-03-21 2023-09-06 Samsung Electronics Co., Ltd. Method and glasses type wearable device for providing a virtual input interface
US9870058B2 (en) 2014-04-23 2018-01-16 Sony Corporation Control of a real world object user interface
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US11150482B2 (en) * 2015-02-25 2021-10-19 Facebook Technologies, Llc Augmented reality content creation
JP6421670B2 (ja) * 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US20180153445A1 (en) * 2015-06-26 2018-06-07 Nec Solution Innovators, Ltd. Measurement device and measurement method
GB201512283D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
US9697648B1 (en) 2015-12-23 2017-07-04 Intel Corporation Text functions in augmented reality
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
US9857881B2 (en) 2015-12-31 2018-01-02 Microsoft Technology Licensing, Llc Electrical device for hand gestures detection
KR101876543B1 (ko) 2016-03-21 2018-07-09 한국전자통신연구원 탑뷰 영상 기반 인체 포즈 추정 장치 및 방법
JP2019113882A (ja) * 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
JP2019113881A (ja) * 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
US11073980B2 (en) 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control
US10593116B2 (en) * 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
EP3324270A1 (en) 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
US10168788B2 (en) 2016-12-20 2019-01-01 Getgo, Inc. Augmented reality user interface
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
DE102017201799A1 (de) 2017-02-06 2018-08-09 Volkswagen Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Anwenderunterscheidung
CN106980377B (zh) * 2017-03-29 2019-01-25 京东方科技集团股份有限公司 一种三维空间的交互系统及其操作方法
US10671843B2 (en) * 2017-03-31 2020-06-02 Intel Corporation Technologies for detecting interactions with surfaces from a spherical view of a room
US10713848B2 (en) * 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
JP2019101826A (ja) * 2017-12-04 2019-06-24 アイシン精機株式会社 ジェスチャ判定装置およびプログラム
US11016116B2 (en) * 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US10642369B2 (en) * 2018-06-14 2020-05-05 Dell Products, L.P. Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
DE102018115134B4 (de) * 2018-06-22 2021-08-05 Motherson Innovations Company Limited Verfahren zur Einstellung einer Mittelkonsole und Fahrzeug mit einer solchen Mittelkonsole
JP6589038B1 (ja) * 2018-12-19 2019-10-09 株式会社メルカリ ウェアラブル端末、情報処理端末、プログラム及び商品情報表示方法
US11009964B2 (en) * 2019-06-06 2021-05-18 Finch Technologies Ltd. Length calibration for computer models of users to generate inputs for computer systems
US20210035326A1 (en) * 2019-08-02 2021-02-04 Tokyo Institute Of Technology Human pose estimation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
CN105765516A (zh) * 2013-09-30 2016-07-13 高通股份有限公司 通过使用已知的和有待穿戴的传感器的手势检测系统的分类
CN106922185A (zh) * 2014-09-30 2017-07-04 微软技术许可有限责任公司 经由可穿戴和移动设备的基于自然运动的控制
US20170330569A1 (en) * 2015-04-07 2017-11-16 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
WO2020138602A1 (ko) 2020-07-02
US11941906B2 (en) 2024-03-26
EP3859490A4 (en) 2021-12-08
EP3859490A1 (en) 2021-08-04
US20220004750A1 (en) 2022-01-06
KR20200080047A (ko) 2020-07-06

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
US10748342B2 (en) Interaction system for augmented reality objects
US10534442B2 (en) Method and wearable device for providing a virtual input interface
CN107743604B (zh) 增强和/或虚拟现实环境中的触摸屏悬停检测
US10083544B2 (en) System for tracking a handheld device in virtual reality
CN113227941A (zh) 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
US11055919B2 (en) Managing content in augmented reality
US20150379770A1 (en) Digital action in response to object interaction
US11516550B2 (en) Generating an interactive digital video content item
US11533434B2 (en) Generating and rendering motion graphics effects based on recognized content in camera view finder
US11640700B2 (en) Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
US11954595B2 (en) Electronic device for recognizing object in image, and operation method thereof
US20230410441A1 (en) Generating user interfaces displaying augmented reality graphics
CN113614794A (zh) 管理增强现实中的内容

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination