CN106933343A - 用于识别虚拟现实头戴装置中的手势的设备和方法 - Google Patents

用于识别虚拟现实头戴装置中的手势的设备和方法 Download PDF

Info

Publication number
CN106933343A
CN106933343A CN201610801612.XA CN201610801612A CN106933343A CN 106933343 A CN106933343 A CN 106933343A CN 201610801612 A CN201610801612 A CN 201610801612A CN 106933343 A CN106933343 A CN 106933343A
Authority
CN
China
Prior art keywords
identifying
user
head
equipment
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610801612.XA
Other languages
English (en)
Other versions
CN106933343B (zh
Inventor
G.斯里瓦斯塔瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106933343A publication Critical patent/CN106933343A/zh
Application granted granted Critical
Publication of CN106933343B publication Critical patent/CN106933343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种VR设备包括：检测器，其包括第一视觉传感器和第二视觉传感器；以及控制器，其与所述检测器操作地耦合。所述控制器被配置为通过第一视觉传感器识别第一对象；并且基于通过第二视觉传感器识别出的第二对象来确定所述识别出的第一对象是否是所述VR设备的用户的对象。

Description

用于识别虚拟现实头戴装置中的手势的设备和方法
技术领域
本申请总体上涉及虚拟现实(VR)头戴装置，并且更具体地说，涉及用于识别VR头戴装置的用户的手势的设备和方法。
背景技术
本领域需要一种改善的设备和方法，用于识别虚拟现实(VR)头戴装置的用户的手势，以便使VR头戴装置的用户之外的入侵者的影响最小化。
发明内容
为解决现有技术的以上讨论的缺陷，主要目的是提供一种被配置为由用户佩戴的虚拟现实(VR)头戴装置。在本公开的优选实施例中，VR头戴装置包括：i)前视视觉传感器，其用于检测VR头戴装置的前向视场中的对象；ii)下视视觉传感器，其用于检测VR头戴装置的向下视场中的对象；iii)控制器，其耦合到前视视觉传感器和下视视觉传感器。控制器被配置为：a)检测通过前视视觉传感器捕捉的第一图像中的手部；b)检测通过下视视觉传感器捕捉的第二图像中的用户的臂部；并且c)确定在第一图像中检测到的手部是否是用户的手部。
在一个实施例中，控制器通过将在第一图像中检测到的手部的相对位置与在第二图像中检测到的用户的臂部的相对位置进行比较来确定在第一图像中检测到的手部是否是用户的手部。
在另一个实施例中，控制器通过将在第一图像中检测到的手部的相对移动与在第二图像中检测到的用户的臂部的相对移动进行比较来确定在第一图像中检测到的手部是否是用户的手部。
在又一个实施例中，控制器通过将在第一图像中检测到的手部的相对排列与在第二图像中检测到的用户的臂部的相对排列进行比较来确定在第一图像中检测到的手部是否是用户的手部。
VR设备包括：检测器，其包括第一视觉传感器和第二视觉传感器；以及控制器，其与检测器操作地耦合。控制器被配置为通过第一视觉传感器来识别第一对象；并且基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是VR设备的用户的对象。
一种操作VR设备的方法包括：通过第一视觉传感器来识别第一对象；以及基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是VR设备的用户的对象。
在进行以下详细描述之前，阐明遍及本专利文档使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”以及其衍生词意味着没有限制的包括；术语“或”是包括的，意指和/或；短语“与……相关联”和“与其相关联”以及其衍生词可以意指包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、耦合到或与……耦合、与……可通信、与……协同、交错、并列、接近于、结合到或与……结合、具有、具有……属性等；以及术语“控制器”意指控制至少一个操作的任何装置、系统或其一部分，这种装置可以硬件、固件或软件、或上述中的至少两者的某种组合来实现。应当注意的是，不论是本地或远程，与任何特定控制器相关联的功能可以是集中式的或分布式的。贯穿本专利文档提供某些词语和短语的定义，本领域普通技术人员应当理解，在许多(如果不是大多数)实例中，此类定义适用于如此定义的词语和短语的先前使用和未来使用。
附图说明
为了更完整地理解本公开和其优点，现在参考结合附图的以下描述，其中相同参考标号表示相同部分：
图1A是根据本公开的一个实施例的虚拟现实(VR)头戴装置的透视图。
图1B是根据本公开的一个实施例的VR头戴装置的前视图。
图2示出根据本公开的一个实施例的VR头戴装置的手势检测操作。
图3示出在根据本公开的一个实施例的VR头戴装置的前视视觉传感器的视场中检测到的手部和在下视视觉传感器的视场中检测到的臂部。
图4是根据本公开的一个实施例的VR头戴装置的示意性方框图。
图5是示出根据本公开的一个实施例的VR头戴装置的操作的流程图。
图6是根据本公开的一个实施例的用于确定识别出的手部是否是VR头戴装置的用户的对象的流程图。
图7是根据本公开的一个实施例的用于忽略VR头戴装置的用户之外的入侵者的手势的流程图。
图8是根据本公开的一个实施例的用于确定是否允许VR头戴装置的用户之外的入侵者的姿势的流程图。
具体实施方式
下文讨论的图1A至图8以及用于在本专利文档中描述本公开的原理的各种实施例仅仅是举例说明，并且不应当以任何方式被解释为限制本公开的范围。本领域技术人员将理解的是，本公开的原理可以在任何适当安排的虚拟现实头戴装置中实现。
在以下的本公开中，短语“虚拟现实”将一般地用于虚拟现实和增强现实两者，以便简化下面的描述。另外，除非另外指明，否则以下术语具有以下含义：i)“视觉传感器”是指任何摄像机(例如，RGB相机)、深度传感器或运动检测电路设备；ii)“主用户”或“用户”是指实际佩戴和操作虚拟现实(VR)头戴式显示器(HMD)或头戴装置的人；以及iii)“入侵者”是指用户之外的任何人，他们的手势在HMD/头戴装置的VR用户界面上有意或无意地触发不希望的影响。
图1A是根据本公开的一个实施例的VR头戴装置100的透视图。图1B是根据本公开的一个实施例的VR头戴装置100的前视图。VR头戴装置100包括底座(或外壳)105、前向视觉传感器100、头部绑带120、以及向下视觉传感器130。底座105容纳VR头戴装置100的电子件(electronics)。用户将VR头戴装置100放置在他或她的头部上并且系紧头部绑带120以将VR头戴装置100保持在适当位置。前向视觉传感器110捕捉前向视场(FOV)150并且在VR头戴装置100的内部显示器上显示前向FOV 150。用户随后可在内部显示器上观看前向FOV 150中的任何对象。
当VR头戴装置100的前向视觉传感器110和内部处理器出于确定手势的目的而检测到前向FOV 150中的手部时，可能难以确定该手部属于主用户还是入侵者。有必要防止来自入侵者的手势对用户界面造成不希望的干扰。本公开提供一种通过使用向下视觉传感器130(其捕捉向下FOV 160)来区分真正(legitimate)用户手势和入侵者手势的方法。VR头戴装置100的向下视觉传感器130和内部处理器可操作来检测并识别向下FOV 160中的用户臂部，并且随后将用户手部移动与用户臂部移动相关和/或相关联。以此方式，VR头戴装置100能够确定在前向FOV 150中检测到的手部是属于VR头戴装置100的真正用户还是入侵者。一旦进行了此确定，VR头戴装置100的内部处理器将只处理来自用户的手势命令并且将忽略来自入侵者的手势。
图2示出根据本公开的一个实施例的VR头戴装置100的手势检测操作。在图2中，用户向前伸展她的臂部和手部以与虚拟世界中的对象交互。前向视觉传感器110检测前向FOV150中的用户手部210，并且向下视觉传感器130检测向下FOV 160中的用户臂部220。VR头戴装置110随后通过将用户手部210与用户臂部220的排列和/或位置进行比较来确定用户手部210是否属于用户。VR头戴装置110还可通过将用户手部210与用户臂部220的相对移动进行比较来确定用户手部210是否属于用户。追踪的移动可以包括手部和臂部的左右(横向)移动、手部和臂部的上下(垂直)移动和/或手部和臂部远离或朝向用户身体的前向后向(伸展)移动。
图3示出在根据本公开的一个实施例的VR头戴装置100的前向视觉传感器110的前向FOV 150中检测到的手部310和320以及在向下视觉传感器130的向下FOV 160中检测到的臂部311和321。通常，用户将只能在VR头戴装置100的内部显示器上看见前向FOV 150中检测到的手部310和320。仅通过VR头戴装置100的内部处理器看见并分析检测到的臂部311和321。在图3中，检测到的臂部311和321的横向移动(由左右箭头指示)可以与检测到的手部310和320的类似横向移动相关，从而将检测到的手部310和320识别为VR头戴装置100的用户的手部而并非入侵者的手部。
图4是根据本公开的一个实施例的VR头戴装置100的示意性方框图。VR头戴装置100包括前向视觉传感器(VS)110和向下VS 130。VR头戴装置100还包括VR头戴装置控制器410、存储器420、VR源视频430、视频处理器440、显示器450、以及扬声器460。在示范性实施例中，前向VS 110和向下VS 130可包括常规的摄像机(例如，RGB摄像机)。
VR头戴装置控制器410是微处理器或微控制器，其通过运行存储在存储器420中的操作系统程序和一个或多个应用程序来控制VR头戴装置410的整体操作。视频处理器440从VR源视频430接收源视频，视频处理器440随后将所述源视频显示在显示器450的一个或多个屏幕上。VR源视频430可以是无线地或有线地耦合到VR头戴装置410的外部VR视频播放器。可替代地，VR源视频430可以是内部存储器(包括存储器420的一部分)，VR视频内容存储在其中。在相机模式中，VR头戴装置控制器410将前向VS 110和向下VS 130的现实世界输出导向视频处理器440，使得用户可以在显示器450上看见用户周围的现实世界以及增强现实(AR)视频内容。
根据本公开的原理，VR头戴装置控制器410被配置为引导视频处理器440在前向VS110的视频输出中检测前向FOV 150中的用户手部并且在向下VS 130的视频输出中检测向下FOV 160中的用户臂部。VR头戴装置控制器410进一步被配置为引导视频处理器440将用户手部移动与用户臂部移动相关和/或相关联。以此方式，视频处理器440能够确定在前向FOV 150中检测到的手部是属于VR头戴装置100的真正用户还是入侵者。
图5是示出根据本公开的一个实施例的VR头戴装置100的操作的流程图。最初，用户激活VR头戴装置100并且将VR头戴装置100放置在他或她的头部上(步骤505)。在激活之后，用户可以启动可由用户手势控制的应用。作为响应，视频处理器440检测前向FOV 150中的一个或多个手部(步骤510)。视频处理器440还检测向下FOV 160中的用户的至少一个臂部的一部分(例如，前臂)(步骤515)。
视频处理器440随后尝试确定在前向FOV 150中检测到的手部是用户的手部还是入侵者的手部。视频处理器440可以通过将在前向FOV 150与向下FOV 160中检测到的对象进行比较和分析以便将检测到的手部与检测到的前臂的排列和/或移动相关来完成此举(步骤520)。根据此比较，视频处理器440识别VR头戴装置100的真正用户的手部并且忽略检测到的入侵者的手部(步骤525)。然后，视频处理器440和/或VR头戴装置控制器410处理真正用户的手势(步骤530)。
图6是根据本公开的一个实施例的用于确定识别出的手部是否是VR头戴装置的用户的对象的流程图。
VR头戴装置100通过第一视觉传感器识别第一对象(步骤605)。第一视觉传感器可以是前向视觉传感器。第一对象可以是用户的手部210。VR头戴装置100基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是用户的对象(步骤610)。第二视觉传感器可以是向下视觉传感器130。第二对象可以是用户的臂部220。
VR头戴装置100通过确定识别出的第一对象是否与识别出的第二对象相关来确定识别出的第一对象是否是用户的对象。如果识别出的第一对象是用户的对象，则VR头戴装置100允许识别出的第一对象的输入并且忽略入侵者的输入。另外，VR头戴装置100可以使用第一视觉传感器和第二视觉传感器而并不使用额外硬件(例如，臂带)来确定用户的对象。入侵者可以意指第三方。
图7是根据本公开的一个实施例的用于忽略VR头戴装置的用户之外的入侵者的手势的流程图。
VR头戴装置100识别前向FOV 150中的入侵者的手部(步骤705)。VR头戴装置100根据本公开的各种实施例来确定识别出的手部是否是入侵者的手部。VR头戴装置100识别向下FOV 160中的VR头戴装置100的用户的臂部311和321(步骤710)。图7示出按照次序执行步骤705和步骤710的流程图，但可以同时执行每个步骤。另外，根据实施方式可以按照相反的次序执行步骤705和步骤710。VR头戴装置100将前向FOV 150与向下FOV 160中的识别出的对象进行比较，以便确定位置、排列和/或移动是否与识别出的手部和识别出的臂部311和321相关(步骤715)。例如，VR头戴装置100可以使用与图5的步骤520所述的方法对应的方法来确定识别出的对象。VR头戴装置100确定入侵者的手部(步骤720)。换言之，VR头戴装置100确定步骤715中比较的对象中的入侵者的手部。VR头戴装置100忽略入侵者的手势(步骤725)。结果，VR头戴装置100可以防止入侵者的手势对用户界面造成不希望的影响。
图8是根据本公开的一个实施例的用于确定是否允许VR头戴装置的用户之外的入侵者的姿势的流程图。
VR头戴装置100确定在VR中是否允许入侵者的姿势(步骤805)。如果VR头戴装置100允许VR中的入侵者的姿势，则VR头戴装置100可以允许入侵者的姿势在应用中的输入(步骤810)。例如，如果VR头戴装置100允许入侵者的姿势，则VR头戴装置100可以实现用户和入侵者两者可以协同使用的应用。如果VR头戴装置100忽略VR中的入侵者的姿势，则VR头戴装置100可以半透明地显示入侵者的姿势(步骤815)。结果，VR头戴装置100可以通过在VR中半透明地显示入侵者的姿势来识别前向FOV中的入侵者的对象的存在。
尽管已经利用示范性实施例来描述本公开，但是可以向一位本领域技术人员建议各种改变和修改。本公开旨在涵盖如落在所附权利要求书范围内的此类改变和修改。

Claims (15)

1.一种虚拟现实(VR)设备，包括：
检测器，其包括第一视觉传感器和第二视觉传感器；以及
控制器，其与所述检测器操作地耦合，
其中所述控制器被配置为：
通过所述第一视觉传感器识别出第一对象；并且
基于通过所述第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是所述VR设备的用户的对象。
2.如权利要求1所述的VR设备，其中所述控制器被配置为：
通过所述第一视觉传感器捕捉包括第一对象的图像，并且
从所捕捉的图像识别出第一对象。
3.如权利要求2所述的VR设备，其中所述控制器被配置为：
通过第二视觉传感器捕捉包括第二对象的图像，并且
从所捕捉的图像识别出第二对象。
4.如权利要求3所述的VR设备，其中所述控制器被配置为基于识别出的第一对象和识别出的第二对象的相对位置、相对移动以及相对排列中的至少一者来确定所述识别出的第一对象是否是用户的对象。
5.如权利要求1所述的VR设备，其中所述控制器进一步被配置为：
通过第一视觉传感器识别出属于用户之外的第三方的第三对象，并且
基于所述识别出的第二对象和识别出的第三对象来确定所述识别出的第一对象是否是用户的对象。
6.如权利要求5所述的VR设备，其中所述控制器被配置为基于所述识别出的第二对象和所述识别出的第三对象的相对位置、相对移动以及相对排列中的至少一者来确定所述识别出的第三对象是否是用户的对象。
7.如权利要求6所述的VR设备，其中如果所述识别出的第一对象是用户的对象，则所述控制器进一步被配置为识别所述识别出的第一对象的姿势。
8.如权利要求7所述的VR设备，其中所述控制器进一步被配置为在VR中半透明地显示所述识别出的第三对象的姿势。
9.一种操作虚拟现实(VR)设备的方法，包括：
通过第一视觉传感器识别出第一对象；以及
基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是所述VR设备的用户的对象。
10.如权利要求9所述的方法，
识别第一对象的步骤包括：
通过第一视觉传感器捕捉包括第一对象的图像；以及
从所捕捉的图像识别出第一对象。
11.如权利要求10所述的方法，
确定所述识别出的第一对象是否是所述VR设备的用户的对象的步骤包括：
通过第二视觉传感器捕捉包括第二对象的图像；
从所捕捉的图像识别出第二对象；以及
基于识别出的第二对象来确定所述识别出的第一对象是否是所述VR设备的用户的对象。
12.如权利要求11所述的方法，确定所述识别出的第一对象是否是所述VR设备的用户的对象的步骤包括基于所述识别出的第一对象和所述识别出的第二对象的相对位置、相对移动以及相对排列中的至少一者来确定所述识别出的第一对象是否是用户的对象。
13.如权利要求9所述的方法，还包括：
通过第一视觉传感器识别出属于用户之外的第三方的第三对象；以及
基于所述识别出的第二对象和识别出的第三对象来确定所述识别出的第一对象是否是用户的对象。
14.如权利要求13所述的方法，确定所述识别出的第一对象是否是用户的对象的步骤包括基于所述识别出的第二对象和所述识别出的第三对象的相对位置、相对移动以及相对排列中的至少一者来确定所述识别出的第三对象是否是用户的对象。
15.如权利要求14所述的方法，还包括如果所述识别出的第一对象是用户的对象，则识别所述识别出的第一对象的姿势。
CN201610801612.XA 2015-12-29 2016-09-05 用于识别虚拟现实头戴装置中的手势的设备和方法 Active CN106933343B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/982,299 US10140507B2 (en) 2015-12-29 2015-12-29 Apparatus and method for recognizing hand gestures in a virtual reality headset
US14/982,299 2015-12-29
KR10-2016-0026357 2016-03-04
KR1020160026357A KR102568708B1 (ko) 2015-12-29 2016-03-04 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
CN106933343A true CN106933343A (zh) 2017-07-07
CN106933343B CN106933343B (zh) 2021-08-31

Family

ID=59087895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610801612.XA Active CN106933343B (zh) 2015-12-29 2016-09-05 用于识别虚拟现实头戴装置中的手势的设备和方法

Country Status (3)

Country Link
US (1) US10140507B2 (zh)
KR (1) KR102568708B1 (zh)
CN (1) CN106933343B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650591B1 (en) * 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10497179B2 (en) 2018-02-23 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11176374B2 (en) * 2019-05-01 2021-11-16 Microsoft Technology Licensing, Llc Deriving information from images
US11751800B2 (en) * 2020-10-22 2023-09-12 International Business Machines Corporation Seizure detection using contextual motion
US20220197277A1 (en) * 2020-12-23 2022-06-23 Qatar Foundation For Education, Science And Community Development Telepresence control schemes for hazardous environments
US11681146B2 (en) * 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120246416A1 (en) * 2011-03-23 2012-09-27 Kabushiki Kaisha Toshiba Communication device and control method thereof
CN102799271A (zh) * 2012-07-02 2012-11-28 Tcl集团股份有限公司 一种基于人手手势的交互命令识别方法及系统
CN103077373A (zh) * 2012-12-30 2013-05-01 信帧电子技术（北京）有限公司 基于上肢推搡检测打架行为的方法
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
CN104007865A (zh) * 2013-02-27 2014-08-27 联想(北京)有限公司 识别方法和电子设备
CN104424470A (zh) * 2013-09-03 2015-03-18 联想(北京)有限公司 一种手势识别方法及装置
CN104714635A (zh) * 2013-12-16 2015-06-17 联想(北京)有限公司 信息处理的方法及电子设备
CN104765444A (zh) * 2014-01-03 2015-07-08 哈曼国际工业有限公司 车载手势交互空间音频系统
US20150199824A1 (en) * 2014-01-10 2015-07-16 Electronics And Telecommunications Research Institute Apparatus and method for detecting multiple arms and hands by using three-dimensional image
US20150241959A1 (en) * 2013-07-12 2015-08-27 Magic Leap, Inc. Method and system for updating a virtual world
CN105027033A (zh) * 2013-02-14 2015-11-04 高通股份有限公司 用于头部安装显示器的基于人体手势的区域和空间选择
CN105031919A (zh) * 2010-03-30 2015-11-11 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
US20150323993A1 (en) * 2014-05-12 2015-11-12 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US9207773B1 (en) * 2011-05-13 2015-12-08 Aquifi, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US20160171770A1 (en) * 2014-12-10 2016-06-16 Sixense Entertainment, Inc. System and Method for Assisting a User in Locating Physical Objects While the User is in a Virtual Reality Environment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309562A (ja) * 2005-04-28 2006-11-09 Hitachi Omron Terminal Solutions Corp 生体情報登録装置
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20150312561A1 (en) * 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
EP2961325A2 (en) * 2013-02-26 2016-01-06 Butterfly Network Inc. Transmissive imaging and related apparatus and methods

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105031919A (zh) * 2010-03-30 2015-11-11 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
US20120246416A1 (en) * 2011-03-23 2012-09-27 Kabushiki Kaisha Toshiba Communication device and control method thereof
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
US9207773B1 (en) * 2011-05-13 2015-12-08 Aquifi, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
CN102799271A (zh) * 2012-07-02 2012-11-28 Tcl集团股份有限公司 一种基于人手手势的交互命令识别方法及系统
CN103077373A (zh) * 2012-12-30 2013-05-01 信帧电子技术（北京）有限公司 基于上肢推搡检测打架行为的方法
CN105027033A (zh) * 2013-02-14 2015-11-04 高通股份有限公司 用于头部安装显示器的基于人体手势的区域和空间选择
CN104007865A (zh) * 2013-02-27 2014-08-27 联想(北京)有限公司 识别方法和电子设备
US20150241959A1 (en) * 2013-07-12 2015-08-27 Magic Leap, Inc. Method and system for updating a virtual world
CN104424470A (zh) * 2013-09-03 2015-03-18 联想(北京)有限公司 一种手势识别方法及装置
CN104714635A (zh) * 2013-12-16 2015-06-17 联想(北京)有限公司 信息处理的方法及电子设备
CN104765444A (zh) * 2014-01-03 2015-07-08 哈曼国际工业有限公司 车载手势交互空间音频系统
US20150199824A1 (en) * 2014-01-10 2015-07-16 Electronics And Telecommunications Research Institute Apparatus and method for detecting multiple arms and hands by using three-dimensional image
US20150323993A1 (en) * 2014-05-12 2015-11-12 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US20160171770A1 (en) * 2014-12-10 2016-06-16 Sixense Entertainment, Inc. System and Method for Assisting a User in Locating Physical Objects While the User is in a Virtual Reality Environment

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PARTH B. PANCHAL 等: "A Hand Gesture Based Transceiver System for", 《IEEE SPONSORED 2ND INTERNATIONAL CONFERENCE ON ELECTRONICS AND COMMUNICATION SYSTEM》 *
STEPHAN R. RICHTER: "Bootstrapper: Recognizing Tabletop Users by their Shoes", 《CHI "12: PROCEEDINGS OF THE SIGCHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS》 *
冯沁红: "手臂运动实时识别系统", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Also Published As

Publication number Publication date
CN106933343B (zh) 2021-08-31
US10140507B2 (en) 2018-11-27
KR102568708B1 (ko) 2023-08-21
KR20170078488A (ko) 2017-07-07
US20170185830A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN106933343A (zh) 用于识别虚拟现实头戴装置中的手势的设备和方法
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9939909B2 (en) Gesture manipulation device and method, program, and recording medium
US9411417B2 (en) Eye gaze tracking system and method
US8638987B2 (en) Image-based hand detection apparatus and method
US8675916B2 (en) User interface apparatus and method using movement recognition
US9734393B2 (en) Gesture-based control system
JP5418093B2 (ja) 表示装置および制御方法
US20140240225A1 (en) Method for touchless control of a device
US20160104298A1 (en) Apparatus and method for poomsae recognition and dan promotion test of taekwondo based on skeleton of human body using depth camera
JP5598751B2 (ja) 動作認識装置
JP4968922B2 (ja) 機器制御装置及び制御方法
EP3188075B1 (en) Apparatus and method for recognizing hand gestures in a virtual reality headset
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
KR20160099335A (ko) 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법
KR102528507B1 (ko) Yolo모델과 객체 추적 기법을 융합한 하이브리드형 열화상 이미지 기반 객체 탐지 방법
KR20200113743A (ko) 인체 자세 추정 및 보정을 하는 방법 및 장치
CN105765608A (zh) 用于根据闪耀点进行眼睛检测的方法和设备
JP6092173B2 (ja) 電子装置とその操作方法
WO2018198272A1 (ja) 制御装置、情報処理システム、制御方法、及びプログラム
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
JP3796840B2 (ja) 身振り入力装置及びそれを含む入力装置
JP2006059147A (ja) コンピュータ入力方法と装置
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant