CN108073280A - 在增强或虚拟现实环境中选择对象 - Google Patents

在增强或虚拟现实环境中选择对象 Download PDF

Info

Publication number
CN108073280A
CN108073280A CN201711133573.1A CN201711133573A CN108073280A CN 108073280 A CN108073280 A CN 108073280A CN 201711133573 A CN201711133573 A CN 201711133573A CN 108073280 A CN108073280 A CN 108073280A
Authority
CN
China
Prior art keywords
gesture
user
environment
remaining
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711133573.1A
Other languages
English (en)
Other versions
CN108073280B (zh
Inventor
樊尚·阿洛姆
皮埃雷克·茹埃
马蒂·弗雷德蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108073280A publication Critical patent/CN108073280A/zh
Application granted granted Critical
Publication of CN108073280B publication Critical patent/CN108073280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的方法，所述环境通过显示设备(4)显示给用户(2)，其中所述方法包括向多个对象(8、10、12、14、16、18、20)中的每个对象分配手势路径，所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。

Description

在增强或虚拟现实环境中选择对象
技术领域
本发明总体涉及人机交互领域。
更具体地说，本发明针对与包括真实对象和/或虚拟对象的增强或虚拟现实环境中的对象的用户交互。
因此，本发明涉及一种在环境中选择对象的方法和相应的选择设备。本发明还涉及实现本发明的选择方法的计算机程序。
背景技术
本部分中描述的内容可能在进行，但不一定是之前已经构思或进行的内容。因此，除非在本文中另行指示，否则在本部分中所描述的内容不是本申请权利要求的现有技术，并且不因包含在本部分中而被承认为现有技术。
与诸如计算机、智能电话和平板电脑等多媒体设备的常见用户交互通常依赖于用户输入，如键盘事件、鼠标事件以及诸如捏合、缩放、触摸等屏幕触摸事件。
其他交互也正变得很普遍，如语音命令和手势命令，它们经常用作间接触发，因为通常需要分析相关背景以引起用户期望的动作。
这种背景通常可以与用户当前使用的特定应用有关并有可能受到所述特定应用的限制。在这种情况下，所考虑的背景例如包括用户所做的最近查询或上次打开的菜单。
背景还可以包括直接用户环境，诸如用户在房间中的物理位置以及房间中存在的物品，因为用户可以通过他的肉眼或者使用透视设备或头戴式显示器(HMD)来感知这些信息。图1中示出了包括直接用户环境中的真实对象的背景的示例。
在图1的示例中，配备有头戴式显示器4的用户2可以与位于房间6中的大量真实对象进行交互。例如，这些对象包括放置在桌子7上的对象，例如，摄像机8和报纸10。
此外，在诸如改变现实或虚拟现实应用之类的一些情况下，背景可以包括来自用户周围的真实和/或虚拟对象。在图2中示出了这种背景的示例。
改变现实意味着增强现实(也称为混合现实)情况(即，场景中存在真实对象加上一些虚拟对象)以及改变(例如，在尺寸、颜色、存在或位置方面)用户直接看到或通过使用诸如透视眼镜等设备看到的真实对象的情况。
在图2的示例中，配备有头戴式显示器4的用户2可以与真实对象8、10交互。用户2也可以与位于房间6中的虚拟对象交互。例如，虚拟对象包括地球仪12、游戏柄14、均衡器16、角色18和齿轮20。这些虚拟对象可以与头戴式显示器4中的应用相关。例如，虚拟对象可以用作可用应用的化身，或可以被激活以触发一些相关应用程序的元素的化身，例如，用于游戏开启的游戏柄14。
在用户的直接环境中存在多个真实和/或虚拟对象的情况下，用户可能需要具体指示他打算与之交互的对象。这种对对象的选择需要非常准确，以避免由于选择错误对象而误解用户意图。
在常见游戏中，这种互动的触发一次限于几个对象。对象的数量通常与玩家使用的游戏柄的按钮数量相关联。一些游戏(例如Play Station 3和Play Station 4游戏机中的Heavy Rain Move Edition)在游戏场景中使用特定控制设备和精细调整布局的对象。
文献US2013/0328925描述了一种用于在混合现实环境中解释用户关注虚拟对象的系统。该系统包括耦接到一个或多个处理单元的透视头戴式显示设备。与该头戴式显示单元协作的处理单元可以向用户显示一个或多个虚拟对象，也称为全息对象。用户可以与所显示的虚拟对象进行交互。通过使用推理、表达手势和启发式规则，该系统确定用户可能关注且与之交互的虚拟对象。此时，系统可以相比于其他虚拟对象强调所选的虚拟对象，并以各种方式与所选的虚拟对象进行交互。
在该文献中，通过确定用户头部或眼睛或手相对于虚拟对象的位置或者通过确定用户的手相对于虚拟对象的移动，来选择用户想要与之交互的对象。
现有技术解决方案的一个问题在于在紧密相邻的成组对象的情况下不能精确地管理对象选择。此外，现有的解决方案不能准确地处理从用户视角部分或全部交迭的真实和/或虚拟对象。
图3示出了包含多个虚拟对象的现实增强场景的示例。这种场景不易通过现有的系统来管理。
图3场景中存在的对象与图2场景中存在的对象相同，其中相机8非常接近报纸10从而相机8部分覆盖报纸10。
例如，在对象如此接近或甚至部分或完全地遮挡的情况下，用户2如何能够例如通过移动他/她的手22来方便地触发与图3场景中的特定对象(诸如，桌子7上的摄像机8或报纸10)的一些交互？
发明内容
本发明提出用于改进该情况的解决方案。
因此，本发明提供了一种在包括多个真实和/或虚拟对象的环境中选择对象的方法，所述环境通过显示设备显示给用户，其中所述方法包括向多个对象中的每个对象分配手势路径，所述手势路径包括要由用户执行以选择该对象的一系列手势。
因此，通过分配唯一区分环境中每个对象的手势路径，可以选择任何对象，即使从用户的视角该对象被另一个对象部分或完全覆盖。
根据一个实施例，所述方法包括：将每个对象的手势路径显示为叠加在该对象上或该对象附近的标签。
例如，对于从用户的视角可见的对象，标签具有叠加在该对象上的半透明覆盖纹理。对于用户从他的视角看不到的对象，标签放置在该对象附近以便可见。备选地，以半透明纹理显示遮挡对象，且标签叠加在该对象上，使得它本身是半可见的。
有利地，以根据手势方向进行指向的箭头形式显示手势路径的每个手势。
根据一个实施例，所述方法包括：
-检测用户执行的手势；
-显示为选择对象仍然要执行的手势路径的其余手势。
因此，用户在每个手势之后知道为选择每个对象仍然要执行的其余手势。
根据第一实施例，所述方法包括：
-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；
-放弃检测到的对象。
优选地，通过在检测到的对象上叠加叉形标签来放弃检测到的对象，这些对象变成用户不可选择的。
根据第二实施例，所述方法包括：
-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；
-改变检测到的对象的其余手势，其中，环境中每个对象的其余手势不同于环境中任何其他对象的其余手势。
因此，根据第二实施例，即使用户错误地执行与用户想要选择的目标对象的手势路径不对应的手势，由于相应手势路径被动态地改变，所以仍然可以选择该对象。
有利地，当分配给对象的手势路径已完全完成时，选择该对象。
根据一个实施例，手势是手部手势。
这是有利的，因为手部手势的方向易于检测。
有利地，手势路径的分配考虑用户的舒适度。
例如，在确定为了选择对象而要完成的手势时，考虑用户物理手部限制。
本发明还提供了一种用于在包括多个真实和/或虚拟对象的环境中选择对象的选择设备，所述环境通过显示器显示给用户，其中所述选择设备包括配置为向多个对象中的每个对象分配手势路径的分配模块，所述手势路径包括要由用户执行以选择该对象的一系列手势。
根据一个实施例，分配模块被配置为：
-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；
-改变检测到的对象的其余手势，其中，环境中每个对象的其余手势不同于环境中任何其他对象的其余手势。
根据一个实施例，选择设备包括被配置为分析环境并检测环境中的多个对象的环境分析模块。
有利地，环境分析模块被配置为检测从用户的视角被部分或完全遮挡的对象。
根据一个实施例，选择设备包括被配置为分析由用户完成的手势的手势分析模块。
根据本发明的方法可以实现为可编程装置上的软件。可以单独地用硬件或软件或其组合方式来实现该方法。由于本发明可实现为软件，所以本发明可实现为计算机可读代码，用于在任意合适载体介质上提供给可编程装置。载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动、磁带设备或固态存储设备等。
本发明因此提供了一种计算机可读程序，包括使计算机能够执行本发明的选择方法的计算机可执行指令。
图7的图示出了用于这种计算机程序的通用算法的示例。
附图说明
作为示例而非限制，在附图中示出本发明，其中相似的附图标记指代相似的元素，在附图中：
-图1是仅包括真实对象的环境的示意图，已对图1进行描述；
-图2是包括真实对象和虚拟对象的增强现实环境的示意图，已对图2进行描述；
-图3示出了包括许多彼此靠近的对象的增强现实环境的示例，已对图3进行描述；
-图4示出了在图3的环境中的本发明的实现方案的示例；
-图5示出了在图3的环境中的本发明的第一实施例的实现方案的示例；
-图6示出了在图3的环境中的本发明的第二实施例的实现方案的示例；
-图7是示出了根据本公开实施例的选择方法的步骤的流程图；以及
-图8是示出了根据本发明实施例的选择设备的示意图。
具体实施方式
在已参照图3描述的增强现实环境中实现本发明的实施例。
图4也呈现了这种环境。在这种环境下中，配备有头戴式显示器4的用户2可以与真实对象8、10交互。用户2也可以与对象12、14、16、18、20进行交互。例如，这些虚拟对象可以与头戴式显示器4中的应用(诸如，游戏)相关。图4中呈现的环境(也被称为场景)对应于配备有头戴式显示器4的用户2的视野。
有利地，用户2通过移动他/她的手22来与对象8、10、12、14、16、18、20中的对象进行交互。可以根据由箭头24表示的多种运动而移动手22。
在以下描述中，手势是指身体部位(优选地，手)在2D或3D空间中的最小移动，可通过负责用户命令检测的分析系统来检测。例如，用户将他/她的右手从静止位置稍微向右移动4cm，然后再次静止。这可以表示一个手势移动单位。
手势路径是指如上定义的单位手势的组合，即时间序列。
在通常围绕用户手部当前位置定义的2D空间中，手的深度变化通常被忽略，深度是从手到实时估计手部变化的观察设备的距离。这种观察设备包括例如摄像机等感测设备。
在3D空间中，还考虑相对于观察设备的手的深度位置的变化，以允许额外的单位手势，例如，一些“按压”手势(手稍微靠近负责估计手部手势的观察设备)或者一些“释放”手势(手稍微远离该设备)。
手势(相应地，手势路径)的起点和终点可以是在移动估计过程中检测到的移动消失。手势的终点还可以被定义为持续时间阈值(例如，单位手势可以被设置为最多3秒)，或手势路径可以被设置为一旦累积的手势单位不属于任何已知手势(即，系统试图识别为命令的手势)就结束。
此外，“手部”手势包括使用被用作控制器的任何对象(例如，遥控器)进行的手势。
有利地，在所示的实施例中，由用户的手部22执行的手势是2D手势，即，手势在靠近用户手部22的平面区域中。
根据另一示例，还针对手部生理限制或用户的舒适要求，考虑在用户2的手部22周围的边界区域中的3D手势。事实上，手部22应该保持接近其初始手势起点，并且例如不能远离用户的位置。
根据图4所示的实施例，当进行对象选择时，场景的每个候选对象被暂时呈现为或多或少地被部分标记，例如，通过使用半透明覆盖纹理。有利地，标签包括以一系列箭头的形式表示的动态信息，从而显示用户2为了最终选择每个对象而需要实现的其余手势。这些其余手势提供用户2为了选择对象而需要使用手部22来实现的手势路径。
为了作出期望的选择，每个时刻构成手势路径的其余手势被构建为具有区分性，即，该场景的适格对象不会同时具有相同的其余手势路径，如图4所示，场景中的每个对象的手势路径不同于其他对象的手势路径。
通过将手势路径与每个对象相关联，可以选择环境中的所有对象，即使例如由于对象完全或部分地被其他对象隐藏而对于用户2是不可见的。为了改善选择被遮挡对象的这种可能性，可以减小用于显示其相关手势路径的半透明纹理的对象覆盖层的尺寸。
根据图5所呈现的第一实施例，当用户2用手部22做出与针对给定对象要完成的其余手势的第一手势不相对应的手势时，则从选择中放弃该对象，即，用户2不能再选择这个对象。
例如，当用户2刚刚根据用箭头26表示的手势移动手部22时，该手势仅与对象18和20的手势路径的第一手势相对应，从选择中放弃所有其他对象8、10、12、14、16。
例如，通过在变为不可选择的对象8、10、12、14、16上叠加叉形标签，向用户2显示这种放弃。也可以通过缩小对象的尺寸来显示对象被放弃。
该第一实施例对于实现对期望对象的快速选择是有利的。但是，该第一实施例不是容错性的。事实上，用户2可能想要选择例如游戏柄14，但是不幸地做出了与和该游戏柄14相关联的其余手势路径的第一手势不对应的错误手势。
有利地，根据第二实施例，即使在用户2做出错误手势之后仍然有可能选择对象。
根据图6所示的第二实施例，当用户2做出的手势不对应于要针对对象完成的其余手势的第一手势时，该对象的其余手势被改变，且仍然不同于环境中的其他任何对象的其余手势。该第二实施例允许从用户2完成的任何错误手势进行恢复。
因此，不像第一实施例那样被放弃，对象8、10、12、14、16仍然是可选择的，但是用新的手势路径。
重要的是注意到只有对象8、10、12、14、16的手势路径被改变。没有改变对象18、20的手势路径，对于这些对象18、20，用户2的手势与手势路径的第一手势相匹配。尽管根据第二实施例激活了恢复选项，但是由于对于这些对象的选择过程保持相同，并且用户不会面对附加选择时间，所以这是有利的。
在错误手势的情况下，用户2仍然可以选择期望对象，而不必重新进行完整的手势检测，如稍后参考图7所述。因此，第二实施例允许以在执行对象选择的时间方面的最小成本来纠正错误手势。
本发明的第二实施例的方案导致对每个存在但可能被放弃的对象的每个手势路径的动态实时更新。
有利的是，手势路径的改变可以通过任何手段以可视方式通知给用户2，例如，通过使用新的红色或不连续的箭头。
当手势路径发生变化时，也考虑物理手部限制和用户的舒适度。因此，当手势路径引导手部22远离其初始位置或在用户2可能不舒服的区域中时，重新计算后的手势路径趋于将用户的手部22引回接近其初始位置的路径，或者甚至到一个更舒适的位置，同时保持所有对象的手势路径具有可区分性。
此外，有利地，当仅考虑2D手势且用户2做出3D手势时，手势路径被重新计算。备选地，可以首先根据用户的第一3D手势估计用户手势评估所在的2D平面方位，以便例如让用户定义其优选手势区域。
图7的流程图示出了根据本发明优选实施例的对象选择方法的步骤。
在第一步骤30期间，优选地通过3D扫描来估计环境布局(ENV)。
这种3D扫描可以包括以下步骤之一或其组合：
-深度感测；
-彩色立体捕捉；
-图像特征提取，可能通过例如数据库特征提取来完成，以便提取专属于用户2的位置和/或方位的特征。可以使用预先学习的已知对象的数据库，帮助估计用户环境的布局，在所述数据库中，通过空间/尺寸特征、颜色特征、深度特征等来描述对象。例如，可以将椅子、沙发、桌子的数据库用于此目的。
例如，所述估计可以识别用户2在家里的特定房间中并且可以认识到相关对象，例如，起居室中的沙发、TV、咖啡桌。
在检测到真实对象之后，将虚拟对象添加到场景中的相同位置(例如，在同一个房间中)或其他位置(例如，另一房间)。
在步骤32，检测环境中的一个或多个对象(OBJ)的部分或完全遮挡。这种遮挡通常是由于真实对象和/或虚拟对象之间的部分或完全覆盖。
然后，在步骤34通过改变呈现给用户的对象的外观，来处理(PROC)检测到的遮挡。例如，从用户的视角来看被完全遮挡的对象通过例如半透明覆盖物被可视化地布置，以便为这些对象中的每一个进行一些显示分配。例如，完全遮挡另外两个对象的某一对象可以看起来其原始视图被一分为三，而将在原本遮挡对象区域中向另外两个其他对象分配一部分显示区域。用户界面中所呈现显示中的半透明和/或彩色子区域是这种遮挡处理的可能输出。
在步骤36，将手势路径(PATH)分配给可以由用户选择的每个对象(被称为可选对象)。该手势路径以标签形式显示在头戴式设备4上。
在步骤38，检测(DET)用户的手势的起点。然后，估计手势实现(gestureachievement)。
在步骤40中，根据本发明的第二实施例，当检测到手势与一个或多个对象的一个或多个手势路径不匹配时，更新(UPD)手势路径。
在步骤42中，当用户2已完成给定对象的手势路径时，选择(SEL)该对象。
有利地，向用户显示用户可以使用所选对象执行的动作列表。
根据一个实施例，可以替代地或结合显示，执行音频反馈。
用户于是可以选择期望动作。此动作可以是用户界面动作，如缩放。也可以是内容播放或使用所选对象的任何其他动作。
在步骤44，执行期望动作(MEN)。
图8示出了根据本发明实施例的选择设备50。
选择设备50例如是头戴式显示器4本身，特别是当头戴式显示器具有足够的处理能力和感测硬件能力时。选择设备也可以是PC、智能电话、机顶盒、网关或具有一个或多个处理器、网络连接性和场景(3D)感测能力的任何其他设备。
选择设备50包括环境分析模块(ENV)52。该环境分析模块52有利地包括3D场景扫描仪。
选择设备50还包括分配模块54，其被配置为向由环境分析模块52检测到的每个可选对象分配手势路径(PATH)。根据本发明的第二实施例，分配模块54被配置为在必要时更新手势路径。
根据一个实施例，选择设备50包括被配置为分析由用户2完成的手势的手势分析模块(GEST)56。该手势分析模块56优选地被配置成检测在平面中的用户手部22手势(2D手势)。
可以根据例如来自嵌入在头戴式显示器4中的和/或空间定位在用户环境中的相机的视觉线索估计(例如，图像分割)，来进行3D场景扫描和用户手势的识别/追踪，以实现准确的用户手部跟踪和场景布局估计。
备选地，可以通过使用深度相机进行3D特征提取，基于通过飞行时间选择进行的纯深度感测，或红外光投影图案或立体视觉相机的深度估计，或以上的组合，执行3D场景扫描和用户手势的识别/追踪。
尽管已经如上示意并说明了目前被视为本发明优选实施例的实施例，但本领域技术人员将理解，在不偏离本发明的真实范围的情况下，可以进行各种其他修改，也可以替换等同形式。另外，在不脱离本文所述的中心创造性构思的情况下可以作出许多修改以使特定情形适应于本发明的教导。此外，本发明的实施例可以不包括上述全部特征。因此，本发明不限于所公开的具体实施例，而是包括落在所附权利要求的范围内的所有实施例。
在解释说明书以及相关联的权利要求时，诸如“包括”、“包含”、“结合”、“含有”、“是”和“具有”之类的表达应以非排他的方式理解，即被理解为允许另外存在未明确指出的其他项目或组件。对单数的引用也应解释为对复数的引用，反之亦然。
本领域技术人员将容易地意识到，可以修改本说明书中公开的不同参数，并且可以合并所公开和/或所要求保护的不同实施例，而不背离本发明的范围。

Claims (15)

1.一种在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的方法，所述环境通过显示设备(4)显示给用户(2)，其中所述方法包括向所述多个对象(8、10、12、14、16、18、20)中的每个对象分配(36)手势路径，所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。
2.根据权利要求1所述的方法，包括：将每个对象的手势路径显示(36)为叠加在该对象上或该对象附近的标签。
3.根据权利要求1或2所述的方法，其中，以根据手势方向进行指向的箭头形式显示手势路径的每个手势。
4.根据权利要求1至3中的任一项所述的方法，包括：
-检测(38)用户(2)执行的手势；
-显示为选择对象仍然要执行的手势路径的其余手势。
5.根据权利要求1至4中的任一项所述的方法，包括：
-检测对象，其中检测到的用户(2)手势与针对所述对象待完成的其余手势中的第一手势不相对应；
-放弃检测到的对象。
6.根据权利要求1至4中的任一项所述的方法，包括：
-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；
-改变(40)检测到的对象的其余手势，其中，所述环境的每个对象的其余手势不同于所述环境的任何其他对象的其余手势。
7.根据权利要求1到6中的任一项所述的方法，其中，当分配给对象的手势路径已完全完成时，选择(42)该对象。
8.根据权利要求1到7中的任一项所述的方法，其中，所述手势是手部手势。
9.根据权利要求1到8中的任一项所述的方法，其中，所述手势路径的分配考虑用户的舒适度。
10.一种用于在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的选择设备(50)，所述环境通过显示器(4)显示给用户(2)，其中所述选择设备(50)包括至少一个处理器，其中所述选择设备(50)包括分配模块(54)，所述分配模块(54)被配置为向所述多个对象(8、10、12、14、16、18、20)中的每个对象分配手势路径，所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。
11.根据权利要求10所述的选择设备，其中，所述分配模块(54)被配置为：
-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；
-改变检测到的对象的其余手势，其中，所述环境的每个对象的其余手势不同于所述环境的任何其他对象的其余手势。
12.根据权利要求10或11所述的选择设备，包括被配置为分析所述环境并检测所述环境的所述多个对象的环境分析模块(52)。
13.根据权利要求10到12中的任一项所述的选择设备，其中，所述环境分析模块(52)被配置为检测从用户的视角被部分或完全遮挡的对象。
14.根据权利要求10到13中的任一项所述的选择设备，包括被配置为分析由用户(2)完成的手势的手势分析模块(56)。
15.一种计算机可读程序，包括使计算机能够执行根据权利要求1至9中的任一项所述的选择方法的计算机可执行指令。
CN201711133573.1A 2016-11-16 2017-11-15 在增强或虚拟现实环境中选择对象 Active CN108073280B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306497.5 2016-11-16
EP16306497.5A EP3324270A1 (en) 2016-11-16 2016-11-16 Selection of an object in an augmented reality environment

Publications (2)

Publication Number Publication Date
CN108073280A true CN108073280A (zh) 2018-05-25
CN108073280B CN108073280B (zh) 2022-08-19

Family

ID=57442612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711133573.1A Active CN108073280B (zh) 2016-11-16 2017-11-15 在增强或虚拟现实环境中选择对象

Country Status (5)

Country Link
US (1) US10747307B2 (zh)
EP (2) EP3324270A1 (zh)
JP (1) JP7093174B2 (zh)
KR (1) KR102508924B1 (zh)
CN (1) CN108073280B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246286A (zh) * 2018-07-13 2019-01-18 深圳超多维科技有限公司 智能终端应用操作的控制方法、系统、设备及存储介质
CN110554770A (zh) * 2018-06-01 2019-12-10 苹果公司 静态遮挡物
CN110968187A (zh) * 2018-09-28 2020-04-07 苹果公司 由外围设备启用的远程触摸检测
CN111124136A (zh) * 2019-12-31 2020-05-08 维沃移动通信有限公司 虚拟画面同步方法及穿戴式设备
CN111665936A (zh) * 2020-05-19 2020-09-15 维沃移动通信有限公司 音乐收藏方法、装置、电子设备及介质
CN112843706A (zh) * 2021-03-16 2021-05-28 网易（杭州）网络有限公司 Vr游戏中虚拟物体的处理方法、装置以及电子设备
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN112204505A (zh) * 2018-06-06 2021-01-08 索尼公司 信息处理装置、信息处理方法和程序
US20210181864A1 (en) * 2018-06-18 2021-06-17 Sony Corporation Information processing device, information processing method, and program
US10942577B2 (en) * 2018-09-26 2021-03-09 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
KR102629330B1 (ko) 2018-11-28 2024-01-26 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20200080047A (ko) 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
JP7446943B2 (ja) 2020-08-18 2024-03-11 株式会社日立製作所 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム
WO2023153220A1 (ja) * 2022-02-09 2023-08-17 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534441A (zh) * 2003-03-28 2004-10-06 用于手势的动态反馈
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
CN103218148A (zh) * 2011-12-29 2013-07-24 苹果公司 用于配置与用户接口的受约束的交互的装置、方法和图形用户接口
CN103403661A (zh) * 2011-09-27 2013-11-20 电子触控产品解决方案公司 手势基输入的缩放
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
CN103809735A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种手势识别的方法及装置
CN104254817A (zh) * 2012-04-16 2014-12-31 高通股份有限公司 快速手势重新约定

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7093202B2 (en) * 2002-03-22 2006-08-15 Xerox Corporation Method and system for interpreting imprecise object selection paths
JP4883774B2 (ja) 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8130211B2 (en) * 2007-09-24 2012-03-06 Microsoft Corporation One-touch rotation of virtual objects in virtual workspace
US9767681B2 (en) * 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
US8812990B2 (en) * 2009-12-11 2014-08-19 Nokia Corporation Method and apparatus for presenting a first person world view of content
CN102508651B (zh) * 2011-09-29 2015-04-15 深圳超多维光电子有限公司 用户界面的实现方法及系统、电子设备
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置
US8880336B2 (en) * 2012-06-05 2014-11-04 Apple Inc. 3D navigation
EP2872967B1 (en) * 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
KR20140089049A (ko) * 2013-01-02 2014-07-14 삼성전자주식회사 3ｄ 초음파 영상 분석 지원 장치 및 방법
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US20150029092A1 (en) * 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US10914951B2 (en) 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
JP6144596B2 (ja) * 2013-09-30 2017-06-07 Dmg森精機株式会社 表示装置
JP6201770B2 (ja) * 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150248166A1 (en) * 2014-01-26 2015-09-03 Shangkar Meitei Mayanglambam System for spontaneous recognition of continuous gesture input
TWI511029B (zh) * 2014-01-28 2015-12-01 Acer Inc 觸控顯示裝置及其操作方法
US9836760B2 (en) * 2014-01-31 2017-12-05 Apple Inc. Representative user journeys for content sessions
EP2916099B1 (en) * 2014-03-07 2020-09-30 Hexagon Technology Center GmbH Articulated arm coordinate measuring machine
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
US20160148558A1 (en) * 2014-11-26 2016-05-26 Fos Labs, Inc. Personal display systems
KR102388130B1 (ko) * 2015-01-12 2022-04-19 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
US10222976B2 (en) * 2015-06-23 2019-03-05 Sap Se Path gestures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534441A (zh) * 2003-03-28 2004-10-06 用于手势的动态反馈
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
CN103403661A (zh) * 2011-09-27 2013-11-20 电子触控产品解决方案公司 手势基输入的缩放
CN103218148A (zh) * 2011-12-29 2013-07-24 苹果公司 用于配置与用户接口的受约束的交互的装置、方法和图形用户接口
CN104254817A (zh) * 2012-04-16 2014-12-31 高通股份有限公司 快速手势重新约定
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
CN103809735A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种手势识别的方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554770A (zh) * 2018-06-01 2019-12-10 苹果公司 静态遮挡物
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US11954245B2 (en) 2018-06-05 2024-04-09 Apple Inc. Displaying physical input devices as virtual objects
CN109246286A (zh) * 2018-07-13 2019-01-18 深圳超多维科技有限公司 智能终端应用操作的控制方法、系统、设备及存储介质
CN110968187A (zh) * 2018-09-28 2020-04-07 苹果公司 由外围设备启用的远程触摸检测
CN110968187B (zh) * 2018-09-28 2022-04-01 苹果公司 由外围设备启用的远程触摸检测
US11714540B2 (en) 2018-09-28 2023-08-01 Apple Inc. Remote touch detection enabled by peripheral device
CN111124136A (zh) * 2019-12-31 2020-05-08 维沃移动通信有限公司 虚拟画面同步方法及穿戴式设备
CN111665936A (zh) * 2020-05-19 2020-09-15 维沃移动通信有限公司 音乐收藏方法、装置、电子设备及介质
CN112843706A (zh) * 2021-03-16 2021-05-28 网易（杭州）网络有限公司 Vr游戏中虚拟物体的处理方法、装置以及电子设备
CN112843706B (zh) * 2021-03-16 2024-05-28 网易（杭州）网络有限公司 Vr游戏中虚拟物体的处理方法、装置以及电子设备

Also Published As

Publication number Publication date
US10747307B2 (en) 2020-08-18
KR102508924B1 (ko) 2023-03-13
JP2018081694A (ja) 2018-05-24
EP3324271B1 (en) 2022-07-27
KR20180055697A (ko) 2018-05-25
EP3324270A1 (en) 2018-05-23
CN108073280B (zh) 2022-08-19
EP3324271A1 (en) 2018-05-23
US20180136721A1 (en) 2018-05-17
JP7093174B2 (ja) 2022-06-29

Similar Documents

Publication Publication Date Title
CN108073280A (zh) 在增强或虚拟现实环境中选择对象
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
US11307666B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
AU2024202163A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20200035103A (ko) 시선-기반 사용자 상호작용
JP2019008351A (ja) 情報処理装置、情報処理方法及び記録媒体
WO2009148064A1 (ja) 画像認識装置および操作判定方法並びにプログラム
US20200402265A1 (en) Image processing apparatus, content processing system, and image processing method
CN104246661A (zh) 使用手势与装置交互
CN107077199B (zh) 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法
CN111383345B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
CN117980962A (zh) 用于内容应用的设备、方法和图形用户界面
CN106909219B (zh) 基于三维空间的交互控制方法和装置、智能终端
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
Tian et al. Enhancing augmented vr interaction via egocentric scene analysis
CN118349138A (zh) 人机交互方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190521

Address after: Paris, FRA

Applicant after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210429

Address after: Paris, FRA

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Paris, FRA

Applicant before: Interactive Digital CE Patent Holding Co.

GR01 Patent grant
GR01 Patent grant