CN107077169B - 扩增现实中的空间交互 - Google Patents

扩增现实中的空间交互 Download PDF

Info

Publication number
CN107077169B
CN107077169B CN201580057672.9A CN201580057672A CN107077169B CN 107077169 B CN107077169 B CN 107077169B CN 201580057672 A CN201580057672 A CN 201580057672A CN 107077169 B CN107077169 B CN 107077169B
Authority
CN
China
Prior art keywords
user
hand
scene
coordinate system
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580057672.9A
Other languages
English (en)
Other versions
CN107077169A (zh
Inventor
哈特穆特·赛西特
迪特尔·施马尔施蒂格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107077169A publication Critical patent/CN107077169A/zh
Application granted granted Critical
Publication of CN107077169B publication Critical patent/CN107077169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

一种用于在扩增现实AR中进行空间交互的方法包含显示包含现实世界场景的图像、虚拟目标对象及虚拟光标的AR场景。所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供。用户装置根据第二坐标系统跟踪所述用户装置相对于用户的手的姿势。将所述第二坐标系统映射到所述第一坐标系统以控制所述虚拟光标的移动。在第一映射模式中，控制虚拟光标移动以改变所述虚拟光标与所述虚拟目标对象之间的距离。在第二映射模式中，控制虚拟光标移动以操纵所述虚拟目标对象。检测用户输入以控制使用所述第一映射模式或所述第二映射模式中的哪一者。

Description

扩增现实中的空间交互
相关申请案的交叉参考
本专利申请案主张标题为“扩增现实中的空间交互(SPATIAL INTERACTION INAUGMENTED REALITY)”的第62/080,050号美国临时申请案的权益，所述美国临时申请案在2014年11月14日申请，让渡给本受让人，且明确地以全文引用的方式并入本文中。
技术领域
本发明的各方面大体上涉及扩增现实，且确切地说，涉及扩增现实环境中的空间交互。
背景技术
扩增现实是组合现实世界图像与计算机产生的数据(例如图形或文字信息)的新兴技术。扩增现实技术使用高级用户装置(例如平板计算机、智能电话，等等)将图形、音频及其它感觉增强叠加到现实世界上，因此增强现实。扩增现实允许用户实时地与真实对象交互，从而使虚拟图像与现实世界对齐。
然而，现今的扩增现实应用中的一些仍具有挑战。
发明内容
在一个方面中，一种用于在扩增现实(AR)中进行空间交互的方法包含显示包含现实世界场景的图像、虚拟目标对象及虚拟光标的AR场景。所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供。用户装置根据第二坐标系统跟踪所述用户装置相对于用户的手的姿势。将所述第二坐标系统映射到所述第一坐标系统以控制所述虚拟光标的移动。在第一映射模式中，控制虚拟光标移动以改变所述虚拟光标与所述虚拟目标对象之间的距离。在第二映射模式中，控制虚拟光标移动以操纵所述虚拟目标对象。检测用户输入以控制使用所述第一映射模式或所述第二映射模式中的哪一者。
在另一方面中，一种设备包含：用于通过用户装置获取现实世界场景的图像的装置；以及用于在所述用户装置上显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实(AR)场景的装置。所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供。所述设备进一步包含用于根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势的装置。用于将所述第二坐标系统映射到所述第一坐标系统的装置也包含于所述设备中以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动。所述用于将所述第二坐标系统映射到所述第一坐标系统的装置包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动以改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的距离，且其中所述第二映射模式经配置以控制虚拟手的移动以操纵所述AR场景内的所述虚拟目标对象。所述设备还包含用于在所述用户装置处检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动的装置。
另一方面是针对一种用户装置，其包含相机、显示器、存储器及处理单元。所述相机经配置以俘获现实世界场景的图像，且所述显示器经配置以显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实(AR)场景。所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供。所述存储器经调适以存储程序代码，且所述处理单元耦合到所述存储器以存取且执行包含于所述程序代码中的指令以引导所述用户装置：(i)根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势；(ii)将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动，其中将所述第二坐标系统映射到所述第一坐标系统包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动以改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述AR场景内的所述虚拟目标对象；以及(iii)检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动。
在又一方面中，一种非暂时性计算机可读媒体包含存储于其上的程序代码。所述程序代码包含在执行时致使用户装置执行以下操作的指令：(i)获取现实世界场景的图像；(ii)显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实(AR)场景，其中所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供；(iii)根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势；(iv)将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动，其中所述第二坐标系统映射到所述第一坐标系统的所述映射包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动以改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述AR场景内的所述虚拟目标对象；以及(v)检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动。
此“发明内容”是在遵守以下理解的情况下提交：其将不会用于解释或限制权利要求的范围或含义。此“发明内容”并不意欲识别所主张的标的物的关键或基本特征，也不意欲用作辅助来确定所主张的标的物的范围。
附图说明
图1说明根据本文中所描述的技术的一或多个实施方案的扩增现实环境。
图2说明供用于根据本文中所描述的技术的实施方案的扩增现实环境中的空间交互机制。
图3说明供用于根据本文中所描述的技术的实施方案的空间交互机制。
图4是操作供用于根据本文中所描述的技术的实施方案的扩增现实环境中的空间交互机制的方法的流程图。
图5A到5C是说明根据本文中所描述的技术的一或多个实施方案的目标与各种姿势的手之间的关系的图画表示。
图6到9B是说明供用于根据本文中所描述的技术的替代实施方案的扩增现实环境中的空间交互机制的图画表示。
图10是说明能够执行本文中论述的过程的设备1000的功能框图。
图11是说明可使用于经配置以提供与如本文中所教示的扩增现实场景的空间交互的用户装置中的组件的若干样本方面的简化框图。
具体实施方式参考附图。在图中，参考标号最左边的数字识别所述参考标号在其中首先出现的图。贯穿图式使用相同数字以指代相同特征及组件。
具体实施方式
本文中所描述的技术是针对使用三维(3D)感测装置在手持型装置的屏幕侧上跟踪用户的手以产生用户的手的运动与扩增现实场景中发生的情况之间的更自然连接。在一或多个实施方案中，用户装置具有多个坐标系统：对象到装置坐标系统(用于对象空间)、手到装置坐标系统(用于控制空间)，及虚拟光标坐标系统(用于光标空间)。用户装置获取用户的手的平移及旋转移动及/或用户装置自身的平移及旋转移动以在三个维度(3D)中控制“虚拟手”或“虚拟光标”的移动。虚拟光标可接着与扩增现实(AR)场景交互。因为用户的手可具有二十七个自由度，因此可提供坐标系统之间的更多映射坐标选项以控制虚拟光标的移动。
本文中所描述的实例可实施两个不同映射模式用于响应于用户的手的移动而将手到装置坐标系统映射到虚拟光标坐标系统以控制虚拟手在AR场景中的移动。第一映射模式(在本文中也被称作GoGo机制)使用交互式伸长用户的手臂及用于够到并操纵AR场景中的远处的对象的非线性映射的象征来实现对附近对象及远处对象两者的顺畅地直接操纵。第一映射模式允许用户随意地改变其手臂长度以抓取并操纵AR场景中远离以及接近于用户的对象。在一个方面中，根据第一映射模式将手到装置坐标系统映射到虚拟光标坐标系统在控制虚拟光标的移动时考虑到用户的手相对于用户装置的平移及旋转移动以及用户装置相对于虚拟目标对象的平移及旋转移动。
第二映射模式(在本文中也被称作魔法手机制)使得能够精确地操纵包含于AR场景中的虚拟目标对象。在第二映射模式中，用户装置到手坐标系统可直接映射到虚拟光标坐标系统，使得控制空间直接置于对象空间中。这允许非常精确地直接操纵对象。在一个方面中，根据第二映射模式将手到装置坐标系统映射到虚拟光标坐标系统在控制虚拟光标的移动时考虑到用户的手相对于用户装置的平移及旋转移动，而独立于用户装置相对于虚拟目标对象的任何平移及旋转移动。
GoGo机制与魔法手机制之间的一个差异为如何解释用户装置的两个坐标系统及/或如何将其组合在一起以产生虚拟光标。在GoGo机制中，坐标系统中的平移经归一化，但旋转未经归一化。手检测系统在用户装置中的范围的大小用来使平移数据归一化。旋转是朝向用户装置旋转。接着，执行线性内插以将用户的手在控制空间中的移动转译为虚拟光标在光标空间中的移动。由此，用户可够到用户装置的末端。
在一或多个实施方案中，GoGo魔法机制还包含对手势及/或手指姿态检测。对手指姿态的解译允许在GoGo机制(打开手)与魔法手机制(食指指向动作)之间切换。对手势及/或手指姿态检测的解译还允许区分开选择与操纵。举例来说，GoGo魔法机制可将握拳解译为请求在GoGo机制提供的选择与魔法手机制提供的操纵之间进行切换。
在一或多个实施方案中，筷子机制使用筷子的尖端产生在用户装置的一个侧上的点。筷子机制还使用用户装置的中心点作为立方体。用户可接着使用筷子来利用筷子的尖端选择扩增现实场景中的对象。或者，替代使用物理筷子，用户可使用虚拟筷子。
再或者，用户可使用拇指及食指或任何两根手指模拟筷子运动，以实现夹捏手势来放大与缩小筷子的虚拟或实际尖端。其它合适手指姿势及/或手势包含改变手在按钮上的压力，等。其它用户输入也是可能的，包含但不限于语音、触摸，等等。
图1说明根据本文中所描述的技术的一或多个实施方案的扩增现实环境100。所说明的扩增现实环境100包含用户的手102、用户装置104及目标106。包含于用户装置104中的相机俘获或以其它方式获取包含目标106的现实世界场景的图像。用户装置104可接着在显示器112上显现包含所述场景的图像、虚拟目标对象108(例如，虚拟房屋)及虚拟手114(即，虚拟光标)的AR场景。所说明的用户的手102包含食指110。在所说明的环境100中，虚拟手114还包含虚拟食指116。扩增现实环境100还包含第一坐标系统120及第二坐标系统118。在一个方面中，虚拟手114的位置是根据第一坐标系统120而提供于AR场景内。类似地，第二坐标系统118界定用户装置104与用户的手102之间的关系。在一个实例中，用户装置104相对于用户的手102的姿势可使用来自第二坐标系统118的坐标加以表达。扩增现实环境100还包含耦合到用户装置104的传感器122。扩增现实环境100包含虚拟空间。
在一或多个实施方案中，扩增现实环境100使用基于视觉的跟踪系统，借助于耦合到用户装置104或嵌入于所述用户装置内的相机来跟踪用户装置104相对于虚拟目标对象108的姿势。扩增现实环境100接着可确定虚拟目标对象108与用户装置104之间的三维(3D)关系。扩增现实环境100还使用传感器122参考坐标系统118跟踪用户装置104相对于用户的手102的姿势。坐标系统118接着映射到坐标系统120以响应于用户的手102的移动而控制虚拟手114在AR场景中的移动。
在操作中，扩增现实环境100可俘获现实世界场景的图像，使用场景辨识算法识别场景中的对象，基于所识别对象检索信息，且产生物理场景图像与相关于所识别对象的信息的组合显示，且由此扩增物理场景。在扩增实境系统中，用户对现实世界的视图利用计算机产生的虚拟图形(例如，虚拟目标对象108)加以增强。这些图形在空间上对齐以使得其从检视用户的角度看来与现实世界对准。举例来说，空间对齐可使得虚拟人物看起来站立在真实的桌子上。
在一或多个实施方案中，扩增现实环境100可用于游戏设定、指令设定、工业设计、体育及娱乐、医疗环境或可受益于扩增现实技术的使用的其它适合环境中。
在一或多个实施方案中，用户的手102可为用户装置104的任何人类检视者的部分。由此，用户的手102可使用多种模态与用户装置104交互。当然，用户的手102可为例如机器人等能够在例如人类的控制下与用户装置104交互的任何机械装置的部分。
在一或多个实施方案中，用户装置104可为任何用户装备，例如电话、平板计算机、“平板手机(电话+平板计算机)”计算机、智能电话、膝上型计算机及桌上型计算机，等等。在一或多个实施方案中，用户装置104可包含一或多个定向感测模块、相机、无线收发器、图形引擎、处理器、用户接口(例如，显示器112、小键盘)、眼睛移动检测模块、手移动检测模块、语音检测模块、话音辨识模块、面部表情辨识模块、头部跟踪模块，等等。用户装置104可具有六个自由度。
在一或多个实施方案中，目标106可为场所、对象、大体方向、人员，或其它类似项目。目标106可静止或移动。在一个实例中，目标106为包含例如纹理、形状、图形或大小等区分性可观察特征的对象，所述可观察特征由用户装置104辨识以用于跟踪且辅助用户装置104的姿势估计以产生AR场景中的虚拟目标对象。举例来说，目标106可为可由用户装置104的基于视觉的跟踪系统辨识的先前确定的图形的印刷输出。因此，用户装置104的相机可俘获包含目标106的现实世界场景的一或多个图像，对所述图像执行一或多个辨识算法以检测目标106的存在，接着在后续图像中跟踪目标106，使得可跟踪用户装置104相对于目标106以及相对于关于目标106产生的任何虚拟目标对象(例如，108)的姿势。
所说明的显示器112可为能够显示文字、图像及其类似者的触摸屏显示器、全息显示器，等。
所说明的坐标系统118为用户的手102相对于用户装置104的坐标系统。坐标系统120为用于提供虚拟手114的位置的坐标系统。具有坐标系统118及坐标系统118提供十二个自由度，因为用户的手102可移动，用户的手102可转动，用户装置104可移动，且用户装置104可转动。
所说明的传感器122可为能够感测回转手的任何合适装置，例如红外传感器。或者，传感器122可为能够跟踪及/或检测用户的手的移动、手指姿势、握拳等的磁性传感器、声学传感器、惯性传感器、光学传感器、机械传感器等。此外，传感器122可实施用以确定用户装置104的位置的机制。因此，传感器122可实施包含使用来自网络的数据的机制，包含三角测量、Wi-Fi定位，等等。
在一或多个实施方案中，传感器122可区分手指、手掌等，且将数据提供到用户装置104。所说明的传感器122可为任何合适的三维(3D)感测装置。
图2说明根据本文中所描述的技术的实施方案的第一映射模式(例如，GoGo机制)的实施方案。使用GoGo机制200，用户的手102可够到距离大于用户的手臂长度的对象。所说明的GoGo机制200可包含控制空间202(包含坐标系统118)、光标空间204(包含坐标系统120)及对象空间206。对象空间206与用户装置104相关联，且可提供用户装置104相对于目标106的姿势。控制空间202横跨在用户装置104与用户的手102(在图1中展示)之间。控制空间202的大小可动态地映射到对象空间206以提供光标空间204。目标106及/或虚拟目标对象108还在光标空间204中对齐。取决于用户距用户装置104的距离，用户的手102可能能够始终够到显示器112的屏幕上的场景。作为实例且参考图1，用户装置104可跟踪用户装置104相对于用户的手102的姿势，以便检测用户的手102的达第一距离130A的平移移动(例如，用户的手102较接近于/朝向用户装置104而移动)。在此实例中，第一映射模式包含将用户的手102的所检测平移移动归一化为虚拟手114在AR场景中达第二距离130B的平移移动(例如，虚拟手102较接近于/朝向虚拟目标对象108而移动)。然而，由于平移移动归一化到坐标系统120中，因此第二距离130B大于第一距离130A。行为另一实例，用户装置104可跟踪用户装置104相对于用户的手102的姿势，以便检测用户的手102的达第一距离132A的平移移动(例如，用户的手102移动远离用户装置104)。在此实例中，第一映射模式还包含将用户的手102的所检测平移移动归一化为虚拟手114在AR场景中达第二距离132B的平移移动(例如，虚拟手102移动远离虚拟目标对象108)。类似地，由于平移移动归一化到坐标系统120中，因此第二距离132B大于第一距离132A。
此外，用户装置可检测用户装置104的平移及/或旋转移动，其中用户装置的所检测平移及旋转移动与用户的手的平移及旋转移动组合以提供虚拟手114的平移及旋转移动。
图3说明根据本文中所描述的技术的实施方案的第二映射模式(例如，魔法手机制300)的实施方案。在所说明的实施方案中，由用户装置104上的传感器122产生的控制空间302映射(例如，直接映射)到与对象空间306相关联的光标空间304。如图3中所示，光标空间304从用户装置104脱离。即，映射可为一对一映射，以使得可精确地操纵对象空间306中的对象(例如，虚拟目标对象108)。因此，魔法手机制可允许精确地操纵用户装置104的显示器112上展示的场景中的对象。对虚拟目标对象108的操纵可包含经由虚拟手114选择、启动、触摸、移动、调整大小、旋转或以其它方式与虚拟目标对象108交互。传感器122可使用红外光学件、相机、深度感测器等等加以实施。在一或多个实施方案中，光标空间304为可在其中操纵对象且虚拟手116在其中四处移动的空间。魔法手机制300允许对对象的精细粒度操纵。作为实例且参考图1，用户装置104可跟踪用户装置104相对于用户的手102的姿势，以便检测用户的手102的达第一距离130A的平移移动(例如，用户的手102较接近于或朝向用户装置104而移动)。在此实例中，第二映射模式包含将用户的手102的所检测平移移动直接映射到虚拟手114在AR场景中达第二距离130B的平移移动(例如，虚拟手102较接近于或朝向虚拟目标对象108而移动)。因此，由于平移移动直接映射到坐标系统120中，因此第二距离130B等于第一距离130A。类似地，用户装置可检测用户的手102的旋转移动，其中所检测旋转移动直接映射到虚拟手114的旋转移动(例如，用户的手102的10度旋转导致虚拟手114的10度旋转)。在一个方面中，用户装置可独立于用户装置104相对于目标106的任何平移及旋转移动而确定虚拟手114的平移及旋转移动。
图4是说明根据一或多个实施方案的操作扩增现实环境100以允许用户选择且操纵虚拟目标对象的过程400的流程图。过程400为由图1的用户装置104执行的一个可能过程。
在过程框402中，用户装置104俘获或以其它方式获取现实世界场景的图像。在过程框404中，显示器112显示包含现实世界场景的图像、虚拟目标对象108及虚拟手114的AR场景。如上文所提及，虚拟手的位置是根据AR场景内的第一坐标系统120而提供。在过程框408中，用户装置104根据第二坐标系统118跟踪用户装置104相对于用户的手102的姿势。在过程框410中，用户装置104检测用户输入。如上文所提及，检测用户输入可借助于传感器122执行以检测用户的手102的手指姿态及/或手势中的至少一者。接下来，在决策框412中，用户装置412确定用户输入是否指示用户装置102应在第一映射模式或第二映射模式中操作以控制虚拟手116在AR场景中的移动。在一个实例中，检测手指指向动作(例如，通过食指110)以便切换到第二映射模式(例如，魔法手机制)。在另一实例中，检测用户的手102的打开手势以便切换到第一映射模式(例如，GoGo机制)。此外，可检测用户的手102的握拳姿态以从第一映射模式切换到第二映射模式。因此，实际上，用户的手102可在第一映射模式中借助于打开手势而够到虚拟目标对象108，且接着通过接着将打开手闭合到握拳姿态而在第二映射模式中控制或操纵虚拟目标对象108。
因此，如果用户装置102确定所检测到的用户输入指示第一映射模式，那么过程400进行到过程框414，在所述过程框处，将第二坐标系统118映射到第一坐标系统120以根据例如上文参考图2的GoGo机制200所描述的第一映射模式控制虚拟手114的移动。类似地，如果用户装置102确定所检测到的用户输入指示第二映射模式，那么过程400进行到过程框416，在所述过程框处，将第二坐标系统118映射到第一坐标系统120以根据例如上文参考图3的魔法手机制300所描述的第二映射模式控制虚拟手114的移动。
图5A到5C说明根据本文中所描述的技术的一或多个实施方案的扩增现实环境100中的目标106与手102之间的关系。图5A说明根据本文中所描述的技术的一或多个实施方案的食指110指向姿态。图5B说明根据本文中所描述的技术的一或多个实施方案的用户的手102的打开手势。图5C说明根据本文中所描述的技术的一或多个实施方案的握拳姿态502。如上文所提及，用户装置102可将握拳姿态502解译为从GoGo机制200提供的虚拟手114移动切换到由魔法手机制300提供的虚拟目标对象108操纵的请求。
图6为说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的图片。筷子机制600包含尖端602以控制扩增现实场景中的目标点。在一个方面中，由筷子机制600控制的目标点为如上文所描述的虚拟光标。在另一方面中，由筷子机制600控制的目标点为如上文所描述的虚拟目标对象。用户可接着使用筷子机制600来利用尖端602选择及/或操纵扩增现实场景中的对象。
图7为说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的操作的立体简图。在一或多个实施方案中，筷子600机制使用包含于用户装置104中的深度相机测量手102距屏幕的距离h及拇指702与食指704的距离d。目标点处于穿过拇指702与食指704之间的中点的线706上。线706的起点可相对于显示器112上的屏幕固定，或可通过利用用户装置104中面向用户的相机跟踪用户708的头部来加以确定。目标点沿着线706的距离p与d及h两者成比例：p＝k*d*h，其中k为常数。在一个方面中，常数k由用户708选择。在另一方面中，常数k由用户装置104预先确定。
图8A及8B是说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的操作的图。使用图8A中所说明的筷子机制600，如果用户708增大拇指702与食指704之间的距离d，那么用户装置104可控制AR场景，使得到目标点的距离p变大。在一个方面中，用户装置104通过移动目标点(例如AR场景内的虚拟手114)来控制距离p。如图8B中所示，如果用户708减小拇指702与食指704的距离d，作为用户装置104控制AR场景，使得到目标点的距离p变小。
图9A及9B是说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的操作的图。使用图9A中所说明的筷子机制600，如果用户708朝向显示器112上的屏幕移动其手102，从而减小距离h，那么用户装置104控制AR场景，使得到目标点的距离p变小。类似地，如图9B中所示，如果用户将其手移动远离屏幕，从而增大距离h，那么用户装置104控制AR场景，使得到目标点的距离p变大。
图10是说明能够执行本文中论述的过程的设备1000的功能框图。在一个实例中，设备1000为能够执行与AR场景的空间交互(例如上文所描述的过程400)的用户装置(例如，用户装置104)。设备100可包含相机1002以及传感器1004。在一个实施方案中，相机1002为后置相机，使得其可俘获目标106所位于的现实世界场景的图像，而传感器1004为前置的，使得其可在设备1000的显示器侧上跟踪设备1000相对于用户的手102的姿势。
传感器1004可包含可检测及/或跟踪用户的手102的移动、手指姿势、握拳等的检测器及/或跟踪器。传感器1004可从惯性测量单元(IMU)接收设备1000的惯性信息以确定设备1000是否已移动及如何移动。此外，传感器1004可实施用以确定设备1000的位置的机制。此些机制可包含使用来自网络的数据，包含三角测量、Wi-Fi定位，等等。
设备1000还包含用户接口1008，所述用户接口包含能够显示由设备1000产生的AR场景的显示器1026。如上文所提及，AR场景包含由相机1002俘获的现实世界场景的图像以及虚拟目标对象108及虚拟手114。用户接口1008还可包含小键盘1028或用户可借以将信息输入到设备1000中的其它输入装置。如果需要，可通过将虚拟小键盘与触摸传感器一起集成到显示器1026中而排除小键盘1028。用户接口1008还可包含麦克风1030及扬声器1032。
设备1000还包含连接到相机1002、传感器1004及用户接口1008且与之通信的控制单元1006。控制单元1006接受并处理从相机1002及/或网络适配器1020接收的图像。控制单元1006还接受并处理从传感器1004接收的数据以跟踪设备1000相对于用户的手102的姿势。控制单元1006可由处理单元1010及相关联存储器1016、硬件1012、固件1014、软件1018及图形引擎1024提供。
控制单元1006可进一步包含扩增现实(AR)引擎1022。AR引擎1022可经配置以执行例如上文参考图4的过程400所描述的一或多个空间交互程序。由相机1002俘获的图像以及由传感器1004提供的数据两者皆可提供到AR引擎1022。AR引擎1022可接着在显示器1026上的图像中显现或以其它方式产生AR场景的视觉元素。
处理单元1010与AR引擎1022为了清楚起见而单独地加以说明，但可为单个单元及/或基于在处理单元1010中运行的软件1018中的指令而实施于处理单元1010中。处理单元1010以及AR引擎1022可但不需要一定包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)，等等。术语处理器和处理单元描述通过系统而非特定的硬件实施的功能。此外，如本文中所使用，术语“存储器”指任何类型的计算机存储媒体，包含长期存储器、短期存储器或与设备1000相关联的其它存储器，且不应限于任何特定类型的存储器或特定数目的存储器，或其上存储有存储器的类型的媒体。
取决于应用，本文中所描述的过程可以通过各种装置来实施。举例来说，可在硬件1012、固件1014、硬件1012与软件1018的组合或其任何组合中实施这些过程。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。
对于固件及/或硬件与软件组合实施方案，可利用执行本文中所描述的功能的模块(例如，程序、函数，等等)实施所述过程。任何有形地体现指令的计算机可读媒体可用于实施本文所描述的过程。举例来说，程序代码可存储于存储器1016中且通过处理单元1010执行。存储器可在处理单元1010内或外部实施。
如果实施于固件及/或硬件/软件组合中，那么所述功能可存储为计算机可读媒体上的一或多个指令或代码。实例包含编码有数据结构的非暂时性计算机可读媒体，及编码有计算机程序的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
图11是说明可使用于经配置以提供与如本文中所教示的扩增现实场景的空间交互的用户装置中的组件的若干样本方面的简化框图。用户装置1100为图1的用户装置104及/或图10的设备1000的一个可能实施方案，表示为一系列相关功能模块。
至少在一些方面中，用于获取现实世界场景的图像的模块1110可对应于例如图10的相机1002。至少在一些方面中，用于显示AR场景的模块1120可对应于例如图10的显示器1026。在一些方面中，用于根据第二坐标系统跟踪用户装置相对于用户的手的姿势的模块1140可对应于例如图10的AR引擎1022与传感器1004的组合。在一些方面中，用于将第二坐标系统映射到第一坐标系统以控制虚拟手的移动的模块1150可对应于例如图10的AR引擎1022。在一些方面中，用于检测用户输入以控制模块1150使用第一映射模式及第二映射模式中的哪一者的模块1160可对应于例如图10的AR引擎1022与传感器1004的组合。
图10的模块1110到1160的功能性可以符合本文中的教示的各种方式加以实施。在一些设计中，这些模块1110到1160的功能性可实施为一或多个电组件。在一些设计中，这些模块1110到1160的功能性可实施为包含一或多个处理器组件的处理系统。在一些设计中，这些模块1110到1160的功能性可使用例如一或多个集成电路(例如，ASIC)的至少一部分加以实施。如本文所论述，集成电路可包含处理器、软件、其它相关组件，或其某一组合。因此，不同模块的功能性可实施为例如集成电路的不同子集、一组软件模块的不同子集，或其组合。而且，将了解，给定子集(例如，集成电路及/或一组软件模块的子集)可提供多于一个模块的功能性的至少一部分。
此外，由图10表示的组件及功能以及本文中所描述的其它组件及功能可使用任何合适装置加以实施。此些装置还可至少部分地使用如本文中教示的对应结构加以实施。举例来说，上文结合图10的“用于...的模块”组件所描述的组件还可对应于类似地命名的“用于...的装置”功能性。因此，在一些方面中，此些装置中的一或多者可使用处理器组件、集成电路或如本文中教示的其它合适结构中的一或多者加以实施。
本文中参考对特定应用的说明描述一或多个实施方案。应理解，所述实施方案并不意欲为限制性的。可获得本文中所提供的教示的所属领域的技术人员将认识到其范围内的额外更改、应用及实施方案以及所述技术可能明显实用的额外领域。在对实例实施方案的以上描述中，出于解释的目的，阐述特定数目、材料、配置及其它细节以便更好地解释所主张的实施方案。然而，所属领域的技术人员将显而易见，可使用不同于本文中所描述的实例的细节来实践权利要求。在其它情况下，省略或简化众所周知的特征以使对实例实施方案的描述清楚。

Claims (16)

1.一种用于扩增现实中的空间交互的方法，其包括：
通过用户装置获取现实世界场景的图像；
通过所述用户装置显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实AR场景，其中所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供；
根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势，其中跟踪所述用户装置相对于所述用户的手的所述姿势包括检测所述用户的手的达第一距离的平移移动；
将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动，其中将所述第二坐标系统映射到所述第一坐标系统包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动且包含将所述用户的手的所述平移移动归一化为所述虚拟光标在所述AR场景中达第二距离的平移移动，其中所述第二距离大于所述第一距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述AR场景内的所述虚拟目标对象，其中所述第二映射模式包含对于所述虚拟光标在所述AR场景中达所述第一距离的平移移动，所述第二坐标系统到所述第一坐标系统的一对一映射；以及
在所述用户装置处检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动，其中检测所述用户输入包括检测所述用户的手的手指姿态或手势中的至少一者。
2.根据权利要求1所述的方法，其中检测所述手指姿态包括检测所述用户的手的手指指向动作以在所述第二映射模式中操纵所述虚拟目标对象。
3.根据权利要求1所述的方法，其中检测所述用户的手的所述手势包括检测所述用户的手的打开手势以在所述第一映射模式中改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的所述距离。
4.根据权利要求3所述的方法，其进一步包括：
检测所述用户的手的握拳姿态；以及
响应于检测到所述用户的手的所述握拳姿态而从所述第一映射模式切换到所述第二映射模式。
5.根据权利要求1所述的方法，其中检测所述用户的手的所述手势包括检测所述用户的手的夹捏手势以在所述第一映射模式中改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的距离。
6.根据权利要求1所述的方法，其中根据所述第一映射模式将所述第二坐标系统映射到所述第一坐标系统包括：
确定所述用户的手相对于所述用户装置的平移及旋转移动；
确定所述用户装置相对于所述虚拟目标对象的平移及旋转移动；以及
组合所述用户的手的所述平移及旋转移动与所述用户装置的所述平移及旋转移动以提供所述虚拟光标在所述AR场景内的平移及旋转移动。
7.根据权利要求6所述的方法，其中根据所述第二映射模式将所述第二坐标系统映射到所述第一坐标系统包括：
确定所述用户的手相对于所述用户装置的平移及旋转移动；以及
独立于所述用户装置相对于所述虚拟目标对象的任何平移及旋转移动而将所述用户的手的所述平移及旋转移动映射到所述虚拟光标在所述AR场景内的平移及旋转移动。
8.根据权利要求1所述的方法，其中虚拟光标为显示在所述AR场景中的虚拟手。
9.一种用于扩增现实中的空间交互的设备，其包括：
用于通过用户装置获取现实世界场景的图像的装置；
用于在所述用户装置上显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实AR场景的装置，其中所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供；
用于根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势的装置，其中用于跟踪所述用户装置相对于所述用户的手的所述姿势的所述装置包括用于检测所述用户的手的达第一距离的平移移动的装置；
用于将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动的装置，其中用于将所述第二坐标系统映射到所述第一坐标系统的所述装置包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动且包含将所述用户的手的所述平移移动归一化为所述虚拟光标在所述AR场景中达第二距离的平移移动，其中所述第二距离大于所述第一距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述AR场景内的所述虚拟目标对象，其中所述第二映射模式包含对于所述虚拟光标在所述AR场景中达所述第一距离的平移移动，所述第二坐标系统到所述第一坐标系统的一对一映射；以及
用于在所述用户装置处检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动的装置，其中用于检测所述用户输入的所述装置包括用于检测所述用户的手的手指姿态或手势中的至少一者的装置。
10.一种用于扩增现实中的空间交互的用户装置，其包括：
相机，其经配置以俘获现实世界场景的图像；
显示器，其经配置以显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实AR场景，其中所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供；
存储器，其经调适以存储程序代码；以及
处理单元，其耦合到所述存储器以存取且执行包含于所述程序代码中的指令以引导所述用户装置：
根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势，其中用以跟踪所述用户装置相对于所述用户的手的所述姿势的所述指令包括用以检测所述用户的手的达第一距离的平移移动的指令；
将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动，其中将所述第二坐标系统映射到所述第一坐标系统包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动且包含将所述用户的手的所述平移移动归一化为所述虚拟光标在所述AR场景中达第二距离的平移移动，其中所述第二距离大于所述第一距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述AR场景内的所述虚拟目标对象，其中所述第二映射模式包含对于所述虚拟光标在所述AR场景中达所述第一距离的平移移动，所述第二坐标系统到所述第一坐标系统的一对一映射；以及
检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动，其中用以检测所述用户输入的所述指令包括用以检测所述用户的手的手指姿态或手势中的至少一者的指令。
11.根据权利要求10所述的用户装置，其中用以检测所述手指姿态的所述指令包括用以检测所述用户的手的手指指向动作以在所述第二映射模式中操纵所述虚拟目标对象的指令。
12.根据权利要求10所述的用户装置，其中用以检测所述用户的手的所述手势的所述指令包括用以检测所述用户的手的打开手势以在所述第一映射模式中改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的距离的指令。
13.根据权利要求10所述的用户装置，其进一步包括用以引导所述用户装置执行以下操作的指令：
检测所述用户的手的握拳姿态；以及
响应于检测到所述用户的手的所述握拳姿态而从所述第一映射模式切换到所述第二映射模式。
14.根据权利要求10所述的用户装置，其中用以检测所述用户的手的所述手势的所述指令包括用以检测所述用户的手的夹捏手势以在所述第一映射模式中改变所述AR场景中的所述虚拟光标与所述虚拟目标对象之间的所述距离的指令。
15.一种非暂时性计算机可读媒体，其包含存储在其上的程序代码，所述程序代码包括在执行时致使用户装置执行以下操作的指令：
获取现实世界场景的图像；
显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实AR场景，其中所述虚拟光标的位置是根据所述AR场景内的第一坐标系统而提供；
根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势，其中用以跟踪所述用户装置相对于所述用户的手的所述姿势的所述指令包括用以检测所述用户的手的达第一距离的平移移动的指令；
将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述AR场景中的移动，其中将所述第二坐标系统映射到所述第一坐标系统包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动且包含将所述用户的手的所述平移移动归一化为所述虚拟光标在所述AR场景中达第二距离的平移移动，其中所述第二距离大于所述第一距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述AR场景内的所述虚拟目标对象，其中所述第二映射模式包含对于所述虚拟光标在所述AR场景中达所述第一距离的平移移动，所述第二坐标系统到所述第一坐标系统的一对一映射；以及
检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述AR场景中的移动，其中用以检测所述用户输入的所述指令包括用以检测所述用户的手的手指姿态或手势中的至少一者的指令。
16.根据权利要求15所述的非暂时性计算机可读媒体，其进一步包括用以引导所述用户装置执行以下操作的指令：
检测所述用户的手的握拳姿态；以及
响应于检测到所述用户的手的所述握拳姿态而从所述第一映射模式切换到所述第二映射模式。
CN201580057672.9A 2014-11-14 2015-09-21 扩增现实中的空间交互 Active CN107077169B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462080050P 2014-11-14 2014-11-14
US62/080,050 2014-11-14
US14/858,777 US9911235B2 (en) 2014-11-14 2015-09-18 Spatial interaction in augmented reality
US14/858,777 2015-09-18
PCT/US2015/051237 WO2016076951A1 (en) 2014-11-14 2015-09-21 Spatial interaction in augmented reality

Publications (2)

Publication Number Publication Date
CN107077169A CN107077169A (zh) 2017-08-18
CN107077169B true CN107077169B (zh) 2020-04-28

Family

ID=54347809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580057672.9A Active CN107077169B (zh) 2014-11-14 2015-09-21 扩增现实中的空间交互

Country Status (4)

Country Link
US (1) US9911235B2 (zh)
EP (1) EP3218781B1 (zh)
CN (1) CN107077169B (zh)
WO (1) WO2016076951A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9972134B2 (en) * 2016-06-30 2018-05-15 Microsoft Technology Licensing, Llc Adaptive smoothing based on user focus on a target object
DE202017104928U1 (de) * 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
CN106339488B (zh) * 2016-08-30 2019-08-30 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN106200831A (zh) * 2016-08-31 2016-12-07 广州数娱信息科技有限公司 一种ar、全息智能装置
US10996814B2 (en) 2016-11-29 2021-05-04 Real View Imaging Ltd. Tactile feedback in a display system
US10388077B2 (en) 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
EP3616035B1 (en) 2017-06-19 2024-04-24 Apple Inc. Augmented reality interface for interacting with displayed maps
WO2018232742A1 (en) 2017-06-23 2018-12-27 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR POINTING AN OBJECT IN A VIRTUAL REALITY (VR) SCENE, AND VR APPARATUS
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
WO2019012522A1 (en) * 2017-07-11 2019-01-17 Elbit Systems Ltd. SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT
WO2019059938A1 (en) 2017-09-25 2019-03-28 Hewlett-Packard Development Company, L.P. ENHANCED REALITY SYSTEM HAPTICALLY RECIBLING
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
CN109710054B (zh) * 2017-10-26 2022-04-26 北京京东尚科信息技术有限公司 用于头戴式显示设备的虚拟物体呈现方法和装置
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
KR102616850B1 (ko) 2018-03-05 2023-12-26 삼성전자주식회사 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
KR101938754B1 (ko) * 2018-08-13 2019-01-15 김종길 젓가락 마우스
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
CN110147196A (zh) * 2018-12-04 2019-08-20 腾讯科技（深圳）有限公司 交互控制方法和装置、存储介质及电子装置
CN113508361A (zh) 2019-05-06 2021-10-15 苹果公司 用于呈现计算机生成现实文件的设备、方法和计算机可读介质
EP4300430A3 (en) 2019-05-06 2024-03-06 Apple Inc. Device, method, and graphical user interface for composing cgr files
CN110727345B (zh) * 2019-09-19 2023-12-26 北京耐德佳显示技术有限公司 一种通过手指交叉点移动实现人机交互的方法及系统
EP3850468B1 (en) * 2019-12-04 2024-01-31 Google LLC Snapping range for augmented reality objects
CN110989842A (zh) * 2019-12-06 2020-04-10 国网浙江省电力有限公司培训中心 基于虚拟现实的培训方法、系统和电子设备
CN111240476B (zh) * 2020-01-06 2021-06-08 腾讯科技（深圳）有限公司 基于增强现实的交互方法、装置、存储介质和计算机设备
CN111665943B (zh) * 2020-06-08 2023-09-19 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN111857341B (zh) * 2020-06-10 2023-06-13 浙江商汤科技开发有限公司 一种展示控制方法及装置
JP2022025461A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム
CN111880657B (zh) * 2020-07-30 2023-04-11 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN111882674A (zh) * 2020-07-30 2020-11-03 北京市商汤科技开发有限公司 虚拟对象的调整方法、装置、电子设备及存储介质
CN112068703B (zh) * 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN112991553B (zh) * 2021-03-11 2022-08-26 深圳市慧鲤科技有限公司 信息展示方法及装置、电子设备和存储介质
CN113703571B (zh) * 2021-08-24 2024-02-06 梁枫 一种虚拟现实人机交互的方法、装置、设备和介质
CN113741698B (zh) * 2021-09-09 2023-12-15 亮风台（上海）信息科技有限公司 一种确定和呈现目标标记信息的方法与设备
CN114115544B (zh) * 2021-11-30 2024-01-05 杭州海康威视数字技术股份有限公司 人机交互方法、三维显示设备及存储介质
CN114237403A (zh) * 2021-12-27 2022-03-25 郑州捷安高科股份有限公司 基于vr交互设备的操作手势检测处理方法、设备及介质
CN114764327B (zh) * 2022-05-09 2023-05-05 北京未来时空科技有限公司 一种三维可交互媒体的制作方法、装置及存储介质
DE102022112930A1 (de) * 2022-05-23 2023-11-23 Gestigon Gmbh Erfassungssystem und verfahren zur erfassung von kontaktlosen gerichteten benutzereingaben und verfahren zur kalibrierung des erfassungssystems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479052A (zh) * 2010-11-26 2012-05-30 Lg电子株式会社 移动终端及其操作控制方法
WO2014111947A1 (en) * 2013-01-21 2014-07-24 Pointgrab Ltd. Gesture control in augmented reality

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611610B1 (en) 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
JP4807439B2 (ja) 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
DE102010002488A1 (de) 2010-03-02 2011-09-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nebelerkennung mittels Spektroskopie
US9298070B2 (en) 2010-04-29 2016-03-29 Hewlett-Packard Development Company, L.P. Participant collaboration on a displayed version of an object
TWI501130B (zh) 2010-10-18 2015-09-21 Ind Tech Res Inst 虛擬觸控輸入系統
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
JP5561396B1 (ja) 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479052A (zh) * 2010-11-26 2012-05-30 Lg电子株式会社 移动终端及其操作控制方法
WO2014111947A1 (en) * 2013-01-21 2014-07-24 Pointgrab Ltd. Gesture control in augmented reality

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Diplomarbeitsdemo - DreiDInteraktion;Daniel Fritz;《https://www.youtube.com/watch?v=-07bTAIlEno&feature=youtu.be》;20141005;全文 *
Evaluating RGB+D Hand Posture Detection Methods for Mobile 3D Interacion;Daniel Fritz等;《PROCEEDINGS OF THE 2014 VIRTUAL REALITY INTERNATIONAL CONFERENCE》;20140409;第1-4页 *

Also Published As

Publication number Publication date
US20160140763A1 (en) 2016-05-19
US9911235B2 (en) 2018-03-06
EP3218781A1 (en) 2017-09-20
CN107077169A (zh) 2017-08-18
WO2016076951A1 (en) 2016-05-19
EP3218781B1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
CN107077169B (zh) 扩增现实中的空间交互
US10761612B2 (en) Gesture recognition techniques
US20220382379A1 (en) Touch Free User Interface
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20140240225A1 (en) Method for touchless control of a device
EP3327544B1 (en) Apparatus, associated method and associated computer readable medium
US11714540B2 (en) Remote touch detection enabled by peripheral device
CN110488972B (zh) 用于空间交互中的额外模态的面部跟踪
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
CN112585564A (zh) 用于为头戴式图像显示设备提供输入的方法和装置
KR20100048747A (ko) 안면 추적을 이용한 모바일 유저 인터페이스 장치
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object
GB2502946A (en) Maintaining augmented reality image when marker leaves field of view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant