CN105659191A - 用于提供图形用户界面的系统和方法 - Google Patents

用于提供图形用户界面的系统和方法 Download PDF

Info

Publication number
CN105659191A
CN105659191A CN201580001699.6A CN201580001699A CN105659191A CN 105659191 A CN105659191 A CN 105659191A CN 201580001699 A CN201580001699 A CN 201580001699A CN 105659191 A CN105659191 A CN 105659191A
Authority
CN
China
Prior art keywords
user
target part
gesture
virtual
indicating meter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580001699.6A
Other languages
English (en)
Other versions
CN105659191B (zh
Inventor
何安莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Play Out Dreams Shanghai Technology Co ltd
Original Assignee
Usens Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/462,324 external-priority patent/US20140354602A1/en
Application filed by Usens Inc filed Critical Usens Inc
Publication of CN105659191A publication Critical patent/CN105659191A/zh
Application granted granted Critical
Publication of CN105659191B publication Critical patent/CN105659191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种用于提供图形用户界面的系统。所述系统包括：显示器；至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；一个或多个处理器；以及存储器，其用于存储所述一个或多个处理器可执行的指令。所述一个或多个处理器可被配置以基于所述至少一个图像检测所述用户的目标部分的手势，并且基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在3D坐标系统中的3D坐标。所述一个或多个处理器可进一步被配置以基于所述3D坐标执行将所述至少一个3D对象投影到所述显示器上并且根据所述投影在所述显示器上呈现所述至少一个3D对象。

Description

用于提供图形用户界面的系统和方法
相关申请的交叉参考
本申请是2014年8月18日提交的标题为“交互输入系统和方法(InteractiveInputSystemandMethod)”的第14/462,324号申请的部分接续申请，所述第14/462,324号申请是2013年9月23日提交的标题为“交互输入系统和方法(InteractiveInputSystemandMethod)”的第14/034,286号申请的部分接续申请，所述第14/034,286号申请是基于2013年4月12日提交的标题为“3D和2D交互输入系统和方法(3Dand2DInteractiveInputSystemandMethod)”的第61/811,680号临时申请和2013年7月1日提交的标题为“3D和2D交互输入系统和方法(3Dand2DInteractiveInputSystemandMethod)”的第61/841,864号临时申请并且主张这些临时申请的优先权权益。第14/462,324号申请还基于2013年8月25日提交的标题为“3D和2D交互输入系统和方法(3Dand2DInteractiveInputSystemandMethod)”的第61/869,726号临时申请并且主张所述临时申请的优先权权益。本申请还基于2014年6月17日提交的标题为“具有手跟踪和头跟踪的用户界面和交互(UserInterfaceandInteractionwithHandTrackingandHeadTracking)”的第62/013,485号临时申请并且主张所述临时申请的优先权权益。所有上文引用的申请的全部内容以引用的方式并入本文中。
技术领域
本公开涉及图形用户界面，并且更明确地说，涉及用于为三维(3D)对象提供图形用户界面的系统和方法。
背景技术
用于增强图形用户界面(GUI)的真实感和自然度的现有技术常常包括向GUI的图形呈现添加三维(3D)迹象，诸如反射效果、投影效果等。然而，这些3D迹象没有在用户周围的虚拟3D空间中呈现3D场景的感知，因此常常发现对于提供GUI的逼真感不能令人满意。
此外，当二维(2D)显示装置用于显示3D对象时，现有3D人手输入装置不能够提供允许用户以自然且直接的方式控制2D显示器上所显示的虚拟3D对象或与之交互的直观用户界面。
因此，需要一种图形用户界面，其提供对3D场景的逼真描述并且还允许用户以自然的方式与所显示的3D对象交互。
发明内容
本公开提供一种用于提供图形用户界面的系统。与一些实施例一致，所述系统包括：显示器；至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；一个或多个处理器；以及存储器，其用于存储所述一个或多个处理器可执行的指令。所述一个或多个处理器可被配置以基于所述至少一个图像检测所述用户的目标部分的手势，并且基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。所述3D坐标系统可与用户所感知的虚拟3D空间相关联。所述一个或多个处理器可进一步被配置以基于所述3D坐标执行将所述至少一个3D对象投影到显示器上并且根据所述投影在显示器上呈现所述至少一个3D对象。
与一些实施例一致，本公开提供一种用于提供图形用户界面的方法。所述方法包括基于与用户相关联的至少一个图像检测用户的目标部分的手势，并且基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。所述3D坐标系统可与用户所感知的虚拟3D空间相关联。所述方法可进一步包括基于所述3D坐标执行将所述至少一个3D对象投影到显示器上并且根据所述投影在显示器上呈现所述至少一个3D对象。
与一些实施例一致，本公开提供一种非暂态计算机可读存储媒体，其存储一个或多个处理器可执行以执行用于提供图形用户界面的方法的程序指令。所述方法包括基于与用户相关联的至少一个图像检测用户的目标部分的手势，并且基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。所述3D坐标系统可与用户所感知的虚拟3D空间相关联。所述方法可进一步包括基于所述3D坐标执行将所述至少一个3D对象投影到显示器上并且根据所述投影在显示器上呈现所述至少一个3D对象。
本公开的额外对象和优点将部分地在以下详细描述中进行陈述，并且部分地将从所述描述内容看出，或者可通过实践本公开来认识到。本公开的目的和优点将借助于所附权利要求书中明确指出的元件和组合来实现和获得。
应当理解，前述概要描述和以下详细描述仅仅是示例性和解释性的而不限制本发明，正如所主张的。
附图说明
图1示出根据本公开的实施例的示例性交互系统。
图2示出根据本公开的实施例的感测装置的示例性布置。
图3示出根据本公开的实施例的感测装置的另一个示例性布置。
图4示出根据本公开的实施例的多个感测装置的示例性布置。
图5A至5C示出根据本公开的实施例的感测装置的示例性实施方式。
图6示出根据本公开的实施例的用户手势跟踪过程的示例性图。
图7示出根据本公开的实施例的用户手势跟踪过程的另一个示例性图。
图8示出根据本公开的实施例的用户手势跟踪过程的另一个示例性图。
图9示出根据本公开的实施例的3D用户界面的示例性图。
图10示出根据本公开的实施例的3D用户界面和感测装置的坐标系统的示例性图。
图11示意性展示根据示例性实施例的在感测装置的坐标系统中的用户头姿势。
图12示意性展示根据示例性实施例的在感测装置的坐标系统中的用户手手势。
图13示出根据本公开的实施例的呈现结果的示例性图。
图14示出根据本公开的实施例的虚拟3D空间中的3D对象的感知的示例性图。
图15示出根据本公开的实施例的呈现结果的另一个示例性图。
图16示出根据本公开的实施例的虚拟3D空间中的3D对象的感知的另一个示例性图。
图17示出根据本公开的实施例的与显示器上所呈现的3D对象的用户交互的示例性图。
图18示出根据本公开的实施例的与虚拟3D空间中的3D对象的用户交互的示例性图。
图19示出根据本公开的实施例的与显示器上所呈现的3D对象的用户交互的另一个示例性图。
图20示出根据本公开的实施例的与虚拟3D空间中的3D对象的用户交互的另一个示例性图。
图21示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的示例性图。
图22示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图。
图23示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图。
图24示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图。
图25是根据本公开的实施例的用于提供图形用户界面的示例性方法的流程图。
具体实施方式
参考附图描述示例性实施例。在附图中，参考标号的最左边数字标识所述参考标号首次在其中出现的图。在任何方便之处，贯穿附图使用相同参考标号来指代相同或相似部分。尽管本文描述了所公开原理的实例和特征，但在不脱离所公开实施例的精神和范围的情况下能够做出修改、改编和其它实施方式。另外，词“包括”、“具有”、“含有”和“包含”以及其它相似形式希望在含义上相同并且是开放式的，因为跟随在这些词中的任何一个词之后的一个或多个项目没有打算作为此类项目的详尽列举或者打算仅限于所列举的项目。还必须注意，如本文和所附权利要求书中所使用，单数形式“一”、“一个”和“所述”包括复数参考，除非上下文另有明确规定。希望以下详细描述仅被视为示例性的，真实范围和精神由所附权利要求书指示。
陈述所示出的组件和步骤是为了解释所展示的示例性实施例，并且应当预期持续的技术发展将改变执行特定功能的方式。本文呈现这些实例是出于说明目的而非限制目的。另外，本文中已经为了描述方便起见任意地界定功能构建块的边界。可以界定替代边界，只要恰当地执行所指定的功能及其关系。相关领域的技术人员将基于本文所含有的教示容易明白替代物(包括本文所描述的那些事物的等效形式、扩展、变型、偏差等)。此类替代物落在所公开实施例的范围和精神内。
图1示出根据本公开的实施例的示例性交互系统100。如图1所示，交互系统100包括感测装置101、显示器102和计算机115。计算机115可包括中央处理单元(CPU)112、存储器113、一个或多个应用程序114、驱动器110和信号处理模块111。
感测装置101被配置以感测用户手势并且将所检测到的用户手势传送到计算机115，例如经由安装在计算机115上的驱动器110。用户手势可为(例如)由用户的头103和/或用户的手104做出的手势。用户手势可在没有与计算机115、感测装置101或显示器102的任何物理接触的情况下在空中做出。在一些实施例中，感测装置101可包括一个或多个成像传感器，其被配置以捕获用户的图像。感测装置101所提供的输出可包括(例如)描绘用户的目标部分(例如，用户的头103和/或手104)的手势的图像。感测装置101可通过有线连接(诸如通用串行总线(USB)连接)或通过无线连接(诸如Wi-Fi、蓝牙等)连接到计算机115。在一些实施例中，感测装置101可被实施为计算机115的集成部分或显示器102的集成部分。在其它实施例中，感测装置101可被实施为具有用以连接到计算机115的接口的独立外部装置。
与本公开的实施例一致，感测装置101可包括一个或多个成像传感器，诸如相机。成像传感器可为对可见光较敏感的可见光成像传感器或对红外(IR)光较敏感的红外(IR)成像传感器。感测装置101还可包括一个或多个照明源，其根据成像传感器的类型提供各种波长的照明。照明源可为(例如)配备有扩散器的发光二极管(LED)或激光器。在一些实施例中，可省略照明源，并且成像传感器检测由物体反射的环境光或由物体发射的光。
在一些实施例中，可在交互系统100中包括多个感测装置。每个感测装置可被配置以检测与用户的目标部分的一部分相关的手势。例如，用户的目标部分可包括用户的头和手。因此，一个感测装置可被配置以检测用户头的手势，并且另一个感测装置可被配置以检测用户手的手势。
感测装置驱动器110控制感测装置101的操作。感测装置驱动器110从感测装置101接收输入，例如含有用户手势的图像，并且将用户手势的所接收信息输出到信号处理模块111。信号处理软件111从驱动器110读取输出，并且处理此类信息以输出用户的头、手和/或手指的3D跟踪结果。在一些实施例中，信号处理模块111的输出可包括用户的目标部分(包括(例如)用户的头、手指、手掌和/或手)的3D位置、取向或移动方向。信号处理模块111可实施各种头跟踪和手跟踪方法，诸如用于航向跟踪的主动形状方法和/或主动呈现方法、图像数据库搜索方法、特征识别和跟踪方法、用于手跟踪的轮廓分析方法等等。信号处理模块111还可实施相关领域的技术人员已知的其它检测和跟踪方法，这些方法未在本公开中进行描述。
应用程序114接收用户的头、手和/或手指的3D跟踪结果，更新内部状态和图形用户界面(GUI)，并且向显示器102呈现所得图形。例如，应用程序114可存储用于基于用户的目标部分的跟踪结果确定3D对象在用户周围的虚拟3D空间中的3D坐标的程序。作为另一个实例，应用程序114可存储用于将3D对象投影到显示器102上以使得用户在用户周围的虚拟3D空间中在特定位置处感知所述3D对象的程序。显示器102可从计算机115接收音频和/或视觉信号并且将音频和/或视觉信号输出给用户。显示器102可经由(例如)S视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算机115。显示器102可被配置以显示3D对象并且在用户观看显示屏时产生3D效果。显示器102还可被配置以在2D平面中显示2D图像。
CPU112可包括一个或多个处理器，并且可被配置以执行与计算机115的操作相关联的指令。另外，CPU112可执行存储在存储器113中的某些指令和命令和/或应用程序114以(例如)经由显示器102提供图形用户界面。CPU112可包括微处理器，诸如AMD速龙(Athlon)、毒龙(Duron)或皓龙(Opteron)、ARM应用程序、嵌入式或安全处理器、IBMPowerPC、英特尔酷睿(Intel’sCore)、安腾(Itanium)、至强(Xeon)、赛扬(Celeron)或其他系列的处理器等。CPU112可使用大型机、分布式处理器、多核、并行、网格或其它架构来实施。一些实施例可利用嵌入式技术，如专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等。
存储器113可存储一批程序或数据库组件，包括但不限于操作系统、一个或多个应用程序114、用户/应用程序数据(例如，本公开中所论述的任何表示用户手势的数据或表示3D对象的坐标的数据)等等。操作系统可促进计算机115的资源管理和操作。操作系统的实例包括但不限于AppleMacintoshOSX、Unix、类Unix系统发行版(例如，Berkeley软件发行版(BSD)、FreeBSD、NetBSD、OpenBSD等)、Linux发行版(例如，RedHat、Ubuntu、Kubuntu等)、IBMOS/2、MicrosoftWindows(XP、Vista/7/8等)、AppleiOS、GoogleAndroid、BlackberryOS等等。
计算机115还可包括其它辅助组件，诸如用于与感测装置101、显示器102或其它输入/输出(I/O)装置通信的I/O接口。I/O接口可采用多种通信协议/方法，诸如但不限于音频、模拟、数字、单声、RCA、立体声、IEEE-1394、串行总线、USB、红外、PS/2、BNC、同轴、分量、合成、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、RF天线、S视频、VGA、IEEE802.11a/b/g/n/x、蓝牙、蜂窝(例如，码分多址(CDMA)、高速分组接入(HSPA+)、全球移动通信系统(GSM)、长期演进(LTE)、WiMax等)等等。计算机115还可包括随机存取存储器(RAM)、只读存储器(ROM)、二级存储装置(例如，硬盘驱动器或快闪存储器)等等。本领域的技术人员将容易认识到还可在计算机115中包括各种其它组件。
图2示出根据本公开的实施例的感测装置的示例性布置200。如图2所示，感测装置101在面向用户的方向上放置在显示器102之上，其中用户位于显示器102前面。感测装置101可被配置以捕获含有用户的头103和/或用户的手104的图像。如图2所示出，感测装置101的前侧可相对于显示器102的垂直平面形成介于90度与180度之间的角度。
图3示出根据本公开的实施例的感测装置的另一个示例性布置300。如图3所示，感测装置101在面向用户的方向上放置在显示器102的底部附近，其中用户位于显示器102前面。感测装置101可被配置以捕获含有用户的头103和/或用户的手104的图像。例如，感测装置101可放置在用于固持显示器102的桌面的表面上。如图3所示出，感测装置101的前侧可相对于显示器102的水平平面形成向下角度。
图4示出根据本公开的实施例的多个感测装置的示例性布置400。如图4所示，在交互系统中存在两个感测装置105和106，其中感测装置105在面向用户的方向上放置在显示器102之上，并且感测装置106在面朝上方向上放置在显示器102的底部附近。用户位于显示器102前面。感测装置105和106可具有与本公开中所描述的感测装置101的结构和功能性相似的结构和功能性。例如，感测装置105可被配置以跟踪用户的头103的手势，并且感测装置106可被配置以跟踪用户的手104的手势。在一些实施例中，可在交互系统中使用两个以上感测装置以跟踪用户通过不同身体部分做出的手势。例如，第一感测装置可放置在显示器之上以跟踪用户的头103的手势，第二感测装置可放置在左侧位于显示器的底部附近以跟踪用户的左手的手势，并且第三感测装置可放置在右侧位于显示器的底部附近以跟踪用户的右手的手势。
图5A至5C示出根据本公开的实施例的感测装置的示例性实施方式500A至500C。如图5A所示，感测装置101可为与计算机115分开的独立装置，但能够经由有线连接(诸如USB电缆)或无线连接(诸如蓝牙或WiFi)耦接到计算机115。
在一些实施例中，感测装置101可集成到计算机115中，即，可为计算机115的一部分。如图5B所示，感测装置101可包括单个成像传感器110，其中成像传感器110耦接到系统板109。系统板109可被配置以控制成像传感器110，处理所捕获的图像，并且将处理结果传送到计算机115的其它组件。成像传感器110可包括2D灰度或彩色图像传感器、飞行时间传感器、结构光投影器和2D灰度传感器，或相关领域的技术人员已知的任何其它类型的传感器系统。
在一些实施例中，感测装置101可包括多个成像传感器。如图5C所示，感测装置101包括两个成像传感器110，其中成像传感器110耦接到系统板109。成像传感器110可包括立体灰度相机和均匀IRLED照明、立体灰度相机和结构光投影，或者相关领域的技术人员已知的任何其它类型的成像系统。尽管图5C展示两个成像传感器，但感测装置101可在不脱离本公开的范围和精神的情况下包括两个以上成像传感器。
感测装置101可被配置以捕获含有用户的目标部分(诸如用户的手和头)的图像，并且将所捕获的图像提供到计算机115。计算机115可基于所捕获的图像检测用户的手势并且调整3D场景的呈现以向用户提供自然表示。
图6示出根据本公开的实施例的用户手势跟踪过程的示例性图600。如图6所示，单个感测装置101放置在显示器102之上处于面向用户的取向中，使得感测装置101的覆盖区域包括用户的头103和手104。感测装置101捕获含有用户的头103和用户的手104的图像116。随后，感测装置101可将所捕获的图像116输出到计算机115以供处理。
例如，计算机115可实施头检测和跟踪方法以在图像116中检测用户的头103并且获得用户的头103的姿势的信息。在一些实施例中，用户的头103的手势的信息可包括用户的头的3D位置和3D取向两者，从而提供头的手势的6自由度(DOF)信息。头跟踪方法可包括主动形状方法、主动呈现方法或相关领域的技术人员已知的其它头跟踪方法。
计算机115还可实施手检测和跟踪方法以在图像116中检测用户的手104并且获得用户的手104的手势的信息。在一些实施例中，用户的手104的手势的信息可包括用户的手的3D位置和3D取向两者，从而提供手的手势的6DOF信息。另外，用户的手104的手势的信息可包括每根手指的3D位置和3D取向两者，从而提供每根手指的6DOF信息。因此，可针对用户的手104获得总共36自由度信息。手跟踪方法可包括图像数据库搜索方法、特征识别和跟踪方法、轮廓分析方法或相关领域的技术人员已知的其它手跟踪方法。
图7示出根据本公开的实施例的用户手势跟踪过程的另一个示例性图700。如图7所示，单个感测装置101放置在放置显示器102所在的桌面的表面上处于面向用户的取向上，使得感测装置101的覆盖范围包括用户的头103和手104。感测装置101捕获含有用户的头103和用户的手104的图像116。随后，感测装置101可将所捕获的图像116输出到计算机115以供处理并获得用户的头103和手104的手势的信息。
图8示出根据本公开的实施例的用户手势跟踪过程的另一个示例性图800。如图8所示，感测装置105在面向用户的方向上放置在显示器102之上以跟踪用户的头103的手势，并且另一个感测装置106在面朝上方向上放置在显示器102的底部附近以跟踪用户的手104的手势。感测装置105捕获含有用户的头103的图像117，并且感测装置106捕获含有用户的手104的另一个图像118。随后，感测装置101可将所捕获的图像117和118输出到计算机115以供处理并且获得用户的头103和手104的手势的信息。例如，计算机115可对图像117应用头跟踪算法以获得用户的头103的3D位置和3D取向，并且对图像118应用手跟踪算法以获得用户的手104的3D位置和3D取向。
在获得关于用户的手势的信息之后，计算机115可将用户的手和/或头的3D位置和3D取向转换为用户所感知的虚拟3D空间的3D坐标。计算机115可相应地调整3D呈现结果以提供适合用户的观察点的用户界面。
图9示出根据本公开的实施例的3D用户界面的示例性图900。左侧图展示在位于用户的头103前面的显示器102上呈现3D对象107。右侧图展示用户的眼睛108将3D对象107感知为定位在虚拟3D空间中，其中3D对象107看起来具有超出和在显示器102前面的深度。如右侧图中所示出，两个3D对象107看起来位于较远离显示器102之处，并且一个3D对象107看起来在虚拟3D空间中位于比显示器102较靠近之处，从而从用户的观察点来看产生3D用户界面。
图10示出根据本公开的实施例的3D用户界面和感测装置的坐标系统的示例性图1000。如图10所示，坐标系统119与向用户呈现3D场景中的项目所在的虚拟3D空间相关联，并且坐标系统120与感测装置(诸如上文描述的感测装置101、105和106)的位置相关联。在本公开中，虚拟3D空间的坐标系统119被标记为Rw，并且感测装置的坐标系统120被标记为Rd。
图11示意性展示根据示例性实施例的在感测装置的坐标系统中的用户头姿势。例如，用户头姿势可由用户的头在与感测装置101或105相关联的坐标系统Rd中的3D位置和3D取向121描述。用户的头在坐标系统Rd中的3D位置和3D取向121可被转换为与虚拟3D空间相关联的坐标系统Rw中的对应3D位置和3D取向。所述转换可基于坐标系统Rw与坐标系统Rd之间的关系来执行。
图12示意性展示根据示例性实施例的在感测装置的坐标系统中的用户手手势。例如，用户手手势可由用户的手在与感测装置101或106相关联的坐标系统Rd中的3D位置和3D取向122描述。用户的手在坐标系统Rd中的3D位置和3D取向122可被转换为与虚拟3D空间相关联的坐标系统Rw中的对应3D位置和3D取向。所述转换可基于坐标系统Rw与坐标系统Rd之间的关系来执行。
在一些实施例中，用户左眼和右眼的3D位置可基于用户头3D位置和3D取向来确定。当显示器102是立体显示器时，计算机115可使用用户左眼位置来呈现左眼的视图，并且使用用户右眼位置来呈现右眼的视图。当显示器102是2D显示器时，计算机115可使用左眼位置和右眼位置的平均值来呈现3D场景。
图13示出根据本公开的实施例的呈现结果的示例性图1300。在这个实例中，用户的头103位于显示器102的中心前面，并且因而，用户眼睛位置在显示器102的中心前面。在一些实施例中，可通过考虑用户眼睛位置来向显示器102呈现3D对象107。例如，当用户的头103与显示器102之间的相对位置改变时，显示器102上的3D对象107的呈现结果可改变以向用户提供逼真3D感知。3D对象107可在显示器102上使用3D呈现效果(诸如阴影、反射等)来呈现，并且这些3D呈现效果可基于用户的头103与显示器102之间的相对位置来调整。换句话说，将3D对象107投影到显示器102上可基于用户的头103与显示器102之间的相对位置来执行。因此，当用户的头103相对于显示器102移动时，或当显示器102和感测装置101或105相对于用户的头103移动时，可调整显示器102上的3D场景的呈现以使得在呈现结果中反映用户的头103与显示器102之间的相对位置的改变，并且用户对3D场景的感知依然是真实且自然的。在一些实施例中，除了用户的头103与显示器102之间的相对位置之外，还可考虑显示器102的大小来将3D对象107投影到显示器102上。
图14示出根据本公开的实施例的虚拟3D空间中的3D对象的感知的示例性图1400。图14中所示出的3D对象的用户感知对应于图13中所示出的呈现结果，其中用户眼睛108位于显示器102的中心前面。如图14所示，从用户眼睛108的观察点来看，3D对象107放置在虚拟3D空间中。虚拟3D空间中的3D对象107位于用户眼睛108前面，从而反映图13中所示出的用户的头103相对于显示器102的物理位置。随着用户的头103与显示器102之间的相对位置改变，可调整显示器上的3D对象的呈现，并且虚拟3D空间中的3D对象107的用户感知可相应地变化。
图15示出根据本公开的实施例的呈现结果的另一个示例性图1500。如图15所示，用户的头103移动到显示器102的右端，并且相应地，可响应于用户眼睛位置的变化调整显示器102上的3D对象107的呈现结果。
图16示出根据本公开的实施例的虚拟3D空间中的3D对象的感知的另一个示例性图1600。图16中所示出的3D对象的用户感知对应于图15中所示出的呈现结果，其中用户眼睛108移动到显示器102的右端。如图16所示，从用户眼睛108的观察点来看，虚拟3D空间中的3D对象107的位置改变，因为用户从显示器的中心移动到右端。响应于用户的头103的更新位置，3D对象107在虚拟3D空间中移动到用户的左侧，从而提供适合用户观察点的3D场景的逼真感知。
如上所述，用户的头和手的手势可由感测装置101捕获并且由计算机115检测。计算机115可将所检测到的用户手势转换为与虚拟3D空间相关联的坐标系统Rw中的坐标。在一些实施例中，所检测到的用户手势可接着用于控制用户所感知的虚拟3D空间中的3D对象并与之交互。
图17示出根据本公开的实施例的与显示器上所呈现的3D对象的用户交互的示例性图1700。如图17所示，基于用户的头103的位置在显示器102上呈现3D对象107(一个用户界面元素)。为了选择显示器102上所呈现的3D对象107，用户可将其手指放置在将用户的头103连接到3D对象107在用户所感知的虚拟3D空间中的位置的线上的任何一点处。
图18示出根据本公开的实施例的与虚拟3D空间中的3D对象的用户交互的示例性图1800。在这个图中，从虚拟3D空间中的用户视图的角度示出图17中所描述的与3D对象的用户交互。如图18所示，可在用户眼睛108的位置与用户手指的位置之间形成直线，并且如果所述直线与用户所感知的虚拟空间中的3D对象(诸如3D对象107)相交，则所述3D对象可由用户选定。因此，用户可基于3D对象在虚拟3D空间中的感知位置以及用户头和手位置来远程选择3D对象。在这个实施例中，可在没有接触显示器102或虚拟3D空间中的所感知的3D对象的情况下在空中做出用户手指的手势以选择所述3D对象。在一些实施例中，计算机115可确定用户手指停留在用于选择所述3D对象的位置的持续时间。如果用户手指停留在用于选择所述3D对象的位置的持续时间少于预定时间周期，则计算机115可确定不选择所述3D对象。如果用户手指停留在用于选择所述3D对象的位置的持续时间大于或等于预定时间周期，则计算机115可确定选择所述3D对象。
在其它实施例中，可能需要与虚拟3D空间中的3D对象的直接交互来选择3D对象。例如，可能需要将用户的手或手指放置在与虚拟3D空间中的3D对象重叠的位置来执行3D对象的选择。换句话说，当用户的手或手指虚拟地接触虚拟3D空间中的3D对象时，所述3D对象可被选定。直接交互方法可与结合图17和18描述的远程选择方法组合来选择用户界面元素。例如，在含有多个3D对象的3D场景中，某些3D对象可能能够通过远程选择方法来选择，而其它3D对象可能需要直接交互来选择。
图19示出根据本公开的实施例的与显示器上所呈现的3D对象的用户交互的另一个示例性图1900。如图19所示，在显示器102上呈现3D对象107(一个用户界面元素)。为了选择显示器102上所呈现的3D对象107，用户可在朝向用户所感知的虚拟3D空间中的3D对象107的方向上指其手指。当用户将其一根手指指向用户所感知的虚拟3D空间中的3D对象107的位置时，所述3D对象107可被选定。
图20示出根据本公开的实施例的与虚拟3D空间中的3D对象的用户交互的另一个示例性图2000。在这个图中，从虚拟3D空间中的用户视图的角度示出图19中所描述的与3D对象的用户交互。如图20所示，当用户手指指向虚拟3D空间中的3D对象107的位置时，所述3D对象107可由用户选定。这样，用户可避免将其手或手指放置在用户的头与3D对象107的位置之间，将其手或手指放置在用户的头与3D对象107的位置之间可能会造成阻挡用户的视野。这个实施例可与上文描述的其它用户交互方法组合来选择用户界面元素。另外，用户可预先配置一种或一种以上优选的用于选择3D对象的用户交互方法，诸如本公开中所描述的用户交互方法之一。
在一些实施例中，当基于感测装置所捕获的用户手势检测到3D对象的选择时，交互系统可调整3D对象的呈现以在虚拟3D空间中向用户提供逼真的感觉。
图21示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的示例性图2100。左侧图展示在检测到用户选择之前(例如，在检测到上文结合图17至20描述的用户交互手势之一之前)在显示器102上呈现的3D对象107。右侧图展示在检测到用户选择之前用户在虚拟3D空间中感知的3D对象107，并且如图21所示，在这个实例中，3D对象107被感知为在虚拟3D空间中具有与显示器102的深度相同的深度。
图22示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图2200。此处，检测到用于选择一个3D对象107的用户手势。例如，计算机115可基于用户手的所捕获图像检测到用户手指正指向中间3D对象的方向。响应于所检测到的对3D对象的选择，计算机115可调整所选定的3D对象的呈现以使得所选定的3D对象看起来在虚拟3D空间中被放大并且从显示器202弹出来。左侧图展示当检测到中间3D对象的用户选择时在显示器102上呈现的3D对象107。右侧图展示当检测到中间3D对象的用户选择时用户在虚拟3D空间中感知的3D对象107。能够看到，所选定的3D对象在虚拟3D空间中被放大并且在朝向用户的方向上从显示器102跑出来，而其它未选定的3D对象保持在相同位置。在一些实施例中，在检测到3D对象的选择后，也可调整未选定3D对象的呈现以产生与选定3D对象对比的视觉效果。例如，未选定3D对象可在虚拟3D空间中被缩小或在远离用户的方向上移动。
图23示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图2300。如图23所示，在初始选择3D对象之后，用户手指保持朝向虚拟3D空间中的选定3D对象的位置向前移动，从而对虚拟3D空间中的选定3D对象执行推动动作。左侧图展示当用户对虚拟3D空间中的选定3D对象执行推动动作时显示器102上所呈现的选定3D对象107被缩小。右侧图展示当用户对选定3D对象执行推动动作时选定3D对象在虚拟3D空间中被缩小并且在朝向显示器的方向上移动。如果致使选定3D对象移动超过预定距离阈值的距离，则交互系统可确定选定3D对象被激活并且致使执行与选定3D对象相关联的动作。例如，在检测到选定3D对象的激活后，交互系统可打开并显示与选定3D对象相关联的文件，打开或关闭交互系统中的与选定3D对象相关联的组件，或执行其他动作。
在一些实施例中，可基于推动动作中的用户手指的移动速度来设置虚拟3D空间中的选定3D对象的移动速度。例如，用户手指移动得越快，选定3D对象可在虚拟3D空间中朝向显示器移动得越快。在一些实施方式中，选定3D对象可被配置有内部弹跳力，所述内部弹跳力致使其在朝向用户的方向上移动。例如，当用户手指减速移动或停止移动时，内部弹跳力可致使选定3D对象在虚拟3D空间中朝向用户从显示器弹出来。因此，内部弹跳力抗衡用户手指推动力，从而向用户提供按钮的逼真感觉。
在一些实施例中，虚拟3D空间中的选定3D对象的移动速度可被设置为与推动动作中的用户手指的向内运动的力与选定3D对象的内部弹跳力之间的差值成比例。例如，如果用户手指移动得较快，则可确定向内运动的力较大，并且因此，选定3D对象可在虚拟3D空间中以较快速度朝向显示器移动。
内部弹跳力可被设置为常数值，其不管选定3D对象的移动阶段如何而保持相同。内部弹跳力可被设置为基于选定3D对象的移动阶段(诸如选定3D对象在虚拟3D空间中相对于其初始位置的移动距离)来变化。例如，选定3D对象的内部弹跳力可随着其朝向显示器的方向持续运动而增大。
图24示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图2400。此处，用户手指停止移动，并且选定3D对象的内部弹跳力致使选定3D对象在朝向用户的方向上移动。左侧图展示当用户手指停止移动时选定3D对象107在显示器102上放大。右侧图展示由于内部弹跳力而当用户手指停止移动时选定3D对象在虚拟3D空间中放大并且在朝向用户的方向上移动。
图25是根据本公开的实施例的用于提供图形用户界面的示例性方法2500的流程图。方法2500可由交互系统(诸如图1中所描述的交互系统100)执行。
在步骤2502处，交互系统基于与用户相关联的至少一个图像检测用户的目标部分的手势。所述图像可由交互系统中所包括的感测装置捕获。用户的目标部分的手势在没有与交互系统的组件的物理接触的情况下在空中执行。用户的目标部分可包括用户的头、用户的手、用户的一根或一根以上手指等等。
在步骤2504处，交互系统基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。3D坐标系统可与用户所感知的虚拟3D空间相关联。在一些实施例中，交互系统可检测用户的目标部分在与成像传感器相关联的3D坐标系统中的3D位置和3D取向，并且将所述3D位置和3D取向转换为与虚拟3D空间相关联的3D坐标系统中的对应3D位置和对应3D取向。
在步骤2506处，交互系统基于所述至少一个3D对象在3D坐标系统中的3D坐标执行将所述至少一个3D对象投影到显示器上。例如，交互系统可基于3D对象在虚拟3D空间中的所需感知确定3D对象的显示位置和显示属性。
在步骤2508处，交互系统根据投影在显示器上呈现所述至少一个3D对象。从用户的观察点来看，在虚拟3D空间中3D对象具有某个深度。因此，交互系统可提供图形用户界面，其跟踪用户的手势并且相应地在虚拟3D空间中呈现3D对象以适合用户的观察点。
在示例性实施例中，进一步提供包括指令的非暂态计算机可读存储媒体，诸如包括计算机115中的CPU112可执行的指令的存储器113，以执行上述方法。例如，非暂态计算机可读存储媒体可为只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。
本说明书已经描述了用于提供图形用户界面的装置、方法和系统。陈述所示出的步骤是为了解释所展示的示例性实施例，并且应当预期持续的技术发展将改变执行特定功能的方式。因此，本文呈现这些实例是出于说明目的而非限制目的。例如，本文所公开的步骤或过程不限于以所描述的次序执行，而是在与所公开的实施例一致的情况下，可以任何次序执行，并且可省略一些步骤。
希望所述公开内容和实例仅被视为示例性的，所公开的实施例的真实范围和精神由所附权利要求书指示。

Claims (20)

1.一种用于提供图形用户界面的系统，其包括：
显示器；
至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；
一个或多个处理器；以及
存储器，其用于存储所述一个或多个处理器可执行的指令，其中所述一个或多个处理器被配置以：
基于所述至少一个图像检测所述用户的目标部分的手势；
基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在3D坐标系统中的3D坐标，所述3D坐标系统与所述用户所感知的虚拟3D空间相关联；
基于所述3D坐标执行将所述至少一个3D对象投影到所述显示器上；并且
根据所述投影在所述显示器上呈现所述至少一个3D对象。
2.根据权利要求1所述的系统，其中所述一个或多个处理器进一步被配置以基于所述用户的所述目标部分的所述手势确定所述至少一个3D对象的选择。
3.根据权利要求2所述的系统，其中所述用户的所述目标部分包括所述用户的头和所述用户的手指，并且所述用户的所述目标部分的所述手势是：在所述用户所感知的所述虚拟3D空间中，所述用户的所述手指与所述用户的所述头的位置和所述至少一个3D对象所构成直线连线相交。
4.根据权利要求2所述的系统，其中所述用户的所述目标部分包括所述用户的手指，并且所述用户的所述目标部分的所述手势是：在所述用户所感知的所述虚拟3D空间中，所述用户的所述手指达到所述至少一个3D对象的位置的至少一部分。
5.根据权利要求2所述的系统，其中所述用户的所述目标部分包括所述用户的手指，并且所述用户的所述目标部分的所述手势是：在所述用户所感知的所述虚拟3D空间中，所述用户的所述手指指向所述至少一个3D对象的位置。
6.根据权利要求2所述的系统，其中所述一个或多个处理器进一步被配置以响应于所述至少一个3D对象的所述选择而致使所述至少一个3D对象在所述用户所感知的所述虚拟3D空间中被放大。
7.根据权利要求2所述的系统，其中所述一个或多个处理器进一步被配置以：
基于所述至少一个成像传感器所捕获的多个图像检测所述用户的所述目标部分在朝向所述显示器的方向上的运动；并且
基于所述所检测到的运动在所述显示器上呈现所述至少一个3D对象。
8.根据权利要求7所述的系统，其中所述一个或多个处理器进一步被配置以检测所述运动的力并且基于所述运动的所述力确定所述至少一个3D对象在所述3D坐标系统中的移动的速度。
9.根据权利要求7所述的系统，其中所述一个或多个处理器进一步被配置以检测所述运动的减速并且致使所述至少一个3D对象在所述3D坐标系统中在朝向所述用户的方向上移动。
10.根据权利要求7所述的系统，其中所述一个或多个处理器进一步被配置以在所述运动的移动距离超过预定阈值的情况下执行与所述至少一个3D对象相关联的至少一个动作。
11.根据权利要求1所述的系统，其中所述至少一个成像传感器位于所述显示器的顶部上或用于放置所述显示器的桌面的表面上。
12.根据权利要求1所述的系统，其中所述至少一个成像传感器包括多个成像传感器，所述多个成像传感器中的每一个被配置以捕获与所述用户的所述目标部分的至少一部分相关联的至少一个图像。
13.根据权利要求1所述的系统，其中检测所述用户的所述目标部分的所述手势包括检测所述用户的所述目标部分的3D位置和所述用户的所述目标部分的3D取向，所述3D位置和所述3D取向在与所述至少一个成像传感器相关联的3D坐标系统中被定义。
14.根据权利要求13所述的系统，其中所述用户的所述目标部分包括所述用户的一根或一根以上手指，并且其中所述一个或多个处理器被配置以检测所述用户的所述一根或一根以上手指中的每一根在与所述至少一个成像传感器相关联的所述3D坐标系统中的3D位置和3D取向。
15.根据权利要求13所述的系统，其中所述一个或多个处理器进一步被配置以：
根据与所述虚拟3D空间相关联的所述3D坐标系统和与所述至少一个成像传感器相关联的所述3D坐标系统之间的关系，将所述用户的所述目标部分在与所述至少一个成像传感器相关联的所述3D坐标系统中的所述3D位置和所述3D取向转换为在与所述虚拟3D空间相关联的所述3D坐标系统中的对应3D位置和对应3D取向。
16.根据权利要求1所述的系统，其中一个或多个处理器进一步被配置以基于所述至少一个图像检测所述用户的至少一只眼睛的位置，并且其中所述至少一个3D对象的所述投影是基于所述3D坐标和所述至少一只眼睛的所述位置来执行的。
17.根据权利要求1所述的系统，其中所述用户的所述目标部分的所述手势是在空中执行的，并且所述用户的所述目标部分包括以下至少一者：
所述用户的头；
所述用户的手；以及
所述用户的一根或一根以上手指。
18.根据权利要求1所述的系统，其中所述显示器包括二维(2D)显示装置。
19.一种用于提供图形用户界面的方法，其包括：
基于与用户相关联的至少一个图像检测所述用户的目标部分的手势；
基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在3D坐标系统中的3D坐标，所述3D坐标系统与所述用户所感知的虚拟3D空间相关联；
基于所述3D坐标执行将所述至少一个3D对象投影到显示器上；以及
根据所述投影在所述显示器上呈现所述至少一个3D对象。
20.一种非暂态计算机可读存储媒体，其存储一个或多个处理器可执行以执行用于提供图形用户界面的方法的程序指令，所述方法包括：
基于与用户相关联的至少一个图像检测所述用户的目标部分的手势；
基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在3D坐标系统中的3D坐标，所述3D坐标系统与所述用户所感知的虚拟3D空间相关联；
基于所述3D坐标执行将所述至少一个3D对象投影到显示器上；以及
根据所述投影在所述显示器上呈现所述至少一个3D对象。
CN201580001699.6A 2014-06-17 2015-06-16 用于提供图形用户界面的系统和方法 Active CN105659191B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462013485P 2014-06-17 2014-06-17
US62/013,485 2014-06-17
US14/462,324 US20140354602A1 (en) 2013-04-12 2014-08-18 Interactive input system and method
US14/462,324 2014-08-18
PCT/US2015/036012 WO2015195652A1 (en) 2014-06-17 2015-06-16 System and method for providing graphical user interface

Publications (2)

Publication Number Publication Date
CN105659191A true CN105659191A (zh) 2016-06-08
CN105659191B CN105659191B (zh) 2019-01-15

Family

ID=54936039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580001699.6A Active CN105659191B (zh) 2014-06-17 2015-06-16 用于提供图形用户界面的系统和方法

Country Status (2)

Country Link
CN (1) CN105659191B (zh)
WO (1) WO2015195652A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110481419A (zh) * 2019-08-16 2019-11-22 广州小鹏汽车科技有限公司 一种人车交互方法、系统、车辆及存储介质
CN110622219A (zh) * 2017-03-10 2019-12-27 杰创科增强现实有限公司 交互式增强现实

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304002B2 (en) 2016-02-08 2019-05-28 Youspace, Inc. Depth-based feature systems for classification applications
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
US10303259B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
US10325184B2 (en) 2017-04-12 2019-06-18 Youspace, Inc. Depth-value classification using forests
EP3572910B1 (en) 2018-05-21 2021-11-24 Vestel Elektronik Sanayi ve Ticaret A.S. Method, system and computer program for remotely controlling a display device via head gestures

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012675A1 (en) * 2004-05-10 2006-01-19 University Of Southern California Three dimensional interaction with autostereoscopic displays
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
US20110164029A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Working with 3D Objects
CN102576247A (zh) * 2009-09-16 2012-07-11 迪斯尼实业公司 用于互动电视的超链接3d视频插件
US20130212538A1 (en) * 2011-08-19 2013-08-15 Ghislain LEMIRE Image-based 3d environment emulator
US20130318479A1 (en) * 2012-05-24 2013-11-28 Autodesk, Inc. Stereoscopic user interface, view, and object manipulation
CN103443742A (zh) * 2010-12-16 2013-12-11 西门子公司 用于凝视和姿势接口的系统和方法
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20140104274A1 (en) * 2012-10-17 2014-04-17 Microsoft Corporation Grasping virtual objects in augmented reality

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012675A1 (en) * 2004-05-10 2006-01-19 University Of Southern California Three dimensional interaction with autostereoscopic displays
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
CN102576247A (zh) * 2009-09-16 2012-07-11 迪斯尼实业公司 用于互动电视的超链接3d视频插件
US20110164029A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Working with 3D Objects
CN103443742A (zh) * 2010-12-16 2013-12-11 西门子公司 用于凝视和姿势接口的系统和方法
US20130212538A1 (en) * 2011-08-19 2013-08-15 Ghislain LEMIRE Image-based 3d environment emulator
US20130318479A1 (en) * 2012-05-24 2013-11-28 Autodesk, Inc. Stereoscopic user interface, view, and object manipulation
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20140104274A1 (en) * 2012-10-17 2014-04-17 Microsoft Corporation Grasping virtual objects in augmented reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622219A (zh) * 2017-03-10 2019-12-27 杰创科增强现实有限公司 交互式增强现实
CN110622219B (zh) * 2017-03-10 2024-01-19 杰创科增强现实有限公司 交互式增强现实
CN110481419A (zh) * 2019-08-16 2019-11-22 广州小鹏汽车科技有限公司 一种人车交互方法、系统、车辆及存储介质

Also Published As

Publication number Publication date
WO2015195652A1 (en) 2015-12-23
CN105659191B (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN105659191A (zh) 用于提供图形用户界面的系统和方法
CN108780358B (zh) 基于视场显示三维虚拟对象
US11099637B2 (en) Dynamic adjustment of user interface
US9734636B2 (en) Mixed reality graduated information delivery
KR102334271B1 (ko) 제스처 파라미터 튜닝
US20150277700A1 (en) System and method for providing graphical user interface
US10409443B2 (en) Contextual cursor display based on hand tracking
US9202313B2 (en) Virtual interaction with image projection
US9367951B1 (en) Creating realistic three-dimensional effects
US20150379770A1 (en) Digital action in response to object interaction
JP6359099B2 (ja) ユーザインターフェースナビゲーション
US10825217B2 (en) Image bounding shape using 3D environment representation
KR20160024986A (ko) 깊이 카메라를 통한 시선 추적
US10013065B2 (en) Tangible three-dimensional light display
JP2016021229A (ja) 入力装置
US11423585B2 (en) Velocity-based controls
KR102495234B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN113661433A (zh) 头戴式显示设备及其操作方法
KR20200031256A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법
KR20200031260A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180420

Address after: 310053 Room 101, block C, 7 building, 4028 South Ring Road, Binjiang District, Hangzhou, Zhejiang.

Applicant after: Hangzhou Linggan Technology Co.,Ltd.

Address before: 518052 Guangdong, Shenzhen, Nanshan District, Nanshan District, Guangdong Road, Taoyuan Road 1, West Sea Pearl Garden B block 25E

Applicant before: Shenzhen Lingshou Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230804

Address after: 201600 Room 501, Building 3, No. 1 Caosung Road, Xinqiao Town, Songjiang District, Shanghai

Patentee after: Shanghai yuweia Technology Co.,Ltd.

Address before: 310053 Room 101, block C, 7 building, 4028 South Ring Road, Binjiang District, Hangzhou, Zhejiang.

Patentee before: Hangzhou Linggan Technology Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 201600 Room 501, Building 3, No. 1 Caosung Road, Xinqiao Town, Songjiang District, Shanghai

Patentee after: Play Out Dreams (Shanghai) Technology Co.,Ltd.

Address before: 201600 Room 501, Building 3, No. 1 Caosung Road, Xinqiao Town, Songjiang District, Shanghai

Patentee before: Shanghai yuweia Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder