CN104321730B - 3d图形用户接口 - Google Patents

3d图形用户接口 Download PDF

Info

Publication number
CN104321730B
CN104321730B CN201280073525.7A CN201280073525A CN104321730B CN 104321730 B CN104321730 B CN 104321730B CN 201280073525 A CN201280073525 A CN 201280073525A CN 104321730 B CN104321730 B CN 104321730B
Authority
CN
China
Prior art keywords
user
user interface
partially
identified
widget
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280073525.7A
Other languages
English (en)
Other versions
CN104321730A (zh
Inventor
杜杨洲
Q.J.宋
李文龙
王涛
张益民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104321730A publication Critical patent/CN104321730A/zh
Application granted granted Critical
Publication of CN104321730B publication Critical patent/CN104321730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus

Abstract

本发明提供了一种用于3D图形用户接口的计算机实现的方法。所述计算机实现的方法包括：接收用户的视觉数据，其中视觉数据包括3D视觉数据；至少部分地基于所接收的3D视觉数据来确定从3D显示器到用户的3D距离；以及至少部分地基于所确定的到用户的3D距离来调节从3D显示器到用户的3D投影距离。

Description

3D图形用户接口
背景技术
三维（3D）显示技术如今已经发展得很好。大屏幕3D-TV在市场上一般可得到并且价格接近传统2D-TV。
在科学博物馆中以及在贸易展览中可以发现中等尺寸的自动立体3D显示器。另外，可以在最新的智能电话上配备小尺寸的裸眼3D显示器，诸如例如HTC EVO 3D和LGOptimus 3D。
分离地，3D感测技术已经发展得很好。例如，Microsoft Kinect可以用于直接感测3D深度图像。类似地，3D相机已经成为消费级产品。例如，Fujifilm双透镜相机可以用于捕获立体图像。另一3D感测技术由LeapMotion制成，其最近已经开发了用于3D空间中的手指追踪的设备。
附图说明
作为示例而非作为限制在附图中图示本文描述的材料。为了图示的简单和清楚，图中图示的元件未必按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件有所夸大。另外，在认为适当的情况下，在各图之中已经重复了参考标记以指示对应或类似的元件。在图中：
图1是示例3D图形用户接口系统的说明图；
图2是图示了示例3D图形用户接口过程的流程图；
图3是在操作中的示例3D图形用户接口过程的说明图；
图4是在操作中的示例3D图形用户接口系统的说明图；
图5是示例3D图形用户接口系统的说明图；
图6是示例系统的说明图；以及
图7是全部依照本公开的至少一些实现所布置的示例系统的说明图。
具体实施方式
现在参考附图来描述一个或多个实施例或实现。虽然讨论了特定配置和布置，但应当理解到这样做仅仅出于说明性目的。相关领域技术人员将认识到可以采用其它配置和布置而不脱离于描述的精神和范围。对相关领域技术人员而言将显而易见的是，本文所描述的技术和/或布置还可以在除本文描述的之外的各种其它系统和应用中被采用。
虽然以下描述阐述了可以在例如这样的芯片上系统（SoC）架构之类的架构中表明的各种实现，但是本文描述的技术和/或布置的实现不受限于特定架构和/或计算系统，并且可以由用于类似目的的任何架构和/或计算系统来实现。例如，采用例如多个集成电路（IC）芯片和/或封装的各种架构、和/或诸如机顶盒、智能电话等之类的各种计算设备和/或消费电子（CE）设备可以实现本文描述的技术和/或布置。另外，虽然以下描述可以阐述诸如逻辑实现、类型和系统组件的相互关系、逻辑分区/集成选择等之类的众多具体细节，但是所要求保护的主题可以在没有这样的具体细节的情况下实践。在其它实例中，可以不详细示出诸如例如控制结构和完整软件指令序列之类的一些材料以便不模糊本文所公开的材料。
本文所公开的材料可以以硬件、固件、软件或其任何组合来实现。本文所公开的材料还可以实现为被存储在机器可读介质上的指令，其可以被一个或多个处理器读取和执行。机器可读介质可以包括用于以机器（例如计算设备）可读的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光学存储介质；闪速存储器设备；电气、光学、声学或其它形式的传播信号（例如载波、红外信号、数字信号等）和其它。
在说明书中对“一个实现”、“实现”、“示例实现”等的提及指示所描述的实现可以包括特定特征、结构或特性，但是每个实现可以不必包括特定特征、结构或特性。而且，这样的短语不一定都指代相同实现。另外，当结合实现来描述特定特征、结构或特性时，主张的是结合无论本文是否明确描述的其它实现来达成这样的特征、结构或特性在本领域技术人员的知识范围内。
以下描述了包括用于3D图形用户接口的操作的系统、装置、物品和方法。
如上文描述的，在一些情况中，常规2D触摸屏可以进行无控制器的交互。这样的无控制器交互还可以在表面上的图像投影连同指尖识别的情况下进行。然而，这两个示例都是2D图形用户接口并且执行在2D表面上。
类似地，常规无触摸交互系统（例如用于Xbox 360的Microsoft Kinect）系统可以识别手部/身体姿势。然而，这样在无触摸交互系统中，图形用户接口保持为2D并且用户不能“触摸”虚拟3D微件（widget）。
在虚拟现实的早期实现中，人们通过红蓝眼镜得到3D感知，同时通过数据手套类型用户输入设备获取手指的3D定位。然而，这样的系统依赖于用于用户输入的手套类型用户输入设备。
如将在以下更加详细地描述的，用于3D图形用户接口的操作可以接收3D用户输入而不需要用户输入设备。例如，3D显示和3D感测技术可以被适配成呈现这样的3D图形用户接口并且接收3D用户输入而不需要用户输入设备。更具体地，可以在不佩戴特殊眼镜的情况下获得3D感知并且可以在没有任何附件的情况下进行手指的3D感测（例如，如可以利用深度相机进行的那样）。
图1是依照本公开的至少一些实现而布置的示例3D图形用户接口系统100的说明图。在图示的实现中，3D图形用户接口系统100可以包括3D显示器102、一个或多个3D成像设备104和/或等等。
在一些示例中，3D图形用户接口系统100可以包括为了清楚起见尚未在图1中示出的附加项。例如，3D图形用户接口系统100可以包括处理器、射频类型（RF）收发器和/或天线。另外，3D图形用户接口系统100可以包括为了清楚起见尚未在图1中示出的附加项，诸如扬声器、麦克风、加速度计、存储器、路由器、网络接口逻辑等。
在一些示例中，3D显示器102可以包括以下类型的3D显示器中的一个或多个：3D电视、全息3D电视、3D蜂窝电话、3D平板等和/或其组合。例如，这样的全息3D电视可以与McAllister，David F.（2002年2月）“Stereo & 3D Display Technologies, DisplayTechnology”（In Hornak，Joseph P.（精装本），Encyclopedia of Imaging Science andTechnology（成像科学与技术百科全书），2 Volume Set.2，纽约：Wiley & Sons. pp.1327-1344. ISBN 978-0-471-33276-3）中讨论的电视系统类似或相同。
在一些示例中，来自3D成像设备104的3D视觉数据可以从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器、3D相机类型传感器等和/或其组合。例如，这样的3D相机类型传感器可以与http://web.mit.edu/newsoffice/2011/lidar-3d-camera-cellphones-0105.html中讨论的传感器系统类似或相同。在一些示例中，3D成像设备104可以要么经由外围设备被提供要么作为3D图形用户接口系统100中的集成设备被提供。在一个示例中，结构光类型传感器（例如，诸如在功能上类似于Microsoft Kinect的设备）可以能够感测身体姿势的3D位置、虚拟图和周围场景。然而，这样的结构光类型传感器的常规使用仍然针对受限于2D屏幕上的平面可视化的输出。如果3D显示器102与3D感测类型成像设备104（例如诸如类似于MicrosoftKinect的设备）组合，则虚拟对象可以跳出3D显示器102并且用户将能够直接用手提供输入。
如以下将更加详细地描述的，3D图形用户接口系统100可以包括3D图形用户接口106。这样的3D图形用户接口106可以包括一个或多个用户可交互微件108，其可以被取向和布置为一个或多个菜单、一个或多个按钮、一个或多个对话框等和/或其组合。这样的用户可交互微件108可以通过立体成像跳出3D显示器102，恰好呈现在用户的前方。在所图示的示例中，可以存在一个或多个用户110。在一些示例中，3D图形用户接口系统100可以在一个或多个用户110中的目标用户112和背景观察者114之间进行区分。在这样的示例中，3D图形用户接口系统100可以从目标用户112而不从背景观察者114接收输入，并且可以基于目标用户112与3D显示器102之间的距离116（例如距离可以通过深度/立体相机类型成像设备104提取）调节3D图形用户接口106的呈现。例如，3D图形用户接口系统100可以将3D图形用户接口106的呈现调节到对用户112可触摸的距离117。当用户112触摸这些虚拟微件108时，微件108可以能够响应于来自用户112的交互。例如，3D图形用户接口106可以用深度相机或立体相机类型成像设备104识别用户112的手部118的姿势（例如其可以包括手指动作）。
3D显示器102和3D感测成像设备104的组合可以带来用于构建3D图形用户接口106的新机会，其可以允许用户112在真实沉浸式3D空间中的交互。例如，通过立体眼镜，3D-TV菜单可以漂浮在空中并且按钮可以呈现在对用户112可触摸的距离处。当用户112按压虚拟按钮时，按钮可以响应于用户112的输入并且3D TV可以相应地执行任务。通过3D图形用户接口106的这样的3D用户输入可以取代或增强通过遥控器、键盘、鼠标等的用户输入。
这样的3D图形用户接口系统100可以构建在3D显示器102和3D感测技术的适配之上。3D图形用户接口系统100可以允许用户112经由立体成像而感知3D图形用户接口106并且使用手部116“触摸”虚拟3D微件108（例如这可以包括来自各个手指的输入）。3D图形用户接口106可以用于3D-TV菜单、3D游戏微件、3D电话接口等和/或其组合。
如将在以下更加详细讨论的，3D图形用户接口系统100可以用于执行以下结合图2和/或3讨论的各种功能中的一些或全部。
图2是图示了依照本公开的至少一些实现而布置的示例3D图形用户接口过程200的流程图。在图示的实现中，过程200可以包括如由块202、204和/或206中的一个或多个图示的一个或多个操作、功能或动作。作为非限制性示例，本文将参考图1和/或5的示例3D图形用户接口系统100来描述过程200。
过程200可以用作用于运动估计的内容感知选择性调节的计算机实现的方法。过程200可以在块202处开始，“接收用户的视觉数据，其中视觉数据包括3D视觉数据”，其中可以接收用户的视觉数据。例如，可以接收用户的视觉数据，其中视觉数据包括3D视觉数据。
处理可以从操作202继续到操作204，“至少部分地基于接收的3D视觉数据来确定从3D显示器到用户的3D距离”，其中可以进行从3D显示器到用户的3D距离的确定。例如，可以至少部分地基于接收的3D视觉数据来进行从3D显示器到用户的3D距离的确定。
在一些示例中，3D视觉数据可以从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器、3D相机类型传感器等和/或其组合。
处理可以从操作204继续到操作206，“至少部分地基于所确定的到用户的3D距离来调节从3D显示器到用户的3D投影距离”，其中可以调节从3D显示器到用户的3D投影距离。例如，可以至少部分地基于所确定的到用户的3D距离来调节从3D显示器到用户的3D投影距离。
在一些示例中，3D显示器可以包括以下类型的3D显示器中的一个或多个：3D电视、全息3D电视、3D蜂窝电话、3D平板等和/或其组合。
可以在以下关于图3更加详细地讨论的实现的一个或多个示例中说明有关过程200的一些附加和/或替换细节。
图3是依照本公开的至少一些实现而布置的示例3D图形用户接口系统100和操作中的3D图形用户接口过程300的说明图。在图示的实现中，过程300可以包括如由动作312、314、316、318、320、322、324、326、328、330、332和/或334中的一个或多个图示的一个或多个操作、功能或动作。作为非限制性示例，本文将参考图1和/或5的示例3D图形用户接口系统100来描述过程300。
在图示的实现中，3D图形用户接口系统100可以包括逻辑模块306。例如，逻辑模块306可以包括定位检测逻辑模块308、投影距离逻辑模块309、手部姿势逻辑模块310等和/或其组合。尽管如图3中所示的3D图形用户接口系统100可以包括与特定模块相关联的块或动作的一个特定集合，但是这些块或动作可以与不同于在此图示的特定模块的模块相关联。
处理可以在操作312处开始，“捕获视觉数据”，其中可以捕获视觉数据。例如，视觉数据的捕获可以经由成像设备104执行，其中视觉数据包括3D视觉数据。
处理可以从操作312继续到操作314，“接收视觉数据”，其中可以接收视觉数据。例如，视觉数据可以从成像设备104传递到逻辑模块306，包括定位检测逻辑模块308和/或手部姿势逻辑模块310，其中视觉数据包括3D视觉数据。
处理可以从操作314继续到操作316，“执行面部检测”，其中可以执行面部检测。例如，可以至少部分地基于视觉数据、经由定位检测逻辑模块308检测一个或多个用户的面部。
在一些示例中，这样的面部检测可以被配置成在一个或多个用户之间进行区分。这样的面部检测技术可以允许相关积累（relative accumulation）包括面部检测、运动追踪、地标检测、面部对准、微笑/眨眼/性别/年龄检测、面部识别、检测两个或更多面部和/或等等。
例如，这样的面部检测可以与在以下中讨论的这样的面部检测方法类似或相同：（1）Ming-Hsuan Yang，David Kriegman和Narendra Ahuja，“Detecting Faces in Images:A Survey”，关于模式分析和机器智能（PAMI）的IEEE会报，vol. 24，no. 1，pp. 34-58，2002；和/或（2）Cha Zhang和Zhengyou Zhang“A Survey of Recent Advances in FaceDetection”，微软技术报告，MSR-TR-2010-66，2010年6月。在一些示例中，面部检测的这样的方法可以包括：（a）如在（Henry A. Rowley，Shumeet Baluja和Takeo Kanade.“NeuralNetwork-Based Face Detection”，关于模式分析和机器智能的IEEE会报，1998）中讨论的基于神经网络的面部检测；和/或（b）如在（Paul Viola，Michael Jones，Rapid ObjectDetection using a Boosted Cascade of Simple Features，CVPR 2001）中讨论的基于Haar的级联分类器。
处理可以从操作316继续到操作318，“标识目标用户”，其中可以标识目标用户。例如，面部检测可以用于在目标用户与背景观察者之间进行区分。可以至少部分地基于经由定位检测逻辑模块308执行的面部检测来标识目标用户和背景观察者。在一些示例中，从3D显示器到用户的3D距离的确定可以在3D显示器和所标识的目标用户的所检测的面部之间。
处理可以从操作318继续到操作320，“确定3D距离”，其中可以进行从3D显示器到用户的3D距离的确定。例如，可以至少部分地基于接收的3D视觉数据、经由定位检测逻辑模块308进行从3D显示器到用户的3D距离的确定。
在一些示例中，为了用户的3D定位检测，系统100可能需要知晓用户的3D位置，其中3D图形用户接口将被绘制在可触摸的距离中。这样的用户位置3D感测可以由深度相机、立体相机等和/或其组合进行。例如，身体组成部分的深度定位可以以与J. Shotton等人的Real-time Human Pose Recognition in Parts from Single Depth Images（CVPR'2011）中讨论的相同或类似的方式执行。在其中使用立体相机的示例中，可以以与D. Scharstein和R. Szeliski的“A taxonomy and evaluation of dense two-frame stereocorrespondence algorithms”，（International Journal of Computer Vision（国际计算机视觉期刊），47(l/2/3):7-42，2002年4月-6月）中讨论的相同或类似的方式执行的立体匹配算法可以用于获取深度数据，并且可以以与在（1）Ming-Hsuan Yang，David Kriegman和Narendra Ahuja，“Detecting Faces in Images: A Survey”，关于模式分析和机器智能（PAMI）的IEEE会报，vol. 24，no. 1，pp. 34-58，2002；和/或（2）Cha Zhang和ZhengyouZhang，“A Survey of Recent Advances in Face Detection”，微软技术报告，MSR-TR-2010-66，2010年6月中讨论的相同或类似的方式执行的面部检测算法可以用于寻找用户的头部定位。在一些示例中，可以经由廉价的双透镜web相机来捕获视觉数据以计算深度信息并且在其上检测用户的定位。
处理可以从操作320继续到操作322，“调节投影距离”，其中可以调节从3D显示器到用户的3D投影距离。例如，可以至少部分地基于确定的到用户的3D距离、经由投影距离逻辑模块309来调节从3D显示器到用户的3D投影距离。
在一些示例中，可以在至少部分地基于确定的到所标识的目标用户的3D距离而对3D投影距离的调节期间计算针对3D图形用户接口的视差。可以至少部分地基于计算的视差来叠覆右和左视图。
例如，3D图形用户接口绘图（例如其可以包括诸如菜单、按钮、对话框等之类的3D微件）可以在3D显示器102上示出。3D显示器102通过立体成像给予用户深度感知。将3D图形用户接口的3D菜单和3D按钮准确放置在用户前方、特别是在到用户的舒适触摸距离中是重要的。在获得用户的3D定位之后，系统100需要计算针对这些微件的正确视差并且将它们叠覆在左/右视图的顶部上。3D感知距离可以通过立体视差、人眼间距和观看者-屏幕距离来确定，这可以以与在McAllister，David F.（2002年2月）“Stereo & 3D DisplayTechnologies, Display Technology”（In Hornak，Joseph P.（精装本），Encyclopedia ofImaging Science and Technology（成像科学与技术百科全书），2 Volume Set.2，纽约：Wiley & Sons. pp.1327-1344. ISBN 978-0-471-33276-3）中讨论的相同或类似的方式执行。
处理可以从操作322继续到操作324，“在调节的距离处呈现3D GUI”，其中可以在调节的距离处呈现3D GUI。例如，3D GUI可以在调节的距离处经由3D显示器102向用户呈现。
处理可以从操作318或324继续到操作326，“接收视觉数据”，其中可以接收视觉数据。例如，视觉数据可以从成像设备104传递到手部姿势逻辑模块310，其中视觉数据包括3D视觉数据。
处理可以从操作326继续到操作328，“执行手部姿势识别”，其中可以执行手部姿势识别。例如，可以至少部分地基于接收的针对所标识的目标用户的视觉数据、经由手部姿势逻辑模块310来执行手部姿势识别。在一些示例中，可以在没有用户输入设备的情况下执行手部姿势识别。
在一些示例中，手部姿势识别可以用于解释来自与3D图形用户接口交互的用户的虚拟触摸动作（例如，诸如虚拟触摸动作），因为3D图形用户接口在用户前方示出。为了这样做，系统100可以检测用户的手部或手指的3D定位。由于触摸屏支持单点触摸和多点触摸，3D图形用户接口上的手指/姿势也可以支持相同或类似的多点操作。这样的操作可以利用姿势识别技术（其可以以与Xiaofeng Tong，Dayong Ding，Wenlong Li，Yimin Zhang在2011年4月11日提交的并且题为“GESTURE RECOGNITION USING DEPTH IMAGES”的申请号PCT/CN2011/072581中讨论的相同或类似的方式执行）或其它类似的技术来进行。
处理可以从操作328继续到操作330，“确定用户命令”，其中可以确定用户接口命令。例如，可以响应于经由手部姿势逻辑模块310的手部姿势识别来确定用户接口命令。
在一些示例中，在接收和识别了用户在3D图形用户接口上的姿势/触摸时，系统100可以响应于用户经由姿势（例如，在3D图形用户接口上，或者接近3D图形用户接口，或者距3D图形用户接口若干英寸）的命令而采取对应行动以调换（translate）3D图形用户接口。
在一些示例中，3D图形用户接口可以布置在3D空间中并且当手指的距离可测量时，可以实现特殊效果。例如，3D图形用户接口的菜单可以被设计为“可穿透的”和/或“非可穿透的”。对于可穿透的菜单，手指可以穿过它们并且触摸后面的微件。对于非可穿透的菜单，它们的定位可以通过推到旁边而被移动。在2D GUI中，滚动条布局在x和y方向上。在3D图形用户接口中，滚动条也可以布局在z方向上并且通过推/拉姿势而控制。
处理可以从操作330继续到操作332，“调节3D GUI”，其中可以调节3D图形用户接口的外观。例如，可以响应于确定的用户接口命令、经由投影距离逻辑模块309调节3D图形用户接口的外观。
处理可以从操作332继续到操作334，“呈现调节的3D GUI”，其中可以呈现调节的3D GUI。例如，可以经由3D显示器102向用户呈现调节的3D GUI。
虽然如图2和3中图示的示例过程200和300的实现可以包括以图示的次序采取所示的所有块，但是本公开不限于这方面，并且在各种示例中，过程200和300的实现可以包括仅采取所示块的子集和/或以不同于图示的次序。
此外，可以响应于由一个或多个计算机程序产品提供的指令而采取图2和3的块中的任何一个或多个。这样的程序产品可以包括提供指令的信号承载媒介，所述指令当由例如处理器执行时可以提供本文所描述的功能性。计算机程序产品可以以任何形式的计算机可读介质来提供。因此，例如，包括一个或多个处理器核的处理器可以响应于由计算机可读介质传达到处理器的指令而采取图2和3中所示的块中的一个或多个。
如在本文所描述的任何实现中使用的，术语“模块”是指被配置成提供本文所描述的功能性的软件、固件和/或硬件的任何组合。软件可以体现为软件包、代码和/或指令集或指令，并且“硬件”，如本文所描述的任何实现中所使用的，可以包括例如单个或以任何组合的硬连线电路、可编程电路、状态机电路和/或固件，其存储由可编程电路执行的指令。模块可以集体地或单独地体现为形成较大系统（例如集成电路（IC）、芯片上系统（SoC）等）的部分的电路。
图4是依照本公开的至少一些实现的另一示例3D图形用户接口系统100的说明图。在图示的实现中，3D图形用户接口106可以呈现为3D电话类型3D图形用户接口系统100上的3D游戏。如图中所示，3D场景可以在诸如例如Nintendo 3DS、HTC EVO 3D和LG Optimus 3D之类的裸眼3D手持或3D电话上以深度维度可视化。用户112可以能够直接用手部118操纵3D虚拟微件108。深度信息、手部姿势或手指动作可以用例如双透镜相机类型3D成像设备104感测。
在另一示例中，3D广告可以呈现在3D数字标牌上。这样的数字标牌可以使用自动立体3D显示器102，使得访问者在不佩戴特殊眼镜的情况下特别注意到广告。访问者可以能够触摸虚拟商品以用于用手指旋转、移动或操纵3D菜单来完成支付过程。手部姿势可以通过安装在数字标牌的顶部上的3D成像设备104（例如，立体相机或深度相机）识别。
在图1中图示的示例中，3D图形用户接口106可以实现为3D-TV上的3D菜单。在这样的实现中，用户112可以用偏光式/快门式眼镜观看3D-TV。当用户112切换TV频道或者DVD章节时，3D菜单在可触摸距离中弹出并且用户112用手指做出选择。类Microsoft Kinect的深度相机可以配备在机顶盒中并且用户112的手指动作被系统识别和反应。
图5是依照本公开的至少一些实现而布置的示例3D图形用户接口系统100的说明图。在图示的实现中，3D图形用户接口系统100可以包括3D显示器502、（多个）成像设备504、处理器506、存储器存储装置508和/或逻辑模块306。逻辑模块306可以包括定位检测逻辑模块308、投影距离逻辑模块309、手部姿势逻辑模块310等和/或其组合。
如所图示的，3D显示器502、（多个）成像设备504、处理器506和/或存储器存储装置508可以能够与彼此通信和/或与逻辑模块306的部分通信。尽管3D图形用户接口系统100如图5中所示可以包括与特定模块相关联的块或动作的一个特定集合，但是这些块或动作可以与不同于在此图示的特定模块的模块相关联。
在一些示例中，（多个）成像设备504可以被配置成捕获用户的视觉数据，其中视觉数据可以包括3D视觉数据。3D显示设备502可以被配置成呈现视频数据。处理器506可以通信耦合到3D显示设备502。存储器存储装置508可以通信耦合到处理器506。定位检测逻辑模块308可以通信耦合到（多个）成像设备504并且可以被配置成至少部分地基于所接收的3D视觉数据来确定从3D显示设备502到用户的3D距离。投影距离逻辑模块309可以通信耦合到定位检测逻辑模块308并且可以被配置成至少部分地基于确定的到用户的3D距离来调节从3D显示设备502到用户的3D投影距离。手部姿势逻辑模块310可以被配置成至少部分地基于接收的针对所标识的目标用户的视觉数据来执行手部姿势识别，并且响应于手部姿势识别来确定用户接口命令。
在各种实施例中，检测逻辑模块308可以实现在硬件中，而软件可以实现投影距离逻辑模块309和/或手部姿势逻辑模块310。例如，在一些实施例中，检测逻辑模块308可以通过专用集成电路（ASIC）逻辑实现而距离逻辑模块309和/或手部姿势逻辑模块310可以通过由诸如处理器506之类的逻辑执行的软件指令提供。然而，本公开不限于这方面并且检测逻辑模块308、距离逻辑模块309和/或手部姿势逻辑模块310可以通过硬件、固件和/或软件的任何组合来实现。此外，存储器存储装置508可以是任何类型的存储器，诸如易失性存储器（例如静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）等）或非易失性存储器（例如闪速存储器等）等等。在非限制性示例中，存储器存储装置508可以通过高速缓存存储器实现。
图6图示了依照本公开的示例系统600。在各种实现中，系统600可以是媒体系统，尽管系统600不受限于该上下文。例如，系统600可以并入到个人计算机（PC）、膝上型计算机、超膝上型计算机、平板设备、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝式电话、组合蜂窝式电话/PDA、电视、智能设备（例如智能电话、智能平板设备或智能电视）、移动因特网设备（MID）、消息传递设备、数据通信设备等等。
在各种实现中，系统600包括耦合到显示器620的平台602。平台602可以从诸如（多个）内容服务设备630或（多个）内容递送设备640或其它类似内容源之类的内容设备接收内容。包括一个或多个导航特征的导航控制器650可以被用于与例如平台602和/或显示器620交互。在以下更加详细地描述这些组件中的每一个。
在各种实现中，平台602可以包括芯片集605、处理器610、存储器612、存储装置614、图形子系统615、应用616和/或无线电设备618的任何组合。芯片集605可以提供处理器610、存储器612、存储装置614、图形子系统615、应用616和/或无线电设备618之中的互通信。例如，芯片集605可以包括能够提供与存储装置614的互通信的存储适配器（未描绘）。
处理器610可以被实现为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器；x86指令集兼容处理器、多核或任何其它的微处理器或中央处理单元（CPU）。在各种实现中，处理器610可以是（多个）双核处理器、（多个）双核移动处理器等等。
存储器612可以被实现为易失性存储器设备，诸如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。
存储装置614可以被实现为非易失性存储设备，诸如但不限于磁盘驱动装置、光盘驱动装置、磁带驱动装置、内部存储设备、附接存储设备、闪速存储器、电池备用的SDRAM（同步DRAM）和/或网络可访问存储设备。在各种实现中，存储装置614可以包括当例如包括多个硬驱动装置时增加针对有价值的数字媒体的存储性能增强保护的技术。
图形子系统615可以执行诸如静止或视频之类的图像的处理以供显示。图形子系统615可以是例如图形处理单元（GPU）或视觉处理单元（VPU）。模拟或数字接口可以被用于通信耦合图形子系统615和显示器620。例如，接口可以是高清多媒体接口、显示端口、无线HDMI和/或无线HD依从技术中的任何一个。图形子系统615可以集成到处理器610或芯片集605中。在一些实现中，图形子系统615可以是通信耦合到芯片集605的独立卡。
本文描述的图形和/或视频处理技术可以以各种硬件架构实现。例如，图形和/或视频功能性可以集成在芯片集内。可替换地，可以使用离散图形和/或视频处理器。作为又一实现，图形和/或视频功能可以通过包括多核处理器的通用处理器来提供。在另外的实施例中，功能可以以消费电子设备来实现。
无线电设备618可以包括能够通过使用各种适合的无线通信技术发射和接收信号的一个或多个无线电设备。这样的技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝式网络和卫星网络。在跨这样的网络的通信中，无线电设备618可以依照任何版本中的一个或多个可适用标准进行操作。
在各种实现中，显示器620可以包括任何电视类型的监视器或显示器。显示器620可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类电视设备和/或电视。显示器620可以是数字和/或模拟的。在各种实现中，显示器620可以是全息显示器。而且，显示器620可以是可以接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像和/或对象。例如，这样的投影可以是用于移动增强现实（MAR）应用的视觉叠覆。在一个或多个软件应用616的控制之下，平台602可以在显示器620上显示用户接口622。
在各种实现中，（多个）内容服务设备630可以由任何国家、国际和/或独立服务来托管并且因此经由例如因特网对平台602可访问。（多个）内容服务设备630可以耦合到平台602和/或显示器620。平台602和/或（多个）内容服务设备630可以耦合到网络660以向网络660和从网络660传送（例如发送和/或接收）媒体信息。（多个）内容递送设备640也可以耦合到平台602和/或显示器620。
在各种实现中，（多个）内容服务设备630可以包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的因特网使能的设备或器具，以及能够在内容提供者与平台602和/显示器620之间经由网络660或直接地单向或双向传送内容的任何其它的类似设备。将领会到，内容可以经由网络660单向和/或双向地传送到系统600中的任何一个组件和内容提供者以及从其进行传送。内容的示例可以包括任何媒体信息，包括例如，视频、音乐、医学和游戏信息等等。
（多个）内容服务设备630可以接收包括媒体信息、数字信息和/或其它内容的诸如有线电视节目之类的内容。内容提供者的示例可以包括任何有线或卫星电视或无线电广播或因特网内容提供者。所提供的示例并不意味着以任何方式限制依照本公开的实现。
在各种实现中，平台602可以从具有一个或多个导航特征的导航控制器650接收控制信号。控制器650的导航特征可以被用于例如与用户接口622交互。在实施例中，导航控制器650可以是定点设备，其可以是允许用户将空间（例如连续的和多维的）数据输入到计算机中的计算机硬件组件（特别地，人类接口设备）。诸如图形用户接口（GUI）和电视以及监视器之类的许多系统允许用户通过使用身体姿势来控制并向计算机或电视提供数据。
控制器650的导航特征的移动可以通过显示器上所显示的指针、光标、聚焦环或其它视觉指示符的移动而在显示器（例如显示器620）上被重现。例如，在软件应用616的控制之下，位于导航控制器650上的导航特征可以被映射到例如用户接口622上所显示的虚拟导航特征。在实施例中，控制器650可以不是分离的组件，而是可以被集成到平台602和/或显示器620中。然而，本公开不限于本文示出或描述的元件或者上下文。
在各种实现中，驱动器（未示出）可以包括使得用户能够例如利用在初始启动（boot-up）之后的按钮触摸（在被使能时）来即时开启和关闭像是电视的平台602的技术。即使在平台被“关闭”时，程序逻辑可以允许平台602将内容流式传输到媒体适配器或（多个）其它内容服务设备630或（多个）内容递送设备640。此外，芯片集605可以包括用于例如6.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中，图形驱动器可以包括高速外围组件互连（PCI）图形卡。
在各种实现中，可以集成系统600中示出的组件中的任何一个或多个。例如，平台602和（多个）内容服务设备630可以被集成，或者平台602和（多个）内容递送设备640可以被集成，或者例如平台602、（多个）内容服务设备630和（多个）内容递送设备640可以被集成。在各种实施例中，平台602和显示器620可以是集成的单元。例如，显示器620和（多个）内容服务设备630可以被集成，或者显示器620和（多个）内容递送设备640可以被集成。这些示例并不意指限制本公开。
在各种实施例中，系统600可以实现为无线系统、有线系统或这二者的组合。当实现为无线系统时，系统600可以包括适于通过无线共享媒介进行通信的组件和接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享媒介的示例可以包括无线频谱的部分，诸如RF频谱等等。当实现为有线系统时，系统600可以包括适于通过有线通信媒介进行通信的组件和接口，诸如输入/输出（I/O）适配器、将I/O适配器与对应的有线通信媒介相连接的物理连接器、网络接口卡（NIC）、盘控制器、视频控制器、音频控制器等等。有线通信媒介的示例可以包括导线、线缆、金属引线、印刷电路板（PCB）、底板、交换结构、半导体材料、双纽线、同轴线缆、光纤等等。
平台602可以建立一个或多个逻辑或物理信道以传送信息。信息可以包括媒体信息和控制信息。媒体信息可以是指表示意欲用于用户的内容的任何数据。内容的示例可以包括，例如，来自语音对话的数据、视频会议、流视频、电子邮件（“email”）消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等。来自语音对话的数据可以是，例如，话音信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可以是指表示意欲用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以被用于路由媒体信息通过系统，或者指示节点以预定方式处理媒体信息。然而，实施例不受限于图6中示出或描述的元件或上下文。
如以上所描述的，系统600可以以变化的物理样式或形状因数来体现。图7图示了其中可以体现系统600的小形状因数设备700的实现。在实施例中，例如，设备700可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以是指具有处理系统和诸如一个或多个电池之类的移动功率源或供应的任何设备。
如以上所描述的，移动计算设备的示例可以包括个人计算机（PC）、膝上型计算机、超膝上型计算机、平板设备、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝式电话、组合蜂窝式电话/PDA、电视、智能设备（例如智能电话、智能平板设备或智能电视）、移动因特网设备（MID）、消息传递设备、数据通信设备等等。
移动计算设备的示例还可以包括被布置成由人佩戴的计算机，诸如腕式计算机、手指式计算机、戒指式计算机、眼镜式计算机、腰带扣式计算机、臂章式计算机、鞋式计算机、衣物式计算机以及其它可佩戴计算机。在各种实施例中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管一些实施例可以利用作为示例被实现为智能电话的移动计算设备进行描述，但是可以领会到，其它实施例也可以通过使用其它无线移动计算设备来实现。实施例不受限于该上下文。
如图7中所示，设备700可以包括外壳702、显示器704、输入/输出（I/O）设备706以及天线708。设备700还可以包括导航特征712。显示器704可以包括用于显示适于移动计算设备的信息的任何适合的显示单元。I/O设备706可以包括用于将信息录入到移动计算设备中的任何适合的I/O设备。I/O设备706的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇杆开关、麦克风、扬声器、语音识别设备和软件等等。信息还可以借助于麦克风（未示出）录入到设备700中。这样的信息可以通过语音识别设备（未示出）被数字化。实施例不受限于该上下文。
可以使用硬件元件、软件元件或这二者的组合来实现各种实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件（例如晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路（ASIC）、可编程逻辑设备（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片集等等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定是否使用硬件元件和/或软件元件来实现实施例可以依照任何数目的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束。
至少一个实施例的一个或多个方面可以通过被存储在机器可读介质上的代表性指令来实现，其表示处理器内的各种逻辑，当被机器读取时使机器制备逻辑以执行本文所描述的技术。称作“IP核”的这样的表示可以存储在有形、机器可读介质上并且供应给各种客户或制造机构以加载到实际上制成逻辑或处理器的制备机器中。
虽然已经参考各种实现而描述了本文所阐述的某些特征，但是该描述不旨在以限制性意义来解释。因而，本文所描述的实现以及对本公开所关于的领域中的技术人员显而易见的其它实现的各种修改被认为处于本公开的精神和范围内。
以下示例关于另外的实施例。
在一个示例中，一种用于3D图形用户接口的计算机实现的方法可以包括接收用户的视觉数据，其中视觉数据包括3D视觉数据。可以至少部分地基于所接收的3D视觉数据来进行从3D显示器到用户的3D距离的确定。可以至少部分地基于所确定的到用户的3D距离来调节从3D显示器到用户的3D投影距离。
在另一示例中，所述方法还可以包括至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测。可以至少部分地基于所执行的面部检测来标识目标用户，其中从3D显示器到用户的3D距离的确定可以在3D显示器与所标识的目标用户的所检测的面部之间。可以在至少部分地基于所确定的到所标识的目标用户的3D距离的3D投影距离的调节期间计算针对3D图形用户接口的视差。可以至少部分地基于所计算的视差来叠覆右和左视图。可以至少部分地基于所接收的针对所标识的目标用户的视觉数据来执行手部姿势识别。可以响应于手部姿势识别来确定用户接口命令，其中在没有用户输入设备的情况下执行手部姿势识别。可以响应于所确定的用户接口命令来调节3D图形用户接口的外观。可以从以下3D传感器类型中的一个或多个获得3D视觉数据：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器、3D相机类型传感器等和/或其组合。3D显示器包括以下类型的3D显示器中的一个或多个：3D电视、全息3D电视、3D蜂窝电话、3D平板设备等和/或其组合。
在其它示例中，用于在计算机上呈现3D图形用户接口的系统可以包括成像设备、3D显示设备、一个或多个处理器、一个或多个存储器存储装置、定位检测逻辑模块、投影距离逻辑模块等和/或其组合。成像设备可以被配置成捕获用户的视觉数据，其中视觉数据可以包括3D视觉数据。3D显示设备可以被配置成呈现视频数据。一个或多个处理器可以通信耦合到3D显示设备。一个或多个存储器存储装置可以通信耦合到一个或多个处理器。定位检测逻辑模块可以通信耦合到成像设备并且可以被配置成至少部分地基于所接收的3D视觉数据来确定从3D显示器到用户的3D距离。投影距离逻辑模块可以通信耦合到定位检测逻辑模块并且可以被配置成至少部分地基于所确定的到用户的3D距离来调节从3D显示器到用户的3D投影距离。
在另一示例中，定位检测逻辑模块还可以被配置成：至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测，以及至少部分地基于所执行的面部检测来标识目标用户，其中从3D显示器到用户的3D距离的确定可以在3D显示器与所标识的目标用户的所检测的面部之间。投影距离逻辑模块还可以被配置成：在至少部分地基于所确定的到所标识的目标用户的3D距离的3D投影距离的调节期间计算针对3D图形用户接口的视差，并且至少部分地基于所计算的视差来叠覆右和左视图。系统可以包括手部姿势逻辑模块，其可以被配置成至少部分地基于所接收的针对所标识的目标用户的视觉数据来执行手部姿势识别，其中在没有用户输入设备的情况下执行手部姿势识别；以及响应于手部姿势识别来确定用户接口命令。投影距离逻辑模块还可以被配置成响应于所确定的用户接口命令来调节3D图形用户接口的外观。3D视觉数据可以从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器、3D相机类型传感器等和/或其组合。3D显示器包括以下类型的3D显示器中的一个或多个：3D电视、全息3D电视、3D蜂窝电话、3D平板设备等和/或其组合。
在另外的示例中，至少一个机器可读介质可以包括多个指令，所述指令响应于在计算设备上被执行，使计算设备执行根据以上示例中任一个的方法。
在仍另外的示例中，一种装置可以包括用于执行根据以上示例中任一个的方法的构件。
以上示例可以包括特征的特定组合。然而，这样的以上示例不限于这方面，并且在各种实现中，以上示例可以包括仅采取这样的特征的子集、采取这样的特征的不同次序、采取这样的特征的不同组合，和/或采取除明确列举的那些特征之外的附加特征。例如，关于示例方法而描述的所有特征可以关于示例装置、示例系统和/或示例物品来实现，并且反之亦然。

Claims (20)

1.一种用于3D图形用户接口的计算机实现的方法，包括：
接收用户的视觉数据，其中所述视觉数据包括从一个或多个3D传感器获得的3D视觉数据；
至少部分地基于所接收的3D视觉数据来确定从3D显示器到所述用户的3D距离；
通过至少部分地基于所确定的到所述用户的3D距离来动态地调节从所述3D显示器到所述用户的3D投影距离，保持所述用户和所述3D图形用户接口之间的可触摸距离；
其中所述3D图形用户接口包括被取向和被布置为在所述用户和所述3D显示器之间的不同距离处堆叠的多个层的两个或更多个用户可交互微件，其中所述可交互微件的顶层位于最接近所述用户的位置并且所述可交互微件的底层位于最接近所述3D显示器的位置，其中在所述可交互微件的顶层保持在可交互微件的多个层的顶部的同时，所述可交互微件的顶层促进可交互微件的顶层的触摸，以及其中所述3D图形用户接口包括可穿透类型的菜单，其中在所述可交互微件的顶层保持在可交互微件的非顶层的顶部的同时，所述可交互微件的顶层允许穿透所述可交互微件的顶层以促进可交互微件的非顶层的触摸；以及
响应于所述用户通过所述3D图形用户接口的虚拟触摸向所述两个或更多个用户可交互微件提供输入来确定用户接口命令。
2.根据权利要求1所述的方法，其中所述3D视觉数据从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器和3D相机类型传感器。
3.根据权利要求1所述的方法，还包括：
至少部分地基于所接收的3D视觉数据来执行面部检测，并且
其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所检测的用户面部之间。
4.根据权利要求1所述的方法，还包括：
至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测；以及
至少部分地基于所执行的面部检测来标识特定目标用户并将所标识的特定目标用户与特定的被动背景用户区分开来，
其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所标识的特定目标用户而不是所标识的特定被动背景用户之间。
5.根据权利要求1所述的方法，还包括：
至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测；以及
至少部分地基于所执行的面部检测来标识特定目标用户并将所标识的特定目标用户与特定的被动背景用户区分开来，
其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所标识的特定目标用户而不是所标识的特定被动背景用户的所检测的面部之间。
6.根据权利要求1所述的方法，还包括：
在至少部分地基于所确定的到所述用户的3D距离来调节所述3D投影距离期间计算针对所述3D图形用户接口的视差；以及
至少部分地基于所计算的视差来叠覆所述3D图形用户接口的右视图和左视图以用于3D呈现。
7.根据权利要求1所述的方法，还包括：
至少部分地基于所接收的视觉数据来执行手部姿势识别；以及
响应于所述手部姿势识别来确定所述用户接口命令。
8.根据权利要求1所述的方法，还包括：
至少部分地基于所接收的视觉数据来执行手部姿势识别，其中在没有非所述一个或多个3D传感器的用户输入设备的情况下执行所述手部姿势识别；
响应于所述手部姿势识别来确定所述用户接口命令；以及
响应于所确定的用户接口命令来调节所述3D图形用户接口的外观，
其中所述两个或更多个用户可交互微件被取向和被布置为以下类型的用户可交互微件中的一个或更多个：菜单，按钮和对话框。
9.根据权利要求1所述的方法，还包括：
至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测；
至少部分地基于所执行的面部检测来标识特定目标用户并将所标识的特定目标用户与特定的被动背景用户区分开来，其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所标识的特定目标用户而不是所标识的特定被动背景用户的所检测的面部之间；
在至少部分地基于所确定的到所标识的特定目标用户而不是所标识的特定被动背景用户的3D距离来调节所述3D投影距离期间计算针对所述3D图形用户接口的视差；
至少部分地基于所计算的视差来叠覆所述3D图形用户接口的右视图和左视图以用于3D呈现；
至少部分地基于所接收的针对所标识的特定目标用户而不是所标识的特定被动背景用户的视觉数据来执行手部姿势识别，其中在没有非所述一个或多个3D传感器的用户输入设备的情况下执行所述手部姿势识别；
响应于所述手部姿势识别来确定用户接口命令；
响应于所确定的用户接口命令来调节所述3D图形用户接口的外观，
其中所述3D视觉数据从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器和3D相机类型传感器，
其中所述两个或更多个用户可交互微件被取向和被布置为以下类型的用户可交互微件中的一个或更多个：菜单，按钮和对话框。
10.一种用于在计算机上呈现3D图形用户接口的系统，包括：
成像设备，其被配置成捕获用户的视觉数据，其中所述视觉数据包括从一个或多个3D传感器获得的3D视觉数据；
3D显示器，其被配置成呈现视频数据；
一个或多个处理器，其以通信方式耦合到3D显示器；
一个或多个存储器存储装置，其以通信方式耦合到所述一个或多个处理器；
定位检测逻辑模块，其以通信方式耦合到所述成像设备以至少部分地基于所接收的3D视觉数据来确定从3D显示器到所述用户的3D距离；
投影距离逻辑模块，其以通信方式耦合到所述定位检测逻辑模块以通过至少部分地基于所确定的到所述用户的3D距离来动态地调节从所述3D显示器到所述用户的3D投影距离，保持所述用户和所述3D图形用户接口之间的可触摸距离；
其中所述3D图形用户接口包括被取向和被布置为在所述用户和所述3D显示器之间的不同距离处堆叠的多个层的两个或更多个用户可交互微件，其中所述可交互微件的顶层位于最接近所述用户的位置并且所述可交互微件的底层位于最接近所述3D显示器的位置，其中在所述可交互微件的顶层保持在可交互微件的多个层的顶部的同时，所述可交互微件的顶层促进可交互微件的顶层的触摸，以及其中所述3D图形用户接口包括可穿透类型的菜单，其中在所述可交互微件的顶层保持在可交互微件的非顶层的顶部的同时，所述可交互微件的顶层允许穿透所述可交互微件的顶层以促进可交互微件的非顶层的触摸；以及
手部姿势逻辑模块，其以通信方式耦合到所述定位检测逻辑模块，以响应于所述用户通过所述3D图形用户接口的虚拟触摸向所述两个或更多个用户可交互微件提供输入来确定用户接口命令。
11.根据权利要求10所述的系统，其中所述3D视觉数据从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器和3D相机类型传感器。
12.根据权利要求10所述的系统，其中所述定位检测逻辑模块还被配置成：
至少部分地基于所接收的3D视觉数据来执行面部检测，并且
其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所检测的用户面部之间。
13.根据权利要求10所述的系统，其中所述定位检测逻辑模块还被配置成：
至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测；以及
至少部分地基于所执行的面部检测来标识特定目标用户并将所标识的特定目标用户与特定的被动背景用户区分开来，
其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所标识的特定目标用户而不是所标识的特定被动背景用户之间。
14.根据权利要求10所述的系统，其中所述定位检测逻辑模块还被配置成：
至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测；以及
至少部分地基于所执行的面部检测来标识特定目标用户并将所标识的特定目标用户与特定的被动背景用户区分开来，
其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所标识的特定目标用户而不是所标识的特定被动背景用户的所检测的面部之间。
15.根据权利要求10所述的系统，其中所述投影距离逻辑模块还被配置成：
在至少部分地基于所确定的到所述用户的3D距离来调节所述3D投影距离期间计算针对所述3D图形用户接口的视差；以及
至少部分地基于所计算的视差来叠覆所述3D图形用户接口的右视图和左视图以用于3D呈现。
16.根据权利要求10所述的系统，还包括手部姿势逻辑模块，其被配置成：
至少部分地基于所接收的视觉数据来执行手部姿势识别；以及
响应于所述手部姿势识别来确定所述用户接口命令。
17.根据权利要求10所述的系统，还包括手部姿势逻辑模块，其被配置成：
至少部分地基于所接收的视觉数据来执行手部姿势识别，其中在没有非所述一个或多个3D传感器的用户输入设备的情况下执行所述手部姿势识别；
响应于所述手部姿势识别来确定所述用户接口命令；并且
其中所述投影距离逻辑模块还被配置成响应于所确定的用户接口命令来调节所述3D图形用户接口的外观，
其中所述两个或更多个用户可交互微件被取向和被布置为以下类型的用户可交互微件中的一个或更多个：菜单，按钮和对话框。
18.根据权利要求10所述的系统，还包括：
其中所述定位检测逻辑模块还被配置成：至少部分地基于所接收的视觉数据来执行针对一个或多个用户之一的面部检测，以及至少部分地基于所执行的面部检测来标识特定目标用户并将所标识的特定目标用户与特定的被动背景用户区分开来，其中从所述3D显示器到所述用户的3D距离的确定是在所述3D显示器与所标识的特定目标用户而不是所标识的特定被动背景用户的所检测的面部之间；
其中所述投影距离逻辑模块还被配置成：在至少部分地基于所确定的到所标识的特定目标用户而不是所标识的特定被动背景用户的3D距离来调节所述3D投影距离期间计算针对所述3D图形用户接口的视差，并且至少部分地基于所计算的视差来叠覆所述3D图形用户接口的右视图和左视图以用于3D呈现；
所述手部姿势逻辑模块被配置成至少部分地基于所接收的针对所标识的特定目标用户而不是所标识的特定被动背景用户的视觉数据来执行手部姿势识别，其中在没有非所述一个或多个3D传感器的用户输入设备的情况下执行所述手部姿势识别；以及响应于所述手部姿势识别来确定用户接口命令；
其中所述投影距离逻辑模块还被配置成响应于所确定的用户接口命令来调节所述3D图形用户接口的外观；
其中所述3D视觉数据从以下3D传感器类型中的一个或多个获得：深度相机类型传感器、结构光类型传感器、立体类型传感器、邻近类型传感器以及3D相机类型传感器；并且
其中所述两个或更多个用户可交互微件被取向和被布置为以下类型的用户可交互微件中的一个或更多个：菜单，按钮和对话框。
19.一种用于在计算机上呈现3D图形用户接口的装置，包括：
用于执行根据权利要求1-9中任一项的方法的构件。
20.一种机器可读介质，包括：
多个指令，所述多个指令响应于在计算设备上执行而促使所述计算设备执行根据权利要求1-9中任一项所述的方法。
CN201280073525.7A 2012-06-30 2012-06-30 3d图形用户接口 Active CN104321730B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/000903 WO2014000129A1 (en) 2012-06-30 2012-06-30 3d graphical user interface

Publications (2)

Publication Number Publication Date
CN104321730A CN104321730A (zh) 2015-01-28
CN104321730B true CN104321730B (zh) 2019-02-19

Family

ID=49782009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073525.7A Active CN104321730B (zh) 2012-06-30 2012-06-30 3d图形用户接口

Country Status (4)

Country Link
US (1) US20140195983A1 (zh)
EP (1) EP2867757A4 (zh)
CN (1) CN104321730B (zh)
WO (1) WO2014000129A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099774A1 (en) * 2013-12-27 2015-07-02 Intel Corporation Audio obstruction effects in 3d parallax user interfaces
EP3123385B1 (en) * 2014-03-25 2020-03-11 Sony Corporation 3d graphical authentication by revelation of hidden objects
CA2993876C (en) 2014-08-15 2023-03-07 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
US9501810B2 (en) 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US10656596B2 (en) * 2014-10-09 2020-05-19 EagleMae Ventures LLC Video display and method providing vision correction for multiple viewers
GB201516953D0 (en) * 2015-09-25 2015-11-11 Umajin Ltd Ghost hands
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
KR102471422B1 (ko) 2017-02-17 2022-11-30 엔제트 테크놀러지스 인크. 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
US11127212B1 (en) * 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
CN107870672B (zh) * 2017-11-22 2021-01-08 腾讯科技(成都)有限公司 虚拟现实场景实现菜单面板的方法、装置和可读存储介质
RU188182U1 (ru) * 2018-05-22 2019-04-02 Владимир Васильевич Галайко Устройство ввода информации в персональный компьютер
CN109819185A (zh) * 2018-12-16 2019-05-28 何志昂 立体多屏透明电视
CN109640072A (zh) * 2018-12-25 2019-04-16 鸿视线科技(北京)有限公司 3d互动方法及系统
CN110502106A (zh) * 2019-07-26 2019-11-26 昆明理工大学 一种基于3d动态触摸的交互式全息显示系统及方法
US20220308672A1 (en) * 2021-03-08 2022-09-29 B/E Aerospace, Inc. Inflight ultrahaptic integrated entertainment system
US11531448B1 (en) * 2022-06-01 2022-12-20 VR-EDU, Inc. Hand control interfaces and methods in virtual reality environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447861A (zh) * 2010-07-13 2012-05-09 Lg电子株式会社 按照3d图像来显示图形用户界面的电子设备及方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023277A (en) * 1996-07-03 2000-02-08 Canon Kabushiki Kaisha Display control apparatus and method
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
JP4533791B2 (ja) * 2005-04-19 2010-09-01 株式会社日立製作所 情報閲覧装置
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
JP2010250562A (ja) * 2009-04-15 2010-11-04 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
US8872976B2 (en) * 2009-07-15 2014-10-28 Home Box Office, Inc. Identification of 3D format and graphics rendering on 3D displays
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9042636B2 (en) * 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
CN102428707B (zh) * 2010-03-19 2015-03-11 松下电器产业株式会社 立体视用图像对位装置和立体视用图像对位方法
EP2418857A1 (en) * 2010-08-12 2012-02-15 Thomson Licensing Stereoscopic menu control
KR101708696B1 (ko) 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012044128A2 (ko) * 2010-10-01 2012-04-05 삼성전자 주식회사 디스플레이 장치 및 신호 처리 장치와, 그 방법들
US8860716B2 (en) * 2010-10-13 2014-10-14 3D Nuri Co., Ltd. 3D image processing method and portable 3D display apparatus implementing the same
US20120120051A1 (en) * 2010-11-16 2012-05-17 Shu-Ming Liu Method and system for displaying stereoscopic images
US9582144B2 (en) * 2011-01-20 2017-02-28 Blackberry Limited Three-dimensional, multi-depth presentation of icons associated with a user interface
JP5716492B2 (ja) * 2011-03-30 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
US9082214B2 (en) * 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US9407897B2 (en) * 2011-09-30 2016-08-02 Panasonic Intellectual Property Management Co., Ltd. Video processing apparatus and video processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447861A (zh) * 2010-07-13 2012-05-09 Lg电子株式会社 按照3d图像来显示图形用户界面的电子设备及方法

Also Published As

Publication number Publication date
US20140195983A1 (en) 2014-07-10
CN104321730A (zh) 2015-01-28
EP2867757A1 (en) 2015-05-06
WO2014000129A1 (en) 2014-01-03
EP2867757A4 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
CN104321730B (zh) 3d图形用户接口
US11782513B2 (en) Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US11599148B2 (en) Keyboard with touch sensors dedicated for virtual keys
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
US9741169B1 (en) Wearable augmented reality devices with object detection and tracking
JP6028351B2 (ja) 制御装置、電子機器、制御方法、及びプログラム
US11164546B2 (en) HMD device and method for controlling same
US20140240225A1 (en) Method for touchless control of a device
CN103067727A (zh) 一种3d眼镜和3d显示系统
CN107076999A (zh) 使用目光接触经由平视显示器进行对接
JP2013196158A (ja) 制御装置、電子機器、制御方法、及びプログラム
WO2022170221A1 (en) Extended reality for productivity
KR20160041224A (ko) 동적 화면 전환을 기반으로 한 상품 판매 서비스 장치, 동적 화면 전환을 기반으로 한 상품 판매 시스템, 동적 화면 전환을 기반으로 한 상품을 판매하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
Bhowmik Natural and intuitive user interfaces with perceptual computing technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant