CN102918477B

CN102918477B - 装置、方法、计算机程序和用户接口

Info

Publication number: CN102918477B
Application number: CN201080066841.2A
Authority: CN
Inventors: 郭永光; 葛仕明
Original assignee: Nokia Technologies Oy
Current assignee: Nokia Technologies Oy
Priority date: 2010-04-13
Filing date: 2010-04-13
Publication date: 2017-07-21
Anticipated expiration: 2030-04-13
Also published as: EP2558924A1; WO2011127646A1; EP2558924B1; BR112012026354A8; WO2011127646A8; CN107256094A; US9535493B2; US20130033459A1; CN102918477A; EP2558924A4; BR112012026354A2

Abstract

一种装置、方法、计算机程序和装置，其中该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器；其中至少一个存储器和计算机程序代码被配置成与至少一个处理器一起使装置能够：使用摄像头来检测用户输入对象的运动；以及确定与用户输入对象的检测到的运动对应的功能以用于执行，其中功能包括控制三维模型内的实体。

Description

装置、方法、计算机程序和用户接口

技术领域

本发明的实施例涉及一种装置、方法、计算机程序和用户接口。具体而言，它们涉及一种用于让用户能够使用摄像头来进行用户输入的装置、方法、计算机程序和用户接口。

背景技术

如下装置众所周知，这些装置让用户能够进行输入以控制装置。存在用户可以进行输入的多种不同方式。让用户进行的用于控制装置的输入简单而直观是有用的。

发明内容

根据本发明的各种、但是未必所有实施例，提供一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器；其中至少一个存储器和计算机程序代码被配置成与至少一个处理器一起使装置能够：使用摄像头来检测用户输入对象的运动；以及确定与用户输入对象的检测到的运动对应的功能以用于执行，其中功能包括控制三维模型内的实体。

在本发明的一些实施例中，三维模型可以包括三维矢量空间。三维模型可以包括三维矢量空间内的一个或者多个三维实体。

在本发明的一些实施例中，控制的实体可以是三维实体并且具有深度、宽度和高度。在本发明的其它实施例中，控制的实体可以是光标，光标让用户能够选择三维模型内的项目，以及执行的功能可以包括使用实体来选择项目。

在本发明的一些实施例中，执行的功能可以包括移动三维模型内的实体。移动可以包括平移实体和/或旋转实体。

在本发明的一些实施例中，至少一个存储器和计算机程序代码可以被配置成与至少一个处理器一起使装置能够在显示器上显示三维模型的表示。

在本发明的一些实施例中，用户输入对象可以包括用户的手部的部分。用户输入对象可以包括一个或者多个手指。在其它实施例中，用户输入对象可以包括触笔。

在本发明的一些实施例中，用户输入对象的检测到的运动可以包括三维运动。

在本发明的一些实施例中，用户输入对象的检测到的运动可以包括手势。

根据本发明的各种、但是未必所有实施例，也提供一种方法，该方法包括：使用摄像头来检测用户输入对象的运动；以及确定与用户输入对象的检测到的运动对应的功能以用于执行，其中功能包括控制三维模型内的实体。

在本发明的一些实施例中，控制的实体可以是三维实体并且具有深度、宽度和高度。在本发明的其它实施例中，控制的实体可以是光标，光标让用户能够选择三维模型内的项目。执行的功能可以包括使用实体来选择项目。

在本发明的一些实施例中，执行的功能可以包括移动三维模型内的实体。移动可以包括平移实体或者旋转实体。

在本发明的一些实施例中，该方法也可以包括在显示器上显示三维模型的表示。

根据本发明的各种、但是未必所有实施例，引入提供一种计算机程序，该计算机程序包括：使用摄像头来检测用户输入对象的运动；以及确定与用户输入对象的检测到的运动对应的功能以用于执行，其中功能包括控制三维模型内的实体。

在本发明的一些实施例中，也可以提供一种包括程序指令的计算机程序，这些程序指令用于使计算机执行如上文描述的方法。

在本发明的一些实施例中，也可以提供一种实现如上文描述的计算机程序的物理实体。

在本发明的一些实施例中，也可以提供一种载有如上文描述的计算机程序的电磁载波信号。

根据本发明的各种、但是未必所有实施例，提供一种用户接口，该用户接口包括：用户输入装置，配置成使用摄像头来检测用户输入对象的运动；显示器，配置成显示三维模型的表示；其中响应于对用户输入对象的运动的检测来执行功能，功能包括控制三维模型内的实体。

在本发明的一些实施例中，三维模型可以包括三维矢量空间。

根据本发明的各种、但是未必所有实施例，提供一种装置，该装置包括：用于使用摄像头来检测用户输入对象的运动的装置；以及用于确定与用户输入对象的检测到的运动对应的功能以用于执行的装置，其中功能包括控制三维模型内的实体。

该装置可以用于无线通信。

附图说明

为了更好地理解本发明实施例的各种例子，现在将仅通过例子参照以下附图：

图1示意地图示了根据本发明一个示例实施例的装置；

图2示意地图示了根据本发明另一示例实施例的装置；

图3是示意地图示了根据本发明一个示例实施例的方法的框图；

图4A至图4B图示了使用中的本发明一个示例实施例；以及

图5图示了使用中的本发明另一示例实施例。

具体实施方式

附图图示了装置1，该装置包括：至少一个处理器3；以及包括计算机程序代码9的至少一个存储器5；其中至少一个存储器5和计算机程序代码9被配置成与至少一个处理器3一起使装置1能够：使用摄像头17来检测用户输入对象35的运动；并且确定与用户输入对象35的检测到的运动对应的功能以用于执行，其中功能包括控制三维模型中的实体39。

图1示意地图示了根据本发明一个实施例的装置1。装置1可以是电子装置。装置1例如可以是移动蜂窝电话、个人计算机、摄像头、游戏设备、个人数字助理、个人音乐播放器或者让用户能够进行用户输入以控制装置1的任何其它装置。装置1可以是例如可以在用户的手部、手提包或者夹克口袋中携带的手持装置1。

在图1中仅图示了在下文描述中引用的特征。然而应当理解装置1可以包括未图示的附加特征。例如在其中装置1是移动蜂窝电话的本发明实施例中，装置1也可以包括配置成实现无线通信的发送器和接收器。装置也可以包括让用户能够进行不同类型的用户输入的附加用户输入装置。

图1中所示装置1包括：用户接口13和控制器4。在所示实施例中，控制器4包括至少一个处理器3和至少一个存储器5，并且用户接口13包括显示器15和摄像头17。

控制器4提供用于控制装置1的装置。可以使用实现硬件功能的指令、例如通过在一个或者多个通用或者专用处理器3中使用可以存储于计算机可读存储介质23(例如盘、存储器等)上以由这样的处理器3执行的、可执行计算机程序指令来实施控制器4。

控制器4可以被配置成控制装置以执行多个不同功能。例如当装置1是移动蜂窝电话时，控制器4可以被配置成控制装置1以进行和接收电话呼叫并且也执行其它功能、比如发送消息或者接入诸如局域网或者因特网的通信网络。在其中装置1是游戏设备的本发明实施例中，控制器4可以被配置成控制装置1以在显示器15上显示游戏环境并且让用户能够控制游戏环境内的参与者。

控制器4也可以被配置成使装置1能够使用摄像头17来检测用户输入对象35的运动；并且确定与用户输入对象35的检测到的运动对应的功能以用于执行，其中功能包括控制三维模型内的实体39。

至少一个处理器3被配置成从用户接口13接收输入命令并且也向用户接口13提供输出命令。至少一个处理器3也被配置成向至少一个存储器5进行写入和从至少一个存储器5进行读取。可以提供用户接口13的输出作为向控制器4的输入。

用户接口13提供用于让装置1的用户能够输入可以用来控制装置1的信息的装置。用户接口13也可以让用户能够输入可以存储于装置1的一个或者多个存储器5中的信息。用户接口13可以包括让用户能够向装置1中输入信息的任何装置。例如用户接口13可以包括键区或者触敏显示器的部分或者多个不同类型的用户输入设备的组合。

显示器15可以包括使信息能够向装置1的用户显示的任何装置。信息可以对应于用户已经经由用户接口13输入的信息、存储于一个或者多个存储器5中的信息或者装置1已经接收的信息。显示器15也可以被配置成显示摄像头17已经捕获的图像。在本发明的一些实施例中，显示器15可以被配置成显示三维图像。

摄像头17可以包括用于捕获图像的任何装置。摄像头17可以被配置成检测定位于摄像头17的透镜前面的对象发射的来自光谱可见光范围的光。摄像头17可以包括配置成将检测到的光转换成电信号的图像传感器。例如摄像头17可以包括比如CMOS(互补金属氧化物半导体)或者CCD(电荷耦合器件)的传感器。

在本发明的一些实施例中，摄像头17可以被配置成捕获深度信息。例如摄像头17可以是Z深度摄像头或者飞行时间摄像头。

在本发明的其它示例实施例中，摄像头17可以被配置成捕获三维图像。例如摄像头17可以是立体摄像头。立体摄像头17可以包括多个透镜。每个透镜可以具有它自己的图像传感器以使每个透镜能够与其它透镜独立地捕获图像，从而立体摄像头17可以用来捕获三维图像。

摄像头17可以被配置成获得视频图像，这些视频图像可以用来检测摄像头17的透镜前面的对象的运动。摄像头17捕获的图像可以显示于显示器15上。在本发明的一些实施例中，可以在装置1的与显示器15相反的一侧上提供摄像头17的透镜。这使装置1的用户能够在他们使用摄像头17时清楚地查看显示于显示器15上的图像。

在本发明的一些实施例中，装置1可以包括多个摄像头17。例如装置1可以包括在装置1的相反侧上提供的两个摄像头17。例如装置1可以包括在装置1的与显示器15相反的一侧上提供的第一摄像头17和在装置1的与显示器15相同的一侧上提供的第二摄像头17。

至少一个存储器5存储包括计算机程序指令11的计算机程序代码9，这些指令在向至少一个处理器3中加载时控制装置1的操作。计算机程序指令11提供使装置1能够执行图3中所示方法的逻辑和例程。至少一个处理器3通过读取至少一个存储器5能够加载并且执行计算机程序9。

计算机程序指令11可以提供配置成控制装置1的计算机可读程序装置。程序装置11可以在向控制器4中加载时提供：用于使用摄像头17来检测用户输入对象35的运动的装置；以及用于确定与用户输入对象35的检测到的运动对应的功能以用于执行的装置，其中功能包括控制三维模型内的实体39。

计算机程序代码9可以经由任何适当递送机制21到达装置1。递送机制21例如可以是计算机可读存储介质、计算机程序产品23、存储器设备、记录介质、比如CD-ROM或者DVD、有形地实现计算机程序代码9的制造品。递送机制可以是配置成可靠地传送计算机程序代码9的信号。装置1可以传播或者发送计算机程序代码9作为计算机数据信号。

虽然图示了存储器5为单个部件，但是它可以实施为一个或者多个分离部件，这些部件中的一些或者所有部件可以集成/可拆卸和/或可以提供持久/半持久/动态/高速缓存存储。

对‘计算机可读存储介质’、‘计算机程序产品’、‘有形地实现的计算机程序’等或者‘控制器’、‘计算机’、‘处理器’等的引用应当理解为不仅涵盖具有不同架构、比如单/多处理器架构和串行(例如Von Neumann)/并行架构的计算机而且涵盖专门化电路、比如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其它设备。对计算机程序、指令、代码等的引用应当理解为涵盖用于可编程处理器或者固件的软件、如比如硬件设备的可编程内容、无论是用于处理器的指令还是用于固定功能的设备、门阵列或者可编程逻辑器件等的配置设置。

图2图示了根据本发明另一实施例的装置1’。图2中所示装置1’可以是芯片或者芯片组。装置1’如上文关于图1描述的那样包括至少一个处理器3和至少一个存储器5。

在图3中示意地图示了根据本发明实施例的控制装置1的方法。

在框21，控制器4控制显示器15以显示三维模型的图形表示。三维模型是空间和/或对象的数学表示。三维模型可以包括具有深度、宽度和高度的三维矢量空间。三维矢量空间可以由三维正交坐标、比如笛卡尔坐标、极坐标或者圆柱坐标定义。

在本发明的一些实施例中，三维矢量空间可以定义菜单结构。不同用户可选项目41A、41B、41C可以定位于三维矢量空间内的不同位置。用户可以能够控制装置1在三维矢量空间内导航以查看并且从菜单选择各种项目41A、41B、41C。

在本发明的其它实施例中，三维矢量空间可以定义虚拟环境。例如在装置1可以用来玩游戏的本发明实施例中，三维环境可以是游戏环境，并且用户可以能够控制环境内的参与者和/或对象。取而代之，虚拟环境可以包括虚拟现实，该虚拟现实是现实世界的逼真模拟。装置1的用户可以能够使用装置1以与虚拟现实交互。

三维模型可以包括三维矢量空间内的一个或者多个实体。实体中的一个或者多个实体可以被配置成响应于经由用户接口13进行的用户输入以让用户能够控制实体39。在本发明的一些实施例中，实体可以是三维模型内的具有深度、宽度和高度的三维对象。可以如下文描述的那样经由摄像头17进行控制实体39的用户输入。

用户可以通过移动三维空间内的实体39来控制实体。例如当三维矢量空间定义菜单结构时，实体39可以是菜单的一级，并且用户可以能够通过旋转菜单级39或者平移它来控制它，从而他们可以查看菜单级中的其它项目41A、41B、41C。在本发明的其它实施例中，实体39可以包括光标，该光标可以用来在三维菜单结构内导航并且醒目显示而且从菜单选择项目41A、41B、41C。

在例如其中三维矢量空间定义游戏环境或者虚拟现实的其它实施例中，用户控制的实体39可以是游戏环境或者虚拟现实内的参与者。

在本发明的一些实施例中，用户控制的实体的图形表示可以显示于显示器15上。例如当实体是光标或者菜单级时，这可以显示于显示器15上。在本发明的其它实施例中，用户控制的实体可以不显示于显示器15上，例如当实体是游戏环境内的参与者时，显示于显示器15上的三维模型的表示可以对应于如环境中的参与者将看见的环境并且因此将并不包括实际参与者本身的图形表示。

在框23，控制器24使用摄像头35来检测用户输入对象35的运动。跟踪模块可以执行对用户输入对象35的运动的检测。可以使用任何适当过程、比如模式识别来检测用户输入对象35的运动。例如用户输入对象包括对象的表面上的模式。例如当用户输入对象35是手指时，指纹形成手指的表面上的模式。跟踪模块可以被配置成检测这些模式并且确定位置的比例、定向或者模式的任何改变。

将理解不同类型的摄像头17可以用不同方式检测用户输入对象35的运动。如上文提到的那样，在本发明的一些实施例中，摄像头17可以被配置成捕获深度信息。在本发明的这样的实施例中，控制器4可以被配置成在移动用户输入对象35时检测深度信息的改变。

用户输入对象35的运动可以是三维运动，例如它可以包括用户输入对象35在任何三个正交方向上的运动。运动可以包括朝着或者背离摄像头17的透镜移动用户输入对象35、在与装置1的背面平行的平面中移动用户输入对象35、旋转用户输入对象35或者这样的移动的任何组合。

用户输入对象35的运动可以是具体手势。例如运动可以是预定移动或者是包括系列移动的预定移动模式。例如它可以进行用户输入对象35的画圆运动或者从一侧向另一侧移动用户输入对象35。具体手势可以与装置1的具体功能关联，从而可以在检测到具体手势时执行具体功能。将理解与手势关联的功能可以依赖于装置1的操作模式和上下文。

用户输入对象35可以包括用户手部33的任何部分，例如它可以包括用户手指和拇指中的一个或者多个。在本发明的其它实施例中，用户输入对象35可以包括比如触笔的物体。

在本发明的一些实施例中，当用户经由摄像头17进行输入时，用户输入对象35的图像可以显示于显示器15上。这让用户更易于控制三维模型内的实体。

在框25，控制器4确定用户输入对象35的运动。手势识别模块可以实现对用户输入对象35的运动的确定。手势识别模块可以从跟踪模块接收输入并且确定已经如何移动用户输入对象35。例如它将确定用户输入对象35的轨迹以及这是否对应于具体手势。

在框27，控制器4确定与用户输入对象35的检测到的运动对应的功能。命令处理模块可以实现对功能的确定。命令处理模块可以从手势识别模块接收输入并且确定与接收的输入关联的功能。命令处理模块可以使用任何适当过程以确定与用户输入对象35的检测到的运动关联的功能。例如命令处理模块可以使用查找表以关联具体手势与具体功能。

功能可以实现控制三维模型内的实体39。在其中三维矢量空间定义菜单结构的本发明实施例中，实体39可以是菜单的一级，并且功能可以让用户能够通过旋转菜单级39或者平移它来在菜单级内导航，从而他们可以查看菜单级中的其它项目41A、41B、41C。在本发明的其它实施例中，实体39可以包括光标，并且功能可以让用户能够将光标移向菜单的其它部分或者使用光标以醒目显示或者选择菜单项目41A、41B、41C。

在三维矢量空间定义游戏环境或者虚拟现实的本发明实施例中，实体39可以是游戏环境或者虚拟现实内的参与者，并且功能可以是参与者实现的动作。取而代之，实体39可以包括对象，并且功能可以是移动三维矢量空间内的对象。

与用户输入对象35的检测到的运动关联的功能可以依赖于装置1的操作模式。例如，如果装置1在玩游戏模式中，则检测到的运动可以使游戏中的参与者能够执行动作，而在装置1处于菜单中时，相同的检测到的运动可以实现选择菜单项目。

与用户输入对象35的检测到的运动关联的功能也可以依赖于装置1的上下文。例如它可以依赖于用户在玩的具体游戏或者用户正在控制的参与者的游戏特性。

在框29，控制器4实现执行确定的功能。可以由于执行功能而更新显示于显示器15上的三维模型的图形表示。

图4A和图4B图示了使用中的本发明一个示例实施例。在图4A和图4B中所示本发明实施例中，装置1是手持装置、比如移动电话。图4A和图4B中所示装置1包括显示器15和摄像头17。显示器15定位于装置1的与摄像头17相反的一侧上，从而在图4A和4B中所示定向中未示出摄像头17。摄像头17相对于显示器15的定位保证用户在他们使用摄像头17进行输入时未遮蔽他们自己的对显示器15的查看。

在所示实施例中，用户在他们的左手31中保持装置1并且使用他们的右手33以经由摄像头17进行控制输入。

在图4A中，三维模型的图形表示37显示于显示器15上。在示例实施例中，三维模型包括三维菜单结构。菜单结构包括可以醒目显示并且由用户选择的多个项目41A、41B、41C。项目41A、41B、41C分布于整个三维菜单结构，从而每个项目41A、41B、41C定位于三维模型内的不同位置。可以分布项目41A、41B、41C，从而他们定位于三维模型内的不同相对高度、宽度和/或深度。显示于显示器15上的菜单结构的图形表示37可以包括菜单级39的全部或者仅一部分菜单级39。图形表示中的项目41A、41B、41C的相对位置和尺寸可以指示三维模型内的项目41A、41B、41C的相对位置。

在图4A中所示实施例中，菜单项目41A、41B、41C定位于圆的直径周围。在显示于显示器15上的图形表示37中，圆在水平配置中，从而第一项目41A定位于圆的与用户最近的点上而其它项目41B、41C与用户更远离定位。由于第一项目41A更接近用户，所以代表第一项目41A的图标大于代表其它项目41B、41C的图标。

在图4A中，用户通过在摄像头17的透镜前移动用户输入对象35来进行输入。在示例实施例中，用户输入对象35是用户的右手33的食指。将理解也可以使用任何其它适当用户输入对象35。

在图4A中，用户通过在如箭头43指示的顺时针方向上进行画圆运动来移动他们的食指35。控制器4检测用户输入对象35的运动并且确定与检测到的运动对应的功能。

在所示实施例中，与检测到的画圆运动关联的功能是旋转菜单级39的圆，从而使得其它菜单项目41B、41C中的一个更接近用户。

在图4B中，控制器已经控制装置以执行功能。已经旋转菜单级的圆，从而使得在图4B中的显示于显示器15上的图形表示37中，第二项目41C与用户最近定位并且大于第一项目41A和其它项目41B。

在本发明的其它实施例中，可以使用用户输入对象35的其它运动。例如用户可以通过从一侧向另一侧挥动他们的食指35来从菜单级39选择项目41A、41B、41C，或者用户可以通过移动他们的手指35更接近摄像头17的透镜来放大菜单级39或者通过移动他们的手指35更远离摄像头17的透镜来缩小菜单级39。在一些实施例中，用户可以通过从一侧向另一侧挥动他们的手指35来旋转菜单级的圆。手势可以模拟推动转盘以旋转它的现实运动，并且因此可以是用于用户进行的直观输入。在这样的实施例中，用户也可以通过移动他们的手指35更接近透镜来从菜单级选择项目41A、41B、41C。这一手势可以模拟通过推动按钮来选择项目的运动并且因此也可以是用于用户进行的直观输入。

图5图示了使用中的本发明另一示例实施例。在图5中所示本发明实施例中，装置1也是手持装置、比如包括显示器15和摄像头17的移动电话。显示器15定位于装置1的与摄像头17相反的一侧上，从而在图5中所示定向中未示出摄像头17。

在图5中，三维模型的图形表示37显示于显示器15上。在示例实施例中，三维模型包括多个实体39A至H。实体39A至H是用户可以在三维模型内移动的对象。三维模型可以代表游戏环境。

实体39A至H分布于整个三维模型内，从而每个实体39A至H定位于三维模型内的不同位置。如在先前描述的实施例中那样，可以分布实体39A至H，从而使得它们定位于三维模型内的不同相对高度、宽度和/或深度。图形表示37内的实体39A至H的相对位置和尺寸可以指示三维模型内的实体39A至H的相对位置。

在图5中，用户通过移动摄像头17的透镜前面的用户输入对象35来进行输入。在这一示例实施例中，用户输入对象35可以包括用户的右手33的食指35A和拇指35B二者。

用户输入对象35的图形表示51显示于显示器15上。在三维模型的图形表示37内提供用户输入对象35的图形表示51。用户输入对象35的图形表示51可以包括摄像头17捕获的用户输入对象35的图像并且可以随着实际用户输入对象35移动而移动。在本发明的其它实施例中，可以提供其它类型的可视指示、例如光标。

用户输入对象35的图形表示51可以让用户能够控制三维模型内的对象，因为它可以向用户提供对模型内的对象相对于用户输入对象35的位置而言的位置的指示。

在图5中所示实施例中，用户输入对象35的运动可以包括食指35A和拇指35B相对于装置1的运动并且也包括手指35A和拇指35B相对于彼此的运动。这可以提供大量潜在用户输入。

在图5中所示具体实施例中，手指35A和拇指35B在夹捏动作中移动在一起更接近让用户能够在保持三维模型中的实体39A。当用户保持实体39A时，实体39A变成与用户输入对象35关联，从而无论用户输入对象35的图形表示51何时在三维模型内移动，实体39A也随着用户输入对象35在模型内移动。

手指35A和拇指35B相互移开使实体39A能够被释放。一旦已经从保持中释放实体39A，它不再与用户输入对象35A关联，因此可以移动用户输入对象35而未引起实体39A的任何移动。

这一动作让用户能够在整个三维模型内移动实体39A至H。该动作模拟保持对象并且将它从一个地方移向另一地方的现实动作，因此它可以是用于用户进行的直观输入。

本发明的实施例提供它们让用户能够使用对于用户而言直观的输入来控制装置1这样的优点。由于用户输入可以包括三维运动，所以它们可以直接对应于控制三维模型内的实体39。例如在定义矢量空间的三个正交方向中的任何方向上的运动可以直接映射到三维模型内的实体39的移动。这使装置1让用户使用起来更直观。

也可以使用摄像头模块来进行用户输入。由于许多装置1、比如移动电话已经包括摄像头模块，所以可以实施本发明的实施例而未大量增加装置的硬件数量。

图3中所示框可以代表方法和/或计算机程序9中的代码段中的步骤。向框图示特定顺序未必意味着有用于框的必需或者优选顺序并且可以变化框的顺序和布置。另外可以有可能省略一些步骤。

虽然已经在先前段落中参照各种例子描述本发明的实施例，但是应当理解可以进行对给出的例子的修改而未脱离如要求保护的本发明范围。例如在上文描述的实施例中，描述三维模型为菜单结构或者游戏环境或者虚拟现实或者混合现实。将理解本发明实施例可以应用于装置1的其它功能。例如用户可能希望使用经由摄像头检测的输入在三维模型内绘制和创建对象。

在本发明的一些实施例中，显示器15和摄像头17可以定位于装置1的同一侧上。在本发明的这样的实施例中，用户输入对象35可以定位于用户与装置1之间，从而在使用中在显示器15和摄像头17前面移动用户输入对象。显示器15可以被配置成显示三维模型的图形表示37。可以显示三维模型的图形表示37，使得感知到三维模型的至少部分处于显示器15前。

三维模型可以包括一个或者多个实体。用户输入对象35的检测到的位置和/或运动可以用来让用户能够控制三维模型内的一个或者更多实体。例如一个或者更多实体可以与用户输入对象35关联，从而当在摄像头前面移动用户输入对象35时实体39A也随着用户输入对象35在三维模型内移动。在这一示例实施例中，可以不显示用户输入对象35的图形表示，因为用户输入对象35在显示器15前并且可为用户所见。这使得用户输入对象35能够被感知为合并或者混合到三维模型中。

可以在除了明确描述的组合之外的组合中使用先前描述中描述的特征。

虽然已经参照某些特征描述功能，但是那些功能可以由无论是否描述的其它特征可执行。

虽然已经参照某些实施例描述特征，但是那些特征也可以存在于无论是否描述的其它实施例中。

尽管在前述说明中着力于将注意力引向本发明的被认为特别重要的那些特征，但是应当理解申请人在前文引用的和/或附图中示出的、无论是否已经加以特别强调的任何可授予专利的特征或者特征组合方面都要求保护。

Claims

1.一种电子装置，包括：

至少一个处理器；

包括计算机程序代码的至少一个存储器；以及

显示器；

其中所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起使所述装置能够：

使得在所述显示器上呈现三维菜单结构，其中所述三维菜单结构包括多个可单独选择的项目，所述项目被定位在所述三维菜单结构内通过不同的相对高度、宽度或深度定义的不同位置处；

使用摄像头来检测用户输入对象的运动；以及

确定与所述用户输入对象的所述检测到的运动对应的功能以用于执行，其中所述功能包括对所述三维菜单结构的项目的选择，

其中所述装置为手持装置，并且所述摄像头定位于所述装置的与所述显示器相反的一侧上。

2.根据权利要求1所述的装置，其中所述三维菜单结构包括三维矢量空间。

3.根据权利要求2所述的装置，其中所述三维菜单结构包括所述三维矢量空间内的一个或者多个三维实体。

4.根据权利要求1所述的装置，其中所述对所述三维菜单结构的项目的选择包括使用光标来选择所述项目。

5.根据权利要求1所述的装置，其中执行的所述功能包括移动所述三维菜单结构内的所述项目。

6.根据权利要求5所述的装置，其中所述移动包括平移所述项目。

7.根据权利要求5所述的装置，其中所述移动包括旋转所述项目。

8.根据权利要求1所述的装置，其中所述用户输入对象包括所述用户的手部的部分。

9.根据权利要求8所述的装置，其中所述用户输入对象包括一个或者多个手指。

10.根据权利要求1所述的装置，其中所述用户输入对象包括触笔。

11.根据权利要求1所述的装置，其中所述用户输入对象的所述检测到的运动包括三维运动。

12.根据权利要求1所述的装置，其中所述用户输入对象的所述检测到的运动包括手势。

13.一种控制方法，包括：

在手持装置的显示器上呈现三维菜单结构，其中所述三维菜单结构包括多个可单独选择的项目，所述项目被定位在所述三维菜单结构内通过不同的相对高度、宽度或深度定义的不同位置处；

使用所述手持装置的摄像头来检测用户输入对象的运动，其中所述摄像头定位于所述手持装置的与所述显示器相反的一侧上；以及

确定与所述用户输入对象的所述检测到的运动对应的功能以用于执行，其中所述功能包括对所述三维菜单结构的项目的选择。

14.根据权利要求13所述的方法，其中所述三维菜单结构包括三维矢量空间。

15.根据权利要求14所述的方法，其中所述三维菜单结构包括所述三维矢量空间内的一个或者多个三维实体。

16.根据权利要求13所述的方法，其中所述对所述三维菜单结构的项目的选择包括使用光标来选择所述项目。

17.根据权利要求13所述的方法，其中执行的所述功能包括移动所述三维菜单结构内的所述项目。

18.根据权利要求17所述的方法，其中所述移动包括平移所述项目。

19.根据权利要求17所述的方法，其中所述移动包括旋转所述项目。

20.根据权利要求13所述的方法，其中所述用户输入对象包括所述用户的手部的部分。

21.根据权利要求20所述的方法，其中所述用户输入对象包括一个或者多个手指。

22.根据权利要求13所述的方法，其中所述用户输入对象包括触笔。

23.根据权利要求13所述的方法，其中所述用户输入对象的所述检测到的运动包括三维运动。

24.根据权利要求13所述的方法，其中所述用户输入对象的所述检测到的运动包括手势。

25.一种用户接口，包括：

用户输入装置，配置成使用手持装置的摄像头来检测用户输入对象的运动；

显示器，配置成呈现三维菜单结构，其中所述三维菜单结构包括多个可单独选择的项目，所述项目被定位在所述三维菜单结构内通过不同的相对高度、宽度或深度定义的不同位置处；

其中响应于对所述用户输入对象的所述运动的所述检测来执行功能，所述功能包括对所述三维菜单结构的项目的选择；以及

其中所述手持装置的摄像头定位于所述用户接口的与所述显示器相反的一侧上。

26.根据权利要求25所述的用户接口，其中所述三维菜单结构包括三维矢量空间。

27.一种手持装置，包括：

用于在所述手持装置的显示器上呈现三维菜单结构的装置，其中所述三维菜单结构包括多个可单独选择的项目，所述项目被定位在所述三维菜单结构内通过不同的相对高度、宽度或深度定义的不同位置处；

用于使用所述手持装置的摄像头来检测用户输入对象的运动的装置，其中所述摄像头定位于所述手持装置的与所述显示器相反的一侧上；以及

用于确定与所述用户输入对象的所述检测到的运动对应的功能以用于执行的装置，其中所述功能包括对所述三维菜单结构的项目的选择。

28.根据权利要求27所述的手持装置，其中所述三维菜单结构包括三维矢量空间。

29.根据权利要求27所述的手持装置，其中所述摄像头包括多个透镜，所述多个透镜包括第一透镜和所述透镜中的其余透镜，从而所述第一透镜被配置成使图像能够与所述透镜中的所述其余透镜独立地被捕获。