CN102713821A - 用于电视菜单和文档导航的三维或更高维图形用户界面 - Google Patents

用于电视菜单和文档导航的三维或更高维图形用户界面 Download PDF

Info

Publication number
CN102713821A
CN102713821A CN2011800056266A CN201180005626A CN102713821A CN 102713821 A CN102713821 A CN 102713821A CN 2011800056266 A CN2011800056266 A CN 2011800056266A CN 201180005626 A CN201180005626 A CN 201180005626A CN 102713821 A CN102713821 A CN 102713821A
Authority
CN
China
Prior art keywords
gui
selecteed
selectionbar
motion
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800056266A
Other languages
English (en)
Inventor
亚历山大·布莱斯托弗
李俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102713821A publication Critical patent/CN102713821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一种三维或更多维(3+D)图形用户界面(GUI)使用检测到的三维(3D)手运动或其他输入装置来导航所显示的对应菜单、文档或数据集的二维(2D)、三维、或3+D表达。与导航命令相对应的特定手移动可以被使用，导航命令包括但不限于：向上、向下、向左、向右、选择、退出、后退、新搜索、开启、关闭和取消选择。该GUI显示两个初始垂直的轴，其他的轴充分倾斜以使其导航是清楚可见的而不被隐藏。3+D GUI可以用来导航大型复杂数据集，如搜索结果、文档库存储，或者较简单的数据集，如电视菜单、音乐选择、照片、视频等。

Description

用于电视菜单和文档导航的三维或更高维图形用户界面
相关申请的交叉引用
本申请要求2010年1月21日提交的美国专利申请序列号No.12/691,609的优先权。
背景技术
1.发明的技术领域
本发明一般涉及图形用户界面(GUI)，更具体地涉及三维(3D)或更高维(3+D)图形用户界面。
2.相关技术的描述
由于传统的菜单是线性或二维的，随着菜单元素数量的增加，使得导航越来越困难。在某种情况下，在这种菜单结构中，几乎每个人都面临过这样的问题：“该选项在哪？”。
频繁在计算机上发现的常见菜单的一般结构是树形结构。这些结构通过重复地逐级下拉直至找到特定的选项为止来实现导航。因此，在不遍历(traverse)繁琐冗长的菜单结构的情况下难以确定给定的菜单选项的位置。
索尼公司的交叉栏菜单(XBM，Cross Bar Menu)改进了菜单结构应用，但是局限于二维。
文档存储技术也使用树形结构进行存储和访问。类似地，如GoogleTM和其他搜索引擎中所显示的搜索结果会生成长的结果列表，几乎必须遍历每个结果才能找到所需的准确搜索结果。
发明内容
本发明的一个方面是三维或更多维图形用户界面(GUI)，包括：显示装置；用于在所述显示装置上显示三维或更高维(3+D)图形用户界面(GUI)的装置；和用于控制该GUI的装置。
在一个实施例中，用于控制的装置包括手的运动。这些手的运动可以包括：三维的位置运动。这些手的运动可以包括：带符号的(signed)GUI命令。所述带符号的GUI命令可以是根据包括以下命令的组中的一个命令来选择的：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
另一个实施例包括：检测手的运动的检测器。三维的手运动可以包括笛卡尔空间内的运动。
在另一个实施例中，手的运动可以包括从包括以下运动的组中选出的运动：俯仰(pitch)、横摇(roll)、偏航(yaw)及其组合。其它运动可以包括可通过手的个体手指实现的个体弯曲、成角度或其他配置。理想地，这些运动容易被学会，且本质上往往是直观的：手的运动直观地对应于GUI动作。
用于显示GUI的装置可以包括：基本水平的选择栏，包括被选择的水平元素；基本垂直的选择栏，其取决于(depend on)所述被选择的水平元素，且包括被选择的垂直元素；和基本倾斜的选择栏，其取决于所述被选择的水平元素和所述被选择的垂直元素两者，且包括被选择的倾斜元素。所述倾斜元素最容易被描绘在相对于水平选择栏的30°角度处，其中垂直选择栏相对于倾斜选择栏成90°角。
此外，用于显示GUI的装置可以包括：第一选择栏，包括被选择的第一元素；基本正交的第二选择栏，其取决于所述被选择的第一元素，且包括被选择的第二元素；以及基本的第三选择栏(其线性地取决于所述第一选择栏和所述第二选择栏，但是在视觉上与所述第一选择栏和所述第二选择栏不同)，其取决于所述被选择的第一元素和所述被选择的第二元素两者并包括被选择的第三元素。
最后，用于显示GUI的装置可以包括：第四选择栏(与所述第三选择栏基本上正交)，包括被选择的第四元素；其中所述被选择的第四元素取决于所述被选择的第一元素、所述被选择的第二元素和所述被选择的第三元素。如果第三选择栏被描绘在相对于水平选择栏的30°角度处，则第四选择栏可以被描绘在相对于水平选择栏的120°角度处，以使得与第三选择栏成90°。但是，如果更多的透视型视图是优选的，则如果第三选择栏被描绘在相对于水平选择栏的30°角度处，则第四选择栏可以被描绘在相对于水平选择栏的150°角度处，以使得关于垂直选择栏对称，并且从而模拟有距离感的透视图。
在上述实施例中，正交性取自以下坐标系中的一个或多个，所述坐标系包括：笛卡尔坐标系、圆柱坐标系、球形坐标系、抛物线坐标系、抛物柱面坐标系、抛物面坐标系、扁球面坐标系、长球面坐标系、椭圆体坐标系、椭圆圆柱坐标系、圆环坐标系、双球面坐标系、双极圆柱坐标系和圆锥坐标系。
上文讨论的正交性也可以取自三维(3D)空间，或者替代地四维(4D)空间。
本发明的另一方面是一种用于导航图形用户界面(GUI)的方法，包括：提供显示器；在所述显示器上显示基本水平的选择栏；突出显示当前被选择的水平元素；以及可选地遍历所述水平选择栏，其中，所述当前被选择的水平元素被改变。
在一个实施例中，该导航GUI的方法可以包括：在所述显示器上显示取决于所述当前被选择的水平元素的基本垂直的选择栏；以及可选地遍历所述垂直选择栏，其中，当前被选择的垂直元素被改变。
在第二实施例中，该导航GUI的方法可以包括：在显示器上显示取决于所述当前被选择的垂直元素的第一基本成对角线的选择栏；以及可选地遍历所述对角线选择栏，其中，当前被选择的第一对角线元素被改变。
在第三实施例中，该导航GUI的方法可以包括：在所述显示器上显示取决于所述当前被选择的第一对角线元素的第二基本成对角线的选择栏；以及可选地遍历所述第二基本成对角线的选择栏，其中，当前被选择的第二对角线元素被改变。
在另一个实施例中，计算机可读介质可以存储上面公开的步骤。
在另一个实施例中，计算机可以执行上面公开的步骤。
本发明的又一方面是一种显示三维或更多维(3+D)的表达的图形用户界面(GUI)设备，其可包括：显示装置和检测器，该显示装置包括：第一选择栏，包括被选择的第一元素；基本正交的第二选择栏，其取决于所述被选择的第一元素，且包括可选地被选择的第二元素；和基本的第三选择栏(其线性地取决于所述第一选择栏和所述第二选择栏，但是在视觉上与所述第一选择栏或所述第二选择栏不同)，其取决于所述被选择的第一元素和所述被选择的第二元素两者并包括可选地选择的第三元素；该检测器检测手的运动作为GUI命令；其中，所述GUI命令(1)控制对所述第一选择栏、所述第二选择栏和所述第三选择栏的导航，以及(2)选择所述被选择的第一元素、所述可选地被选择的第二元素和所述可选地被选择的第三元素。
在一个实施例中，手的运动可以包括三维的位置运动。GUI命令可以根据包括以下命令的组中的一个命令来选择：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
在另一个实施例中，三维的手的运动可以包括笛卡尔空间内的运动。手的运动还可以包括从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。另外，手的一般化关节连接可以包括一个或多个手指以及拇指的运动，带有这些手指的各个关节中的零个或多个关节的运动。
在又一实施例中，GUI设备可以包括：第四选择栏(在视觉上独立于所述第三选择栏、以及所述第一选择栏和所述第二选择栏)，包括可选地被选择的第四元素；其中，被选择的第四元素取决于所述被选择的第一元素、所述可选地被选择的第二元素和所述可选地被选择的第三元素；其中，所述GUI命令还(1)控制对所述第四选择栏的导航，以及(2)选择所述可选地被选择的第四元素。
在本发明的最后一个方面中，一种图形用户界面(GUI)可以包括：显示装置；用于在所述显示装置上显示三维或更高维(3+D)图形用户界面(GUI)的装置；和遥控器，用于控制所述GUI。
在一个实施例中，所述遥控器包括一个或多个对角按钮，用于对3+DGUI内的第三维或更高维选择栏进行导航。遥控器可以发出从如下命令组之一选择的一个或多个命令，所述命令组包括：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
在另一实施例中，遥控器可以包括：一个或多个传感器，其检测三维的位置运动。此外，遥控器可以包括：一个或多个传感器，其检测从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
在另一个实施例中，显示装置可以从包括以下显示装置的组中选出：电视机、纯平显示器、三维电视机、全像三维电视机、立体三维电视机(通过被动式红蓝眼镜观看)、偏光三维电视机(通过被动式偏光眼镜观看)、交替画面排序三维电视机(通过主动式快门眼镜/头戴装置观看)和自动立体三维电视机(无需通过眼镜或头戴装置观看)。
本发明的其他方面将在说明书的下述部分描述，其中，详细说明的目的是为了全面地公开本发明的优选实施例而非限制本发明。
附图说明
参照下列附图将更全面地了解本发明，这些附图仅用于说明性目的，其中：
图1是索尼公司的交叉栏菜单(XBM)的现有技术平面视图绘图。
图2是用于3+D GUI的遥控器的平面视图绘图。
图3A是改进的交叉栏菜单的平面图，以描绘出在第三(对角线)维上具有简单菜单组件的第三维。
图3B是改进的交叉栏菜单的平面图，以描绘出在第三(对角线)维上具有可见强度菜单组件的第三维。
图4A是具有6×6×6个元素立方的数据集的透视图。
图4B是图4A的数据集中j＝1处的一个切片的平面图。
图5A是具有最多6×6×6个元素立方的复杂数据集的透视图。
图5B是图5A的数据集中j＝1处的一个切片的平面图。
图5C是图5A的数据集中j＝2处的一个切片的平面图。
图5D是图5A的数据集中j＝3处的一个切片的平面图。
图5E是图5A的数据集中j＝4处的一个切片的平面图。
图5F是图5A的数据集中j＝5处的一个切片的平面图。
图5G是图5A的数据集中j＝6处的一个切片的平面图。
图5H是图5A的数据集中元素i＝3，k＝3时各个j值的倾斜描绘的一个切片的平面图。
图6A是数据元素集和开始导航数据元素的对应手运动的透视图，其中，手在较远的后方。
图6B继续图6A的序列，其中，将手移动至前后之间的中间，且帧画面(frame)D被选择。
图6C继续图6B的序列，其中，将手移动至向前的较远处，且帧画面A被选择。
图6D继续图6C的序列，其中，将手移动至前后之间的中间，且帧画面D再次被选择。
图6E继续图6D的序列，其中，将手攥紧并举起以指示选择命令的开始。
图6F继续图6E的序列，其中，将手攥紧并完全举起以指示针对3+DGUI的选择命令。
图6G继续图6F的序列，其中，将手攥紧、举起并且现在绕X轴扭转以“进入”帧画面D的选择。
图6H继续图6G的序列，其中，所选择的帧画面D现在被显示。
图7是单个文件夹从各文件匣中部分地被抽出的文件匣的集合的透视图，以及该文件夹内单个文件夹中的文档和页面的透视图。
图8显示了对图7中的位置坐标(4，1，3，2，3)上的“页面3”元素进行3+D导航。
具体实施方式
定义
本文使用以下术语，并且因此定义这些术语以帮助理解对(一个或多个)发明的描述。本领域的技术人员将理解，这些术语并非具有不变的定义，并且应该在(一个或多个)发明的上下文内适当地使用以下定义及其变体来对这些术语进行解释。
“计算机”是指能执行本文所述步骤、方法或产生信号的任何装置，包括但不限于微处理器、微控制器、视频处理器、数字状态机、现场可编程门阵列(FGPA)、数字信号处理器、具有微处理器和模拟或数字输出装置的并置集成存储器系统、以及具有通过数字或模拟信号协议相连接的微处理器和模拟或数字输出装置的分布式存储器系统。
“计算机可读介质”是指被组织信息的任何源，所述信息可经计算机处理来执行本文所述的步骤，以产生、存储流或信号流、对流或信号流进行逻辑操作、或发送流或信号流，所述源包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、磁性可读存储系统；光学可读存储介质，诸如通过直接法或光学字符识别法可读的穿孔卡或印刷品；其他光存储介质，诸如致密盘(CD)、数字多功能光盘(DVD)、可重写CD和/或DVD；电可读介质，诸如可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、现场可编程门阵列(FGPA)、闪速随机存取存储器(闪速RAM)；和通过电磁法或光学方法(包括但不限于无线传输、铜线和光纤)传输的信息。
“显示装置”是指能以二维或更多维显示图形用户界面(GUI)的任何装置。这样的显示装置可以包括但不限于：TV、纯平显示器、三维电视机(TV)、全像3D TV、补色立体3D TV(通过被动式红蓝眼镜观看)、偏光3D TV(通过被动式偏光眼镜观看)、交替画面排序3D TV(通过主动式快门眼镜或头戴装置观看)、和自动立体3D TV(无需通过眼镜或头戴装置观看)。
现在参照图1，图1是示出现有技术中索尼公司的交叉栏菜单(XBM)100的电视屏幕画面的前视图。在这里可以看到选择项的垂直轴102。在特定的垂直轴102位置104上，显示了水平轴106，所述水平轴示出了取决于(depend on)该特定垂直轴102位置104的工具箱元素108及其他元素110和112。具体地，可以看出工具箱元素108被突出显示并且准备进入，或者进行进一步的菜单导航。
在这一点上，对垂直轴102的向下导航会使水平轴106与“图片”114、“声音”116或其他图标交叉。向上导航将使得移动至“时钟/计时器”118或其他图标。
可以通过选择“TV”图标120来从该屏幕画面返回。
现在参照图2，图2是遥控器200的前视图。遥控器200包括如“主页”202之类的命令及其他标准遥控命令。
箭头按钮与用于遍历本发明所述的更高维对角线链接菜单的菜单导航控件相对应。具体地，右上箭头204、左下箭头206、左上箭头208和右下箭头210被用于导航如下所述的三维(或更高维)菜单。
现在参照图3A，其中，三维图形用户界面(GUI)菜单300示出了在菜单元素“背光”308处的它们的交点处被突出显示的水平菜单轴304和垂直菜单轴302。
与垂直菜单轴302和水平菜单轴304成一定角度的是表示菜单的第三维的另一轴，在此称为倾斜轴310。倾斜轴310的性能与被活动突出显示的306菜单元素“背光”308相关。在倾斜轴310上可以沿如下两个方向移动：“更亮”312方向，或“更暗”314方向。
顺便提及，如果垂直菜单轴302太小而不能显示所有的菜单选项，则一个或多个垂直滚动箭头316可以改变垂直菜单轴302上的元素的位置。类似地，如果水平菜单轴304太小而不能显示所有的菜单选项，则一个或多个水平滚动箭头318可以改变水平菜单轴304上的元素的位置。
可操作“退出”功能320或类似的功能命令来离开三维菜单300。
重新参照图2和当前的图3A，遥控器200的右上箭头204将引起在三维菜单300的“更暗”314方向上的移动，而左下箭头206将引起“更亮”312方向上的移动，从而分别调暗或调亮显示背光。
现在参照图3B，其中，第二三维GUI菜单322示出了垂直菜单轴324和水平菜单轴326，其在菜单元素“背光”330处的它们的交点处被突出显示328。
向左下方导航，“背光”选择项的范围从更亮332、到更加亮334，到最亮336。类似地，向右上方导航，“背光”选择项的范围从更暗338、到更加暗340，到最暗342。此屏幕画面上的“退出”344位于与先前在图3A中所示的类似“退出”相似的位置处。
从图3A和图3B可以看出，三维(3D)GUI菜单可以容易地被构造，并能被几乎所有用户直观地理解。
现在参照图4A，图4A是6×6×6 3D GUI中的菜单元素402的菜单表达400。在本示例中，所有菜单元素存在于6×6×6菜单中。
现在参照图4B，其是图4A的菜单表达400中j＝1处的单个面的图表404。此处可以看出，图4A中所示的元素402出现在图表404的左上处。
现在参照图5A，其是菜单表达500。从这里可以看出，(i，j，k)位置(i，j，k＝1～6)中的许多位置中存在元素，但不必所有的位置都被元素填充。
现在参照图5B至图5H。此处，图5B是j＝1坐标处的菜单元素的单个平面。类似地，图5C是j＝2坐标处的菜单元素的单个平面；图5D是j＝3坐标处的菜单元素的单个平面；图5E是j＝4坐标处的菜单元素的单个平面；图5F是j＝5坐标处的菜单元素的单个平面；以及图5G是j＝6坐标处的菜单元素的单个平面。
最后，在图5H中可以看到j＝3位置处的菜单元素位置的单个平面502。此处，只显示了i＝4、k＝4且j＝3的当前位置504，其是前文讨论的“背光”选项的子集。此处，由于当前位置504在可用背光选项的光谱内为第三位置，因此当前位置504被标记为“j3”。选择“j2”506将获得更亮的背光，选择“j1”508将获得最亮的背光，选择“j4”510将获得较暗的背光，选择“j5”512可获得更加暗的背光，以及选择“j6”514将获得最暗的背光。
在此图5H中，“背光”选项被人为地限制为仅6个级别，以便容易描述。实际上，可以有任意数量的选项。
现在参照图6A至图6H，其中，用3D手运动600来控制3D GUI602。这些图片中的各个图片是与3D GUI 602的显示的变化相对应的一系列手运动600的各部分。
在图6A中，手604位于方向上较远的后方(比较大的正Z值)。这在3D GUI 602中对应于被突出显示的最靠后的帧画面“G”606。(在此上下文中，突出显示是指从存在于3D GUI 602中的帧画面的堆栈中被部分地抬高，以便识别频道标志、频道号码或其他识别属性)。此时，最前面的帧画面“A”608仍在3D GUI 602的前面。然后，手沿着向前的方向608(或-
Figure BPA00001577127500102
方向)移动。
在图6B中，竖直的、朝向前(垂直于-
Figure BPA00001577127500103
轴)的手604已移动到与包括
Figure BPA00001577127500104
和
Figure BPA00001577127500105
轴的平面共面的的位置。在此手604位置处，突出显示的是帧画面“D”610。
在图6C中，竖直的、朝向前(垂直于-
Figure BPA00001577127500106
轴)的手604已移动到-
Figure BPA00001577127500107
轴上向前的较远位置。在此手604位置处，在对应的3D GUI 602中，突出显示的是帧画面“A”608。
在图6D中，竖直的、朝向前(垂直于-
Figure BPA00001577127500108
轴)的手604返回到与包括
Figure BPA00001577127500109
和
Figure BPA000015771275001010
轴的平面共面的的位置。在此手604位置处，通过从存在于3D GUI602中的帧画面的堆栈中部分地拉起帧画面“D”610来将其突出显示。
在图6E中，朝向前(垂直于-
Figure BPA000015771275001011
轴)的攥紧的手(closed hand)612返回到了与包括
Figure BPA000015771275001012
和
Figure BPA000015771275001013
轴的平面共面的的位置。由于攥紧的手612表示抓住一对象并且突出显示的对象是帧画面“D”，因此与攥紧的手612向上(沿正
Figure BPA000015771275001014
轴)的垂直移动相对应地，帧画面“D”610从存在于3D GUI602中的帧画面的堆栈中被部分地向上拉起。
在图6F中，朝向前(垂直于-
Figure BPA000015771275001015
轴)的攥紧的手612保持在最靠上(沿正
Figure BPA000015771275001016
轴)的位置中与包括
Figure BPA000015771275001017
轴和
Figure BPA000015771275001018
轴的平面共面。由于攥紧的手612已抓住了帧画面“D”对象，因此“D”对象由此“被选择”。
在图6G中，朝向前(垂直于-
Figure BPA000015771275001019
轴)的攥紧的手612已在正θ方向绕
Figure BPA000015771275001020
轴扭转了约90°。该移动指示对于3D GUI 602的“进入”命令。当此动作已发生后，3D GUI 602通过进入帧画面“D”610对象来作出响应，所述帧画面“D”610对象已被移到3D GUI 602的前面，从而可能开始将帧画面“D”610对象放大至全屏尺寸。
在图6H中，之前的动作已产生了帧画面“D”610对象的全帧画面视图，并且3D GUI 602已将其自身从视图上移除。
总而言之，如图6A至图6H所述的手势或类似的手势可用于在一般化的电子设备上按要求对数字相册、TV频道进行导航，控制音量、亮度等。这种图形用户界面具有非常自然、直观的优点。
3D GUI使用伪深度作为第三维，并可以自然地用于传统TV。对于真正的3D TV来说，通过立体显示能感受到真实深度，其中，每个频道可位于3D虚拟空间内的不同深度位置。使用真正的3D TV，3D GUI不需要用于第三维的伪深度，第三维可被直接显示。但是，对于超过3D的导航，可在更高维的Z形(zigzag)排列中使用倾斜伪深度。
现在参照图7，图7描绘了用于文档搜索的三维(或更高维)(3+D)图形用户界面(GUI)数据空间。这里，堆叠的文件匣的集合700包含了大量的各种文件匣抽屉，其中，特定的文件抽屉702首先被选择。显然，堆叠文件匣的集合700直接模拟了上文讨论的如图5A～图5H中的水平和垂直菜单选择项。倾斜的3D表达则是文件匣702中的个体文件夹704。
特定文件夹706(此处标记为“X文件”)可被选择。在“X文件”文件夹706中，可以存在文档708。每个文档708中可以有零个或多个页面710存在。此处，选择了“文档2(Doc 2)”712，其包括三个连续的页面：“页面1”714、“页面2”716和“页面3”718。
然后，文档的特定页面，或许“页面3”718可被选择。以这种方式，使用前文所述的3+D GUI和手命令，可以在大量文档存储系统中检索到个体页面。
应该注意，图7描绘的物理文件匣非限制性地仅仅被呈现为一种使人们将3+D GUI的操作形象化的容易方式。事实上，文件系统在本质上可以是完全电子化的，或者被存储在一个或多个计算机可读介质上。
事实上，图7中的数据可被表示为数据集的索引。这里，可以看出存在沿着
Figure BPA00001577127500111
轴被索引的文件匣700的6个列720。所述列720沿
Figure BPA00001577127500112
轴垂直向上延伸。文件匣720具有沿
Figure BPA00001577127500113
轴水平延伸的行722。
每个文件抽屉，例如特定文件抽屉702，可以具有沿着
Figure BPA00001577127500114
轴从前向后排列的内容。这个特定的文件抽屉702在文件匣的第四列、第一行中；因此，它的(i，j)坐标为(4，1)。在这个特定的文件抽屉702中，有8个文件夹，因此索引k的范围为从1至8。特定文件抽屉702中的第三个文件夹，即“X文件”文件夹706，因此具有为(4，1，3)的坐标位置(4，1，3)。
继续，“X文件”文件夹706具有沿
Figure BPA00001577127500121
轴延伸的文档。被选择的文档“文档2”712因此在
Figure BPA00001577127500122
轴上具有坐标2，从而产生(i，j，k，l)坐标(4，1，3，2)。
在“文档2”712文档中，有沿着
Figure BPA00001577127500123
轴从前至后排列的页面。“文档2”712具有三个页面，即m1 714、m2 716和“页面3”m3 718。
最后，读取位于文件匣700的(4，1)处的特定文件抽屉702中的“X文件”文件夹706中的“文档2”712的第三页面m3 718将具有(i，j，k，l，m)坐标(4，1，3，2，3)。
导航至坐标(4，1，3，2，3)因此需要访问五个维度。这可以用如下所示的方式实现。
现在参照图8，其示出了对图7的“页面3”718元素进行3+D导航800，另外也应参照图7。在图8中，行802和列804表示索引为(4，1)的特定文件匣702。总的说来，取决于对行802和列804的导航，行802和列80可以访问文件匣700所覆盖的数据集中的任何文件抽屉。
在图8中，特定的文件抽屉702被示为文件夹806的倾斜轴。在被选择的坐标(4，1，3)处取决于文件夹806列表的是文档集808，文档集808的各个页面810被示为另一倾斜轴。
为了达到所需的搜索结果那儿，(i，j)坐标为(4，1)的特定文件抽屉702被选择并被突出显示812。从(4，1)选择项，文件夹806的子集被突出显示。这里，特定文件抽屉702中的“X文件”文件夹706因此被示为(4，1，3)坐标位置(4，1，3)814。注意，图中并未显示文件匣700中存在的所有文件夹，因此提供了滚动条指示符816(其可被用在所显示的任何轴的任意端部)。
接下来，“X文件”文件夹706具有在文档808方向上沿轴延伸的文档。被选择“文档2”712是沿
Figure BPA00001577127500125
轴进入的第二文档，从而产生(i，j，k，l)坐标(4，1，3，2)818。
在“文档2”712文档818中，存在沿
Figure BPA00001577127500131
轴从前至后排列的页面810。具有坐标(4，1，3，2)818的“文档2”712有三个页面，m1 714、m2 716和“页面3”m3 718，其中具有坐标(4，1，3，2，3)820的最后一个页面被选择。
虽然在本文中坐标索引被用于显示多维GUI导航，实际上，坐标轴可以是音乐、电视菜单属性、计算机备份文件集、照片、视频、数据搜索和结果等的集合。
在3+D GUI的改进版本中，在这里实际上是五维(5D)GUI，GUI视图的左下角中已被选择的项目可以被缩小，以便更好的突出GUI导航过程的当前位置。
虽然3+D GUI通过三维手势可被最好地导航，但是其也可通过二维手势运动、触屏手指运动、之前在图2中讨论的遥控器以及电脑鼠标被使用。
从上文的描述可以看出，本发明可以以各种形式实施，包括但不限于以下实施例。
1.一种图形用户界面(GUI)，包括：显示装置；用于在所述显示装置上显示三维或更高维(3+D)图形用户界面(GUI)的装置；和用于控制所述GUI的装置。
2.如实施例1所述的GUI，其中，所述用于控制的装置包括：手的运动。
3.如实施例2所述的GUI，其中，所述手的运动包括：三维的位置运动。
4.如实施例2所述的GUI，其中，所述手的运动包括：带符号的GUI命令。
5.如实施例4所述的GUI，其中，所述带符号的GUI命令是根据包括以下命令的组中的一个命令来选择的：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
6.如实施例2所述的GUI，包括：检测手的运动的检测器。
7.如实施例3所述的GUI，其中，所述三维的运动包括：三维(3D)笛卡尔空间内的运动。
8.如实施例2所述的GUI，其中，所述手的运动包括：从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
9.如实施例1所述的GUI，其中，用于显示3+D GUI的装置包括：基本水平的选择栏，包括被选择的水平元素；基本垂直的选择栏，其取决于所述被选择的水平元素，且包括被选择的垂直元素；和基本倾斜的选择栏，其取决于所述被选择的水平元素和所述被选择的垂直元素两者，且包括被选择的倾斜元素。
10.如实施例1所述的GUI，其中，用于显示3+D GUI的装置包括：第一选择栏，包括被选择的第一元素；基本正交的第二选择栏，其取决于所述被选择的第一元素，且包括被选择的第二元素；以及基本的第三选择栏(其线性地取决于所述第一选择栏和所述第二选择栏，但是在视觉上与所述第一选择栏和所述第二选择栏不同)，其取决于所述被选择的第一元素和所述被选择的第二元素两者并包括被选择的第三元素。
11.如实施例10所述的GUI，包括：第四选择栏(与所述第三选择栏基本上正交)，包括被选择的第四元素；其中所述被选择的第四元素取决于所述被选择的第一元素、所述被选择的第二元素和所述被选择的第三元素。
12.如实施例10所述的GUI，其中，正交性取自以下坐标系中的一个或多个，所述坐标系包括：笛卡尔坐标系、圆柱坐标系、球形坐标系、抛物线坐标系、抛物柱面坐标系、抛物面坐标系、扁球面坐标系、长球面坐标系、椭圆体坐标系、椭圆圆柱坐标系、圆环坐标系、双球面坐标系、双极圆柱坐标系和圆锥坐标系。
13.如实施例10所述的GUI，其中，正交性取自三维(3D)空间。
14.如实施例10所述的GUI，其中，正交性取自四维(4D)空间。
15.一种用于导航图形用户界面(GUI)的方法，包括：提供显示器；在所述显示器上显示基本水平的选择栏；突出显示当前被选择的水平元素；以及可选地遍历所述水平选择栏，其中，所述当前被选择的水平元素被改变。
16.如实施例15所述的用于导航GUI的方法，包括：在所述显示器上显示取决于所述当前被选择的水平元素的基本垂直的选择栏；以及可选地遍历所述垂直选择栏，其中，当前被选择的垂直元素被改变。
17.如实施例16所述的用于导航GUI的方法，包括：在显示器上显示取决于所述当前被选择的垂直元素的第一基本成对角线的选择栏；以及可选地遍历对角线选择栏，其中，当前被选择的第一对角线元素被改变。
18.如实施例17所述的用于导航GUI的方法，包括：显示取决于所述当前被选择的第一对角线元素的第二基本成对角线的选择栏；和可选地遍历所述第二基本成对角线的选择栏，其中，当前被选择的第二对角线元素被改变。
19.一种计算机可读介质，能存储如实施例15所述的步骤。
20.一种计算机，能执行如实施例15所述的步骤。
21.一种显示三维或更多维表达的图形用户界面(GUI)设备，包括：显示装置，该显示装置包括：第一选择栏，包括被选择的第一元素；基本正交的第二选择栏，其取决于所述被选择的第一元素，且包括可选地被选择的第二元素；和基本的第三选择栏(其线性地取决于所述第一选择栏和所述第二选择栏，但是在视觉上与所述第一选择栏和所述第二选择栏不同)，其取决于所述被选择的第一元素和所述被选择的第二元素两者并包括可选地选择的第三元素；以及检测器，其检测手的运动作为GUI命令；其中，所述GUI命令：(1)控制对所述第一选择栏、所述第二选择栏和所述第三选择栏的导航，以及(2)选择所述被选择的第一元素、所述可选地被选择的第二元素和所述可选地被选择的第三元素。
22.如实施例21所述的GUI设备，其中，所述手的运动包括三维的位置运动。
23.如实施例21所述的GUI设备，其中，所述GUI命令是根据包括以下命令的组中的一个命令来选择的：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
24.如实施例21所述的GUI设备，其中，所述三维的手的运动包括笛卡尔空间内的运动。
25.如实施例21所述的GUI设备，其中，所述手的运动包括从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
26.如实施例21所述的GUI设备，包括：第四选择栏(在视觉上独立于所述第三选择栏、以及所述第一选择栏和所述第二选择栏)，包括可选地被选择的第四元素；其中，被选择的第四元素取决于所述被选择的第一元素、所述可选地被选择的第二元素和所述可选地被选择的第三元素；其中，所述GUI命令还：(1)控制对所述第四选择栏的导航；以及(2)选择所述可选地被选择的第四元素。
27.一种图形用户界面(GUI)，包括：显示装置；用于在所述显示装置上显示三维或更高维(3+D)图形用户界面(GUI)的装置；和遥控器，用于控制所述GUI。
28.如实施例27所述的GUI，其中，所述遥控器包括一个或多个对角按钮，用于对所述(3+D)GUI内的第三维或更高维选择栏进行导航。
29.如实施例28所述的GUI，其中，所述遥控器能够发出从如下命令组之一选择的一个或多个命令，所述命令组包括：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
30.如实施例27所述的GUI，其中，所述遥控器包括：一个或多个传感器，所述一个或多个传感器检测三维的位置运动。
31.如实施例30所述的GUI，其中，所述遥控器包括：一个或多个传感器，所述一个或多个传感器检测从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
32.如实施例27所述的GUI，其中，所述显示装置是从包括以下显示装置的组中选出的：电视机、纯平显示器、三维电视机、全像三维电视机、立体三维电视机(通过被动式红蓝眼镜观看)、偏光三维电视机(通过被动式偏光眼镜观看)、交替画面排序三维电视机(通过主动式快门眼镜/头戴装置观看)和自动立体三维电视机(无需通过眼镜或头戴装置观看)。
本发明的实施例是通过参考根据本发明的实施例的方法和系统的流程图图示来进行描述的。这些方法和系统也可以作为计算机程序产品实现。关于这一点，流程图中的每个方框或步骤，以及流程图中方框(和/或步骤)的组合可以通过各种手段实现，例如包括一个或多个计算机程序指令的软件、固件和/或硬件，所述计算机程序指令是以计算机可读程序代码逻辑实现的。应该清楚，任何这样的计算机程序指令可以被加载在计算机上，包括但不限于通用计算机或专用计算机，或其他用于生产机器的可编程处理装置，以使得在计算机或其他可编程处理装置上运行的计算机程序指令生成用于实现(一个或多个)流程图的(一个或多个)方框中指定功能的装置。
相应地，流程图中的方框支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合、以及用于执行指定功能的计算机程序指令，如以计算机可读程序代码逻辑装置实现的计算机程序指令。还应该明白，流程图图示中的每个方框和方框的组合可以通过用于执行指定功能或步骤的基于专用硬件的计算机系统来实现，或使通过专用硬件和计算机可读程序代码逻辑装置的组合来实现。
此外，这些计算机程序指令，例如以计算机可读程序代码逻辑装置实现的计算机程序指令，还可以被存储在计算机可读存储器中，所述计算机可读存储器可以引导计算机或其他可编程处理装置以特定的方式运行，以使得计算机可读存储器中存储的指令生成制造品，该制造品包括用于实现(一个或多个)流程图的(一个或多个)方框中的指定功能的指令装置。计算机程序指令也可以被加载在计算机或其他可编程处理装置上，以使得在计算机或其他可编程处理装置上来执行一系列的操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程处理装置上运行的指令提供用于实现(一个或多个)流程图的(一个或多个)方框中的指定功能的步骤。
虽然上文的描述中包含许多细节，不应将这些细节视作对本发明范围的限制，而是仅用于对本发明的当前的优选实施例中的一些进行说明。因此，应该清楚，本发明的范围完全包括对于本领域的技术人员来说可变得明显的其他实施例，而且，本发明的范围相应地仅由所附权利要求书限制，其中，除非特别说明，对单数元素的参考不旨在意味着“一个且只有一个”，而是“一个或多个”。本领域的普通技术人员了解的上述优选实施例的元素的所有结构等同物、化学等同物和功能等同物通过引用被明确地结合于此，并旨在被权利要求书囊括。而且，一种装置或方法不必要解决本发明要解决的各个以及每个问题，因为在权利要求书中囊括了这些问题。此外，不管在权利要求书中是否明确地叙述了本公开中的元素、组件或方法步骤，本公开中的元素、组件或方法步骤均不旨在被贡献给公众服务。本文的任何权利要求元素都不依据美国专利法第112条第六款的规定进行解释，除非该元素明确地使用“用于……的方式”进行陈述。

Claims (32)

1.一种图形用户界面(GUI)，包括：
显示装置；
用于在所述显示装置上显示三维或更高维(3+D)图形用户界面(GUI)的装置；和
用于控制所述GUI的装置。
2.如权利要求1所述的GUI，其中，所述用于控制的装置包括：
手的运动。
3.如权利要求2所述的GUI，其中，所述手的运动包括：
三维的位置运动。
4.如权利要求2所述的GUI，其中，所述手的运动包括：
带符号的GUI命令。
5.如权利要求4所述的GUI，其中，所述带符号的GUI命令是根据包括以下命令的组中的一个命令来选择的：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
6.如权利要求2所述的GUI，包括：
检测手的运动的检测器。
7.如权利要求3所述的GUI，其中，所述三维的运动包括：
笛卡尔空间内的运动。
8.如权利要求2所述的GUI，其中，所述手的运动包括：
从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
9.如权利要求1所述的GUI，其中，用于显示3+D GUI的装置包括：
基本水平的选择栏，包括被选择的水平元素；
基本垂直的选择栏，其取决于所述被选择的水平元素，且包括被选择的垂直元素；和
基本倾斜的选择栏，其取决于所述被选择的水平元素和所述被选择的垂直元素两者，且包括被选择的倾斜元素。
10.如权利要求1所述的GUI，其中，用于显示3+D GUI的装置包括：
第一选择栏，包括被选择的第一元素；
基本正交的第二选择栏，其取决于所述被选择的第一元素，且包括被选择的第二元素；以及
基本的第三选择栏(其线性地取决于所述第一选择栏和所述第二选择栏，但是在视觉上与所述第一选择栏和所述第二选择栏不同)，其取决于所述被选择的第一元素和所述被选择的第二元素两者并包括被选择的第三元素。
11.如权利要求10所述的GUI，包括：
第四选择栏(与所述第三选择栏基本上正交)，包括被选择的第四元素；
其中所述被选择的第四元素取决于所述被选择的第一元素、所述被选择的第二元素和所述被选择的第三元素。
12.如权利要求10所述的GUI，其中，正交性取自以下坐标系中的一个或多个，所述坐标系包括：笛卡尔坐标系、圆柱坐标系、球形坐标系、抛物线坐标系、抛物柱面坐标系、抛物面坐标系、扁球面坐标系、长球面坐标系、椭圆体坐标系、椭圆圆柱坐标系、圆环坐标系、双球面坐标系、双极圆柱坐标系和圆锥坐标系。
13.如权利要求10所述的GUI，其中，正交性取自三维(3D)空间。
14.如权利要求10所述的GUI，其中，正交性取自四维(4D)空间。
15.一种用于导航图形用户界面(GUI)的方法，包括：
提供显示器；
在所述显示器上显示基本水平的选择栏；
突出显示当前被选择的水平元素；以及
可选地遍历所述水平选择栏，其中，所述当前被选择的水平元素被改变。
16.如权利要求15所述的用于导航GUI的方法，包括：
在所述显示器上显示取决于所述当前被选择的水平元素的基本垂直的选择栏；以及
可选地遍历所述垂直选择栏，其中，当前被选择的垂直元素被改变。
17.如权利要求16所述的用于导航GUI的方法，包括：
显示取决于所述当前被选择的垂直元素的第一基本成对角线的选择栏；以及
可选地遍历对角线选择栏，其中，当前被选择的第一对角线元素被改变。
18.如权利要求17所述的用于导航GUI的方法，包括：
在所述显示器上显示取决于所述当前被选择的第一对角线元素的第二基本成对角线的选择栏；和
可选地遍历所述第二基本成对角线的选择栏，其中，当前被选择的第二对角线元素被改变。
19.一种计算机可读介质，能存储如权利要求15所述的步骤。
20.一种计算机，能执行如权利要求15所述的步骤。
21.一种显示三维或更多维表达的图形用户界面(GUI)设备，包括：
(a)显示装置，包括：
第一选择栏，包括被选择的第一元素；
基本正交的第二选择栏，其取决于所述被选择的第一元素，且包括可选地被选择的第二元素；和
基本的第三选择栏(其线性地取决于所述第一选择栏和所述第二选择栏，但是在视觉上与所述第一选择栏或所述第二选择栏不同)，其取决于所述被选择的第一元素和所述被选择的第二元素两者并包括可选地被选择的第三元素；和
(b)检测器，其检测手的运动作为GUI命令；
(c)其中，所述GUI命令
控制对所述第一选择栏、所述第二选择栏和所述第三选择栏的导航，以及
选择所述被选择的第一元素、所述可选地被选择的第二元素和所述可选地被选择的第三元素。
22.如权利要求21所述的GUI设备，其中，所述手的运动包括三维的位置运动。
23.如权利要求21所述的GUI设备，其中，所述GUI命令是根据包括以下命令的组中的一个命令来选择的：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
24.如权利要求21所述的GUI设备，其中，所述三维的手的运动包括笛卡尔空间内的运动。
25.如权利要求21所述的GUI设备，其中，所述手的运动包括从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
26.如权利要求21所述的GUI设备，包括：
第四选择栏(在视觉上独立于所述第三选择栏、以及所述第一选择栏和所述第二选择栏)，包括可选地被选择的第四元素；
其中，被选择的第四元素取决于所述被选择的第一元素、所述可选地被选择的第二元素和所述可选地被选择的第三元素；
其中，所述GUI命令还
控制对所述第四选择栏的导航，以及
选择所述可选地被选择的第四元素。
27.一种图形用户界面(GUI)，包括：
显示装置；
用于在所述显示装置上显示三维或更高维(3+D)图形用户界面(GUI)的装置；和
遥控器，用于控制所述GUI。
28.如权利要求27所述的GUI，其中，所述遥控器包括一个或多个对角按钮，用于对所述3+D GUI内的第三维或更高维选择栏进行导航。
29.如权利要求28所述的GUI，其中，所述遥控器能够发出从如下命令组之一选择的一个或多个命令，所述命令组包括：向左、向右、向上、向下、选择、退出、前一选择、取消和对角线移动。
30.如权利要求27所述的GUI，其中，所述遥控器包括：
一个或多个传感器，所述一个或多个传感器检测三维的位置运动。
31.如权利要求30所述的GUI，其中，所述遥控器包括一个或多个传感器，所述一个或多个传感器检测从包括以下运动的组中选出的运动：俯仰、横摇、偏航及其组合。
32.如权利要求27所述的GUI，其中，所述显示装置是从包括以下显示装置的组中选出的：电视机、纯平显示器、三维电视机、全像三维电视机、立体三维电视机(通过被动式红蓝眼镜观看)、偏光三维电视机(通过被动式偏光眼镜观看)、交替画面排序三维电视机(通过主动式快门眼镜/头戴装置观看)和自动立体三维电视机(无需通过眼镜或头戴装置观看)。
CN2011800056266A 2010-01-21 2011-01-05 用于电视菜单和文档导航的三维或更高维图形用户界面 Pending CN102713821A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/691,609 US20110179376A1 (en) 2010-01-21 2010-01-21 Three or higher dimensional graphical user interface for tv menu and document navigation
US12/691,609 2010-01-21
PCT/US2011/020176 WO2011090816A2 (en) 2010-01-21 2011-01-05 Three or higher dimensional graphical user intreface for tv menu and document navigation

Publications (1)

Publication Number Publication Date
CN102713821A true CN102713821A (zh) 2012-10-03

Family

ID=44278472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800056266A Pending CN102713821A (zh) 2010-01-21 2011-01-05 用于电视菜单和文档导航的三维或更高维图形用户界面

Country Status (5)

Country Link
US (1) US20110179376A1 (zh)
KR (1) KR20120102754A (zh)
CN (1) CN102713821A (zh)
BR (1) BR112012016771A2 (zh)
WO (1) WO2011090816A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324400A (zh) * 2013-07-15 2013-09-25 天脉聚源(北京)传媒科技有限公司 一种在3d模型中展示菜单的方法及装置
CN104935982A (zh) * 2014-03-17 2015-09-23 欧姆龙株式会社 多媒体装置、及其控制方法、控制程序
CN105359077A (zh) * 2013-07-09 2016-02-24 索尼公司 信息处理设备、信息处理方法和计算机程序
CN106598240A (zh) * 2016-12-06 2017-04-26 北京邮电大学 一种菜单项选择方法及装置
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN112492365A (zh) * 2019-09-11 2021-03-12 新加坡商欧之遥控有限公司 遥控器导航界面组件

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625599B2 (ja) * 2010-08-04 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101734285B1 (ko) * 2010-12-14 2017-05-11 엘지전자 주식회사 이동 단말기의 영상 처리 장치 및 그 방법
US9202297B1 (en) 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
CN104220962B (zh) * 2012-01-09 2017-07-11 莫韦公司 利用触摸手势的手势仿真的设备的命令
US20130185753A1 (en) * 2012-01-12 2013-07-18 Jason Kliot Data Management and Selection/Control System Preferably for a Video Magazine
TWI511540B (zh) * 2012-11-30 2015-12-01 Wistron Corp 具有多軸向操作介面之電子裝置及資訊顯示方法
KR101416749B1 (ko) * 2012-12-13 2014-07-08 주식회사 케이티 Ｔｖ 재생 장치 및 방법
US20150121298A1 (en) * 2013-10-31 2015-04-30 Evernote Corporation Multi-touch navigation of multidimensional object hierarchies
US20150277689A1 (en) * 2014-03-28 2015-10-01 Kyocera Document Solutions Inc. Display input apparatus and computer-readable non-transitory recording medium with display input control program recorded thereon
US9965445B2 (en) 2015-08-06 2018-05-08 FiftyThree, Inc. Systems and methods for gesture-based formatting
JP6684559B2 (ja) 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US11231911B2 (en) * 2020-05-12 2022-01-25 Programmable Logic Consulting, LLC System and method for using a graphical user interface to develop a virtual programmable logic controller

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100338564C (zh) * 2004-03-19 2007-09-19 索尼株式会社 显示控制设备、显示控制方法以及记录介质
CN101536494A (zh) * 2005-02-08 2009-09-16 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5678015A (en) * 1995-09-01 1997-10-14 Silicon Graphics, Inc. Four-dimensional graphical user interface
CN1126025C (zh) * 1997-08-12 2003-10-29 松下电器产业株式会社 窗口显示装置
KR100565040B1 (ko) * 1999-08-20 2006-03-30 삼성전자주식회사 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스 방법 및 이를 위한 기록 매체
US6614455B1 (en) * 1999-09-27 2003-09-02 Koninklijke Philips Electronics N.V. Directional navigation within a graphical user interface
US6636246B1 (en) * 2000-03-17 2003-10-21 Vizible.Com Inc. Three dimensional spatial user interface
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
US7546548B2 (en) * 2002-06-28 2009-06-09 Microsoft Corporation Method and system for presenting menu commands for selection
US6927886B2 (en) * 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
KR100486739B1 (ko) * 2003-06-27 2005-05-03 삼성전자주식회사 착용형 휴대폰 및 그 사용방법
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
TWI275257B (en) * 2004-07-12 2007-03-01 Sony Corp Inputting apparatus
KR100755684B1 (ko) * 2004-08-07 2007-09-05 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US20060267927A1 (en) * 2005-05-27 2006-11-30 Crenshaw James E User interface controller method and apparatus for a handheld electronic device
CN101300621B (zh) * 2005-09-13 2010-11-10 时空3D公司 用于提供三维图形用户界面的系统和方法
KR100792295B1 (ko) * 2005-12-29 2008-01-07 삼성전자주식회사 컨텐츠 네비게이션 방법 및 그 컨텐츠 네비게이션 장치
US20070294636A1 (en) * 2006-06-16 2007-12-20 Sullivan Damon B Virtual user interface apparatus, system, and method
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR101207451B1 (ko) * 2006-11-14 2012-12-03 엘지전자 주식회사 비접촉 센서를 구비하는 이동 단말기 및 이를 이용한아이템 목록 탐색 방법
KR100934514B1 (ko) * 2008-05-07 2009-12-29 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8683383B2 (en) * 2007-10-30 2014-03-25 Sony Corporation Automatically culled cross-menu bar
US8250604B2 (en) * 2008-02-05 2012-08-21 Sony Corporation Near real-time multiple thumbnail guide with single tuner
US8151215B2 (en) * 2008-02-07 2012-04-03 Sony Corporation Favorite GUI for TV
US20100077355A1 (en) * 2008-09-24 2010-03-25 Eran Belinsky Browsing of Elements in a Display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100338564C (zh) * 2004-03-19 2007-09-19 索尼株式会社 显示控制设备、显示控制方法以及记录介质
CN101536494A (zh) * 2005-02-08 2009-09-16 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105359077A (zh) * 2013-07-09 2016-02-24 索尼公司 信息处理设备、信息处理方法和计算机程序
US10289271B2 (en) 2013-07-09 2019-05-14 Sony Corporation Information processing device and information processing method for displaying menu with orthogonal sub-menus
US11112940B2 (en) 2013-07-09 2021-09-07 Sony Corporation Information processing device and information processing method
CN105359077B (zh) * 2013-07-09 2022-04-08 索尼公司 信息处理设备、信息处理方法和计算机程序
CN103324400A (zh) * 2013-07-15 2013-09-25 天脉聚源(北京)传媒科技有限公司 一种在3d模型中展示菜单的方法及装置
CN103324400B (zh) * 2013-07-15 2016-06-15 天脉聚源(北京)传媒科技有限公司 一种在3d模型中展示菜单的方法及装置
CN104935982A (zh) * 2014-03-17 2015-09-23 欧姆龙株式会社 多媒体装置、及其控制方法、控制程序
CN104935982B (zh) * 2014-03-17 2018-11-06 欧姆龙株式会社 多媒体装置、及其控制方法、计算机可读存储介质
CN106598240A (zh) * 2016-12-06 2017-04-26 北京邮电大学 一种菜单项选择方法及装置
CN106598240B (zh) * 2016-12-06 2020-02-18 北京邮电大学 一种菜单项选择方法及装置
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN112492365A (zh) * 2019-09-11 2021-03-12 新加坡商欧之遥控有限公司 遥控器导航界面组件

Also Published As

Publication number Publication date
KR20120102754A (ko) 2012-09-18
WO2011090816A3 (en) 2011-10-27
US20110179376A1 (en) 2011-07-21
BR112012016771A2 (pt) 2018-05-08
WO2011090816A2 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
CN102713821A (zh) 用于电视菜单和文档导航的三维或更高维图形用户界面
US10755485B2 (en) Augmented reality product preview
US9632677B2 (en) System and method for navigating a 3-D environment using a multi-input interface
US11636660B2 (en) Object creation with physical manipulation
US9224237B2 (en) Simulating three-dimensional views using planes of content
CN100517316C (zh) 图像文件一览显示装置
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
US11972092B2 (en) Browser for mixed reality systems
US20140129990A1 (en) Interactive input system having a 3d input space
US10514830B2 (en) Bookmark overlays for displayed content
JP2011022984A (ja) 立体映像インタラクティブシステム
CN107765939A (zh) 演示文档的交互方法、系统、可读存储介质及终端设备
EP2428884B1 (en) Method, software, and apparatus for displaying data objects
CN109074209A (zh) 用户界面的细节窗格
WO2022218146A1 (en) Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003