CN102314311A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN102314311A
CN102314311A CN2011101910551A CN201110191055A CN102314311A CN 102314311 A CN102314311 A CN 102314311A CN 2011101910551 A CN2011101910551 A CN 2011101910551A CN 201110191055 A CN201110191055 A CN 201110191055A CN 102314311 A CN102314311 A CN 102314311A
Authority
CN
China
Prior art keywords
zone
stack
display screen
pointer
confirms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101910551A
Other languages
English (en)
Inventor
野田卓郎
小森显博
佐藤齐昭
繁田修
山本一幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102314311A publication Critical patent/CN102314311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本发明公开了一种信息处理装置、信息处理方法和程序。根据本发明的信息处理装置包括：显示部，其配置成在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；操作部，其配置成获取用于至少在深度方向上移动第一对象的操作；以及控制器，其配置成根据获取的操作在显示屏上移动第一对象，当第一对象的区域叠加第一叠加确定区域时，对第一对象和第二对象中的一个或两者执行第一过程，并且当第一对象的区域叠加第二叠加确定区域时，对第一对象和第二对象中的一个或两者执行第二过程。第一叠加确定区域可以是通过至少在深度方向上扩展第二叠加确定区域而获得的区域。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。具体地，本公开涉及用于将图形用户界面(GUI)显示为虚拟三维空间的信息处理装置、信息处理方法和程序。
背景技术
近年来，经由显示屏提供给用户的GUI已更加常见地被显示为虚拟三维空间。在虚拟三维空间中，诸如内容之类的对象不仅可以布置在显示屏的水平方向和垂直方向上，而且还可以布置在显示屏的深度方向上。因此，在被显示为虚拟三维空间的GUI上，可以有效地使用显示屏中的空间。作为这种技术的例子，JP 2009-265258A描述了一种用于通过以下来显示多个对象的技术：根据用户的操作，按顺序在深度方向上叠加它们。
关于如上所述那种被显示为虚拟三维空间的GUI，已开发了用于不仅在显示屏的水平方向和垂直方向上而且还在显示屏的深度方向上获取用户的操作的技术，以便还可以在深度方向上移动诸如内容之类的对象。例如，JP 2009-15765A描述了这样一种技术：基于毫米波段的无线电波的振幅变化，使用控制器来检测用户在深度方向上的操作。另外，JP 2009-528514A描述了这样一种技术：通过使用光学测距和斑纹图案的分析，根据用户的姿势来检测深度方向上的操作。
发明内容
在被显示为二维平面的GUI上，典型地通过用于执行与两个对象有关的某些过程的所谓拖放操作，执行对两个对象的显示位置进行叠加的操作。然而，当多个对象可以被显示，使得它们如JP 2009-265258A中所描述的那样在深度方向上彼此叠加时，存在这样一个问题：不存在与前述拖放操作相对应的操作。进一步，当如JP 2009-15765A和JP 2009-528514A中所描述的那样通过用户的操作在深度方向上移动对象时，存在这样一个问题：用户难以察觉对象在虚拟三维空间的深度方向上的位置，这样一来对象就难以被移动到期望的位置。
考虑到前述情况，希望提供一种新颖和改进的信息处理装置、信息处理方法和程序，其可以提高被显示为虚拟三维空间的GUI的可操作性。
根据本公开的实施例，提供了一种信息处理装置，该信息处理装置包括：显示部，其配置成在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；操作部，其配置成获取用于至少在所述深度方向上移动所述第一对象的操作；以及控制器，其配置成根据由所述操作部获取的操作移动所述第一对象在所述显示屏上的显示，在其中所述第一对象的区域叠加围绕所述显示屏上显示的第二对象的显示区域设置的第一叠加确定区域的第一状态下，对所述第一对象和所述第二对象中的一个或两者执行第一过程，并且在其中所述第一对象的区域叠加围绕所述显示区域设置的第二叠加确定区域的第二状态下，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第一过程的第二过程。第一叠加确定区域可以是通过至少在深度方向上扩展第二叠加确定区域而获得的区域。
根据前述配置，例如可以执行向用户通知(例如显示)如下事实的过程：对象正在虚拟三维空间的深度方向上彼此接近。因此，当用户试图在虚拟三维空间中移动对象时，他可以察觉对象在深度方向上的距离，这样一来就可以容易地将对象移动到期望的位置。
第一过程可以是围绕第一对象和第二对象中的一个或者每一个显示视觉效果区域的过程，所述视觉效果区域具有与虚拟三维空间不同的颜色，并且第二过程可以是改变视觉效果区域的颜色的过程。
第一对象可以是指针对象，并且第二对象可以是由指针对象操作的对象。
第一对象可以是由指针对象操作的对象，操作部可以获取用于在使指针对象保持第一对象的同时移动指针对象的操作作为用于移动第一对象的操作，并且控制器可以在指针对象对第一对象的保持在第一状态下被释放时，对第一对象和第二对象中的一个或两者执行第三过程，而且可以在指针对象对第一对象的保持在第二状态下被释放时，对第一对象和第二对象中的一个或两者执行不同于第三过程的第四过程。
第三过程可以是由第二对象表示且对第一对象执行的特定过程，并且第四过程可以是互换第一对象的显示位置和第二对象的显示位置的过程。
第一叠加确定区域可以包围第二叠加确定区域，并且第二叠加确定区域可以包围显示区域。
根据本公开的另一个实施例，提供了一种信息处理方法，该信息处理方法包括：在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；获取用于至少在所述深度方向上移动所述第一对象的操作；以及根据获取的所述操作移动所述第一对象在所述显示屏上的显示，在其中所述第一对象的区域叠加围绕所述显示屏上显示的第二对象的显示区域设置的第一叠加确定区域的第一状态下，对所述第一对象和所述第二对象中的一个或两者执行第一过程，并且在其中所述第一对象的区域叠加围绕所述显示区域设置的第二叠加确定区域的第二状态下，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第一过程的第二过程。第一叠加确定区域可以是通过至少在深度方向上扩展第二叠加确定区域而获得的区域。
根据本公开的还有另一个实施例，提供了一种程序，该程序用于使计算机起到以下作用：显示部，其配置成在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；操作部，其配置成获取用于至少在所述深度方向上移动所述第一对象的操作；以及控制器，其配置成根据由所述操作部获取的操作移动所述第一对象在所述显示屏上的显示，在其中所述第一对象的区域叠加围绕所述显示屏上显示的第二对象的显示区域设置的第一叠加确定区域的第一状态下，对所述第一对象和所述第二对象中的一个或两者执行第一过程，并且在其中所述第一对象的区域叠加围绕所述显示区域设置的第二叠加确定区域的第二状态下，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第一过程的第二过程。第一叠加确定区域可以是通过至少在深度方向上扩展第二叠加确定区域而获得的区域。
根据上面描述的本公开的实施例，可以提高被显示为虚拟三维空间的GUI的可操作性。
附图说明
图1是示出根据本公开的每个实施例的信息处理装置的示意性配置的示图；
图2是示出根据本公开的每个实施例的信息处理装置的功能和配置的框图；
图3是示出根据本公开的每个实施例的显示屏上显示的屏幕例子的示图；
图4是图示根据本公开的每个实施例的针对对象设置的区域例子的示图；
图5是图示根据本公开的每个实施例的针对对象设置的区域的另一个例子的示图；
图6是图示根据本公开的第一个实施例的确定对象是否彼此叠加的例子的示图；
图7是示出在图6所示的情况下执行的过程的例子的示图；
图8是图示根据同一实施例的确定对象是否彼此叠加的另一个例子的示图；
图9是示出在图8所示的情况下执行的过程的例子的示图；
图10是图示在本公开的第二个实施例中执行的过程的例子的示图；
图11是图示在同一实施例中执行的过程的另一个例子的示图；以及
图12是示出根据本公开的第三个实施例的信息处理装置的过程的流程图。
具体实施方式
在下文中，参考附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同功能和结构的结构性元件用相同的标号来指示，并且省略这些结构性元件的重复说明。
按以下顺序给予描述。
1.为每个实施例所共有的配置
1-1.装置配置
1-2.显示对象的结构
2.第一实施例
3.第二实施例
4.第三实施例
5.附录
<1.为每个实施例所共有的配置>
首先，参考图1至5来描述为本公开的每个实施例所共有的配置。
(1-1.装置配置)
图1是示出根据本公开的每个实施例的信息处理装置100的示意性配置的示图。图2是示出根据本公开的每个实施例的信息处理装置100的功能和配置的框图。参考图1和2，信息处理装置100包括显示部110、操作部120、控制器130和存储部140。
显示部110在包括显示屏112深度方向的虚拟三维空间中显示对象500。虚拟三维空间的坐标轴被示出为x轴、y轴和z轴。在此，x轴方向是显示屏112的水平方向。y轴方向是显示屏112的垂直方向。z轴方向是显示屏112的深度方向。显示部110例如可以是液晶显示器(LCD)、等离子显示面板(PDP)或有机电致发光(EL)面板。
操作部120获取用于在至少包括z轴方向的方向上移动对象500的操作。操作部120可以是任何类型的装置，只要它可以获取用户在z轴方向上的操作。例如，操作部120可以检测用户的操作，并且获取检测的结果作为移动操作。在这样的情况下，可以根据由用户掌握的控制器的速度或者从控制器发出的电磁波来检测用户的操作。另外，例如通过使用红外激光器和飞行时间(TOF)方案等的光学测距，可以直接检测诸如用户的姿势之类的操作。进一步，操作部120可以获取前述检测结果作为通过例如使用斑纹图案的分析而处理的操作。另外，操作部120可以是指示装置如鼠标，其被开发用于在三维空间中操作。
进一步，操作部120可以获取用于使指针对象保持对象500并移动指针对象的操作，作为用于移动对象500的操作。例如通过压住前述控制器或指示装置如鼠标的按钮的操作，可以获取用于使指针对象保持对象500的操作。代替地，当直接检测诸如用户的姿势之类的操作时，通过用户的特定操作如握紧或松开他的手，可以获取用于使指针对象保持对象500的操作。
控制器130控制显示部110和操作部120。控制器130可以是用例如包括集成电路的电路配置实施的专用硬件，也可以是执行存储在存储部140中的程序的中央处理单元(CPU)。控制器130可以根据由操作部120获取的操作移动对象500在显示屏112上的显示，并且在其中对象500的区域叠加围绕显示屏112上显示的另一个对象500的显示区域设置的第一叠加确定区域的第一状态下，可以进一步对该对象500和另一个对象500中的一个或两者执行第一过程，而且在其中对象500的区域叠加围绕显示区域设置的第二叠加确定区域的第二状态下，还可以对该对象500和另一个对象500中的一个或两者执行不同于第一过程的第二过程。注意，下面会描述对象500的显示区域、第一叠加确定区域、第二叠加确定区域、第一过程和第二过程。
控制器130可以在指针对象对该对象500的保持在前述第一状态下被释放时，对该对象500和另一个对象500中的一个或两者执行第三过程。同时，控制器130可以在指针对象对该对象500的保持在前述第二状态下被释放时，对该对象500和另一个对象500中的一个或两者执行不同于第三过程的第四过程。下面会描述第三过程和第四过程。
前面描述的显示部110、操作部120和控制器130可以如图1所示分开提供，也可以集成为一体。控制器130的功能可以通过如示出的那样直接连接到显示部110和操作部120的装置来提供，也可以通过连接在网络之上的服务器来提供。
存储部140存储执行信息处理装置100中的过程所必须的数据。存储部140可以通过适当组合存储装置如只读存储器(ROM)或随机存取存储器(RAM)以及可移动存储介质如光盘、磁盘或半导体存储器来实现。当控制器130是CPU时，存储部140可以存储将要由CPU执行的程序。这样的程序可以经由信息处理装置100的通信部(未示出)从网络上的服务器(未示出)下载，然后存储到存储装置中。代替地，这样的程序可以通过存储在前述可移动存储介质中来提供。
除了前述情形之外，信息处理装置100还可以在适当时包括：音频输出部(未示出)，用于为用户输出音频；物理反馈部(未示出)，用于为用户输出物理反馈如控制器的振动；等等。
(操作获取例子)
在本公开的每个实施例中，操作部120可以获取用于使指针对象保持对象500并移动指针对象的操作，作为用于移动对象500的操作。作为这种操作的例子，现在更加具体地对下述情况进行描述，在所述情况下，图1所示的操作部120根据用户的姿势获取前述操作。注意，使用如上所述的操作部120的其它配置也可以获取类似的操作。
首先，在显示屏112和操作部120的前面，用户在上下方向、左右方向和前后方向中的任何一个方向上移动他的手。此时，操作部120获取用户的手的移动，作为用于移动指针对象的操作。然后，根据获取的操作，控制器130移动指针对象在显示屏112上的显示。具体地，当用户在显示屏112前面向右移动他的手时，操作部120获取如用于向右移动指针对象的操作那样的操作，这样一来控制器130就在x轴的正方向上移动指针对象的显示。同时，当用户在显示屏112前面向前移动他的手时，亦即在接近显示屏112的方向上移动他的手时，操作部120获取如用于向前移动指针对象的操作那样的操作，这样一来控制器130就在z轴的正方向上移动指针对象的显示。
接下来，当用户握紧他的手时，操作部120获取如用于使指针对象保持对象500的操作那样的姿势，这样一来控制器130就使指针对象保持区域叠加该指针对象的对象500。当操作部120认识到用户正在握紧他的手时，控制器130与指针对象的移动一起移动对象500在显示屏112上的显示。
进一步，当用户松开他的手时，操作部120获取如用于释放指针对象对该对象500的保持的操作那样的姿势，这样一来控制器130就释放了由指针对象保持的对象500。
(1-2.显示对象的结构)
(指针对象和内容对象的显示)
图3是示出根据本公开的每个实施例的显示屏112上显示的屏幕例子的示图。参考图3，显示屏112显示指针对象500p和内容对象500a至500g作为对象500。
指针对象500p是被显示用于操作内容对象500a至500g的对象。尽管指针对象500p被示出为近似圆形形状，但是本公开不限于此，并且指针对象500p可以具有多种形状如箭头或多面体。为了示出指针对象500p显示在虚拟三维空间中，例如还可以提供以下视觉效果：根据z轴方向上的显示位置的不同而改变显示尺寸，显示z轴方向上的宽度，或者显示阴影。
内容对象500a至500g是用于播放比如像移动图像、静止图像或字符信息之类的内容的应用程序，或者是诸如网络浏览器之类的应用程序视窗。代替地，内容对象500a至500g可以是表示内容文件的图标。作为进一步的选择，内容对象500a至500g可以是用于执行诸如内容的回放、暂停和停止之类操作的操作按钮图标。尽管内容对象500a至500g中的每一个被示出呈矩形固态的形状，但是本公开不限于此，并且内容对象500a至500g可以具有多种形状如球体或多面体。进一步，为了示出内容对象500a至500g显示在虚拟三维空间中，例如还可以提供以下视觉效果：根据z轴方向上的显示位置的不同而改变显示尺寸，显示z轴方向上的宽度，或者显示阴影。
在此，信息处理装置100的操作部120可以获取下述操作作为将要对指针对象500p执行的操作：用于移动指针对象500p的操作；以及用于使指针对象500p保持内容对象500a至500g中的一个或多个的操作。在这样的情况下，根据由操作部120获取的用于移动指针对象500p的前述操作，控制器130移动指针对象500p。当在其中指针对象500p的区域叠加内容对象500a至500g中的任何内容对象的(一个或多个)区域的状态下，操作部120已获取用于使指针对象500p保持内容对象500a至500g中的一个或多个的前述操作时，控制器130使指针对象500p保持内容对象500a至500g中的(一个或多个)相应对象。由指针对象500p保持的内容对象500a至500g中的一个或多个随着指针对象500p的移动而移动。
(伴随在虚拟三维空间中进行显示而来的问题)
如上所述那样的虚拟三维空间中显示的每个对象500的显示区域由x坐标、y坐标和z坐标来限定。在显示屏112上，对限定前述显示区域的坐标进行维度转换，以便得到从特殊视点观看的透视图。因此，仅通过x坐标和y坐标来表示显示区域。这样一来，即使当多个对象500的显示区域被显示为在显示屏112上彼此叠加时，它们的z轴也可以在虚拟三维空间中不同，并且这样一来，多个对象500的显示区域就可以不是彼此叠加。例如，在图3所示的显示屏112上，内容对象500a至500c的显示区域和内容对象500d至500g的显示区域被显示为彼此叠加。然而，在虚拟三维空间中，每个对象的显示区域的z轴是不同的(内容对象500a至500c的显示区域位于前侧)。因此，在虚拟三维空间中，内容对象500a至500c的显示区域和内容对象500d至500g的显示区域没有彼此叠加。
在这样的虚拟三维空间中，用户会难以通过对操作部120进行操作来在z轴方向上精确地移动对象500。例如，假定用户试图移动指针对象500p，以将指针对象500p的显示区域放置在内容对象500a的显示区域之上。在这样的情况下，即使当指针对象500p的显示区域在显示屏112的显示上叠加了内容对象500a的显示区域时，这两个显示区域也可能如上所述不一定就在虚拟三维空间中彼此叠加。在这样的情况下，用户执行进一步在z轴方向上移动指针对象500p的操作。然而，与x轴方向和y轴方向上的距离相比，难以察觉显示屏112上显示的虚拟三维空间中的z轴方向上的距离。因此，在前述情况下，用户难以确定指针对象500p应当移动多少以及在哪个方向上移动。
这样一来就可以认为，当多个对象500的显示区域彼此叠加时表示某种反馈，可能会使得用户比较容易认识到多个对象500的显示区域彼此叠加。作为这种反馈的例子，可以考虑显示某些视觉效果。代替地，可以考虑改变显示，比如像为了撤离目的而移动对象500中的一个，以及互换两个对象500的位置。
然而，当每个对象500具有板的形状，它在显示区域的z轴方向上的宽度短于x轴和y轴方向上的宽度时，像图3所示的内容对象500a至500g那样，此时，在z轴方向上移动的指针对象500p的显示区域叠加内容对象500a至500g中的每一个的显示区域所用的时间很短。因此，即使当如上所述那样显示某些视觉效果时，也存在下述可能性：用户可能无法充分认识到区域彼此叠加。
(针对对象设置的区域的例子)
图4是图示根据本公开的每个实施例的针对对象500设置的区域例子的示图。参考图4，针对作为对象500例子的内容对象500a设置显示区域502a、作为第一叠加确定区域的反应区域510a和作为第二叠加确定区域的碰撞区域520a。注意，在以下描述中，每个对象500的显示区域、反应区域和碰撞区域可以集中分别称之为显示区域502、反应区域510和碰撞区域520。
显示区域502a是其中显示内容对象500a的区域。在图4的例子中，内容对象500a被示出为应用程序视窗。在这样的情况下，显示区域502a是其中应用程序视窗被显示使得它对于用户可见的区域。
反应区域510a是第一叠加确定区域，其设置成确定内容对象500a是否叠加另一个对象500的区域，比如像指针对象500p的显示区域。附图中示出的反应区域510a是用户用于确定叠加存在与否的区域。这样一来，反应区域510a就不需要一定被显示以使得它在显示屏112上对于用户可见。反应区域510a设置在显示区域502a周围。反应区域510a是通过至少在z轴方向上扩展碰撞区域520a而获得的区域。关于x轴和y轴，反应区域510a可以例如与碰撞区域520a一致。
碰撞区域520a是第二叠加确定区域，其设置成确定内容对象500a是否叠加另一个对象500的区域，比如像指针对象500p的显示区域。在附图所示的例子中，碰撞区域520a与显示区域502a一致。如同反应区域510a那样，碰撞区域520a不需要一定被显示以使得它在显示屏112上对于用户可见。
(针对对象设置的区域的变体)
图5是图示根据本公开的每个实施例的针对对象500设置的区域的另一个例子的示图。参考图5，反应区域501a包围碰撞区域520a，而碰撞区域520a则包围显示区域502a。
在本公开的每个实施例中，对象500的每个区域也可以设置成如图5所示。具体地，反应区域510可以是通过不仅在z轴方向上而且还在x轴方向和y轴方向上扩展碰撞区域520而获得的区域。另外，碰撞区域520可以是通过在x轴、y轴或z轴方向上扩展显示区域502而获得的区域。
<2.第一实施例>
接下来，参考图6至9来描述本公开的第一实施例。在第一实施例中，响应于信息处理装置100的操作部120所获取的操作而移动的对象500是指针对象500p。另外，作为指针对象500p移动结果的其区域将会叠加指针对象500p的另一个对象500是内容对象500a。
(当反应区域叠加时的操作)
图6是图示根据本公开的第一个实施例的确定对象是否彼此叠加的例子的示图。图7是示出在图6所示的情况下执行的过程的例子的示图。
参考图6，指针对象500p的区域叠加了反应区域510a，该反应区域510a是设置在内容对象500a的显示区域502a周围的第一叠加确定区域。参考图7，控制器130此时在指针对象500p周围显示视觉效果区域550p，作为在前述情况下执行的第一过程。另外，控制器130还在内容对象500a周围显示类似的视觉效果区域550a。控制器130可以仅显示视觉效果区域550p和550a中的一个。注意，在以下描述中，显示在每个对象500周围的视觉效果区域可以集中称之为视觉效果区域550。
在此，如附图所示的例子中那样，视觉效果区域550例如可以被显示呈与显示屏112上显示的虚拟三维空间中的其它部分不同的颜色。另外，视觉效果区域550可以被显示具有照明视觉效果。进一步，视觉效果区域550可以被设置成使得它与反应区域510和碰撞区域520中的一个一致，也可以独立于这样的区域进行设置。
第一过程可以是下述过程：不仅显示视觉效果区域550，而且还移动指针对象500p和内容对象500a中的一个或两者，使得例如指针对象500p和内容对象500a略微移动，以拉向彼此或彼此排斥。另外，第一过程可以是当信息处理装置100具有音频输出部时输出音频的过程。代替地，第一过程可以是当信息处理装置100具有物理反馈部时输出诸如控制器振动之类的物理反馈的过程。作为进一步的选择，第一过程可以是前述过程中的一些或全部的组合。另外，第一过程可以对于指针对象500p和内容对象500a而言不同。例如，在附图所示的例子中，视觉效果区域550p和视觉效果区域550a的颜色可以彼此不同。
(当碰撞区域叠加时的操作)
图8是图示根据本公开的第一实施例的确定对象是否彼此叠加的另一个例子的示图。图9是示出在图8所示的情况下执行的过程的例子的示图。
参考图8，指针对象500p的区域叠加了碰撞区域520a，该碰撞区域520a是设置在内容对象500a的显示区域502a周围的第二叠加确定区域。参考图9，控制器130此时改变显示在指针对象500p周围的视觉效果区域550p的颜色，作为在前述情况下执行的第二过程。另外，控制器130类似地改变显示在内容对象500a周围的视觉效果区域550a的颜色。控制器130可以仅改变视觉效果区域550p和550a的颜色中的一个。
在此，控制器130可以通过向其添加照明视觉效果来显示视觉效果区域550。另外，第二过程可以是下述过程：不仅改变视觉效果区域550的显示颜色，而且还移动指针对象500p和内容对象500a中的一个或两者，使得例如指针对象500p和内容对象500a略微移动，以拉向彼此或彼此排斥。另外，第二过程可以是当信息处理装置100具有音频输出处理部时输出音频的过程。代替地，第二过程可以是当信息处理装置100具有物理反馈部时输出诸如控制器振动之类的物理反馈的过程。作为进一步的选择，第二过程可以是前述过程中的一些或全部的组合。另外，第二过程可以对于指针对象500p和内容对象500a而言不同。例如，在附图所示的例子中，视觉效果区域550p和视觉效果区域550a可以改变成不同的颜色。
(结论)
如上所述，在本公开的第一实施例中，内容对象500a的碰撞区域520a和通过在z轴方向上扩展碰撞区域520a而获得的反应区域510a被用来确定内容对象500a和指针对象500p是否彼此叠加，并且如果它们被确定为彼此叠加，则在内容对象500a和指针对象500p中的一个或每一个周围显示视觉效果区域550，并且进一步改变视觉效果区域550的颜色。根据这样的结构，当用户试图在z轴方向上移动指针对象500p以使指针对象500p叠加在内容对象500a上时，他可以在比显示屏112上显示的内容对象500a的范围更宽的范围内认识到指针对象500p正在向内容对象500a移动得更近。当指针对象500p向内容对象500a进一步移动得更近时，视觉效果区域550的颜色会改变。因此，用户可以容易地察觉指针对象500p是向内容对象500a移动得更近还是远离内容对象500a。
<3.第二实施例>
接下来，参考图10和11来描述本公开的第二实施例。在第二实施例中，响应于信息处理装置100的操作部120所获取的操作而移动的对象500是内容对象500c。另外，作为内容对象500c移动结果的其区域将会叠加内容对象500c的另一个对象500是内容对象500b。
(当反应区域叠加时的操作)
图10是图示在本公开的第二个实施例中执行的过程的例子的示图。参考图10，内容对象500b是表示文件夹的图标，而内容对象500c则是表示文件的图标。内容对象500c由指针对象500p保持，并且随着指针对象500p的移动而移动。在第二实施例中，针对内容对象500b设置了反应区域510b和碰撞区域520b，并且进一步针对内容对象500c也设置了反应区域510c和碰撞区域520c。
在执行过程之前的初始状态下，内容对象500b的反应区域510b和内容对象500c的反应区域510c彼此叠加。这个状态将被称之为第一状态，在第一状态下，内容对象500c的对象区域叠加了反应区域510b，该反应区域510b是在内容对象500b的显示区域周围设置的第一叠加确定区域。在附图所示的例子中，由指针对象500p对内容对象500c的保持在第一状态下被释放。
在这种情况下，控制器130对内容对象500c执行由内容对象500b表示的特定过程作为第三过程。因为内容对象500b是表示文件夹的图标，所以由内容对象500b表示的特定过程在此是将文件存储到文件夹中。因此，在执行过程之后的状态下，由内容对象500c表示的文件被存储在由内容对象500b表示的文件夹中。
(当碰撞区域叠加时的操作)
图11是图示在本公开的第二实施例中执行的过程的另一个例子的示图。参考图11，内容对象500b是表示文件夹的图标，而内容对象500c则是表示文件的图标。内容对象500c由指针对象500p保持，并且随着指针对象500p的移动而移动。
在执行过程之前的初始状态下，内容对象500b的碰撞区域520b和内容对象500c的碰撞区域520c彼此叠加。这个状态将被称之为第二状态，在第二状态下，内容对象500c的对象区域叠加了碰撞区域520b，该碰撞区域520b是在内容对象500b的显示区域周围设置的第二叠加确定区域。在附图所示的例子中，由指针对象500p对内容对象500c的保持在第二状态下被释放。
在这种情况下，控制器130执行互换内容对象500c的显示位置和内容对象500b的显示位置作为第四过程。在执行这个过程之后的状态下，在其中内容对象500b在该过程之前所位于的前方位置中显示内容对象500c，同时在其中内容对象500c在该过程之前所位于的后方位置中显示内容对象500b。如附图中示出的那样，控制器130可以在该过程之后进一步移动这两个对象500的位置，以便它们的反应区域510没有彼此叠加。
(结论)
如上所述，在本公开的第二实施例中，对象500的碰撞区域520和通过在z轴方向上扩展碰撞区域520而获得的反应区域510被用来确定对象500是否彼此叠加，并且当指针对象对所述对象500中之一的保持被释放时，执行会取决于每个区域的叠加程度而不同的过程。根据这样的结构，例如可以当多个对象500在它们的反应区域510中叠加时，执行像二维GUI上的拖放那样的过程，并且当多个对象500在它们的碰撞区域520中叠加时，执行互换对象500的显示位置的过程。根据这样的操作，可以通过在z轴方向上对区域进行叠加来实施调整显示位置的操作，并且还可以在虚拟三维空间中实施像拖放一样的直观操作。
<4.第三实施例>
接下来，参考图12来描述本公开的第三实施例。在第三实施例中，第一实施例中描述的视觉效果区域550进一步显示在第二实施例中描述的内容对象500c和内容对象500b的例子中。
图12是示出根据本公开的第三个实施例的信息处理装置100的过程的流程图。图12所示的过程是针对内容对象500c周期性地执行的过程，该内容对象500c由指针对象500p保持，并且随着指针对象500p的移动而移动。
注意，控制器130在此围绕内容对象500c显示视觉效果区域550c作为针对内容对象500c的第一过程。此时，视觉效果区域550c被显示呈具有照明视觉效果的黄色。另外，控制器130将视觉效果区域550c的颜色改变为红色，作为针对内容对象500c的第二过程。此时，视觉效果区域550c仍然具有照明视觉效果。进一步，控制器130执行内容对象500c和内容对象500b之间的拖放过程，比如像将内容对象500c所表示的文件存储到内容对象500b所表示的文件夹中，作为针对内容对象500c的第三过程。另外，控制器130执行互换内容对象500c的显示位置和内容对象500b的显示位置的过程，作为针对内容对象500c的第四过程。
首先，控制器130确定内容对象500c是否在反应区域510c中叠加另一个对象500的区域(步骤S101)。在此，如果内容对象500c的反应区域510c未被确定为叠加了另一个对象500的区域，则控制器130确定内容对象500c没有叠加另一个对象500。在此，如果显示了视觉效果区域550c，则控制器130终止该显示，关掉照明内容对象500c外围的光(步骤S103)，并且终止该过程。
同时，如果在步骤S101中内容对象500c被确定为在反应区域510c中叠加了内容对象500b的区域，则控制器130进一步确定内容对象500c在碰撞区域520c中是否叠加了内容对象500b的区域(步骤S105)。在此，如果内容对象500c的碰撞区域520c未被确定为叠加了内容对象500b的区域，则控制器130确定内容对象500c仅在反应区域510c中叠加了内容对象500b的区域。
在这样的情况下，控制器130进一步确定已保持了内容对象500c的指针对象500p是否仍然保持着内容对象500c(步骤S107)。在此，如果指针对象500p未被确定为保持着内容对象500c，则控制器130确定指针对象500p对内容对象500c的保持已在其中内容对象500c在反应区域510c中叠加内容对象500b的区域的第一状态下被释放。在此，控制器130执行内容对象500c和内容对象500b之间的拖放过程作为针对内容对象500c的第三过程(步骤S109)，并且终止该过程。
同时，如果在步骤S107中指针对象500p被确定为仍然保持着内容对象500c，则控制器130确定指针对象500p对内容对象500c的保持已在其中内容对象500c在反应区域510c中叠加内容对象500b的区域的第一状态下继续。这样一来，作为针对内容对象500c的第一过程，控制器130显示视觉效果区域550c，并且以黄色照明内容对象500c的外围(步骤S111)，然后终止该过程。
同时，如果在步骤S105中内容对象500c的碰撞区域520c被确定为叠加了内容对象500b的区域，则控制器130确定内容对象500c同样在碰撞区域520c中叠加了内容对象500b。在这样的情况下，控制器130进一步确定已保持了内容对象500c的指针对象500p是否仍然保持着内容对象500c(步骤S113)。在此，如果指针对象500p未被确定为保持着内容对象500c，则控制器130确定指针对象500p对内容对象500c的保持已在其中内容对象500c在碰撞区域520c中叠加内容对象500b的区域的第二状态下被释放。这样一来，作为针对内容对象500c的第四过程，控制器130互换内容对象500c的显示位置和内容对象500b的显示位置(步骤S115)，并且终止该过程。
同时，如果在步骤S113中指针对象500p被确定为仍然保持着内容对象500c，则则控制器130确定指针对象500p对内容对象500c的保持已在其中内容对象500c在碰撞区域520c中叠加内容对象500b的区域的第二状态下继续。这样一来，作为针对内容对象500c的第二过程，控制器130改变视觉效果区域550c的颜色，并且以红色照明内容对象500c的外围(步骤S117)，然后终止该过程。
(结论)
如上所述，在本公开的第三实施例中，当对象500在借助于对象500的反应区域510和碰撞区域520由指针对象保持的同时进行移动时，对象500以及其区域叠加了该对象500的另一个对象500的显示分阶段改变。另外，当指针对象对该对象500的保持被释放时，根据对象500和另一个对象500的叠加区域选择性地执行拖放过程和位置调整。使用这样的结构，用户可以容易地察觉对象500和另一个对象500在z轴方向上的关系，并且还可以在虚拟三维空间中执行调整显示位置的操作以及像拖放那样的直观操作。
<5.附录>
尽管已参考附图详细地描述了本公开的优选实施例，但是本公开不限于此。对于本领域技术人员而言明显的是，各种修改或变更都是可能的，只要它们处在所附权利要求或其等价物的技术范围之内。应当理解的是，这样的修改或变更也都处在本公开的技术范围之内。
本公开包含与2010年7月8日向日本专利局申请的日本优先权专利申请JP 2010-155623中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。

Claims (8)

1.一种信息处理装置，包括：
显示部，其配置成在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；
操作部，其配置成获取用于至少在所述深度方向上移动所述第一对象的操作；以及
控制器，其配置成根据由所述操作部获取的操作移动所述第一对象在所述显示屏上的显示，在其中所述第一对象的区域叠加围绕所述显示屏上显示的第二对象的显示区域设置的第一叠加确定区域的第一状态下，对所述第一对象和所述第二对象中的一个或两者执行第一过程，并且在其中所述第一对象的区域叠加围绕所述显示区域设置的第二叠加确定区域的第二状态下，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第一过程的第二过程，
其中，所述第一叠加确定区域是通过至少在所述深度方向上扩展所述第二叠加确定区域而获得的区域。
2.根据权利要求1所述的信息处理装置，其中，
所述第一过程是围绕所述第一对象和所述第二对象中的一个或者每一个显示视觉效果区域的过程，所述视觉效果区域具有与所述虚拟三维空间不同的颜色，并且
所述第二过程是改变所述视觉效果区域的颜色的过程。
3.根据权利要求1所述的信息处理装置，其中，
所述第一对象是指针对象，并且
所述第二对象是由所述指针对象操作的对象。
4.根据权利要求1所述的信息处理装置，其中，
所述第一对象是由指针对象操作的对象，
所述操作部获取用于在使所述指针对象保持所述第一对象的同时移动所述指针对象的操作作为用于移动所述第一对象的操作，并且
所述控制器在所述指针对象对所述第一对象的保持在所述第一状态下被释放时，对所述第一对象和所述第二对象中的一个或两者执行第三过程，而且在所述指针对象对所述第一对象的保持在所述第二状态下被释放时，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第三过程的第四过程。
5.根据权利要求4所述的信息处理装置，其中，
所述第三过程是由所述第二对象表示且对所述第一对象执行的特定过程，并且
所述第四过程是互换所述第一对象的显示位置和所述第二对象的显示位置的过程。
6.根据权利要求1所述的信息处理装置，其中，
所述第一叠加确定区域包围所述第二叠加确定区域，并且
所述第二叠加确定区域包围所述显示区域。
7.一种信息处理方法，包括：
在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；
获取用于至少在所述深度方向上移动所述第一对象的操作；以及
根据获取的所述操作移动所述第一对象在所述显示屏上的显示，在其中所述第一对象的区域叠加围绕所述显示屏上显示的第二对象的显示区域设置的第一叠加确定区域的第一状态下，对所述第一对象和所述第二对象中的一个或两者执行第一过程，并且在其中所述第一对象的区域叠加围绕所述显示区域设置的第二叠加确定区域的第二状态下，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第一过程的第二过程，
其中，所述第一叠加确定区域是通过至少在所述深度方向上扩展所述第二叠加确定区域而获得的区域。
8.一种程序，用于使计算机起到以下作用：
显示部，其配置成在虚拟三维空间中显示第一对象，所述虚拟三维空间具有显示屏的深度方向；
操作部，其配置成获取用于至少在所述深度方向上移动所述第一对象的操作；以及
控制器，其配置成根据由所述操作部获取的操作移动所述第一对象在所述显示屏上的显示，在其中所述第一对象的区域叠加围绕所述显示屏上显示的第二对象的显示区域设置的第一叠加确定区域的第一状态下，对所述第一对象和所述第二对象中的一个或两者执行第一过程，并且在其中所述第一对象的区域叠加围绕所述显示区域设置的第二叠加确定区域的第二状态下，对所述第一对象和所述第二对象中的一个或两者执行不同于所述第一过程的第二过程，
其中，所述第一叠加确定区域是通过至少在所述深度方向上扩展所述第二叠加确定区域而获得的区域。
CN2011101910551A 2010-07-08 2011-07-01 信息处理装置、信息处理方法和程序 Pending CN102314311A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-155623 2010-07-08
JP2010155623A JP5589625B2 (ja) 2010-07-08 2010-07-08 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN102314311A true CN102314311A (zh) 2012-01-11

Family

ID=44865823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101910551A Pending CN102314311A (zh) 2010-07-08 2011-07-01 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US8791962B2 (zh)
EP (1) EP2405403A1 (zh)
JP (1) JP5589625B2 (zh)
CN (1) CN102314311A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105074616A (zh) * 2012-12-19 2015-11-18 诺基亚技术有限公司 用户接口和相关的方法
CN106030460A (zh) * 2014-02-18 2016-10-12 三菱电机株式会社 移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9324183B2 (en) * 2011-11-29 2016-04-26 Apple Inc. Dynamic graphical interface shadows
KR20130064514A (ko) 2011-12-08 2013-06-18 삼성전자주식회사 전자기기의 3차원 사용자 인터페이스 제공 방법 및 장치
JPWO2013121807A1 (ja) * 2012-02-17 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2014105277A2 (en) * 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
USD777741S1 (en) * 2015-08-28 2017-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Portable electronic device with graphical user interface
JP2017182532A (ja) 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
USD949163S1 (en) * 2019-12-30 2022-04-19 Twitter, Inc. Display screen with graphical user interface for video conferencing
WO2021192956A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7474179B2 (ja) 2020-10-22 2024-04-24 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802668A (zh) * 2002-09-06 2006-07-12 索尼计算机娱乐公司 用于表现三维对象的方法和设备
CN101308442A (zh) * 2004-10-12 2008-11-19 日本电信电话株式会社 三维指示方法和三维指示装置
US20090015552A1 (en) * 2007-07-09 2009-01-15 Sony Corporation Operation system, pointing device for 3-dimensional operations, and operation method
CN101496032A (zh) * 2006-02-27 2009-07-29 普莱姆传感有限公司 使用斑纹解相关的距离映射
US20090217209A1 (en) * 2008-02-21 2009-08-27 Honeywell International Inc. Method and system of controlling a cursor in a three-dimensional graphical environment
US20090327975A1 (en) * 2008-06-27 2009-12-31 Stedman Roy W Multi-Touch Sorting Gesture

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5777616A (en) * 1996-08-05 1998-07-07 International Business Machines Corporation Data processing system and method for invoking a function of a multifunction icon in a graphical user interface
US6088027A (en) * 1998-01-08 2000-07-11 Macromedia, Inc. Method and apparatus for screen object manipulation
US6404442B1 (en) * 1999-03-25 2002-06-11 International Business Machines Corporation Image finding enablement with projected audio
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
JP2009265258A (ja) 2008-04-23 2009-11-12 Sony Corp 表示画面生成装置、表示画面生成方法および表示インターフェース

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802668A (zh) * 2002-09-06 2006-07-12 索尼计算机娱乐公司 用于表现三维对象的方法和设备
CN101308442A (zh) * 2004-10-12 2008-11-19 日本电信电话株式会社 三维指示方法和三维指示装置
CN101496032A (zh) * 2006-02-27 2009-07-29 普莱姆传感有限公司 使用斑纹解相关的距离映射
US20090015552A1 (en) * 2007-07-09 2009-01-15 Sony Corporation Operation system, pointing device for 3-dimensional operations, and operation method
US20090217209A1 (en) * 2008-02-21 2009-08-27 Honeywell International Inc. Method and system of controlling a cursor in a three-dimensional graphical environment
US20090327975A1 (en) * 2008-06-27 2009-12-31 Stedman Roy W Multi-Touch Sorting Gesture

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105074616A (zh) * 2012-12-19 2015-11-18 诺基亚技术有限公司 用户接口和相关的方法
CN105074616B (zh) * 2012-12-19 2017-03-29 诺基亚技术有限公司 用户接口和相关的方法
US9665177B2 (en) 2012-12-19 2017-05-30 Nokia Technologies Oy User interfaces and associated methods
CN106030460A (zh) * 2014-02-18 2016-10-12 三菱电机株式会社 移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法

Also Published As

Publication number Publication date
US20120007857A1 (en) 2012-01-12
JP2012018559A (ja) 2012-01-26
EP2405403A1 (en) 2012-01-11
US8791962B2 (en) 2014-07-29
JP5589625B2 (ja) 2014-09-17

Similar Documents

Publication Publication Date Title
CN102314311A (zh) 信息处理装置、信息处理方法和程序
US11670267B2 (en) Computer vision and mapping for audio applications
CN105148517B (zh) 一种信息处理方法、终端及计算机存储介质
EP4172730A1 (en) Augmented reality experiences with object manipulation
EP3398030B1 (en) Haptic feedback for non-touch surface interaction
CN107407965A (zh) 连接至移动计算设备的虚拟现实头戴设备
JP2017534974A (ja) ドッキング・システム
US20180150997A1 (en) Interaction between a touch-sensitive device and a mixed-reality device
CN103339591A (zh) 用于用户输入以控制显示信息的装置和方法
JP2021527275A (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
CN103324453A (zh) 显示器
EP4172733A1 (en) Augmented reality eyewear 3d painting
WO2017012360A1 (zh) 一种虚拟现实显示设备响应外设设备操作的方法
US20170177077A1 (en) Three-dimension interactive system and method for virtual reality
US11740852B2 (en) Eyewear including multi-user, shared interactive experiences
EP4172681A1 (en) Augmented reality eyewear with 3d costumes
US20220317770A1 (en) Eyewear with shared gaze-responsive viewing
CN102662529A (zh) 三维互动显示装置及其操作方法
US11900058B2 (en) Ring motion capture and message composition system
CN107133028A (zh) 一种信息处理方法及电子设备
JP5830899B2 (ja) 投影システム、投影装置、投影方法及びプログラム
US12001646B2 (en) Computer-implemented method, computer, and program for rendering a three-dimensional object in a virtual reality space
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
EP4156113A1 (en) Method executed by computer, computer, and program
CN109144234A (zh) 具有外置追踪及内置追踪的虚拟现实系统及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120111