CN102362243B - 多远程指向器、虚拟对象显示装置和虚拟对象控制方法 - Google Patents

多远程指向器、虚拟对象显示装置和虚拟对象控制方法 Download PDF

Info

Publication number
CN102362243B
CN102362243B CN201080013082.3A CN201080013082A CN102362243B CN 102362243 B CN102362243 B CN 102362243B CN 201080013082 A CN201080013082 A CN 201080013082A CN 102362243 B CN102362243 B CN 102362243B
Authority
CN
China
Prior art keywords
virtual objects
posture
virtual
mobile
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080013082.3A
Other languages
English (en)
Other versions
CN102362243A (zh
Inventor
韩承周
金昌容
朴浚我
张旭
李贤廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102362243A publication Critical patent/CN102362243A/zh
Application granted granted Critical
Publication of CN102362243B publication Critical patent/CN102362243B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Abstract

提供了一种虚拟对象控制方法。所述虚拟对象控制方法包括：基于虚拟对象控制单元的移动信息来选择用于控制虚拟对象的姿势。所述姿势与用户操作虚拟对象控制单元的动作有关，并被适当地选择，从而用户可直观并远程地控制虚拟对象。可根据基于位置信息获得的移动信息来改变选择标准，其中，所述移动信息包括指向位置、所指向的点的数量、虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置中的至少一个。

Description

多远程指向器、虚拟对象显示装置和虚拟对象控制方法
技术领域
一个或多个实施例涉及一种用于控制虚拟对象的指向输入技术和姿势识别技术。
背景技术
最近，由于终端(诸如个人数字助理(PDA)、移动电话等)的性能具有越来越多的附加功能，因此，响应于这些附加功能，还提供了附加用户接口。例如，最近开发的终端包括用于所述附加用户接口的各种菜单键或按钮。
然而，由于提供了许多各种各样的功能，并且通常不直观地布置各种菜单键或按钮，因此，对于终端的用户来说可能难以学会如何针对特定功能来操作菜单键。
用于使用便利的目的的典型直观接口之一是例如触摸界面。这里，触摸界面是直接与显示在屏幕或触摸界面上的虚拟对象进行交互的最简单的接口方法之一。
发明内容
技术问题
这将提供一种用于像在现实世界中一样直观地控制远程虚拟对象的设备和方法。
技术方案
提供了一种虚拟对象控制方法。所述虚拟对象控制方法包括：基于虚拟对象控制单元的移动信息来选择用于控制虚拟对象的姿势。所述姿势与用户操作虚拟对象控制单元的动作有关，并且被适当地选择，从而用户可直观并远程地控制虚拟对象。可根据基于位置信息获得的移动信息来改变选择标准，其中，所述移动信息包括指向位置、所指向的点的数量、虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置中的至少一个。
有益效果
因此，根据用户动作选择适当的姿势，并且与选择的姿势相应地执行事件，从而可像在现实世界中一样直观地控制远程虚拟对象。
附图说明
图1是示出根据一个或多个实施例的虚拟对象系统的示图；
图2和图3是示出根据一个或多个实施例的虚拟对象控制装置的外观的示图；
图4是示出根据一个或多个实施例的虚拟对象控制装置的内部构造的框图；
图5和图6是示出根据一个或多个实施例的虚拟对象显示装置的外部构造的示图；
图7是示出根据一个或多个实施例的虚拟对象显示装置的内部构造的框图；
图8是示出根据一个或多个实施例的虚拟对象控制方法的流程图；
图9到图12是示出根据一个或多个实施例的另一虚拟对象控制方法的流程图；
图13是示出根据一个或多个实施例的另一虚拟对象控制方法的流程图；
图14是示出根据一个或多个实施例的虚拟对象选择方法的示图；
图15是示出根据一个或多个实施例的虚拟对象移动方法的示图；
图16到图18是示出根据一个或多个实施例的虚拟对象放大/缩小方法的示图；
图19到图22是示出根据一个或多个实施例的虚拟对象旋转方法的示图；
图23是示出根据一个或多个实施例的虚拟对象显示装置的内部构造的框图。
最佳实施方式
在一个或多个实施例中，提供了一种虚拟对象控制方法，包括：检测与虚拟对象进行远程交互的虚拟对象控制单元的位置信息；使用检测的位置信息来检测移动信息，所述移动信息包括指向位置、所指向的点的数量、移动虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置中的至少一个；基于检测的移动信息来选择用于控制虚拟对象的姿势；将选择的姿势链接到虚拟对象；执行与针对虚拟对象的选择的姿势相应的事件。
在一个或多个实施例中，提供了一种虚拟对象显示装置，包括：位置检测器，检测与虚拟对象进行远程交互的虚拟对象控制单元的位置信息；姿势确定部分，使用检测的位置信息来检测移动信息，所述移动信息包括指向位置、所指向的点的数量、移动虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置中的至少一个，并基于检测的移动信息来选择用于控制虚拟对象的姿势；事件执行器，将选择的姿势链接到虚拟对象，并执行与针对虚拟对象的选择的姿势相应的事件。
在一个或多个实施例中，选择的姿势可以是根据检测的移动信息(即，虚拟对象控制装置的指向位置、所指向的点的数量、用于移动虚拟对象控制单元的移动类型和虚拟对象控制装置的移动位置)的选择姿势、放大/缩小姿势和旋转姿势中的至少一个。可从虚拟对象控制单元的位置移动检测移动信息，可从自虚拟对象控制单元接收的光信号或自虚拟对象控制单元测量的距离来获得虚拟对象控制单元的位置信息。
在一个或多个实施例中，提供了一种多远程指向器，包括：投光器，投射光信号；输入检测器，检测触摸和移动信息；输入控制器，控制投光器，并通过光信号提供检测信息，所述检测信息包括位置信息以及触摸和移动信息。
从公开本发明的一个或多个实施例的结合附图的以下详细描述中，其它特征对于本领域的技术人员来说将变得明显。
具体实施方式
现在将详细地参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。在这方面，可以以许多不同的形式来实现本发明的实施例，并且本发明的实施例不应该被解释为限于阐述于此的实施例。因此，以下仅通过参照附图来描述实施例以解释本发明的各方面。
图1是示出根据一个或多个实施例的虚拟对象系统的示图。
参照图1，虚拟对象系统100包括虚拟对象显示装置101和虚拟对象控制装置102。
虚拟对象显示装置101提供虚拟对象103。例如，虚拟对象显示装置101可将虚拟对象103显示在虚拟对象显示装置101设置的显示屏上。这里，虚拟对象103可以是各种字符、图标、头像和虚拟世界之一，并且可以以三维图形图像来表示各种字符、图标、头像和虚拟世界。提供这样的虚拟对象103的虚拟对象显示装置101可以是电视机、计算机、移动电话、个人数字助理(PDA)等。
虚拟对象控制装置102与虚拟对象进行远程交互。虚拟对象控制装置102可使用用户身体的一部分。另外，虚拟对象控制装置102可以是指向装置，诸如用于发出预定光信号的遥控器。例如，用户可操作他/她的手指或单独的指向装置来选择显示在虚拟对象显示装置101上的虚拟对象103，或者移动、旋转或放大/缩小选择的虚拟对象103。
虚拟对象显示装置101检测虚拟对象控制装置102的位置信息，并基于检测的位置信息来获得虚拟对象控制装置102的移动信息。
虚拟对象控制装置102的位置信息可以是虚拟对象控制装置102的三维位置坐标。虚拟对象显示装置101可使用光响应传感器或距离传感器来获得虚拟对象控制装置102的三维位置坐标，其中，光响应传感器用于检测从虚拟对象控制装置102发出的光信号，距离传感器用于测量虚拟控制装置102的距离。
另外，虚拟对象控制装置102的移动信息可以是基于检测的位置信息而计算的指向位置、所指向的点的数量、用于移动虚拟对象控制装置102的移动类型、虚拟对象控制装置102的移动位置。这里，指向位置指的是由虚拟对象控制装置102指向虚拟对象显示装置101的特定位置。另外，所指向的点的数量可以是指向位置的数量。此外，虚拟对象控制装置102的移动类型可以是取决于指向位置的变化的直线或曲线。移动位置可指示是从虚拟对象103的内部的位置产生移动类型还是从虚拟对象103的外部的位置产生移动类型。
虚拟对象显示装置101根据获得的虚拟对象控制装置102的移动信息来选择用于控制虚拟对象103的适当的姿势。也就是说，虚拟对象显示装置101可分析用户操作虚拟对象控制装置102的动作，并根据分析的结果确定适合于用户动作的姿势。确定的姿势可以是用于选择虚拟对象103的选择姿势、用于改变虚拟对象103的显示位置的移动姿势、用于增大或减小虚拟对象103的尺寸的放大/缩小姿势和用于旋转虚拟对象103的旋转姿势。以下，将更详细地描述虚拟对象显示装置101如何使用获得的移动信息来选择哪个姿势。
当预定的姿势被选择时，虚拟对象显示装置101将选择的姿势链接到虚拟对象103。随后，虚拟对象显示装置101执行与选择的姿势相应的事件。例如，虚拟对象显示装置101可选择、移动、放大/缩小或旋转虚拟对象103。
如上所述，由于虚拟对象显示装置101检测虚拟对象控制装置102的移动信息，根据检测的移动信息来选择适当的姿势，并随后根据选择的姿势来控制虚拟对象103的选择、移动、放大/缩小和旋转，因此用户可直观地操作虚拟对象控制装置102，从而像在现实世界一样控制虚拟对象。
图2和图3是示出根据一个或多个实施例的虚拟对象控制装置的外观的示图。
参照图2，虚拟对象控制装置200包括第一虚拟对象控制装置201和第二虚拟对象控制装置202。另外，虚拟对象控制装置201和虚拟对象控制装置202中的每个包括发射装置210、触摸传感器220和移动检测传感器230。
此外，如图3所示，第一虚拟对象控制装置201可连接到第二虚拟对象控制装置202，即，在虚拟对象控制装置202的非发光装置端第一虚拟对象控制装置201可连接到第二虚拟对象控制装置202。例如，在使用中，如图2所示，用户可一只手持有第一虚拟对象控制装置201并且另一只手持有第二虚拟对象控制装置202来使用它们。另外，在存放时，如图3所示，第一虚拟对象控制装置201和第二虚拟对象控制装置202互相连接并被存放。然而，本发明不限于此，但可被用在如图3所示的连接状态中。
在图2和图3中，发射装置210发出光。从发射装置210发出的光可以是红外光或激光束。例如，可通过发光二极管(LED)装置来实现发射装置210。
触摸传感器220检测用户是否接触到触摸传感器220。例如，可使用按钮、压电装置、触摸屏等来形成触摸传感器220。触摸传感器220可被修改为各种形状。例如，触摸传感器220可具有圆形的、椭圆形的、正方形的、长方形的、三角形的或其它的形状。触摸传感器220的外边缘定义了触摸传感器220的操作边界。当触摸传感器220具有圆形的形状时，圆形触摸传感器使用户能够以旋涡的形状来自由并连续地移动他/她的手指。另外，触摸传感器220可使用用于检测手指(或物体)的压力等的传感器。例如，可基于电阻检测、表面声波检测、压力检测、光学检测、电容检测等来操作所述传感器。当手指被放置在传感器上、轻敲传感器或掠过传感器时，可激活多个传感器。当触摸传感器220被实现为触摸屏时，还可通过触摸传感器220引导用于控制虚拟对象103的各种接口以及受控结果。
移动检测传感器230测量虚拟对象控制装置200的加速度、角速度等。例如，移动检测传感器230可以是重力检测传感器或惯性传感器。
当用户操作虚拟对象控制装置200时，虚拟对象控制装置200可将从触摸传感器220产生的用户的触摸信息或从移动检测传感器230产生的用户的操作信息放入发射装置210的光信号中，以将所述信息提供给虚拟对象显示装置101。
虚拟对象控制装置200可以是独立单元或可以与电子装置集成。在独立单元的情况下，虚拟对象控制装置200具有其自己的外壳，在集成类型的情况下，虚拟对象控制装置200可使用电子装置的外壳。这里，电子装置可以是PDA、诸如音乐播放器的媒体播放器、诸如移动电话的通信终端等。
图4是示出根据一个或多个实施例的虚拟对象控制装置的内部构造的框图。
参照图4，虚拟对象控制装置300包括投光器301、输入检测器302和输入控制器303。
投光器301与发射装置210相应，并产生预定的光信号。
输入检测器302分别从触摸传感器220和移动检测传感器230接收触摸信息和移动信息。输入检测器302可适当地转换并处理接收的触摸信息和移动信息。转换并处理的信息可被显示在被形成为触摸屏的触摸传感器220上。
输入控制器303根据输入检测器302的触摸信息和移动信息来控制投光器301。例如，可根据用户是否推动触摸传感器220来调整光信号的波长。另外，可根据移动信息产生具有不同波长的光信号。
例如，用户可将投光器301转向期望的位置，并推动触摸传感器220，从而光可进入虚拟对象显示装置101的特定部分以提供指向位置。
虽然图2、图3和图4示出用于产生预定光信号的虚拟对象控制装置200和虚拟对象控制装置300，但是虚拟对象控制装置200和虚拟对象控制装置300不限于此。例如，用户可使用他/她的手，而不使用单独的工具。
图5和图6是根据一个或多个实施例的虚拟对象显示装置的外部构造的示图。
参照图5，虚拟对象显示装置400包括多个光响应装置401。例如，虚拟对象显示装置400可包括内嵌式显示器(in-cell type display)，在内嵌式显示器中，光响应装置401可被排列在单元之间。这里，光响应装置401可以是光电二极管、光电晶体管、硫化镉(CdS)、太阳能电池等。
当虚拟对象控制装置102发出光信号时，虚拟对象显示装置400可使用光响应装置401来检测虚拟对象控制装置102的光信号，并基于检测的光信号来获得虚拟对象控制装置102的三维位置信息。
参照图6，虚拟对象显示装置400包括移动检测传感器402。像外部引用定位显示器一样，移动检测传感器402可识别用户的移动以获得三维位置信息。
当虚拟对象控制装置102发出光信号时，移动检测传感器402可检测光信号，并基于检测的光信号来获得虚拟对象控制装置102的三维位置信息。另外，当用户的手被用作虚拟对象控制装置102时，至少两个移动检测传感器402可测量距用户的手的距离，并对测量的距离应用三角法，从而获得用户的手的三维位置信息。
在图5和图6中，用户可通过虚拟对象显示装置400在一个屏幕中共享多个虚拟对象。例如，当用户接口技术被应用到平板显示器(诸如平板电脑)时，许多人可在会议等中在用户和系统之间交换信息并且做出决定。
图7是示出根据一个或多个实施例的虚拟对象显示装置的内部构造的框图。
参照图7，虚拟对象显示装置500包括位置检测器501、姿势确定部分502和事件执行器503。
位置检测器501检测与虚拟对象103进行远程交互的虚拟对象控制装置102的位置信息。例如，位置检测器501可通过光响应装置401来检测从虚拟对象控制装置102发出的光信号，以基于检测的光信号获得三维位置信息。另外，当虚拟对象控制装置102不发出光信号时，位置检测器501可通过移动检测传感器402来测量距虚拟对象控制装置102的距离，以基于测量的距离来获得三维位置信息。
姿势确定部分502使用检测的位置信息来检测虚拟对象控制装置102的移动信息，并基于检测的移动信息来选择用于控制虚拟对象103的姿势。移动信息可包括虚拟对象控制装置102的指向位置、点的数量、移动类型和移动位置中的至少一个。选择的姿势可以是用于选择虚拟对象103的选择姿势、用于改变虚拟对象103的显示位置的移动姿势、用于增大或减小虚拟对象103的尺寸的放大/缩小姿势和用于旋转虚拟对象103的旋转姿势中的至少一个。例如，姿势确定部分502可基于检测的移动信息来确定用户对虚拟对象控制装置102的操作是选择、移动、旋转还是放大/缩小虚拟对象103。
事件执行器503将选择姿势链接到虚拟对象103，并执行虚拟对象103的与选择的姿势相应的事件。例如，事件执行器503可根据选择的姿势来选择、移动、旋转或放大/缩小虚拟对象103。
图8是示出根据一个或多个实施例的虚拟对象控制方法的流程图，其中，所述虚拟对象控制方法可以是确定选择的姿势的方法的示例。
参照图8，虚拟对象控制方法600包括：首先，检测虚拟对象控制装置102的指向位置(操作601)。可基于由光响应装置401或移动检测传感器402检测的位置信息来获得虚拟对象控制装置102的指向位置。
虚拟对象控制方法600包括：确定检测的指向位置是否与虚拟对象103的显示位置大体一致(操作602)。根据实施例，指向位置和虚拟对象103的显示位置之间的大体一致可包括关于虚拟对象103的指向位置形成预定闭环的情况。例如，即使当用户指向将被选择的虚拟对象103周围的虚拟对象控制装置102，并关于虚拟对象103画圆时，也可认为指向位置与虚拟对象103的显示位置大体一致。
虚拟对象控制方法600包括：确定在检测的指向位置与虚拟对象103的显示位置大体一致的点是否存在触摸信号或Z轴移动(操作603)，触摸信号可以是特定光信号或虚拟对象控制装置102的光信号的变化，Z轴移动可以是垂直方向(即，虚拟对象显示装置101的屏幕的深度方向)上的移动。当用户触摸虚拟对象控制装置200的触摸传感器220时，可产生触摸信号。基于通过光响应装置401或移动检测传感器402检测的位置信息来获得Z轴移动。
虚拟对象控制方法600包括：当存在触摸信号或Z轴移动时，选择用于选择虚拟对象103的姿势(操作604)。
当姿势被选择时，事件执行器503改变选择的虚拟对象103的颜色或执行突出其边缘的事件来向用户通知虚拟对象103的选择。
因此，用户可使虚拟对象控制装置102的指向位置与虚拟对象103一致，并且推动选择按钮(例如，触摸传感器220)或在虚拟对象显示装置101的屏幕上在垂直方向上移动虚拟对象控制装置102，从而直观地选择虚拟对象103。
图9到图12是示出根据一个或多个实施例的另一虚拟对象控制方法的流程图，其中，所述虚拟对象控制方法可以是确定移动、放大/编小或旋转姿势的方法的示例。
参照图9，虚拟对象控制方法700包括：当虚拟对象103被选择时(操作701)，确定点的数量为一个还是多个(操作702)。可通过图8中描述的方法来确定虚拟对象103是否被选择。
当点的数量为1时，实施处理A。
参照作为处理A的示例的图10，虚拟对象控制方法包括：确定移动类型是直线还是曲线(操作703)。曲线可以是指向位置的变化类型。当移动类型是直线时，虚拟对象控制方法700包括：确定移动位置是在虚拟对象103内部还是在虚拟对象103外部(操作704)。当移动位置在虚拟对象103内部时，虚拟对象控制方法700包括：选择用于移动虚拟对象103的姿势(操作705)，当移动位置在虚拟对象103外部时，虚拟对象控制方法700包括：选择用于放大/缩小虚拟对象103的姿势(操作706)。另外，当移动类型是曲线时，虚拟对象控制方法700包括：确定移动位置是在虚拟对象103内部还是在虚拟对象103外部(操作707)。当移动位置在虚拟对象103内部时，虚拟对象控制方法700包括：选择用于旋转虚拟对象103的第一旋转姿势(操作708)，当移动位置在虚拟对象103外部时，虚拟对象控制方法700包括：选择用于旋转虚拟对象103的环境的第二旋转姿势(操作709)。
参照作为处理A的另一示例的图11，当点的数量为1时，虚拟对象控制方法700可包括：立即选择用于移动虚拟对象103的姿势，而不确定移动类型和移动位置(操作710)。
返回图9，当点的数量为多个时，实施处理B。
参照作为处理B的示例的图12，虚拟对象控制方法700包括：确定移动类型是直线还是曲线(操作711)。当移动类型是直线时，虚拟对象控制方法700包括：选择用于放大/缩小虚拟对象103的姿势(操作712)。当移动类型是曲线时，虚拟对象控制方法700包括：确定移动位置是在虚拟对象103内部还是在虚拟对象103外部(操作713)。当移动位置在虚拟对象103内部时，虚拟对象控制方法700包括：将任何一个指向位置设置为旋转中心，并且根据另一指向位置的移动来选择用于旋转虚拟对象103的第三旋转姿势(操作714)。当移动位置在虚拟对象103外部时，虚拟对象控制方法700包括：将任何一个指向位置设置为旋转中心，并根据另一指向位置的移动来选择用于旋转虚拟对象103的环境的第四旋转姿势(操作715)。
图13是示出根据一个或多个实施例的另一虚拟对象控制方法的流程图，其中，所述虚拟对象控制方法可以是执行事件的方法的示例。
参照图13，当特定姿势被选择时，虚拟对象控制方法800包括：将选择的姿势链接到虚拟对象103(操作801)。
另外，虚拟对象控制方法800包括：执行与选择的姿势相应的事件，其中，选择的姿势与虚拟对象103相应(操作802)。例如，当所述姿势被选择时，改变虚拟对象103的颜色或边缘的事件可被执行。当移动姿势被选择时，改变虚拟对象103的显示位置的事件可被执行。当旋转姿势被选择时，旋转虚拟对象103或虚拟对象103的环境的事件可被执行。当放大/缩小姿势被选择时，增大或减小虚拟对象103的尺寸的事件可被执行。
如上所述，虚拟对象显示装置基于虚拟对象控制装置102的位置信息来提取移动信息(诸如指向位置、点的数量、移动类型和移动位置)，并根据提取的移动信息来选择适当的姿势，从而允许用户像在现实世界中一样控制虚拟对象103。
图14是示出根据一个或多个实施例的虚拟对象选择方法的示图。
参照图14，用户可在以下状态中来触摸虚拟对象控制装置102的触摸传感器220：虚拟对象控制装置指向虚拟对象103以选择虚拟对象103或者在Z轴方向上移动虚拟对象控制装置102以选择虚拟对象103。
例如，用户可使指向位置901与虚拟对象103的显示位置一致，并可推动触摸传感器220，或者在以下状态中改变虚拟对象控制装置102的指向位置：用户正推动传感器220以关于虚拟对象103绘制预定的闭环902。
同时，根据实施例，当虚拟对象103被选择时，预定操作说明可被显示以执行移动、放大/缩小和旋转，这将在以下被描述。
图15是示出根据一个或多个实施例的虚拟对象移动方法的示图。
参照图15，用户可如图9所示来选择虚拟对象103，将虚拟对象控制装置102的指向位置1001置于虚拟对象103内部，并以直线改变指向位置1001的方式来操作虚拟对象控制装置102，从而移动虚拟对象103。
指向位置的改变，即，虚拟对象控制装置102的移动，可被三维地执行。例如，当用户选择虚拟对象103并将虚拟对象控制装置102移动到虚拟对象显示装置101的右边(即，+X轴方向)时，虚拟对象103可在虚拟对象显示装置101的屏幕上向右移动。另外，当用户在远离虚拟对象显示装置101的方向(即，+Z轴方向)上拉动虚拟对象控制装置102时，虚拟对象103可从虚拟对象显示装置101的屏幕向前移动。由于虚拟对象显示装置101的屏幕是二维平面，因此，根据实施例，可用适当的尺寸和位置的变化来执行虚拟对象103的向前和向后移动。
图16到图18是示出根据一个或多个实施例的虚拟对象放大/缩小方法的示图。
参照图16，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的一个指向位置1101置于虚拟对象103的外部，并以直线改变指向位置1101的方式来操作虚拟对象控制控制装置102，从而放大/缩小虚拟对象103。例如，用户操作虚拟对象控制装置102以指示虚拟对象103的边缘和角落，并在以下状态中在+X和+Y方向上移动虚拟对象控制装置102：用户推动触摸传感器220以增大虚拟对象103的尺寸。
参照图17，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的两个指向位置1102和1103置于虚拟对象103内部，并以直线改变指向位置1102和1103的方式来操作虚拟对象控制装置102，从而放大/缩小虚拟对象103。例如，用户可移动虚拟对象控制装置102，以在-X和+X方向上放大虚拟对象103。
参照图18，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的两个指向位置1104和1105置于虚拟对象103外部，并以直线改变指向位置1104和1105的方式来操作虚拟对象控制装置102，从而放大/缩小虚拟对象103。
虽然图16到图18示出以二维方式放大/缩小的虚拟对象103，但是虚拟对象103不限于此。这样的说明仅是为了描述的便利，但是虚拟对象103可被三维地放大或缩小。例如，在图17中，与第一指向位置1102相应的任何一个虚拟对象控制装置210(见图2)可被向前(+Z轴方向)拉动，与第二指向位置1103相应的另一虚拟对象控制装置202(见图2)可被向后(-Z轴方向)推动以在-Z和+Z轴方向上增大虚拟对象103的尺寸。
图19到图22示出根据一个或多个实施例的虚拟对象旋转方法的示图。
参照图19，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的指向位置1201置于虚拟对象103内部，并以曲线改变指向位置1201的方式来操作虚拟对象控制装置102，从而旋转虚拟对象103。这里，旋转中心可以是虚拟对象103的中心或指向位置1201的曲线移动的中心。
参照图20，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的指向位置1202置于虚拟对象103外部，并以曲线改变指向位置1202的方式来操作虚拟对象控制装置102，从而旋转虚拟对象103的环境。这里，旋转中心可以是虚拟对象103的中心或指向位置1202的曲线移动的中心。另外，可选地，环境只有在以下状态中可被旋转：虚拟对象103被固定，或者所有环境可与虚拟对象103一起旋转。
参照图21，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的第一指向位置1203和第二指向位置1204置于虚拟对象103内部，并以曲线改变第二指向位置1204的方式来操作虚拟对象控制装置102，从而旋转虚拟对象103。这里，旋转中心可以是第一指向位置1203。
参照图22，用户可如图14所示来选择虚拟对象103，将虚拟对象控制装置102的第一指向位置1205和第二指向位置1206置于虚拟对象103外部，并以曲线改变第二指向位置1206的方式来操作虚拟对象控制装置102，从而旋转虚拟对象103和/或虚拟对象103的环境。这里，旋转中心可以是第一指向位置1205。
虽然图19到图22示出虚拟对象103和/或虚拟对象103的环境的二维旋转，但不限于此。这样的说明仅是为了描述的便利，但是虚拟对象103可被三维地旋转。例如，在图19中，用户在以下状态中通过像拉钓鱼杆一样画圆来向后拉动虚拟对象控制装置102：虚拟对象控制装置102的指向位置1201被布置在虚拟对象103上，使得虚拟对象103可关于X轴旋转。
根据实施例，针对每个虚拟对象103，可单独执行上述的选择、移动、放大/缩小和旋转，或者针对任何一个虚拟对象103，可同时执行上述的选择、移动、放大/缩小和旋转。例如，可移动并旋转虚拟对象103，或可控制在X-Y平面上的到任何一个指向位置的移动并控制在Z轴上的到另一指向位置的移动。
图23是示出根据一个或多个实施例的虚拟对象显示装置的内部构造的框图。
参照图23，虚拟对象显示装置1300包括接收器20、姿势识别器22、指向链接器24和事件执行器26。接收器20从虚拟对象控制装置102接收包括检测信息的输入信号。例如，接收器20接收通过触摸传感器220或移动检测传感器230检测的检测信息。姿势识别器22分析通过接收器20接收的检测信息并提取虚拟对象控制装置102指向的位置信息以及虚拟对象控制装置102的触摸和移动信息。随后，姿势识别器22根据提取的信息来识别姿势。这里，指向的位置信息包括点的数量，移动信息包括移动类型和移动位置。
根据实施例，姿势识别器22可将由虚拟对象控制装置102指向的特定点或区域的指示识别为虚拟对象103的选择操作。另外，姿势识别器22可根据针对虚拟对象103的点的数量、移动对象和移动位置来将用户的姿势识别为移动、旋转或放大/缩小操作。
指向链接器24根据通过姿势识别22识别的姿势来将虚拟对象控制装置102指向的指向位置链接到显示在显示屏上的虚拟对象103。
同时，事件执行器26执行针对通过指向链接器24链接的虚拟对象的事件。也就是说，根据通过姿势识别器22识别的姿势执行针对与虚拟对象控制装置102的指向位置相应的姿势识别器的虚拟对象的事件。例如，可执行针对对象的选择、移动、旋转或放大/缩小操作。因此，即使在远距离，也可向用户提供以触摸方式直接操作对象的感觉。
可通过计算机可读介质实现本发明的实施例，所述计算机可读介质包括控制至少一个处理装置(诸如处理器或计算机)以实现这样的实施例的计算机可读代码。计算机可读介质包括存储计算机可读数据的所有种类的记录装置。
计算机可读记录介质包括：只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘、光学数据存储装置等。另外，计算机可读介质可以是分布式的联网的计算机系统，从而可以以分布式方式存储并执行计算机可读代码。
虽然参照了本发明的不同的实施例特别示出并描述了本发明的各方面，但是应该理解这些实施例应该被认为仅是描述性的，并非为了限制的目的。在每个实施例内的特征或方面的描述通常应该被认为可用于剩余实施例中的其它相似的特征或方面。
因此，虽然已示出并描述了一些实施例，另外的实施例同样可用，但是本领域的技术人员应该理解，可在不脱离本发明的原理和精神的情况下在这些实施例中进行改变，本发明的范围在权利要求及其等同物中被限定。
产业上的可利用性
一个或多个实施例可应用于用户控制虚拟对象的指向输入技术和姿势识别技术。

Claims (30)

1.一种虚拟对象显示装置，包括：
位置检测器，检测与虚拟对象进行远程交互的虚拟对象控制单元的位置信息；
姿势确定部分，使用检测的位置信息来检测运动信息，并基于检测的运动信息来选择用于控制虚拟对象的姿势，其中，所述运动信息包括虚拟对象控制单元的指向位置、虚拟对象控制单元的所指向的点的数量、虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置，其中，所述移动位置指示从虚拟对象的内部的位置产生所述移动类型还是从虚拟对象的外部的位置产生所述移动类型。
2.如权利要求1所述的虚拟对象显示装置，还包括：事件执行器，将选择的姿势链接到虚拟对象，并执行与针对虚拟对象的选择的姿势相应的事件。
3.如权利要求1所述的虚拟对象显示装置，其中，虚拟对象控制单元是发出预定光信号的指向装置或用户身体的一部分中的至少一个。
4.如权利要求1所述的虚拟对象显示装置，其中，用于控制虚拟对象的姿势是用于选择对象的选择姿势、用于改变虚拟对象的显示位置的移动姿势、用于改变虚拟对象的尺寸的放大/缩小姿势和用于旋转虚拟对象的旋转姿势中的至少一个。
5.如权利要求1所述的虚拟对象显示装置，其中，当指向位置与虚拟对象的显示位置大体一致时，姿势确定部分选择用于选择虚拟对象的姿势。
6.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为1，移动类型是直线，并且移动位置是在虚拟对象内部的位置时，姿势确定部分选择用于移动虚拟对象的姿势。
7.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为1，移动类型是直线，并且移动位置是在虚拟对象外部的位置时，姿势确定部分选择用于放大/缩小虚拟对象的姿势。
8.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为1，移动类型是曲线，并且移动位置是在虚拟对象内部的位置时，姿势确定部分选择用于旋转虚拟对象的姿势。
9.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为1，移动类型是曲线，并且移动位置是在虚拟对象外部的位置时，姿势确定部分选择用于旋转虚拟对象的环境的姿势。
10.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为1时，姿势确定部分选择用于移动虚拟对象的姿势。
11.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为多个，并且移动类型是直线时，姿势确定部分选择用于放大/收缩虚拟对象的姿势。
12.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为多个，移动类型是曲线，并且移动位置是在虚拟对象内部的位置时，姿势确定部分选择用于关于任何一个指向位置旋转虚拟对象的姿势。
13.如权利要求1所述的虚拟对象显示装置，其中，当所指向的点的数量为多个，移动类型是曲线，并且移动位置是在虚拟对象外部的位置时，姿势确定部分选择用于关于任何一个指向位置旋转虚拟对象的环境的姿势。
14.一种虚拟对象显示装置，包括：
姿势识别器，分析从虚拟对象控制单元接收的检测信息，提取虚拟对象控制单元指向的位置信息以及虚拟对象控制单元的触摸和移动信息，根据提取的位置信息、触摸信息和移动信息来识别用于控制虚拟对象的姿势，其中，所述位置信息包括虚拟对象控制单元的所指向的点的数量，所述移动信息包括虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置，所述移动位置指示从虚拟对象的内部的位置产生所述移动类型还是从虚拟对象的外部的位置产生所述移动类型；
指向链接器，根据识别的姿势将虚拟对象控制单元指向的指向位置链接到显示在屏幕上的对象；
事件执行器，执行针对链接的对象的事件。
15.如权利要求14所述的虚拟对象显示装置，其中，姿势识别器根据针对对象的所指向的点的数量、用于移动虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置来将姿势识别为移动、旋转或放大/缩小操作。
16.一种多远程指向器，包括：
投光器，投射光信号；
输入检测器，检测多远程指向器的触摸信息和移动信息；
输入控制器，控制投光器，并通过光信号输出检测信息，其中，检测信息包括多远程指向器的位置信息以及触摸信息和移动信息，其中，所述位置信息包括多远程指向器的所指向的点的数量，所述移动信息包括多远程指向器的移动类型和多远程指向器的移动位置，所述移动位置指示从虚拟对象的内部的位置产生所述移动类型还是从虚拟对象的外部的位置产生所述移动类型，
其中，多远程指向器的位置信息以及触摸信息和移动信息用于识别用于控制虚拟对象的姿势。
17.如权利要求16所述的多远程指向器，其中，多远程指向器被分为至少两个部分，每个部分具有投光端和非投光端，从而当组合所述至少两个部分时，在非投光端连接所述至少两个部分。
18.一种虚拟对象控制方法，包括：
检测与虚拟对象进行远程交互的虚拟对象控制单元的位置信息；
使用检测的位置信息来检测运动信息，并基于检测的运动信息来选择用于控制虚拟对象的姿势，其中，所述运动信息包括虚拟对象控制单元的指向位置、虚拟对象控制单元的所指向的点的数量、虚拟对象控制单元的移动类型和虚拟对象控制单元的移动位置，其中，所述移动位置指示从虚拟对象的内部的位置产生所述移动类型还是从虚拟对象的外部的位置产生所述移动类型。
19.如权利要求18所述的虚拟对象控制方法，还包括：将选择的姿势链接到虚拟对象，并执行与针对虚拟对象的选择的姿势相应的事件。
20.如权利要求18所述的虚拟对象控制方法，其中，检测位置信息的步骤包括：使用从虚拟对象控制单元输出的光信号或从虚拟对象显示装置到虚拟对象控制单元的测量的距离来计算虚拟对象控制单元的三维位置坐标。
21.如权利要求18所述的虚拟对象控制方法，其中，用于控制虚拟对象的姿势是用于选择虚拟对象的选择姿势、用于改变虚拟对象的显示位置的移动姿势、用于改变虚拟对象的尺寸的放大/缩小姿势和用于旋转虚拟对象的旋转姿势中的至少一个。
22.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当指向位置与虚拟对象的显示位置大体一致时，选择用于选择虚拟对象的姿势。
23.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为1，移动类型是直线，并且移动位置是在虚拟对象内部的位置时，选择用于移动虚拟对象的姿势。
24.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为1，移动类型是直线，并且移动位置是在虚拟对象外部的位置时，选择用于放大/缩小虚拟对象的姿势。
25.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为1，移动类型是曲线，并且移动位置是在虚拟对象内部的位置时，选择用于旋转虚拟对象的姿势。
26.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为1，移动类型是曲线，并且移动位置是在虚拟对象外部的位置时，选择用于旋转虚拟对象的环境的姿势。
27.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为1时，选择用于移动虚拟对象的姿势。
28.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为多个，移动类型是直线时，选择用于放大/缩小虚拟对象的姿势。
29.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为多个，移动类型是曲线，并且移动位置是在虚拟对象内部的位置时，选择用于关于任何一个指向位置旋转虚拟对象的姿势。
30.如权利要求18所述的虚拟对象控制方法，其中，选择姿势的步骤包括：当所指向的点的数量为多个，移动类型是曲线，并且移动位置是在虚拟对象外部的位置时，选择用于关于任何一个指向位置旋转虚拟对象的环境的姿势。
CN201080013082.3A 2009-03-23 2010-03-23 多远程指向器、虚拟对象显示装置和虚拟对象控制方法 Expired - Fee Related CN102362243B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2009-0024504 2009-03-23
KR20090024504 2009-03-23
KR1020100011639A KR101666995B1 (ko) 2009-03-23 2010-02-08 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
KR10-2010-0011639 2010-02-08
PCT/KR2010/001764 WO2010110573A2 (en) 2009-03-23 2010-03-23 Multi-telepointer, virtual object display device, and virtual object control method

Publications (2)

Publication Number Publication Date
CN102362243A CN102362243A (zh) 2012-02-22
CN102362243B true CN102362243B (zh) 2015-06-03

Family

ID=43128607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080013082.3A Expired - Fee Related CN102362243B (zh) 2009-03-23 2010-03-23 多远程指向器、虚拟对象显示装置和虚拟对象控制方法

Country Status (6)

Country Link
US (1) US20100238137A1 (zh)
EP (1) EP2411891A4 (zh)
JP (1) JP5784003B2 (zh)
KR (1) KR101666995B1 (zh)
CN (1) CN102362243B (zh)
WO (1) WO2010110573A2 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2635952B1 (en) 2010-11-01 2021-01-06 InterDigital CE Patent Holdings Method and device for detecting gesture inputs
EP2455841A3 (en) 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
EP2681638A4 (en) * 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
US9001208B2 (en) * 2011-06-17 2015-04-07 Primax Electronics Ltd. Imaging sensor based multi-dimensional remote controller with multiple input mode
WO2013067526A1 (en) * 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
KR101710000B1 (ko) * 2011-12-14 2017-02-27 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
AT512350B1 (de) * 2011-12-20 2017-06-15 Isiqiri Interface Tech Gmbh Computeranlage und steuerungsverfahren dafür
US9159162B2 (en) * 2011-12-28 2015-10-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and system for generating a multi-dimensional surface model of a geometric structure
CN102707878A (zh) * 2012-04-06 2012-10-03 深圳创维数字技术股份有限公司 一种用户界面的操作控制方法及装置
CA2873811A1 (en) * 2012-05-18 2013-11-21 Jumbo Vision International Pty Ltd An arrangement for physically moving two dimensional, three dimensional and/or stereoscopic three dimensional virtual objects
KR101463540B1 (ko) * 2012-05-23 2014-11-20 한국과학기술연구원 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법
DE202013100255U1 (de) * 2012-06-20 2013-04-12 Samsung Electronics Co. Ltd. Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
KR20130142824A (ko) * 2012-06-20 2013-12-30 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US10496177B2 (en) * 2013-02-11 2019-12-03 DISH Technologies L.L.C. Simulated touch input
CN105378631B (zh) * 2013-05-22 2019-08-20 诺基亚技术有限公司 用于远程控制的装置、方法和计算机程序
US10740979B2 (en) 2013-10-02 2020-08-11 Atheer, Inc. Method and apparatus for multiple mode interface
US10163264B2 (en) * 2013-10-02 2018-12-25 Atheer, Inc. Method and apparatus for multiple mode interface
FR3024267B1 (fr) * 2014-07-25 2017-06-02 Redlime Procedes de determination et de commande d'un equipement a commander, dispositif, utilisation et systeme mettant en œuvre ces procedes
CN104881217A (zh) * 2015-02-15 2015-09-02 上海逗屋网络科技有限公司 在触摸终端上加载触摸控制场景的方法及设备
CN105068679A (zh) * 2015-07-22 2015-11-18 深圳多新哆技术有限责任公司 调整虚拟物件在虚拟空间中位置的方法及装置
US10338687B2 (en) * 2015-12-03 2019-07-02 Google Llc Teleportation in an augmented and/or virtual reality environment
CN107436678B (zh) * 2016-05-27 2020-05-19 富泰华工业（深圳）有限公司 手势控制系统及方法
KR101682626B1 (ko) * 2016-06-20 2016-12-06 (주)라온스퀘어 인터랙티브 콘텐츠 제공 시스템 및 방법
CN109564499A (zh) * 2017-03-22 2019-04-02 华为技术有限公司 图标选择界面的显示方法及装置
CN107198879B (zh) * 2017-04-20 2020-07-03 网易（杭州）网络有限公司 虚拟现实场景中的移动控制方法、装置及终端设备
CN109814704B (zh) * 2017-11-22 2022-02-11 腾讯科技（深圳）有限公司 一种视频数据处理方法和装置
KR102239469B1 (ko) * 2018-01-19 2021-04-13 한국과학기술원 객체 제어 방법 및 객체 제어 장치
WO2019143204A1 (ko) * 2018-01-19 2019-07-25 한국과학기술원 객체 제어 방법 및 객체 제어 장치
KR102184243B1 (ko) * 2018-07-06 2020-11-30 한국과학기술연구원 Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
US20240094831A1 (en) * 2022-09-21 2024-03-21 Apple Inc. Tracking Devices for Handheld Controllers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584838A (zh) * 2003-08-22 2005-02-23 泉茂科技股份有限公司 虚拟环境与无线模型同步系统
KR20080060656A (ko) * 2006-12-27 2008-07-02 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4812829A (en) * 1986-05-17 1989-03-14 Hitachi, Ltd. Three-dimensional display device and method for pointing displayed three-dimensional image
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP3234736B2 (ja) * 1994-04-12 2001-12-04 松下電器産業株式会社 入出力一体型情報操作装置
GB2289756B (en) * 1994-05-26 1998-11-11 Alps Electric Co Ltd Space coordinates detecting device and input apparatus using same
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
JP4803883B2 (ja) * 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP2002281365A (ja) * 2001-03-16 2002-09-27 Ricoh Co Ltd デジタルカメラ
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
GB2424269A (en) * 2004-04-01 2006-09-20 Robert Michael Lipman Control apparatus
US7852317B2 (en) * 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
US8022928B2 (en) * 2005-08-22 2011-09-20 Qinzhong Ye Free-space pointing and handwriting
JP5424373B2 (ja) * 2006-03-09 2014-02-26 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法
JP4557228B2 (ja) * 2006-03-16 2010-10-06 ソニー株式会社 電気光学装置および電子機器
JP2009535727A (ja) * 2006-05-02 2009-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 凍結及び再開機能を備える３ｄ入力／ナビゲーションデバイス
JP4880693B2 (ja) * 2006-10-02 2012-02-22 パイオニア株式会社 画像表示装置
US8089455B1 (en) * 2006-11-28 2012-01-03 Wieder James W Remote control with a single control button
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP4789885B2 (ja) * 2007-07-26 2011-10-12 三菱電機株式会社 インタフェース装置、インタフェース方法及びインタフェースプログラム
US9335912B2 (en) * 2007-09-07 2016-05-10 Apple Inc. GUI applications for use with 3D remote controller
JP4404924B2 (ja) * 2007-09-13 2010-01-27 シャープ株式会社 表示システム
JP2008209915A (ja) * 2008-01-29 2008-09-11 Fujitsu Ten Ltd 表示装置
JP4766073B2 (ja) * 2008-05-30 2011-09-07 ソニー株式会社 情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584838A (zh) * 2003-08-22 2005-02-23 泉茂科技股份有限公司 虚拟环境与无线模型同步系统
KR20080060656A (ko) * 2006-12-27 2008-07-02 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법

Also Published As

Publication number Publication date
WO2010110573A3 (en) 2010-12-23
EP2411891A4 (en) 2017-09-06
JP2012521594A (ja) 2012-09-13
KR20100106203A (ko) 2010-10-01
CN102362243A (zh) 2012-02-22
US20100238137A1 (en) 2010-09-23
WO2010110573A2 (en) 2010-09-30
JP5784003B2 (ja) 2015-09-24
KR101666995B1 (ko) 2016-10-17
EP2411891A2 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
CN102362243B (zh) 多远程指向器、虚拟对象显示装置和虚拟对象控制方法
US10511778B2 (en) Method and apparatus for push interaction
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
Ballagas et al. The smart phone: a ubiquitous input device
US9134800B2 (en) Gesture input device and gesture input method
EP2972669B1 (en) Depth-based user interface gesture control
CN103809733B (zh) 人机交互系统和方法
KR102058990B1 (ko) 모바일 디바이스 및 그 제어 방법
CN107636594A (zh) 用于处理触摸输入的设备和方法
CN107066137A (zh) 提供用户界面的设备和方法
JP2013037675A5 (zh)
CN104246661A (zh) 使用手势与装置交互
JP2013524311A (ja) 近接性に基づく入力のための装置および方法
CN102934060A (zh) 虚拟触摸接口
CN103403661A (zh) 手势基输入的缩放
CN103502923A (zh) 用户与设备的基于触摸和非触摸的交互作用
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
KR101872272B1 (ko) 제어 기기를 이용한 전자기기의 제어 방법 및 장치
EP2752831A1 (en) Input device, display device and method of controlling thereof
CN109804638A (zh) 移动装置的双模式增强现实界面
KR101519225B1 (ko) 휴대용 디바이스 센서를 이용한 디바이스 간 컨텐츠 이동 방법 및 시스템
CN107690614A (zh) 多个视图之间的移动
CN107787478A (zh) 在用户界面显示器中选择内容项
CN109814794A (zh) 一种界面显示方法及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150603

Termination date: 20200323