CN103477305B - 元素或项目的基于手势的控制 - Google Patents

元素或项目的基于手势的控制 Download PDF

Info

Publication number
CN103477305B
CN103477305B CN201280019096.5A CN201280019096A CN103477305B CN 103477305 B CN103477305 B CN 103477305B CN 201280019096 A CN201280019096 A CN 201280019096A CN 103477305 B CN103477305 B CN 103477305B
Authority
CN
China
Prior art keywords
screen
feature
project
dimension
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280019096.5A
Other languages
English (en)
Other versions
CN103477305A (zh
Inventor
L.J.F.格尔特斯
P.考夫霍兹
H.P.M.斯特肯
J.克诺伊斯特
I.D.斯图夫赞德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tcl Yunchuang Technology Co ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN103477305A publication Critical patent/CN103477305A/zh
Application granted granted Critical
Publication of CN103477305B publication Critical patent/CN103477305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种用于控制可能地示出在屏幕(31)上的元素(40‑70)或可能地由所述元素(70)所表示的项目(71)的设备(1)包括：检测器(11‑13)，用于检测诸如身体部分这样的对象(2)在第一和第二维度中的特征；以及转换器(14)，用于将第一特征转换成针对所述元素(40‑70)或所述项目(71)的动作。通过使所述动作依赖于第二特征，大量的可能性被增加。第一特征可以为所述对象(2)的移动以及第二特征可以为所述对象(2)的绝对或相对位置。第一维度可以与所述屏幕(31)平行以及第二维度可以与所述屏幕(31)垂直或平行，或者反之亦然。动作可以包括以位置相关的速度浏览元素(40‑69)的组(4‑6)或者取决于所述位置来浏览一个或多个组(4‑6)。所述项目(71)可以为灯、电器、音频播放机、视频播放机，从而它们的参数可以依赖于所述移动和所述位置而被调整。

Description

元素或项目的基于手势的控制
技术领域
本发明涉及一种用于控制元素或项目的设备。
本发明进一步涉及装置、方法、计算机程序产品以及介质。
这样的设备的例子是基于识别手势并且使用这些所识别手势的用户追踪设备和接口连接（interfacing）设备。
背景技术
US 2009 / 0217211 A1公开了一种使用所识别手势的增强输入。
US 2010 / 0235786 A1公开了用于远程装置的增强的3D接口连接。
EP 2 105 844 A2公开了一种显示信息的方法。
US 2007 / 0126696 A1公开了一种用于映射虚拟坐标的方法。
US 2009 / 0058830 A1公开了一种用于解释手指手势的方法。
发明内容
本发明的目标是提供改进的设备。
本发明的另外的目标是提供装置、方法、计算机程序产品以及介质。
根据第一方面，提供了用于控制元素或项目的设备，所述设备包括用于检测对象在第一维度中的第一特征和所述对象在另一第二维度中的第二特征的检测器，并且包括用于将第一特征转换成要对所述元素或所述项目执行的动作的转换器，所述动作取决于第二特征，第一特征是对象的移动以及第二特征是对象的位置，元素被示出在屏幕上并且项目由所述元素来表示，第一维度是与屏幕平行的方向以及第二维度是与屏幕垂直的方向，并且所述动作包括浏览。
所述对象可以为例如身体部分或由身体部分所持有的物理对象或耦合到身体部分的物理对象等。身体部分可以为例如手或手指或臂或脚或腿或鼻子等。所述元素可以为例如屏幕上的图标或符号或缩略图或窗口等。所述元素可以表示在计算机中存储的数据，诸如图片或程序或音频或视频等。所述元素可以表示与屏幕分开定位的可控项目，诸如灯、电器、音频播放机、视频播放机等。
所述检测器被布置用于检测对象在第一维度中的第一特征并且被布置用于检测对象在另一第二维度中的第二特征。所述转换器被布置用于将第一特征转换成要对所述元素或由所述元素所表示的项目执行的动作。
所以，经由在第一维度中检测到的第一特征，所述动作已被定义。通过使这个动作依赖于第二特征，经由这个第二特征，这个动作的某个特性或类型或参数等已被定义。这增加了大量的可能性，这是极大的改进。
所述设备是进一步有利的，在于通过用户的操作已变得更加有效。过去，为了适配动作的某个特性或类型或参数等，用户必须访问例如屏幕上的另一位置以便进行这样的适配。这是效率低的过程。现在，在不用离开屏幕上的元素的情况下，用户能够进行所述适配。这是更有效的过程。
第一特征是对象的移动和第二特征是对象的位置。移动的解释能够经由位置而被适配。这个位置能够鉴于屏幕和/或鉴于另一对象来定义。移动可以包括旋转、倾斜、投掷、滚动、摇晃（yaw）、挥击、跳跃等。
对象当更靠近屏幕和/或在离另一个对象较大的距离处被定位时的移动将具有第一结果，而对象当在离屏幕较大的距离处和/或更靠近另一个对象被定位时的移动将具有不同的第二结果。所述动作包括浏览。
所述设备的实施例通过包括以取决于位置的速度来浏览包括所述元素的一组元素的浏览来定义。根据这个实施例，对象当更靠近屏幕和/或在离另一个对象较大的距离处被定位时的移动将导致以第一速度进行浏览，以及对象当在离屏幕较大的距离处和/或更靠近另一个对象时被定位的移动将导致以诸如例如较高速度的不同的第二速度进行浏览。
所述设备的实施例通过包括对于位置为第一位置而浏览元素的多个组（一个组包括所述元素）的浏览以及通过包括对于位置为另一第二位置而浏览各组中的一个的浏览来定义。根据这个实施例，对象当更靠近屏幕和/或在离另一个对象较大的距离处被定位时的移动将导致以诸如元素级别这样的第一级别进行浏览，而对象当在离屏幕较大的距离处和/或更靠近另一个对象被定位时的移动将导致以诸如组级别这样的不同的第二级别进行浏览。
所述设备的实施例通过包括对于位置为第一位置而以相对一般的等级进行浏览的浏览以及通过包括对于位置为不同的第二位置而以相对特定的等级进行浏览的浏览来定义。根据这个实施例，对象当更靠近屏幕和/或在离另一个对象较大的距离处被定位时的移动将导致以诸如特定等级这样的第一等级进行浏览，而对象当在离屏幕较大的距离处和/或更靠近另一个对象被定位时的移动将导致以诸如一般等级这样的不同的第二等级进行浏览。
所述设备的实施例通过被布置成检测还在另一第三维度中的对象的移动或对象的位置的检测器来定义，所述第三维度是与屏幕平行的另一方向。
当对象被定位较高(或较低)时，对象在例如水平方向上的移动将具有第一结果，而当被定位较低(或较高)时，对象在水平方向上的移动将具有不同的第二结果。类似地，当被定位更向左(或右)时，对象在例如垂直方向上的移动将具有第三结果，而当被定位更向右(或左)时，对象在垂直方向上的移动将具有不同的第四结果。
对于形式为产生光的灯的项目，经由移动，例如光的亮度能够被适配，以及经由位置，例如光的颜色能够被适配。对于形式为产生音频的音频播放机的项目，经由移动，例如音频的音量能够被适配，以及经由位置，例如音频的频率能够被适配，或者，对于不同的位置，不同频率分量的音量能够被适配。两个选项对于一个或相同的元素来说是可能的，并且无需为每个选项创建新的元素。
所述设备的实施例通过定义动作的特性或类型或参数的第二特征来定义。
所述设备的实施例通过是身体部分或由身体部分持有或者耦合到身体部分的物理对象的对象和优选地是相对于另一对象的相对位置的位置来定义，另一个对象为另一身体部分或身体的其余部分。所述控制还被称为基于手势的控制。位置可能是绝对位置(例如相对于屏幕)但可能优选地为例如相对于另一个对象的相对位置，所述另一个对象诸如例如另一身体部分或身体的其余部分。如果位置是绝对位置，则所述检测器应该能够进行绝对检测。如果位置是相对位置，则所述检测器仅需要通过检测两个对象和它们的相对位置来进行相对检测，而无需进行绝对检测。
所述设备的实施例通过被布置用于将第二特征转换成要被示出在所述屏幕上或者要被以其它方式重现的信息的转换器来定义。根据这个实施例，反馈在屏幕上或以其它方式(经由音频或者经由发送到对象或项目的信号等)被提供给用户，以便帮助用户。
应当指出，对象在第一维度中的第一特征和对象在另一第二维度中的第二特征都与相同的元素有关。所以，当对于第二维度为与屏幕平行的第二方向而在第二维度上行进时，第二特征不经由紧挨所述元素的位于屏幕上的另一元素被检测。进一步地，第一特征被转换成要对所述元素或由所述元素所表示的项目执行的动作，并且要对这个元素和由这个元素所表示的这个项目执行的动作取决于第二特征。所以，第二特征定义这个动作的某个特性或类型或参数等。
根据第二方面，提供了包括如上面所定义的设备并且进一步包括所述项目和/或所述屏幕的装置。
根据第三方面，提供了用于控制元素或项目的方法，所述方法包括检测对象在第一维度中的第一特征和对象在另一第二维度中的第二特征的步骤并且包括将第一特征转换成要对所述元素或所述项目执行的动作的步骤，所述动作取决于第二特征，第一特征是对象的移动以及第二特征是对象的位置，元素被示出在屏幕上并且项目由所述元素来表示，第一维度是与屏幕平行的方向以及第二维度是与屏幕垂直的方向，并且所述动作包括浏览。
根据第四方面，提供了用于执行如上面所定义的方法的步骤的计算机程序产品。
根据第五方向，提供了用于存储和包括如上面所定义的计算机程序产品的介质。
所述方法的实施例与所述设备的实施例对应。
洞察可能是，一个以上的维度能够被用于控制可能地示出在屏幕上的元素或者用于控制可能地由所述元素表示并且可能地与屏幕分开定位的项目。基本思想可能是通过检测对象在第一和第二维度中的第一和第二特征以及通过将第一特征转换成要对所述元素或所述项目执行的动作，大量的可能性能够通过使动作依赖于第二特征而被增加。
提供改进设备的问题已被解决。另外的优点可能是通过用户的操作已变得更加有效。
本发明的这些和其它方面从在下文中所描述的实施例中将是明显的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
在图中：
图1示出包括设备的装置，
图2示出彼此分开的装置和设备，
图3示出(上部)浏览屏幕上成组的元素和(下部)屏幕上一组元素内的浏览，
图4示出由屏幕上的元素表示并且经由对象控制的项目，以及
图5示出不由屏幕上的元素表示但仍然经由对象控制的项目。
具体实施方式
在图1中，装置被示出包括设备。设备1包括形式为3D相机的检测器11和耦合到检测器11的转换器14。装置3进一步包括屏幕31和处理器32。转换器14可以为另一处理器和/或可以形成处理器32的一部分。
在图2中，装置和设备被彼此分开地示出。设备1包括形式为第一2D相机和第二2D相机的检测器12-13以及耦合到检测器12-13的转换器14。装置3包括屏幕31和耦合到转换器14的处理器32。转换器14可以为另一处理器。
不排除其它种类的检测器，诸如用于检测绝对位置的检测器(例如全球定位系统检测器和局部定位系统检测器)、用于检测电磁场中的干扰的检测器、基于雷达或声纳技术的检测器等。
在图3中，在上部中，屏幕上成组元素的浏览被示出，以及在下部中，屏幕上一组元素内的浏览被示出。在图3的上部，正在显示各十个元素40-49、50-59以及60-69的三个组4-6的屏幕31被示出(正视图)。进一步地，对象2被示出(顶视图)，所述对象2诸如例如身体部分或由身体部分所持有的物理对象或耦合到身体部分的物理对象等。身体部分可以为例如手或手指或臂或脚或腿或鼻子等。元素40-69可以例如为屏幕31上的图标或符号或缩略图或窗口等。元素40-69可以表示在计算机中存储的数据，诸如图片或程序或音频或视频等。在图3的上部，对象2例如通过正向左(X方向)挥舞手的手指的用户正在进行向左移动，如由箭头所指示的那样。这是在离屏幕31的第一距离处(Z方向)完成的。
在图3的下部，正在显示十个元素50-59的屏幕31被示出(正视图)。进一步地，对象2被示出(顶视图)。在这里，对象2例如通过正向左(X方向)挥舞手的手指的用户正在再次进行向左移动，如由箭头所指示的那样。但在这里，这是在离屏幕31的第二距离处(Z方向)完成的，所述第二距离小于第一距离。结果，用户不再浏览组4-6，而用户现在正浏览组4-6的一个组5内的元素50-59。从而，元素50-59可以被放大或者不被放大，并且可以被更加彼此分开地或者不分开地示出。
所以，通常，在这里设备1被布置用于控制在屏幕31上示出的元素40-69。检测器11-13被布置用于检测对象2在第一维度中的第一特征和对象2在另一第二维度中的第二特征。转换器14被布置用于将第一特征转换成要对元素40-69执行的动作。根据极大的改进，动作可以取决于第二特征。
优选地，第一特征可以为对象2的移动，以及第二特征可以为对象2的位置。第一维度可以为与屏幕31平行的方向X，以及第二维度可以为与屏幕31垂直的方向Z。
如所示，动作可以包括对于位置为第一位置而浏览元素40-69的多个组4-6，并且动作可以包括对于位置为另一第二位置而在组4-6的一个组5(内)浏览。
类似地，替换地，动作可以包括以取决于位置的速度来浏览元素40-69的一个或多个组4-6。类似地，替换地，动作可以包括对于位置为第一位置而以相对一般的等级（scale）进行浏览，并且动作可以包括对于位置为不同的第二位置而以相对特定的等级进行浏览。
所述控制还被称为基于手势的控制。所述位置能够鉴于屏幕31和/或鉴于另一对象被定义。位置可能是绝对位置（例如相对于屏幕31），以及可能是相对位置（例如相对于另一对象）。另一个对象能够例如为另一身体部分或身体的其余部分。如果位置是绝对位置，则检测器11-13应该能够进行绝对检测。如果位置是相对位置，则检测器11-13仅需要通过检测两个对象和它们的相对位置来进行相对检测，而无需进行绝对检测。
在图4中，由屏幕31上的元素70表示并且经由对象2来控制的项目71被示出。在这里项目71是灯，但替换地，项目可以为电器、音频播放机、视频播放机或诸如消费产品或专业产品之类的产品等。项目71通常是与屏幕31分开定位的可控项目。
通常，在这里设备1被布置用于控制由屏幕31上的元素70所表示的项目71。检测器11-13被布置用于检测对象2在第一维度中的第一特征和该对象在另一第二维度中的第二特征。转换器14被布置用于将第一特征转换成要对项目71执行的动作。根据极大的改进，动作可以取决于第二特征。
优选地，第一特征可以为对象2的移动，以及第二特征可以为对象2的位置。在这里，第一维度可以为与屏幕31平行的方向X，以及第二维度可以为与屏幕31平行的另一方向Y，方向X和Y两者都例如为垂直方向。
动作可以包括依赖于移动来调整项目71的第一参数，并且动作可以包括依赖于位置来调整项目71的另一第二参数。对于形式为产生光的灯的项目71，例如光的亮度能够经由移动被适配，以及例如光的颜色能够经由位置被适配。
替换地，对于形式为产生音频的音频播放机的项目，例如音频的音量能够经由移动被适配，以及例如音频的频率能够经由位置被适配，或者对于不同的位置，不同频率分量的音量能够被适配等。
附加地，根据进一步的改进，转换器14可以被布置用于将第二特征转换成要被示出在屏幕31上或者要被以其它方式重现的信息，以便出于辅助目的在屏幕31上或者否则经由音频或者经由要被发送到对象2或项目71等的信号将反馈提供给用户。
替换地和/或附加地，第二特征可以为对象2的位置中的改变，换句话说对象2的(暂时)移动，从而(暂时地)第一特征能够在对象2的移动的情况下被停止。因此，第一和第二特征不应该被非常有限地着眼。类似地，图3中的速度和/或浏览可以针对在方向X和Y上的移动和位置而被调整，以及图4中的参数可以针对在方向X和Z或Y和Z等上的移动和位置而被调整。每次，代替两个维度，三个维度也可以被使用，并且甚至形式为时间或日期或光量或噪声量或温度或另一特征的第四维度可以被引入。
在图5中，不由屏幕上的元素表示但仍然经由对象控制的项目被示出。在这里，项目71形式为扬声器。通过在离与扬声器平行的项目71的第一距离(用方向Z表达)处移动对象2(例如在方向X上)，音频音量被控制(例如向左：较低的音频音量，以及向右：较高的音频音量)，并且通过在离与扬声器平行的项目71的第二距离(用方向Z表达)处移动对象2(例如在方向X上)，音频轨道选择被控制(例如向左：前一首歌曲，以及向右：下一首歌曲)。从而，第二距离应该不同于第一距离并且可以大于或小于这个第一距离。这样，不同的区域已被创建，并且相同的移动按照不同的区域得到它自己的不同含义。
对于形式为如图5中所示出的扬声器的项目71，未在这里示出的一个或多个检测器可以形成这个项目71的一部分或者可以形成未在这里示出的设备的一部分。进一步地，项目71可以配备有未在这里示出的单元，诸如用于将反馈提供给用户以便指示用户正在哪一个区域中移动对象2的一个或多个发光二极管等，以便帮助用户。
因此，例如打手势的距离（例如相对于身体或者更绝对地），或另一例如水平或垂直位置（例如相对于身体或者更绝对地），可以被链接到浏览或滚动的水平，从而许多元素能够被浏览或者滚动。可能地，屏幕上的反馈被给出来指示呈现能够被浏览或者滚动的一系列元素的浏览或滚动的水平。
根据手势追踪版本，手或手指追踪被用来浏览或者滚动元素。在身体左侧的手或手指能够被映射到一个组的第一元素。在身体右侧的手或手指能够被映射到该组的最后一个元素。根据离散手势版本，左右挥击（swipe）被用来跳过组内的许多元素。当手或手指接近于身体时，大的跳跃被作出并且元素的完全集能够被导航。当手或手指远离身体移动时，挥击将导致元素集内的较小跳跃。
采用模式切换，图像浏览器应用能够被创建。用户能够使用水平手势浏览医学XR图像。接近于身体被作出的手势被用来浏览单独的运行(运行是在XR机器的一个旋转中作出的图像的序列)。每当用户展开他的臂时，浏览模式改变并且一次运行中的单独图像能够以左右移动而被浏览。
根据动态范围图像浏览，能够被浏览的图像的范围被耦合到手势交互的距离。例如当用户靠近身体作出手势时，从左向右的移动被映射到运行内的所有图像。当手是在左侧时，第一图像被呈现。从左向右移动将快速翻阅集合中的图像。当手是在右侧时，最后一个图像被呈现。典型地，所述集合在医学XR环境中将具有成百上千个图像。当用户更靠近屏幕移动手时，图像的范围可以被变窄，并且选择能够被浏览。在焦点中的图像可以被用作为这个选择中的中间图像。映射已被赋予更多动态特性以便给予用户更多控制并且允许与更细粒的逐个图像查看相结合的快速浏览。
当使用离散手势(左挥击或右挥击)时，动态范围手势控制的原理也能够被应用。在上述例子中，挥击将向左或右跳过图像的第一数目。当挥击手势被更靠近屏幕执行时，这个跳跃将是比图像的第一数目要小的图像的第二数目，可能地等于一以便逐个图像地浏览。
总之，用于控制可能地示出在屏幕31上的元素40-70或可能地由元素70所表示的项目71的设备1包括：检测器11-13，用于检测诸如身体部分这样的对象2在第一和第二维度中的特征；以及转换器14，用于将第一特征转换成针对元素40-70或项目71的动作。通过使动作依赖于第二特征，大量的可能性被增加。第一特征可以为对象2的移动，以及第二特征可以为对象2的绝对或相对位置。第一维度可以与屏幕31平行，以及第二维度可以与屏幕31垂直或平行，或者反之亦然。动作可以包括以位置相关速度来浏览元素40-69的组4-6或根据位置浏览一个或多个组4-6。项目71可以为灯、电器、音频播放机、视频播放机，从而它们的参数可以依赖于移动和位置而被调整。
虽然已经在图和前述描述中详细地图示和描述了本发明，但是这样的图示和描述将被认为是说明性的或示范性的而非限制性的；本发明不限于所公开的实施例。所公开的实施例的其它变例能够由本领域的技术人员在实践所要求保护的发明的过程中从对图、公开内容以及随附权利要求的研究来理解和实现。在权利要求中，词“包括”不排除其它元素或步骤，并且不定冠词‘一’或‘一个’不排除多个。某些措施被记载在相互不同的从属权利要求中的仅有事实不指示这些措施的组合不能够被用来获利。权利要求中的任何附图标记不应该被解释为限制范围。

Claims (10)

1.一种用于控制元素或项目(71)的设备(1)，所述设备(1)包括用于检测对象(2)在第一维度中的第一特征和所述对象(2)在另一第二维度中的第二特征的检测器(11-13)，并且包括用于将所述第一特征转换成要对所述元素或所述项目(71)执行的动作的转换器(14)，所述动作取决于所述第二特征，第一特征是所述对象(2)的移动以及第二特征是所述对象(2)的位置，元素被示出在屏幕(31)上并且项目(71)由所述元素来表示，第一维度是与屏幕(31)平行的方向以及第二维度是与屏幕(31)垂直的方向，并且所述动作包括浏览。
2.如权利要求1中所定义的设备(1)，所述浏览包括以取决于所述位置的速度来浏览包括所述元素的元素的组。
3.如权利要求1中所定义的设备(1)，所述浏览包括对于所述位置为第一位置而浏览元素的多个组，一个组包括所述元素，并且所述浏览包括对于所述位置为另一第二位置而浏览所述组中的一个。
4.如权利要求1中所定义的设备(1)，所述浏览包括对于所述位置为第一位置而以相对一般的等级进行浏览，并且所述浏览包括对于所述位置为不同的第二位置而以相对特定的等级进行浏览。
5.如权利要求1中所定义的设备(1)，所述检测器(11-13)被布置成检测还在另一第三维度中的所述对象(2)的移动或所述对象(2)的位置，所述第三维度是与屏幕(31)平行的另一方向。
6.如权利要求1中所定义的设备(1)，所述第二特征定义所述动作的特性或类型或参数。
7.如权利要求1中所定义的设备(1)，所述对象(2)是身体部分或由所述身体部分持有或者耦合到所述身体部分的物理对象，并且所述位置优选地是相对于另一对象的相对位置，所述另一个对象是另一身体部分或所述身体的其余部分。
8.如权利要求1中所定义的设备(1)，所述转换器(14)被布置用于将所述第二特征转换成要被示出在所述屏幕(31)上或者要被以其它方式重现的信息。
9.一种用于控制元素或项目(71)的装置(3)，其包括如权利要求1中所定义的设备(1)并且进一步包括所述项目(71)和/或所述屏幕(31)。
10.一种用于控制元素或项目(71)的方法，所述方法包括检测对象(2)在第一维度中的第一特征和所述对象(2)在另一第二维度中的第二特征的步骤，并且包括将所述第一特征转换成要对所述元素或所述项目(71)执行的动作的步骤，所述动作取决于所述第二特征，第一特征是所述对象(2)的移动以及第二特征是所述对象(2)的位置，元素被示出在屏幕(31)上并且项目(71)由所述元素来表示，第一维度是与屏幕(31)平行的方向以及第二维度是与屏幕(31)垂直的方向，并且所述动作包括浏览。
CN201280019096.5A 2011-04-20 2012-04-13 元素或项目的基于手势的控制 Active CN103477305B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11163125 2011-04-20
EP11163125.5 2011-04-20
PCT/IB2012/051810 WO2012143829A2 (en) 2011-04-20 2012-04-13 Gesture based control of element or item

Publications (2)

Publication Number Publication Date
CN103477305A CN103477305A (zh) 2013-12-25
CN103477305B true CN103477305B (zh) 2017-06-13

Family

ID=46062652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280019096.5A Active CN103477305B (zh) 2011-04-20 2012-04-13 元素或项目的基于手势的控制

Country Status (7)

Country Link
US (1) US9417703B2 (zh)
EP (1) EP2699984A2 (zh)
JP (1) JP6297484B2 (zh)
CN (1) CN103477305B (zh)
BR (1) BR112013026624A2 (zh)
RU (1) RU2609066C2 (zh)
WO (1) WO2012143829A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD749085S1 (en) * 2011-08-23 2016-02-09 Sony Corporation Display panel or screen with graphical user interface
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
US11684768B2 (en) 2016-08-24 2023-06-27 Nupulsecv, Inc. Blood pump assembly and method of use thereof
WO2019183726A1 (en) * 2018-03-27 2019-10-03 Vizetto Inc. Systems and methods for multi-screen display and interaction
US11416077B2 (en) * 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547253A (zh) * 2008-03-25 2009-09-30 Lg电子株式会社 移动终端及显示其中信息的方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP2003280785A (ja) * 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
JP4153818B2 (ja) * 2003-03-31 2008-09-24 本田技研工業株式会社 ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
KR100811160B1 (ko) * 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
JP4766340B2 (ja) * 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US7975242B2 (en) * 2007-01-07 2011-07-05 Apple Inc. Portable multifunction device, method, and graphical user interface for conference calling
JP2008210348A (ja) 2007-02-28 2008-09-11 Univ Of Tokyo 画像表示装置
JP4670860B2 (ja) 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP5427385B2 (ja) * 2008-09-29 2014-02-26 日立コンシューマエレクトロニクス株式会社 操作制御装置及び操作表示方法
US20100235786A1 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
JP5182202B2 (ja) 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
JP5177078B2 (ja) * 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
JP5282661B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2011053971A (ja) 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
US20110306397A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
US8593331B2 (en) * 2010-06-16 2013-11-26 Qualcomm Incorported RF ranging-assisted local motion sensing
WO2012011263A1 (ja) * 2010-07-20 2012-01-26 パナソニック株式会社 ジェスチャ入力装置およびジェスチャ入力方法
US9024166B2 (en) * 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8698092B2 (en) * 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
US9164581B2 (en) * 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8854802B2 (en) * 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR101567591B1 (ko) * 2011-12-02 2015-11-20 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 기반 게임 시스템을 위한 안전 체계
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
CN104094195B (zh) * 2012-02-24 2017-05-03 英派尔科技开发有限公司 用于基于姿势的游戏系统的安全方案
US8777226B1 (en) * 2012-06-21 2014-07-15 Robert Hubert Decker, Jr. Proxy target system
US8512140B1 (en) * 2012-07-26 2013-08-20 Zynga Inc. Gaming system for updating a presentation of a virtual game environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547253A (zh) * 2008-03-25 2009-09-30 Lg电子株式会社 移动终端及显示其中信息的方法

Also Published As

Publication number Publication date
US9417703B2 (en) 2016-08-16
US20140047395A1 (en) 2014-02-13
WO2012143829A3 (en) 2013-03-07
RU2609066C2 (ru) 2017-01-30
WO2012143829A2 (en) 2012-10-26
CN103477305A (zh) 2013-12-25
JP2014512060A (ja) 2014-05-19
BR112013026624A2 (pt) 2016-12-27
RU2013151462A (ru) 2015-05-27
EP2699984A2 (en) 2014-02-26
JP6297484B2 (ja) 2018-03-20

Similar Documents

Publication Publication Date Title
CN103477305B (zh) 元素或项目的基于手势的控制
US11775074B2 (en) Apparatuses, systems, and/or interfaces for embedding selfies into or onto images captured by mobile or wearable devices and method for implementing same
EP2480960B1 (en) Apparatus and method for grid navigation
CN105339872B (zh) 电子设备和识别电子设备中的输入的方法
US8253761B2 (en) Apparatus and method of controlling three-dimensional motion of graphic object
KR101831499B1 (ko) 비주얼 쇼핑
CN104793868B (zh) 用于控制媒体应用操作的方法和装置
Leigh et al. THAW: tangible interaction with see-through augmentation for smartphones on computer screens
US20120249475A1 (en) 3d user interface control
CN108255295A (zh) 用于空间依赖性内容的触觉效果生成
US20060132432A1 (en) Interactive video display system
CN107580695A (zh) 刺绣式传感器套件
US9338433B2 (en) Method and electronic device for displaying a 3D image using 2D image
CN106662965A (zh) 应用窗口的基于区的大小调整和定位
CN106687902A (zh) 基于内容分析的图像显示、可视化和管理
WO2014140827A2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
CN102708355A (zh) 信息处理装置、信息处理方法及程序
WO2005091651A2 (en) Interactive video display system
CN102713821A (zh) 用于电视菜单和文档导航的三维或更高维图形用户界面
US20130155108A1 (en) Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
CN106325373A (zh) 电子设备和信息处理方法
CN103384873A (zh) 用于生成媒体收集的方法
CN103064735A (zh) 一种显示处理方法、装置及电子设备
CN106126108A (zh) 一种缩略图的生成方法及移动终端
CN106796810A (zh) 在用户界面上从视频选择帧

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211012

Address after: 7 / F, TCL communication technology building, F4, phase III, TCL International e city, No. 1001, Zhongshan Park Road, Xili street, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen TCL Yunchuang Technology Co.,Ltd.

Address before: Eindhoven, Netherlands

Patentee before: KONINKLIJKE PHILIPS N.V.

TR01 Transfer of patent right