CN111656303A - 数据处理装置的手势控制 - Google Patents

数据处理装置的手势控制 Download PDF

Info

Publication number
CN111656303A
CN111656303A CN201880087512.2A CN201880087512A CN111656303A CN 111656303 A CN111656303 A CN 111656303A CN 201880087512 A CN201880087512 A CN 201880087512A CN 111656303 A CN111656303 A CN 111656303A
Authority
CN
China
Prior art keywords
data processing
processing terminal
application
gesture
user gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880087512.2A
Other languages
English (en)
Inventor
A·马图尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN111656303A publication Critical patent/CN111656303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

公开了一种方法和系统,该方法和系统包括:在远离数据处理终端的位置处检测用户手势并且基于检测到的用户手势的距离在距数据处理终端的第一距离范围内来标识第一应用,其中多个应用与距数据处理终端的不同距离范围相关联。该方法和系统还可以基于用户手势来引起第一应用的多个功能中的一个功能的执行。

Description

数据处理装置的手势控制
技术领域
本公开涉及数据处理装置的手势控制,并且具体地但非排他性地涉及可穿戴数据处理装置。
背景技术
形状因数较小的数据处理装置变得越来越流行。例如,诸如无线耳机、耳塞式耳机和智能手表等可穿戴装置现在相对普遍。其他示例包括与所谓的物联网(IoT)相关联的装置。这样的装置的较小的形状因数表示难以以与例如较大触摸屏设备可以提供的相同的方式来控制不同类型的功能。
例如,蓝牙耳塞式耳机可能仅具有足够用于单个物理控制按钮的表面积。这限制了可能适用于耳塞式耳机的不同类型的功能。用户可能不得不求助于其相关联的媒体播放器来手动选择或控制不同应用以及不同应用上的不同类型的功能,这很麻烦。
发明内容
第一方面提供了一种装置,该装置包括:用于接收指示在远离数据处理终端的位置处的检测到的用户手势的数据的部件;用于基于检测到的用户手势的距离来标识第一应用的部件,该检测到的用户手势在距数据处理终端的第一距离范围内,其中多个应用与距数据处理终端的不同距离范围相关联;以及用于基于用户手势来引起第一应用的多个功能中的一个功能的执行的部件。
该装置还可以包括:用于在距数据处理终端的第二范围内的距离处检测另一远程用户手势的部件;用于基于距离在第二范围内来标识与第一应用不同的第二应用的部件;以及用于基于用户手势来引起第二应用的多个功能中的一个功能的执行的部件。
不同距离范围可以基本不重叠。
用于引起上述多个功能中的一个功能的执行的部件可以被布置为标识检测到的用户手势的类型,并且确定与所标识的应用相关联的多个预定功能中的哪个预定功能对应于上述标识的手势类型,所确定的功能然后被引起被执行。
在预定手势从第一距离范围移动到不同距离范围的情况下,数据传输功能可以在相关联的应用之间被执行。
在预定手势对应于共享功能的情况下,数据传输功能可以在相关联的应用与以下应用之间被执行,该应用与附近的另一数据处理终端相关联。
多个应用中的不同应用与不同距离范围之间的关联可以被动态地更新。该关联可以通过将最频繁和/或最近使用的应用分配给不同距离范围中的预定距离范围而被动态地更新。不同距离范围中的预定距离范围可以是最接近数据处理终端的距离范围。
该装置可以是数据处理终端。例如,该装置可以是可穿戴数据处理终端。该装置可以包括耳机、头戴式耳机和手表中的一项。例如,在该装置是耳机或头戴式耳机的情况下,它们还可以被配置为发出音频通知以确认功能和/或功能的相关参数。
用于引起功能的执行的部件可以被布置为向可穿戴数据处理终端接近的另外的数据终端发出对应指令。
用于检测用户手势的部件可以借助于使用数据处理终端的一个或多个电容传感器的电容感测来实现。在某些情况下,可以使用传感器阵列。
另一方面,提供了一种方法,该方法包括:接收指示在远离数据处理终端的位置处的检测到的用户手势的数据;基于检测到的用户手势的距离来标识第一应用,该检测到的用户手势在距数据处理终端的第一距离范围内,其中多个应用与距数据处理终端的不同距离范围相关联;以及基于用户手势来引起第一应用的多个功能中的一个功能的执行。第一方面的优选特征也可以应用于该方面。
另一方面提供了一种包括存储在其上的计算机程序代码的计算机可读介质,该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时:接收指示在远离数据处理终端的位置处的检测到的用户手势的数据;基于检测到的用户手势的距离在距数据处理终端的第一距离范围内来标识第一应用,其中多个应用与距数据处理终端的不同距离范围相关联;以及基于用户手势来引起第一应用的多个功能中的一个功能的执行。第一方面的优选特征也可以应用于该方面。
另一方面,提供一种其上存储有计算机可读代码的非瞬态计算机可读介质,该计算机可读代码在由至少一个处理器执行时引起至少一个处理器执行一种方法,该方法包括:接收指示在远离数据处理终端的位置处的检测到的用户手势的数据;基于检测到的用户手势的距离在距数据处理终端的第一距离范围内来标识第一应用,其中多个应用与距数据处理终端的不同距离范围相关联;以及基于用户手势来引起第一应用的多个功能中的一个功能的执行。第一方面的优选特征也可以应用于该方面。
另一方面提供了一种装置,该装置具有至少一个处理器和在其上存储有计算机可读代码的至少一个存储器,该计算机可读代码在被执行时控制至少一个处理器:接收指示在远离数据处理终端的位置处的检测到的用户手势的数据;基于检测到的用户手势的距离在距数据处理终端的第一距离范围内来标识第一应用,其中多个应用与距数据处理终端的不同距离范围相关联;以及基于用户手势来引起第一应用的多个功能中的一个功能的执行。第一方面的优选特征也可以应用于该方面。
附图说明
现在将通过非限制性示例的方式参考附图来描述实施例,在附图中:
图1是根据一些实施例的在用于控制功能的装置的多个范围中的一个范围内的远离第一装置的用户手势的示意图;
图2是根据一些实施例的在用于控制功能的设备的多个范围中的一个范围内的远离第二装置的用户手势的示意图;
图3是根据一些实施例的图1或图2的装置的硬件组件的示意图;
图4是根据一些实施例的图1或图2的装置的功能组件的示意图;
图5是根据一些实施例的图4所示的映射数据库的示例;
图6是根据一些实施例的在图1或图2的装置处执行的操作的流程图;
图7是根据一些实施例的在图1或图2的装置处执行的用于在应用之间进行数据共享的操作的流程图;
图8是第一装置的示意图和表示用于在第一装置处进行检测以执行图7的方法的共享操作的手势;
图9是根据一些实施例的在图1或图2的装置处执行的用于在第一装置的应用与另一装置之间进行数据共享的其他操作的流程图;以及
图10是第一装置的示意图和表示用于在第一装置和另一装置处进行检测以执行图9的方法的共享操作的手势。
具体实施方式
本文中的实施例涉及用于数据处理装置或终端的手势控制的方法和系统,该数据处理装置或终端可以是可穿戴数据处理终端或者实际上是任何其他类型的数据处理终端,其通常但并非排他性地将是便携式和/或无线的。
例如,实施例可以涉及用于可穿戴数据处理终端的手势控制的方法和系统,该可穿戴数据处理终端诸如耳机、耳塞式耳机、头戴式耳机或其他形式的可穿戴音频终端中的一种或多种,该可穿戴音频终端包括用于放置在一个或多个用户耳朵附近的扬声器。例如,稍后描述的实施例涉及可以与诸如媒体播放器、智能电话或平板计算机等相关联的其他终端通信的无线耳塞式耳机。通信方法可以是无线的,例如使用蓝牙或类似的无线协议。
例如,在其他实施例中,可穿戴数据处理终端可以是诸如智能手表等肢体佩戴的设备。类似地,智能手表可以与诸如媒体播放器、智能电话或平板计算机等相关联的其他终端通信。通信方法可以是无线的,例如使用蓝牙或类似的无线协议。
这样的可穿戴数据处理终端的使用和普及持续增长。它们提供了一种访问一个或多个应用和与这样的应用相关联的功能的便捷方式,特别是在例如用户旅行或参与体育活动的情况下。
这样的应用可以包括音乐或另一音频播放应用、健康监测应用、语音呼叫应用、文本或多媒体通信应用、语音识别应用、播客应用中的一种或多种。
为了避免疑问,在本公开的上下文中,应用包括提供不同组功能的任何计算机程序或计算机程序类型,诸如音乐应用、健康监测应用、语音电话应用、文本或多媒体消息传递应用、语音识别应用、播客应用等。因此,该术语可以被认为比参考特定软件应用更宽泛。例如,在一些实施例中,可能有两个不同的软件应用提供音乐,但是它们可能具有通用的音乐播放功能,诸如启用、禁用、播放、暂停、停止、倒带、前进、下一曲目、上一曲目、音量增大、音量减小等。
在一些实施例中,可穿戴装置可以包括处理器和存储器,存储器提供一个或多个应用,诸如上面提到的应用。在其他实施例中,可穿戴装置可以与提供上述应用和功能的另一数据处理装置(诸如智能电话或平板计算机)无线通信,该另一数据处理装置的输出被中继回可穿戴装置。在这种情况下,可穿戴装置与该另一数据处理装置进行信号通信。
某些数据处理终端、具体地但非排他性地是可穿戴终端的问题在于,它们的形状因数较小。这限制了用户与数据处理终端或与其进行信号通信的另一数据处理装置进行交互的方式。例如,用于按钮或开关的空间可能是有限的,使得它们能够输入用于可能与不同应用相关联的各种类型的功能的命令。由于这样的数据处理终端的大小和附加花费,在这样的数据处理终端上设置触摸屏通常是不可行的。
此外,很难在不同应用之间切换。例如,听音乐的用户可能希望与健康监测应用交互以在当前时间测量心率。通常,这要求用户退出手机或平板计算机,关闭或最小化使音乐应用变为背景并且手动地打开健康监测应用。
由于背景噪声和干扰以及其干扰其他人的潜力,用于与这样的数据处理终端进行交互的语音命令的使用是不利的。
因此,本文中的实施例涉及从数据处理终端远程地做出的对物理用户手势的检测和解释;即,不触摸数据处理终端的手势。
这样的手势可以使用电容耦合来检测,电容耦合是一种已知技术。在一些实施例中,可以在数据处理终端之中或之上提供单个电容传感器。在其他实施例中,可以提供包括多个电容传感器的阵列,用于更准确地确定用户手势相对于数据处理终端的空间位置。
总的来说,实施例涉及将应用分配给相对于数据处理终端的相应距离范围或与之相关联。通常,距离范围是不重叠的,使得第一范围(例如,最接近数据处理终端的范围)与第一应用相关联,而另一范围(例如,超出第一范围)与不同应用相关联。在一些实施例中,范围可以重叠,如稍后将简要提及的。
在所述范围内做出的特定手势还与这些应用的对应功能相关联,并且因此可以区分在第一范围内做出的第一手势、在第一范围内做出的第二手势、在第二范围内做出的第一手势以及在第二范围内做出的第二手势,以此类推。这表示,用户可以基于他们做出的手势以及相对于数据处理终端的位置来控制具有多个不同功能的多个不同应用。此外,用户不一定需要在不同应用之间手动切换。该方法和系统提供了一种与应用进行交互的更直观方式。
在一些实施例中,距离范围与应用之间的关联是预定义的,其可以被出厂设置,或者由用户执行,和/或由用户更新。
该关联可以是固定的,也可以动态地改变。
例如,该关联可以动态地更新,使得最近使用的特定应用与特定距离范围(例如,最接近数据处理终端的距离范围)相关联。在其他实施例中,例如在预定时间范围内最频繁使用的特定应用可以与特定距离范围相关联。可以应用其他规则。
在一些实施例中,在数据处理终端发出音频的情况下,例如,如果它是耳塞式耳机或一组头戴式耳机,则检测到的手势可以引起对当前选择的相关联的功能(例如,“播放音频”或“监测心率”)的音频确认。在一些实施例中,可以提供对预期手势在哪个范围内的确认。例如,如果用户的手在第二范围内,则在检测任何特定手势之前,可以产生应用的音频确认,例如“音乐播放器”。这样可以防止对错误应用的意外控制,如果使用动态更新,这可能会特别有用。
参考图1,例如,示出了包括本体20和用于插入人耳的柔性尖端30的无线耳塞式耳机10。本体20包括以下将要说明的系统,该系统包括用于与相关联的媒体播放器、智能电话或平板计算机通信的射频(RF)收发器。例如,收发器可以是蓝牙收发器。耳塞式耳机10还包括在本体20内的用于感测传感器附近的用户手势的电容传感器40,该电容传感器40形成系统的一部分;应当理解,传感器将产生指示用户手势距传感器以及从而距耳塞式耳机的距离以及还指示手势类型的信号。
例如,手势类型可以是轻击手势,包括手指在空中的急剧移动。另一手势类型可以是滑动手势,包括在空中的平稳移动。可以在水平滑动和垂直滑动之间进行区分。其他手势类型可以包括例如轻点、弧形、圆形或指向手势中的一种或多种。不同数目的手指或身体其他部位的使用可以与其他手势有关,这些手势可以彼此区分。例如,通过两个手指做出的轻击手势可以与通过一个手指做出的轻击手势区分。
使用多个电容传感器可以实现更准确的手势识别,该多个电容传感器可以以阵列布置在耳塞式耳机10之内或之上。这些电容传感器可以对距离和手势类型进行更大体积的感测。
在所示示例中,用户的手50被表示为靠近耳塞式耳机10,但是在远处。用户的手50表示手势。
根据本文中的实施例,检测到的距耳塞式耳机10的距离基于一个或多个距离范围(下文中称为“范围”)来确定手势涉及哪个应用。第一范围由附图标记60指示,其限定第一区域,该第一区域可以在耳塞式耳机10周围是全向的,或者可以在耳塞式耳机周围被分段。非重叠的第二范围由附图标记70指示,其限定非重叠的第二区域,该非重叠的第二区域可以在耳塞式耳机10周围是全向的,或者可以被分段。手势50被示出为在第一范围60中,并且因此耳塞式耳机10的系统将标识出该手势与第一应用有关。手势类型将确定所控制的功能。在第二范围70中做出的手势将被标识为与另一应用有关,并且手势类型将再次确定另一应用的所控制的功能。
示出第三范围80仅是为了指示至少可以在可以由电容传感器40可靠地感测到的距离内提供任何数目的区域。
在一些实施例中,传感器40感测在有限的体积空间(即,不是全向的)中做出的手势。例如,传感器40可以被配置为仅感测在从本体20向外延伸并且远离尖端30的预定锥形体积内做出的手势。替代地,传感器40可以被配置为仅基本上沿着特定轴线或周围区域的分段区域来感测手势。例如,可能不希望感测用户的身体将所在的直接位于耳塞式耳机10下方的区域。
图2示出了作为智能手表85的另一实施例。智能手表85包括主体90,实施例的系统被容纳在主体90中,并且智能手表85可以包括容纳电容传感器的冠部92。在一些实施例中,可以省略冠部92,在这种情况下,传感器被容纳在主体90内。以与图1的实施例类似的方式,采用电容感测来检测在两个或更多相应区域94、96、98内做出的手势以确定该手势所涉及的应用,并且确定由该手势执行的功能。在此,可以提供一种虚拟冠部的形式,其使得能够通过检测不同区域中的手势来设置例如时间、日期和秒表。例如,在第一区域94中做出的扭转手势可以表示使用时间应用来调节时间,在第二区域96中做出的扭转手势可以表示使用日期应用来调节日期,在第三区域做出的点击手势可以表示使用秒表应用来启动计时器,以此类推。
图3是分别在图1和图2中示出的耳塞式耳机10或智能手表85的组件的示意图。为了便于说明,我们将假定这些组件是耳塞式耳机10中的组件,但是应当理解,以下内容适用于智能手表85。
耳塞式耳机10可以具有处理器100、紧密地耦合到处理器并且包括RAM 102和ROM103的存储器104、音频输出108、和网络接口110。在智能手表85的情况下,例如,可以使用显示器和一个或多个硬件键来代替音频输出108。耳塞式耳机10可以包括一个或多个网络接口110以用于连接到网络,例如使用蓝牙或类似技术。处理器100连接到每个其他组件以便控制其操作。
存储器104可以包括非易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器104的ROM 103尤其存储操作系统112,并且可以存储软件应用114。存储器104的RAM 102可以被处理器100用于临时存储数据。操作系统112可以包含由耳塞式耳机10的处理器软件组件执行的代码。
处理器100可以采用任何合适的形式。例如,它可以是微控制器、多个微控制器、一个处理器或多个处理器,并且它可以包括处理器电路系统。
在一些实施例中,耳塞式耳机10还可以与外部软件应用相关联。这些外部软件应用可以是存储在远程设备120上的应用,并且可以部分地或排他性地在远程设备上运行。在某些情况下,这些应用可以称为云托管应用。耳塞式耳机10可以与远程设备120通信以便利用存储在远程设备120处的软件应用。
例如,耳塞式耳机10可以向远程设备120发出与存储在其上的应用的特定功能相对应的信号。例如,指示音量增大或减小的手势可以引起耳塞式耳机10向远程设备120发出与相关的音量增大或减小功能相对应的信号。远程设备120被配置为解码或解译该信号并且在本地执行音量增大或减小功能。然后,所得到的音频可以以适当的音量被中继到耳塞式耳机10。在其他情况下,例如在控制某个非音频功能(诸如打开远程设备120上的健康应用)时,不需要中继。
图4示出了根据一些实施例的数据处理终端130的示例功能元件。数据处理终端130例如可以是分别在图1和2中示出的耳塞式耳机10或智能手表85。
数据处理终端130包括电容式接近传感器132、接近控制器134、映射数据库136、交互层138、以及包括多个应用的应用堆栈140,例如音乐播放应用、健康监测应用、语音呼叫应用、文本或多媒体通信应用、语音识别应用、播客应用等中的两种或更多种。
这些元件可以通过软件、固件、硬件或其任何组合来提供。例如,接近控制器134和交互层138可以包括存储在图3所示的存储器104上的软件应用114。
附图标记150指示远离数据处理终端130的用户的手的存在,该用户的手在使用时可以选择性地定位在由相应距离范围表示的三个空间区域R1、R2和R3之一内。
电容性接近传感器132可以是如上所述的任何合适的传感器。
接近控制器134可以被配置为控制应用堆栈140中的三个应用到相应空间区域R1、R2和R3的分配或关联。这些分配被存储在映射数据库136中,并且可能在映射数据库136中不时地被更新,该映射数据库136在图5中示意性示出。
参考图5,映射数据库136可以包括或以任何合适的形式表示针对每个范围存储相应应用的分配表。在所示示例中,距数据处理终端130的最近的范围(被设置为在0.1-2cm之间)标记为R1,距数据处理终端的下一范围(被设置为在2-4cm之间)标记为R2,距数据处理终端的下一范围(被设置为在4-6cm之间)标记为R3。R1被分配给音乐应用,R2被分配给语音呼叫(即,电话)应用,R3被分配给健康应用。
对于每个应用,还存储了多个手势及针对该应用的其对应功能。
例如,对于音乐应用,手势“轻击”、“垂直滑动”和“水平滑动”分别被分配给“启用/播放/暂停”、“音量增大/减小”和“下一/上一曲目”。
例如,对于语音呼叫应用,手势“轻击”、“垂直滑动”和“水平滑动”分别被分配给“启用/应答/结束通话”、“音量增大/减小”和“下一/上一联系人”。
例如,对于健康应用,手势“轻击”、“垂直滑动”和“水平滑动”分别被分配给“启用/禁用”、“活动选择器”和“日期选择器”。
应当理解,可以在映射数据库136中表示更多或更少数目的应用、手势和/或功能。还应当理解,可以表示不同的手势。例如,可以提供用于确定数据处理终端的电池电量的手势。
图5所示的分配可以被出厂设置。分配可以是固定的,也可以被更新。例如,数据处理终端130可以被提供有相关联的设置软件,该相关联的设置软件可以在盘上或者从网站可下载或者甚至存储在存储器404中以用于即插即用操作。设置软件可以允许用户进行分配和/或手动更新它们。如稍后将讨论的,分配可以随着时间动态地更新。范围也可以由用户控制或者例如基于环境因素动态地调节。
返回图4,交互层138响应于在接近范围内以及在范围R1、R2或R3之一内检测到对象(例如,用户的手150)而进行操作。交互层138查询映射数据库136以标识分配给该范围和手势的应用。在所示示例中,第二范围R2被标识,并且因此语音呼叫应用被标识。交互层138的这种标识引起与应用堆栈140中的语音呼叫应用(App2)的手势相关联的功能的执行,例如,响应于轻击手势而接听电话。
在后续阶段,例如,用户可以在相同范围R2中做出向上滑动手势。响应于此,交互层138将引起语音呼叫的音量增加。
例如,在后续阶段,当通话正在进行时,用户可以将其手移到第三范围R3中。这可以通过播放诸如“健康”等音频剪辑以向用户通知所述事实来导致音频确认(例如,如果数据处理终端130是音频设备)。然后,用户可以在第三范围R3中做出轻击手势。响应于此,交互层138将在不中断语音呼叫的情况下引起健康应用的启用。在后续阶段,例如,用户可以在第三范围R3中做出垂直滑动,并且交互层138将滚动浏览不同的活动类型,在音频设备的情况下,可以将其简要地通知为音频确认,例如“步行”。
因此,可以在没有物理交互的情况下启用被隐藏或禁用的应用。
在一些实施例中,取决于当前正在运行的功能,某些应用功能可能不被允许或者可以被修改。例如,如果通话正在进行,则可能不允许播放音乐曲目的手势。替代地,可以例如根据正在进行的功能来修改功能,例如通过一旦通话被中断就准备好播放音乐曲目。
在一些实施例中,范围和应用和/或手势和功能之间的相关性可以存储在除映射数据库136之外的其他地方。例如,相关性可以存储在单独的数据库中、在交互层上或者在远程数据终端或服务器中。图4的布置仅仅是说明性的。
在一些实施例中,数据处理终端130(除电容传感器132之外)中所示的一个或多个功能模块可以在诸如智能电话或平板计算机等单独的数据处理终端中提供。在这方面,单独的数据处理终端可以从电容传感器132接收感测信号并且执行下面概述的步骤,尽管为了便于说明,我们在下文中将假定它们在数据处理终端130本身中执行。
图6是示出可以由数据处理终端130执行的示例处理操作的流程图。某些操作可以省略或者替换为其他操作。
第一操作6.1包括接收指示在远离数据处理终端130的第一位置处的检测到的用户手势的数据。
另一操作6.2包括基于检测到的用户手势的距离在特定范围内来标识应用。
另一操作6.3包括基于用户手势来引起所标识的应用的多个功能中的一个功能的执行。
图7是示出在另一实施例中可以由数据处理终端130执行的示例处理操作的流程图。
第一操作7.1包括接收指示跨越两个距离范围的检测到的用户手势的数据。
第二操作7.2包括基于两个范围来标识两个应用。
第三操作7.3包括引起从一个应用到另一应用的数据传输。
在该实施例中,可以解译跨越两个或可能更多个距离范围的预定手势以在可用情况下引起两个对应应用之间的数据共享。
例如,图8示出了具有两个范围60、70和用户手势50的图1的耳塞式耳机10,该用户手势50从第一(最接近)范围开始并且以侧向滑动运动移动到第二范围。特定“共享”手势可以对应于特定应用的共享、复制或移动功能。特定“共享”手势可能需要特定开始手势和特定结束手势,以防止将共享功能应用于外部范围内的意外应用。
例如,与第一范围60相关联的第一应用可以是音乐应用,与第二范围70相关联的第二应用可以是语音呼叫应用。在这点上,共享手势可以引起第一应用中的当前正在播放或选择的音乐曲目与第二应用共享,从而将音乐曲目用作第二应用的铃声。
在另一示例中,第一应用可以是多媒体应用,并且第二应用可以是文本消息传递应用。共享手势可以引起当前选择的多媒体实体被输入到文本消息中。
在另一示例中,第一应用可以是网络设置应用,第二应用可以是需要网络设置(例如,代理设置)的应用。共享手势可以引起两个应用之间的网络设置共享。
可以设想很多其他示例,例如应用之间的简单文件传输。
在这种情况下,共享手势可以与第一应用的共享、复制或移动功能以及第二应用的共享、粘贴或下载功能相关联。
图9是示出在另一实施例中可以由数据处理终端130执行的示例处理操作的流程图。
第一操作9.1包括接收指示在远离数据处理终端130的第一位置处的检测到的用户手势的数据。
第二操作9.2包括基于检测到的用户手势的距离在特定范围内来标识应用。
第三操作9.3包括将用户手势标识为邻域共享功能。
第四操作9.4包括引起所标识的应用与附近的另一设备之间的数据共享;该另一设备可以与当前设备配对,但这不是必需的。
在该实施例中,指示邻域共享的预定手势可以允许在没有以其他方式物理连接的不同但邻近的设备之间共享数据。预定手势可以包括开始手势和结束手势。
例如,图10示出了图1的耳塞式耳机10和第二耳塞式耳机10A,它们可以属于不同的人。在该示例中,虚线150、160指示其相应第一范围中的范围。在第一耳塞式耳机10的第一范围150中开始并且在第二耳塞式耳机10A的范围160中结束的用户手势50可以引起设备间共享,使得例如正在第一耳塞式耳机上播放或选择的音乐曲目被传输到第二耳塞式耳机10A。在这种情况下,邻域共享手势可以与第一耳塞式耳机功能的共享、复制或移动功能以及第二耳塞式耳机功能的共享、粘贴或下载功能相关联。
在一些实施例中,不同距离范围可以部分重叠,尽管这可能要求一个对应应用的功能手势与另一对应应用的功能手势不同,以便不会错误地解译在重叠区域中做出的手势。
如前所述,尽管实施例主要假定检测、标识和功能引起阶段发生在可穿戴装置中,但是它们可以在诸如智能电话或平板计算机等相关联的其他装置中执行,该其他装置从可穿戴装置接收指示手势的数据并且将所执行的功能的结果中继回可穿戴装置,诸如通过改变音乐曲目或增加音量。
应当理解,上述实施例仅是说明性的,并且不限制本发明的范围。在阅读本申请之后,其他变化和修改对本领域技术人员将是很清楚的。
此外,本申请的公开内容应当被理解为包括本文中明确或隐含地公开的任何新颖特征或任何新颖特征组合或其任何概括,并且在本申请或由此衍生的任何申请的起诉期间,可以提出新的权利要求以涵盖任何这样的特征和/或这样的特征的组合。

Claims (15)

1.一种装置,包括:
用于接收数据的部件,所述数据指示在远离数据处理终端的位置处检测到的用户手势;
用于基于以下来标识第一应用的部件:所述检测到的用户手势的距离在距所述数据处理终端的第一距离范围内,其中多个应用与距所述数据处理终端的不同距离范围相关联;以及
用于基于所述用户手势来引起所述第一应用的多个功能中的一个功能的执行的部件。
2.根据权利要求1所述的装置,还包括:
用于在距所述数据处理终端的第二范围内的距离处检测另一远程用户手势的部件;
用于基于所述距离在所述第二范围内来标识第二应用的部件,所述第二应用与所述第一应用不同;以及
用于基于所述用户手势来引起所述第二应用的多个功能中的一个功能的执行的部件。
3.根据权利要求1所述的装置,其中所述不同距离范围基本不重叠。
4.根据前述权利要求中任一项所述的装置,其中用于引起所述多个功能中的所述一个功能的执行的所述部件被布置为标识所述检测到的用户手势的类型,并且确定与所标识的所述应用相关联的多个预定功能中的哪个预定功能对应于所述标识的手势类型,所确定的功能然后被引起被执行。
5.根据前述权利要求中任一项所述的装置,其中在预定手势从所述第一距离范围移动到不同距离范围内的情况下,数据传输功能在相关联的应用之间被执行。
6.根据前述权利要求中任一项所述的装置,其中在预定手势对应于共享功能的情况下,数据传输功能在相关联的应用与以下应用之间被执行,所述应用与附近的另一数据处理终端相关联。
7.根据前述权利要求中任一项所述的装置,其中所述多个应用中的不同应用与所述不同距离范围之间的所述关联被动态地更新。
8.根据权利要求7所述的装置,其中所述关联通过将最频繁和/或最近使用的应用分配给所述不同距离范围中的预定距离范围而被动态地更新。
9.根据权利要求8所述的装置,其中所述不同距离范围中的所述预定距离范围是最接近所述数据处理终端的距离范围。
10.根据前述权利要求中任一项所述的装置,其中所述装置是数据处理终端。
11.根据权利要求10所述的装置,其中所述装置是可穿戴数据处理终端。
12.根据权利要求11所述的装置,其中所述装置包括以下中的一项:耳机、头戴式耳机和手表。
13.根据权利要求11或权利要求12所述的装置,其中用于引起所述功能的执行的所述部件被布置为向以下另外的数据终端发出对应指令,所述可穿戴数据处理终端接近所述另外的数据终端。
14.一种方法,包括:
接收数据,所述数据指示在远离数据处理终端的位置处检测到的用户手势;
基于以下来标识第一应用:所述检测到的用户手势的距离在距所述数据处理终端的第一距离范围内,其中多个应用与距所述数据处理终端的不同距离范围相关联;以及
基于所述用户手势来引起所述第一应用的多个功能中的一个功能的执行。
15.一种计算机可读介质,包括存储在其上的计算机程序代码,所述计算机可读介质和所述计算机程序代码被配置为当在至少一个处理器上运行时:
接收数据,所述数据指示在远离数据处理终端的位置处检测到的用户手势;
基于以下来标识第一应用:所述检测到的用户手势的距离在距所述数据处理终端的第一距离范围内,其中多个应用与距所述数据处理终端的不同距离范围相关联;以及
基于所述用户手势来引起所述第一应用的多个功能中的一个功能的执行。
CN201880087512.2A 2017-12-20 2018-12-10 数据处理装置的手势控制 Pending CN111656303A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17208863.5 2017-12-20
EP17208863.5A EP3502835A1 (en) 2017-12-20 2017-12-20 Gesture control of a data processing apparatus
PCT/EP2018/084089 WO2019121081A1 (en) 2017-12-20 2018-12-10 Gesture control of a data processing apparatus

Publications (1)

Publication Number Publication Date
CN111656303A true CN111656303A (zh) 2020-09-11

Family

ID=60923288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087512.2A Pending CN111656303A (zh) 2017-12-20 2018-12-10 数据处理装置的手势控制

Country Status (4)

Country Link
US (1) US20210089132A1 (zh)
EP (1) EP3502835A1 (zh)
CN (1) CN111656303A (zh)
WO (1) WO2019121081A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3886455A1 (en) * 2020-03-25 2021-09-29 Nokia Technologies Oy Controlling audio output
CN111736693B (zh) * 2020-06-09 2024-03-22 海尔优家智能科技(北京)有限公司 智能设备的手势控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631501A (zh) * 2013-10-11 2014-03-12 金硕澳门离岸商业服务有限公司 基于手势控制的数据传输方法
CN103929464A (zh) * 2013-01-11 2014-07-16 三星电子株式会社 用于检测三维手势以发起和完成联网设备间应用数据传送的系统和方法
CN105302302A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 一种应用控制的方法及装置
CN106527685A (zh) * 2016-09-30 2017-03-22 努比亚技术有限公司 一种终端应用的控制方法及装置
CN106909297A (zh) * 2016-08-19 2017-06-30 阿里巴巴集团控股有限公司 一种数据通信处理方法、装置及电子设备、触摸显示设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6877097B2 (en) * 2001-03-21 2005-04-05 Activcard, Inc. Security access method and apparatus
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9092190B2 (en) * 2010-10-01 2015-07-28 Z124 Smartpad split screen
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
WO2011097226A1 (en) * 2010-02-02 2011-08-11 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
CN104641399B (zh) * 2012-02-23 2018-11-23 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
US9066129B2 (en) * 2012-04-24 2015-06-23 Comcast Cable Communications, Llc Video presentation device and method
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US20140081160A1 (en) * 2012-09-20 2014-03-20 Jiannan Xiang Flexible Multi-point Pulse Sensor
US9323353B1 (en) * 2013-01-15 2016-04-26 American Megatrends, Inc. Capacitance sensing device for detecting a three-dimensional location of an object
US9805530B2 (en) * 2013-08-07 2017-10-31 McLEAR LIMITED Wearable data transmission device and method
KR20150026132A (ko) * 2013-08-30 2015-03-11 삼성전자주식회사 전자 장치를 이용하여 오브젝트를 공유하는 방법 및 장치
US20150370411A1 (en) * 2014-06-23 2015-12-24 Google Technology Holdings LLC Method and electronic device for carrying out edge suppression and correction
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9891811B2 (en) * 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9886095B2 (en) * 2015-09-24 2018-02-06 Stmicroelectronics Sa Device and method for recognizing hand gestures using time-of-flight sensing
US9990078B2 (en) * 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929464A (zh) * 2013-01-11 2014-07-16 三星电子株式会社 用于检测三维手势以发起和完成联网设备间应用数据传送的系统和方法
CN103631501A (zh) * 2013-10-11 2014-03-12 金硕澳门离岸商业服务有限公司 基于手势控制的数据传输方法
CN105302302A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 一种应用控制的方法及装置
CN106909297A (zh) * 2016-08-19 2017-06-30 阿里巴巴集团控股有限公司 一种数据通信处理方法、装置及电子设备、触摸显示设备
CN106527685A (zh) * 2016-09-30 2017-03-22 努比亚技术有限公司 一种终端应用的控制方法及装置

Also Published As

Publication number Publication date
US20210089132A1 (en) 2021-03-25
WO2019121081A1 (en) 2019-06-27
EP3502835A1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
KR102059882B1 (ko) 미디어 재생을 위한 방법 및 단말기
KR102217641B1 (ko) 오디오 제어 방법 및 그 전자 장치
JP7261294B2 (ja) マルチメディアファイルの再生制御方法及び端末機器
US10198172B2 (en) Electronic device using auxiliary input device and operating method thereof
US20200371685A1 (en) Graphical User Interface Display Method And Electronic Device
KR101925485B1 (ko) 근접 터치 감지 장치 및 방법
WO2017032123A1 (zh) 一种视频播放控制方法及装置
US20140351768A1 (en) Method for processing input and electronic device thereof
KR20150006180A (ko) 채팅 창 제어 방법 및 이를 구현하는 전자 장치
KR20110045138A (ko) 터치스크린 기반의 ui 제공방법 및 이를 이용한 휴대 단말기
US20160210111A1 (en) Apparatus for enabling Control Input Modes and Associated Methods
JP2016512357A (ja) バックグラウンドタスク用の対話式入力
TW201140424A (en) Dynamic interpretation of user input in a portable electronic device
KR20120092487A (ko) 휴대단말기의 화면 제어 방법
US20120196540A1 (en) Method and apparatus for a bluetooth-enabled headset with a multitouch interface
CN108804005B (zh) 终端控制方法、装置以及移动终端
JP2018514819A (ja) 操作処理方法、装置、プログラム、及び記録媒体
JP2020042799A (ja) イヤーセット制御方法およびシステム
CN110597478A (zh) 一种音频输出方法及电子设备
US9749455B2 (en) Electronic device and method for sending messages using the same
KR20160118078A (ko) 터치스크린을 이용한 볼륨 제어 방법 및 장치
CN111656303A (zh) 数据处理装置的手势控制
CN109074124B (zh) 数据处理的方法及移动设备
KR101876394B1 (ko) 단말기에 미디어 데이터를 재생하는 방법 및 장치
CN110622105B (zh) 基于设备上下文执行至少一个操作的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination