CN107430445B - 用于控制终端装置的系统和方法 - Google Patents

用于控制终端装置的系统和方法 Download PDF

Info

Publication number
CN107430445B
CN107430445B CN201680021554.7A CN201680021554A CN107430445B CN 107430445 B CN107430445 B CN 107430445B CN 201680021554 A CN201680021554 A CN 201680021554A CN 107430445 B CN107430445 B CN 107430445B
Authority
CN
China
Prior art keywords
sensor
mounting surface
additional
terminal device
data signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680021554.7A
Other languages
English (en)
Other versions
CN107430445A (zh
Inventor
Y·波舍尼赞
O·内泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haptic Inc
Original Assignee
Swan Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=56615744&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN107430445(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Swan Solutions Inc filed Critical Swan Solutions Inc
Publication of CN107430445A publication Critical patent/CN107430445A/zh
Application granted granted Critical
Publication of CN107430445B publication Critical patent/CN107430445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

一种控制系统(10)包括接合至安装表面(22)的壳体(20),包含在壳体(20)内的传感器(30),与传感器(30)通信的服务器(40)和与服务器(50)通信的终端装置(50)。与安装表面(22)相关联的用户的手势控制终端装置(50)的动作,诸如敲击墙壁降低恒温器。控制系统(10)使得独立于终端装置(50)的安装表面(22)成为用于终端装置(50)的控制器。传感器(30)形成交互式区域(32),并且与交互区域(32)内的安装表面(22)的接触相互作用(60)被传感器(30)作为数据信号(70)来检测。服务器(40)接收数据信号(70),确定对应于数据信号(70)的数据模式(80),并使数据模式(80)与手势轮廓(90)相匹配。手势轮廓(90)与发送至终端装置(50)的命令相关联,以控制终端装置(50)的动作。

Description

用于控制终端装置的系统和方法
技术领域
本发明涉及一种终端装置的,诸如电视机、照明电器、恒温器或笔记本电脑的,手动控制系统。更具体地,本发明涉及一种在独立于要控制的终端装置的外部安装表面上的控制系统。更具体地,本发明涉及一种用于检测安装表面上的手势并且基于检测到的手势生成用于终端装置的命令的系统。
背景技术
随着电子技术的发展,日常使用的输出装置或终端装置,越来越多地与交互功能相集成,以增强便利性和功能性。如今,用户可以使用诸如遥控装置的控制系统或控制器来调节灯、窗帘、恒温器等。现有的控制系统包括专用于和与要控制的特定输出或终端装置相关联的不同的遥控设备。远程控制装置也可以与多于一个终端装置相关联,例如用于电子设备的主控制器和与家具或墙壁一体形成的触摸屏计算机平板以控制照明和室温。具有接口(键盘、鼠标、触摸板或触摸屏)的计算机可以是用于具有智能技术的多个终端装置的远程控制装置。已知的移动电话也能够用于控制终端装置,例如家庭保安摄像头和门锁。另一个现有的控制系统涉及语音识别技术。
现有的控制系统具有局限性。每个输出或终端装置通常与相应的遥控装置相关联,例如用于电缆箱的控制器、用于DVD播放器的控制器,以及用于混音器的控制器。需要很多的控制器以遥控多个装置。而且,单个控制器通常被放置在或留在用户不容易接近的位置。用户必须搜索控制器或更改位置才能使用控制器。此外,语音识别技术通常需要繁琐的训练课程来校准每个特定用户的发音和口音。此外,语音识别技术经常受到背景噪声的损害,导致该控制系统难以识别语言命令。此外,在许多环境中,例如在其他人正在睡觉的房间中,或者在观看电影的房间中,由语音命令产生的声音可能是冒失的。
对于与多个终端装置相关联的远程控制设备,例如具有触摸屏的计算机平板电脑和具有触摸板的计算机,远程控制装置可被内置或集成至家具中。使用触摸屏构建智能桌面,可以接收基于触摸的手势。在将这些触摸屏或触摸板集成到诸如家具的结构的表面的情况下,由于适应遥控装置所需的设计修改以及组件和硬件的成本,结构的成本显著增加。此外,美学往往受到影响。当家具、墙壁和周围环境充满触摸屏、触摸板和其他显眼设备时,外观会发生变化。将这种硬件集成到家具中也需要制造商修改现有的设计,使得硬件可以容纳在结构中。
现有技术的手动控制系统的范围从电视遥控器上的按钮到移动电话的触摸屏。按压专用按钮的简单手势和在触摸屏上的手指运动的复杂手势都用于控制终端装置。在这些手动控制系统领域中有各种专利和出版物。
于2014年7月22日授予Stedman等人的美国专利号8788978教导了一种用于计算机的对手势感应的接口。“触控缩放”功能是主题,使得第一和第二相互作用点以及点之间的相对运动的检测被传感器检测到。公开了各种传感器以定义该领域,包括触摸屏、摄像头、运动传感器和接近传感器。
于2013年11月7日公布的Bess的世界知识产权组织公布号WO2013165348描述了一种具有至少三个加速计的系统,加速计布置在具有表面的区域的不同位置上,以捕获对应于用户在表面上轻敲的命令的相应振动数据。处理系统从每个加速计接收振动数据,从振动数据识别用户的命令和位置。产生基于命令和位置的控制信号。
于2014年8月14日公布的Shpunt等人的美国专利公布号20140225824公开了灵活的房间控制。控制装置包括:投影仪,其用于将第一光线引导至一场景,并接收从场景反射的第一光线,并将第二光线引向墙壁以将控制装置的图像投影到墙上,其中场景包括靠近房间的墙壁的用户的手。处理器检测投影的场域内的手运动。
于2012年10月4日公布的Maciocci等人的美国专利公开号20120249416描述了具有手势识别的另一投影系统。投影机是穿在用户身体上的单元,以投射到诸如墙壁和桌子的表面上。空间数据是由传感器阵列检测。附加的渲染操作可以包括跟踪识别的身体部位的运动,对跟踪的动作应用检测算法以检测预定手势,应用与检测到的预定手势相对应的命令,以及响应于所应用的命令来更新投影图像。
于2010年1月28日公布的Van Loenen的美国专利公布号20100019922是用于通过轻敲的交互式表面的已知技术。声音检测在被控制的系统中或在传感器本身中被过滤和解释。触摸表面的手的移动方向可以解释为例如增加或减少诸如电视机的音量等级的参数的命令。确定用户手的位置是不必要的。
对于包括一组简单按钮或复杂触摸板的现有技术的控制系统,在遥控装置的表面上的触敏区和非接触区之间存在离散的边界或分化。触敏区可以通过按钮、键盘或集成在表面的触摸板的外边缘来约束。因此,通常在人的手与激活的终端装置的按钮或触摸板之间发生接触相互作用的时刻处理命令。对于现有技术的光检测装置,存在着作为触敏区的可见光的离散边界。仅在投影光的场域内的手势和仅在投影光被激活的情况下形成的手势在控制系统内被处理为用于终端输出的命令。
需要去除触敏区和非接触区之间的边界,使得整个表面可以是交互区域。对于残疾人,触敏区可能无法接近,例如安装得太高的开关或触摸屏。对于具有神经肌肉问题或其他物理限制的人来说,与触摸屏合适地相互作用的足够的电机控制可能是不可能的。当控制终端装置时,老年人也可能需要帮助来充分查看按钮和触摸屏。需要为宽广范围内的身体能力的所有类型用户改进手动控制系统。
本发明的目的是提供一种用于控制终端装置的系统和方法。
本发明的目的是提供一种控制终端装置的手动系统。
本发明的目的是提供一种基于手势的交互控制系统。
本发明的另一个目的是提供一种基于对独立于终端装置的表面的物理冲击的交互式控制系统。
本发明的另一个目的是提供一种用于通过相关联的安装表面的接触相互作用来控制终端装置的系统的实施例。
本发明的另一个目的是提供一种用于控制具有与外表面协调或对齐的交互区的终端装置的系统的实施例。
本发明的另一个目的是提供一种交互式控制系统的实施例,以检测作为由传感器设置的交互区域内的接触相互作用的手势。
本发明的另一个目的是提供一种用于控制终端装置以检测作为数据信号的与安装表面相关联的接触相互作用的系统的实施例。
本发明的另一个目的更是提供一种用于控制终端装置以匹配基于数据信号的数据模式的系统的实施例。
本发明的另一个目的更是提供一种用于控制终端装置以使检测到的数据模式与跟终端装置的命令相关联的手势轮廓相匹配的系统的实施例。
本发明的另一个目的更是提供一种用于通过将经由传感器检测的接触相互作用转换为与检测到的数据模式相匹配的手势轮廓相关联的命令来控制终端装置的系统的实施例。
通过阅读所附的说明书,本发明的这些和其它目的和优点将变得显而易见。
发明内容
本发明的控制系统的实施例将任何独立的安装表面转换成用于终端装置的控制器。可以使用物理上分开的安装表面,例如墙壁或桌面来激活和关闭电视机或灯具,而无需用户触摸任何一个电器。控制系统包括与安装表面接合的壳体、壳体内的传感器、与传感器通信的服务器,以及与服务器通信的终端装置。终端装置将通过与安装表面相关的手势来控制。
壳体具有用于安装表面的接合装置,使得壳体可以放置在安装表面的外部、下部或内部。平面表面,诸如桌子和墙壁、以及如床的非平面表面可以是安装表面22。接合装置可以包括在朝着安装表面的壳体和将传感器连接到壳体的传动部分之间的连接装置。在一些实施例中,传动部分具有弹簧加载部分,以减小在壳体内的传感器的阻尼。
传感器形成由传感器的范围限定的交互区域,并且交互区域与安装表面对齐。交互区域可以是共面的、重叠的或与安装表面一体形成。传感器相对于接合装置处于固定位置,使得与交互区域内的安装表面的接触相互作用由传感器检测为数据信号。在替代实施例中,可以有多于一个的传感器。在具有附加传感器的情况下,存在用于检测在安装表面上的相同接触相互作用的附加交互区域。来自附加传感器的附加数据信号可以与传感器的数据信号一起被检测。
接触相互作用通过壳体的传动部分产生传感器的数据信号。在一些实施例中,接触相互作用包括对安装表面的一个冲击或多个冲击,数据信号具有对应于每个冲击的相应确定的峰值、每个确定的峰值之间的测量的时间段,以及在上次确定的峰值后的确定的时间段。如果存在多次冲击,则用于每个接触相互作用的数据模式是由每个确定的峰值和在上一次确定的峰值之后的确定的时间段以及每个确定的峰值之间的每个测量的时间段来确定。当传感器是声学传感器时,数据信号是声音数据,例如音量、强度、音高、频率和持续时间。当传感器是加速计时,数据信号是振动数据,如振幅、强度和持续时间。其他传感器,例如具有机械、光和压电能力的传感器也可以并入至控制系统中。接触相互作用(例如轻敲、敲击、扫掠和拖动)可以由传感器检测为数据信号,使得本发明可以使用用户的不同手势来控制终端装置的动作。在具有多于一个传感器的替代实施例中,数据信号和附加数据信号可用于确定接触相互作用的数据模式。
本发明的服务器与传感器通信,包括但不限于WiFi、蓝牙、局域网、有线或其他无线连接。服务器可以包括路由模块、连接到路由模块的处理模块以及连接到处理模块的输出模块。路由模块从传感器接收数据信号,并且处理模块确定与接触相互作用的数据信号对应的数据模式。对于多于一个传感器,数据模式对应于传感器的数据信号和其他传感器的任何附加数据信号。处理模块将数据模式与手势轮廓相匹配。手势轮廓与命令相关联。一旦匹配,输出模块将该命令发送到终端装置。
终端装置可以是电器、照明灯具或气候调节器。示例包括电视机、恒温器、计算机、软件系统、游戏机、智能电话、运行软件的装置、风扇、床垫调节器、闹钟和照明灯具。终端装置可以包括接收模块和用于启动对应于该命令的终端装置动作的装置。终端装置的动作可以专用于特定的终端装置,例如用于灯的开启和关闭、升高和降低恒温器的温度、接听智能电话、检查桌子上的日历的软件,以及改变电视的频道。与服务器通信的接收模块接收命令,并且用于启动的装置执行该动作。用于启动的装置可以是开关或其他致动机构以改变终端装置的状态。
本发明的实施例进一步包括利用本发明的系统来控制终端装置的方法。壳体通过接合装置安装在安装表面上。连接服务器以便与传感器通信,以及连接终端装置以便与服务器通信。在安装表面上形成物理冲击,以产生接触相互作用,并且传感器检测作为数据信号的接触相互作用。服务器从传感器接收数据信号,并确定对应于接触相互作用的数据信号的数据模式。将数据模式匹配至与命令相关联的手势轮廓。该命令被发送到终端装置,使得终端装置根据该命令执行动作。即使安装表面独立于终端装置,与安装表面相关的手势也能控制终端装置。
附图说明
图1是本发明的控制系统的实施例的示意图;
图2是用于使用本发明的系统控制终端装置的方法的实施例的流程图;
图3是本发明的控制系统的壳体和传感器的实施例的示意图;
图4是图3中的壳体和传感器的实施例的侧视图;
图5是本发明的安装表面上的壳体的实施例的上透视图;
图6是在本发明的安装表面上具有多个传感器的外壳的另一实施例的俯视图;
图7-9是本发明的控制系统的壳体、交互区域和安装表面的示意图。
具体实施方式
本发明的控制系统是用于具有多种身体能力的所有类型用户的手动控制系统。任何独立的安装表面都可以转换成用于终端装置的控制器。可以使用与安装表面相关联的简单手势在不同位置控制终端装置。不再需要使用专用控制器上的按钮或开关,或者不再需要能够在触摸屏上查看和操作复杂的菜单。可以开启或关闭诸如电视机或恒温器之类的电器,而不需用物理接触任何一种电器。用户不必物理地接触作为终端装置的电器。独立的安装表面,例如墙壁或台面,被转换成无触敏区域边界的控制器。在独立表面上的简单物理交互现在可以控制终端装置。
参考图1-2,控制系统10包括接合至安装表面22的壳体20、壳体20内的传感器30、与传感器30通信的服务器40、以及与服务器40通信的终端装置50。接口99连接至服务器40,以便与控制系统10交互。接口99可以包括计算机、笔记本电脑、平板电脑和智能电话。图1示出了各种不同的接口99。接口99允许用户调整控制系统10的设置。与安装表面22相关联的用户的手势控制图5和图7-9中的终端装置50。在一些实施例中,接口99的设备也可以是终端装置50。
在图3-4中,壳体20包括用于安装表面22的接合装置24。图5和图7-9示出了壳体20可以放置在安装表面22的外部、下部或内部。平面表面,诸如桌子和墙壁、以及如床的非平面表面可以是安装表面22。图4示出了包括连接装置26的接合装置24的实施例,接合装置24是处在至安装表面22的壳体20和将传感器30连接到壳体20的传动部分28之间。连接装置26可以是粘合剂、机械紧固件、螺纹螺钉或其它部件,以将壳体20保持在安装表面22上。在一些实施例中,传动部分28可以包括框架和支架38或弹簧加载部分(未示出),以便减少阻尼。穿过壳体20,传感器30相对于安装表面22刚性定位。安装表面22的任何声音或振动被传递到传感器30。接合装置24附接传感器30并且接合装置24减少阻尼,使得传感器30更精确地检测安装表面22。传动部分28影响从安装表面22到传感器30的声音或振动或其他刺激。
本发明的控制系统10包括如图3-4所示的传感器30。壳体20包含传感器30,传感器30包含具有闪速存储器31、微控制器单元(MCU)33、传感器单元35、天线37和发光二极管39的印刷电路板34’。传感器单元35可以是加速计或声学传感器。微控制器单元33和天线37可以具有用于与服务器40通信的WiFi功能。示出了传感器30的传感器单元35与壳体20的传动部分28之间的关系。传感器30的刚性位置建立与传感器30的接触相互作用的传递。壳体20中的其他部件包括作为用于控制系统10的已知电源的电池36。壳体20和传感器30的稳定构造使得能够将手势准确有效地转换成用于终端装置50的命令。
图5和图6示出了形成由传感器30的范围34限定的交互区域32的传感器30的实施例。与交互区域32内的安装表面22的接触相互作用由传感器30检测为数据信号。图5和图6示出了与安装表面22对齐的交互区域32,特别地,交互区域32与安装表面22共面。安装表面22上的接触相互作用是由安装表面22上的传感器30来检测。在一个示例中,壳体20搁置在桌子上,敲击桌面可以控制终端装置50。用于敲击的桌面和安装表面22是相同的结构。
图7-9示出了其他实施例,其中交互区32与不同位置的安装表面22对齐。图7和8示出了交互区域32与安装表面22共面,并覆盖安装表面22。图7也示出了作为安装表面22的墙壁,其中壳体20在墙壁的后面。接触相互作用是在与安装表面22相反的墙壁表面上,但是墙壁表面上的敲击被传递到安装表面22,然后传递到传感器30。类似地,图8示出了作为安装表面22的桌子,其中壳体20在桌子下方。接触相互作用在与安装表面22相反的桌面上。桌面上的敲击被传送到桌子底部的安装表面22和传感器30。图9示出了与安装表面22形成一体的交互区域32,例如嵌入在桌子中。安装表面22在桌子内,桌面不是安装表面22。即使接触相互作用并不总是直接在安装表面22上,接触相互作用与安装表面22相关联,并且通过安装表面22检测接触相互作用。在本发明中,传感器30相对于接合装置24处于固定位置,使得接触相互作用通过安装表面22传递至传感器30。通过安装面22和接合装置24,可以尽可能高效地将通过安装面22的移动、声波和振动传递到传感器30。
壳体20的接合装置24与传感器30协调,使得任何接触相互作用通过接合装置24的传动部分28产生传感器的数据信号。作为声音或振动的接触相互作用的阻尼是较少的。传动部分28可以具有比安装表面22或交互区域32中的实际敲击的表面更少的阻尼。在一些实施例中,传动部分28影响数据信号传输至传感器30。相对于安装表面22的传感器30的刚性位置通过传动部分28减小接触相互作用的阻尼。如果不同于安装表面22,则传动部分28可以包括刚性材料,此刚性材料为具有与安装表面22或接触相互作用的表面的材料不同的柔性的注塑框架。在具有弹簧加载部分(未示出)的实施例中,如果阻尼不相同的话,则传动部分28的弹簧加载部分具有比安装表面22或接触相互作用的表面更少的阻尼。声音或振动通过弹簧加载部分具有较小的阻尼,弹簧加载部分是用于通过传动部分28将接触相互作用传递至传感器30。例如,作为传动部分28的弹簧加载部分可以将壳体20保持为更牢固且更靠近安装表面22,以便减少声音或接触相互作用的振动的阻尼。传感器30的数据信号可以具有比没有与相对于用于传输至传感器30的安装表面22的壳体20内的传感器30的关联的系统更好的清晰度和精度。传感器30可以在印刷电路板34’两侧上相对于壳体20稳定。可替换地,印刷电路板34’可以沿着印刷电路板34’的周边的多个点被保持,包括每120度或90度间隔的支架。传感器30保持在适当位置以防止与安装表面分离的松动和振动,使得传感器30保持与安装表面22的适当关系。
图2是本发明实施例的流程图,示出了与服务器40相关的传感器30的数据信号。接触相互作用60通过壳体20的传动部分28产生传感器30的数据信号70。在本发明中,接触相互作用60包括与安装表面22相关联的一个冲击或多个冲击。在图5和图6中,敲击桌面也敲击安装表面22,因此接触相互作用60直接在安装表面22上。在图7-9中,敲击墙壁或桌子的相关表面是接触相互作用60。在这些实施例中,对相关表面的冲击或多个冲击是接触相互作用60,而不是对安装表面22的冲击。冲击被协调或对应或转变至安装表面22,用于通过安装表面22由传感器30检测为数据信号70。
在控制系统10的实施例中,数据信号70具有对应于每个冲击的相应定义的峰值、每个确定的峰值之间的测量时间段和在上一个确定的峰值之后的确定的时间段。每个峰值是从基线或背景活动快速增加的正在检测到的数据中的确切的峰值。如果存在多个冲击,则用于每个接触相互作用60的数据模式80是由每个确定的峰值和在上一次确定的峰值之后的确定的时间段以及每个确定的峰值之间的每个测量的时间段来确定。图2示出了由一个冲击或多个冲击构成的接触相互作用60的实施例。单个敲击或一系列敲击可以是接触相互作用60。控制系统10确定由单个轻敲、三个快速敲击、两个轻敲和其他序列组成的接触相互作用60的数据模式80。接触相互作用60,例如轻敲、敲击、扫掠和拖动可以被传感器30检测为数据信号70。通过本发明可以使用用户的不同手势来控制终端装置50的动作。
本发明的传感器30可以是具有与控制系统10的其他部件相同关系的任何已知的传感器。传感器可以是机械传感器、光传感器、压电传感器、振动传感器或其他类型的仪表。在一个实施例中,传感器30包括声学传感器,使得数据信号70包括接触相互作用60的声音数据。声音数据可以是音量、强度、音高、频率、持续时间及其组合中的至少一个。在另一个实施例中,传感器30包括加速计,使得数据信号70包括接触相互作用60的振动数据。振动数据可以是幅度、强度、持续时间及其组合中的至少一个。可以从声音数据或振动数据的数据信号70确定数据模式80。
图1和图2示出了与传感器30通信的服务器40的实施例。通信可以是无线或有线的。服务器40和传感器30之间的连接可以包括如图1所示的路由器42,并且也可以包括wifi、蓝牙、局域网或其他连接。在图1中,服务器40可以包括路由模块44、连接至路由模块44的处理模块46,以及连接至处理模块46的输出模块48。根据图2,路由模块44从传感器30接收数据信号70。这些数据信号70对应于与安装表面22相关联的接触相互作用60。处理模块46确定对应于接触相互作用60的数据信号70的数据模式80。处理模块46也将数据模式80与手势轮廓90相匹配。手势轮廓90是与诸如关闭或改变频道或使强度暗淡的命令相关联。然后,输出模块48向终端装置50发送命令。例如,当终端装置50是电视机时,可以检测到作为数据信号70的两次敲击的接触相互作用以产生数据模式80。数据模式80可以和手势轮廓90匹配,其中手势轮廓90是与将频道更改为一个频道相关联。输出模块48通过服务器40发送将频道更改为一个频道的命令至作为终端装置50的电视机。轮椅上的老人可以通过在桌面上敲两次来改变频道,以代替在电视上定位专用按钮,或者在智能手机上摆弄触摸屏。
在控制系统10中,终端装置50可以是诸如具有开关50”’的电视机、立体声系统或咖啡机的电器。可替换地,终端装置50可以是运行软件的装置、具有开关50’的灯或气候调节器,诸如恒温器、风扇或照明灯具。终端装置50的动作取决于终端装置50。动作专用于特定的终端装置50。与手势轮廓90相关联的命令涉及特定的终端装置50。在桌面上敲击两次可以由控制系统10转换成改变电视频道或降低恒温器的温度、或者在计算机上的在线日历软件程序中创建条目的命令。控制系统10也可以与多个终端装置50、50”一起使用。用于命令的手势轮廓90对于特定终端装置50的动作是特定的。可以将多于一个终端装置50连接到服务器40以从传感器30接收命令。
图6所示的替代实施例示出了具有附加传感器130的控制系统10。壳体20可以包含多个传感器,如所示的传感器30和附加传感器130。在具有附加传感器130的情况下,存在用于检测在安装表面22上的相同接触相互作用60的附加交互区域132。附加交互区域132是由附加传感器130的附加范围134来限定。类似地,由于附加的传感器130在相同的壳体20内,附加的交互区域134以与传感器30相同的关系与安装表面22对齐。附加传感器130相对于壳体20的接合装置24保持在固定位置并与服务器40通信。与在附加交互区域132内的安装表面22相关联的接触相互作用60由附加传感器130检测为附加数据信号,并且处理模块46确定对应于传感器30的数据信号70和附加传感器130的附加数据信号的数据模式80。图6示出了与附加传感器130的附加交互区域132重叠的传感器30的交互区域32。传感器30和附加传感器130可以相同或不同,例如两个声学传感器或两个加速计或各自中的一个。数据模式80可以更加稳健,以便与手势轮廓90的更可靠的匹配。可以更加一致地过滤背景干扰和分辨率。
本发明的实施例包括如图1和图2所示的控制终端装置50的方法。该方法包括通过接合装置24将壳体20安装在安装表面22上,其中传感器30包含在壳体20内。传感器30形成由传感器30的范围34限定并与安装表面22对齐的交互区域32。该方法进一步包括连接与传感器30通信的服务器40,以及连接与服务器40通信的终端装置50。
产生与安装表面22相关联并且在交互区域32内的物理冲击,以便产生接触相互作用60。接触相互作用60由传感器30检测为数据信号70。将数据信号70从传感器30发送至服务器40。在一些实施例中,服务器40包括路由模块44、连接至路由模块44的处理模块46,以及连接至处理模块46的输出模块48。进一步,终端装置50可以具有接收模块52。利用服务器40的路由模块44接收数据信号70,并且处理模块46确定对应于接触相互作用60的数据信号70的数据模式80。利用处理模块46将数据模式80与手势轮廓90相匹配。取决于终端装置50,每个手势轮廓90与命令相关联。为特定的终端装置50指定命令,例如用于改变电视的频道或者降低恒温器的温度。该方法包括使用服务器40的输出模块48将命令发送到终端装置50的接收模块52。然后,终端装置50根据该命令执行动作。
可替代的实施例包括进行与安装表面22相关联的多个物理冲击,使得接触相互作用60为多于一个的物理冲击,并且数据模式80是由多于一个的冲击来确定。另一个实施例还包括壳体,壳体包含连接到服务器40的附加传感器130。该步骤是利用传感器40,结合附加传感器130的附加数据信号170,来检测作为数据信号70的接触相互作用。而且,利用路由模块从传感器接收数据信号的步骤进一步包括利用路由模块44从附加传感器接收附加数据信号170。在具有多个传感器的情况下,确定数据模式80的步骤进一步包括利用处理模块46来确定对应于数据信号70和附加数据信号170的数据模式。该方法也包括当壳体20包含多个传感器30、130时产生多个物理冲击。
本发明是一种用于控制终端装置的系统和方法。用户手动地控制终端装置,但与现有技术的手动控制不同。现有技术系统的范围是从专用于专用遥控装置上的特定动作的简单按钮到具有比仅控制终端装置更多的功能的触摸屏。对于可接近性和复杂性,存在严重的缺陷,特别是对于具有不同身体能力的用户。本发明提供一种基于手势的交互式控制系统,以解决所有可能用户的不同身体能力。控制系统使得作为对独立表面的物理冲击敲击、轻敲和其他手势来控制设备,而没有现有技术的可接入性和复杂性的缺点。独立于终端装置的外部表面成为控制器。与安装表面相关联和在传感器的交互区域的接触相互作用被作为数据信号来检测,数据信号是用于通过终端装置转换成动作的实际执行。
如本文所述,本发明提供了许多优点和用途,然而这些优点和用途不受这种描述的限制。参考附图更好地说明本发明的实施例,然而,这样的参考并不意味着以任何方式限制本发明。本文详细描述的实施例和变型将由所附权利要求及其等同物来解释。
本发明的前述公开和描述是其说明性和解释性的。在不脱离本发明的真实精神的情况下,可以对所示结构、构成和方法的细节进行各种改变。

Claims (13)

1.一种控制系统(10)包括:
壳体(20),其具有用于安装表面(22)的接合装置(24);
传感器(30),其包含在所述壳体(20)内,所述传感器(30)形成由所述传感器(30)的范围(34)限定的交互区域(32),所述传感器包括加速计,所述交互区域(32)与所述安装表面(22)对齐并且在所述壳体周边外部覆盖所述安装表面,所述传感器(30)相对于接合装置(24)处于固定位置,其中与所述交互区域(32)内的所述安装表面(22)相关联的接触相互作用(60)由所述传感器(30)检测为数据信号(70),所述接触相互作用包括对所述安装表面的冲击,所述数据信号包括所述接触相互作用的振动数据;
服务器(40),其与所述传感器(30)通信,所述服务器(40)包括路由模块(44)、连接到所述路由模块(44)的处理模块(46),以及连接到所述处理模块(46)的输出模块(48),所述路由模块(44)接收来自所述传感器(30)的所述数据信号(70),所述处理模块(46)确定对应于所述接触相互作用(60)的所述数据信号(70)的数据模式(80),并将所述数据模式(80)与手势轮廓(90)相匹配,所述手势轮廓(90)与命令相关联;以及
终端装置(50),其包括接收模块(52)和用于启动对应于所述命令的所述终端装置(50)的动作的装置,所述终端装置(50)与所述服务器(40)通信,所述输出模块(48)将所述命令发送至所述接收模块(52),
其中所述壳体的所述接合装置包括:
连接装置,其处在所述壳体至所述安装表面之间;和
传动部分,其将所述传感器连接至所述壳体的所述连接装置,并且包括与所述安装表面不同柔性的材料以便相对于所述安装表面设置所述传感器的刚性位置,所述接触相互作用通过所述传动部分产生所述传感器的所述数据信号。
2.根据权利要求1所述的控制系统(10),其中所述传感器(30)的所述交互区域(32)与所述安装表面(22)对齐,所述交互区域(32)与所述安装表面(22)共面。
3.根据权利要求1所述的控制系统(10),其中所述传动部分(28)包括弹簧加载部分,以便减小所述接触相互作用(60)的阻尼。
4.根据权利要求1所述的控制系统(10),其中所述接触相互作用(60)包括对所述安装表面(22)的冲击,所述数据信号(70)具有对应于每个冲击的相应确定的峰值、在上次确定的峰值之后的确定的时间段,所述数据模式(80)包括每个确定的峰值和在所述上次确定的峰值之后的所述确定的时间段。
5.根据权利要求1所述的控制系统(10),其中所述接触相互作用(60)包括对所述安装表面(22)的多个冲击,所述数据信号(70)具有对应于每个冲击的相应确定的峰值、在每个确定的峰值之间的测量时间段、以及在上次确定的峰值之后的确定的时间段,所述数据模式(80)包括每个确定的峰值、在每个确定的峰值之间的测量时间段和在所述上次确定的峰值之后的所述确定的时间段。
6.根据权利要求1所述的控制系统(10),进一步包括:
附加传感器(130),其包含在所述壳体(20)内,所述附加传感器(130)形成由附加传感器(130)的附加范围(134)限定的附加交互区域(132),所述附加交互区域(132)与所述安装表面(22)对齐,所述附加传感器(130)相对于所述接合装置(24)处于固定位置,所述服务器(40)与所述附加传感器(130)通信,
其中与所述附加交互区域(132)内的所述安装表面(22)的所述接触相互作用(60)由所述附加传感器(130)检测为附加数据信号(170),以及
其中所述处理模块(46)确定对应于所述传感器(30)的所述数据信号(70)和所述附加传感器(130)的附加数据信号(170)的所述数据模式(80)。
7.根据权利要求6所述的控制系统(10),其中所述传感器(30)的所述交互区域(32)与所述附加传感器(130)的所述附加交互区域(132)重叠。
8.根据权利要求1所述的控制系统(10),其中所述终端装置(50)包括选自由以下装置组成的组中的一个:电视机、恒温器、计算机、软件系统、游戏机、风扇、床垫调节器、闹钟和照明灯具。
9.根据权利要求1所述的控制系统(10),进一步包括:
附加的终端装置,其包括附加的接收模块和用于启动对应于附加命令的所述附加终端装置的动作的附加装置,所述附加终端装置与所述服务器通信,所述输出模块将所述附加命令发送到所述附加接收模块。
10.一种控制终端装置(50)的方法,所述方法包括步骤:
通过接合装置(24)将壳体(20)安装在安装表面(22)上,所述壳体(20)包括包含在所述壳体(20)内的传感器(30),所述传感器包括加速计,所述传感器(30)形成由所述传感器(30)的范围(34)限定的交互区域(32),所述交互区域(32)与所述安装表面(22)对齐并且在所述壳体周边外部覆盖所述安装表面,所述传感器(30)相对于所述接合装置(24)处于固定位置,其中所述壳体的所述接合装置包括:
连接装置,其处在所述壳体至所述安装表面之间;和
传动部分,其将所述传感器连接至所述壳体的所述连接装置,并且包括与所述安装表面不同柔性的材料以便相对于所述安装表面设置所述传感器的刚性位置;
连接与所述传感器(30)通信的服务器(40),所述服务器(40)包括路由模块(44)、连接到所述路由模块(44)的处理模块(46),以及连接到所述处理模块(46)的输出模块(48);
连接与所述服务器(40)通信的终端装置(50),所述终端装置(50)包括接收模块(52);
对所述安装表面(22)产生物理冲击,以产生接触相互作用(60);
利用所述传感器(30),检测所述接触相互作用(60)为数据信号(70),所述数据信号包括所述接触相互作用的振动数据,所述接触相互作用通过所述传动部分产生所述传感器的所述数据信号;
利用所述服务器(40)的路由模块(44)从所述传感器(30)接收所述数据信号(70);
利用所述处理模块(46),确定与对应于所述接触相互作用(60)的所述数据信号(70)的数据模式(80);
利用所述处理模块(46),将所述数据模式(80)与手势轮廓(90)相匹配,所述手势轮廓(90)与命令相关联;
使用所述服务器(40)的所述输出模块(48)将所述命令发送至终端装置(50)的所述接收模块(52),所述命令对应于所述终端装置(50)的动作;以及
利用所述终端装置(50)执行所述动作。
11.根据权利要求10所述的控制终端装置(50)的方法,其中对所述安装表面(22)产生物理冲击的步骤进一步包括对所述安装表面(22)进行多个物理冲击,所述接触相互作用(60)与多于一个物理冲击关联。
12.根据权利要求10所述的控制终端装置(50)的方法,其中所述壳体(20)进一步包括附加传感器(130),所述附加传感器(130)连接到所述服务器(40),
其中利用所述传感器(30)检测所述接触相互作用(60)为数据信号(70)的步骤进一步包括利用所述附加传感器(130)检测所述接触相互作用(60)为附加数据信号(170);
其中利用所述路由模块(44)从所述传感器(30)接收所述数据信号(70)的步骤进一步包括利用所述路由模块(44)从所述附加传感器(130)接收所述附加数据信号(170),以及
其中确定所述数据模式(80)的步骤进一步包括利用所述处理模块(46)确定对应于所述数据信号(70)和所述附加数据信号(170)的所述数据模式(80)。
13.根据权利要求12所述的控制终端装置(50)的方法,其中对所述安装表面(22)产生物理冲击的步骤进一步包括对所述安装表面(22)进行多个物理冲击,所述接触相互作用(60)与多于一个物理冲击关联。
CN201680021554.7A 2015-02-13 2016-02-12 用于控制终端装置的系统和方法 Active CN107430445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562115769P 2015-02-13 2015-02-13
US62/115,769 2015-02-13
PCT/US2016/017893 WO2016131013A1 (en) 2015-02-13 2016-02-12 System and method for controlling a terminal device

Publications (2)

Publication Number Publication Date
CN107430445A CN107430445A (zh) 2017-12-01
CN107430445B true CN107430445B (zh) 2020-09-01

Family

ID=56615744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680021554.7A Active CN107430445B (zh) 2015-02-13 2016-02-12 用于控制终端装置的系统和方法

Country Status (6)

Country Link
US (1) US9996738B2 (zh)
JP (1) JP6725805B2 (zh)
CN (1) CN107430445B (zh)
DE (1) DE112016000745B4 (zh)
GB (1) GB2550817B (zh)
WO (1) WO2016131013A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3602245B1 (en) 2017-03-21 2023-09-27 InterDigital VC Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality
GB201708100D0 (en) * 2017-05-19 2017-07-05 Sintef Input device
CN110513765A (zh) * 2019-08-26 2019-11-29 浙江互融智能科技有限公司 智能恒温系统
CN110737337A (zh) * 2019-10-18 2020-01-31 向勇 一种人机交互系统
CN111078009A (zh) * 2019-12-04 2020-04-28 哈尔滨拓博科技有限公司 一种基于电场感应的办公桌面手势控制系统
TWI761934B (zh) * 2020-09-01 2022-04-21 緯創資通股份有限公司 非接觸式動作偵測方法、動作偵測裝置以及危險情境偵測方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529363A (zh) * 2006-10-18 2009-09-09 皇家飞利浦电子股份有限公司 利用表面交互的电子系统控制
CN103345204A (zh) * 2013-05-10 2013-10-09 上海斐讯数据通信技术有限公司 一种家庭控制系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4377049A (en) * 1980-05-22 1983-03-22 Pepsico Inc. Capacitive switching panel
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US5103085A (en) * 1990-09-05 1992-04-07 Zimmerman Thomas G Photoelectric proximity detector and switch
DE4290947T1 (zh) * 1991-04-08 1993-04-01 Hitachi, Ltd., Tokio/Tokyo, Jp
US5971761A (en) 1998-11-12 1999-10-26 Tillman, Sr.; Chitunda Educational electronic baby mat
JP2003186617A (ja) * 2001-12-14 2003-07-04 Sony Corp 入力装置および入力方法
GB2398155B (en) * 2003-02-04 2005-11-30 Kidde Ip Holdings Ltd Hazard detection
JP3779696B2 (ja) * 2003-04-28 2006-05-31 株式会社東芝 電子機器と移動機器とを含むシステム、およびサービス提供方法
US8847772B2 (en) * 2005-10-12 2014-09-30 Mitchell J. Marks Smoke detector with remote alarm silencing means
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
US8599194B2 (en) * 2007-01-22 2013-12-03 Textron Innovations Inc. System and method for the interactive display of data in a motion capture environment
US8243062B2 (en) 2008-07-02 2012-08-14 S.C. Johnson & Son, Inc. Surface design tools
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 3次元物体認識システム及びそれを用いた棚卸システム
US8788978B2 (en) 2011-01-21 2014-07-22 Dell Products, Lp Pinch zoom velocity detent
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
JP5876705B2 (ja) * 2011-10-21 2016-03-02 株式会社ネクスコ・メンテナンス新潟 粒状氷検知装置
JP5975317B2 (ja) * 2011-11-08 2016-08-23 パナソニックIpマネジメント株式会社 機器制御システム及びリモートコントローラ
JP6053097B2 (ja) * 2012-02-28 2016-12-27 シャープ株式会社 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム
WO2013165348A1 (en) 2012-04-30 2013-11-07 Hewlett-Packard Development Company Control signal based on a command tapped by a user
US9262068B2 (en) 2012-05-31 2016-02-16 Opportunity Partners Inc. Interactive surface
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
JP2014069592A (ja) * 2012-09-27 2014-04-21 Mitsubishi Motors Corp 車載機器の遠隔操作システム
US9182812B2 (en) * 2013-01-08 2015-11-10 Ayotle Virtual sensor systems and methods
WO2014125427A1 (en) 2013-02-14 2014-08-21 Primesense Ltd. Flexible room controls
CN104111634A (zh) * 2013-04-17 2014-10-22 珠海格力电器股份有限公司 智能家居系统及控制方法
WO2015001041A1 (en) * 2013-07-05 2015-01-08 Lyse Smart As A gateway system for facilitating the interoperability between different service domains and a multitude of communication protocols within and outside a home network
US10140849B2 (en) * 2013-10-07 2018-11-27 Google Llc Status indication triggering and user interfacing in a smart-home hazard detector
CN204117093U (zh) * 2014-09-26 2015-01-21 常州二维碳素科技有限公司 一种柔性手势控制家电控制面板
US10108247B2 (en) * 2015-03-11 2018-10-23 Swan Solutions, Inc. Method for regulating a system for controlling a terminal device
US10082878B2 (en) * 2015-11-11 2018-09-25 Swan Solutions, Inc. Method for controlling and calibrating a device with a gesture
US9812004B1 (en) * 2017-03-16 2017-11-07 Swan Solutions, Inc. Control system for a terminal device and a switch

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529363A (zh) * 2006-10-18 2009-09-09 皇家飞利浦电子股份有限公司 利用表面交互的电子系统控制
CN103345204A (zh) * 2013-05-10 2013-10-09 上海斐讯数据通信技术有限公司 一种家庭控制系统

Also Published As

Publication number Publication date
WO2016131013A1 (en) 2016-08-18
DE112016000745B4 (de) 2024-01-25
GB2550817B (en) 2022-06-22
GB2550817A (en) 2017-11-29
JP6725805B2 (ja) 2020-07-22
US20160239707A1 (en) 2016-08-18
DE112016000745T5 (de) 2017-11-02
GB201713875D0 (en) 2017-10-11
JP2018506940A (ja) 2018-03-08
US9996738B2 (en) 2018-06-12
CN107430445A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107430445B (zh) 用于控制终端装置的系统和方法
US9812004B1 (en) Control system for a terminal device and a switch
US10108247B2 (en) Method for regulating a system for controlling a terminal device
US20100019922A1 (en) Electronic system control using surface interaction
US10082878B2 (en) Method for controlling and calibrating a device with a gesture
KR102050508B1 (ko) 근접 감지를 이용한 제스처링 구조
CN108781316A (zh) 卫星麦克风组件
WO2014190886A1 (zh) 智能交互系统及其软件系统
US20200301378A1 (en) Deducing floor plans using modular wall units
EP2817792B1 (en) Remote control device
US20160070410A1 (en) Display apparatus, electronic apparatus, hand-wearing apparatus and control system
WO2006021916A1 (en) Method for locating an object associated with a device to be controlled and a method for controlling the device
JP6242535B2 (ja) ユーザ入力に基づいて制御システムのためのジェスチャ区域定義データを取得する方法
JP2011530914A (ja) 遠隔制御装置及びマルチメディア電化製品の遠隔制御方法
EP3733946A1 (en) User-interface system for a laundry appliance
CN113874818A (zh) 交互式厨房显示器
US9880280B2 (en) Object detection method and object detector using the same
KR20090076124A (ko) 가전 기기 제어 방법 및 이를 이용한 장치
US11144153B2 (en) User interface with acoustic proximity and position sensing arrangements
TWI537797B (zh) 觸控面板操作裝置及其方法
CN106292305B (zh) 一种用于厨房环境的多媒体装置
KR102045385B1 (ko) 센서 장치
CN206197420U (zh) 一种智能触控桌
US20180267614A1 (en) Control system for a terminal device with two sensors and power regulation
KR20140022584A (ko) 스마트 ir 입력장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant