CN101581969A - 运动驱动系统和相关的运动数据库 - Google Patents

运动驱动系统和相关的运动数据库 Download PDF

Info

Publication number
CN101581969A
CN101581969A CNA2009101416988A CN200910141698A CN101581969A CN 101581969 A CN101581969 A CN 101581969A CN A2009101416988 A CNA2009101416988 A CN A2009101416988A CN 200910141698 A CN200910141698 A CN 200910141698A CN 101581969 A CN101581969 A CN 101581969A
Authority
CN
China
Prior art keywords
motion
interactive system
signal
controller
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101416988A
Other languages
English (en)
Other versions
CN101581969B (zh
Inventor
吴志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN101581969A publication Critical patent/CN101581969A/zh
Application granted granted Critical
Publication of CN101581969B publication Critical patent/CN101581969B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及运动驱动系统和相关的运动数据库。本发明涉及一种交互式系统,用来识别用户的单个或一系列手部运动以控制或建立多媒体应用。特别地,本系统包括一个运动传感器探测单元(MSDU)100和一个运动传感器接口(MSI)110。更特别地,运动传感器探测单元(MSDU)100还包括一个或多个控制器102;运动传感器接口(MSI)110还包括一个MEMS信号处理器(MSP)120、一个运动解释器和翻译器(MIT)140、一个嵌入式UI工具包150和一个应用子单元160。本发明还涉及一个运动数据库130,其存储由用户或制造商预设的运动事件。运动数据库130也允许用户根据用户偏好来设定运动数据库。

Description

运动驱动系统和相关的运动数据库
技术领域
[0001]本发明涉及一种集成运动数据库的交互式系统,其感应和识别用户的动作以便用户能够远程控制多个多媒体应用,如电视(TV)、电子节目指南(EPG)、家庭影院(HMC)、网页浏览和图像编辑。
发明概述
[0002]多媒体系统使用户能够控制单个系统里的各种应用。所以,在多媒体领域里需要一种用户友好的媒体控制系统,以促进多功能的用户接口的开发,特别是可供有生理限制的用户使用。尽管现有许多依靠感应用户的手势或动作的控制系统用户接口,但它们可能会碰到信号传感器的信号灵敏度问题或用户接口过于复杂的情况。例如,一些系统仅集成一个光学传感器从用户接收图像信号。这些系统的问题包括:图像信号的低敏感性和用户与光学传感器之间距离的限制。其它现有系统可能需要在用户和用户接口如触摸屏之间有实际接触,以便进行某些不同于简单手势或运动的动作。这些系统通常被预设有复杂的指令需要用户遵循,而不是用户自己的偏好。
[0003]与传统系统相比,本发明包括但不限于以下的优点:(a)不需要接触接口;(b)在控制器上仅有较少的按钮;(c)不止一个指示设备(pointing device);(d)没有视线的限制;(e)更好的用户动作体验;和(f)能够进行快速选择和信息搜索。
[0004]本发明的第一方面,涉及一种包括运动传感器探测单元(MSDU)和运动传感器接口(MSI)的系统。本发明的MSDU包括一个任何形状的物理控制器,其有一个或多个按钮由用户产生运动信号,并发送同一信号到系统另一端的无线接收器。本发明的MSI包括四个子单元:(i)MEMS(微电子机械系统)信号处理器(MSP);(ii)运动解释器和翻译器(MIT);(iii)嵌入式UI工具包;和(iv)应用子单元。另外,本发明的MSP包括一个无线接收器,其从一个或多个相应控制器接收运动信号。本发明的MSP还包括一个运动数据补偿器、一个运动过滤器和一个运动识别器,它们分别负责去除定位偏差、过滤数字信号的噪声背景和从运动数据库里确定运动信号。本发明的MIT负责解释从MSP的输出最匹配的运动,并发送相应事件到应用子单元。另外,本发明的MIT包括一个逻辑装置,用来鉴定该事件是否涉及一个浏览器应用或一个非浏览器应用。本发明的嵌入式UI工具包能够从MIT接收应用事件,并根据应用子单元里的程序逻辑使运动反应可视化。本发明的应用子单元包括一个软件程序,以执行被MIT鉴定的浏览器或非浏览器应用事件的命令。不同类型的应用事件要么涉及应用子单元的浏览器应用层,要么涉及应用子单元的非浏览器应用层。本发明的应用子单元能够执行不同的应用,包括但不限于:普通的电视操作、电子节目指南(EPG)、家庭影院(HMC)、网页浏览和图像编辑。
[0005]本发明的第二方面,涉及一种集成运动数据库的交互式系统的使用方法,运动数据库用来存储用户运动的数据,并将从运动传感器探测单元(MSDU)接收的单个或一系列运动信号与数据库里的存储数据进行匹配。在运动数据库里的映射数据建立一个运动事件,以在本发明的运动解释器和翻译器上进行进一步翻译。用户可以预设单个或一系列运动,包括以三维方式沿控制器任何一个轴倾斜该控制器,和/或在在该控制器上按下一个或多个键以产生一个运动数据来控制本发明运动传感器接口上应用里的某些功能。这些数据被存储在运动数据库里作为一个预设数据,以便随后进行映射。用户也可以同时设定运动数据库并控制应用程序。本发明的运动数据库也可以存储来自应用子单元的运动反馈作为用户经验数据。
附图说明
[0006]图1是本发明的一个系统框图。
[0007]图2是本发明用户控制器的三维运动的侧视图以及显示用户界面的显示器。
[0008]图3a-3g是显示表格2内所列不同运动信号如何控制电视应用里不同功能的图像界面的正视图。
[0009]图4a-4j是显示表格3内所列不同运动信号如何控制电子节目指南(EPG)里不同功能的图像界面的正视图。
[0010]图5a和5b是显示表格4内所列不同运动信号如何控制家庭影院(HMC)里不同功能的图像界面的正视图。
[0011]图6a-6d是显示表格5内所列不同运动信号如何控制网页浏览里不同功能的图像界面的正视图。
[0012]图7a-7c是显示表格6内所列不同运动信号如何控制图像编辑里不同功能的图像界面的正视图。
发明详述
[0013]图1描述本发明系统的单元和子单元、系统单元之间的交互以及系统子单元之间的交互。图1所示的系统包括一个运动传感器探测单元100和一个运动传感器接口110。运动传感器探测单元包括一个或多个控制器102。通过使用一个或多个控制器,一个或多个用户能够同时使用运动传感器探测单元。在一个实施例里,控制器包括一个或多个按钮(未在图1内显示)。用户可以按下控制器的一个或多个按钮(未在图1内显示),或可以拨动(chord)控制器的一个或多个按钮(未在图1内显示),和/或其可以同时按下至少一个按钮并拨动至少另一个按钮。在另一个实施例里,控制器没有按钮。本发明的控制器可以是任何形状。依照图1,从MSDU 100的控制器102发送到MSP 120的信号可以是任何频率模式的信号,如ZigBee(一种无线网络技术)、蓝牙低功耗、IR(红外)、或Z-wave(一种无线网络技术)或可以由MSP 120的无线接收器122接收的任何信号。在一个实施例里,信号可以从控制器的一个端口被发送。在另一个实施例里,信号可以从控制器的任何端口被发送。图1所示的控制器102是由电池提供电力。电池是可重复充电的或是可替换的。
[0014]图1所示的MSP 110包括四个子单元:(i)MEMS信号处理器(MSP)120;(ii)运动解释器和翻译器(MIT)140;(iii)嵌入式UI工具包150;和(iv)应用子单元160。另外,图1所示的MSP包括一个运动数据库130,用来存储由用户或制造商预设的或在使用系统时设定的运动数据。在图1所示的MSP 110,接收来自MSDU 100的控制器102的信号的接收器是一个无线接收器122。本发明的无线接收器被设置以接收从MSDU发送的任何频率的信号。在一个实施例里,无线接收器被设置以接收从MSDU发送的ZigBee模式频率上的信号。在另一个实施例里,无线接收器被设置以接收从MSDU发送的蓝牙ULP模式频率上的信号。在其它实施例里,无线接收器被设置以接收从MSDU发送的ZigBee模式频率或无线技术领域内任何信号传输模式上的信号。如果从控制器发送的信号频率是IR模式,本发明的无线接收器需要多个IR接收器(未在图1内显示)以支持不止一个以IR模式传输信号的控制器。
[0015]在图1所示的MSP 120里,运动补偿器124是一个中间模块,用来去除有关从MSDU控制器发出的运动信号的定位偏差。在图1所示的MSP 120里,运动过滤器126也是一个中间模块,用来避免由MSDU 100产生的噪声。在通过运动补偿器124和运动过滤器126处理运动信号之后,处理的运动信号要么与存储在运动识别器128内的预设运动信号匹配,要么被存储在相同的运动数据库130里。在一个实施例里,运动数据库存储有一组数据,其记录在使用系统之前由用户或制造商设置的单个或一系列预设运动。在另一个实施例里,本发明的系统使用户能够在使用系统时设定单个或一系列运动作为一个特定事件,并存储在运动数据库里。在另一个实施例里,用户可以设定单个或一系列运动作为一个特定事件,并且这个设定的事件可以在系统的MSI里被进一步处理。
[0016]在通过图1所示的运动识别器128映射运动信号之后,映射的事件被发送到MIT 140进行翻译和/或解释。MIT 140被设置以解释来自MSP 120的输出运动事件的最佳匹配运动事件,并辨别这个输出运动事件是否是一个浏览器或非浏览器应用。在一个实施例里,如果这个运动事件能够与MIT内设置的任何应用事件映射匹配,MIT直接发送该运动事件到应用子单元。然后,该映射的运动事件被翻译成相应的应用事件,而该翻译的事件还被发送到应用子单元160的非浏览器层(未在图1内显示)以执行用户接口动作。在此实施例里,MIT也可以直接接收来自应用子单元160的非浏览器层(未在图1内显示)的运动反馈,以存储该运动反馈作为一个用户经验数据。
[0017]未被映射的运动事件被发送到浏览器应用层和非浏览器应用层。通过比较该未映射的运动和存储在运动识别器128或存储在同一运动数据库130内的预设运动信号,或通过运动识别器128进行运动信号映射期间进行的早前比较而获得匹配列表,在任何一个应用层里的应用程序可以获得一个匹配列表。该匹配列表包含未被映射的运动和每个预设运动信号之间的匹配值。应用程序具有处理未被映射的运动事件的逻辑。在一个实施例里,应用程序使用户能够基于匹配值从匹配列表选择运动或他想要产生的指令。在另一个实施例里,当运动信号不能被识别时,应用程序显示一个错误消息。在其它实施例里,应用程序简单忽略未被映射的运动事件。
[0018]图1所示的嵌入式UI工具包150被设置以接收来自MIT的事件,并依照应用子单元160内的编程逻辑使运动反应可视化。嵌入式UI工具包也被设置以获得较好的运动控制用户体验,与图像用户界面谐调一致。在一个实施例里,嵌入式UI工具包能够发送来自MIT的运动事件到应用子单元的浏览器应用层。在另一个实施例里,嵌入式UI工具包也可以从应用子单元的浏览器应用层接收运动反馈到MIT。这个来自应用子单元的浏览器应用层并到MIT的运动反馈反映了由应用子单元内的编程逻辑处理输入数据之后的动作。另外,应用子单元的非浏览器应用层也可以不需要经过嵌入式UI工具包而提供运动反馈到MIT。
[0019]结果,通过在控制器上的单个或一系列用户手部运动和/或手指移动,图1所示系统的单元层和子单元层上的交互作用使运动信号的有效感应和处理成为控制应用程序里不同功能的命令。
[0020]图2描述用户手部运动的三维动作。本发明的MSDU的控制器230被设置以将用户的手部运动感应成关于控制器220三个轴的运动,包括x-轴、y-轴和z-轴。这种手部运动的三维分解使用户能够根据物理屏幕230上显示的应用程序进行各种手部运动。通常,沿着三个轴分别有三对手部运动。在一个实施例里,用户能够使用控制器向左或向右倾斜以产生沿着x-轴的运动信号。在另一个实施例里,用户能够使用控制器向上或向下倾斜以产生沿着y-轴的运动信号。在其它实施例里,用户能够使用控制器倾斜+z/-z以产生沿着z-轴的运动信号。本发明的控制器被设置以能够感应用户的手部运动,以及感应按下和/或拨动控制器的一个或多个按钮(未在图2内显示)的手指移动,取决于用户的偏好和应用。用户的手部运动之前、期间或之后,可以进行任何手指移动。通过简单使用本发明的控制器(其按钮少于现有技术的传统系统),手部运动和手指移动之间的不同组合允许用户能够控制应用里的许多功能。本发明也允许用户设定他/她自己使用控制器时的手部和/或手指运动组合,以便满足一些用户的特别需要。
[0021]以下示例描述了一些运动组合以及其在不同应用里的相应含义。这些范例没有限制本发明的范围,依照本发明的披露,用户可以设定他/她自己的运动。
示例
[0022]表格1列出了一些用户通常设定的运动及其用来控制普通用户接口和系统里不同应用所共享的一些普通特征的相应含义。
[0023]表格1-普通应用
Figure A20091014169800101
Figure A20091014169800111
[0024]在表格1内,向上和向下、以及向左和向右运动分别表示由用户手部沿着x-轴和y-轴的运动而引起的控制器的位移。向上倾斜和向下倾斜、向左倾斜和向右倾斜、以及倾斜+z和-z表示由用户手部关于原点的运动而引起的控制器的倾角运动。每个手部运动都有其特别含义,取决于应用性质和用户偏好。另外,在控制器上的两个按钮(键“1”和键“2”)允许用户能够通过按下或拨动一个或多个按钮进行额外的手指动作。类似地,每个手指动作也可以有其特别含义,取决于应用性质和用户偏好。根据本发明(具有比现有技术按钮少的优势),不同组合的手部运动和手指动作允许用户能够通过本发明的控制器产生多个运动信号。
[0025]在表格2内,依照表格内列出的运动及其相应含义,用户可以设定用于电视的运动数据库。
[0026]表格2-电视应用
Figure A20091014169800121
[0027]图3a-3f描述表格2内的运动如何控制电视应用里的相应功能。在表格2内列出的大多数运动与表格1内列出的那些具有相同的含义,除了根据图2内的三维移动用户可以通过沿着x-轴的位移同时拨动控制器上的键“1”,而设定一个快捷频道功能(channel shortcut function)。用户可以设定他/她自己的手部运动,作为电视应用里快捷频道的含义。例如,在图3g内,用户可以沿着x-轴在平面上写下一个数字“12”333,同时拨动控制器上的键“1”334,以在电视应用里设定一个快捷频道“频道12”335。在电视应用里,用户也可以使用手部运动,以控制音量和顺序选择频道。例如,图3a和3b都描述了当用户在使用电视应用时通过向右倾斜控制器来提高音量。图3a和3b运动之间的区别是用户向右倾斜控制器并返回到初始位置310(图3a),每次倾斜312调高一格音量(+1),而用户向右倾斜控制器并保持控制器在右边位置314直到到达期望音量316(图3b)。图3c和3d描述通过向左倾斜控制器达不同时间长度来调低音量。操作类似于图3a和3b内所述的,但方向相反。图3e和3f分别描述向上倾斜控制器达不同时间长度的手部运动进行顺序频道选择,通过向上倾斜控制器然后返回到初始位置320,频道顺序增加1改变到频道322(图3e),而当控制器被倾斜向上位置达某段时间324,直到控制器返回到初始位置,频道保持递增326(图3f)。
[0028]使用表格3内所列运动来控制EPG应用里不同功能的10个示例在图4a-4j内进行描述。
[0029]表格3-电子节目指南(EPG)应用
Figure A20091014169800131
[0030]图4a-4d描述转换光标到在用户界面上显示的电子节目指南(EPG)应用里的期望的选择框。通过使用向上倾斜441或向下倾斜442和向左倾斜443或向右倾斜444的手部运动,用户可以转换光标,光标在图4a-4d的显示器上以灰色突出显示。除了基本的方向变化,依照图4e-4h的描述,用户还可以设定EPG上的选择板的改变。在图4e,用户可以倾斜控制器到右边444,同时按住控制器上的键“1”440,使得CH2410的最初选择行被改变到下一行,其显示CH2420的更多选项。通过分别向下倾斜控制器442和向左倾斜控制器443,同时按住控制器上的键“1”440,类似概念被用来改变图4f和4h内的选择框。在转换光标到期望的选择框之后,用户可以按键“2”450来确定相应选择框的选择,如图4j所示。
[0031]使用表格4内所列运动来控制家庭影院(HMC)应用里不同功能的两个示例在图5内进行描述。
[0032]表格4-家庭影院(HMC)应用
Figure A20091014169800141
[0033]在图5a和5b内,用户界面上显示项的转换也采用表格1内列出的普通运动设置。图5a描述在HMC应用内的同一文件夹里光标的转换。用户倾斜控制器到右边510以便转换光标到前一项右手边512的下一项。图5b描述通过向下倾斜控制器514,在HMC应用里转换一个文件夹到另一个文件夹516。
[0034]使用表格5所列的运动来控制网页浏览应用里不同功能的一些示例在图6a-6d内进行描述。
[0035]表格5-网页浏览应用
Figure A20091014169800142
[0036]在图6a,用户可以设定一个轴的平面上的特定手写611,作为首选金融网页617的快捷移动,并可以从任何初始网页615进入此网页。在此例子里,用户设定“$”作为快捷移动。当执行此快捷移动时,用户需要沿着“$”信号轨迹移动他/她的手,同时拨动键“1”612直到完成此轨迹。然后,本系统的MSI感应到键“1”的释放,将相应的运动事件映射到运动数据库,优选地,映射此运动事件到用户预设的书签,并被存储在运动数据库内。通过本系统的MIT,相应的应用事件然后被翻译,并被发送到应用子单元执行。
[0037]图6b和6c显示多个用户可以同时使用此系统。在图6b内,第一用户使用由第一光标621表示的第一控制器,而第二用户使用由第二光标622表示的第二控制器。第二用户可以通过执行第二控制器的横向位移并拨动键“1”625而突出显示文本。一旦有位移,第二光标622将移到一段文本上并突出显示。
[0038]在图6c内,用户想突出显示本发明的一个图像。第一用户使用由第一光标628表示的第一控制器,而第二用户使用由第二光标629表示的第二控制器。在此情况下,第一用户用第一控制器做了一个环形位移,同时拨动键“1”626。一旦有环形位移,第一光标621将移到图像上并突出显示该图像。突出显示图像和突出显示文本可以由不同用户同时完成。
[0039]在图6d内,用户同时控制一个或多个应用,或者不同用户同时控制不同的应用。在一个实施例里,同时在显示器640上显示第一应用641与第二应用642。用户通过移动相应光标到他/他们期望的应用上,可以同时控制不同的应用。
[0040]使用表格6内所列的运动来控制图像编辑应用里不同功能的一个示例在图7a-7c内进行描述。
[0041]表格6-图像编辑应用
Figure A20091014169800151
Figure A20091014169800161
[0042]在图7a内,一个图像编辑应用显示在显示器710上。在此应用里可以编辑一个或多个图像。图像712被选中,从而其出现在工作区716内。当选择一个缩放模式714时,通过向右倾斜,图像712被放大。
[0043]在图7b内,一个图像编辑应用被显示在显示器720上。在此应用里可以编辑一个或多个图像。图像722被选中,从而其出现在工作区726内。当选择一个缩放模式724时,通过向左移动,图像722左移。
[0044]在图7c内,一个图像编辑应用被显示在显示器730上。在此应用里可以编辑一个或多个图像。图像732被选中,从而其出现在工作区736内。当选择一个调整模式734时,通过向上倾斜,提高图像722的亮度。
[0045]尽管本发明已经结合示例描述了优选实施例,很明显在不脱离附加权利要求的范围或精神情况下,本领域技术人员可以对其作出其它改变和修正。
工业应用
[0046]本发明可以应用于图像界面的无线控制,供具有生理残疾的用户和对无线控制有不同用户偏好的多个用户使用。

Claims (18)

1.一种交互式系统,包括一个运动传感器探测单元,其包括一个或多个三维控制器;和一个运动传感应器接口,其包括一个MEMS信号处理器、一个移动解释器和翻译器、一个嵌入式UI工具包和一个应用子单元。
2.根据权利要求1所述的交互式系统,其中所述一个或多个三维控制器还包括一个或多个按钮。
3.根据权利要求1所述的交互式系统,其中所述一个或多个三维控制器发送的信号选自:ZigBee、蓝牙低功耗、Z-wave和IR无线控制信号。
4.根据权利要求1所述的交互式系统,其中所述MEMS信号处理器还包括至少一个无线接收器、运动补偿器、运动过滤器和运动数据库。
5.根据权利要求1所述的交互式系统,其中所述至少一个无线接收器从所述一个或多个三维控制器接收的信号选自:ZigBee、蓝牙低功耗、Z-wave和IR信号。
6.根据权利要求4所述的交互式系统,其中所述运动数据库存储从所述无线接收器接收并由所述运动补偿器和所述运动过滤器处理的信号数据。
7.根据权利要求4所述的交互式系统,其中所述运动数据库将存储在所述运动数据库里的预设数据与从所述无线接收器接收并由所述运动补偿器和所述运动过滤器处理的信号数据进行匹配,以建立一个运动事件。
8.根据权利要求1所述的交互式系统,其中所述运动解释器和翻译器将来自所述MEMS感应处理器的运动事件翻译成一个非浏览器应用事件或浏览器应用事件。
9.根据权利要求1所述的交互式系统,其中所述运动解释器和翻译器发送非浏览器应用事件到所述应用子单元的一个非浏览器应用层,并从所述应用子单元接收相应的运动反馈。
10.根据权利要求1所述的交互式系统,其中所述运动解释器和翻译器通过所述嵌入式UI工具包发送浏览器应用事件到所述应用子单元的一个浏览器应用层,并通过所述嵌入式UI工具包从所述应用子单元接收相应的运动反馈。
11.根据权利要求1所述的交互式系统,其中所述运动解释器和翻译器发送所述相应的运动反馈到所述运动数据库进行存储。
12.根据权利要求1所述的交互式系统,其中所述应用子单元基于应用输入执行所述非浏览器应用事件和所述浏览器应用事件。
13.一种使用交互式系统的方法,包括:基于在图象用户界面上显示的信息,使用一个控制器来产生信号,从所述控制器发送所述信号到一个接收器,所述接收器传输所述信号到一个处理器,所述处理器映射所述信号和数据库,在所述映射之后将所述运动事件翻译成应用事件,基于所述翻译的结果执行所述应用事件,并基于所述执行的结果显示相应的反馈在所述图像用户界面上。
14.根据权利要求13所述的使用交互式系统的方法,其中所述使用所述控制器还包括:捕捉关于所述控制器沿着x-轴、y-轴和z-轴的运动以产生所述信号。
15.根据权利要求13所述的使用交互式系统的方法,其中所述使用所述控制器还包括:在所述捕捉关于所述控制器沿着x-轴、y-轴和z-轴的运动以产生所述信号期间,按下所述控制器上的一个或多个按钮。
16.根据权利要求13所述的使用交互式系统的方法,其中所述使用所述控制器还包括:在所述捕捉关于所述控制器沿着x-轴、y-轴和z-轴的运动以产生所述信号期间,拨动所述控制器上的一个或多个按钮。
17.根据权利要求13所述的使用交互式系统的方法,其中所述映射还包括存储所述信号在所述数据库内。
18.根据权利要求13所述的使用交互式系统的方法,其中所述翻译还包括:鉴别所述运动事件作为两种类型的所述应用事件,包括浏览器应用事件和非浏览器应用事件。
CN2009101416988A 2009-01-06 2009-05-18 一种交互式系统及其使用方法 Expired - Fee Related CN101581969B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/349,247 US20100171696A1 (en) 2009-01-06 2009-01-06 Motion actuation system and related motion database
US12/349,247 2009-01-06

Publications (2)

Publication Number Publication Date
CN101581969A true CN101581969A (zh) 2009-11-18
CN101581969B CN101581969B (zh) 2012-02-15

Family

ID=41364139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101416988A Expired - Fee Related CN101581969B (zh) 2009-01-06 2009-05-18 一种交互式系统及其使用方法

Country Status (2)

Country Link
US (1) US20100171696A1 (zh)
CN (1) CN101581969B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859522A (zh) * 2010-04-15 2013-01-02 三星电子株式会社 用于提供数字内容的装置及其方法
CN103180800A (zh) * 2010-09-20 2013-06-26 寇平公司 使用动作及语音命令的主机应用程序的高级远程控制
CN103412649A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 基于非接触式手部动作捕捉的控制系统
CN104486679A (zh) * 2011-08-05 2015-04-01 三星电子株式会社 控制电子设备的方法和应用该方法的电子设备
US9235262B2 (en) 2009-05-08 2016-01-12 Kopin Corporation Remote control of host application using motion and voice commands
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN109690386A (zh) * 2016-10-01 2019-04-26 英特尔公司 用于运动补偿虚拟现实的技术
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1819816T3 (da) * 2004-12-07 2009-01-26 Applied Nanosystems Bv Fremgangsmåder til fremstilling og udskillelse af modificerede peptider
US9405372B2 (en) * 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7702608B1 (en) 2006-07-14 2010-04-20 Ailive, Inc. Generating motion recognizers for arbitrary motions for video games and tuning the motion recognizers to the end user
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
US8847880B2 (en) * 2009-07-14 2014-09-30 Cywee Group Ltd. Method and apparatus for providing motion library
WO2012123033A1 (de) * 2011-03-17 2012-09-20 Ssi Schaefer Noell Gmbh Lager Und Systemtechnik Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US20160257198A1 (en) 2015-03-02 2016-09-08 Ford Global Technologies, Inc. In-vehicle component user interface
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US20040090423A1 (en) * 1998-02-27 2004-05-13 Logitech Europe S.A. Remote controlled video display GUI using 2-directional pointing
US6650313B2 (en) * 2001-04-26 2003-11-18 International Business Machines Corporation Method and adapter for performing assistive motion data processing and/or button data processing external to a computer
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US7729542B2 (en) * 2003-04-04 2010-06-01 Carnegie Mellon University Using edges and corners for character input
US20040268393A1 (en) * 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
JP2007535773A (ja) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスおよびポインティング方法
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US20060109242A1 (en) * 2004-11-19 2006-05-25 Simpkins Daniel S User interface for impaired users
US7796116B2 (en) * 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
JP2008536196A (ja) * 2005-02-14 2008-09-04 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 3dポインティングを使用してテレビアプリケーションを向上させる方法およびシステム
KR100948095B1 (ko) * 2005-02-24 2010-03-16 노키아 코포레이션 컴퓨팅 단말용 동작 입력 장치 및 그 작동방법
TWI293156B (en) * 2005-08-12 2008-02-01 Winbond Electronics Corp Embedded controller and a computer system with said embedded controller
CN100547524C (zh) * 2005-12-27 2009-10-07 财团法人工业技术研究院 交互式设备的输入装置
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
CN100493180C (zh) * 2007-04-17 2009-05-27 天栢宽带网络科技(上海)有限公司 一种基于数字机顶盒的虚拟现实游戏装置和方法
US8390649B2 (en) * 2007-04-30 2013-03-05 Hewlett-Packard Development Company, L.P. Electronic device input control system and method
US9335912B2 (en) * 2007-09-07 2016-05-10 Apple Inc. GUI applications for use with 3D remote controller
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
CN101334698B (zh) * 2008-08-01 2012-07-11 广东威创视讯科技股份有限公司 基于交互式输入设备的智能输入方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US9235262B2 (en) 2009-05-08 2016-01-12 Kopin Corporation Remote control of host application using motion and voice commands
CN102859522B (zh) * 2010-04-15 2016-11-09 三星电子株式会社 用于提供数字内容的装置及其方法
CN102859522A (zh) * 2010-04-15 2013-01-02 三星电子株式会社 用于提供数字内容的装置及其方法
CN103180800A (zh) * 2010-09-20 2013-06-26 寇平公司 使用动作及语音命令的主机应用程序的高级远程控制
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US11947387B2 (en) 2011-05-10 2024-04-02 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US11237594B2 (en) 2011-05-10 2022-02-01 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
CN104486679A (zh) * 2011-08-05 2015-04-01 三星电子株式会社 控制电子设备的方法和应用该方法的电子设备
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
CN103412649A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 基于非接触式手部动作捕捉的控制系统
CN109690386A (zh) * 2016-10-01 2019-04-26 英特尔公司 用于运动补偿虚拟现实的技术

Also Published As

Publication number Publication date
CN101581969B (zh) 2012-02-15
US20100171696A1 (en) 2010-07-08

Similar Documents

Publication Publication Date Title
CN101581969B (zh) 一种交互式系统及其使用方法
US10642367B2 (en) Radar-based gesture sensing and data transmission
KR102127930B1 (ko) 이동 단말기 및 이의 제어방법
EP1744290B1 (en) Integrated remote controller and method of selecting device controlled thereby
US9886100B2 (en) Method of executing application, method of controlling content sharing, and display device
US20160117076A1 (en) Mobile terminal and control method thereof
RU2644142C2 (ru) Контекстный пользовательский интерфейс
EP2728446A2 (en) Method and system for sharing contents
EP3745280A1 (en) Information search method and device and computer readable recording medium thereof
US9928020B2 (en) Display apparatus and method for performing multi-view display
CN108307214B (zh) 用于控制装置的方法和设备
CN102184014A (zh) 基于移动设备指向的智能家电交互控制方法及装置
CN106896920B (zh) 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
CN102855066A (zh) 终端和终端操控方法
US9626095B2 (en) Portable apparatus comprising touch screens for browsing information displayed on screen of external apparatus and method for browsing information thereof
CN103412712A (zh) 一种功能菜单的选择方法和装置
EP3716031A1 (en) Rendering device and rendering method
CN104871116A (zh) 信息处理装置、信息处理方法及程序
EP2916313A1 (en) Display device and operating method thereof
KR20150108304A (ko) 멀티미디어 장치, 멀티미디어 장치의 제어 방법, 및 멀티미디어 장치의 제어 프로그램
CN105320398A (zh) 控制显示装置的方法以及远程控制器
KR20150133045A (ko) 객체를 디스플레이하는 전자 장치 및 방법
CN116954432A (zh) 界面显示方法、装置、电子设备及计算机可读存储介质
EP1184982B1 (en) Remote control device
WO2009025499A1 (en) Remote control system using natural view user interface, remote control device, and method therefor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120215