CN101581969B - 一种交互式系统及其使用方法 - Google Patents

一种交互式系统及其使用方法 Download PDF

Info

Publication number
CN101581969B
CN101581969B CN2009101416988A CN200910141698A CN101581969B CN 101581969 B CN101581969 B CN 101581969B CN 2009101416988 A CN2009101416988 A CN 2009101416988A CN 200910141698 A CN200910141698 A CN 200910141698A CN 101581969 B CN101581969 B CN 101581969B
Authority
CN
China
Prior art keywords
motion
signal
application
controller
interactive system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101416988A
Other languages
English (en)
Other versions
CN101581969A (zh
Inventor
吴志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN101581969A publication Critical patent/CN101581969A/zh
Application granted granted Critical
Publication of CN101581969B publication Critical patent/CN101581969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Abstract

本发明涉及一种交互式系统及其使用方法，用来识别用户的单个或一系列手部运动以控制或建立多媒体应用。本发明的交互式系统，包括一个运动传感器探测单元，其包括一个或多个三维控制器；和一个运动传感应器接口，其包括一个MEMS信号处理器、一个移动解释器和翻译器、一个嵌入式UI工具包和一个应用子单元，其特征在于：所述MEMS信号处理器还包括至少一个无线接收器、运动补偿器、运动过滤器和运动数据库；用户能够设定单个或一系列运动作为一个特定事件，并存储在所述运动数据库里。本发明的方法为使用上述系统的方法。本发明相比现有技术具有更好的用户动作体验。

Description

一种交互式系统及其使用方法
技术领域
本发明涉及一种集成运动数据库的交互式系统及其使用方法，其感应和识别用户的动作以便用户能够远程控制多个多媒体应用，如电视(TV)、电子节目指南(EPG)、家庭影院(HMC)、网页浏览和图像编辑。背景技术
多媒体系统使用户能够控制单个系统里的各种应用。所以，在多媒体领域里需要一种用户友好的媒体控制系统，以促进多功能的用户接口的开发，特别是可供有生理限制的用户使用。尽管现有许多依靠感应用户的手势或动作的控制系统用户接口，但它们可能会碰到信号传感器的信号灵敏度问题或用户接口过于复杂的情况。例如，一些系统仅集成一个光学传感器从用户接收图像信号。这些系统的问题包括：图像信号的低敏感性和用户与光学传感器之间距离的限制。其它现有系统可能需要在用户和用户接口如触摸屏之间有实际接触，以便进行某些不同于简单手势或运动的动作。这些系统通常被预设有复杂的指令需要用户遵循，而不是用户自己的偏好。发明内容
与传统系统相比，本发明包括但不限于以下的优点：(a)不需要接触接口；(b)在控制器上仅有较少的按钮；(c)不止一个指示设备(pointing device)；(d)没有视线的限制；(e)更好的用户动作体验；和(f)能够进行快速选择和信息搜索。
本发明的第一方面，涉及一种包括运动传感器探测单元(MSDU)和运动传感器接口(MSI)的系统。本发明的MSDU包括一个任何形状的物理控制器，其有一个或多个按钮由用户产生运动信号，并发送同一信号到系统另一端的无线接收器。本发明的MSI包括四个子单元：(i)MEMS(微电子机械系统)信号处理器(MSP)；(ii)运动解释器和翻译器(MIT)；(iii)嵌入式UI工具包；和(iv)应用子单元。另外，本发明的MSP包括一个无线接收器，其从一个或多个相应控制器接收运动信号。本发明的MSP还包括一个运动数据补偿器、一个运动过滤器和一个运动识别器，它们分别负责去除定位偏差、过滤数字信号的噪声背景和从运动数据库里确定运动信号。本发明的MIT负责解释从MSP的输出最匹配的运动，并发送相应事件到应用子单元。另外，本发明的MIT包括一个逻辑装置，用来鉴定该事件是否涉及一个浏览器应用或一个非浏览器应用。本发明的嵌入式UI工具包能够从MIT接收应用事件，并根据应用子单元里的程序逻辑使运动反应可视化。本发明的应用子单元包括一个软件程序，以执行被MIT鉴定的浏览器或非浏览器应用事件的命令。不同类型的应用事件要么涉及应用子单元的浏览器应用层，要么涉及应用子单元的非浏览器应用层。本发明的应用子单元能够执行不同的应用，包括但不限于：普通的电视操作、电子节目指南(EPG)、家庭影院(HMC)、网页浏览和图像编辑。
本发明的第二方面，涉及一种集成运动数据库的交互式系统的使用方法，运动数据库用来存储用户运动的数据，并将从运动传感器探测单元(MSDU)接收的单个或一系列运动信号与数据库里的存储数据进行匹配。在运动数据库里的映射数据建立一个运动事件，以在本发明的运动解释器和翻译器上进行进一步翻译。用户可以预设单个或一系列运动，包括以三维方式沿控制器任何一个轴倾斜该控制器，和/或在在该控制器上按下一个或多个键以产生一个运动数据来控制本发明运动传感器接口上应用里的某些功能。这些数据被存储在运动数据库里作为一个预设数据，以便随后进行映射。用户也可以同时设定运动数据库并控制应用程序。本发明的运动数据库也可以存储来自应用子单元的运动反馈作为用户经验数据。附图说明
图1是本发明的一个系统框图。
图2是本发明用户控制器的三维运动的侧视图以及显示用户界面的显示器。
图3a-3g是显示表格2内所列不同运动信号如何控制电视应用里不同功能的图像界面的正视图。
图4a-4j是显示表格3内所列不同运动信号如何控制电子节目指南(EPG)里不同功能的图像界面的正视图。
图5a和5b是显示表格4内所列不同运动信号如何控制家庭影院(HMC)里不同功能的图像界面的正视图。
图6a-6d是显示表格5内所列不同运动信号如何控制网页浏览里不同功能的图像界面的正视图。
图7a-7c是显示表格6内所列不同运动信号如何控制图像编辑里不同功能的图像界面的正视图。具体实施方式
图1描述本发明系统的单元和子单元、系统单元之间的交互以及系统子单元之间的交互。图1所示的系统包括一个运动传感器探测单元100和一个运动传感器接口110。运动传感器探测单元包括一个或多个控制器102。通过使用一个或多个控制器，一个或多个用户能够同时使用运动传感器探测单元。在一个实施例里，控制器包括一个或多个按钮(未在图1内显示)。用户可以按下控制器的一个或多个按钮(未在图1内显示)，或可以拨动(chord)控制器的一个或多个按钮(未在图1内显示)，和/或其可以同时按下至少一个按钮并拨动至少另一个按钮。在另一个实施例里，控制器没有按钮。本发明的控制器可以是任何形状。依照图1，从MSDU 100的控制器102发送到MSP 120的信号可以是任何频率模式的信号，如ZigBee(一种无线网络技术)、蓝牙低功耗、IR(红外)、或Z-wave(一种无线网络技术)或可以由MSP 120的无线接收器122接收的任何信号。在一个实施例里，信号可以从控制器的一个端口被发送。在另一个实施例里，信号可以从控制器的任何端口被发送。图1所示的控制器102是由电池提供电力。电池是可重复充电的或是可替换的。
图1所示的运动传感器接口(MSI)110包括四个子单元：(i)MEMS信号处理器(MSP)120；(ii)运动解释器和翻译器(MIT)140；(iii)嵌入式UI工具包150；和(iv)应用子单元160。另外，图1所示的MSP包括一个运动数据库130，用来存储由用户或制造商预设的或在使用系统时设定的运动数据。在图1所示的运动传感器接口(MSI)110，接收来自MSDU 100的控制器102的信号的接收器是一个无线接收器122。本发明的无线接收器被设置以接收从MSDU发送的任何频率的信号。在一个实施例里，无线接收器被设置以接收从MSDU发送的ZigBee模式频率上的信号。在另一个实施例里，无线接收器被设置以接收从MSDU发送的蓝牙ULP模式频率上的信号。在其它实施例里，无线接收器被设置以接收从MSDU发送的ZigBee模式频率或无线技术领域内任何信号传输模式上的信号。如果从控制器发送的信号频率是IR模式，本发明的无线接收器需要多个IR接收器(未在图1内显示)以支持不止一个以IR模式传输信号的控制器。
在图1所示的MSP 120里，运动补偿器124是一个中间模块，用来去除有关从MSDU控制器发出的运动信号的定位偏差。在图1所示的MSP 120里，运动过滤器126也是一个中间模块，用来避免由MSDU 100产生的噪声。在通过运动补偿器124和运动过滤器126处理运动信号之后，处理的运动信号要么与存储在运动识别器128内的预设运动信号匹配，要么被存储在相同的运动数据库130里。在一个实施例里，运动数据库存储有一组数据，其记录在使用系统之前由用户或制造商设置的单个或一系列预设运动。在另一个实施例里，本发明的系统使用户能够在使用系统时设定单个或一系列运动作为一个特定事件，并存储在运动数据库里。在另一个实施例里，用户可以设定单个或一系列运动作为一个特定事件，并且这个设定的事件可以在系统的MSI里被进一步处理。
在通过图1所示的运动识别器128映射运动信号之后，映射的事件被发送到MIT 140进行翻译和/或解释。MIT 140被设置以解释来自MSP 120的输出运动事件的最佳匹配运动事件，并辨别这个输出运动事件是否是一个浏览器或非浏览器应用。在一个实施例里，如果这个运动事件能够与MIT内设置的任何应用事件映射匹配，MIT直接发送该运动事件到应用子单元。然后，该映射的运动事件被翻译成相应的应用事件，而该翻译的事件还被发送到应用子单元160的非浏览器层(未在图1内显示)以执行用户接口动作。在此实施例里，MIT也可以直接接收来自应用子单元160的非浏览器层(未在图1内显示)的运动反馈，以存储该运动反馈作为一个用户经验数据。
未被映射的运动事件被发送到浏览器应用层和非浏览器应用层。通过比较该未映射的运动和存储在运动识别器128或存储在同一运动数据库130内的预设运动信号，或通过运动识别器128进行运动信号映射期间进行的早前比较而获得匹配列表，在任何一个应用层里的应用程序可以获得一个匹配列表。该匹配列表包含未被映射的运动和每个预设运动信号之间的匹配值。应用程序具有处理未被映射的运动事件的逻辑。在一个实施例里，应用程序使用户能够基于匹配值从匹配列表选择运动或他想要产生的指令。在另一个实施例里，当运动信号不能被识别时，应用程序显示一个错误消息。在其它实施例里，应用程序简单忽略未被映射的运动事件。
图1所示的嵌入式UI工具包150被设置以接收来自MIT的事件，并依照应用子单元160内的编程逻辑使运动反应可视化。嵌入式UI工具包也被设置以获得较好的运动控制用户体验，与图像用户界面谐调一致。在一个实施例里，嵌入式UI工具包能够发送来自MIT的运动事件到应用子单元的浏览器应用层。在另一个实施例里，嵌入式UI工具包也可以从应用子单元的浏览器应用层接收运动反馈到MIT。这个来自应用子单元的浏览器应用层并到MIT的运动反馈反映了由应用子单元内的编程逻辑处理输入数据之后的动作。另外，应用子单元的非浏览器应用层也可以不需要经过嵌入式UI工具包而提供运动反馈到MIT。
结果，通过在控制器上的单个或一系列用户手部运动和/或手指移动，图1所示系统的单元层和子单元层上的交互作用使运动信号的有效感应和处理成为控制应用程序里不同功能的命令。
图2描述用户手部运动的三维动作。本发明的MSDU的控制器220被设置以将用户的手部运动感应成关于控制器220三个轴的运动，包括x-轴、y-轴和z-轴。这种手部运动的三维分解使用户能够根据物理屏幕230上显示的应用程序进行各种手部运动。通常，沿着三个轴分别有三对手部运动。在一个实施例里，用户能够使用控制器向左或向右倾斜以产生沿着x-轴的运动信号。在另一个实施例里，用户能够使用控制器向上或向下倾斜以产生沿着y-轴的运动信号。在其它实施例里，用户能够使用控制器倾斜+z/-z以产生沿着z-轴的运动信号。本发明的控制器被设置以能够感应用户的手部运动，以及感应按下和/或拨动控制器的一个或多个按钮(未在图2内显示)的手指移动，取决于用户的偏好和应用。用户的手部运动之前、期间或之后，可以进行任何手指移动。通过简单使用本发明的控制器(其按钮少于现有技术的传统系统)，手部运动和手指移动之间的不同组合允许用户能够控制应用里的许多功能。本发明也允许用户设定他/她自己使用控制器时的手部和/或手指运动组合，以便满足一些用户的特别需要。
以下示例描述了一些运动组合以及其在不同应用里的相应含义。这些范例没有限制本发明的范围，依照本发明的披露，用户可以设定他/她自己的运动。示例
表格1列出了一些用户通常设定的运动及其用来控制普通用户接口和系统里不同应用所共享的一些普通特征的相应含义。
表格1-普通应用
Figure GSB00000346723200071
在表格1内，向上和向下、以及向左和向右运动分别表示由用户手部沿着x-轴和y-轴的运动而引起的控制器的位移。向上倾斜和向下倾斜、向左倾斜和向右倾斜、以及倾斜+z和-z表示由用户手部关于原点的运动而引起的控制器的倾角运动。每个手部运动都有其特别含义，取决于应用性质和用户偏好。另外，在控制器上的两个按钮(键“1”和键“2”)允许用户能够通过按下或拨动一个或多个按钮进行额外的手指动作。类似地，每个手指动作也可以有其特别含义，取决于应用性质和用户偏好。根据本发明(具有比现有技术按钮少的优势)，不同组合的手部运动和手指动作允许用户能够通过本发明的控制器产生多个运动信号。
在表格2内，依照表格内列出的运动及其相应含义，用户可以设定用于电视的运动数据库。
表格2-电视应用
Figure GSB00000346723200072
Figure GSB00000346723200081
图3a-3f描述表格2内的运动如何控制电视应用里的相应功能。在表格2内列出的大多数运动与表格1内列出的那些具有相同的含义，除了根据图2内的三维移动用户可以通过沿着x-轴的位移同时拨动控制器上的键“1”，而设定一个快捷频道功能(channel shortcut function)。用户可以设定他/她自己的手部运动，作为电视应用里快捷频道的含义。例如，在图3g内，用户可以沿着x-轴在平面上写下一个数字“12”333，同时拨动控制器上的键“1”334，以在电视应用里设定一个快捷频道“频道12”335。在电视应用里，用户也可以使用手部运动，以控制音量和顺序选择频道。例如，图3a和3b都描述了当用户在使用电视应用时通过向右倾斜控制器来提高音量。图3a和3b运动之间的区别是用户向右倾斜控制器并返回到初始位置310(图3a)，每次倾斜312调高一格音量(+1)，而用户向右倾斜控制器并保持控制器在右边位置314直到到达期望音量316(图3b)。图3c和3d描述通过向左倾斜控制器达不同时间长度来调低音量。操作类似于图3a和3b内所述的，但方向相反。图3e和3f分别描述向上倾斜控制器达不同时间长度的手部运动进行顺序频道选择，通过向上倾斜控制器然后返回到初始位置320，频道顺序增加1改变到频道322(图3e)，而当控制器被倾斜向上位置达某段时间324，直到控制器返回到初始位置，频道保持递增326(图3f)。
使用表格3内所列运动来控制EPG应用里不同功能的10个示例在图4a-4j内进行描述。
表格3-电子节目指南(EPG)应用
图4a-4d描述转换光标到在用户界面上显示的电子节目指南(EPG)应用里的期望的选择框。通过使用向上倾斜441或向下倾斜442和向左倾斜443或向右倾斜444的手部运动，用户可以转换光标，光标在图4a-4d的显示器上以灰色突出显示。除了基本的方向变化，依照图4e-4h的描述，用户还可以设定EPG上的选择板的改变。在图4e，用户可以倾斜控制器到右边444，同时按住控制器上的键“1”440，使得CH2 410的最初选择行被改变到下一行，其显示CH2 420的更多选项。通过分别向下倾斜控制器442和向左倾斜控制器443，同时按住控制器上的键“1”440，类似概念被用来改变图4f和4h内的选择框。在转换光标到期望的选择框之后，用户可以按键“2”450来确定相应选择框的选择，如图4j所示。
使用表格4内所列运动来控制家庭影院(HMC)应用里不同功能的两个示例在图5内进行描述。
表格4-家庭影院(HMC)应用
Figure GSB00000346723200092
Figure GSB00000346723200101
在图5a和5b内，用户界面上显示项的转换也采用表格1内列出的普通运动设置。图5a描述在HMC应用内的同一文件夹里光标的转换。用户倾斜控制器到右边510以便转换光标到前一项右手边512的下一项。图5b描述通过向下倾斜控制器514，在HMC应用里转换一个文件夹到另一个文件夹516。
使用表格5所列的运动来控制网页浏览应用里不同功能的一些示例在图6a-6d内进行描述。
表格5-网页浏览应用
Figure GSB00000346723200102
在图6a，用户可以设定一个轴的平面上的特定手写611，作为首选金融网页617的快捷移动，并可以从任何初始网页615进入此网页。在此例子里，用户设定“$”作为快捷移动。当执行此快捷移动时，用户需要沿着“$”信号轨迹移动他/她的手，同时拨动键“1”612直到完成此轨迹。然后，本系统的MSI感应到键“1”的释放，将相应的运动事件映射到运动数据库，优选地，映射此运动事件到用户预设的书签，并被存储在运动数据库内。通过本系统的MIT，相应的应用事件然后被翻译，并被发送到应用子单元执行。
图6b和6c显示多个用户可以同时使用此系统。在图6b内，第一用户使用由第一光标621表示的第一控制器，而第二用户使用由第二光标622表示的第二控制器。第二用户可以通过执行第二控制器的横向位移并拨动键“1”625而突出显示文本。一旦有位移，第二光标622将移到一段文本上并突出显示。
在图6c内，用户想突出显示本发明的一个图像。第一用户使用由第一光标628表示的第一控制器，而第二用户使用由第二光标629表示的第二控制器。在此情况下，第一用户用第一控制器做了一个环形位移，同时拨动键“1”626。一旦有环形位移，第一光标621将移到图像上并突出显示该图像。突出显示图像和突出显示文本可以由不同用户同时完成。
在图6d内，用户同时控制一个或多个应用，或者不同用户同时控制不同的应用。在一个实施例里，同时在显示器640上显示第一应用641与第二应用642。用户通过移动相应光标到他/他们期望的应用上，可以同时控制不同的应用。
使用表格6内所列的运动来控制图像编辑应用里不同功能的一个示例在图7a-7c内进行描述。
表格6-图像编辑应用
Figure GSB00000346723200111
Figure GSB00000346723200121
在图7a内，一个图像编辑应用显示在显示器710上。在此应用里可以编辑一个或多个图像。图像712被选中，从而其出现在工作区716内。当选择一个缩放模式714时，通过向右倾斜，图像712被放大。
在图7b内，一个图像编辑应用被显示在显示器720上。在此应用里可以编辑一个或多个图像。图像722被选中，从而其出现在工作区726内。当选择一个缩放模式724时，通过向左移动，图像722左移。
在图7c内，一个图像编辑应用被显示在显示器730上。在此应用里可以编辑一个或多个图像。图像732被选中，从而其出现在工作区736内。当选择一个调整模式734时，通过向上倾斜，提高图像722的亮度。
尽管本发明已经结合示例描述了优选实施例，很明显在不脱离附加权利要求的范围或精神情况下，本领域技术人员可以对其作出其它改变和修正。工业应用
本发明可以应用于图像界面的无线控制，供具有生理残疾的用户和对无线控制有不同用户偏好的多个用户使用。

Claims (14)

1.一种交互式系统，包括一个运动传感器探测单元，其包括一个或多个三维控制器；和一个运动传感应器接口，其包括一个MEMS信号处理器、一个移动解释器和翻译器、一个嵌入式UI工具包和一个应用子单元，其特征在于：所述MEMS信号处理器还包括至少一个无线接收器、运动补偿器、运动过滤器、运动识别器和运动数据库；用户能够设定单个或一系列运动作为一个特定事件，并存储在所述运动数据库里；
运动识别器映射的事件被发送到移动解释器和翻译器进行翻译和/或解释，移动解释器和翻译器被设置以解释来自MEMS信号处理器的输出运动事件的最佳匹配运动事件，并辨别这个输出运动事件是否是一个浏览器或非浏览器应用，如果这个运动事件能够与移动解释器和翻译器内设置的任何应用事件映射匹配，移动解释器和翻译器直接发送该运动事件到应用子单元，然后，该映射的运动事件被翻译成相应的应用事件，而该翻译的事件还被发送到应用子单元的非浏览器层以执行用户接口动作；
未被运动识别器映射的运动事件被发送到浏览器应用层和非浏览器应用层，通过比较该未映射的运动和存储在运动识别器或存储在同一运动数据库内的预设运动信号，或通过运动识别器进行运动信号映射期间进行的早前比较而获得匹配列表，在任何一个应用层里的应用程序可以获得一个匹配列表，该匹配列表包含未被映射的运动和每个预设运动信号之间的匹配值，应用程序具有处理未被映射的运动事件的逻辑，应用程序使用户能够基于匹配值从匹配列表选择运动或他想要产生的指令。
2.根据权利要求1所述的交互式系统，其中所述一个或多个三维控制器还包括一个或多个按钮。
3.根据权利要求1所述的交互式系统，其中所述一个或多个三维控制器发送的信号选自：ZigBee、蓝牙低功耗、Z-wave和IR无线控制信号。
4.根据权利要求1所述的交互式系统，其中所述至少一个无线接收器从所述一个或多个三维控制器接收的信号选自：ZigBee、蓝牙低功耗、Z-wave和IR信号。
5.根据权利要求1所述的交互式系统，其中所述运动数据库存储从所述无线接收器接收并由所述运动补偿器和所述运动过滤器处理的信号数据。
6.根据权利要求1所述的交互式系统，其中所述运动数据库将存储在所述运动数据库里的预设数据与从所述无线接收器接收并由所述运动补偿器和所述运动过滤器处理的信号数据进行匹配，以建立一个运动事件。
7.根据权利要求1所述的交互式系统，其中所述运动解释器和翻译器通过所述嵌入式UI工具包发送浏览器应用事件到所述应用子单元的一个浏览器应用层，并通过所述嵌入式UI工具包从所述应用子单元接收相应的运动反馈。
8.根据权利要求1所述的交互式系统，其中所述运动解释器和翻译器发送所述相应的运动反馈到所述运动数据库进行存储。
9.根据权利要求1所述的交互式系统，其中所述应用子单元基于应用输入执行所述非浏览器应用事件和所述浏览器应用事件。
10.一种使用交互式系统的方法，包括：基于在图象用户界面上显示的信息，使用一个控制器来产生信号，从所述控制器发送所述信号到一个接收器，所述接收器传输所述信号到一个处理器，所述处理器映射所述信号和数据库，在所述映射之后将所述运动事件翻译成应用事件，基于所述翻译的结果执行所述应用事件，并基于所述执行的结果显示相应的反馈在所述图像用户界面上，其特征在于：用户能够设定单个或一系列运动作为一个特定事件，并存储在所述数据库里；
其中，所述处理器包括一个MEMS信号处理器、一个移动解释器和翻译器、一个嵌入式UI工具包和一个应用子单元，所述MEMS信号处理器包括作为所述一个接收器的至少一个无线接收器、以及运动补偿器、运动过滤器、运动识别器和运动数据库；
其中，运动识别器映射的事件被发送到移动解释器和翻译器进行翻译和/或解释，移动解释器和翻译器被设置以解释来自MEMS信号处理器的输出运动事件的最佳匹配运动事件，并辨别这个输出运动事件是否是一个浏览器或非浏览器应用，如果这个运动事件能够与移动解释器和翻译器内设置的任何应用事件映射匹配，移动解释器和翻译器直接发送该运动事件到应用子单元，然后，该映射的运动事件被翻译成相应的应用事件，而该翻译的事件还被发送到应用子单元的非浏览器层以执行用户接口动作；
未被运动识别器映射的运动事件被发送到浏览器应用层和非浏览器应用层，通过比较该未映射的运动和存储在运动识别器或存储在同一运动数据库内的预设运动信号，或通过运动识别器进行运动信号映射期间进行的早前比较而获得匹配列表，在任何一个应用层里的应用程序可以获得一个匹配列表，该匹配列表包含未被映射的运动和每个预设运动信号之间的匹配值，应用程序具有处理未被映射的运动事件的逻辑，应用程序使用户能够基于匹配值从匹配列表选择运动或他想要产生的指令。
11.根据权利要求10所述的使用交互式系统的方法，其中所述使用所述控制器还包括：捕捉关于所述控制器沿着x-轴、y-轴和z-轴的运动以产生所述信号。
12.根据权利要求10所述的使用交互式系统的方法，其中所述使用所述控制器还包括：在所述捕捉关于所述控制器沿着x-轴、y-轴和z-轴的运动以产生所述信号期间，按下所述控制器上的一个或多个按钮。
13.根据权利要求10所述的使用交互式系统的方法，其中所述使用所述控制器还包括：在所述捕捉关于所述控制器沿着x-轴、y-轴和z-轴的运动以产生所述信号期间，拨动所述控制器上的一个或多个按钮。
14.根据权利要求10所述的使用交互式系统的方法，其中所述映射还包括存储所述信号在所述数据库内。
CN2009101416988A 2009-01-06 2009-05-18 一种交互式系统及其使用方法 Active CN101581969B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/349,247 US20100171696A1 (en) 2009-01-06 2009-01-06 Motion actuation system and related motion database
US12/349,247 2009-01-06

Publications (2)

Publication Number Publication Date
CN101581969A CN101581969A (zh) 2009-11-18
CN101581969B true CN101581969B (zh) 2012-02-15

Family

ID=41364139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101416988A Active CN101581969B (zh) 2009-01-06 2009-05-18 一种交互式系统及其使用方法

Country Status (2)

Country Link
US (1) US20100171696A1 (zh)
CN (1) CN101581969B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115838B (zh) * 2004-12-07 2015-08-12 莫菲西斯公司 产生和分泌修饰的肽的方法
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US9405372B2 (en) * 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7702608B1 (en) 2006-07-14 2010-04-20 Ailive, Inc. Generating motion recognizers for arbitrary motions for video games and tuning the motion recognizers to the end user
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US8847880B2 (en) * 2009-07-14 2014-09-30 Cywee Group Ltd. Method and apparatus for providing motion library
KR101914193B1 (ko) * 2010-04-15 2018-11-02 삼성전자주식회사 디지털 컨텐츠 제공 장치 및 그 방법
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
EP2686254B1 (de) * 2011-03-17 2018-08-15 SSI Schäfer Automation GmbH Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
EP2986014A1 (en) 2011-08-05 2016-02-17 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
CN104303177B (zh) 2012-04-25 2018-08-17 寇平公司 执行即时语音翻译的方法及耳机计算装置
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
CN103412649A (zh) * 2013-08-20 2013-11-27 苏州跨界软件科技有限公司 基于非接触式手部动作捕捉的控制系统
US20160257198A1 (en) 2015-03-02 2016-09-08 Ford Global Technologies, Inc. In-vehicle component user interface
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components
US10186065B2 (en) * 2016-10-01 2019-01-22 Intel Corporation Technologies for motion-compensated virtual reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991697A (zh) * 2005-12-27 2007-07-04 财团法人工业技术研究院 交互式设备的输入装置
CN101035250A (zh) * 2007-04-17 2007-09-12 天栢宽带网络科技（上海）有限公司 一种基于数字机顶盒的虚拟现实游戏装置和方法
CN101334698A (zh) * 2008-08-01 2008-12-31 广东威创视讯科技股份有限公司 基于交互式输入设备的智能输入方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US20040090423A1 (en) * 1998-02-27 2004-05-13 Logitech Europe S.A. Remote controlled video display GUI using 2-directional pointing
US6650313B2 (en) * 2001-04-26 2003-11-18 International Business Machines Corporation Method and adapter for performing assistive motion data processing and/or button data processing external to a computer
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US7729542B2 (en) * 2003-04-04 2010-06-01 Carnegie Mellon University Using edges and corners for character input
US20040268393A1 (en) * 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
KR100937572B1 (ko) * 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅 장치 및 방법
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US20060109242A1 (en) * 2004-11-19 2006-05-25 Simpkins Daniel S User interface for impaired users
US7852317B2 (en) * 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
WO2006088831A2 (en) * 2005-02-14 2006-08-24 Hillcrest Laboratories, Inc. Methods and systems for enhancing television applications using 3d pointing
US20080174550A1 (en) * 2005-02-24 2008-07-24 Kari Laurila Motion-Input Device For a Computing Terminal and Method of its Operation
TWI293156B (en) * 2005-08-12 2008-02-01 Winbond Electronics Corp Embedded controller and a computer system with said embedded controller
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8390649B2 (en) * 2007-04-30 2013-03-05 Hewlett-Packard Development Company, L.P. Electronic device input control system and method
US9335912B2 (en) * 2007-09-07 2016-05-10 Apple Inc. GUI applications for use with 3D remote controller
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991697A (zh) * 2005-12-27 2007-07-04 财团法人工业技术研究院 交互式设备的输入装置
CN101035250A (zh) * 2007-04-17 2007-09-12 天栢宽带网络科技（上海）有限公司 一种基于数字机顶盒的虚拟现实游戏装置和方法
CN101334698A (zh) * 2008-08-01 2008-12-31 广东威创视讯科技股份有限公司 基于交互式输入设备的智能输入方法及装置

Also Published As

Publication number Publication date
US20100171696A1 (en) 2010-07-08
CN101581969A (zh) 2009-11-18

Similar Documents

Publication Publication Date Title
CN101581969B (zh) 一种交互式系统及其使用方法
CN102184014B (zh) 基于移动设备指向的智能家电交互控制方法及装置
KR102127930B1 (ko) 이동 단말기 및 이의 제어방법
JP2023100884A (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
EP1744290B1 (en) Integrated remote controller and method of selecting device controlled thereby
CN106489080B (zh) 基于雷达的手势感测和数据传输
EP2439628B1 (en) Method for displaying a user interface on a remote control device and a remote control device applying the same
US20110134112A1 (en) Mobile terminal having gesture recognition function and interface system using the same
KR101635225B1 (ko) 매체 및 디스플레이상에 형성된 도트 패턴을 판독하는 것이 가능한 리모트 컨트롤 장치
EP3745280A1 (en) Information search method and device and computer readable recording medium thereof
CN104765443B (zh) 影像式虚拟互动装置及其实施方法
CN104765584A (zh) 用户终端装置及其控制方法
CN111344663B (zh) 渲染装置及渲染方法
CN102549577A (zh) 联系人搜索方法、装置及其应用的移动终端
CN106846496A (zh) 基于混合现实技术的dicom影像查看系统及操作方法
CN103412712A (zh) 一种功能菜单的选择方法和装置
CN106663365A (zh) 基于用户输入获得控制系统的手势区域定义数据的方法
CN105320398A (zh) 控制显示装置的方法以及远程控制器
CN102034341B (zh) 控制系统及其控制画面的产生方法
KR20150133045A (ko) 객체를 디스플레이하는 전자 장치 및 방법
CN201765792U (zh) 多点触摸屏幕的展示台
EP1184982B1 (en) Remote control device
KR102292619B1 (ko) 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
CN102645975A (zh) 手写输入装置、遥控装置、智能交互系统和手写处理方法
WO2009025499A1 (en) Remote control system using natural view user interface, remote control device, and method therefor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant