CN102830795B

CN102830795B - 利用运动传感装置的远程控制

Info

Publication number: CN102830795B
Application number: CN201210210662.2A
Authority: CN
Inventors: 斯图尔特·雷诺兹; 查尔斯·穆席克·吉尔; 达纳·威尔金森; 颜维群; 竺幼定
Original assignee: AILive Inc
Current assignee: AILive Inc
Priority date: 2011-06-23
Filing date: 2012-06-25
Publication date: 2016-08-03
Anticipated expiration: 2032-06-25
Also published as: EP2538309A2; JP2013008365A; EP2538309A3; CN102830795A

Abstract

本发明公开了一种使用多种运动感应信号来远程控制现有电子装置或者系统的技术。来自运动感应装置的输出信号可能与那些来自预定义控制装置的输出信号具有不同的格式。根据本发明的一个方面，受控装置被设计为响应于来自触模屏的信号或类触摸屏信号。来自运动感应装置的输出信号包括到受控装置的运动感应输入，其被转换成类触屏信号，所述类触屏信号耦合至所述受控装置或者所述受控装置执行的程序，随后引起受控装置的行为的改变或者响应，而不需要重新设置受控装置上运行的应用。

Description

利用运动传感装置的远程控制

【技术领域】

本发明涉及电子装置的人机接口领域，尤其在以下方面:

1）涉及源于运动传感器、音频、操作杆、按钮和/或摄像头的信号的转换来替代或增加来自触屏装置的信号以允许所述电子装置上的应用的远程控制；

2）涉及提供一种用户输入到一个装置的替代技术，所述装置最初被提供或设计成接收来自另一装置的输入；以及

3）涉及基于上下文标示符为存在装置以及运行于所述装置上的应用或模块进行的替代输入信号到一组传统信号和指令的转换的配置、重新配置和动态选择。

【背景技术】

在人机交互的工业设计里，用户界面是人类与机器互动的一个场所。人机交互的目标是制造出一种用户界面，它可以简单、高效以及舒适的操作机器来实现理想结果。这通常意味着一个操作员需要进行最少量的操作就可以获得理想输出，并且机器为人类最小化非理想输出。在创建实用性用户界面时适用的设计思路涉及或者包含如工程学和心理学等的学科。

触摸屏是至今设计的最成功的人机界面之一，在电子产品上最常见。它们广泛应用于电脑、平板电脑和智能手机。触摸屏是一种电子视觉显示器，它可以在显示区域内检测接触点的存在和位置。这个术语通常是指用手指或手臂在一个装置的显示器上触摸。触摸屏装置同样也能感应其他无源物体，比如触针。

在一些应用里，希望通过手持式运动传感控制器的使用来远程控制触摸屏装置，所述手持式运动传感控制器可能包括传感器的组合和发射器，所述传感器包括加速器、陀螺仪、电子罗盘或者磁力、按钮、操作杆和麦克风，所述发射器包括发光二极管和无线通信装置。

同样地，用于远程控制触摸屏装置的输入装置也可能包括来自2D(2维)摄像头或者3D(3维)摄像头的控制信号，所述3D摄像头例如可以为提供立体画面的两个摄像头或范围成像照相机系统(asingletimeofflight-basedcamera)。

希望将触摸屏受控装置连接到大屏幕电视机上，当该触摸屏受控装置的图形输出显示在所述电视机的大屏幕上时，从舒适的沙发上就可以控制该受控装置的部分或全部功能。类似的，也可能希望远程控制智能电视(支持更广泛的内容，包括视频、游戏、最初配置给触摸屏装置的应用、网页浏览等等)的部分或者全部功能。这样的话，与所述受控装置的理想交互方式不是所述受控装置的触摸屏，而是替代装置(非触摸屏)。然而，运行于所述受控装置上的模块（例如，软件组件）通常需要接收类表面触摸信号（或通常从类表面触摸信号获取而来的信号）来控制其功能。这样，无论有或没有将触屏装置连接至所述受控装置或其上运行的模块，均希望可以利用这样的替代装置非常容易地控制受控装置或者在其上运行的模块。

【发明内容】

本章节总结了现有公开的一些方面，并简单的介绍一些优选实施例。本章节的简化或者省略和在摘要或者标题中的说明一样可能会避开隐藏本章节、摘要和标题的目的。这些简化或者省略并非想要限定现有公开的范围。

总体而言，本发明描述了使用多个运动传感输入来远程控制现有电子装置或系统（也称为受控装置或受控系统）的技术，该现有电子装置上运行有应用，该应用事先配置成从一预定控制装置(比如特定触屏装置)来获得输入。输入装置的输出信号可能与来自所述预定控制装置的信号具有不同的格式。所述输出信号可能是由运动传感控制器、2D或3D摄像头，或它们的组合产生。

根据本发明的一个方面，所述受控装置被设计成响应来自触摸屏的信号或类触摸屏的信号。所述运动控制器的示例包括但不限于包括大显示器的电子消费装置(比如电视和娱乐装置)，所述电子消费装置可能连接至也可能不连接至智能手机和平板电脑。所述输入装置的输出信号是给受控装置的运动传感输入，并被转换成类触屏信号，该类触屏信号而后被发送至所述受控装置或者运行于所述受控装置上的应用或程序，随后引起所述受控装置的行为的改变或者响应，而不需要重新设置所述受控装置上运行的应用或程序。

根据本发明的另一方面，所述运动控制器内包括有多个惯性传感器，来自所述运动控制器的信号包括传感信号，所述传感信号中的部分或全部由所述运动控制器中的惯性传感器产生。这些信号被转换成一组控制信号以对所述受控装置进行控制，所述控制信号包括与来自触摸屏装置的信号实质类似的一些信号。基于具体实现，所述控制信号可以包括所述运动控制器相对于所述受控装置的平移或角位置，以及一系列用户与所述运动控制器的交互。在一种情况下，所述控制信号还可能包括来自其它运动控制器的输出信号(其它运动控制器被同一个用户或者另一个不同的用户使用)。

根据本发明的另一方面，来自输入装置的信号包括传感信号，所述传感信号中的部分或者全部由位于受控装置上或者附近的一个或多个摄像头产生。摄像头得到的图像信号被转换成一组控制信号以控制所述受控装置，所述控制信号包括与来自触摸屏装置的信号实质相似的一些信号。基于具体实现，通过转换或投影2D或者3D图像平面到虚拟触摸板(virtualtouchpad)，并发送这个虚拟触摸板的“已触摸”位置来计算所述控制信号。

本发明可以被实现为一种方法、一种装置中的部分或预定装置上运行的软件模组。根据一个实施例，本发明实现为一种用于基于运动的控制的系统，所述系统包括：包括至少一个应用的受控装置，该至少一个应用预先设置成响应于来自触屏装置的输入信号；包括多个传感器的输入装置，所述传感器用来产生响应于人体运动的传感信号；以及一个处理单元，其配置成通过将来自所述输入装置的传感信号转换为一组信号来帮助所述输入装置控制在所述受控装置上的所述至少一个应用，此组信号包括与来自所述触屏装置的触屏输入信号实质类似的一些信号。

根据另一个实施例，本发明实现为一种用于受控装置的基于运动的控制的方法，其包括：产生来自输入装置的控制信号，所述控制信号包括来自响应于人体运动的多个传感器的传感信号；使受控装置接收所述控制信号，所述受控装置包括至少一个应用，该至少一个应用预先设置成响应于来自触屏装置的输入信号；将来自所述输入装置的控制信号转换成一组信号，此组信号包括与来自所述触摸屏装置的触屏输入信号实质类似的一些信号；以及使得所述受控装置响应于所述控制信号。

本发明的目标、优势和好处之一是可以使能一个替代装置(例如运动控制器)或输入机制去控制在一个受控装置上的应用，而该应用最初被设计成和预定装置(例如触摸屏装置)一起工作。

本公开的其他目标，优点和优势通过接下来的优选实施例结合附图的具体说明将变得更加明显。

【附图说明】

结合接下来的说明、所附权利要求、参考附图，本发明的这些和其他特征、方面和优点将更容易理解。

图1示出根据本发明的一个实施例的一种配置的各种组件，在该配置中示出了一个运动控制器、一个显示器和一个或多个表面触摸装置。

图2A和图2B示出两个表面触摸输入装置的例子。

图3示出本发明的一种不同的组件连接方法的备选实施例。

图4示出本发明的另一种不同的组件连接方法的备选实施例。

图5仍然示出本发明的另一种组件子集的备选实施例。

图6示出了本发明中的输入装置的不同配置的另一个备选实施例；

图7示出了运动传感控制器的两个例子，其中每个都可以用于控制受控装置；

图8A示出了本发明的一个实施例，其中虚拟触摸板用作额外的输入装置；

图8B示出了用户通过动作配置所述虚拟触摸板的尺寸和视角(perspective)的示范方法；

图9A示出了在本发明的一个实施例中证明如何控制流程以使能控制器的控制；

图9B是根据本发明的一个实施例的功能模块图；以及

图10为在本发明的一个实施例中的信号流程的流程图。

【具体实施方式】

本发明的具体说明陈述了很多在以下方面:过程、步骤、逻辑模块、流程以及其他直接或间接类似数据流程装置运算的符号表示。所属领域的技术人员使用此处的这些进程说明和表示向所属领域的其他技术人员有效的介绍他们的工作实质。大量具体细节被阐述以此来提供对本发明的透彻理解。然而，对于所属领域的技术人员在没有这些具体细节时也可以很容易地实施本发明。在其他情况下，熟知的方法，过程，组件以及电路图没有被具体描述，以避开本发明的不必要的非重点方面。

此处所称的“一个实施例”或“实施例”是指针对实施例所描述的可包含于本发明至少一个实现例中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

像这里使用的一样，一个(用户)输入装置作为控制装置，它允许用户交互式的控制另一个装置的部分或全部功能。控制装置的一些普通例子包括：鼠标、键盘、操作杆、触摸感应表面(touchsensitivesurfaces)、运动控制器(比如WiiRemote^TM运动控制器，PlayStation控制器和空中鼠标)以及电视遥控器。无源传感器，比如摄像机和麦克风，也是所述用户输入装置的例子。本发明中的控制装置主要涉及含有多个惯性传感器的控制器，其中所述控制器产生控制信号，所述控制信号包括来自所述惯性传感器的传感信号和来自其他信号源（例如，操作杆、动作按钮或者格栅(grid)中手指的检测位置）的信号。

作为与受控装置或系统相对的一个名称，控制器、控制装置和输入装置在这里是可以互相替换的。这种输入装置的例子包括但不限于（视频游戏）控制器，该控制器最初为视频游戏、具有至少一个惯性传感器的智能手机（例如iPhone）和产生传感信号的便携式计算装置而产生。作为用户活动的结果，信号从输入装置被发送到一个受控装置从而引起所述受控装置或系统行为的转变。有许多受控装置的例子，常见的例子包括：视频游戏系统、电视机、数码录像机(DVRs)、DVD播放器、磁带式录像机、个人电脑、手提电脑、平板电脑、家庭音响系统、蜂窝电话、智能手机、个人音乐播放器、图形显示器、图形投影系统和上述装置的各种组合。一般来说，这些受控装置上运行模块(比如软件组件)，该运行于所述受控装置上的模块接收来自指定输入装置的信号，或间接处理来自所述输入装置的信号。这些软件组件包括:应用、游戏、操作系统、驱动、固件、内核、用户界面(APIs)等等。这些软件组件被配置成倾听并响应特定类型的信号。大体上，这些信号可能被归类成以下几种:

1)一类输入装置的代表，例如:

a.源于类鼠标装置(例如电脑鼠标)的类鼠标信号(mouse-likesignals)；

b.源于“类键盘”装置(例如远端键盘或者屏幕键盘)的“类键盘”信号(keyboard-likesignals)；

c.源于“类表面触摸”装置(例如触摸平板电脑)的“类表面触摸”信号(touch-surface-likesignals)；以及

d.源于“类麦克风”装置的“类音频”信号。

更广泛的，这些装置以类型归类并且被设计成倾听并响应特定类型的信号。这样的话，一个装置，例如轨迹球，通过执行通信协议(例如USB1.1)被用来代替鼠标，通过该通信协议可以表示出这个装置是“类鼠标”并且随后提供“类鼠标”的按键按压和位置信号的改变。

2)高级信号，或表示特定类型的控制请求或者控制事件的信号的代表，例如:

a.“下一张幻灯片[请求]”；

b.“往上滚动[请求]”；

c.“放大[请求]”。

作为用户活动的结果，信号从所述用户输入装置发送到一个受控装置从而引起所述受控装置行为的转变。一般来说，这些抽象信号作为一种方便的工具提供给应用程序员，这样他们就不需要考虑过多的各种各样的可能性的输入装置。这样的话，通过执行软件组件（例如“驱动”），将提供新类别的(先验未知)输入信号的新替代输入装置(alternativeinputdevices)的信号映射至所述软件组件期望的“倾听”信号。以这种方式，操作系统制造商或者API开发商会制定规则来写入和安装软件组件，这些软件组件的输出从可想到的源接收到的信号，并且随后使用这些信号控制现有的应用。

然而，这些现有模式并没有以一种令人满意的方式满足一些现实需求。应用经常被写成倾听一种特定类型（比如类表面触摸）的信号。比如安卓操作系统，有许多的应用为它而开发。现在，大多数安卓装置使用触摸屏作为用户输入的主要模式，并且安卓装置上的应用和其他软件组件经常被明确的写成“倾听”类表面触摸信号。

如果有人希望使用一种新的非类表面触摸输入装置，例如运动传感装置或控制器，控制所述受控装置的所有表面触摸功能，那么有一些实际问题必须解决。比如，许多软件组件被写成“倾听”和响应特定的类表面触摸信号。类似的，软件组件可能被写成“倾听”高级信号，例如“放大”或者“往下滚动”信号，这些信号间接的由另外的软件组件产生(例如操作系统、驱动、APIs等等)，这些另外的软件组件期望或者倾听类表面触摸信号。可接受的和期望的输入的类型可以通过各种手段进入存在软件组件中，所述手段包括：a、自己的设计；b、通过编译器的使用；或，c、通过依靠一个或者多个另外的软件组件(例如驱动、操作系统、APIs)。

这些输入装置可能不是“类表面触摸”装置或者不能容易提供类“表面触摸”信号。特别地，根据一个实施例，输入装置中没有一个传感器直接或者明显地提供类表面触摸信号。它们替代类表面触摸输入装置的应用和使用不是那么容易的被执行或者想到。

本发明的一方面涉及来自输入装置的传感信号到类表面触摸信号的转换。类表面触摸信号包含表示在一个2D(2维)表面上的2D坐标的信息。在一个实施例中，用户利用输入装置直接指向展示在图形显示器上的项目或条目，该输入装置被配置去估计指向位置(比如所述输入装置的主轴和所述图形显示器的交叉点)。这种指向位置的估算可以被称为“Drift-free”(无漂移)“down-the-barrel”(管瞄准)指向。Drift-freedown-the-barrel指向信号是一种“类表面触摸”信号的合适源，因为用户可以直接将手持装置的位置和方向与显示器的方向和位置关联起来，而不需要图形反馈(例如图形鼠标指针、十字光标或者光标)。

本发明的一些目标、优势和好处在接下来的示例应用中会被体会。

首先对于类鼠标装置，由于鼠标装置提供在2D平面上的线速度的测量但是不能提供在2D平面的绝对位置，因此鼠标不能提供"downthebarrel"指向信号。另外，鼠标提供由倾听“类鼠标信号”的应用所接收的“类鼠标信号”。这种“类鼠标信号”源可能不会被倾听类表面触摸信号的软件直接使用。此外，用户没有办法在不使用图形反馈(例如鼠标指针)的情况下将鼠标的物理位置和在所述图形显示器上的位置可靠的关联起来。

其次对于图形反馈的需求，类鼠标装置(提供鼠标信号源的装置)为2D值的单数据流源，而多点触摸表面可以产生2D值的多个数据流。本发明的一方面，使用本发明所考虑的控制装置来提供类多点触摸信号。

第三对于空中鼠标，其通过整合来自陀螺仪的一段时间后的角度方向信号来确定在一个平面上的一个点以获得角位置的相对测量。此测量随后转换成在一个2D平面上的一个点。这种方法的弊端有：i.仅相对于一些开始的方向测量被计算的方向信号；ii．通过被观测的相对测量的整合得到绝对测量，这会随着时间增加误差（称为推算误差）；iii．所述空中鼠标的操作的2D平面是基于重力的，透视图(perspectiveview)不能被比如斜靠在沙发上的用户调节或者倾斜。

在初始化校准步骤后，当所述输入装置指向图形显示器时，所述输入装置的方向的测量最初有可能提供down-the-barrel指向。然而经过一段时间后，由于以上弊端，推算误差(或者漂移)的累加或者装置传感器的其他限制(例如溢出、比例误差、非线性或者偏移误差)意味着此输入装置的计算后的方向最后会和实际的方向不匹配。这些弊端使得陀螺仪空中鼠标装置不适合作为不需要图形反馈的希望进行"driftfree""down-the-barrel"指向的应用。在一个实施例中，输入装置通过相对固定参考系进行不断的校准来克服所述限制。在一个实施例中，所述固定参考系是一个电子罗盘。在另一个实施例中，所述固定参考为外部摄像头。此外，此运动传感装置事先不被设想成可以提供在性质上不同于类鼠标信号(例如2D速度)的可用类表面触摸信号(与其它属性比较，其可以表示在2D平面上的绝对位置)。类表面触摸信号拥有不同于类鼠标信号的另外的特性。这些特性拥有区分沿一组点追踪轨迹和按顺序单独触摸这些点的能力，以及在一些装置上同时触摸多点的能力(也称为多点触摸)。

对于WiiRemote运动传感控制器，其可以实现了downthebarrel指向的不稳定形式。然而，为了做到这一点，这种装置包含探测在图形显示器附近的红外线LED(LightEmittingdiode)的位置的红外线感应摄像头。像在这里描述的一样，本发明的一个实施例不要求该手持装置中使用摄像头或者在显示器上设置LEDs。

对于PlayStationMove(TM)运动传感控制器：i.该装置采用了外部固定的摄像头和一个控制器尾部的大型内部彩色灯球以对该装置进行定位；ii．该装置提供类运动控制器信号给软件组件(例如电子游戏)，该软件组件对类运动控制器信号而非类表面触摸信号进行倾听和响应。该装置还没有给主要倾听“类表面触摸”信号的软件组件提供“类表面触摸”信号的已知的使用。

包含操作杆和按钮的外置游戏控制器的例子，例如Zeemote(TM)，已经习惯于控制在触摸屏装置上运行的软件组件。然而，来自游戏控制器的信号并不用来代替触摸屏信号，而是提供类操作杆、类游戏控制器或者类方向盘信号，并且仅对明确倾听这些类型的信号的软件组件的子集有效。相反，本发明的一方面可以提供一个表面触摸信号的替代源，其被用来控制倾听类表面触摸信号的软件组件的所有功能。

本发明的另一方面涉及操作杆和按钮信号的转换来替换或增加触摸表面信号。一个触摸表面覆盖整个图形显示器。触摸位置作为已接触位置相对于图形显示画面的联合是非常重要的。对于替代输入装置，可能缺少给用户的图像反馈，该图像反馈可以表明在图形显示器上的什么地方一个动作将要发生或已经发生，在所述装置的操作系统或应用中也没有规定去接收来自替代输入装置的信号，并将它们图形化展示。

本发明的另一个方面是替代输入装置的指向位置在显示器上的图像显示。这个方面有以下不同：a，类鼠标信号的光标图形显示(类鼠标信号源而非类表面触摸信号的可视化)；b，触摸感应表面的接触位置的图形显示(来自实际的触摸感应表面而不是替代输入装置的类表面触摸信号的可视化)；c，其他运动控制器、操作杆或者按钮信号的图形显示(这些信号并非用来转换以替代类表面触摸信号)。

在不知道哪个转换应该应用在哪个环境或上下文(context)的情况下，也许没有来自新输入装置的信号的单独转换，所述新输入装置适合作为多个环境或上下文(例如家庭屏幕、显示屏的设置、游戏、操作系统功能等等)的输入。对于一个软件组件，可以使用一个操作杆产生一个类触摸信号去模拟在特定位置的表面触摸，从而模拟按下屏幕上的图形按钮。对于另一个软件组件，所述操作杆信号可以被转换以产生一系列的类表面触摸信号以引起一个屏幕上的列表的滚动，该系列的类表面触摸信号可以模拟触摸表面上的向上滑动的信号。在这两种情况下，一种情况下的信号根据另一种上下文进行发送可能产生非预期的影响。

更广泛的说，本发明的这一方面不同于从一种类型到另一种类型的信号转换的相关技术，具体有：1，被转换的信号可能不是类表面触摸信号并且特定的来自于替代输入装置，而不是类表面触摸信号源；2，已转换信号被用于替代或增加触摸表面的信号，接着提供给配置成倾听类表面触摸信号的软件组件；3，所述受控软件组件不需要为可配置性具有现有规定；4，一些输入信号可能来自远程位置的(比如在沙发上)、虚拟或真实的触屏装置，相较于为所述应用预先配置的预定触摸屏装置，这样可以给用户更多的控制自由度。

一般而言，本发明描述了对于现有电子装置使用运动控制器作为输入装置的技术，运行有应用的受控装置预配置成可以获取不同格式的输入。输入装置的信号的格式可能与控制装置的信号的不同。根据本发明的一方面，受控装置上运行有响应触摸屏信号或者类触摸屏信号的应用。运动控制器的输入被转成类触摸屏信号，随后发送给受控装置或者正在受控装置中运行的程序从而引起受控装置的行为变换或者响应。

现在请参考附图，图1示出根据本发明一个实施例的范例配置100。在此实施例中，主要的组件包括一个控制装置101和一个受控装置102。所述控制装置101提供信号，所述信号来自依附于所述控制装置的运动传感器以及按钮传感器、操作杆传感器，LED和麦克风输入的任意组合。这些信号被解释以控制所述受控装置102，该受控装置102可以由多个元件构成，所述元件包括一个大型显示器103和一个表面触摸输入装置104。控制装置的一个示例可以是一个专用控制器、智能手机或者其他手持电脑装置（例如，iPhone）。受控装置的一个示例可以是一部电视机、游戏控制台或用于控制应用的电脑装置（例如智能手机或者连接到电视机的平板电脑）。

在一个实施例中，所述控制装置101包含运动传感器（未示出）和零个、一个或多个的LED，它们装在控制装置101的被用户109手持的本体上，这里显示用户109在他或者她的房间里舒服的坐在沙发110上。为了这个目的，在一个实施例中，所述控制装置101还包含一个通信装置和一个自带电源。所述通信装置在一个实施例中为蓝牙无线电装置，但是它在可选实施例中也可以用红外线通信装或者任何其它形式的无线通信装置替代。在一个实施例中，可充电电池作为所述电源。

在另一个实施例中，所述控制装置101的运动信号可以被由外部的不附属于所述控制装置101的摄像头以及在控制装置101上的一个或多个LED或者其它点光源一起提供的信号替代或者补充。

当在描述各种各样的实施例时，所述控制装置101也可以被称为运动控制器、控制器或运动传感装置，名称可以互换。在一个实施例中，所述受控装置102为一个电子装置，其被配置去执行一些模块（例如软件组件），所述模块与至少一个触摸传感输入装置（例如触摸屏）或类表面触摸输入装置信号(比如来自表面触摸输入装置104)进行通信或者被其控制。所述表面触摸输入装置的例子包括覆盖于图像显示器上的电阻式或电容式触摸面板。如图2A和2B示出了的两个例子，分别为具有触摸屏的智能手机201和平板电脑202。类表面触摸信号为至少描述触摸传感输入装置上的2D平面的触摸位置或触摸点或者区域的信号。

受控装置102可以被按钮传感器、键盘或者袖珍键盘输入、操作杆传感器、摄像头或者视频输入、麦克风输入或者运动传感器的任意组合控制。在一个实施例中，所述受控装置102包含一个大型显示器(在不同的实施例中也可称之为显示装置)103和至少一个通过一条线缆105直接附属于所述显示器103的表面触摸输入装置104，所述大型显示器103可以为电视机、电脑屏幕或者投影显示装置，所述电缆105可以为HDMI线。在如图3所示的另一个实施例300中，所述受控装置302包含一个表面触摸装置304，其放在一个对接站上，该对接站通过线路与显示器303以及其内的处理单元相连接。

在如图4所示的另一个可选实施例400中，所述受控装置402包括一个表面触摸装置404，其通过物理上附属于或者合并在显示器里的一个接收/发射器405与显示器403进行无线通信。

在图2，3和4所示出的每一个实施例中，视频信号都是由触摸屏装置发送到显示装置。在图5所示的另一个实施例500中，所述受控装置502只包括显示装置503，所述受控装置502没有触摸屏但是仍然运行由类表面触摸信号控制的应用。在这种情况下，所述控制装置通过转换它的非类触摸屏信号为能够控制这些应用的触摸屏信号以对这些应用进行控制。

图6示出一个拥有多种不同配置的输入装置的受控系统600。此受控系统603包括两个装置601和602，它们含有处理单元并且有能力运行程序或者软件模块。所述处理单元存在于显示装置和触摸屏输入装置中。所述输入装置或者控制装置可以任意配置的网络摄像头604、电视内嵌的摄像头605、立体视觉的第二个网络摄像头606和运动感应控制器607。

如图6所示，来自控制装置604-607的信号用于控制运行在受控系统603上的软件组件。这些软件组件被配置成倾听特定类型或者可辨认类别的信号，例如：

-类触摸屏信号(touchscreenlikesignals)；

-类按钮信号(button-likesignals)；

-类音频信号(audio-likesignals)；

-类操作杆信号(joystick-likesignals)；

-类文本信号（例如用于填入在一块图形文本输入区域的一串字节；或者一系列控制信号，例如来自于键盘或其他类似的文本输入装置）；

-表示事件的信号，例如“Home键已按下”；

-表示请求的信号，例如“往下滚动请求”。

在每种情况下，信号源有可能是未知的，但是在所述受控装置或系统里运行的软件组件被配置成倾听特定类型或者可辨认类型的信号，或者被特定类型或者可辨认类型的信号控制。如在此使用的，“类X”信号被当成所述软件组件接收的信号，该信号引起正在运行所述软件组件的装置的行为变化，就好像此装置受控于所述输入装置X，但是不一定非得来自于所述输入装置X。

本发明的一个方面允许一个或多个软件组件被特定类型或者可辨认类型的信号控制：

在指明类型的物理装置缺失时；和/或，

除了指明类别的物理装置外；和/或，

作为指明类别的物理装置的可替代机制。

作为例子，在本发明的一个实施例中，本发明允许在受控装置上运行的多个软件组件的远程控制，其中触摸屏为受控装置的主要输入源，并且软件组件由触摸屏或者类表面触摸信号控制。

所述控制装置通过转换它的非类触摸屏的信号为能够控制这些软件组件的类触摸表面信号对这些软件组件进行控制。

基于具体实现，各种各样的转换对于从控制装置获得的各类型的输入信号和被受控装置的软件组件响应的各类型的信号是可能的和适当的。转换的示例包括有：

-将来自控制装置的操作杆信号转换成“上一页(PageUp)”信号；

-将来自控制装置的麦克风信号转换成文本输入信号以进行内容搜索；

-将来自控制装置的惯性信号转换成类惯性信号，此转换发生在执行一个可选的轮换以模拟输入装置和目标装置之间的惯性传感器的轴线的重新映射之后（如果有目标装置的话，有可能替代受控装置惯性的输入）；

-将控制装置的运动信号转换成类表面触摸信号；

-将控制装置的运动信号转换成类按钮信号；

-将控制装置的运动信号转换成类操作杆信号；

-将控制装置的操作杆信号转换成类操作杆信号；

-将控制装置的操作杆信号转换成类表面触摸信号；

-转换和扩充来自一个装置的触摸板信号、类按钮信号和音频信号以取代所述受控系统中的类信号；

-将控制装置的操作杆信号转换成图形目标或列表滚动请求的软件信号；

-将控制装置的麦克风输入转换成类表面信号（例如“向下”（说）转换成模拟触摸表面的向下滑）；

-将控制装置的麦克风输入转换成类按钮信号（例如，“Home”（说）转换成Home键已按下信号）；

-将控制装置的操作杆和按钮信号一起转换成类表面触摸信号；

-将控制装置的运动信号和按钮信号一起转换成类表面触摸信号；

-将控制装置的运动信号和按钮信号一起转换成类表面触摸信号和类按钮信号；

-将图像信号转换成控制信号以修改虚拟触摸板的尺寸和视角(perspective)；

-将图像信号转换成2D类触摸板信号。

以上这些例子，从控制装置进来的信号被转换以替代来自用于控制所述受控装置的指定触屏装置的信号。这些转换并不妨碍其他物理装置对所述软件组件的控制，其他物理装置也许存在，而是允许所述控制装置对所述软件组件的远程控制。通过探测表明用户希望使用类似的替代控制器的事件来使能所述远程控制。可能的事件的示例包括：

-通过电缆、对接或者无线电连接发现从控制装置到受控装置的连接事件；

-通过无线电或者其他无线通信信道发现受控装置；或

-通过连在受控装置上的摄像头发现用户。

图7示出两个示例的运动感应控制器，其有可能用于控制如图1–6所示的受控装置。在一个优选实施例中，所述运动传感器安装在控制器内部而不显现在外。每个控制器的外部配件包括在格栅(grill)701后面的麦克风、模拟操作杆(analogjoystic)702和多个按钮703。在另一个实施例中，所述控制器在运动控制器的顶部表面设有一个触摸板704，允许用户滑动、摩擦、轻拍或者提供其它基于触摸的输入。这种远程触摸板装置可以是任意尺寸以方便成为手持控制装置的一部分。

图8A示出一个输入装置，此输入装置包括位于受控装置顶部的网络摄像头801、用来展示摄像头的2D投影视野范围的网络摄像头的视野截锥(viewingfrustrum)802和一个位于视图截锥802内的虚拟窗口803。在一个实施例中，所述虚拟窗口803是一个用户可配置的空间，在该虚拟窗口内的活动被认为就像发生在触摸板上一样。换句话说，此虚拟窗口803被用作虚拟的触摸板。在一个实施例中，一个或多个（用户的）手指被跟踪到。当伸出一个手指时，在图像平面上的跟踪位置被投影在2D格栅(grid)上，由此导致的转换信号作为类触摸信号提供给所述受控装置。这个类触摸信号可以控制所述受控装置上的应用，所述应用预先配置的可接受触屏输入。当在虚拟窗口803里伸出手指，就好像所述手指接触到所述虚拟触摸板一样。当手指缩回或离开所述虚拟窗口803，就好像是所述手指脱离所述虚拟触摸板。在一个实施例中，所述虚拟触摸板输入被合并入其它输入以提供用于驱动所述受控装置的扩充控制信号。输入类型的这种合并可以使得来自终端用户的各种输入被灵活使用。

有许多部分可以用来替代手指，例如，手、笔、或受控装置末端上的LED，当按下时该LED开启，不按时该LED关闭。在这个实施例中，利用虚拟窗口803的信息和基于摄像头的目标跟踪的信息来创建一个虚拟触摸板，该虚拟触摸板用来扩充或替代驱动所述受控装置的控制信号。

图8B示出一种示例方法，用户通过该方法可以配置用来创建虚拟触摸板的虚拟窗口803的尺寸和视角，其中将两只手805的每一个形成“L”形从而创建所述虚拟板框架803。在一个实施例中，所述虚拟板框架803的尺寸可被简单的确定为固定长宽比的矩形，所述虚拟窗口803的宽度与由用户双手形成的“L”形的角之间的图像平面的X像素的差成比例。所述虚拟窗口803的视角与在图像平面里的手的食指与拇指之间的相对长度成比例。

在另一个实施例中，所述转换发生在控制装置里并且其输出信号直接发射到所述受控装置。在一个优选实施例中，所述受控装置为一个网络电视机，其可以从因特网源接收视频并播放，运行游戏，或者其它网络应用。在图1所示的实施例中，触摸传感输入装置104的屏幕画面由所述显示器103显示。用户109将所述运动控制器101瞄准屏幕从而为触摸屏装置指定对应的2D位置107。这些位置的选择对应于所述控制装置的"DowntheBarrel"指向106。

在如图6所示的本发明的一个实施例中，所述受控装置或系统包括两个装置601和602，它们可以运行触摸屏应用。所述运动控制器607最开始用于指向每个装置601和602的位置并储每个位置的角度坐标。所述运动控制器607可以指向一个装置并将其标注为主装置，比如装置602，该主装置负责提供在另一个装置601(比如显示器)上显示的内容。从那时起，来自指向显示器的控制器的信号将被转换并只发送给所述主装置，即便主装置并非正在被指向的那个。在这两个装置(比如601和602)之间很明显有许多可能去来回分享信息，例如任何种类的数据的转移，所述数据包括被实时的访问和修正（像在游戏里一样）的静态的文件，比如图形元素等。在所述受控系统603里的装置数量可以超过两个，显然多个装置可以控制所述显示器601的一部分，此外也很显然可以有多个运动控制器被用来控制整个系统603。

本发明的一个实施例是一种方法，其将在以上描述的情况下使用的运动控制器的传感信号转换成类表面触摸信号。所述图形显示器示出一个“指向位置”作为屏幕上的元素（例如光标）。通过将运动装置的运动信号转换成2D平面上的点，所述指向位置跟随所述运动装置的移动。

有许多方法可以将所述运动装置的运动信号转换成屏幕上存在的位置。在一个实施例中，发明人可以使用如申请号为12/835,750的美国专利申请中所描述射线投射法(ray-castingmethod)，该美国专利申请在这里被作为参考。为了正确地获得"DowntheBarrel"指向，两种主要信息是必须的。首先，需要获得所述运动控制器在世界坐标系里的一个精确的绝对方向，这个世界坐标系的定义与地球重力场和磁北的方向有关。其次，定义从所述运动控制器的参考系到所述显示屏的映射。此映射包含所述显示器相对于所述运动控制器的位置以及所述显示器相对于世界坐标系的相对旋转。第二组信息可以在初始化安装校准阶段获取。这种做法的一种方法在申请号为12/835,750的美国专利申请中有所描述，在该美国专利申请中用户通过所述运动控制器指向显示屏上的多点位置以建立映射。

在一个实施例中，所述控制装置产生传感信号，这些传感信号对应于至少三个互相垂直的加速计读数，三个互相垂直的陀螺计读数和一个拥有垂直于地球重力方向的至少一个测量值的罗盘读数。当所述运动控制器在非工作状态时，通过使用加速计来测量所述重力方向，所述运动控制器的方向的三个分量(components)中的两个可以被计算出来，如专利号为7,953.246的美国专利所描述的一样，该美国专利在此被作为参考。第三个分量是环绕重力方向的旋转，其可以直接被罗盘测量。我们容易理解这些方向的直接测量值并不总是有效的，所以陀螺仪感应器提供绕三轴中任意一个的随时间的精确角速度测量值。这些速度值将被整合用来计算重力与所述罗盘的估算之间的随时间变化的方位变化。陀螺仪读数的累积整合将会随着时间来累积误差，这被称为漂移。为了保持一个方向的精确的"DowntheBarrel"估算，必须定期将所述方向朝向从重力和罗盘获得的直接估算值调整。实际上，重力和罗盘读数相比于陀螺仪读数趋向更低的精确性和更多的噪声，这导致他们的方向估算的精确性较差，但是他们不会受到随着时间的误差累积或者漂移的影响。为了得到最佳的方向估算，必须混合这两种数据。一个简单的混合方法就是将整合方向朝着重力和罗盘估算的方向稍微移动以平滑所述整合方向的校正。实践者可用的复杂的方法包括卡尔曼滤波器和其他已知的用来滤波以及合并噪声信号的方法。

可选择的，如果所述控制装置设置有一个三轴罗盘，可以根据此罗盘计算出方向的所有三个分量。在另一个实施例中，一个带有至少三个正交读数的罗盘可代替所述陀螺仪。对于足够精确的罗盘，其读数可以用来作为世界坐标系中运动控制器的方向的直接估计。方向中的误差可以通过平滑多个输出读数来降低，以此来防止当用户试图指向时体验到晃动的光标。

在另一个实施例中，通过使用与所述显示器具有明确相对关系的外置摄像头和可被所述摄像头看到的控制器上的光源，显示器相对于控制器的方向和相对位置能被共同获得并随时间更新，如申请号为13/105,863的美国专利申请所描述的那样，该美国专利申请在这里被作为参考。

考虑到所述控制器的方向和相对位置，射线投射提供简单操作以在所述控制器产生的光束线与显示器寻找交叉点。在一个实施例中，当只有更多限制的传感器有效时，相对指向被用于替代“down-the-barrel”指向。在一个实施例中，所述运动控制器的陀螺仪读数被直接映射为屏幕上光标位置的相对变化，以此来产生指向位置，这样就不需要加速器、罗盘传感器、LED或者外置摄像头。

图9A通过本发明的一个实施例证明如何控制流程以使能使用控制装置901的控制。所述受控装置904具有运行程序或者软件模块的能力。基于具体实现，所述受控装置904包括一个或多个处理单元，所述处理单元设置于所述受控装置904内或所述触摸屏输入装置中，或者两者皆有。在一个实施例中，所述处理单元位于触摸屏输入装置中。在另一个实施例中，所述受控装置904为包括所述处理单元和所述软件组件的电视机。

如图9A所示，来自所述控制装置901的信号用于控制运行在受控装置上的软件组件905。这些软件组件905被配置成倾听特定类型或者可辨认类别的信号，例如：

-类触摸屏信号(touchscreenlikesignals)；

-类按钮信号(button-likesignals)；

-类操作杆信号(joystick-likesignals)；

-表示事件的信号，例如“Home键已按下”；

-表示请求的信号，例如“往下滚动请求”。

在每种情况下，信号源有可能是未知的，但是在所述受控装置里运行的软件组件被配置成倾听特定类型或者可辨认类型的信号，或者被特定类型或者可辨认类型的信号控制。如在此使用的，“类X”信号被当成所述软件组件接收的信号，该信号引起正在运行所述软件组件的装置的行为变化，就好像此装置受控于所述输入装置X，但是不一定非得来自于所述输入装置X。

在指明类型的物理装置缺失时；和/或，

除了指明类别的物理装置外；和/或，

作为指明类别的物理装置的可替代机制。

作为例子，在本发明的一个实施例中，本发明允许在受控装置904上运行的多个软件组件的远程控制，其中触摸屏910为受控装置的主要输入源，并且软件组件905由触摸屏或者类表面触摸信号控制。

根据一个实施例，所述控制装置901通过转换它的非类触摸屏的信号907为能够控制这些软件组件905的类触摸表面信号908对这些软件组件进行控制。在一个实施例中，这种转换由软件模块906执行，其也可以被称为输入转换器，其使得信号907能够被受控装置904使用。

在另一个实施例中，所述转换器906可以提供另外的信号转换。一个特定转换涉及将直接或者间接来自控制装置901的输入信号（在一些实施例中，包括部分来自于外部摄像头的信号，但是仍然需要来自所述受控装置的信号）转换成能够控制运行在所述受控装置904上的软件组件和应用的各种类型的输出信号。

-将来自控制装置的麦克风信号转换成文本输入信号；

-将控制装置的运动信号转换成类表面触摸信号；

-将控制装置的运动信号转换成类按钮信号；

-将控制装置的运动信号转换成类操作杆信号；

-将控制装置的操作杆信号转换成类操作杆信号；

-将控制装置的操作杆信号转换成类表面触摸信号；

-类表面触摸信号模拟屏幕上的方向控制器的触摸，例如图7所示的704；

-不同操作杆方向导致不同表面触摸位置的模拟；

-类表面触摸信号是一系列模拟触摸表面滑动的触摸信号；

-将控制装置的运动信号和按钮信号一起转换成类表面触摸信号和类按钮信号。

以上这些例子，从控制装置进来的信号被转换以替代或者修改受控装置的信号。这些转换并不妨碍其他物理装置对所述软件组件的控制，其他物理装置也许存在（例如910），而允许所述控制装置对所述软件组件的远程控制。通过探测表明用户希望使用类似的替代控制器的事件来使能所述远程控制。可能的事件的示例包括：

-通过无线电或者其他无线通信信道发现受控装置；或

-通过连在受控装置上的摄像头发现用户。

下面我们描述如何将那些2D交叉点、指向位置与其它控制装置的信号（例如运动信号）合并，以此产生类表面触摸信号。

下面描述的操作模式的细节将倾向于说明性而不是限制在其应用中。当描述按住一个按钮时，可能用类似的方法取而代之，例如压下触发器或者覆盖触屏、光、或者电容传感器。当描述围绕轴线旋转时，如果被给定的输入装置的用户感觉到更舒服或者更自然，可以使用不同的轴线选择或者旋转方向。

在一个实施例中，当产生表面触摸信号时，在显示装置上的指向位置被映射回到所述表面触摸输入装置的相应位置。对于没有触屏装置的实施例来说，在显示装置上的2D指向位置直接被用来产生用于软件组件的类触摸信号。用户与程序交互的额外的转换和方法将被用于替代的实施例中，所述实施例包括：

当按钮按住和释放选择时的图像覆盖层(GraphicalOverlay)：按下和按住按钮以引起各种各样的图像元素（按钮、列表、文本、盒子等等）的出现，这些元素由显示覆盖层软件组件909产生和显示。在释放按钮时，任何展示在指向位置的图像元素激活其自身功能，随后其图像覆盖层消失。

音量控制：按下并按住控制装置上的一个按钮从而进入音量调节模式。向右旋转控制器的末端（当从上往下看）使得音量增加。向左旋转控制器的末端（当从上往下看）使得音量增加。

左右移动：按下并按住控制装置上的一个按钮引起显示图形元素的位置的改变。运动控制器的末端的水平运动（例如，当从上看时，控制器的末端的左/右运动）引起图形元素的水平运动。

上下移动：按下并按住控制装置上的一个按钮促使显示图形元素的位置的改变。运动控制器的末端的垂直运动（例如，当从侧面看时，控制器的末端的上/下运动）引起图形元素的垂直运动。

姿势控制：如果用户做出一个可识别类型的运动，则其可能为软件事件或者请求(例如“按住HOME按钮”、“向上移动”、“保存改变”、“取消”的)产生一个相应的模拟信号，或其产生为所述软件组件预定义的类似可识别信号。

姿势控制到触摸：如果用户做了一个可识别类型的运动，则可能产生一系列表面触摸信号，该表面触摸信号对应一系列预定义的指向位置。该系列指向位置可以通过应用来定义，也可以通过一组先前由用户产生的触摸信号来定义。例如，用户可以通过使用上述详细描述过的单点触摸或多点触摸方法中的一个指定一序列的指向位置，然后指定该序列应当与示例运动或者它们所提供的一组运动相似的运动相关联。

音频控制：如果用户作出一个可识别的音频信号以产生一个相应的模拟软件事件或者请求的信号，或者为所述软件组件预定义的类似可识别信号。模拟软件事件或者请求的信号例如可以为“按住HOME按钮”，“向上移动”，“保存改变”，“取消”等。

音频音量控制：使用用户输入的音频输入音量来控制所述受控装置的输出音量。例如，用户可以决定去匹配输入音量和输出音量的分贝水平。

音频到文本输入：来自所述控制装置的音频信号的转换可以提供或替代运行在所述受控装置上的软件组件的文本输入。在一个实施例中，该转换使用现有文本到语音应用程序接口(API)，例如谷歌安卓文本到语音API。

运动到类键盘输入：来自控制装置的运动控制信号的转换可以提供或替代运行在受控装置上的软件组件的提供文本输入的触摸输入。在一个实施例中，将按钮和运动信号转换成类表面触摸信号，该类表面触摸信号模拟显示在屏幕键盘上的按键的选择。

运动到文本输入：在另一个实施例中，通过将指向位置穿过表示已选词汇的元素的屏幕符号，将按钮和运动信号转换成模拟词语描绘的类表面触摸信号。因此需要一种消歧方法。在一个优选实施例中，我们依靠现有软件组件，例如Swype。

图9B示出了本发明一个实施例的功能方框图。在实施例中，是有关基于配置文件(profile)的来自控制装置的信号到适合控制受控装置上的软件组件的信号的转换的动态选择，其中配置文件包括上下文和转换；上下文是一种可识别情况，在该情况下可以应用所述转换；转换已经在上文有所描述。

配置文件进一步展示了在特定的上下文中转换的动态应用。也就是说，如果所述上下文应用，从所述控制装置提取所述传感信号，应用所述转换，然后给运行于所述受控装置的软件组件提供结果信号。

上下文的例子包括但不限于：

1、标识图像用户接口元素的状态（窗口、屏幕、盒子、按钮、滑块等等）。

配置文件例子：

如果当前滚动条元素被显示，那么将来自所述控制装置的操纵杆信号转换成引起上滚动或下滚动的表面触摸信号。

2、激活的软件程序。

配置文件例子：

如果照片长廊照片观赏者应用正在运行，那么将运动传感信号转换成引起放大或缩小的表面触摸信号。或，如果照片长廊照片观赏者应用正在运行，那么将运动传感信号转换成明确表示引起放大或缩小的高级触摸信号。

如果某个游戏正在运行，那么将来自所述控制装置的运动信号转换成受控装置的模拟运动信号。

3、对控制装置的检测。

配置文件例子：

如果控制装置被检测且其它任何条件，那么控制装置的将表示向前推送的操纵杆信号转换成模拟向上滑动的表面触摸信号。

4、对控制装置任何运动的检测；

配置文件例子：

如果检测到控制装置的运动，那么将A转换成B；

如果检测到控制装置的运动并且其它上下文也被检测到，那么将A转换成B；

如果用于文本输入的显示图像元素被选择，那么将控制装置的音频信号转换成文本输入；

如果控制装置被置于垂直方向中，那么将控制装置的音频信号转换成文本输入。

在一个实施例中，一个配置文件被实现为程序代码，该程序代码可以在受控装置或者控制装置上执行（可能在编译和链接步骤之后）。

在一个优选实施例中，配置文件被实现为计算机数据并且被容易地存储、复制、编辑、修改、存进数据库或者传输。在这这种情况下，配置文件的功能通过另外的可以加载配置文件的软件组件911执行。

根据本发明的一个实施例，图10示出了一种控制装置(比如，运动传感装置)如何被用于与受控装置相互作用的流程或者方法1000，在此控制装置的信号被映射成能被受控装置接受的信号。正如上述所描述的，根据一个配置文件执行所述映射或者转换。基于具体实现，方法1000可以实现为软件或者软件与硬件的结合。

在1002中，方法1000检查控制装置（例如iPhone）是否有能力与受控装置（例如，智能电视）进行通信。该通信可以通过多种途径中的一种执行，例如WiFi、蓝牙或者红外线。其目的在于保证控制装置的信号可以被受控装置接收到。方法1000可以在来自控制装置的信号被受控装置接收到的情况下进行。在1004中，控制装置的用户四下移动所述控制装置。正如上述所描述的，控制装置包括一组传感器，其中至少有一些是产生运动信号的惯性传感器。在1006中，控制装置被校准，例如当所述控制装置被指向受控装置的显示器时所述控制装置的方向的测量。因此，提供down-the-barrel指向才可能。

传感信号根据一种转换而被转换。基于具体实现，该转换可能通过不同的方式被实现，其中一些在上文已说明。转换的一种功能就是将传感信号（与动作信号一起）转换的与为受控装置设计的控制信号实质上相似。例如，受控装置设计成被触屏装置的控制信号控制或者接收触摸屏装置的输入信号。在一个实施例中，转换被设计成将一些或者所有传感信号转换成实质上与来自触屏装置的控制信号相似的信号。因此，控制装置可以用来控制所述受控装置。

为公平准确地指向显示器，控制装置在显示器的2D表面的绝对位置在1010中被计算，该位置与参考系有关（例如，与显示器有关）。另一方面，控制装置可能也产生其它信号。典型地，在1012中，控制装置能够连接用户以接收命令和输入。该控制装置可能也包含一个或多个按键或按钮来激活一个动作。因此，在1014中，除控制装置的传感器的传感信号之外，可能还有同样来自控制装置的动作信号。与1008相似，在1016中，所述动作信号被转换的与受控装置可接受的动作信号实质上相似。在一个实施例中，视用户需要如何控制受控装置而定，传感信号和动作信号被同时发送给受控装置。与1010中的指向位置一起，在1018中，动作信号能够引起受控装置的一个行为的改变。

举例来说，用户需要滚动包含一些项目的菜单，该菜单被显示在受控装置上。因此有必要确定控制装置在显示器上的指向位置，以便确定哪个项目被指向。在控制装置上的一个动作（例如，一次点击）引起控制装置发出动作信号，该动作信号将被转换成一个受控装置可接受的动作。与确定位置一起，受控装置被设置成确定菜单上哪个项目将被选择以及被激活。

本发明的以上说明针对于从控制装置到在运行于受控装置上的软件组件的信号转换。在显示给用户之前，对软件组件的输出信号进行额外的修正也可以的。对于一些受控装置输出数据的另外的转换可用来提高用户使用新控制器的体验。图形数据的另外的转换的例子有增加另外的显示控制（例如按钮、滑块或菜单）到显示器的非使用区域。对于来自一个装置(例如肖像显示模式下的智能手机)的图形数据，有可能在显示器(例如一个电视屏幕或者显示器)上有大量的非使用区域，所述显示器可以用来提供留给用户的另外区域以生成表面触摸输出信号的指向点。另外，图形元素可以从触摸传感装置的输出移除，然后被放置于新的配置上（例如主显示器的边上），或者完全移除。对于具有在屏幕底部的虚拟游戏板的游戏应用，如果所述输入控制器有一个操作杆，那么可以不需要为用户显示虚拟操作板，这样可以给用户一个清晰的画面，同时仍然允许所述控制装置的操作杆输入信号被映射为相对于原始触摸表面装置控制位置的表面触摸信号。

本发明优先由软件实现，但是也可以由硬件或者硬件和软件的组合实现。本发明也可实现为在计算机可读媒介上的计算机可读编码。计算机可读媒介可以是任何数据存储装置，其可存储由计算机系统读取的数据。例如计算机可读媒介包含只读存储器、随机存取储存器、CD-ROMs、DVDs、磁带、光盘和载波。计算机可读媒介可通过联网计算机系统发布，这样计算机可读编码可以分布式方式存储和执行。

本发明已经在一定程度上被充分详细的描述。本领域技术人员可以理解，目前实施例所揭露的只是示例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。因此，本发明的范围定义为其保护范围而不是以上实施例的说明。

Claims

1.一种用于基于运动的控制的系统，该系统包括：

包括至少一个应用的受控装置，该至少一个应用预先设置成直接响应于来自触屏装置的类触摸屏信号；

包括多个传感器的输入装置，所述传感器用来产生响应于人体运动的传感信号；以及

一个处理单元，配置成通过将来自所述输入装置的非类表面触摸信号的传感信号转换为类表面触摸信号的一组信号来帮助所述输入装置控制在所述受控装置上的所述至少一个应用，此组信号包括与来自所述触屏装置的类触摸屏信号实质类似的一些信号，

所述输入装置用于在空中创建一个虚拟2D输入区域，所述输入区域与所述输入装置用于控制所述受控装置的行为，

在所述虚拟2D输入区域上的触摸的跟踪位置被投影到一个2D格栅上，从而得到一个包括所述传感信号的组合信号，其中所述组合信号作为类触屏信号转换并呈现到所述受控装置，其中所述类触屏信号能控制在所述受控装置上的至少一个应用。

2.根据权利要求1所述的系统，其中所述输入装置为用于与视频游戏交互的手持运动控制器，所述输入装置包括至少一个惯性传感器、磁力计、触摸板、一组按钮、扳机、扬声器和/或操作杆。

3.根据权利要求1所述的系统，其中所述处理单元设置于所述受控装置中，并且所述传感信号由所述受控装置远程接收。

4.根据权利要求1所述的系统，其中所述受控装置包括至少分离的第一装置和第二装置，第一个装置包括一个显示器和第一个处理单元，第二个装置包括至少一个第二个处理单元，响应于用户与所述输入装置的互动，图形元素以一种方式在第一个装置和第二个装置之间转移。

5.根据权利要求4所述的系统，其中所述输入装置为一个运动传感控制器，第一个装置和第二个装置的位置由指向它们并且记录它们的角度坐标的所述运动传感控制器登记。

6.根据权利要求1所述的系统，其中所述触屏装置为平板电脑、智能手机和拥有一个触摸屏输入元件的电子装置中的一种；所述受控装置为电视机、显示器、图像投影系统和具有一个显示器的计算机装置中的一种；所述输入装置包括一个分离于所述受控装置的触屏装置，所述传感信号通过无线方式发射给所述受控装置，所述传感信号包括来自所述输入装置的触屏输入。

7.根据权利要求6所述的系统，其中在将所述传感信号转换成一组信号用于控制所述受控装置前，先将所述传感信号转换成基于运动的姿势，响应于来自所述输入装置的类表面触摸信号，允许运行于所述受控装置上的至少一个应用的基于姿势的控制。

8.一种用于受控装置的基于运动的控制的方法，该方法包括：

产生来自输入装置的控制信号，所述控制信号包括来自响应于人体运动的多个传感器的传感信号；

使受控装置接收所述控制信号，所述受控装置包括至少一个应用，该至少一个应用预先设置成直接响应于来自触屏装置的类表面触摸信号；

将来自所述输入装置的非类表面触摸信号的控制信号转换成类表面触摸信号的一组信号，此组信号包括与来自所述触屏装置的类表面触摸信号实质类似的一些信号；以及

使得所述受控装置响应于所述控制信号，

9.根据权利要求8所述的方法，其中所述输入装置为手持运动控制器，所述手持运动控制器包括至少一个惯性传感器、磁力计、触摸板、一组按钮、扳机、扬声器和/或操作杆。