CN102902352B - 运动控制作为控制装置 - Google Patents

运动控制作为控制装置 Download PDF

Info

Publication number
CN102902352B
CN102902352B CN201210208284.4A CN201210208284A CN102902352B CN 102902352 B CN102902352 B CN 102902352B CN 201210208284 A CN201210208284 A CN 201210208284A CN 102902352 B CN102902352 B CN 102902352B
Authority
CN
China
Prior art keywords
signal
touch
group
controlled device
controlled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210208284.4A
Other languages
English (en)
Other versions
CN102902352A (zh
Inventor
查尔斯·穆席克·吉尔
罗伯特·凯
斯图尔特·雷诺兹
达纳·威尔金森
阿努帕姆·查克热沃提
威廉·罗伯特·帕沃斯
颜维群
竺幼定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AILive Inc
Original Assignee
AILive Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/249,251 external-priority patent/US9007299B2/en
Application filed by AILive Inc filed Critical AILive Inc
Publication of CN102902352A publication Critical patent/CN102902352A/zh
Application granted granted Critical
Publication of CN102902352B publication Critical patent/CN102902352B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种将运动传感装置用作控制器的技术。运动控制器作为输入/控制装置被用于控制现有电子装置(也称为受控装置),该电子装置事先配置成从一预定的控制装置获得输入。输入装置的信号与预定的控制装置的信号具有不同的格式。根据本发明的一个方面,受控装置被设计成响应预定的控制装置的信号(例如,触屏装置)。运动控制器的输入转换成类触屏信号,该信号而后被发送至受控装置或者被受控装置执行的程序引起受控装置的行为的改变或者响应,而不需要重设置受控装置上运行的应用。

Description

运动控制作为控制装置
【技术领域】
本发明涉及电子装置的人机接口领域,尤其在以下方面:
1)涉及源于运动传感器、操作杆、按钮和摄像头的信号的转换来替代或修改来自触屏装置的信号;
2)涉及提供一种用户输入到一个装置的替代技术,所述装置最初被提供或设计成接收来自另一装置的输入;以及
3)涉及基于上下文标示符为存在装置以及运行于所述装置上的应用或模块进行的替代输入信号到一组传统信号和指令的转换的配置、重新配置和动态选择。
【背景技术】
在人机交互的工业设计里,用户界面是人类与机器互动的一个场所。人机交互的目标是制造出一种用户界面,它可以简单、高效以及舒适的操作机器来实现理想结果。这通常意味着一个操作员需要进行最少量的操作就可以获得理想输出,并且机器为人类最小化非理想输出。在创建实用性用户界面时适用的设计思路涉及或者包含如工程学和心理学等的学科。
触摸屏是至今设计的最成功的人机界面之一,在电子产品上最常见。它们广泛应用于电脑、平板电脑和智能手机。触摸屏是一种电子视觉显示器,它可以在显示区域内检测接触点的存在和位置。这个术语通常是指用手指或手臂在一个装置的显示器上触摸。触摸屏装置同样也能感应其他无源物体,比如触针。
在一些应用里,希望通过手持式运动传感控制器的使用来控制触摸屏装置,所述手持式运动传感控制器包括传感器的组合和发射器,所述传感器包括加速器、陀螺仪、电子罗盘或者磁力、按钮、操作杆和麦克风,所述发射器包括发光二极管和无线通信装置。
希望将触摸屏受控装置连接到大屏幕电视机上,当该触摸屏受控装置的图形输出显示在所述电视机的大屏幕上时,从舒适的沙发上就可以控制该受控装置的部分或全部功能。这样的话,与所述受控装置的理想交互方式不是所述受控装置的触摸屏,而是替代输入装置(非触摸屏)。然而,运行于所述受控装置上的模块(例如,软件组件)通常需要接收类表面触摸信号(或通常从类表面触摸信号获取而来的信号)来控制其功能。
【发明内容】
本章节总结了现有公开的一些方面,并简单的介绍一些优选实施例。本章节的简化或者省略和在摘要或者标题中的说明一样可能会避开隐藏本章节、摘要和标题的目的。这些简化或者省略并非想要限定现有公开的范围。
总体而言,本发明描述了使用运动传感装置(也称为控制器、运动控制器或运动传感控制器)作为输入装置或控制装置来控制现有电子装置(也称为受控装置)的技术,该现有电子装置事先配置成从一预定控制装置来获得输入。来自所述输入装置的信号与来自所述预定控制装置的信号具有不同的格式。
根据本发明的一个方面,所述受控装置被设计成响应来自触摸屏的信号或类触摸屏的信号。所述运动控制器的示例包括但不限于可被连接至大屏显示器上的智能手机和平板电脑。所述运动控制器的输入被转换成类触屏信号,该类触屏信号而后被发送至所述受控装置或者运行于所述受控装置上的应用或程序,从而引起所述受控装置的行为的改变或者响应,而不需要重新设置所述受控装置上运行的应用或程序。
根据本发明的另一方面,所述运动控制器内包括有多个惯性传感器,来自所述运动控制器的信号包括传感信号,所述传感信号中的部分或全部由所述运动控制器中的惯性传感器产生。这些信号被转换成一组控制信号以对所述受控装置进行控制,所述控制信号包括实质上类似于来自触摸屏装置的信号的一些信号。基于具体实现,所述控制信号可以包括所述运动控制器相对于所述受控装置的平移或角位置,以及一系列用户与所述运动控制器的交互。在一种情况下,所述控制信号还可以包括来自其它运动控制器的输出信号(其它运动控制器被同一个用户或者另一个不同的用户使用)。
本发明可以被实现为一种方法、一种装置中的部分或预定装置上运行的软件模组。根据一个实施例,本发明实现为一种用于受控装置的基于运动的控制的系统,所述系统包括:包含多个传感器的运动传感装置,所述传感器响应于所述运动传感装置的运动而产生传感信号,所述传感信号足够在六个自由度估算所述运动传感装置的位置和方向;至少一个应用,预先设置成响应于来自触屏装置的触屏输入信号;一个处理单元,设置成通过将来自所述运动传感装置的第一组信号转换为部分第二组信号来帮助所述运动传感装置控制在受控装置上的所述至少一个应用,第二组信号包括一些与来自所述触屏装置的触屏输入信号实质类似的信号,其中第一组信号包括所述传感信号。
根据另一个实施例,本发明实现为一种用于受控装置的基于运动的控制的方法,其包括:接收在运动传感装置上的多个传感器的第一组传感信号,所述传感信号足够在六个自由度估算所述运动传感装置的位置和方向;接收第二传感器的第二组传感信号,第二传感器提供一个固定参考系;根据第一组信号和第二组信号确定所述运动传感装置相对于所述固定参考系的指向位置;从转换中产生一组控制信号用来控制受控装置,其中所述转换被设置成将至少部分控制信号转换得与来自预定装置的输入信号实质类似,所述预定装置用来控制所述受控装置。
本发明的目标、优势和好处之一是可以使一个替代装置(例如运动控制器)控制一个受控装置,该受控装置最初被设计成和预定装置(例如触摸屏装置)一起工作。
本公开的其他目标,优点和优势通过接下来的优选实施例结合附图的具体说明将变得更加明显。
【附图说明】
结合接下来的说明、所附权利要求、参考附图,本发明的这些和其他特征、方面和优点将更容易理解。
图1示出根据本发明的一个实施例的一种配置的各种组件,在该配置中示出了一个运动控制器、一个显示器和一个或多个表面触摸装置。
图2示出两个表面触摸输入装置的例子。
图3示出本发明的一种不同的组件连接方法的备选实施例。
图4示出本发明的另一种不同的组件连接方法的备选实施例。
图5仍然示出本发明的另一种组件子集的备选实施例。
图6为流程图来说明本发明的信号流程;以及
图7示出一个激发范例来说明为什么同样的输入信号可能需要基于上下文进行转换。
图8示出了一种功能性结构。
图9示出了一种控制装置(比如,运动传感装置)如何与受控装置相互作用的流程或者方法。
图10示出了一种示范性的投影图。
【具体实施方式】
本发明的具体说明陈述了很多在以下方面:过程、步骤、逻辑模块、流程以及其他直接或间接类似数据流程装置运算的符号表示。所属领域的技术人员使用此处的这些进程说明和表示向所属领域的其他技术人员有效的介绍他们的工作实质。大量具体细节被阐述以此来提供对本发明的透彻理解。然而,对于所属领域的技术人员在没有这些具体细节时也可以很容易地实施本发明。在其他情况下,熟知的方法,过程,组件以及电路图没有被具体描述,以避开本发明的不必要的非重点方面。
此处所称的“一个实施例”或“实施例”是指针对实施例所描述的可包含于本发明至少一个实现例中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。此外,表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序,也不构成对本发明的限制。
在接下来的说明中很多地方以运动传感器为参考。此处的运动传感器包括但并不仅限于加速器、陀螺仪和电子罗盘(磁力仪)、或者多个运动传感器的组合。
一个(用户)输入装置作为控制装置,它允许用户交互式的控制另一个装置的功能。一些控制装置的普通例子包括:鼠标、键盘、操作杆、触摸感应表面、运动控制器(比如WiiRemoteTM运动控制器,PlayStation控制器和空中鼠标)以及电视遥控器。无源传感器,比如摄像机和麦克风,也是所述用户输入装置的例子。
作为用户活动的结果,信号从所述用户输入装置发送到一个受控装置从而引起所述受控装置行为的转变。有许多受控装置的例子,常见的包括:视频游戏系统、电视机、数码录像机(DVRs)、DVD播放器、磁带式录像机、个人电脑、手提电脑、平板电脑、家庭音响系统、蜂窝电话、智能手机、个人音乐播放器、图形显示器和图形投影系统。一般来说,这些受控装置上运行模块(比如软件组件),该运行于所述受控装置上的模块接收所述输入装置的信号,或间接处理或转换来自所述输入装置的信号。这些软件组件包括:应用、游戏、操作系统、驱动、固件、内核、用户界面(APIs)等等。这些软件组件被配置成倾听并响应特定类型的信号。大体上,这些信号可能被归类成以下几种:
1)一类输入装置的代表,例如:
a.源于类鼠标装置(例如电脑鼠标)的类鼠标信号(mouse-likesignals);
b.源于“类键盘”装置(例如远端键盘或者屏幕键盘)的“类键盘”信号(keyboard-likesignals);以及
c.源于“类表面触摸”装置(例如触摸平板电脑)的“类表面触摸”信号(touch-surface-likesignals)。
更广泛的,这些装置以类型归类并且被设计成倾听并响应特定类型的信号。这样的话,一个装置,例如轨迹球,通过执行通信协议(例如USBS1.1)被用来代替鼠标,通过该通信协议可以表示出这个装置是“类鼠标”并且随后提供“类鼠标”的按键按压和位置信号的改变。
2)高级信号,或表示特定类型的控制请求或者控制事件的信号的代表,例如:
a.“下一张幻灯片[请求]”;
b.“往上滚动[请求]”;
c.“放大[请求]”。
作为用户活动的结果,信号从所述用户输入装置发送到一个受控装置从而引起所述受控装置行为的转变。一般来说,这些抽象信号作为一种方便的工具提供给应用程序员,这样他们就不需要考虑过多的各种各样的可能性的输入装置。这样的话,通过执行软件组件(例如“驱动”),将提供新类别的(先验未知)输入信号的新替代输入装置(alternativeinputdevices)的信号映射至所述软件组件期望的“倾听”信号。以这种方式,操作系统制造商或者API开发商会制定规则来写入和安装软件组件,这些软件组件的输出从可想到的源接收到的信号,并且随后使用这些信号控制现有的应用。
然而,这些现有模式并没有以一种令人满意的方式解决我们的问题。应用经常被写成倾听一种特定类型(比如类表面触摸)的信号。比如安卓操作系统,有许多的应用为它而开发。现在,大多数安卓装置使用触摸屏作为用户输入的主要模式,并且安卓装置上的应用和其他软件组件经常被明确的写成“倾听”类表面触摸信号。
如果有人希望使用一种新的非类表面触摸输入装置,例如运动传感装置或控制器,控制所述受控装置的所有表面触摸功能,那么有一些实际问题必须解决:许多软件组件被写成“倾听”和响应特定的类表面触摸信号。类似的,软件组件可能被写成“倾听”高级信号,例如“放大”或者“往下滚动”信号,这些信号间接的由另外的软件组件产生(例如操作系统、驱动、APIs等等),这些另外的软件组件期望或者倾听类表面触摸信号。可接受的和期望的类型的输入可以通过各种手段进入存在软件组件中,所述手段包括:a、自己的设计;b、通过编译器的使用;或,通过依靠一个或者多个另外的软件组件(例如驱动、操作系统、APIs)。
这些输入装置可能不是“类表面触摸”装置或者不能容易提供类“表面触摸”信号。特别地,根据一个实施例,输入装置中没有一个传感器直接或者明显地提供类表面触摸信号。它们替代类表面触摸输入装置的应用和使用不是那么容易的执行或者想到。
本发明的一方面涉及来自所述输入装置的传感信号到类表面触摸信号的转换。类表面触摸信号包含表示在一个2D(2维)表面上的2D坐标的信息。在一个实施例中,发明人利用输入装置直接指向展示在图形显示器上的项目或条目并且估计指向位置(即所述输入装置的主轴和所述图形显示器的交叉点)。这种指向位置的估算可以被称为“Drift-free”(无漂移)“down-the-barrel”(管瞄准)指向。Drift-freedown-the-barrel指向信号是一种“类表面触摸”信号的合适源,因为用户可以直接将手持装置的位置和方向与显示器的方向和位置关联起来,而不需要图形反馈(例如图形鼠标指针、十字光标或者光标)。
本发明的一些目标、优势和好处包括:
a,对于类鼠标装置,由于鼠标装置提供在2D平面上的线速度的测量但是不能提供在2D平面的绝对位置,因此鼠标不能提供"downthebarrel"指向信号。另外,鼠标提供由倾听“类鼠标信号”的应用所接收的“类鼠标信号”。这种“类鼠标信号”源可能不会被倾听类表面触摸信号的软件直接使用。此外,用户没有办法在不使用图形反馈(例如鼠标指针)的情况下将鼠标的物理位置和在所述图形显示器上的位置可靠的关联起来。
b,对于图形反馈的需求,类鼠标装置(提供鼠标信号源的装置)为2D值的单数据流源,而多点触摸表面可以产生2D值的多个数据流。本发明的一方面,使用本发明所考虑的控制装置来提供类多点触摸信号。
c,对于空中鼠标,其通过整合来自陀螺仪的一段时间后的角度方向信号来确定在一个平面上的一个点以获得角位置的相对测量。此测量随后转换成在一个2D平面上的一个点。这种方法的弊端有:i.仅相对于一些开始的方向测量被计算的方向信号;ii.通过被观测的相对测量的整合得到绝对测量,这会随着时间增加误差(称为推算误差)。
在初始化校准步骤后,当所述输入装置指向图形显示器时,所述输入装置的方向的测量最初有可能提供down-the-barrel指向。然而经过一段时间后,由于以上弊端,推算误差(或者漂移)的累加或者装置传感器的其他限制(例如溢出、比例误差、非线性或者偏移误差)意味着此输入装置的计算后的方向最后会和实际的方向不匹配。这些弊端使得陀螺仪空中鼠标装置不适合作为不需要图形反馈的希望进行"driftfree""down-the-barrel"指向的应用。在一个实施例中,输入装置通过相对固定参考系进行不断的校准来克服所述限制。在一个实施例中,所述固定参考系是一个电子罗盘。在另一个实施例中,所述固定参考为外部摄像头。此外,当一个运动传感装置已经被设想成可以提供类鼠标信号,则此装置事先不被设想成可以提供在性质上不同于类鼠标信号(例如2D速度)的可用类表面触摸信号(与其它属性比较,其可以表示在2D平面上的绝对位置)。类表面触摸信号拥有不同于类鼠标信号的另外的特性。这些特性拥有区分沿一组点追踪轨迹和按顺序单独触摸这些点的能力,以及在一些装置上同时触摸多点的能力(也称为多点触摸)。
d,对于WiiRemote运动传感控制器,其可以实现了downthebarrel指向的不稳定形式。然而,为了做到这一点,这种装置包含探测在图形显示器附近的红外线LED(LightEmittingdiode)的位置的红外线感应摄像头。像在这里描述的一样,本发明的一个实施例不要求该手持装置中使用摄像头或者在显示器上设置LED。
e,对于PlayStationMove(TM)运动传感控制器:i.该装置采用了外部固定的摄像头和一个控制器尾部的大型内部彩色灯球以对该装置进行定位;ii.该装置提供类运动控制器信号给软件组件(例如电子游戏),该软件组件对类运动控制器信号而非类表面触摸信号进行倾听和响应。该装置还没有给主要倾听“类表面触摸”信号的软件组件提供“类表面触摸”信号的已知的使用。
f,包含操作杆和按钮的外置游戏控制器的例子,例如Zeemote(TM),已经习惯于控制在触摸屏装置上运行的软件组件。然而,来自游戏控制器的信号并不用来代替触摸屏信号,而是提供类操作杆、类游戏控制器或者类方向盘信号,并且仅对明确倾听这些类型的信号的软件组件的子集有效。相反,本发明的一方面可以提供一个表面触摸信号的替代源,其被用来控制倾听类表面触摸信号的软件组件的所有功能。
本发明的另一方面涉及操作杆和按钮信号的转换来替换触摸表面。一个触摸表面覆盖整个图形显示器。触摸位置作为已接触位置相对于图形显示画面的联合是非常重要的。对于替代输入装置,可能缺少给用户的图像反馈,该图像反馈可以表明在图形显示器上的什么地方一个动作将要发生或已经发生,在所述装置的操作系统或应用中也没有规定去接收来自替代输入装置的信号,并将它们图形化展示。
本发明的另一个方面是替代输入装置的指向位置在显示器上的图像显示。这个方面有以下不同:a,类鼠标信号的光标图形显示(类鼠标信号源而非类表面触摸信号的可视化);b,触摸感应表面的接触位置的图形显示(来自实际的触摸感应表面而不是替代输入装置的类表面触摸信号的可视化);c,其他运动控制器、操作杆或者按钮信号的图形显示(这些信号并非用来转换以替代类表面触摸信号)。
在不知道哪个转换应该应用在哪个环境或上下文(context)的情况下,也许没有来自新输入装置的信号的单独转换,所述新输入装置适合作为多个环境或上下文(例如家庭屏幕、显示屏的设置、游戏、操作系统功能等等)的输入。对于一个软件组件,可以使用一个操作杆产生一个类触摸信号去模拟在特定位置的表面触摸,从而模拟按下屏幕上的图形按钮。对于另一个软件组件,所述操作杆信号可以被转换以产生一系列的类表面触摸信号以引起一个屏幕上的列表的滚动,该系列的类表面触摸信号可以模拟触摸表面上的向上滑动的信号。在这两种情况下,一种情况下的信号根据另一种上下文进行发送可能产生非预期的影响。
本发明的另一个方面为来自所述替代输入装置的信号的转换的选择有可能以上下文标示符(contextualidentifier)为基础动态的确定。比如,用户界面API可能接收一个类表面触摸信号并且将其转换成更高级的信号。一种涉及这种转换的规则可以为:“如果加载了图形界面配置X,其指定在显示器的位置Y处放置有一个图形按钮,并且接收到一个在按钮范围内的表面触摸信号,此时发送“按钮已按下”的信号给应用。”
上段所提到的“X和Y”就是一种上下文,其中在上下文中将应用表面触摸信号至不同类型信号的转换。这在以下方面不同于本发明:1,这种转换是将一个信号(非类表面触摸)或者一个替代输入装置信号转换成类表面触摸信号;2,此例中的转换的选择不是动态的,而是固定为应用X(例如由应用X的作者发布、编译、提供或者设计进应用)。
更广泛的说,本发明的这一方面不同于从一种类型到另一种类型的信号转换的相关技术,具体有:1,被转换的信号不是类表面触摸信号并且特定的来自于替代输入装置,而不是类表面触摸信号源;2,部分上下文识别(隐含或者明确)替代输入装置的存在;3,已转换信号被用于替代触摸表面的信号,接着提供给配置成倾听类表面触摸信号的软件组件;4,所述受控软件组件不需要按现有规定进行配置。
本发明还有另一方面为信号转换有可能基于上下文进行选择并且根据或者不根据现有规定(例如由应用、用户界面API或者操作系统制定的)应用。也就是说,对于一个软件组件不需要设计或者重设计以允许输入转换的动态配置。这种属性允许本发明的一个实施例可以通用在所有的应用中而不需要针对任何应用进行修改。这个不同于现有技术,现有技术不能进行动态重配置。
一般而言,本发明描述了对于现有电子装置使用运动控制器作为输入装置的技术,受控装置预配置成可以获取不同格式的输入。输入装置的信号的格式与控制装置的信号的不同。根据本发明的一方面,受控装置被设计成响应触摸屏信号或者类触摸屏信号。运动控制器的输入被转成类触摸屏信号,随后发送给受控装置或者正在受控装置中运行的程序从而引起受控装置的行为变换或者响应。
现在请参考附图,图1示出根据本发明一个实施例的范例配置100。在此实施例中,主要的组件包括一个控制装置101和一个受控装置102。所述控制装置101提供信号,所述信号来自依附于所述控制装置的运动传感器以及按钮传感器、操作杆传感器,LED和麦克风输入的任意组合。这些信号被解释以控制所述受控装置102,该受控装置102可以由多个元件构成,所述元件包括一个大型显示器103和一个表面触摸输入装置104。控制装置的一个示例可以是一个专用控制器、智能手机或者其他手持电脑装置(例如,iPhone)。受控装置的一个示例可以是一部电视机、游戏控制台或用于控制应用的电脑装置(例如智能手机或者连接到电视机的平板电脑)。
在一个实施例中,所述控制装置101包含运动传感器(未示出)和零个、一个或多个的LED,它们装在控制装置101的被用户109手持的本体上,这里显示用户109在他或者她的房间里舒服的坐在沙发110上。为了这个目的,在一个实施例中,所述控制装置101还包含一个通信装置和一个自带电源。所述通信装置在一个实施例中为蓝牙无线电装置,但是它在可选实施例中也可以用红外线通信装或者任何其它形式的无线通信装置替代。在一个实施例中,可充电电池作为所述电源。
在另一个实施例中,所述控制装置101的运动信号可以被由外部的不附属于所述控制装置101的摄像头以及在控制装置101上的一个或多个LED或者其他点光源一起提供的信号替代或者补充。
当在描述各种各样的实施例时,所述控制装置101也可以被称为运动控制器、控制器或运动传感装置,名称可以互换。在一个实施例中,所述受控装置102为一个电子装置,其被配置去执行一些模块(例如软件组件),所述模块与至少一个触摸传感输入装置(例如触摸屏)或类表面触摸输入装置信号进行通信或者被其控制。如图2所示的两个例子:拥有触摸屏的智能手机201和平板电脑202。类表面触摸信号为至少描述触摸位置或2D平面的触摸点或者区域的信号。
受控装置102可以被按钮传感器、键盘或者袖珍键盘输入、操作杆传感器、摄像头或者视频输入、麦克风输入或者运动传感器的任意组合控制。在一个实施例中,所述受控装置102包含一个大型显示器(在不同的实施例中也可称之为显示装置)103和至少一个通过一条线缆105直接附属于所述显示器103的表面触摸输入装置104,所述大型显示器103可以为电视机、电脑屏幕或者投影显示装置,所述电缆105可以为HDMI线。在如图3所示的另一个实施例300中,所述受控装置302包含一个表面触摸装置304,其放在一个对接站上以和显示器303连接并且通过线路连接到显示器303的处理器。
在如图4所示的另一个可选实施例400中,所述受控装置402包括一个表面触摸装置404,其通过物理上附属于或者合并在显示器里的一个接收/发射器405与显示器403进行无线通信。
在图2,3和4所示出的每一个实施例中,视频信号都是由触摸屏装置发送到显示装置。在图5所示的另一个实施例500中,所述受控装置502只包括显示装置503,所述受控装置502没有触摸屏但是仍然运行由类表面触摸信号控制的应用。在这种情况下,所述控制装置通过转换它的非类触摸屏信号为能够控制这些应用的触摸屏信号以对这些应用进行控制。
图6通过本发明的一个实施例证明如何控制流程以使能使得使用控制装置601进行的控制。所述受控装置包括一个或多个有能力运行程序或者软件模块的处理单元604。所述处理单元设置于所述显示装置或所述触摸屏输入装置中,或者两者皆有。在一个优选实施例中,所述处理单元位于所述触摸屏输入装置中。在另一个实施例中,所述显示装置为包括所述处理单元和所述受控软件组件的电视机。
如图6所示,来自所述控制装置601的信号用于控制运行在受控装置上的软件组件605。这些软件组件被配置成倾听特定类型或者可辨认类别的信号,例如:
-类触摸屏信号(touchscreenlikesignals);
-类按钮信号(button-likesignals);
-类操作杆信号(joystick-likesignals);
-类文本信号(例如用于填入在一块图形文本输入区域的一串字节;或者一系列控制信号,例如来自于键盘或其他类似的文本输入装置);
-表示事件的信号,例如“Home键已按下”;
-表示请求的信号,例如“往下滚动请求”。
在每种情况下,信号源有可能是未知的,但是在所述受控装置里运行的软件组件被配置成倾听特定类型或者可辨认类型的信号,或者被特定类型或者可辨认类型的信号控制。如在此使用的,“类X”信号被当成所述软件组件接收的信号,该信号引起正在运行所述软件组件的装置的行为变化,就好像此装置受控于所述输入装置X,但是不一定非得来自于所述输入装置X。
本发明的一个方面允许一个或多个软件组件被特定类型或者可辨认类型的信号控制:
在指明类型的物理装置缺失时;和/或,
除了指明类别的物理装置外;和/或,
作为指明类别的物理装置的可替代机制。
举个例子,在本发明的一个实施例中,本发明允许在受控装置上运行的多个软件组件的远程控制,其中触摸屏为受控装置的主要输入源,并且软件组件由触摸屏或者类表面触摸信号控制。
所述控制装置通过转换它的非类触摸屏的信号607为能够控制这些软件组件的类触摸表面信号608对这些软件组件进行控制。在一个优选实施例中,这种转换由软件模块606执行,其也可以被称为输入转换器,其在触摸屏输入装置的处理单元上运行。
在另一个实施例中,所述输入转换器606可以提供另外的信号转换。一个特定转换涉及将直接或者间接来自控制装置601的输入信号(在一些实施例中,包括部分来自于外部摄像头的信号,但是仍然需要来自所述受控装置的信号)转换成能够控制运行在所述受控装置上的软件组件和应用的各种类型的输出信号。
基于具体实现,各种各样的转换对于从控制装置获得的各类型的输入信号和被受控装置的软件组件响应的各类型的信号是可能的和适当的。转换的示例包括有:
-将来自控制装置的操作杆信号转换成“上一页(PageUp)”信号;
-将来自控制装置的麦克风信号转换成文本输入信号;
-将来自控制装置的惯性信号转换成类惯性信号,此转换发生在执行一个可选的轮换以模拟输入装置和目标装置之间的惯性传感器的轴线的重新映射之后(如果有目标装置的话,有可能替代受控装置惯性的输入);
-将控制装置的运动信号转换成类表面触摸信号;
-将控制装置的运动信号转换成类按钮信号;
-将控制装置的运动信号转换成类操作杆信号;
-将控制装置的操作杆信号转换成类操作杆信号;
-将控制装置的操作杆信号转换成类表面触摸信号;
-类表面触摸信号模拟屏幕上的方向控制器的触摸,例如图7所示的704;
-不同操作杆方向导致不同表面触摸位置的模拟;
-类表面触摸信号是一系列模拟触摸表面滑动的触摸信号;
-将控制装置的操作杆信号转换成图形目标或列表滚动请求的软件信号;
-将控制装置的麦克风输入转换成类表面信号(例如“向下”(说)转换成模拟触摸表面的向下滑);
-将控制装置的麦克风输入转换成类按钮信号(例如,“Home”(说)转换成Home键已按下信号);
-将控制装置的操作杆和按钮信号一起转换成类表面触摸信号;
-将控制装置的运动信号和按钮信号一起转换成类表面触摸信号;
-将控制装置的运动信号和按钮信号一起转换成类表面触摸信号和类按钮信号。
以上这些例子,从控制装置进来的信号被转换以替代或者修改受控装置的信号。这些转换并不妨碍其他物理装置对所述软件组件的控制,其他物理装置也许存在(例如610),而允许所述控制装置对所述软件组件的远程控制。通过探测表明用户希望使用类似的替代控制器的事件来使能所述远程控制。可能的事件的示例包括:
-通过电缆、对接或者无线电连接发现从控制装置到受控装置的连接事件;
-通过无线电或者其他无线通信信道发现受控装置;或
-通过连在受控装置上的摄像头发现用户。
在另一个实施例中,所述转换发生在控制装置里并且其输出信号直接发射到所述受控装置。在一个优选实施例中,所述受控装置为一个网络电视机,其可以从因特网源接收视频并播放,运行游戏,或者其它网络应用。在图1所示的优选实施例中,触摸传感输入装置104的屏幕画面由所述显示器103显示。用户109将所述运动控制器101瞄准屏幕从而为触摸屏装置指定对应的2D位置107。这些位置的选择对应于所述控制装置的"DowntheBarrel"指向106。
本发明的一个实施例是一种方法,其将在以上描述的情况下使用的运动控制器的传感信号转换成类表面触摸信号。所述图形显示器示出一个“指向位置”作为屏幕上的元素(例如光标)。通过将运动装置的运动信号转换成2D平面上的点,所述指向位置跟随所述运动装置的移动。
有许多方法可以将所述运动装置的运动信号转换成屏幕上存在的位置。在一个实施例中,发明人可以使用如申请号为12/835,750的美国专利申请中所描述射线投射法(ray-castingmethod),该美国专利申请在这里被作为参考。为了正确地获得"DowntheBarrel"指向,两种主要信息是必须的。首先,需要获得所述运动控制器在世界坐标系里的一个精确的绝对方向,这个世界坐标系的定义与地球重力场和磁北的方向有关。其次,定义从所述运动控制器的参考系到所述显示屏的映射。此映射包含所述显示器相对于所述运动控制器的位置以及所述显示器相对于世界坐标系的相对旋转。第二组信息可以在初始化安装校准阶段获取。这种做法的一种方法在申请号为12/835,750的美国专利申请中有所描述,在该美国专利申请中用户通过所述运动控制器指向显示屏上的多点位置以建立映射。
在一个实施例中,所述控制装置产生传感信号,这些传感信号对应于至少三个互相垂直的加速计读数,三个互相垂直的陀螺计读数和一个拥有垂直于地球重力方向的至少一个测量值的罗盘读数。当所述运动控制器在非工作状态时,通过使用加速计来测量所述重力方向,所述运动控制器的方向的三个分量(components)中的两个可以被计算出来,如专利号为7,953.246的美国专利所描述的一样,该美国专利在此被作为参考。第三个分量是环绕重力方向的旋转,其可以直接被罗盘测量。我们容易理解这些方向的直接测量值并不总是有效的,所以陀螺仪感应器提供绕三轴中任意一个的随时间的精确角速度测量值。这些速度值将被整合用来计算重力与所述罗盘的估算之间的随时间变化的方位变化。陀螺仪读数的累积整合将会随着时间来累积误差,这被称为漂移。为了保持一个方向的精确的"DowntheBarrel"估算,必须定期将所述方向朝向从重力和罗盘获得的直接估算值调整。实际上,重力和罗盘读数相比于陀螺仪读数趋向更低的精确性和更多的噪声,这导致他们的方向估算的精确性较差,但是他们不会受到随着时间的误差累积或者漂移的影响。为了得到最佳的方向估算,必须混合这两种数据。一个简单的混合方法就是将整合方向朝着重力和罗盘估算的方向稍微移动以平滑所述整合方向的校正。实践者可用的复杂的方法包括卡尔曼滤波器和其他已知的用来滤波以及合并噪声信号的方法。
可选择的,如果所述控制装置设置有一个三轴罗盘,可以根据此罗盘计算出方向的所有三个分量。在另一个实施例中,一个带有至少三个正交读数的罗盘可代替所述陀螺仪。对于足够精确的罗盘,其读数可以用来作为世界坐标系中运动控制器的方向的直接估计。方向中的误差可以通过平滑多个输出读数来降低,以此来防止当用户试图指向时体验到晃动的光标。
在另一个实施例中,通过使用与所述显示器具有明确相对关系的外置摄像头和可被所述摄像头看到的控制器上的光源,显示器相对于控制器的方向和相对位置能被共同获得并随时间更新,如申请号为13/105,863的美国专利申请所描述的那样,该美国专利申请在这里被作为参考。
考虑到所述控制器的方向和相对位置,射线投射提供简单操作以在所述控制器产生的光束线与显示器寻找交叉点。在一个实施例中,当只有更多限制的传感器有效时,相对指向被用于替代“down-the-barrel”指向。在一个实施例中,所述运动控制器的陀螺仪读数被直接映射为屏幕上光标位置的相对变化,以此来产生指向位置,这样就不需要加速器、罗盘传感器、LED或者外置摄像头。
下面我们描述如何将那些2D交叉点、指向位置与其它控制装置的信号(例如运动信号)合并,以此产生类表面触摸信号。
下面描述的操作模式的细节将倾向于说明性而不是限制在其应用中。当描述按住一个按钮时,可能用类似的方法取而代之,例如压下触发器或者覆盖触屏、光、或者电容传感器。当描述围绕轴线旋转时,如果被给定的输入装置的用户感觉到更舒服或者更自然,可以使用不同的轴线选择或者旋转方向。
不失一般性,让我们假定在运动装置上包括至少两个按钮,分别标记为按钮A和按钮B。单点触摸选择:当稳稳的握住所述运动装置时,按下和释放所述运动装置上的按钮A可产生模拟在触摸表面的指向位置的触摸和释放的信号。单点触摸拖曳:按下在所述运动装置上的按钮A,随后移动和/或旋转所述运动装置,最后释放按钮A以产生一系列信号,该系列信号先是模拟在指向位置的触摸按压(按压按钮A),然后通过计算指向位置的移动来模拟拖拽(移动或旋转运动装置),随后模拟触摸释放(释放按钮A)。
双触点拖曳:在所述运动装置上按下按钮B,随后移动和/或旋转所述运动装置,最终释放这个按钮B,这一系列的动作可以产生一系列双信号,其模拟在指向位置的具有固定位置的静止触摸(stationarytouch)(最初按压下按钮B),通过计算指向位置的移动来模拟拖曳(移动或旋转运动装置),随后模拟两个位置的触摸释放(释放按钮B)。这种功能允许使用者利用单个按钮模拟足够的多点触摸信号实现在表面触摸装置上的一些普通应用,例如在显示器上放大或缩小或者旋转一幅图画。
对于更复杂的多点触摸交互,将使用可选择模式,其要求用户使用两个按钮来模拟任意个同时指向位置和触摸。
多点触摸选择:在所述运动装置上按下按钮B,保存此时指向位置的坐标,再多次按下按钮B以保存多个指向位置,然后按下按钮A进行单点触摸选择,以产生对应每个已保存的指向位置和按下按钮A时的指向位置的多点触摸事件。
多点触摸拖曳:除单点触摸拖曳事件之外,上述所描述的多点触摸选择将同时产生两个或多个系列的信号:
1)在单点触摸拖曳情况下的模拟触摸信号;和
2)在按钮B被按下时每个已存储的指向位置的具有固定位置的第二组模
拟触摸信号。
多点触摸多点拖曳:如上所述的多点触摸拖曳,在按钮B被按住时,为所述指向位置存储时间序列数据。已存储的时间系列和按下按钮A时的当前指向位置相结合以同时产生两个或多个系列的信号:
1)在单点触摸拖曳情况下的模拟触摸信号;和
2)第二组模拟触摸信号,这组信号对应于按钮B被按下时已存储的指向位置的序列。
一个可选择的实施例使用多个控制器来同时产生多个指向位置,这些位置随后能够被合并用来直接产生多点触摸选择和拖曳信号。
在一个实施例中,当产生表面触摸信号时,在显示装置上的指向位置被映射回到所述表面触摸输入装置的相应位置。对于没有触屏装置的实施例来说,在显示装置上的2D指向位置直接被用来产生用于软件组件的类触摸信号。用户与程序交互的额外的转换和方法将被用于替代的实施例中,所述实施例包括:
当按钮按住和释放选择时的图像覆盖层(GraphicalOverlay):按下和按住按钮以引起各种各样的图像元素(按钮、列表、文本、盒子等等)的出现,这些元素由显示覆盖层软件组件609产生和显示。在释放按钮时,任何展示在指向位置的图像元素激活其自身功能,随后其图像覆盖层消失。
音量控制:按下并按住控制装置上的一个按钮从而进入音量调节模式。向右旋转控制器的末端(当从上往下看)使得音量增加。向左旋转控制器的末端(当从上往下看)使得音量增加。
左右移动:按下并按住控制装置上的一个按钮引起显示图形元素的位置的改变。运动控制器的末端的水平运动(例如,当从上看时,控制器的末端的左/右运动)引起图形元素的水平运动。
上下移动:按下并按住控制装置上的一个按钮促使显示图形元素的位置的改变。运动控制器的末端的垂直运动(例如,当从侧面看时,控制器的末端的上/下运动)引起图形元素的垂直运动。
姿势控制:如果用户做出一个可识别类型的运动,则其可能为软件事件或者请求(例如“按住HOME按钮”、“向上移动”、“保存改变”、“取消”的)产生一个相应的模拟信号,或其产生为所述软件组件预定义的类似可识别信号。
手势控制到触摸:如果用户做了一个可识别类型的运动,则可能产生一系列表面触摸信号,该表面触摸信号对应一系列预定义的指向位置。该系列指向位置可以通过应用来定义,也可以通过一组先前由用户产生的触摸信号来定义。例如,用户可以通过使用上述详细描述过的单点触摸或多点触摸方法中的一个指定一序列的指向位置,然后指定该序列应当与示例运动或者它们所提供的一组运动相似的运动相关联。
音频控制:如果用户作出一个可识别的音频信号以产生一个相应的模拟软件事件或者请求的信号,或者为所述软件组件预定义的类似可识别信号。模拟软件事件或者请求的信号例如可以为“按住HOME按钮”,“向上移动”,“保存改变”,“取消”等。
音频音量控制:使用用户输入的音频输入音量来控制所述受控装置的输出音量。例如,用户可以决定去匹配输入音量和输出音量的分贝水平。
音频到文本输入:来自所述控制装置的音频信号的转换可以提供或替代运行在所述受控装置上的软件组件的文本输入。在一个实施例中,该转换使用现有文本到语音应用程序接口(API),例如谷歌安卓文本到语音API。
运动到类键盘输入:来自控制装置的运动控制信号的转换可以提供或替代运行在受控装置上的软件组件的提供文本输入的触摸输入。在一个实施例中,将按钮和运动信号转换成类表面触摸信号,该类表面触摸信号模拟显示在屏幕键盘上的按键的选择。
运动到文本输入:在另一个实施例中,通过将指向位置穿过表示已选词汇的元素的屏幕符号,将按钮和运动信号转换成模拟词语描绘的类表面触摸信号。因此需要一种消歧方法。在一个优选实施例中,我们依靠现有软件组件,例如Swype。
本发明的另一方面包括基于配置文件(profile)的来自控制装置的信号到提供给的受控装置上的软件组件的信号的转换的动态选择,其中配置文件包括上下文和转换;上下文是一种可识别情况,在该情况下可以应用所述转换;转换已经在上文有所描述。
图7示出了一个激励范例来解释为什么需要转换的动态映射。考虑两种不同的情况,受控装置和控制装置701具有同样设置的,用户向上推送操纵杆产生同样的信号702。如果所述运行应用是游戏703,那么需要的映射可能是与在屏上虚拟游戏板的对应位置的单点触摸704相对应的一系列触摸信号,然而如果运行程序是一个地址簿705,所需要的输出可能是移动名字清单的垂直向上划动706。
配置文件进一步展示了在特定的上下文中转换的动态应用。也就是说,如果所述上下文应用,从所述控制装置提取所述传感信号,应用所述转换,然后给运行于所述受控装置的软件组件提供结果信号。
上下文的例子包括但不限于:
1、标识图像用户接口元素的状态(窗口、屏幕、盒子、按钮、滑块等等)。
配置文件例子:
如果当前滚动条元素被显示,那么将来自所述控制装置的操纵杆信号转换成引起上滚动或下滚动的表面触摸信号。
2、激活的软件程序。
配置文件例子:
如果照片长廊照片观赏者应用正在运行,那么将运动传感信号转换成引起放大或缩小的表面触摸信号。或,如果照片长廊照片观赏者应用正在运行,那么将运动传感信号转换成明确表示引起放大或缩小的高级触摸信号。
如果某个游戏正在运行,那么将来自所述控制装置的运动信号转换成受控装置的模拟运动信号。
3、对控制装置的检测。
配置文件例子:
如果控制装置被检测且其它任何条件,那么控制装置的将表示向前推送的操纵杆信号转换成模拟向上滑动的表面触摸信号。
4、对控制装置任何运动的检测;
配置文件例子:
如果检测到控制装置的运动,那么将A转换成B;
如果检测到控制装置的运动并且其它上下文也被检测到,那么将A转换成B;
如果用于文本输入的显示图像元素被选择,那么将控制装置的音频信号转换成文本输入;
如果控制装置被置于垂直方向中,那么将控制装置的音频信号转换成文本输入。
在一个实施例中,一个配置文件被实现为程序代码,该程序代码可以在受控装置或者控制装置上执行(可能在编译和链接步骤之后)。
在一个优选实施例中,配置文件被实现为计算机数据并且被容易地存储、复制、编辑、修改、存进数据库或者传输。在这这种情况下,配置文件的功能通过另外的可以加载配置文件的软件组件611执行。图8示出了一种功能性结构。
根据本发明的一个实施例,图9示出了一种控制装置(比如,运动传感装置)如何被用于与受控装置相互作用的流程或者方法900,在此控制装置的信号被映射成能被受控装置接受的信号。正如上述所描述的,根据一个配置文件执行所述映射或者转换。基于具体实现,方法900可以实现为软件或者软件与硬件的结合。
在902中,方法900检查控制装置(例如iPhone)是否有能力与受控装置(例如,智能电视)进行通信。该通信可以通过多种途径中的一种执行,例如WiFi、蓝牙或者红外线。其目的在于保证控制装置的信号可以被受控装置接收到。方法900可以在来自控制装置的信号被受控装置接收到的情况下进行。在904中,控制装置的用户四下移动所述控制装置。正如上述所描述的,控制装置包括一组传感器,其中至少有一些是产生运动信号的惯性传感器。在906中,控制装置被校准,例如当所述控制装置被指向受控装置的显示器时所述控制装置的方向的测量。因此,提供down-the-barrel指向才可能。
传感信号根据一种转换而被转换。基于具体实现,该转换可能通过不同的方式被实现,其中一些在上文已说明。转换的一种功能就是将传感信号(与动作信号一起)转换的与为受控装置设计的控制信号实质上相似。例如,受控装置设计成被触屏装置的控制信号控制或者接收触摸屏装置的输入信号。在一个实施例中,转换被设计成将一些或者所有传感信号转换成实质上与来自触屏装置的控制信号相似的信号。因此,控制装置可以用来控制所述受控装置。
为公平准确地指向显示器,控制装置在显示器的2D表面的绝对位置在910中被计算,该位置与参考系有关(例如,与显示器有关)。另一方面,控制装置可能也产生其它信号。典型地,在912中,控制装置能够连接用户以接收命令和输入。该控制装置可能也包含一个或多个按键或按钮来激活一个动作。因此,在914中,除控制装置的传感器的传感信号之外,可能还有同样来自控制装置的动作信号。与908相似,在916中,所述动作信号被转换的与受控装置可接受的动作信号实质上相似。在一个实施例中,视用户需要如何控制受控装置而定,传感信号和动作信号被同时发送给受控装置。与910中的指向位置一起,在918中,动作信号能够引起受控装置的一个行为的改变。
举例来说,用户需要滚动包含一些项目的菜单,该菜单被显示在受控装置上。因此有必要确定控制装置在显示器上的指向位置,以便确定哪个项目被指向。在控制装置上的一个动作(例如,一次点击)引起控制装置发出动作信号,该动作信号将被转换成一个受控装置可接受的动作。与确定位置一起,受控装置被设置成确定菜单上哪个项目将被选择以及被激活。
图10示出了一种示范性的投影图,该投影图为在3D空间的运动控制器1001的轨迹投影在2D平面1002上一组连续的点1003、1004、1005,这里所述2D平面为受控装置的显示屏。本发明的一个方面是有能力通过因特网下载配置文件到受控装置。本发明的另一方面是有能力加载配置文件到受控装置:
-在装置投放后;
-在检测一个上下文后(新配置文件被动态地下载来设置提供给新软件组件的输入转换)。
本发明的另一个方面是创建或设置配置文件的能力。可能的创建者包括受控装置的制造者、控制装置的制造者、操作系统的制造者和受控装置的用户。创建或设置配置文件的可能的方法包括软件的产生或者通过图像接口的使用。本发明的另一方面是用户分享自定义配置文件的能力。在优选的实施例中,该分享通过因特网连接到远程数据库。在另一个实施例中,用户从网站或者其他网络位置下载配置文件。在另一实施例中,用户直接地通过网络协议与其他用户分享配置文件。
本发明的一个方面是基于控制装置方向的用户输入方法的动态改变。例如,把控制赛跑比赛应用作为本发明的一个可能的使用。该赛跑比赛是一个通过任何动作信号和类触屏信号控制的受控装置软件组件,该动作信号导致交通工具的操纵和加速,该类触屏信号用来选择显示的图像元素。当控制装置指向图像显示器时,输入方法为指向接口允许通过控制装置的动作和按钮信号至类表面触摸信号的转换来选择屏幕上图形元素。当保持控制装置垂直于显示器时,输入方法被改变(动态选择一个新的转换),以至于所述控制装置的运动信号转换成运动信号。
本发明的另一方面是控制装置的信号的不同类型的转换可以是根据控制装置的方向来应用。
本发明的另一方面是控制装置的信号的不同类型的转换可以是根据控制装置的方向,该受控装置,另一外部装置,摄像头或显示器的位置来应用。
本发明的一方面为相对于控制装置指向显示器的左侧,控制装置指向显示器,控制装置或摄像头的右侧将执行不同的运动信号的转换。
本发明的一方面是控制装置的方向的使用作为上下文的信息以决定什么时候进行控制装置信号的不同转换。
本发明的以上说明针对于从控制装置到在运行于受控装置上的软件组件的信号转换。在显示给用户之前,对软件组件的输出信号进行额外的修正也可以的。一个任选的用来增加图像覆盖层的组件包含输入反馈信息,例如一个光标或额外的按钮,如图6所示的609。对于一些受控装置输出数据的另外的转换可用来提高用户使用新控制器的体验。图形数据的另外的转换的例子有增加另外的显示控制(例如按钮、滑块或菜单)到显示器的非使用区域。对于来自一个装置(例如肖像显示模式下的智能手机)的图形数据,有可能在显示器(例如一个电视屏幕或者显示器)上有大量的非使用区域,所述显示器可以用来提供留给用户的另外区域以生成表面触摸输出信号的指向点。另外,图形元素可以从触摸传感装置的输出移除,然后被放置于新的配置上(例如主显示器的边上),或者完全移除。对于具有在屏幕底部的虚拟游戏板的游戏应用,如果所述输入控制器有一个操作杆,那么可以不需要为用户显示虚拟操作板,这样可以给用户一个清晰的画面,同时仍然允许所述控制装置的操作杆输入信号被映射为相对于原始触摸表面装置控制位置的表面触摸信号。
本发明优先由软件实现,但是也可以由硬件或者硬件和软件的组合实现。本发明也可实现为在计算机可读媒介上的计算机可读编码。计算机可读媒介可以是任何数据存储装置,其可存储由计算机系统读取的数据。例如计算机可读媒介包含只读存储器、随机存取储存器、CD-ROMs、DVDs、磁带、光盘和载波。计算机可读媒介可通过联网计算机系统发布,这样计算机可读编码可以分布式方式存储和执行。
本发明已经在一定程度上被充分详细的描述。本领域技术人员可以理解,目前实施例所揭露的只是示例而已,凡在本发明的精神和原则之内,所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。因此,本发明的范围定义为其保护范围而不是以上实施例的说明。

Claims (15)

1.一种用于受控装置的基于运动的控制的系统,该系统包括:
一个包含多个传感器的运动传感装置,所述传感器响应于所述运动传感装置的运动而产生传感信号,所述传感信号足够在六个自由度估算所述运动传感装置的位置和方向;
至少一个应用,预先设置成响应于来自触屏装置的触屏输入信号;以及
一个处理单元,设置成通过将来自所述运动传感装置的非类表面触摸信号的第一组信号转换为类表面触摸信号的部分第二组信号来帮助所述运动传感装置控制在受控装置上的所述至少一个应用,第二组信号包括一些与来自所述触屏装置的触屏输入信号实质类似的信号,其中第一组信号包括所述传感信号。
2.根据权利要求1所述的系统,其中所述将来自所述运动传感装置的第一组信号转换为部分第二组信号包括:所述转换包括增加或替换来自所述触屏装置的至少一些触屏输入信号的操作。
3.根据权利要求2所述的系统,其中第二组信号用来控制所述受控装置的一种或多种功能,所述受控装置设置为被所述触屏装置控制,所述受控装置包括显示所述至少一个应用的显示器。
4.根据权利要求1所述的系统,其中第一组信号被所述触屏装置远程接收,所述受控装置的行为经由所述触屏装置被所述运动传感装置控制。
5.一种用于受控装置的基于运动的控制的方法,该方法包括:
响应于运动传感装置的运动在所述运动传感装置中产生一组传感信号,所述传感信号来自设置于所述运动传感装置内的多个传感器,所述传感信号足够在六个自由度估算所述运动传感装置的位置和方向;以及
将来自所述运动传感装置的非类表面触摸信号的第一组信号转换为类表面触摸信号的部分第二组信号以控制受控装置的至少一个应用,第二组信号包括一些与来自触屏装置的触屏输入信号实质类似的信号,其中所述第一组信号包括所述传感信号,所述受控装置被设计为响应于来自所述触屏装置的触屏输入信号。
6.根据权利要求5所述的方法,其中所述将来自所述运动传感装置的第一组信号转换为部分第二组信号包括:所述转换包括增加或替换来自所述触屏装置的至少一些触屏输入信号的操作。
7.根据权利要求6所述的方法,其中第二组信号用来控制所述受控装置的一种或者多种功能,所述受控装置设置为被所述触屏装置控制,所述受控装置包括显示所述至少一个应用的显示器。
8.根据权利要求5所述的方法,其中第一组信号被所述触屏装置远程接收,所述受控装置的行为经由所述触屏装置被所述运动传感装置控制。
9.根据权利要求5所述的方法,其中所述受控装置包括显示器和处理单元,第一组信号由所述受控装置远程接收以转换成第二组信号,所述显示器为电视机、投影图像系统和带有显示器的计算机装置中的一种。
10.根据权利要求5所述的方法,其中第二组信号包括用户与所述运动传感装置的多点触摸交互的一系列信号。
11.根据权利要求10所述的方法,其中所述触屏装置是平板电脑、智能手机和带有触屏输入元件的电子装置中的一种。
12.一种用于受控装置的基于运动的控制的方法,该方法包括:
接收在运动传感装置上的多个传感器的第一组传感信号,所述传感信号足够在六个自由度估算所述运动传感装置的位置和方向;
接收第二传感器的第二组传感信号,第二传感器提供一个固定参考系;
根据第一组传感信号和第二组传感信号确定所述运动传感装置相对于所述固定参考系的指向位置;以及
从转换中产生一组控制信号用来控制受控装置,其中所述转换被设置成将至少部分第一组传感信号转换得与来自触屏装置的触屏输入信号实质类似,所述受控装置被设计为响应于来自所述触屏装置的触屏输入信号。
13.根据权利要求12所述的方法,其中第二传感器是外置的传感器,其根据所述受控装置的显示器安装。
14.根据权利要求13所述的方法,其中所述外置的传感器是LED传感器、磁力计或摄像头。
15.根据权利12所述的方法,其中所述方法进一步包括:将所述运动传感装置的指向位置映射到所述受控装置的显示器的相应位置上,其中所述确定所述运动传感装置相对于所述固定参考系的指向位置包括:
根据第二组信号校正所述运动传感装置的估算位置和方向;以及
根据所述固定参考系从所述运动传感装置的校正估算位置和方向得到所述运动传感装置的指向位置。
CN201210208284.4A 2011-06-23 2012-06-23 运动控制作为控制装置 Expired - Fee Related CN102902352B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161500581P 2011-06-23 2011-06-23
US61/500,581 2011-06-23
US13/249,251 2011-09-30
US13/249,251 US9007299B2 (en) 2006-07-14 2011-09-30 Motion control used as controlling device

Publications (2)

Publication Number Publication Date
CN102902352A CN102902352A (zh) 2013-01-30
CN102902352B true CN102902352B (zh) 2016-06-15

Family

ID=46458190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210208284.4A Expired - Fee Related CN102902352B (zh) 2011-06-23 2012-06-23 运动控制作为控制装置

Country Status (3)

Country Link
EP (1) EP2538308A3 (zh)
JP (1) JP2013008360A (zh)
CN (1) CN102902352B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605422A (zh) * 2013-10-23 2014-02-26 苏州安可信通信技术有限公司 一种触摸屏操作方法和装置
KR20150081012A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN104898829A (zh) * 2015-04-17 2015-09-09 杭州豚鼠科技有限公司 体感交互系统
US10127371B2 (en) * 2015-12-11 2018-11-13 Roku, Inc. User identification based on the motion of a device
JP6805589B2 (ja) * 2016-07-11 2020-12-23 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
CN109847333A (zh) * 2018-12-29 2019-06-07 努比亚技术有限公司 一种设备控制方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101380520A (zh) * 2007-09-05 2009-03-11 财团法人工业技术研究院 调整惯性感测范围与灵敏度的方法及惯性感测互动装置与系统
CN101802755A (zh) * 2007-09-18 2010-08-11 汤姆森许可贸易公司 机顶盒的用户界面
CN101995949A (zh) * 2009-08-18 2011-03-30 索尼公司 操作输入系统、控制装置、手持式装置和操作输入方法
CN102087712A (zh) * 2010-02-22 2011-06-08 艾利维公司 个性化动作控制的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3264291B2 (ja) * 1993-05-14 2002-03-11 ソニー株式会社 コントロールシステム
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US20110044501A1 (en) 2006-07-14 2011-02-24 Ailive, Inc. Systems and methods for personalized motion control
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
KR101564785B1 (ko) * 2009-09-30 2015-10-30 엘지전자 주식회사 방송 수신 장치의 방송 가이드 화면 제어 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101380520A (zh) * 2007-09-05 2009-03-11 财团法人工业技术研究院 调整惯性感测范围与灵敏度的方法及惯性感测互动装置与系统
CN101802755A (zh) * 2007-09-18 2010-08-11 汤姆森许可贸易公司 机顶盒的用户界面
CN101995949A (zh) * 2009-08-18 2011-03-30 索尼公司 操作输入系统、控制装置、手持式装置和操作输入方法
CN102087712A (zh) * 2010-02-22 2011-06-08 艾利维公司 个性化动作控制的系统和方法

Also Published As

Publication number Publication date
EP2538308A2 (en) 2012-12-26
EP2538308A3 (en) 2013-10-09
CN102902352A (zh) 2013-01-30
JP2013008360A (ja) 2013-01-10

Similar Documents

Publication Publication Date Title
CN102830795B (zh) 利用运动传感装置的远程控制
US9007299B2 (en) Motion control used as controlling device
US20120208639A1 (en) Remote control with motion sensitive devices
CN102902352B (zh) 运动控制作为控制装置
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
CN102265242B (zh) 在移动设备上使用运动处理来控制和访问内容
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US9256288B2 (en) Apparatus and method for selecting item using movement of object
US20100007518A1 (en) Input apparatus using motions and user manipulations and input method applied to such input apparatus
CN109313502B (zh) 利用选择装置的敲击事件定位
CN103513895A (zh) 远程控制装置及其控制方法
CN102541256A (zh) 具有视觉反馈的位置知晓姿势作为输入方法
CN103513894A (zh) 显示设备、远程控制设备及其控制方法
CN104220962A (zh) 利用触摸手势的手势仿真的设备的命令
US9013396B2 (en) System and method for controlling a virtual reality environment by an actor in the virtual reality environment
US20120167014A1 (en) Visual surrogate for indirect experience and apparatus and method for providing the same
KR20180094799A (ko) 자동 국부적 햅틱 생성 시스템
CN102426486A (zh) 一种立体交互方法及被操作设备
CN102508562A (zh) 一种立体交互系统
CN204945943U (zh) 用于为外部显示设备提供远程控制信号的远程控制设备
EP1160651A1 (en) Wireless cursor control
CN102929430B (zh) 多指针间接输入设备的显示映射模式
Zhang et al. Operating virtual panels with hand gestures in immersive vr games: Experiences with the leap motion controller
CN102508561A (zh) 一种操作棒
CN104811639A (zh) 信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160615

Termination date: 20170623

CF01 Termination of patent right due to non-payment of annual fee