JP2013008365A - 運動感知型機器を用いる遠隔制御 - Google Patents
運動感知型機器を用いる遠隔制御 Download PDFInfo
- Publication number
- JP2013008365A JP2013008365A JP2012137928A JP2012137928A JP2013008365A JP 2013008365 A JP2013008365 A JP 2013008365A JP 2012137928 A JP2012137928 A JP 2012137928A JP 2012137928 A JP2012137928 A JP 2012137928A JP 2013008365 A JP2013008365 A JP 2013008365A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- input
- signals
- control
- controlled device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Abstract
【課題】代替の機器(例えば、運動制御器)または入力機構が、最初にあらかじめ定義された機器(例えば、接触画面機器)と働いているように設計された被制御機器上でアプリケーションを制御することを可能にする。
【解決手段】運動感知型機器からの出力信号は、あらかじめ定義された制御機器102のものとは異なる形態にあることがある。1つの態様によれば、被制御機器102は、接触画面からの信号または接触画面用信号に応答するように設計される。運動感知型機器からの出力信号は、被制御機器102への運動感知型入力を含み、被制御機器102に連結される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、その後被制御機器102上で動作するアプリケーションの再構成を伴わずに、被制御機器102の挙動を変化させるかまたはそれに応答させる。
【選択図】図1
【解決手段】運動感知型機器からの出力信号は、あらかじめ定義された制御機器102のものとは異なる形態にあることがある。1つの態様によれば、被制御機器102は、接触画面からの信号または接触画面用信号に応答するように設計される。運動感知型機器からの出力信号は、被制御機器102への運動感知型入力を含み、被制御機器102に連結される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、その後被制御機器102上で動作するアプリケーションの再構成を伴わずに、被制御機器102の挙動を変化させるかまたはそれに応答させる。
【選択図】図1
Description
本発明の背景
発明の分野
本発明は、概して、電子機器用の人間−機械インターフェースの領域に関係しており、より具体的には:
1)電子機器上でアプリケーションの遠隔操作を可能にするように、接触画面機器からの信号を増強または交換するための、運動感知器、ジョイスティック、ボタン、およびカメラ由来の信号の変換に関係しており、
2)最初に別の機器からの入力を受信するように提供または設計される機器に、使用者入力の代替の技術を提供することに関係しており、かつ、
3)文脈識別子に基づく、当該機器上で動作する既存の機器またはアプリケーションまたはモジュール用の、一組の習慣的な信号および指令への代替の入力信号の変換の構成、再構成、および動的選択に関係している。
発明の分野
本発明は、概して、電子機器用の人間−機械インターフェースの領域に関係しており、より具体的には:
1)電子機器上でアプリケーションの遠隔操作を可能にするように、接触画面機器からの信号を増強または交換するための、運動感知器、ジョイスティック、ボタン、およびカメラ由来の信号の変換に関係しており、
2)最初に別の機器からの入力を受信するように提供または設計される機器に、使用者入力の代替の技術を提供することに関係しており、かつ、
3)文脈識別子に基づく、当該機器上で動作する既存の機器またはアプリケーションまたはモジュール用の、一組の習慣的な信号および指令への代替の入力信号の変換の構成、再構成、および動的選択に関係している。
関連技術の記載
人間−機械対話の産業上の設計において、使用者インターフェースは、人間および機械の間における対話が起こる空間である。人間−機械対話の目標は、所望の結果を産生する方法で機械を操作することを容易に、効率的に、かつ楽しくする使用者インターフェースを産生することである。これは、概して、操作者が所望の出力を実現するために最小の入力を提供する必要があることと、また、機械が人間に対する非所望の出力を最小化することと、を意味する。実用的な使用者インターフェースを作成する際に適用可能な設計考慮は、人間工学および心理学等の訓練に関係しているかまたは伴う。
人間−機械対話の産業上の設計において、使用者インターフェースは、人間および機械の間における対話が起こる空間である。人間−機械対話の目標は、所望の結果を産生する方法で機械を操作することを容易に、効率的に、かつ楽しくする使用者インターフェースを産生することである。これは、概して、操作者が所望の出力を実現するために最小の入力を提供する必要があることと、また、機械が人間に対する非所望の出力を最小化することと、を意味する。実用的な使用者インターフェースを作成する際に適用可能な設計考慮は、人間工学および心理学等の訓練に関係しているかまたは伴う。
接触画面は、これまで設計された中で最も成功した人間−機械インターフェースのうちの1つであり、多くの電子機器上でほとんど一般に見られる。それらは、コンピュータ、タブレット、およびスマートフォン等の機器内に存在している。接触画面は、当該接触画面の表示領域内で接触の存在および位置を検出することができる電子視覚表示器である。当該用語は、概して、指または手で機器の表示器に接触することを指す。接触画面機器は、スタイラス等の、他の受動物体を感知することもできる。
いくつかのアプリケーションでは、手持ち型で運動感知型の制御器の使用を通じて、接触画面機器を遠隔で制御することが望まれ、そこで、その運動感知型制御器は、下記の感知器:
1)加速度計
2)ジャイロスコープ
3)電子コンパスつまり磁力計
4)ボタン
5)ジョイスティック
6)マイクロフォン
および送信器:
1)発光ダイオード
2)無線通信機器
の組み合わせを含むことがある。
1)加速度計
2)ジャイロスコープ
3)電子コンパスつまり磁力計
4)ボタン
5)ジョイスティック
6)マイクロフォン
および送信器:
1)発光ダイオード
2)無線通信機器
の組み合わせを含むことがある。
同様に、接触画面機器を遠隔で制御するための入力機器は、2つのカメラからの立体撮像、または飛行に基づくカメラの単一時間等の、2Dカメラまたは3Dカメラから生じる制御信号を含むことがあるだろう。
接触画面被制御機器を大画面のテレビジョンに接続し、寝椅子にいながらにしてその機能の一部または全部を制御することが望ましいことがあり、一方で、当該機器のグラフィックス出力が当該大画面上に表示される。同様に、(映像、ゲーム、最初に接触画面機器用に構成されたアプリケーション、ウェブ閲覧等を含む、より広い範囲の内容を支持する)スマートテレビジョンの機能の一部または全部を遠隔で制御することが望ましいことがある。この場合では、当該機器との望ましい対話は、当該機器の接触画面でないが、代替の(非接触画面)入力機器である。しかしながら、当該被制御機器上で動作するモジュール(例えば、ソフトウェア・コンポーネント)は、それらの機能を制御するために、接触表面様信号(または、接触表面様信号に習慣的に由来する信号)を受信する必要があることがある。従って、このような代替の機器が、被制御機器、または、それに連結される接触画面機器の有無にかかわらず、その上で動作するモジュールを容易に制御することを促進する技術の必要性がある。
概要
本節は、本開示のいくつかの態様を要約し、いくつかの好適な実施形態を簡潔に導入する。本節内ならびに本記載の要約書または表題内での単純化または省略が、本節、要約書、および表題の目的を不明瞭にすることを避けるために行われることがある。このような単純化または省略は、本開示の範囲を制限するように意図されていない。
本節は、本開示のいくつかの態様を要約し、いくつかの好適な実施形態を簡潔に導入する。本節内ならびに本記載の要約書または表題内での単純化または省略が、本節、要約書、および表題の目的を不明瞭にすることを避けるために行われることがある。このような単純化または省略は、本開示の範囲を制限するように意図されていない。
概して言えば、本発明は、既存の電子機器またはシステム(別名、被制御機器または被制御システム)を遠隔で制御する様々な運動感知型入力を用いるための技術を記載しており、それは、(特定の接触画面機器等の)あらかじめ定義された制御機器から入力を取るために前もって構成された動作中のアプリケーションである。当該入力機器からの出力信号は、あらかじめ定義された制御機器とは異なる形態にあることがある。運動感知型制御器、2Dまたは3Dのカメラ、またはそれらの組み合わせにより、当該出力信号を生成することができる。本発明の1つの態様によれば、当該被制御機器は、接触画面からの信号または接触画面様信号に応答するように設計される。こうした被制御機器の例としては、大型表示器を含む電子消費者機器(例えば、TVおよび娯楽機器)挙げられるが、それらに限定されず、そこで、当該機器をスマートフォンおよびタブレットPCに連結してもしなくてもよい。入力機器からの出力信号は運動感知型入力であり、かつ、その後被制御機器に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、その後、被制御機器上で動作するアプリケーションの再構成を伴わずに、被制御機器の挙動を変化させるかまたはそれに応答させる。
本発明の別の態様によれば、運動制御器からの信号は、その一部または全部が運動制御器内に封入された慣性感知器から生成される感知器信号を含む。当該信号は、接触画面機器からの信号と実質的に同様のいくつかの信号を含む一組の制御信号に変換され、その後被制御機器を制御する。実施に応じて、当該制御信号は、被制御機器に対する運動制御器の並進位置および角度位置、および運動制御器との使用者による一連の対話を含むことがある。1つの場合では、当該制御信号は、(同じ使用者または異なる使用者により用いられる)他の運動制御器からの出力信号を含むことがある。
本発明の別の態様によれば、入力機器からの信号は、被制御機器上またはその近くに位置することがある1つ以上のカメラから、その一部または全部が生成される感知器信号を含む。その画像信号は、接触画面機器からの信号と実質的に同様のいくつかの信号を含む一組の制御信号に変換され、その後被制御機器を制御する。実施に応じて、2Dまたは3Dの画像平面を仮想接触パッドに変換または投影し、その仮想接触パッドの「被接触」位置を送信することにより、当該制御信号を計算することができる。
方法、機器の一部の装置、または指定された機器内で実行されるソフトウェア・モジュールとして、本発明を実施することができる。1つの実施形態によれば、本発明は、運動に基づく制御のためのシステムであり、前記システムは、接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも1つのアプリケーションを含む被制御機器と、人間の運動に応答する感知器信号を生成する複数の感知器を含む入力機器と、前記入力機器からの前記感知器信号を第2組の信号に変換することにより、前記入力機器が前記被制御機器上で前記少なくとも1つのアプリケーションを制御することを促進するように構成された処理ユニットであって、前記第2組の信号は、前記接触画面機器からの前記接触画面入力信号と実質的に同様のいくつかの信号を含む、処理ユニットと、を備える。
別の実施形態によれば、本発明は、被制御機器の運動に基づく制御のための方法であり、前記方法は、入力機器から制御信号を生成することであって、前記制御信号は、人間の運動に応答する複数の感知器からの感知器信号を含むことと、接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも1つのアプリケーションを含む被制御機器により、前記制御信号が受信されるようにすることと、前記入力機器からの前記制御信号を、前記接触画面機器からの接触画面入力信号と実質的に同様のいくつかの信号を含む第1組の信号に変換することと、前記機器を前記制御信号に応答させることと、を備える。
本発明の目的、利点、および恩恵の1つは、代替の機器(例えば、運動制御器)または入力機構が、最初にあらかじめ定義された機器(例えば、接触画面機器)と働いているように設計された被制御機器上でアプリケーションを制御することを可能にすることである。
本開示の他の目的、利点、および恩恵は、添付図面と合わせられる際に、好適な実施形態の以下の詳細な記載からより明白になるだろう。
図の簡潔な記載
本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、添付の請求の範囲、および添付図面に関してより良好に理解されるようになるだろう。
本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、添付の請求の範囲、および添付図面に関してより良好に理解されるようになるだろう。
本発明の詳細な記載
本発明の詳細な記載は、手順、ステップ、論理ブロック、処理、および、データ処理機器の操作に直接的または間接的に似ている他の記号表現の点から概ね提示されている。こうした処理の記載および表現は、典型的には、彼らの作業の実体を他の当業者に最も効果的に伝えるために、当業者により用いられる。数多くの具体的な詳細が、本発明の完全な理解を提供するために明記されている。しかしながら、こうした具体的な詳細なしに本発明を実施することができることは、当業者にとって自明になるだろう。他の例では、周知の方法、手順、コンポーネント、および回路系は、本発明の態様を不必要に不明瞭にすることを避けるために、詳細には記載されていない。
本発明の詳細な記載は、手順、ステップ、論理ブロック、処理、および、データ処理機器の操作に直接的または間接的に似ている他の記号表現の点から概ね提示されている。こうした処理の記載および表現は、典型的には、彼らの作業の実体を他の当業者に最も効果的に伝えるために、当業者により用いられる。数多くの具体的な詳細が、本発明の完全な理解を提供するために明記されている。しかしながら、こうした具体的な詳細なしに本発明を実施することができることは、当業者にとって自明になるだろう。他の例では、周知の方法、手順、コンポーネント、および回路系は、本発明の態様を不必要に不明瞭にすることを避けるために、詳細には記載されていない。
本明細書における「1つの実施形態」または「一実施形態」への言及は、当該実施形態に関連して記載されている特定の特徴、構造、または特性を、本発明の少なくとも1つの実施形態に含めることができることを意味する。本明細書内の様々な箇所における「1つの実施形態では」という句の出現は、必ずしも全て同じ実施形態に言及しておらず、他の実施形態を相互に除く別個のまたは代替の実施形態でもない。さらに、本発明の1つ以上の実施形態を表す工程の流れ図または線図におけるブロックの順序は、任意の特定の順序を固有に示さず、また本発明においていかなる限定も含蓄しない。
本明細書にて用いられる際に、(使用者)入力機器は、使用者が別の機器の機能の一部または全部を対話的に制御することを可能にする制御子または制御機器である。制御機器のいくつかの一般的な例としては、マウス、キーボード、ジョイスティック、接触感知型表面、(Wii Remote(商標)、またはPlayStation Moveの制御器、およびエアマウス等の)運動制御器、およびテレビジョン制御器が挙げられる。映像カメラおよびマイクロフォン等の受動型感知器も、使用者入力機器の例である。本発明にて用いられる制御機器は、複数の慣性感知器を含む制御器に概ね関係しており、そこで、当該制御器は、当該慣性感知器からの感知器信号、および他の源(例えば、ジョイスティック、行動ボタン、または格子内における指の被検出位置)からの信号を含む制御信号を生成する。
制御器、制御機器、および入力機器は、被制御機器に対する相対的な用語として、本明細書にて相互交換可能に用いられる。このような入力機器の一例としては、最初に映像ゲーム用に設計された(映像ゲーム)制御器、少なくとも1つの慣性感知器を有するスマートフォン(例えば、iPhone)、および感知器信号を生成する携帯型計算機器が挙げられるが、それらに限定されないことがある。使用者からのいくつかの行動の結果として、被制御機器またはシステムの挙動の変化を引き起こすために、信号が入力機器から被制御機器へ送信される。被制御機器の多くの例がある。いくつかの一般的な例としては、映像ゲーム・システム、テレビジョン、デジタル映像記録器(DVR)、DVD再生機、映像カセット記録器、個人用コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、家庭用音声システム、携帯電話、スマートフォン、個人用音楽再生機、グラフィックス表示器、および投影グラフィックス・システムの様々な組み合わせが挙げられる。一般的に、こうした被制御機器は、指定された入力機器から信号を受信するか、または、当該入力機器から受信された信号を間接的に処理するモジュール(例えば、ソフトウェア・モジュール)を動作させる。このようなソフトウェア・コンポーネントのいくつかの例としては、アプリケーション、ゲーム、オペレーティング・システム、ドライバ、ファームウェア、カーネル、使用者インターフェース(API)等が挙げられる。こうしたソフトウェア・コンポーネントは、特定の種類の信号を「傾聴」しかつそれに応答するように構成される。広範には、こうした信号を下記のどちらかとしてカテゴリ化することができる:
1)ある種類の入力機器を表し、いくつかの例としては、
a.「マウス様」機器(例えば、コンピュータ・マウス)から生じる「マウス様」信号と、
b.「キーボード様」機器(例えば、遠隔キーボードまたは被表示キーボード)から生じる「キーボード様」信号と、
c.「接触表面様」機器(例えば、接触パッド)から生じる「接触表面様」信号と、
d.「マイクロフォン様」機器から生じる「音声様」信号と、
が挙げられる。
a.「マウス様」機器(例えば、コンピュータ・マウス)から生じる「マウス様」信号と、
b.「キーボード様」機器(例えば、遠隔キーボードまたは被表示キーボード)から生じる「キーボード様」信号と、
c.「接触表面様」機器(例えば、接触パッド)から生じる「接触表面様」信号と、
d.「マイクロフォン様」機器から生じる「音声様」信号と、
が挙げられる。
より広範には、こうした機器を種類によりカテゴリ化し、特定の種類の信号を傾聴しかつそれに応答するように設計することができる。このようにして、当該機器が「マウス様」であり、かつその後「マウス様」ボタン押下および位置信号の変化を提供することがそれを通じて示される、(USB 1.1等の)通信プロトコルを実装することにより、トラックボール等の機器をマウスの代わりに用いることができる。
2)より高水準の信号、つまり、特定の種類の制御要求または制御事象を表す信号を表す。いくつかの例としては、
a.「次のスライド[要求された]」、
b.「スクロール・アップ[要求された]」、
c.「ズーム・イン[要求された]」、
が挙げられる。
a.「次のスライド[要求された]」、
b.「スクロール・アップ[要求された]」、
c.「ズーム・イン[要求された]」、
が挙げられる。
使用者による行動の結果として、被制御機器の挙動の変化を引き起こすために、信号が使用者入力機器から被制御機器へ送信される。一般的に、こうした抽象的な信号は、多種多様の考えられる入力機器を考慮する必要から解放されるアプリケーション・プログラマの都合を考えて提供される。このようにして、(「ドライバ」等の)ソフトウェア・コンポーネントの実装により、新たな(先験的に未知の)カテゴリの入力信号を当該ソフトウェア・コンポーネントにより要求される「被傾聴」信号に提供する、新たな代替の入力機器からの信号を対応付けることが可能である。このようにして、当該提供は、考えられる源から受信された信号を出力し、その後、既存のアプリケーションを制御するために当該信号を用いるソフトウェア・コンポーネントを書きかつインストールするために、オペレーティング・システムの製造者またはAPIの開発者により行われる。
しかしながら、こうした既存のモデルは、いくつかの実用上の必要性を満足のいくように満たさない。アプリケーションは、通常、特定の種類(例えば、「接触表面様」)の信号を「傾聴」するように書かれる。例えば、Androidのオペレーティング・システムの場合では、それのために書かれてきた多くのアプリケーションがある。現在、大多数のAndroidの機器は、使用者入力の主要な形態として接触画面を用い、アプリケーション(および他のソフトウェア・コンポーネント)は、度々、特に接触表面様信号を「傾聴」するように書かれる。
運動感知型の機器または制御器等の、新たな非「接触表面様」入力機器を用いて、被制御機器の全ての接触表面機能を制御することを望む場合には、克服しなければならない実用上の問題がある。例えば、多くのソフトウェア・コンポーネントは、特に「接触表面様」信号を「傾聴」しかつそれに応答するように書かれる。同様に、「接触表面様」信号を同様に要求(または「傾聴」)する、(オペレーティング・システム、ドライバ、API等…のような)追加のソフトウェア・コンポーネントにより間接的に生成される「ズーム・イン」または「スクロール・ダウン」の信号等の、より高水準の信号を「傾聴」するようにソフトウェア・コンポーネントを書くことができる。受容可能でかつ要求される入力の種類を、(a)その設計、(b)コンパイラの使用を通じる手段、または、(c)1つ以上の追加のソフトウェア・コンポーネント(例えば、ドライバ、オペレーティング・システム、API)に対するその依存を通じる手段を含む様々な手段により、既存のソフトウェア・コンポーネントに連結することができる。
こうした入力機器は「接触表面様」機器でなく、「接触表面様」信号を容易に提供することもできない。具体的には、1つの実施形態によれば、入力機器内の感知器の何れも、接触表面様信号を直接的または明白に提供しない。従って、接触表面様入力機器に代わるそれらの適用および使用は、容易に実施または想到されない。
本発明の1つの態様は、入力機器からの感知器信号の接触表面様信号への変換に関係している。接触表面様信号は、2D表面上に2D座標を表す情報を包含する。1つの実施形態では、入力機器が、グラフィックス表示器上に示されている項目を直接的に照準するために使用者により用いられており、かつ、(例えば、当該機器および当該グラフィックス表示器の主軸の交点である)被照準位置を推定するように構成される。被照準位置のこのような推定は、「ドリフト・フリー」の「ダウン・ザ・バレル」照準と称される。使用者が、(例えば、グラフィックスのマウス・ポインタ、十字線、またはカーソル等の)グラフィックス的フィードバックの必要なく、表示器上の位置および配向と手持ち型機器の配向の位置を直接的に相関させることができるために、このようなドリフト・フリーのダウン・ザ・バレル照準用の信号は「接触表面様」信号の適切な源である。
本発明の目的、恩恵、および利点のいくつかを、下記の例示的な適用において理解することができる。第一に、マウス様機器の場合では、マウス様機器が2D平面内の線速度の尺度を提供するが、2D平面上の絶対位置を提供しない際に、マウスは「ダウン・ザ・バレル」照準信号を提供することはできない。加えて、マウスは、「マウス様信号」を傾聴するアプリケーションにより受信される「マウス様信号」を提供する。このような「マウス様信号」の源を、「接触表面様」信号を傾聴するソフトウェアと共に直接的に用いることはできない。さらに、使用者は、グラフィックスフィードバック(例えば、マウス・ポインタ)の使用なしに、マウスの物理的位置をグラフィックス表示器上の位置と確実に相関させることはできない。
第二に、グラフィックスフィードバックの必要性に付言すると、マウス様機器(マウス信号の源を提供する機器)も2D値の単一ストリームの源である点において異なるものの、多重接触表面は2D値の多重ストリームを生成することができる。本発明の1つの態様は、多重接触様信号を提供するように本発明において企図されている制御機器の使用である。第三に、エアマウスの場合では、平面上の一点が、角度位置の相対尺度を得るために、ジャイロスコープからの経時的な角度配向信号の統合を通じて決定される。この尺度は、その後2D平面上の一点に変換される。この手法の欠点は、
i.計算された配向信号が、ある開始配向に対してのみ測定されることと、
ii.絶対尺度を得るために観測された相対尺度の統合が、経時的に増加する誤差(推定計算誤差として知られている人為結果)を被ることと、
iii.エアマウスの操作の2D平面が重力依存性であり、例えば、寝椅子上に寄り掛かっていることがある使用者により、その遠近視点を調節するかまたは傾けることができないことと、
である。
i.計算された配向信号が、ある開始配向に対してのみ測定されることと、
ii.絶対尺度を得るために観測された相対尺度の統合が、経時的に増加する誤差(推定計算誤差として知られている人為結果)を被ることと、
iii.エアマウスの操作の2D平面が重力依存性であり、例えば、寝椅子上に寄り掛かっていることがある使用者により、その遠近視点を調節するかまたは傾けることができないことと、
である。
入力機器の配向の測定等の初期較正ステップの後に、当該機器がグラフィックス表示器に照準される間に、ダウン・ザ・バレル照準を提供することが初期に可能であることがある。しかしながら、経時的に、上記の欠点が原因で、推定計算誤差(つまり「ドリフト」)の蓄積、または機器感知器の他の制限(例えば、レイリング(「頭打ち」)、検尺誤差、非線形性、または相殺誤差)は、当該機器の計算された配向がその実際の配向と最終的に誤整列していることがあることを意味する。こうした欠点は、ジャイロスコープ・エアマウス機器を、グラフィックスフィードバックの必要なく「ドリフト・フリー」の「ダウン・ザ・バレル照準」を望む適用に不適切にする。1つの実施形態では、入力機器は、固定基準に対する連続的な再較正による制限を克服するように構成される。1つの実施形態では、当該固定基準は電子コンパスである。別の実施形態では、当該固定基準は外部カメラである。さらに、このような運動感知型機器が、「マウス様」信号とは定性的に異なる(例えば、2D速度)、(数ある属性の中でも、2D表面上の絶対位置を表す)使用可能な「接触表面様」信号を提供することができることは以前には想到されていない。「接触表面様」信号は、「マウス様」信号により共有されない追加の特性を有する。こうした追加の特性としては、一組の点に沿う経路を追跡することを、順々にそうした点に個別に接触することを区別する能力、ならびに、同時にいくつかの機器上の多数の点に接触する能力(別名、多重接触)が挙げられる。
運動感知型のWii Remoteの制御器の場合では、不安定な形態のダウン・ザ・バレル照準が実現される。しかしながら、そうするために、当該機器は、グラフィックス表示器の近くの赤外線LEDの位置を検出する赤外線感知型カメラを包含する。本明細書に記載されているように、本発明の1つの実施形態は、当該表示器において持ち型の機器またはLED内でのカメラの使用を必要としない。
運動感知型のPlayStation Move(商標)の制御器の場合では、
i.当該機器は、当該機器を局在させるために、当該制御器の端部上の外部に装着されたカメラおよび大きく内部に照明された色付き玉を使用し、かつ、
ii.当該機器は、接触表面様信号でなく、運動制御器様信号を傾聴しかつそれに応答するソフトウェア・コンポーネント(例えば、映像ゲーム)に、運動制御器様信号を提供する。「接触表面様」信号を主に傾聴するソフトウェア・コンポーネントに、「接触表面様」信号を提供する機器の既知の使用は全くなかった。
i.当該機器は、当該機器を局在させるために、当該制御器の端部上の外部に装着されたカメラおよび大きく内部に照明された色付き玉を使用し、かつ、
ii.当該機器は、接触表面様信号でなく、運動制御器様信号を傾聴しかつそれに応答するソフトウェア・コンポーネント(例えば、映像ゲーム)に、運動制御器様信号を提供する。「接触表面様」信号を主に傾聴するソフトウェア・コンポーネントに、「接触表面様」信号を提供する機器の既知の使用は全くなかった。
Zeemote(商標)等の、ジョイスティックおよびボタンを包含する外部ゲーム制御器の例は、接触画面機器上で動作するソフトウェア・コンポーネントを制御するために既に用いられている。しかしながら、ゲーム制御器機器からの信号は、接触画面信号の代わりには用いられないが、それよりも、ジョイスティック様、ゲーム制御器様、または方向パッド様の信号として供給され、かつ、そうした種類の信号を明示的に傾聴するソフトウェア・コンポーネントの一部によってのみ使用可能である。対照的に、本発明の1つの態様は、接触表面様信号を傾聴するソフトウェア・コンポーネントの機能の全てを制御するために用いることができる、接触表面信号の代替の源を提供する能力である。
本発明の別の態様は、接触表面を交換または増強するためのジョイスティック信号およびボタン信号の変換に関する。接触表面は、一般的にグラフィックス表示器の全面にオーバーレイされる。接触の位置は非常に重要であり、グラフィックス表示器の枠に対する被接触位置の関連付けも同様である。代替の入力機器の場合では、グラフィックス表示器上のどこに行動が起こることになるのか、または起こったのかを示すための、使用者に対する視覚フィードバックが欠落していることがあり、代替の入力機器からの信号を受信し、それをグラフィックスに提示する機器およびアプリケーションの、オペレーティング・システムにおける提供もないことがある。
本発明のさらに別の態様は、表示器上の代替の入力機器の被照準位置のグラフィックス提示である。この態様は、
a.(接触表面様信号でなく、マウス様信号の源の視覚化である)マウス様信号からのカーソルのグラフィックス表示器と、
b.(代替の入力機器でなく、実際の接触感知型表面から実際に生じる、接触表面様信号の視覚化である)接触感知型表面の被接触位置のグラフィックス表示器と、
c.(その信号が接触表面様信号を交換するために変換されない機器である)他の種類の運動制御器、ジョイスティック、またはボタンの信号のグラフィックス表示器と、
とは異なる。
a.(接触表面様信号でなく、マウス様信号の源の視覚化である)マウス様信号からのカーソルのグラフィックス表示器と、
b.(代替の入力機器でなく、実際の接触感知型表面から実際に生じる、接触表面様信号の視覚化である)接触感知型表面の被接触位置のグラフィックス表示器と、
c.(その信号が接触表面様信号を交換するために変換されない機器である)他の種類の運動制御器、ジョイスティック、またはボタンの信号のグラフィックス表示器と、
とは異なる。
どの変換がどの文脈に適用されるべきかという知識なしに、多数の文脈(例えば、家庭用画面、表示画面の設定、ゲーム、オペレーティング・システムの機能等)用の入力として適切に働く、新たな入力機器からの信号の単一変換が全くないことがある。1つのソフトウェア・コンポーネントについては、グラフィックス画面上ボタンの押下を模擬するように特定の位置における表面の接触を模擬する接触表面様信号を引き起こすために、ジョイスティックを用いることを望むことがある。異なるソフトウェア・コンポーネントについては、接触表面の上方行程の信号を模擬する時系列の接触表面様信号の生成により画面上リストのスクローリングを引き起こすように、ジョイスティック信号を変換することができる。どちらの場合でも、一方の場合に対する、他方の場合の文脈における当該信号の送信は、非所望の効果をもたらすことがある。
より広範には、本発明のこの態様は、
1.変換される信号が接触表面様信号でなく、かつ特に代替の入力機器から生じ、接触表面様信号の源でないことがある点と、
2.変換された信号が、接触表面からの信号を増強または交換するために用いられ、その後、接触表面様信号を傾聴するように構成されたソフトウェア・コンポーネントに提供される点と、
3.被制御ソフトウェア・コンポーネントが、構成可能性のためにいかなる既存の準備も有する必要がない点と、
4.いくつかの入力信号が、遠隔に(すなわち、寝椅子上に)位置する、仮想または実際の接触画面機器からのものであり、アプリケーションをそのためにあらかじめ構成することができるあらかじめ定義された接触画面機器内に存在するよりも、遥かに多くの制御自由度を使用者に与えることができる点と、
において、ある種類からの別の種類への変換に関する関連技術とは異なる。
1.変換される信号が接触表面様信号でなく、かつ特に代替の入力機器から生じ、接触表面様信号の源でないことがある点と、
2.変換された信号が、接触表面からの信号を増強または交換するために用いられ、その後、接触表面様信号を傾聴するように構成されたソフトウェア・コンポーネントに提供される点と、
3.被制御ソフトウェア・コンポーネントが、構成可能性のためにいかなる既存の準備も有する必要がない点と、
4.いくつかの入力信号が、遠隔に(すなわち、寝椅子上に)位置する、仮想または実際の接触画面機器からのものであり、アプリケーションをそのためにあらかじめ構成することができるあらかじめ定義された接触画面機器内に存在するよりも、遥かに多くの制御自由度を使用者に与えることができる点と、
において、ある種類からの別の種類への変換に関する関連技術とは異なる。
概して言えば、本発明は、既存の電子機器、その被制御機器、異なる形態で入力を取るために前もって構成された動作中のアプリケーション用の入力機器として運動制御器を用いるための技術を記載している。入力機器からの信号は、制御機器とは異なる形態にあることがある。本発明の1つの態様によれば、当該被制御機器は、接触画面からの信号または接触画面様信号に応答するアプリケーションを提供するように設計された。運動制御器からの入力は、その後被制御機器に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、制御機器の挙動を変化させるかまたはそれに応答させる。
ここで図面を参照すると、図1は、本発明の一実施形態による例示的な構成100を示す。この実施形態における主要なコンポーネントは、制御機器101および被制御機器102を含む。制御機器101は、その中に封入された運動感知器、および、ボタン感知器、ジョイスティック感知器、LED、およびマイクロフォン入力の任意の組み合わせに由来する信号を提供する。こうした信号は、大型表示器103および接触表面入力機器104を含むいくつかの要素から成ることがある、被制御機器102を制御するように解釈される。例示的な制御機器は、専用制御器、スマートフォン、または他の手持ち型計算機器(例えば、iPhone)であってよい。例示的な被制御機器は、テレビジョン、ゲーム機、またはアプリケーションを制御するために用いられる計算機器(例えば、テレビジョンに接続されるスマートフォンまたはタブレット)であってよい。
1つの実施形態では、制御機器101は、運動感知器(図示せず)、および、ここで彼または彼女の居間内に示され、寝椅子110上に快適に座っている、使用者109により手持ちされることを目的とする本体内に収容される1つ以上のLEDを含む。この目的のために、1つの実施形態では、制御機器101は、通信機器および自己内蔵型電源も包含する。この通信機器は、1つの実施形態ではBluetooth(登録商標)の無線機器であるが、代替の実施形態では赤外線通信機器または任意の他の形態の無線通信機器に置き換えることができるだろう。1つの実施形態では、再充電可能電池が電源として用いられる。
別の実施形態では、制御機器101内にあるカメラおよび運動感知器を考慮して、制御機器101上にある1つ以上のLEDまたは他の点光源と共に、制御機器101に取り付けられない外部カメラに由来する信号により、制御機器101の運動信号を交換または補完することができる。
制御機器101は、様々な実施形態を記載する際に、本明細書において相互交換可能に運動制御器と称されることもある。1つの実施形態では、被制御機器102は、少なくとも接触感知型入力機器(例えば、接触画面)または接触表面様入力機器信号(例えば、接触表面入力機器104)と通信するか、またはそれにより制御されるいくつかのモジュール(例えば、ソフトウェア・コンポーネント)を実行するように構成された電子機器である。接触感知型入力機器の例としては、グラフィックス表示器の全面に抵抗性または容量性の接触パネルが挙げられる。2つの例、接触画面201およびタブレット・コンピュータ202を有するスマートフォンが、図2Aおよび図2Bにそれぞれ示されている。接触表面様信号は、接触感知型入力機器上における2D平面の少なくとも被接触位置または被接触点もしくは領域を記述する信号である。
ボタン感知器、キーボードまたはキーパッドの入力、ジョイスティック感知器、カメラまたは映像部の入力、マイクロフォン入力、または運動感知器の任意の組み合わせにより、被制御機器102を追加的に制御することができる。1つの実施形態では、被制御機器102は、HDMIケーブル等のケーブル105を用いて表示器103に直接的に取り付けられた、少なくとも1つの接触表面入力機器104と共に、テレビジョン、コンピュータ監視器、または投影表示機器等の大型表示器103を含む。図3に示されている別の実施形態300では、被制御機器302は、表示器103と関連し、かつ表示器103に有線で接続されるか、またはその中の処理器に連結されたドッキング・ステーション内に配置された接触表面機器304を含む。
図4に示されているなお別の代替の実施形態400では、被制御機器400は、表示器403に物理的に取り付けられたか、またはその中に組み込まれた受信器/送信器405との無線通信で表示器403と通信する接触表面機器404を含む。
図2、3、および4に示されている実施形態のそれぞれでは、映像信号が接触画面機器から表示機器へ送信される。図5に示されている別の実施形態500では、被制御機器502は接触画面を有しないが、依然として接触表面様信号により制御されるようにあらかじめ構成されたアプリケーションを動作させる。この場合では、(接触画面様でない)その信号を、そうしたアプリケーションを制御するために使用可能な接触画面信号に変換することにより、アプリケーションを制御する方法として制御機器を用いることができる。
図6は、入力機器のいくつかの異なる考えられる構成を有する被制御システム600を示す。被制御システム603は、処理ユニットおよびプログラムまたはソフトウェア・モジュールを動作させる性能を有する、2つの機器601および602を含む。1つまたは複数の処理ユニットは、表示機器、および接触画面入力機器の中で見つかる。入力機器または制御機器は、ウェブカム604、テレビジョン埋め込み型カメラ605、立体視用の第2のウェブカム606、および運動感知型制御器607の任意の構成であってよい。
制御機器604−607からの信号は、被制御システム603内で動作するソフトウェア・コンポーネントを制御するために用いられる。当該ソフトウェア・コンポーネントは、特定の種類または識別可能なカテゴリの信号を傾聴するように構成される。例としては、
−接触画面様信号
−ボタン様信号
−音声様信号
−ジョイスティック様信号
−(例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の)テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。
−接触画面様信号
−ボタン様信号
−音声様信号
−ジョイスティック様信号
−(例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の)テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。
各場合において、信号の源は未知であることがあるが、被制御システム内で動作するソフトウェア・コンポーネントは、特定の種類または識別可能なカテゴリの信号を「傾聴」するか、またはそうでなければそれにより制御されるように構成される。本明細書にて用いられているように、「X様」である信号は、あたかもその機器が入力機器Xにより制御されるが、必ずしも機器Xから生じていないかのようにソフトウェア・コンポーネントを動作させる機器の挙動変化を引き起こすソフトウェア・コンポーネントにより受信される信号と称される。
本発明の1つの態様は、
−示されたカテゴリの物理的機器がない場合に、かつ/または、
−示されたカテゴリの物理的機器に加えて、かつ/または、
−示されたカテゴリの物理的機器の代替の機構として、
1つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。
−示されたカテゴリの物理的機器がない場合に、かつ/または、
−示されたカテゴリの物理的機器に加えて、かつ/または、
−示されたカテゴリの物理的機器の代替の機構として、
1つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。
一例として、本発明の1つの実施形態では、本発明は、被制御機器上で動作する複数のソフトウェア・コンポーネントの遠隔制御を可能にし、そこで、接触画面が主要な入力源であり、当該ソフトウェア・コンポーネントが当該接触画面または接触表面様信号により制御可能である。
(接触表面様でない)その信号を、そうしたソフトウェア・コンポーネントを制御するために使用可能な接触表面様信号に変換することにより、そうしたソフトウェア・コンポーネントを制御する方法として1つまたは複数の制御機器を用いることができる。
実施に応じて、多種多様の変換が、制御機器から利用可能な入力信号のカテゴリ、および、被制御機器内のソフトウェア・コンポーネントが応答する信号のカテゴリにとって可能かつ適切である。例示的な変換としては、
−制御機器からのジョイスティック信号を、1つまたは複数の「ページアップ」信号に変換すること、
−内容探索のために、制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った(ことによると、もしあれば、被制御機器の慣性からの入力を交換した)後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−被制御システム内の様信号を交換するために、ボタン様信号および音声信号を有する1つの機器からの接触パッド信号を変換および増強すること、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に(例えば、「下へ」(口頭)を接触表面の模擬された下方のスワイプに)変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に(例えば、「ホーム」(口頭)をHOME_BUTTON_PRESSED_SIGNALに)変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
−仮想接触パッドの視点および大きさを修正するために、画像信号を制御信号に変換すること、および、
−画像信号を2D接触パッド様信号に変換すること、
が挙げられる。
−制御機器からのジョイスティック信号を、1つまたは複数の「ページアップ」信号に変換すること、
−内容探索のために、制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った(ことによると、もしあれば、被制御機器の慣性からの入力を交換した)後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−被制御システム内の様信号を交換するために、ボタン様信号および音声信号を有する1つの機器からの接触パッド信号を変換および増強すること、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に(例えば、「下へ」(口頭)を接触表面の模擬された下方のスワイプに)変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に(例えば、「ホーム」(口頭)をHOME_BUTTON_PRESSED_SIGNALに)変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
−仮想接触パッドの視点および大きさを修正するために、画像信号を制御信号に変換すること、および、
−画像信号を2D接触パッド様信号に変換すること、
が挙げられる。
上記の場合の多くにおいて、1つまたは複数の制御機器からの入力信号は、そうでなければ被制御機器を制御するために用いられる指定された接触表面機器からのものであることになるだろう信号を、交換するかまたはその近くにあるように変換される。当該変換は、全ての場合において、ソフトウェア・コンポーネントが存在することがある、他の物理的機器によるその制御を妨げないが、代わりに、1つまたは複数の制御機器によるソフトウェア・コンポーネントの遠隔制御を可能にすることがある。このような代替の制御器を用いる使用者の望みを示す何らかの事象を検出することにより、当該遠隔制御を初期に可能にすることができる。考えられる事象の例としては、
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。
図7は、図1−6に例解されているとおりの被制御機器を制御するために用いることができる、2つの例示的な運動感知型制御器を示す。1つの好適な実施形態では、運動感知器は制御器内で内部に収容され、そのため明示的に示されていない。制御器のそれぞれの外部アフォーダンスは、格子の後ろにあるマイクロフォン701、アナログ・ジョイスティック702、およびいくつかのボタン703を含む。制御器の別の実施形態は、運動制御器の上面に内蔵された接触パッドを有し、使用者が、滑動し、擦り、軽く叩き、または他の接触に基づく入力を提供することを可能にする。このような遠隔接触パッド機器は、手持ち型制御機器の一部として便利である任意の大きさを有し得るだろう。
図8Aは、被制御機器の上部に位置するウェブカム801、カメラの視界の2D投影を示すウェブカムの視錐台802、およびその視錐台802内に位置する仮想ウィンドウ803を含む入力機器を示す。1つの実施形態では、仮想ウィンドウ803は使用者構成可能な空間であり、その中で活動が接触パッド上で起こるかのように扱われる。言い換えれば、仮想ウィンドウ803は仮想接触パッドとしての役割を果たしている。1つの実施形態では、(使用者の)手指のうち1本以上が追跡される。1本の手指が伸ばされる際には、画像平面内の追跡された位置が2D格子上に投影され、結果として生じる変換された信号が接触画面様信号として被制御機器に提示される。このような接触画面様信号は、接触画面入力用にあらかじめ構成された被制御機器上でアプリケーションを制御することができる。当該手指が伸ばされ、かつ仮想ウィンドウ803内にある際には、当該手指は仮想接触パッドに押し付けられるかのようである。当該手指が引っ込められるか、または仮想ウィンドウ803の外にある際には、当該手指は仮想接触パッドから持ち上げられたかのようである。1つの実施形態では、仮想接触パッド入力が、被制御機器を駆動するために用いられる増強された制御信号を提供するために、運動被制御入力と組み合わされる。この入力方式の組み合わせは、末端使用者からの入力の大範囲の柔軟性を許容する。
手指の代わりに追跡することができるだろう使用者の多くの部分、例えば、手、またはペン、または押下される際にオンであり、かつ押下されない際にオフである、運動被制御機器の先端上にあるLEDがある。この実施形態にとって必須の要素は、被制御機器を駆動するために用いられる制御信号を増強または交換するために用いることができる仮想接触パッドを作成するための、仮想ウィンドウ803の形成およびオブジェクトのカメラに基づく追跡である。
図8Bは、本質的に、仮想接触パッド枠803を作成するために両方の手805で「L」を形成することにより、仮想接触パッドを作成するために用いられる仮想ウィンドウ803の大きさおよび視点を、それにより使用者が設定することができる1つの例示的な方法を示す。1つの実施形態では、枠803の大きさは、幅および高さの間の固定比率を有する長方形として単純に決定され、仮想ウィンドウ803の幅は、使用者の手により形成された「L」の隅の間にある画像平面内のX個の画素における差異に比例するように決定される。その視点は、画像平面内の手902の人差し指および親指の相対的長さに比例するように決定される。
別の実施形態では、当該変換は制御機器上で起こり、その出力信号は被制御機器へ直接的に送信される。好適な一実施形態では、当該被制御機器はネットワーク有効テレビジョンであり、インターネット源から受信される映像を受信しかつ示すか、あるいは、ゲームまたは他のネットワーク化アプリケーションを動作させることができる機器である。図1に示されている例示的な実施形態では、接触感知型入力機器104の画面の画像が表示器103上に示される。その後、使用者109は、接触画面機器について対応する2D位置を指定するために、運動制御器101を画面に向ける。こうした位置の選択は、制御機器の「ダウン・ザ・バレル」照準106に対応する。
図6に示されている本発明の1つの実施形態では、その被制御システムは、接触画面有効アプリケーションを動作させることができる2つの機器601および602を含む。運動制御器607は、各機器601および602の位置に照準し、角座標を保存するために初期に用いられる。運動制御器607は、1つの機器に照準しかつそれをマスタとして標識付けることができ、それは、そのことが表示器上に表示される内容を駆動することに関与することになることを意味する。それ以降、表示器に照準することに由来する信号は、たとえマスタ機器が照準されるものでないとしても、変換されてマスタ機器に単独で送信されることになる。2つの機器間で往復して情報を共有すること、例えば、静的ファイル、または、例えば、(ゲーム内でのような)飛行においてアクセスおよび修正されているグラフィックス要素を含む、任意の種類のデータを転送することについて、多くの可能性が明白である。被制御システム603内の機器の数は2を超えることがあり、1つよりも多くの機器が、表示器601の一部を制御することができることは明らかであり、同じく、1つよりも多くの運動制御器が、全体のシステム603を制御することに関わることがあることも明らかである。
本発明の1つの実施形態は、運動制御器からの感知器信号を、上記に記載されているように用いられる際に、接触表面様信号に変換するための方法である。そのグラフィックス表示器は、(カーソル等の)画面上要素として「被照準位置」を示す。当該被照準位置は、運動機器からの運動信号の2D平面上の点への変換による運動機器の運動を辿る。
制御器の運動信号を画面上の位置に変換するためのいくつかの方法がある。1つの実施形態では、本発明者は、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第12/835,750号に記載されているようなレイ・キャスティング法を用いる。「ダウン・ザ・バレル」照準を適切に実現するためには、2つの主な種類の情報が必要とされる。第一に、世界枠内にある制御器の正確な絶対配向が得られ、そこで、当該世界枠が地球および磁北の重力場の方向に対して定義される。第二に、表示器に対する制御器の基準枠からの対応付けが定義される。この対応付けは、制御器に関する表示器の相対位置、ならびに世界枠に対する表示器の相対回転を含む。この第2組の情報を、初期の設定較正段階をもって得ることができる。これをするための1つの方法は、同時係属中の米国出願整理番号第12/835,750号に記載されており、そこで、使用者は、対応付けを確定するために、制御器で表示画面上の多数の位置を照準する。
1つの実施形態では、当該制御機器は、少なくとも3つの直交加速度計示度、3つの直交ジャイロスコープ示度、および、地球の重力ベクトルに直交する少なくとも1つの測定結果を有するコンパス示度に対応する感知器信号を生成する。制御器が静止している際に、その配向の3つの成分のうち2つを、本出願により参照により組み込まれる、米国特許第7,953,246号に記載されているような加速度計を用いて、重力ベクトルの方向を測定することにより計算することができる。第3の成分は、重力ベクトルの周りにおける回転であり、コンパスから直接的に測定することができる。その配向のこうした直接的な測定結果は、常に利用可能であることになるとは限らず、そのため、ジャイロスコープ感知器は、経時的に3つの軸のそれぞれの周りにおける角速度の正確な測定結果を提供することが理解される。重力およびコンパスからの推定値の間における経時的な配向の変化を計算するために、こうした速度を積分することができる。ジャイロスコープ示度の累積積分は、ある期間にわたり、ドリフトとして知られる誤差を蓄積することになることが留意される。配向の正確な「ダウン・ザ・バレル」推定値を保つためには、重力およびコンパスから利用可能な直接推定値に向かって戻るように配向を定期的に調節することが必要であることになる。実際には、重力およびコンパス示度は、ジャイロスコープ示度よりも低い精度および多くの雑音を有する傾向があり、その配向のそれらの推定においてより少ない正確性を結果的にもたらすが、経時的に蓄積される誤差つまりドリフトを受けない。配向の最も良好な推定値を得るためには、こうした2つの種類のデータを混合することが必要である。この混合を扱うための単純な方法は、重力およびコンパス推定値に向かって少しずつ動かすことにより、その補正値を積分された配向に平滑化することである。カルマン・フィルタ、および、雑音のある信号をフィルタリングしかつ組み合わせるための他の既知の方法を含む、より複雑な方法が、実施者にとって利用可能である。
代替的には、三軸コンパスが制御機器内に存在している場合に、配向の全ての3つの成分をコンパスから計算することができる。別の実施形態では、少なくとも3つの直交示度を有するコンパスがジャイロスコープの代わりに用いられる。十分に正確なコンパスについては、世界枠内の制御器の配向の直接推定値としてその示度を用いることができる。使用者が照準しようとする際に微小振動するカーソルを経験することを防ぐために、多数の示度の出力を平滑化(平均化)することにより、その配向における誤差を低減することができる。
さらに別の実施形態では、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第13/105,863号に記載されているように、表示器に対する定義された関係にある外部カメラ、およびそのカメラに対して可視の制御器上にある光源の使用をもって、制御器に対する表示器の配向および相対位置の両方を連帯的に得てかつ経時的に更新することができる。
制御器の配向および相対位置を所与として、レイ・キャスティングは、制御器にて生じかつ表示器とその配向に沿って整列した光線間の交点を見つける簡単な操作を提供する。1つの実施形態では、より限られた感知器のみが利用可能である際に、相対照準が「ダウン・ザ・バレル」照準の代わりに用いられる。この実施形態では、運動制御器からのジャイロスコープ示度が、被照準位置を生成するために画面上のカーソルの位置における相対変化に直接的に対応付けされ、加速度計、コンパス感知器、LED、または外部カメラを有する必要性を除去する。
図9Aは、制御が、制御機器901を用いてこの制御を可能にするために、どのように本発明の1つの実施形態にて流れるかを明示する。被制御機器904は、プログラムまたはソフトウェア・モジュールを動作させる性能を含む。実施に応じて、被制御機器904は、被制御機器904内、または接触画面入力機器910内、またはその両方で見つかることがある、1つまたは複数の処理ユニットを含む。1つの実施形態では、処理ユニットは接触画面入力機器内に位置する。別の実施形態では、被制御機器904は、処理ユニットおよびソフトウェア・コンポーネントを包含するテレビジョンである。
図9Aに示されているように、制御機器901からの信号は、被制御機器904内で動作するソフトウェア・コンポーネント905を制御するために用いられる。ソフトウェア・コンポーネント905は、特定の種類または識別可能なカテゴリの信号を傾聴するように構成される。例としては、
−接触画面様信号
−ボタン様信号
−ジョイスティック様信号
−(例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の)テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。
−接触画面様信号
−ボタン様信号
−ジョイスティック様信号
−(例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の)テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。
各場合において、信号の源は未知であることがあるが、被制御機器内で動作するソフトウェア・コンポーネント905は、特定の種類または識別可能なカテゴリの信号を「傾聴」するか、またはそうでなければそれにより制御されるように構成される。本明細書にて用いられているように、「X様」である信号は、あたかもその機器が入力機器Xにより制御されるが、必ずしも機器Xから生じていないかのようにソフトウェア・コンポーネントを動作させる機器の挙動変化を引き起こすソフトウェア・コンポーネントにより受信される信号と称される。
本発明の1つの態様は、
−示されたカテゴリの物理的機器がない場合に、かつ/または、
−示されたカテゴリの物理的機器に加えて、かつ/または、
−示されたカテゴリの物理的機器の代替の機構として、
1つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。
−示されたカテゴリの物理的機器がない場合に、かつ/または、
−示されたカテゴリの物理的機器に加えて、かつ/または、
−示されたカテゴリの物理的機器の代替の機構として、
1つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。
一例として、本発明の1つの実施形態では、本発明は、被制御機器904上で動作する複数のソフトウェア・コンポーネントの遠隔制御を可能にし、そこで、接触画面機器910が主要な入力源であり、ソフトウェア・コンポーネント905が接触画面機器910またはそこからの接触表面様信号により制御可能である。
1つの実施形態によれば、(接触表面様でない)その信号907を、そうしたソフトウェア・コンポーネント905を制御するために使用可能な接触表面様信号908に変換することにより、ソフトウェア・コンポーネント905を制御するために制御機器901を用いることができる。当該実施形態では、変換はモジュール906(例えば、ソフトウェア・モジュールまたは回路モジュール)により行われ、本明細書において変換器と称され、信号907を被制御機器904に使用可能にする。
別の実施形態では、変換器906が信号に対して追加の変換を行うことができる。変換は、具体的には、被制御機器904上で動作するソフトウェア・コンポーネントおよびアプリケーションを制御するために使用可能な種類の出力信号への、(いくつかの実施形態では、外部カメラに部分的に由来する信号を含むが、被制御機器からの信号を依然として要求する)制御機器901に直接的または間接的に由来する入力信号に関係している。
実施に応じて、多種多様の変換が、制御機器から利用可能な入力信号のカテゴリ、および、被制御機器内のソフトウェア・コンポーネントが応答する信号のカテゴリにとって可能かつ適切である。例示的な変換としては、
−制御機器からのジョイスティック信号を、1つまたは複数の「ページアップ」信号に変換すること、
−制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った(ことによると、もしあれば、被制御機器の慣性からの入力を交換した)後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−そうした接触表面様信号が、画面上指向性制御器の接触を模擬する場合、
−異なるジョイスティックの方向が、異なる接触表面の位置の模擬を結果的にもたらす場合、
−その接触表面様信号が、接触表面機器の行程を模擬する一連の接触信号である場合、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に(例えば、「下へ」(口頭)を接触表面の模擬された下方のスワイプに)変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に(例えば、「ホーム」(口頭)をHOME_BUTTON_PRESSED_SIGNALに)変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
が挙げられる。
−制御機器からのジョイスティック信号を、1つまたは複数の「ページアップ」信号に変換すること、
−制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った(ことによると、もしあれば、被制御機器の慣性からの入力を交換した)後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−そうした接触表面様信号が、画面上指向性制御器の接触を模擬する場合、
−異なるジョイスティックの方向が、異なる接触表面の位置の模擬を結果的にもたらす場合、
−その接触表面様信号が、接触表面機器の行程を模擬する一連の接触信号である場合、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に(例えば、「下へ」(口頭)を接触表面の模擬された下方のスワイプに)変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に(例えば、「ホーム」(口頭)をHOME_BUTTON_PRESSED_SIGNALに)変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
が挙げられる。
上記の場合の多くにおいて、制御機器901からの入力信号は被制御機器904内で変換される。当該変換は、全ての場合において、他の物理的機器(例えば、接触画面機器910)によるソフトウェア・コンポーネントの制御を妨げないが、代わりに、制御機器904によるソフトウェア・コンポーネントの遠隔制御を可能にすることがある。このような代替の制御器を用いる使用者の望みを示す何らかの事象を検出することにより、当該遠隔制御を初期に可能にすることができる。考えられる事象の例としては、
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。
別の実施形態では、当該変換は制御機器上で起こり、その出力信号は被制御機器へ直接的に送信される。1つの実施形態によれば、当該被制御機器はネットワーク有効テレビジョンであり、インターネット源から受信される映像を受信しかつ示すか、あるいは、ゲームまたは他のネットワーク化アプリケーションを動作させることができる機器である。図1に示されている実施形態では、接触感知型入力機器104の画面の画像が表示器103上に示される。その後、使用者109は、接触画面機器について対応する2D位置107を指定するために、運動制御器101を画面103に向ける。こうした位置の選択は、制御機器101の「ダウン・ザ・バレル」照準106に対応する。
本発明の1つの実施形態は、運動制御器からの感知器信号を、本明細書に記載されているように用いられる際に、接触表面様信号に変換するための方法である。そのグラフィックス表示器は、(カーソル等の)画面上要素として「被照準位置」を示す。当該被照準位置は、運動機器からの運動信号の2D平面上の点への変換による運動機器の運動を辿る。
制御器の運動信号を画面上の位置に変換するためのいくつかの方法がある。1つの実施形態では、本発明者は、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第12/835,750号に記載されているようなレイ・キャスティング法を用いる。「ダウン・ザ・バレル」照準を適切に実現するためには、2つの主な種類の情報が必要とされる。第一に、世界枠内にある制御器の正確な絶対配向が得られ、そこで、当該世界枠が地球および磁北の重力場の方向に対して定義される。第二に、表示器に対する制御器の基準枠からの対応付けが定義される。この対応付けは、制御器に関する表示器の相対位置、ならびに世界枠に対する表示器の相対回転を含む。この第2組の情報を、初期の設定較正段階をもって得ることができる。これをするための1つの方法は、同時係属中の米国出願整理番号第12/835,750号に記載されており、そこで、使用者は、対応付けを確定するために、制御器で表示画面上の多数の位置を照準する。
1つの実施形態では、当該制御機器は、少なくとも3つの直交加速度計示度、3つの直交ジャイロスコープ示度、および、地球の重力ベクトルに直交する少なくとも1つの測定結果を有するコンパス示度に対応する感知器信号を生成する。制御器が静止している際に、その配向の3つの成分のうち2つを、本出願により参照により組み込まれる、米国特許第7,953,246号に記載されているような加速度計を用いて、重力ベクトルの方向を測定することにより計算することができる。第3の成分は、重力ベクトルの周りにおける回転であり、コンパスから直接的に測定することができる。その配向のこうした直接的な測定結果は、常に利用可能であることになるとは限らず、そのため、ジャイロスコープ感知器は、経時的に3つの軸のそれぞれの周りにおける角速度の正確な測定結果を提供することが理解される。重力およびコンパスからの推定値の間における経時的な配向の変化を計算するために、こうした速度を積分することができる。ジャイロスコープ示度の累積積分は、ある期間にわたり、ドリフトとして知られる誤差を蓄積することになることが留意される。配向の正確な「ダウン・ザ・バレル」推定値を保つためには、重力およびコンパスから利用可能な直接推定値に向かって戻るように配向を定期的に調節することが必要であることになる。実際には、重力およびコンパス示度は、ジャイロスコープ示度よりも低い精度および多くの雑音を有する傾向があり、その配向のそれらの推定においてより少ない正確性を結果的にもたらすが、経時的に蓄積される誤差つまりドリフトを受けない。配向の最も良好な推定値を得るためには、こうした2つの種類のデータを混合することが必要である。この混合を扱うための単純な方法は、重力およびコンパス推定値に向かって少しずつ動かすことにより、その補正値を積分された配向に平滑化することである。カルマン・フィルタ、および、雑音のある信号をフィルタリングしかつ組み合わせるための他の既知の方法を含む、より複雑な方法が、実施者にとって利用可能である。
代替的には、三軸コンパスが制御機器内に存在している場合に、配向の全ての3つの成分をコンパスから計算することができる。別の実施形態では、少なくとも3つの直交示度を有するコンパスがジャイロスコープの代わりに用いられる。十分に正確なコンパスについては、世界枠内の制御器の配向の直接推定値としてその示度を用いることができる。使用者が照準しようとする際に微小振動するカーソルを経験することを防ぐために、多数の示度の出力を平滑化(平均化)することにより、その配向における誤差を低減することができる。
さらに別の実施形態では、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第13/105,863号に記載されているように、表示器に対する定義された関係にある外部カメラ、およびそのカメラに対して可視の制御器上にある光源の使用をもって、制御器に対する表示器の配向および相対位置の両方を連帯的に得てかつ経時的に更新することができる。
制御器の配向および相対位置を所与として、レイ・キャスティングは、制御器にて生じかつ表示器とその配向に沿って整列した光線間の交点を見つける簡単な操作を提供する。1つの実施形態では、より限られた感知器のみが利用可能である際に、相対照準が「ダウン・ザ・バレル」照準の代わりに用いられる。この実施形態では、運動制御器からのジャイロスコープ示度が、被照準位置を生成するために画面上のカーソルの位置における相対変化に直接的に対応付けされ、加速度計、コンパス感知器、LED、または外部カメラを有する必要性を除去する。
次に、我々は、1つの実施形態により接触表面様信号を生成するために、こうした2D交点、被照準位置を、制御機器からの他の信号(例えば、行動信号)とどのように組み合わせるかを記載する。
下記に記載されている操作モードの詳細は、それらの応用において制限的ではなく例解的であるように意図されている。ボタンを押さえることが記載されている場合には、トリガを押下すること、あるいは、接触、光、または容量性の感知器を覆うこと等の同様の方法を、代わりに用いることができる。軸の周りにおける回転が記載されている場合には、入力機器を与えられた使用者にとってより快適または自然であるように感じられれば、軸または回転方向の異なる選択を用いることができる。
1つの実施形態では、表示機器上の被照準位置は、接触表面信号を生成する際に、接触表面入力機器上のその対応する位置に戻って対応付けられる。接触画面機器を有しない実施形態については、表示器上の2D被照準位置が、ソフトウェア・コンポーネント用の接触様信号を生成するために直接的に用いられる。プログラムとの使用者の対話の追加の変換および方法は、下記のいくつかの一部を含む代替の実施形態にて用いられることになる:
ボタンが押さえられる間のグラフィックスオーバーレイおよび解放時の選択:ボタンを押下および押さえることにより、表示器オーバーレイ・ソフトウェア・コンポーネント609により生成および表示される、様々なグラフィックス要素(ボタン、リスト、テキスト、ボックス等…)の出現が引き起こされる。ボタンの解放時には、被照準位置にて表される任意のグラフィックス要素がその機能を起動され、グラフィックスオーバーレイが消滅する。
音量制御:制御機器上のボタンを押下および押さえることにより、音量変更モードが入力される。制御器の先端を(上から見て、見下ろす際に)右に回転させることにより、音量が増加する。制御器の先端を(上から見て、見下ろす際に)左に回転させることにより、音量が減少する。
左および右にスクロールする:制御機器上のボタンを押下および押さえることにより、表示されたグラフィックス要素の位置の変化が引き起こされる。運動制御器の先端の水平運動(すなわち、上から見た際の、制御器の先端の左/右運動)により、グラフィックス要素の水平運動が引き起こされる。
上および下にスクロールする:ボタンを押下および押さえることにより、表示されたグラフィックス要素の位置の変化が引き起こされる。運動制御器の先端の垂直運動(すなわち、側面から見た際の、制御器の先端の上/下運動)により、グラフィックス要素の垂直運動が引き起こされる。
身振り制御:使用者が認識可能な種類の運動をする場合に、「ホーム・ボタンを押下する」、「スクロール・アップする」、「変更を保存する」、「取り消す」、または、ソフトウェア・コンポーネントについて前もって定義された同様の認識可能な信号等の、ソフトウェアの事象または要求について対応する模擬信号を生成することができる。
接触に対する身振り制御:使用者が認識可能な種類の運動をする場合に、あらかじめ定義された一連の被照準位置に対応する一連の接触表面信号を生成することができる。アプリケーション、または、使用者による以前の一連の生成された接触信号のどちらかにより、当該一連の位置を定義することができるだろう。例えば、使用者は、上記に詳述されている単一接触法または多重接触法のうち1つを用いて一連の被照準位置を指定し、その後、その一連が一例の運動と同様の運動、またはそれらが提供する一組の運動と関連するように指定することができるだろう。
音声制御:使用者が認識可能な可聴信号を起こす場合に、「ホーム・ボタンを押下する」、「スクロール・アップする」、「変更を保存する」、「取り消す」、または、ソフトウェア・コンポーネントについて前もって定義された同様の認識可能な信号等の、対応する模擬されたソフトウェアの事象または要求の信号を生成することができる。
音声量制御:被制御機器の出力音量を制御するために、使用者からの音声入力の音量を用いる。例えば、その2つのデシベル水準を整合させることを決定することができるだろう。
テキスト入力に対する音声:被制御機器上で動作するソフトウェア・コンポーネントにテキスト入力を提供するか、またはそれを交換するための、制御機器からの音声信号の変換。1つの実施形態では、当該変換が、Speed APIに対するGoogle Androidのテキストのように、Speech APIに対する既存のテキストを用いて実施される。
キーボード様入力に対する運動:被制御機器上で動作するソフトウェア・コンポーネントにテキスト入力を提供する接触入力を提供または交換するための、制御機器からの運動制御信号の変換。1つの実施形態では、当該変換は、ボタン信号および運動信号から、画面上キーボード上に示されるキーの選択を模擬する接触表面様信号へのものである。
テキスト入力に対する運動:別の実施形態では、当該変換は、選択された単語の要素を表す画面上記号に被照準位置を通すことによる、ボタン信号および運動信号から、単語の描画を模擬する接触表面様信号へのものである。曖昧性解消法が必要とされる。1つの実施形態では、Swype等の、既存のソフトウェア・コンポーネントが用いられる。
図9Bは、本発明の1つの実施形態による機能ブロック線図を示す。当該実施形態は、制御機器からの信号の、プロファイルに基づく被制御機器上のソフトウェア・コンポーネントを制御するのに適切な信号への変換の動的選択を含み、そこで:
−プロファイルが文脈および変換を含み、
−文脈が、その中で当該変換が適用されるべきである識別可能な状況であり、
−変換が、上記に記載されているとおりである。
−プロファイルが文脈および変換を含み、
−文脈が、その中で当該変換が適用されるべきである識別可能な状況であり、
−変換が、上記に記載されているとおりである。
プロファイルは、指定された文脈内の変換の動的適用をさらに表す。すなわち、その文脈が適用される場合に、被制御機器から感知器信号を取り、変換を適用し、結果として生じる信号を被制御機器上で動作するソフトウェア・コンポーネントに提供するということである。
当該文脈の例としては、下記のものが挙げられるが、それらに限定されない:
−識別されたグラフィックス使用者インターフェース要素(ウィンドウ、画面、ボックス、ボタン、スライダ等…)の状態
プロファイルの例:
IF(スクロール・バー要素が現在表示されている) THEN 制御機器からのジョイスティック信号を、スクロール・アップまたはスクロール・ダウンを引き起こす接触表面信号に変換する。
プロファイルの例:
IF(スクロール・バー要素が現在表示されている) THEN 制御機器からのジョイスティック信号を、スクロール・アップまたはスクロール・ダウンを引き起こす接触表面信号に変換する。
−活動中のソフトウェアの処理
プロファイルの例:
IF(フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している) THEN 運動感知器信号を、ズーム・インまたはズーム・アウトを引き起こす接触表面信号に変換する。
または、
IF(フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している) THEN 運動感知器信号を、ズーム・インまたはズーム・アウトを明示的に表す接触高水準信号に変換する。
IF(何らかのゲームが現在動作している) THEN (制御機器からの運動信号を、被制御機器の模擬運動信号に)変換する。
プロファイルの例:
IF(フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している) THEN 運動感知器信号を、ズーム・インまたはズーム・アウトを引き起こす接触表面信号に変換する。
または、
IF(フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している) THEN 運動感知器信号を、ズーム・インまたはズーム・アウトを明示的に表す接触高水準信号に変換する。
IF(何らかのゲームが現在動作している) THEN (制御機器からの運動信号を、被制御機器の模擬運動信号に)変換する。
−制御機器の検出
プロファイルの例:
IF(制御機器が検出されかつ任意の他の状態である) THEN 前方の押しを表す制御機器のジョイスティック信号を、上方行程を模擬する接触表面信号に変換する。
プロファイルの例:
IF(制御機器が検出されかつ任意の他の状態である) THEN 前方の押しを表す制御機器のジョイスティック信号を、上方行程を模擬する接触表面信号に変換する。
制御機器の任意の運動の検出:
プロファイルの例:
IF(制御機器の運動が検出された)
THEN(AをBに変換する)
IF(制御機器の運動が検出されかつ他の文脈が検出された)
THEN(AをBに変換する)
IF(テキスト入力用の表示グラフィックス要素が選択される)
THEN 制御機器からの音声信号をテキスト入力に変換する。
IF(制御機器が垂直配向にて保持される)
THEN 制御機器からの音声信号をテキスト入力に変換する。
プロファイルの例:
IF(制御機器の運動が検出された)
THEN(AをBに変換する)
IF(制御機器の運動が検出されかつ他の文脈が検出された)
THEN(AをBに変換する)
IF(テキスト入力用の表示グラフィックス要素が選択される)
THEN 制御機器からの音声信号をテキスト入力に変換する。
IF(制御機器が垂直配向にて保持される)
THEN 制御機器からの音声信号をテキスト入力に変換する。
1つの実施形態では、プロファイルはプログラミング・コードとして実装され、それを(ことによると、編集ステップおよび結合ステップの後に)、被制御機器または制御機器上で実行することができる。
その好適な実施形態では、プロファイルはコンピュータ・データとして表され、同様に、容易に、データベースに保存、複製、編集、修正、入力されるか、または電子的に送信される。この場合では、当該プロファイルの機能は、当該プロファイルをロードすることができる追加のソフトウェア・コンポーネント611により実行される。
本発明の1つの実施形態によれば、図10は、制御機器(例えば、運動感知型機器)が、被制御機器と対話するためにどのように用いられているかという流れ図つまり工程1000を示し、そこで、当該制御機器からの信号は、当該被制御機器にとって容認可能な信号に対応付けられる。上記に記載されているように、当該対応付けまたは変換をプロファイルに従って行うことができる。実施に応じて、ソフトウェアまたはソフトウェアおよびハードウェアの組み合わせにおいて、工程1000を実施することができる。
1002において、工程1000は、制御機器(例えば、iPhone)が被制御機器(例えば、スマートTV)と通信することができるかどうかを確認する。WiFI、Bluetooth(登録商標)、または赤外線等の、多くの方法の1つにおいて当該通信を行うことができる。その目的は、制御機器からの信号を被制御機器により受信することができることを保証することである。工程1000は、制御機器からの信号を被制御機器により受信することができる際に進むことができる。1004において、制御機器の使用者は制御機器をあちこちに動かす。上記に記載されているように、制御機器は一組の感知器を含み、それらのうち少なくともいくつかは運動信号を生成する慣性感知器である。1006において、制御機器は、制御機器の配向の測定値等について較正され、一方で、当該機器は被制御機器の表示器に照準される。従って、ダウン・ザ・バレル照準を提供することが初期に可能である。
感知器信号は変換により変換される。実施に応じて、当該変換を異なる方法で実施することができ、そのいくつかは上記に記載されてきた。当該変換のための機能のうち1つは、感知器信号を(行動信号と共に)、被制御機器がそのために設計される制御信号と実質的に同様に変換することである。例えば、当該被制御機器は、接触画面機器からの制御信号により制御されるか、または接触画面機器からの入力信号を受信するように設計される。感知器信号の一部または全部を、接触画面機器からの制御信号と実質的に同様に変換するように、当該変換を1つの実施形態において設計することができる。結果として、被制御機器を制御するために制御機器を用いることができる。
表示器にかなり正確に照準するために、表示器の2D表面上の制御機器の絶対位置が、基準枠に対して(例えば、表示器に対して)1010にて計算される。その一方で、制御機器は他の信号を生成することもできる。典型的には、1012において命令および入力を受信するように、制御機器を使用者と連動させることができる。当該機器は、行動を起動する1つ以上のキーまたはボタンを含むこともある。従って、制御機器内の感知器からの感知器信号の他に、1014において制御機器からのものであることもある行動信号がある。1008と同様に、当該行動信号は、被制御機器が1016において受容することができる行動信号と実質的に同様に変換される。1つの実施形態では、感知器信号および行動信号の両方は、使用者がどのように被制御機器を制御することを望むかに応じて、同時に被制御機器に送信される。1010からの照準位置と共に、行動信号は1018において被制御機器に挙動変化を引き起こすことができる。
例えば、使用者は少数の項目を有するメニューをスクロールする必要があり、そこで、当該メニューは被制御機器上に表示される。従って、どの項目が照準されているかを決定するために、表示器上の制御機器の照準位置を決定することが必要である。制御機器上の行動(例えば、クリック)により、制御機器が、被制御機器により受容可能な行動に変換されることになる行動信号を発信する。その決定された位置をもって、被制御機器は、メニュー内のどの項目が選択されており、かつ起動されることになるかを決定するように構成される。
本発明の上記の記載は、制御機器からの信号の、被制御機器上で動作するソフトウェア・コンポーネントへの変換に注目してきた。ソフトウェア・コンポーネントからの出力を、使用者にそれらを表示する前に追加的に変更することが望ましいことがある。いくつかの被制御機器については、新たな制御器を与えられる使用者経験を改善するために、出力データの追加の情報を用いることができるだろう。グラフィックスデータの追加の変換の例としては、(ボタン、スライダ、またはメニュー等の)追加の表示された制御子を、表示器の未使用部分に加えることが挙げられる。縦表示モードにおけるスマートフォン等の機器から生じるグラフィックスデータについては、出力接触表面信号において用いられる被照準点を生成するために、追加の領域を使用者に提供するために用いることができるテレビジョン画面または監視器等の表示器内に、大きい未使用領域があることがある。加えて、グラフィックス要素を、接触感知型機器の出力から除去し、かつ(主表示器の側面等に対する)新たな構成内に配置するか、または完全に除去するかのどちらかをすることができるだろう。画面の底部に仮想ゲームパッドを有するゲーム・アプリケーションを考慮されたい。入力制御器がジョイスティックを有する場合には、使用者に仮想ジョイパッドを表示する必要性が全くないことがあり、使用者にとってより明瞭な画像を作り、一方で、制御機器の入力ジョイスティック信号を、最初の接触表面機器上の制御子の位置に対応する接触表面信号に対応付けることを依然として可能にする。
本発明は、好ましくはソフトウェアにおいて実施されるが、ハードウェアまたはハードウェアおよびソフトウェアの組み合わせにおいて実施することもできる。本発明を、コンピュータ可読媒体上のコンピュータ可読コードとして具現することもできる。当該コンピュータ可読媒体は、その後コンピュータ・システムにより読み取ることができるデータを保存することができる任意のデータ記憶機器である。当該コンピュータ可読媒体の例としては、読み取り専用メモリ、ランダム・アクセス・メモリ、CD−ROM、DVD、磁気テープ、光学式データ記憶機器、および搬送波が挙げられる。当該コンピュータ可読媒体を、当該コンピュータ可読コードが配布されるように保存および実行されるように、ネットワーク結合型コンピュータ・システムを通じて配布することもできる。
本発明は、ある程度の具体性をもって十分に詳細に記載されてきた。本実施形態の開示がほんの一例として行われてきたことと、特許請求されているとおりの本発明の精神および範囲から逸脱することなく、部品の配列および組み合わせにおける数多くの変更に頼ることができることとが、当業者に理解される。従って、本発明の範囲は、先の実施形態の記載ではなく、添付の請求の範囲により定義される。
Claims (15)
- 運動に基づく制御のためのシステムであって、前記システムは、
接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも1つのアプリケーションを含む被制御機器と、
人間の運動に応答する感知器信号を生成する複数の感知器を含む入力機器と、
前記入力機器からの前記感知器信号を第2組の信号に変換することにより、前記入力機器が前記被制御機器上で前記少なくとも1つのアプリケーションを制御することを促進するように構成された処理ユニットであって、前記第2組の信号は、前記接触画面機器からの前記入力信号と実質的に同様のいくつかの信号を含む、処理ユニットと、
を備える、システム。 - 前記入力機器が、映像ゲームと対話するために用いられる手持ち型運動制御器であり、かつ、慣性感知器、磁力計、接触パッド、一組のボタン、トリガ、スピーカ、およびジョイスティックのうち少なくとも1つを含む、請求項1に記載のシステム。
- 前記処理ユニットが、非接触表面様信号である前記感知器信号から、接触表面様信号である前記第2組の信号に変換するように提供される変換を実行するように構成される、請求項1に記載のシステム。
- 前記処理ユニットが前記被制御機器内に含まれ、かつ第1組の信号が前記被制御機器内で遠隔で受信される、請求項3に記載のシステム。
- 前記被制御機器が少なくとも2つの別個の機器を含み、第1の機器が表示器および第1の処理ユニットを含み、第2の機器が少なくとも第2の処理ユニットを含み、グラフィックス要素または他の種類のデータが、前記入力機器との使用者による対話に応答して、前記第1の機器および前記第2の機器の間で転送される、請求項1に記載のシステム。
- 前記入力機器が運動感知型制御器であり、かつ、前記第1の機器および前記第2の機器の位置が、前記運動感知型制御器がそれらに照準しかつそれらの角座標を記録することにより登録される、請求項5に記載のシステム。
- 前記接触画面機器が、タブレット、スマートフォン、および接触画面入力要素を有する電子機器のうち1つであり、前記被制御機器が、テレビジョン、監視器、投影グラフィックス・システム、および表示器を有する計算機器のうち1つであり、前記入力機器が、前記被制御機器とは異なりかつ別個である接触画面機器を含み、前記入力機器からの接触画面入力を含む前記感知器信号が、前記被制御機器に無線で送信される、請求項1に記載のシステム。
- 前記感知器信号が、前記被制御機器を制御するために前記第2組の信号にさらに変換される前に運動に基づく身振りに最初に変換され、前記入力機器からの前記入力信号に応答する前記被制御機器内で動作する少なくとも1つのアプリケーションの身振りに基づく制御を可能にする、請求項7に記載のシステム。
- 前記入力機器が、前記被制御機器の挙動を制御するために、前記入力機器と共に用いられる空中の仮想2D入力領域を作成するために用いられる、請求項1に記載のシステム。
- 前記仮想2D入力領域上における接触の追跡された位置が2D格子上に投影され、前記感知器信号を含む組み合わされた信号を結果としてもたらし、かつ、前記組み合わされた信号が変換され、前記被制御機器上で前記少なくとも1つのアプリケーションを制御することができる接触画面様信号として前記被制御機器に提示される、請求項9に記載のシステム。
- 被制御機器の運動に基づく制御のための方法であって、前記方法は、
入力機器から制御信号を生成することであって、前記制御信号は、人間の運動に応答する複数の感知器からの感知器信号を含むことと、
接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも1つのアプリケーションを含む被制御機器により、前記制御信号が受信されるようにすることと、
前記入力機器からの前記制御信号を、前記接触画面機器からの前記入力信号と実質的に同様のいくつかの信号を含む第1組の信号に変換することと、
前記被制御機器を前記制御信号に応答させることと、
を備える、方法。 - 前記入力機器が、前記被制御機器の挙動を制御するために、前記入力機器と共に用いられる空中の仮想2D入力領域を作成するために用いられる、請求項11に記載の方法。
- 前記仮想2D入力領域上における接触の追跡された位置が2D格子上に投影され、前記制御信号のうち少なくとも一部を結果としてもたらし、かつ、前記制御信号が変換され、前記被制御機器上で前記少なくとも1つのアプリケーションを制御することができる接触画面様信号として前記被制御機器に提示される、請求項12に記載の方法。
- 前記入力機器が、慣性感知器、磁力計、接触パッド、一組のボタン、トリガ、スピーカ、およびジョイスティックのうち少なくとも1つを含む手持ち型運動制御器である、請求項11に記載の方法。
- 前記入力機器からの前記制御信号を、いくつかの信号を含む第1組の信号に変換することが、非接触表面様信号である前記制御信号から、接触表面様信号である前記第1組の信号に変換するための変換を実行するように構成された処理ユニット内で行われる、請求項14に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161500581P | 2011-06-23 | 2011-06-23 | |
US61/500,581 | 2011-06-23 | ||
US13/309,326 US20120208639A1 (en) | 2006-07-14 | 2011-12-01 | Remote control with motion sensitive devices |
US13/309,326 | 2011-12-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013008365A true JP2013008365A (ja) | 2013-01-10 |
Family
ID=46458191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012137928A Pending JP2013008365A (ja) | 2011-06-23 | 2012-06-19 | 運動感知型機器を用いる遠隔制御 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2538309A3 (ja) |
JP (1) | JP2013008365A (ja) |
CN (1) | CN102830795B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015528359A (ja) * | 2012-09-17 | 2015-09-28 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | 三次元物体上の注視点決定方法及び装置 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2712441B1 (en) | 2011-06-05 | 2020-09-23 | Apple Inc. | Systems and methods for displaying notifications received from multiple applications |
WO2014143776A2 (en) | 2013-03-15 | 2014-09-18 | Bodhi Technology Ventures Llc | Providing remote interactions with host device using a wireless device |
CN103218043A (zh) * | 2013-03-28 | 2013-07-24 | 天脉聚源(北京)传媒科技有限公司 | 一种控制取消的方法及装置 |
CN104216603B (zh) * | 2013-05-31 | 2019-01-15 | 联想(北京)有限公司 | 一种显示方法和电子设备 |
CN103439127B (zh) * | 2013-07-18 | 2016-02-03 | 深圳市宇恒互动科技开发有限公司 | 惯性输入装置运动质量的测量方法、终端和系统 |
CN105324736B (zh) * | 2013-07-23 | 2018-09-11 | 英特尔公司 | 触摸式和非触摸式用户交互输入的技术 |
US11343335B2 (en) | 2014-05-29 | 2022-05-24 | Apple Inc. | Message processing by subscriber app prior to message forwarding |
EP3195098A2 (en) | 2014-07-21 | 2017-07-26 | Apple Inc. | Remote user interface |
US9547419B2 (en) | 2014-09-02 | 2017-01-17 | Apple Inc. | Reduced size configuration interface |
CN104244059A (zh) * | 2014-09-25 | 2014-12-24 | 苏州乐聚一堂电子科技有限公司 | 活动感应远程音视频互动系统 |
US10254911B2 (en) * | 2015-03-08 | 2019-04-09 | Apple Inc. | Device configuration user interface |
US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
US10887193B2 (en) | 2018-06-03 | 2021-01-05 | Apple Inc. | User interfaces for updating network connection settings of external devices |
CN109407823B (zh) * | 2018-08-16 | 2020-10-20 | 上海飞智电子科技有限公司 | 电子装置以及触控系统 |
KR102393717B1 (ko) | 2019-05-06 | 2022-05-03 | 애플 인크. | 전자 디바이스의 제한된 동작 |
DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
US11477609B2 (en) | 2019-06-01 | 2022-10-18 | Apple Inc. | User interfaces for location-related communications |
US11481094B2 (en) | 2019-06-01 | 2022-10-25 | Apple Inc. | User interfaces for location-related communications |
CN113365125A (zh) * | 2021-05-31 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 终端的控制方法、装置、终端和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06326887A (ja) * | 1993-05-14 | 1994-11-25 | Sony Corp | コントロールシステム |
JP2004310528A (ja) * | 2003-04-08 | 2004-11-04 | Mitsumi Electric Co Ltd | 入力装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US20110044501A1 (en) | 2006-07-14 | 2011-02-24 | Ailive, Inc. | Systems and methods for personalized motion control |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
KR20140061551A (ko) * | 2007-09-18 | 2014-05-21 | 톰슨 라이센싱 | 셋톱 박스를 위한 사용자 인터페이스 |
KR101564785B1 (ko) * | 2009-09-30 | 2015-10-30 | 엘지전자 주식회사 | 방송 수신 장치의 방송 가이드 화면 제어 방법 및 장치 |
-
2012
- 2012-06-19 JP JP2012137928A patent/JP2013008365A/ja active Pending
- 2012-06-25 EP EP12173321.6A patent/EP2538309A3/en not_active Withdrawn
- 2012-06-25 CN CN201210210662.2A patent/CN102830795B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06326887A (ja) * | 1993-05-14 | 1994-11-25 | Sony Corp | コントロールシステム |
JP2004310528A (ja) * | 2003-04-08 | 2004-11-04 | Mitsumi Electric Co Ltd | 入力装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015528359A (ja) * | 2012-09-17 | 2015-09-28 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | 三次元物体上の注視点決定方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2538309A3 (en) | 2013-10-09 |
CN102830795B (zh) | 2016-08-03 |
CN102830795A (zh) | 2012-12-19 |
EP2538309A2 (en) | 2012-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9007299B2 (en) | Motion control used as controlling device | |
JP2013008365A (ja) | 運動感知型機器を用いる遠隔制御 | |
US20120208639A1 (en) | Remote control with motion sensitive devices | |
US11221730B2 (en) | Input device for VR/AR applications | |
US10852913B2 (en) | Remote hover touch system and method | |
CN108475120B (zh) | 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 | |
JP2022540315A (ja) | 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース | |
US8988342B2 (en) | Display apparatus, remote controlling apparatus and control method thereof | |
US20140145955A1 (en) | Smart air mouse | |
US20120086725A1 (en) | System and Method for Compensating for Drift in a Display of a User Interface State | |
KR20130142824A (ko) | 원격 제어 장치 및 그 제어 방법 | |
WO2016097841A2 (en) | Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback | |
US11907448B2 (en) | Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment | |
CN104220962A (zh) | 利用触摸手势的手势仿真的设备的命令 | |
EP2538308A2 (en) | Motion-based control of a controllled device | |
US20170371432A1 (en) | Integrated free space and surface input device | |
KR101339985B1 (ko) | 원격 제어 장치, 디스플레이 장치 및 그 제어 방법 | |
US20120062477A1 (en) | Virtual touch control apparatus and method thereof | |
Chen et al. | An integrated framework for universal motion control | |
Tsuchida et al. | TetraForce: a magnetic-based interface enabling pressure force and shear force input applied to front and back of a smartphone | |
Bharath et al. | Tracking method for human computer interaction using Wii remote | |
KR101219292B1 (ko) | 표시부를 구비한 핸드 헬드 기기 및 상기 표시부에 표시되는 객체를 탐색하는 방법 | |
Nguyen | 3DTouch: Towards a Wearable 3D Input Device for 3D Applications | |
CN117398676A (zh) | 信息处理装置、方法、计算机程序和系统 | |
CN113434049A (zh) | 一种基于终端的鼠标模拟方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140311 |