JP2007509448A - 加速度計を用いたユーザインタフェース装置および方法 - Google Patents

加速度計を用いたユーザインタフェース装置および方法 Download PDF

Info

Publication number
JP2007509448A
JP2007509448A JP2006536917A JP2006536917A JP2007509448A JP 2007509448 A JP2007509448 A JP 2007509448A JP 2006536917 A JP2006536917 A JP 2006536917A JP 2006536917 A JP2006536917 A JP 2006536917A JP 2007509448 A JP2007509448 A JP 2007509448A
Authority
JP
Japan
Prior art keywords
user interface
interface device
free space
pointing device
space pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006536917A
Other languages
English (en)
Inventor
マシュー・ジー・リバティー
ダニエル・エス・シンプキンス
Original Assignee
ヒルクレスト・ラボラトリーズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヒルクレスト・ラボラトリーズ・インコーポレイテッド filed Critical ヒルクレスト・ラボラトリーズ・インコーポレイテッド
Publication of JP2007509448A publication Critical patent/JP2007509448A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)

Abstract

本発明によるシステムおよび方法は、自由空間ポインティング装置、および、自由空間ポインティング装置の動きのユーザインタフェースコマンドへの、例えばカーソルの動きへの正確な変換を提供する自由空間ポインティングのための方法を提供することによって、これらのニーズおよび他に取り組む。本発明の典型的な実施形態によれば、自由空間ポインティング装置は複数の加速度計を含む。

Description

本発明は、例えば、メディアアイテム（media item）を組織化し、選択し、および送り出すためのフレームワーク（framework）を含む多数の異なるアプリケーションにおいて使用可能な自由空間ポインティング装置を説明する。
本願は、発明の名称を「加速度計を用いたユーザインタフェース装置」とし、２００３年１０月２３日に出願された米国仮特許出願第６０／５１３，８６９号明細書に関連し、かつ当該出願による優先権を主張し、当該出願の開示は引用してここに組み込まれる。また、本願は、発明の名称を「自由空間ポインティング装置」とし、２００４年４月３０日に出願された米国仮特許出願第６０／５６６，４４４号明細書に関連し、かつ当該出願による優先権を主張し、当該出願の開示は引用してここに組み込まれる。さらに、本願は、発明の名称を「自由空間ポインティング装置および方法」とし、２００４年９月２３日に出願された米国仮特許出願第６０／６１２，５７１号明細書に関連し、かつ当該出願による優先権を主張し、当該出願の開示は引用してここに組み込まれる。
情報通信に関する技術は、最近数十年にわたって急速に発展してきた。（ほんのいくつかを挙げると）テレビ、携帯電話、インターネットおよび光通信技術が結合して消費者に利用可能な情報および娯楽の選択肢が氾濫している。テレビを例にとると、最近３０年は、ケーブルテレビサービス、衛星テレビサービス、ペイパービュー映画およびビデオオンデマンドの導入が見られた。１９６０年代のテレビ視聴者は典型的に彼らのテレビ受像機で恐らく４または５の地上波ＴＶチャンネルを受信することができたが、今日のＴＶ視聴者は数百、数千、潜在的に数百万の番組および情報のチャンネルから選択する機会を有する。現在、主にホテル等で使用されているビデオオンデマンド技術は、数千の映画タイトルの中から構内での娯楽を選択する可能性を提供する。
エンドユーザにたくさんの情報およびコンテンツを提供する技術的能力は、システム設計者およびサービス提供者に好機と難題の両方を与える。１つの難題は、エンドユーザは典型的に少ないよりむしろ多くの選択肢を有することを好むが、この好みは選択手順が早くかつ簡単であるという彼らの望みとつりあわされる。不運なことに、エンドユーザがそれによってメディアアイテムにアクセスするシステムおよびインタフェースの開発は、早くなく簡単でもない選択手順に帰着した。テレビ番組の例を再び考察する。テレビがその初期にあったとき、視聴する番組を決定することは、主として選択肢が少数のために比較的簡単な手順であった。視聴者は、例えば、（１）隣接するテレビチャンネル、（２）それらのチャンネルで放送される番組、（３）日付および時刻、の間の対応を示す一連の列および行として配列された、印刷されたガイドを調べた。テレビはチューナのつまみを調節することによって所望のチャンネルに合わされ、視聴者は選択された番組を視聴した。後に、視聴者が離れてテレビのチャンネルを合わせることを可能とするリモートコントロール装置が導入された。このユーザ・テレビ間のインタフェースの追加は、いつでもどのような番組が視聴できるかを手早く知るために、視聴者が多数のチャンネルで放送される短い部分を素早く見ることができる“チャンネルサーフィン”として知られる現象を生み出した。
チャンネルの数および視聴可能なコンテンツの量が劇的に増加したという事実にもかかわらず、一般に利用可能なテレビのためのユーザインタフェース、制御装置の選択肢およびフレームワークは最近３０年にわたってあまり変化していない。印刷されたガイドがいまだに番組情報を伝達するための最も普及した手段である。上下の矢印を有する複数ボタンのリモートコントロール装置がいまだに最も普及したチャンネル／コンテンツの選択手段である。利用可能なメディアコンテンツの増加に対するＴＶユーザインタフェースを設計および実装する者の反応は、既存の選択手順およびインタフェース対象の直接的な拡張であった。したがって、印刷されたガイドにおける行の数はより多くのチャンネルを収容するために増加した。リモートコントロール装置のボタンの数は、例えば図１に表わされているように追加機能およびコンテンツ操作をサポートするために増加した。しかし、このアプローチは、視聴者が利用可能な情報を調べるために要求される時間と、選択を実行するために要求される動作の複雑さとの両方を著しく増加させた。議論の余地はあるが、消費者は既に遅すぎ複雑すぎるものと考えるインタフェースに複雑さを追加する新たなサービスには抵抗があるので、既存のインタフェースの厄介な特質は例えばビデオオンデマンドのようないくつかのサービスの商業的な実施を阻害してきた。
帯域およびコンテンツの増加に加えて、ユーザインタフェースのボトルネックの問題は、技術の集合によって悪化している。消費者は多数の分離された構成品よりも統合されたシステムを購入する選択肢を受け入れることに積極的に反応している。この傾向の例は、以前の３つの独立した構成品を有する組み合わせのテレビ／ＶＣＲ／ＤＶＤが統合された装置として今日頻繁に販売されている。この傾向は潜在的に、現在家庭で見られる通信機器の全てではなくてもほとんどが、例えばテレビ／ＶＣＲ／ＤＶＤ／インターネットアクセス／ラジオ／ステレオ装置のように統合された装置として一緒に組み合わされる結果へと続くものと考えられる。分離された構成品を購入し続ける者でさえ、分離された構成品のシームレスな制御および分離された構成品間の相互接続をたいていは望む。この増加する集合体とともに、ユーザインタフェースがより複雑となる可能性が生じる。例えば、ＴＶリモート装置およびＶＣＲリモート装置の機能を結合して、例えば、いわゆる“万能”リモート装置が導入されると、これらの万能リモート装置のボタン数は典型的にＴＶリモート装置またはＶＣＲリモート装置のいずれか単体のボタン数より多くなる。このボタンおよび機能の追加された数は、遠隔において正確に正しいボタンを探し出すことができず、ＴＶまたはＶＣＲの最も簡単な側面以外を制御することを大変困難にしている。多くの場合、これらの万能リモート装置は、ある種のＴＶに固有の多くの制御レベルまたは特徴にアクセスするために十分なボタンを提供しない。これらの場合、集合体の複雑さから生じるユーザインタフェースの問題のために、元のリモート装置がいまだに必要とされ、かつ複数のリモート装置を扱う元の厄介な問題が残されている。あるリモート装置は、専門のコマンドを用いてプログラムすることができる“ソフト”ボタンを追加することによってこの問題に取り組んできた。これらのソフトボタンは、時々、その動作を示す添付のＬＣＤディスプレイを有する。これらもまた、ＴＶから目をそらしてリモートコントロール装置を見ることなく使用することが困難であるという欠点を有する。これらのリモート装置のさらにもう１つの欠点は、ボタン数を削減する試みにおいてモードを用いることである。これらの“モード”を有する万能リモート装置には、リモート装置がＴＶ、ＤＶＤプレーヤー、ケーブルセットトップボックス、ＶＣＲ等のいずれと通信するかを選択するための特別なボタンが存在する。これは、間違った装置にコマンドを送信すること、正しいモードであるかを確認するためにユーザにリモート装置を見るように強いること、複数の装置の統合に簡素化を提供しないことを含む多くの使い勝手の問題を引き起こす。これらの万能リモート装置の最も進歩したものは、複数の機器へのコマンド列をリモート装置にプログラムすることをユーザに可能とすることによっていくらかの統合を提供する。これはたいへん難しい作業であるので、多くのユーザは専門の設置者に彼らの万能リモート装置をプログラムさせている。
また、エンドユーザとメディアシステムとの間のスクリーンインタフェースを現代的にするためのいくつかの試みがされてきた。しかし、これらの試みは、典型的に、メディアアイテムの大きな集合とメディアアイテムの小さな集合との間で容易に除去することができない他の欠点に苦労している。例えば、アイテムのリストに依存するインタフェースは、メディアアイテムの小さな集合について十分に機能することが可能であるが、メディアアイテムの大きな集合を閲覧するためには冗長である。階層的な操縦（例えば、ツリー構造）に依存するインタフェースは、メディアアイテムの大きな集合のためのリストインタフェースよりも行き来することがより高速でありうるが、メディアアイテムの小さな集合には容易に適用することができない。さらに、ユーザは、ツリー構造において３つまたはそれ以上の階層を通して移動しなければならない選択手順において興味を失う傾向がある。これらの全ての場合について、現在のリモート装置は、リストまたは階層を操縦するためにユーザに繰り返し上下ボタンを押すことを強いることによって選択手順をより一層冗長にしている。ページアップおよびページダウンのような選択スキップ制御が利用可能であるとき、ユーザは一般にこれらの特別なボタンを見つけるためにリモート装置を見なければならないか、またはそれらが存在することを知るように訓練されていなければならない。
この明細書における固有の関心事は、他のアプリケーションおよびシステムとともにそのようなフレームワークと相互作用するために使用可能なリモート装置である。上記で組み込まれた出願で述べたように、例えば、トラックボール、“マウス”型ポインティング装置、ライトペン等を含むそのようなフレームワークとともに各種の異なるタイプのリモート装置を用いることが可能である。しかし、そのようなフレームワーク（および他のアプリケーション）とともに用いることが可能であるもう１つのリモート装置のカテゴリーは自由空間ポインティング装置である。語句“自由空間ポインティング”は、例えばディスプレイ画面の前の空中における３次元（またはより大きい次元）において動く入力装置の機能、およびそれらの動きを直接にユーザインタフェースコマンド、例えばディスプレイ画面のカーソルの動きに変換するユーザインタフェースの付随する機能を指すために、この明細書において用いられる。自由空間ポインティング装置との間のデータの伝達は、自由空間ポインティング装置をもう１つの装置と無線でまたは有線を介して接続して実行することが可能である。したがって、“自由空間ポインティング”は、マウスの相対的な動きがコンピュータディスプレイ画面上のカーソルの動きに変換される代用の表面として、例えば机の表面またはマウスパッドのような表面を用いる例えば従来のコンピュータマウスポインティング技術とは異なる。自由空間ポインティング装置の例は米国特許第５，４４０，３２６号明細書において見つけることができる。
‘３２６特許は、その中でも、コンピュータのディスプレイ上のカーソルの位置を制御するためのポインティング装置として用いるために採用された垂直ジャイロスコープを開示する。ジャイロスコープのコアにおけるモーターは、手持ち型のコントローラ装置から２組の直交するジンバルによって吊り下げられ、かつ公称で振子装置によって垂直なスピン軸に合わせて配置されている。電気光学軸角エンコーダはユーザによって操作されるにしたがって手持ち型コントローラ装置の方向を検出し、かつ結果の電気出力はコンピュータディスプレイ画面上のカーソルの動きを制御するためにコンピュータによって使用可能な形式に変換される。しかし、コスト効果が高く、正確かつユーザフレンドリな自由空間ポインティング装置のニーズが存在し続けている。
本発明によるシステムおよび方法は、自由空間ポインティング装置、および、自由空間ポインティング装置の動きのユーザインタフェースコマンドへの、例えばカーソルの動きへの正確な変換を提供する自由空間ポインティングのための方法を提供することによって、これらのニーズおよび他に取り組む。本発明の典型的な実施形態によれば、自由空間ポインティング装置は複数の加速度計を含む。
本発明の典型的な一実施形態によれば、手持ち型のユーザインタフェース装置は複数の加速度計を含み、各加速度計は装置の動きに対応する加速度データを供給し、加速度データを２次元のカーソルの動きのデータが生成可能なデータに変換するための処理装置をさらに含み、処理装置はさらに手持ち型のユーザインタフェース装置がいつ静止したかを決定するために加速度データを処理し、かつ手持ち型のユーザインタフェース装置が静止しているときに手持ち型のユーザインタフェース装置を再校正する。
添付図面は本発明の典型的な実施形態を表わす。
以下の本発明の詳細な説明は添付図面を参照する。異なる図面の同一の参照番号は、同一または類似の構成要素を識別する。また、以下の詳細な説明は本発明を限定しない。その代わりに、本発明の範囲は添付の特許請求の範囲によって定義される。
この説明のためのいくつかの場面を提供するために、まず、本発明が実装可能な典型的な集合メディアシステム２００が図２に関して説明される。しかし、この技術分野の当業者は、本発明がこのタイプのメディアシステムにおける実装に限定されず、かつその中により多いまたはより少ない構成品が含まれうることを理解する。その中で、入力／出力（Ｉ／Ｏ）バス２１０はメディアシステム２００におけるシステムの構成品を相互に接続する。Ｉ／Ｏバス２１０は、メディアシステムの構成品の間で信号を送信するための多数の様々な仕組みおよび技術のいずれかを表わす。例えば、Ｉ／Ｏバス２１０は、オーディオ信号を送信する適切な数の独立のオーディオ“パッチ”ケーブル、ビデオ信号を送信する同軸ケーブル、制御信号を送信する２線シリアルラインまたは赤外線または無線周波数送受信器、光ファイバ、または他の種類の信号を送信する他のどのような送信の仕組みも含むことが可能である。
この典型的な実施形態において、メディアシステム２００は、Ｉ／Ｏバス２１０に接続された、テレビ／モニタ２１２、ビデオカセットレコーダ（ＶＣＲ）２１４、デジタルビデオディスク（ＤＶＤ）録画／再生装置２１６、オーディオ／ビデオチューナ２１８、コンパクトディスクプレーヤ２２０を含む。ＶＣＲ・２１４、ＤＶＤ・２１６、コンパクトディスクプレーヤ２２０は、単一のディスクまたは単一のカセット装置とすることが可能であり、またはその代わりに、複数のディスクまたは複数のカセット装置とすることが可能である。それらは独立の装置とするか、または、一緒に統合されることが可能である。さらに、メディアシステム２００は、マイクロホン／スピーカシステム２２２、ビデオカメラ２２４、無線Ｉ／Ｏ制御装置２２６を含む。本発明の典型的な実施形態によれば、無線Ｉ／Ｏ制御装置２２６は、以下で説明される典型的な実施形態の１つによる自由空間ポインティング装置である。無線Ｉ／Ｏ制御装置２２６は、例えば赤外線または無線の送信器または送受信器を用いて娯楽システム２００と通信することが可能である。その代わりに、Ｉ／Ｏ制御装置は、有線を介して娯楽システム２００に接続されることが可能である。
また、娯楽システム２００はシステムコントローラ２２８を含む。本発明の典型的な一実施形態によれば、システムコントローラ２２８は、娯楽システムの複数のデータソースから入手可能な娯楽システムデータを記憶および表示し、かつシステムの各構成品に関する幅広く多様な機能を制御するために動作する。図２に表わされているように、システムコントローラ２２８は、必要ならばＩ／Ｏバス２１０を通して、システムの各構成品に直接または間接に接続される。典型的な一実施形態において、Ｉ／Ｏバス２１０に加えて、または、Ｉ／Ｏバス２１０の代わりに、システムコントローラ２２８は、赤外線信号または無線信号を介してシステムの構成品と通信することが可能な無線通信送信器（または送受信器）とともに構成される。制御メディアに関係なく、システムコントローラ２２８は以下で説明されるグラフィカルユーザインタフェースを介してメディアシステム２００のメディア構成品を制御するように構成される。
さらに図２に表わされているように、メディアシステム２００は各種のメディアのソースおよびサービス提供者からメディアアイテムを受信するように構成することが可能である。この典型的な実施形態において、メディアシステム２００は、次のソース、すなわち、ケーブル放送２３０、（例えば衛星アンテナを介して）衛星放送２３２、（例えばアンテナを介して）放送テレビ網２３４の超短波（ＶＨＦ）または極超短波（ＵＨＦ）の無線周波数通信、電話網２３６、ケーブルモデム２３８（またはインターネットコンテンツの他のソース）のいずれかまたは全てからのメディア入力を受信し、かつ選択的に上記ソースのいずれかまたは全てに情報を送信する。この技術分野の当業者は、図２に関して表わされ、かつ説明されたメディアの構成品およびメディアのソースは単に例であり、かつメディアシステム２００はその両方について、より多くまたは少なく含むことが可能である。例えば、システムへの他のタイプの入力はＡＭ／ＦＭラジオおよび衛星ラジオを含む。
この典型的な娯楽システムおよびそれに対応するフレームワークに関するより詳細は、上記で引用して組み込まれた米国特許出願“メディアアイテムを組織化し、選択し、および送り出すためのズーム可能なグラフィカルユーザインタフェースを有する制御フレームワーク”において見ることができる。その代わりに、本発明に従うリモート装置は他のシステム、例えば、ディスプレイ、プロセッサ、メモリシステム、または他の各種のシステムおよびアプリケーションを含むコンピュータシステムと結合することが可能である。
背景技術の欄で述べたように、自由空間ポインタとして動作するリモート装置は本明細書における固有の関心事である。そのような装置は動き、例えばジェスチャーをユーザインタフェースへのコマンドに変換することを可能とする。典型的な自由空間ポインティング装置４００は図３に表わされている。その中で自由空間ポインティングのユーザの動きは、例えば、自由空間ポインティング装置４００のｘ軸の周りの姿勢（attitude）（ロール（roll））、ｙ軸の周りの仰角（elevation）（ピッチ（pitch））および／またはｚ軸の周りの向き（heading）（ヨー（yaw））の動きの組み合わせによって定義することが可能である。さらに、本発明のある典型的な実施形態は、カーソルの動きまたは他のユーザインタフェースコマンドを生成するために、ｘ、ｙ、ｚ軸に沿って自由空間ポインティング装置４００の線形的な動きを測定することが可能である。他の典型的な実施形態は他の物理的な構成を含むが、図３の典型的な実施形態においては、自由空間ポインティング装置４００はスクロールホィール４０６とともに２つのボタン４０２、４０４を含む。本発明の典型的な実施形態によれば、自由空間ポインティング装置４００はディスプレイ４０８の前でユーザが持ち、かつ自由空間ポインティング装置４００の動きは、自由空間ポインティング装置４００によって、ディスプレイ４０８に表示される情報と相互作用するために、例えばディスプレイ４０８上のカーソル４１０を動かすために使用可能である出力に変換されることが期待される。例えば、自由空間ポインティング装置４００のｙ軸の周りの回転は自由空間ポインティング装置４００によって検出することが可能であり、かつディスプレイ４０８のｙ２軸に沿ってカーソル４１０を動かすためにシステムによって使用可能な出力に変換される。同様に、自由空間ポインティング装置４００のｚ軸の周りの回転は自由空間ポインティング装置４００によって検出することが可能であり、かつディスプレイ４０８のｘ２軸に沿ってカーソル４１０を動かすためにシステムによって使用可能な出力に変換される。自由空間ポインティング装置４００の出力は、カーソルの動き以外の（またはカーソルの動きに加えて）多くの方法において、ディスプレイ４０８と相互作用するために使用可能であることが理解される。例えば、カーソルのフェーディング、ボリューム、メディア伝達（再生、一時停止、早送り、巻き戻し）を制御することが可能である。入力コマンドはカーソルの動きに加えた操作、例えば、ディスプレイの特定の領域のズームイン、ズームアウトを含むことが可能である。カーソルは可視または不可視とすることが可能である。同様に、自由空間ポインティング装置４００のｘ軸の周りに検出された自由空間ポインティング装置４００の回転は、ユーザインタフェースへの入力を供給するためにｙ軸および／またはｚ軸の周りの回転に加えて、またはその代わりとして用いることが可能である。
本発明の典型的な一実施形態によれば、２つの回転センサ５０２、５０４および１つの加速度計５０６は、図４に表わされているように自由空間ポインティング装置４００におけるセンサとして用いることが可能である。回転センサ５０２、５０４は、例えば、Analog Devices社によって製造されたADXRS150センサを用いて実装することが可能である。この技術分野の当業者は、回転センサ５０２、５０４として他の種類の回転センサを用いることが可能であり、かつADXRS150は単に説明のための例として用いられていることを理解する。従来のジャイロスコープと異なり、ADXRS150回転センサは、一方向のみに沿って共振しうるようにフレームに取り付けられた共振性のマス（resonating mass）を提供するMEMS技術を用いる。共振性のマスは、センサが固定された本体が、センサの検出軸の周りに回転したときに変位（displace）する。この変位は検出軸に沿った回転に対応する角速度を決定するためにコリオリの加速度効果を用いて測定することが可能である。回転センサ５０２、５０４が１つの検出軸を有するならば（ADXRS150の例に関しては）、それらの検出軸は測定される回転に向きが調整されるように自由空間ポインティング装置４００に配置することが可能である。これは、本発明のこの典型的な実施形態において、図４に表わされているように、回転センサ５０２はその検出軸がｙ軸に平行であるように配置され、かつ回転センサ５０４はその検出軸がｚ軸に平行であるように配置されることを意味する。しかし、本発明の典型的な実施形態は軸の間のオフセットを補償するための技術も提供するので、回転センサ５０２、５０４の検出軸を所望の測定軸に平行に配置することは要求されないことに留意すべきである。
本発明に従う典型的な自由空間ポインティング装置４００の実装において取り組まれる１つの目標は、高価すぎないが、同時に、自由空間ポインティング装置４００の動きと、自由空間ポインティング装置の特定の動きにユーザインタフェースがどのように反応するかに関するユーザの期待と、その動きに反応する実際のユーザインタフェースの性能との間に高度の相関関係を提供する構成品、例えば回転センサ５０２、５０４を用いることである。例えば、自由空間ポインティング装置４００が動いていないならば、ユーザはカーソルが画面を横切って流れないことを期待すると考えられる。同様に、ユーザが単にｙ軸の周りに自由空間ポインティング装置４００を回転するならば、ユーザは結果としてかなりのｘ２軸成分を含むディスプレイ４０８上のカーソルの動きを見ることを期待しないと考えられる。これらを達成するために、本発明の典型的な実施形態の他の構成は、センサ５０２、５０４、５０６の１つまたは複数の出力を調整するために用いられ、および／または、センサ５０２、５０４、５０６の出力に基づくユーザインタフェースのための適切な出力を決定するためにプロセッサによって用いられる入力の一部として、各種の測定および計算が手持ち型装置４００によって実行される。これらの測定および計算は、（１）自由空間ポインティング装置４００に固有な要因、例えば、装置４００において用いられる特定のセンサ５０２、５０４、５０６、または、装置４００においてセンサが配置される仕方に関する誤差、および、（２）自由空間ポインティング装置４００に固有でないが、ユーザが自由空間ポインティング装置４００を使用する仕方に関する要因、例えば、線形加速度、傾き（tilt）、震え（tremor）、の広くは２つのカテゴリーに含まれる要因を補償するために用いられる。これらの各々の影響を処理する典型的な技術は以下で説明される。
本発明の典型的な実施形態による自由空間ポインティング装置の一般的な動作を説明する処理モデル６００が図５に表わされている。加速度計５０６とともに回転センサ５０２、５０４は、周期的に、例えば２００サンプル／秒でサンプリングされたアナログ信号を生成する。この説明の目的のために、これらの入力の集合は表記（ｘ，ｙ，ｚ，αｙ，αｚ）を用いて参照され、ｘ，ｙ，ｚは典型的な３軸の加速度計５０６のサンプリングされた出力値であり、それぞれｘ軸、ｙ軸、ｚ軸の方向における自由空間ポインティング装置の加速度に対応し、αｙはｙ軸の周りの自由空間ポインティング装置の回転に対応する回転センサ５０２からのサンプリングされた出力値であり、αｚはｚ軸の周りの自由空間ポインティング装置４００の回転に対応する回転センサ５０４からのサンプリングされた出力値である。
加速度計５０６からの出力が供給され、加速度計５０６がアナログ出力を供給するならば、その出力は、サンプリングされた加速度計出力６０２を生成するために、（図示しない）Ａ／Ｄコンバータによってサンプリングされ、かつデジタル化される。サンプリングされた出力値は、変換機能６０４によって示されているように、未処理の単位から加速度の単位、例えば重力（ｇ）に変換される。加速度校正ブロック６０６は、変換機能６０４のために使用される値を供給する。加速度計出力６０２の校正は、例えば、加速度計５０６に関するスケール、オフセット、軸の調整不良誤差の１つまたは複数の補償を含むことが可能である。加速度計データのための典型的な変換は次の等式を用いて実行することが可能である。
Ａ＝Ｓ＊（（Ｍ−Ｐ）．＊Ｇ（Ｔ）） （１）
ここで、Ｍはサンプリングされた出力値（ｘ，ｙ，ｚ）からなる３×１列ベクトル、Ｐはセンサオフセットの３×１列ベクトル、Ｓはスケール、軸の調整不良、センサの回転補償のいずれも含む３×３行列である。Ｇ（Ｔ）は温度の関数である利得係数である。演算子“＊”は行列の乗算を表わし、演算子“．＊”は要素の乗算を表わす。典型的な加速度計５０６は、＋／−２ｇの典型的なフルレンジを有する。センサオフセットＰはセンサ出力を表わし、Ｍは０ｇの加速度計の測定値を表わす。スケールはサンプリングされた単位の値とｇとの間の変換係数を表わす。どのような与えられた加速度計センサの実際のスケールも、例えば、製造上の差異のために、これらの公称のスケール値から外れる可能性がある。したがって、上記の等式におけるスケール要素はこの偏差に比例する。
加速度計５０６のスケールおよびオフセットの偏差は、例えば、１つの軸に沿って１ｇの力をかけ、その結果のＲ１を測定することによって測定することが可能である。そして−１ｇの力がかけられ、結果として測定値Ｒ２となる。個々の軸のスケールｓ、個々の軸のオフセットｐは次のように計算することができる。
ｓ＝（Ｒ１−Ｒ２）／２ （２）
ｐ＝（Ｒ１＋Ｒ２）／２ （３）
この簡単な例において、Ｐは各軸についてのｐの列ベクトル、Ｓは各軸についての１／ｓの対角行列である。
しかし、スケールおよびオフセットに加えて、加速度計５０６によって生成された表示度数は軸交差の影響による難点がある。軸交差の影響は未調整の軸を含み、例えば、自由空間ポインティング装置４００に搭載されたときに加速度計５０６の検出軸の１つまたは複数が慣性座標系における対応する軸と調整されていないか、または加速度計５０６自体の機械加工に関する機械的誤差、例えば、たとえ軸が正しく調整されても、純粋なｙ軸の加速度の力が加速度計５０６のｚ軸に沿ったセンサ表示度数となる結果となる可能性がある。これらの両方の影響は測定され、かつ機能６０６によって実行される校正に与えることが可能である。
加速度計５０６は、本発明の典型的な実施形態による典型的な自由空間ポインティング装置においていくつかの目的を果たす。例えば、回転センサ５０２、５０４は上述した典型的なコリオリ効果の回転センサを用いて実装されるならば、回転センサ５０２、５０４の出力は各回転センサによって感知された線形加速度に基づいて変化する。したがって、加速度計５０６の１つの典型的な使用は、線形加速度における変動によって引き起こされる、回転センサ５０２、５０４によって生成される表示度数における揺らぎを補償するためのものである。これは、変換された加速度計の表示度数を利得行列６１０と乗算し、かつその結果を対応するサンプリングされた回転センサデータ６１２から減算する（または、その結果を対応するサンプリングされた回転センサデータ６１２に加算する）ことによって、達成することが可能である。例えば、回転センサ５０２からのサンプリングされた回転データαｙは、次のようにブロック６１４において線形加速度を補償することが可能である。
αｙ’＝αｙ−Ｃ＊Ａ （４）
ここで、Ｃは単位量／ｇで与えられた各軸に沿った線形加速度への回転センサの感受性の１×３行ベクトル、Ａは校正された線形加速度である。同様に、回転センサ５０４からのサンプリングされた回転データαｚのための線形加速度の補償はブロック６１４において提供することが可能である。利得行列Ｃは、製造上の差異のために回転センサの間で異なる。Ｃは多数の回転センサの平均値を用いて計算することが可能であり、各回転センサために専用に計算することが可能である。
加速度計データのように、サンプリングされた回転データ６１２は、機能６１６において、サンプリングされた単位の値から回転角速度、例えばラジアン／秒に対応する値に変換される。この変換ステップは、例えばスケールおよびオフセットについてサンプリングされた回転データを補償するために機能６１８によって提供される校正を含む。αｙおよびαｚの両方のための変換／校正は、例えば次の等式を用いて達成することが可能である。
α rad/s＝（α’−offset（Ｔ））＊scale＋dOffset （５）
ここで、α’は変換／校正される値を表わし、offset（Ｔ）は温度に対応するオフセット値を表わし、scaleはサンプリングされた単位の値とrad/sとの間の変換係数を表わし、dOffsetは動的なオフセット値を表わす。等式（５）は、scaleを除いて全ての変数がベクトルである行列の等式として与えることも可能である。行列の等式の形式において、スケールは、軸の調整不良および回転オフセットの要素を訂正する。これらの各変数は以下でより詳しく説明される。
オフセット値offset（Ｔ）およびdOffsetは多数の異なる方法で決定することが可能である。自由空間ポインティング装置４００が例えばｙ軸方向において回転されないとき、センサ５０２はそのオフセット値を出力する。しかし、オフセットは温度によって大きく影響されうるので、このオフセット値は変化すると考えられる。オフセットの温度校正は工場で実行することが可能であり、この場合、offset（Ｔ）についての値は手持ち型装置４００にプログラムするか、またはその代わりに、オフセットの温度校正は装置の存続期間の間に動的に感知することが可能である。動的なオフセット補償を達成するために、温度センサ６１９からの入力は、offset（Ｔ）についての現在の値を計算するために回転校正機能６１８において用いられる。offset（Ｔ）のパラメータは、センサの表示度数からオフセットバイアスの大部分を除去する。しかし、ゼロの動きにおいてほとんど全てのカーソルのドリフトを無効にすることは、高性能のポインティング装置を作り出すために有効でありうる。したがって、追加の要素dOffsetは、自由空間ポインティング装置４００を使用しながら動的に計算することが可能である。静止検出機能６０８は、手持ち型装置がいつほとんど静止したか、いつオフセットが再計算されるべきかを判定する。そこで、他の使用とともに静止検出機能６０８を実装するための典型的な技術が以下で説明される。
dOffset計算の典型的な実装は、ローパスフィルタされた、校正されたセンサ出力を使用する。静止検出機能６０８は、例えば、ローパスフィルタ出力の平均の計算を引き起こすために回転校正機能６１８に指示を与える。また、静止検出機能６０８は、dOffsetについての既存の値に新たに計算された平均をいつ要因の１つとして含めるかを制御することが可能である。この技術分野の当業者は、dOffsetの既存の値からdOffsetの新たな値を計算するために多数の異なる技術を用いることが可能であり、かつ新たな平均は、限定しないが単なる平均、ローパスフィルタリング、カルマンフィルタリングを含むことを理解する。さらに、この技術分野の当業者は、回転センサ５０２、５０４のオフセット補償のための非常にたくさんの変形を用いることが可能であることを理解する。例えば、offset（Ｔ）関数は定数値（例えば、温度に対して不変）を有することが可能であり、２つ以上のオフセット補償値を用いることが可能であり、および／または、ただ１つのオフセット値がオフセット補償のために計算され／用いられることが可能である。
ブロック６１６における変換／校正の後、回転センサ５０２、５０４からの入力はさらにそれらの入力を慣性座標系に回転させるために、すなわち、機能６２０においてユーザの自由空間ポインティング装置４００の持ち方に対応する傾きを補償するために、処理することが可能である。傾き訂正は、本発明による自由空間ポインティング装置の使用形態における差異を補償することを意図するので、本発明のある典型的な実施形態のもう１つの重要な構成である。より詳しくは、本発明の典型的な実施形態による傾き訂正は、ユーザが異なるｘ軸の回転位置においてユーザの手にポインティング装置を持っているが、自由空間ポインティング装置４００における回転センサ５０２、５０４の検出軸は固定されているという事実を補償するために意図される。ディスプレイ４０８にわたるカーソル変換は、ユーザの自由空間ポインティング装置４００の握り方に実質的に影響を受けないことが望ましい。例えば、ユーザが自由空間ポインティング装置４００を持っている方向に関係なく、ディスプレイ４０８の水平次元（ｘ２軸）に概して対応するように自由空間ポインティング装置４００を左右に回転させることは、結果としてｘ２軸に沿ったカーソル変換となるべきであり、一方、ディスプレイ４０８の垂直次元（ｙ２軸）に概して対応するように自由空間ポインティング装置を上下に回転させることは、結果としてｙ２軸に沿ったカーソル変換となるべきである。
本発明の典型的な実施形態による傾き補償の必要性をよりよく理解するために、図６Ａに表わされている例を考える。その中で、ユーザは、０度のｘ軸回転値を有するものとして定義することが可能な典型的な慣性座標系において自由空間ポインティング装置４００を持っている。慣性座標系は、純粋に例として、図６Ａに表わされている方向に対応することが可能であり、また、任意の他の方向として定義することが可能である。ｙ軸またはｚ軸方向のいずれかにおける自由空間ポインティング装置４００の回転は、それぞれ回転センサ５０２、５０４によって検出される。例えば、図６Ｂに表されているように、量Δｚによるｚ軸の周りの自由空間ポインティング装置４００の回転は、結果としてディスクプレイ４０８を横切るｘ２軸の次元における対応するカーソル変換Δｘ２（すなわち、点線で表したカーソル４１０と点線でないものとの間の距離）となる。
一方、ユーザが異なる方向において、例えば、慣性座標系に対してある量のｘ軸回転を有して、自由空間ポインティング装置４００を持つならば、センサ５０２、５０４によって提供される情報は、（傾き補償がなく）ユーザの意図するインタフェース動作の正確な表現を提供しない。例えば、図６Ｃを参照して、図６Ａに表されたような典型的な慣性座標系に対して４５度のｘ軸回転を有してユーザが自由空間ポインティング装置４００を持つ状態を考える。ユーザによる同じｚ軸回転Δｚを仮定すると、代わりにカーソル４１０は図６Ｄに表されたようにｘ２軸方向およびｙ２軸方向の両方において変換される。これは回転センサ５０２の検出軸が、（ユーザの手における装置の方向のために）ここではｙ軸およびｚ軸の間に方向付けられているという事実による。同様に、回転センサ５０４の検出軸は（異なる四分円においてであるが）ｙ軸およびｚ軸の間に方向付けられている。自由空間ポインティング装置４００がどのように持たれているかに関してユーザに透過的であるインタフェースを提供するために、本発明の典型的な実施形態による傾き補償は、これらのセンサからの表示度数を自由空間ポインティング装置４００の回転動作を示す情報への処理の一部として、回転センサ５０２、５０４からの表示度数の出力を慣性座標系に戻す変換をする。
図５に戻り、本発明の典型的な実施形態によれば、これは機能６２２において加速度計５０６から受信した入力ｙおよびｚを用いて自由空間ポインティング装置４００の傾きを判定することによって達成することが可能である。より詳しくは、加速度データが上述したように変換され校正された後、平均の加速度（重力）の値を傾き判定機能６２２に供給するためにＬＰＦ・６２４においてローパスフィルタすることが可能である。そして、機能６２２における傾きθは次のように計算することが可能である。
Figure 2007509448
値θは０による除算を防止し、かつ正しいｓｉｇｎの値を与えるために、計算上、ａｔａｎ２（ｙ，ｚ）として計算することが可能である。そして、機能６２０は、傾きθを補償するために変換／校正された入力αｙおよびαｚを回転する次の等式を用いて、変換／校正された入力αｙおよびαｚの回転Ｒを実行することが可能である。
Figure 2007509448
一旦、校正されたセンサの表示度数が線形加速度を補償され、自由空間ポインティング装置４００の回転角を示す表示度数に処理され、かつ傾きを補償されると、後処理をブロック６２６、６２８において実行することが可能である。典型的な後処理は、人の震えのような変動要素の補償を含むことが可能である。震えはいくつかの異なる方法を用いて除去することが可能であるが、震えを除去する１つの方法はヒステリシス（hysteresis）を用いることによるものである。回転機能６２０によって生成される角速度は角位置を生成するために積分される。そして、校正された大きさのヒステリシスは角位置に適用される。再び角速度を生じさせるためにヒステリシスブロックの出力から導関数が得られる。そして、結果の出力は（例えば、サンプリング期間に基づいて）機能６２８においてスケーリングされ、かつ、例えば、ディスプレイ４０８上のカーソル４１０の動きのようなインタフェースにおける結果を生成するために用いられる。
本発明による典型的な自由空間ポインティング装置の処理を説明したので、図７に典型的なハードウェアアーキテクチャを表わす。その中で、プロセッサ８００は、スクロールホィール８０２、ＪＴＡＧ・８０４、ＬＥＤ・８０６、スイッチマトリックス８０８、赤外線光検出器８１０、回転センサ８１２、加速度計８１４、送受信器８１６を含む自由空間ポインティング装置の他の構成要素と通信する。スクロールホィール８０２は、スクロールホィール８０２を時計回りまたは反時計回りに回転させることによってユーザがインタフェースに入力を与えることを可能とする選択的な入力の構成要素である。ＪＴＡＧ・８０４はプロセッサにプログラミングおよびデバッグのインタフェースを提供する。ＬＥＤ・８０６は、例えばボタンが押されたときにユーザに視覚的なフィードバックを提供する。スイッチマトリックス８０８は入力、例えば自由空間ポインティング装置４００のボタンが押されまたは離されたことを示すものを受信し、そして、それはプロセッサ８００に渡される。選択的な赤外線光検出器８１０は、典型的な自由空間ポインティング装置が他のリモートコントロール装置からの赤外線コードを認識することを可能とするために提供することが可能である。回転センサ８１２は、例えば、上述した自由空間ポインティング装置のｙ軸およびｚ軸回転に対応する表示度数をプロセッサ８００に供給する。加速度計８１４は、例えば、傾き補償を実行し、かつ線形加速度が回転センサ８１２によって生成される回転の表示度数に導入する誤差を補償するために、上述したように使用することが可能な自由空間ポインティング装置の線形加速度に関して、プロセッサ８００に表示度数を供給する。送受信器８１６は、自由空間ポインティング装置４００に、および自由空間ポインティング装置４００から情報を伝達し、例えば、システムコントローラ２２８に、または、コンピュータに結合されたプロセッサに情報を伝達するために用いられる。送受信器８１６は、例えば、近距離無線通信のためにブルートゥース（登録商標）標準にしたがって動作する無線送受信器または赤外線送受信器とすることが可能である。その代わりに、自由空間ポインティング装置４００は無線接続を介してシステムと通信することが可能である。
静止検出機能６０８は、上記で簡単に説明したように、自由空間ポインティング装置４００が、例えば、静止しているか、またはアクティブである（動いている）か、のいずれであるかを判定するために動作することが可能である。この分類は多数の他の方法で実行することが可能である。本発明の典型的な実施形態による１つの方法は、所定期間にわたって、例えば１／４秒毎に、全ての入力（ｘ，ｙ，ｚ，αｙ，αｚ）のサンプリングされた入力データの変動を計算することである。そして、この変動は、静止またはアクティブのいずれかとして自由空間ポインティング装置を分類するために閾値と比較される。
本発明の典型的な実施形態によるもう１つの静止検出技術は、例えば、入力データに高速フーリエ変換（ＦＦＴ）を実行することによって、入力を周波数領域に変換することを含む。そして、自由空間ポインティング装置４００が静止またはアクティブのいずれであるかを判定するために、例えばピーク検出法を用いてデータを分析することが可能である。さらに、第３の分類、特にユーザが自由空間ポインティング装置４００を持っているが、それを動かしていない場合（ここでは“安定”状態と呼ぶ）を識別することが可能である。この第３の分類は、自由空間ポインティング装置４００がユーザによって持たれているときユーザの手の震えによって導入される自由空間ポインティング装置４００の小さな動きを検出することによって、静止（持っていない）およびアクティブから区別することが可能である。また、ピーク検出は、この判定を行うために静止検出機能６０８によって用いることが可能である。人の震えの周波数、例えば公称で８〜１２Ｈｚの範囲内のピークは、典型的に（装置が静止し、かつ持たれていないときに認識される）装置のノイズの下限を約２０ｄＢ超える。
上述した例において、周波数領域における変動は特定の周波数範囲内で検出されるが、監視され、かつ自由空間ポインティング装置４００の状態を特徴付けるために用いられる実際の周波数範囲は変動する可能性がある。例えば、公称の震えの周波数範囲は、例えば、自由空間ポインティング装置４００の人間工学的な作りおよび重さに基づいて、例えば８〜１２Ｈｚから４〜７Ｈｚまで変わる可能性がある。
本発明のもう１つの典型的な実施形態によれば、静止検出機能６０８は状態機械を含むことが可能である。典型的な状態機械が図８に表されている。その中で、アクティブ状態は、この例において、自由空間ポインティング装置４００が動き、かつ例えばユーザインタフェースに入力を供給するために用いられている間のデフォルト状態である。自由空間ポインティング装置４００は、リセット入力によって示されているように装置の電力アップにおいてアクティブ状態に入ることが可能である。自由空間ポインティング装置４００が動きを停止すると、非アクティブ状態に入ることが可能である。図８に表わされている各種の状態遷移は、限定しないが、回転センサ５０２、５０４の一方または両方からのデータ出力、加速度計５０６からのデータ出力、時間領域データ、周波数領域データ、またはそれらの任意の組み合わせを含む多数の異なる基準のいずれかによって引き起こすことが可能である。状態遷移の条件は、ここでは一般に、規則“条件状態Ａ→状態Ｂ”を用いて表わされる。例えば、自由空間ポインティング装置４００は、条件アクティブ→非アクティブが発生すると、アクティブ状態から非アクティブ状態に遷移する。単に説明の目的のために、典型的な自由空間ポインティング装置４００において、条件アクティブ→非アクティブは、回転センサおよび加速度計の両方からの平均値および／または標準偏差値が第１の所定期間に第１の所定閾値を下回ったとき発生すると考える。
状態遷移は、読み取られたセンサ出力に基づいて多数の異なる条件によって決定することが可能である。典型的な条件の計量は、時間区間にわたって読み取られた信号の変動、基準値と時間区間にわたって読み取られた信号との間の閾値、基準値と時間区間にわたって読み取られたフィルタリングされた信号との間の閾値、基準値と開始時間から読み取られた信号との間の閾値を、状態遷移を決定するために用いることを含む。これらの条件の計量の全てまたは任意の組み合わせを、状態遷移を引き起こすために用いることが可能である。その代わりに、他の計量を用いることも可能である。本発明の１つの典型的な実施形態によれば、非アクティブ状態からアクティブ状態への遷移は、（１）時間区間にわたってセンサ出力の平均値が所定の閾値より大きいとき、または（２）時間区間にわたってセンサ出力値の変動が所定の閾値より大きいとき、または（３）センサ値の間の瞬間の増分が所定の閾値より大きいとき、のいずれかにおいて発生する。
非アクティブ状態は、自由空間ポインティング装置４００がまだ使用されている間の、例えば１／１０秒のオーダーの短い休止期間と、安定または静止状態のいずれかへの実際の遷移とを、静止検出機能６０８が識別することを可能とする。これは、以下で説明される安定および静止状態の間に実行される機能に対して、自由空間ポインティング装置４００が使用されているときに不注意に実行されることから保護する。例えば、非アクティブ状態において第２の所定期間が経過する前に回転センサおよび加速度計からの測定された出力が第１の閾値を超えるように自由空間ポインティング装置４００が再び動き始めるならば、条件非アクティブ→アクティブが発生すると自由空間ポインティング装置４００はアクティブ状態に遷移して戻る。
自由空間ポインティング装置４００は、第２の所定期間が経過した後、安定状態または静止状態のいずれかに遷移する。上述したように、安定状態は、人が持っているが実質的に動いていないときの自由空間ポインティング装置４００の特性を示し、一方、静止状態は人が持っていないときの自由空間ポインティング装置４００の特性を示す。したがって、本発明による典型的な状態機械は、手の震えに対応する最低限の動きが存在するならば第２の所定期間が経過した後に安定状態への遷移をもたらし、そうでなければ、静止状態への遷移をもたらすことが可能である。
安定および静止状態は、自由空間ポインティング装置４００が各種の機能を実行することが可能である間の時間を定義する。例えば、安定状態はユーザが自由空間ポインティング装置４００を持っているがそれを動かしていない時間を表わすことを意図するので、装置はそれが安定状態にあるとき、例えば、この状態において回転センサおよび／または加速度計からの出力を記憶することによって、自由空間ポインティング装置４００の動きを記録することが可能である。これらの記憶された測定値は、以下で説明されるように、特定のユーザまたは複数のユーザに関する震えのパターンを判定するために使用することが可能である。同様に、静止状態にあるとき、自由空間ポインティング装置４００は、以下で説明されるように、オフセットの補償において使用するために、回転センサおよび／または加速度計からの表示度数を取得することが可能である。
自由空間ポインティング装置４００が安定または静止状態のいずれかにおいて動き始めるならば、これはアクティブ状態に戻ることを引き起こす。そうでなければ、測定値が取得された後、装置はスリープ状態に遷移することが可能である。スリープ状態において、装置は、自由空間ポインティング装置の電力消費が削減され、かつ例えば、回転センサおよび／または加速度計のサンプリングレートが削減される電力ダウンモードに入ることが可能である。また、ユーザまたはもう１つの装置が自由空間ポインティング装置４００がスリープ状態に入ることを命令することが可能であるような外部コマンドを介してスリープ状態に入ることも可能である。
もう１つのコマンドを受信すると、または自由空間ポインティング装置４００が動き始めると、装置はスリープ状態からウェイクアップ状態に遷移することが可能である。非アクティブ状態と同様に、ウェイクアップ状態は、アクティブ状態への遷移が正当化されること、例えば自由空間ポインティング装置４００が不注意でなく動かされたことを確認する機会を装置に提供する。
状態遷移のための条件は、対称的であることも、あるいは異なることも可能である。したがって、条件アクティブ→非アクティブに対応する閾値は、条件非アクティブ→アクティブに対応する閾値と同一である（または異なる）ことが可能である。これは、本発明による自由空間ポインティング装置がユーザ入力をより正確にとらえることを可能とする。例えば、その中でも、状態機械の実装を含む典型的な実施形態は、静止状態へ遷移するための閾値が静止状態から他へ遷移するための閾値と異なることを可能とする。
１つの状態へ入ることまたは１つの状態から抜けることは、他の装置の機能を引き起こすために用いることも可能である。例えば、ユーザインタフェースは、任意の状態からアクティブ状態への遷移に基づいて電力アップすることが可能である。逆に、自由空間ポインティング装置および／またはユーザインタフェースは、自由空間ポインティング装置がアクティブまたは安定から静止または非アクティブへ遷移したときに電源オフされる（またはスリープモードへ入る）ことが可能である。その代わりに、自由空間ポインティング装置４００の静止状態からの遷移または静止状態への遷移に基づいて、カーソル４１０が表示されまたは画面から消去されることが可能である。
上述したように、安定状態は震えデータを記憶するために用いることが可能である。典型的に、各ユーザは異なる震えのパターンを示す。このユーザの震えの特性はユーザを識別するために用いることも可能である。例えば、ユーザの震えのパターンは、ユーザに例えば１０秒間、できるだけ安定して自由空間ポインティング装置を持つことを要求する初期化処理の間に（自由空間ポインティング装置４００において記憶するか、またはシステムに送信して）システムによって記憶することが可能である。このパターンは各種のユーザインタフェース機能を実行するためのユーザ固有の署名として用いることが可能である。例えば、ユーザインタフェースは現在の震えのパターンをメモリに記憶された震えのパターンと比較することによって、ユーザのグループからユーザを識別することが可能である。この識別は、例えば、識別されたユーザに対応する好みの設定を検索するために用いることが可能である。例えば、自由空間ポインティング装置が、上記で引用して組み込まれた特許文献に記載されたメディアシステムと結合して用いられるならば、震えのパターンの比較によってシステムがユーザを認識した後に、ユーザに対応するメディア選択アイテムの表示の好みを活性化することが可能である。また、震え認識を用いてシステムセキュリティを実装することが可能であり、例えば、ユーザが自由空間ポインティング装置４００を持ち上げた後に実行されるユーザ識別に基づいてシステムへのアクセスを禁止または制限することが可能である。
図４の典型的な実施形態において、自由空間ポインティング装置４００は加速度計５０６とともに２つの回転センサ５０２、５０４を含む。しかし、本発明のもう１つの典型的な実施形態によれば、自由空間ポインティング装置は、その代わりに、例えば、ｚ軸方向における角速度および加速度を測定するために、ただ１つの回転センサを含むことも可能である。そのような典型的な実施形態のために、上述したのと同様な機能が、回転センサによって検出されない軸に沿った角速度を決定するために、加速度計を用いて提供することが可能である。例えば、ｙ軸の周りの回転速度は加速度計によって生成されたデータを用いて、次の式を計算して算出することが可能である。
Figure 2007509448
さらに、回転センサによって測定されない寄生加速度の影響は除去されるべきである。これらの影響は、実際の線形加速度、回転速度および回転加速度によって測定された加速度、人の震えによる加速度を含む。
本発明のさらにもう１つの典型的な実施形態によれば、ユーザインタフェース装置は加速度計のみを用いる。図９に表わされているように、本発明のこの典型的な実施形態による３Ｄ手持ち型装置は、６自由度（６ＤＯＦ）、すなわち、ｘ，ｙ，ｚ，ヨー（yaw），ピッチ（pitch），ロール（roll）を測定する。図９はオイラー角（ヨー，ピッチ，ロール）を表わすが、この技術分野の当業者は、本発明のこの典型的な実施形態は四元数（quaternion）のような他の表現も含むことを理解する。６自由度装置はディスプレイとユーザ入力との間に自然なマッピングを可能とする。例えば、ポインタを上に動かすために、ユーザは手持ち型装置を上に動かす。この典型的な実施形態による手持ち型装置は、対象の選択をより直観的にする。例えば、ボタンをクリックする代わりに、ユーザは画面の方へ、または画面から遠ざかって手持ち型装置を動かすことが可能である。普通の前方および後方の画面上のボタンの代わりに、例えば、ユーザは単にマウスを前方または後方に傾けることが可能である。
微小電子機械システム（ＭＥＭＳ）に基づく正確で低価格な加速度計の出現は、この技術を家庭の消費者へ持ち込むことを可能にする。回転角を測定するジャイロスコープと異なり、加速度計は線形加速度を測定する。従来の慣性航法は、それぞれ６自由度のために、３つのジャイロスコープおよび３つの加速度計に依存する。不運なことに、従来の慣性航法システムのコストおよび大きさは、消費者の手持ち型装置のためには法外である。この手持ち型装置の典型的な実施形態は、いつでもその位置および方向を測定するために３つの３次元加速度計の集合を用いる。しかし、加速度計の他の数量および配置を同じアルゴリズムとともに用いることが可能である。
この典型的な実施形態による手持ち型装置は、３点が１平面を決定する基礎的な幾何学の原理に基づく。追加の点は正確さを向上させるために付加することが可能である。３つの加速度計の全てに共通な加速度は手持ち型装置全体が加速している（ｘ，ｙ，またはｚにおける動き）を示す。加速度計の間の加速度の差は手持ち型装置の方向における変化（ヨー，ピッチ，またはロールにおける動き）を示す。
いくつかの原理が６自由度の加速度計に基づくシステムの実装を複雑にしている。第１に、加速度測定誤差は、位置を計算する加速度の二重積分のために２乗された位置測定誤差を生じる。第２に、重力は手持ち型装置の方向に対応して変化する定数加速度ベクトルであるので、重力ベクトルは正確に追跡されなければならない。測定誤差に関して、ＭＥＭＳ加速度計は必ずしも正確ではなく、かつ誤差は位置の計算に導入される。しかし、加速度における線形的な不正確さは重要ではない。位置の誤差が２乗されるが、この典型的な実施形態による装置は絶対座標系および相対座標系の両方を用いることが可能である。相対座標系について、（フィートまたはメートルで測定される）実際の移動距離は、例えば、マウスドライバに通常見られるような感度設定を用いて任意に調整することが可能である。しかし、平均してゼロにならない時間および温度にわたる非線形誤差（“ドリフト”としても知られ、ＭＥＭＳ加速度計の特性である）は、結果としてマウスの一定な加速度となる。適切な処理なしでは、静止している手持ち型装置のためのポインタは画面の外へ加速するように見える。未処理のアナログ加速度信号からデジタル表現に変換されるときに量子化は測定誤差を導入して計算をより困難にする。
本発明のこの典型的な実施形態による装置は、図１０に表わされているように加速度計の既知の誤差パターンを許容し、かつ訂正するために線形および非線形成分の両方を有するアルゴリズムを含む。その中で、加速度計データサンプル１０００は、例えば３×３行列で誤差フィルタリング機能１０１０に供給される。そして、フィルタリングされた値は、例えば、上述した典型的な実施形態に関して説明したように、スケールおよび／またはオフセットに対応する校正データに基づいて、ボルト／単位重力（Ｖ／ｇ）の単位から加速度（ｇ）の単位に変換される（ブロック１０２０）。それぞれブロック１０４０、１０５０によって計算された手持ち型装置の方向に対応する重力値および加速度誤差を減算することによってブロック１０３０において粗い加速度データが純化（refine）される。重力は、ユーザによって傾けられたときに手持ち型装置に対応して変化する定数加速度である。重力が実際の加速度として誤って読み取られると、画面上のポインタは無限に加速する。暴走するポインタは結果として使用できないユーザインタフェースとなる。この典型的な実施形態は、未処理の加速度計データを方向に処理するベクトル操作を用いる。そして、重力ベクトルが計算され、かつその結果から減算される。重力ベクトルの測定値からの誤差が計算され、かつ将来の測定値から減算される。そして、純化された加速度値は、手持ち型装置の配置に基づいてブロック１０６０において幾何学的に変換される。そして、ブロック１０６０の出力は、ブロック１０９０において加速度データに基づいて決定される実際の位置が計算される前に、位置誤差推定について訂正される（ブロック１０７０、１０８０）。そして、位置データは、速度情報として出力される前に、微分され（ブロック１１００）、かつブロック１１１０において非線形処理に従うことが可能である。幾何学変換器１０６０は方向判定器１１２０にデータを出力することが可能であり、方向判定器１１２０は、例えば上述したのと同様な方法で手持ち型装置の方向を判定して手持ち型装置の方向角の表示を出力するとともに、方向誤差推定器１０５０および重力ベクトル計算器１０４０に入力を供給する。
ブロック１１３０、１１４０によって示されているように、手持ち型装置を再校正するために通常のユーザインタフェース動作の利点を有するユーザ相互作用モードを選択的にアルゴリズムに組み込むことが可能である。例えば、ユーザは典型的に対象を選択または“クリック”する前にポインタを動かすことを止める。このモードにおいて、手持ち型装置のアルゴリズムは、重力および位置の両方について再校正入力を供給する特定の期間の間に表示度数の重み付けされた平均を用いる。
本発明のこの典型的な実施形態は、内蔵式の手持ち型装置で、またはホストマシンで、アルゴリズム処理が実行されることを可能とする。手持ち型装置とホストマシンとの間の接続は、限定しないが、無線、ブルートゥース（登録商標）、ジグビー（ZigBee）、赤外線を含む多数の技術のいずれか１つとすることが可能であり、そのうちいくつかが、それぞれ図１１および図１２における典型的なブロック図のハードウェアおよびソフトウェアプラットフォームに表わされている。内蔵式においては、手持ち型装置は処理された位置および方向の情報をホストに送信する。ホストマシンがアルゴリズム処理を実行するときは、手持ち型装置は未処理の加速度データをホストに送信する。図１３はアルゴリズムの観点から本発明のこの典型的な実施形態を表わす。その中で、グレーの三角形１３００はそのコーナーにおいて３つの加速度計（点）を有する手持ち型装置を表わす。加速度計は上述したように手持ち型装置の加速度を測定し、例えば矢印Ａ０〜Ａ３によって示される。軸の組１３０２、１３０４は局所的な手持ち型装置の現在の方向を表わし、かつそれぞれ、基準の任意の点に対応する。
上述した典型的な実施形態は、本発明を限定するのではなく、全ての面で本発明の説明であることを意図する。したがって、本発明は、この技術分野の当業者によってここに含まれる説明から導き出すことが可能な詳細な実装における多くの変形が可能である。例えば、上述した典型的な実施形態では、その中でも、装置の動きを検出するために慣性センサの使用を説明しているが、上述した信号処理に関して慣性センサに代えて、またはそれに加えて他の種類のセンサ（例えば、超音波、磁気、光）を用いることが可能である。そのような全ての変形および変更は、添付の特許請求の範囲によって定義されるように本発明の範囲および思想に含まれると考えられる。本願の記載に用いられた構成要素、動作、説明は、明示の説明がなければ本発明に重要または必須と解釈されるべきである。また、ここで用いられるように、冠詞”a”は１つまたは複数のアイテムを含むことを意図する。
娯楽システムのための従来のリモートコントロール装置を表わす。 本発明の典型的な実施形態が実装可能な典型的なメディアシステムを表わす。 本発明の典型的な実施形態による自由空間ポインティング装置を表わす。 ２つの回転センサおよび１つの加速度計を含む自由空間ポインティング装置の切取内部図を表わす。 本発明の典型的な実施形態による自由空間ポインティング装置に関するデータの処理を表わすブロック図である。 傾きの影響を表わす。 傾きの影響を表わす。 傾きの影響を表わす。 傾きの影響を表わす。 本発明の典型的な実施形態による自由空間ポインティング装置のハードウェアアーキテクチャを表わす。 本発明の典型的な実施形態による静止検出機構を表わす状態図である。 本発明のもう１つの典型的な実施形態に関する６自由度を表わす。 本発明のもう１つの典型的な実施形態による加速度データを処理するためのアルゴリズムを表わす。 図１０の典型的な実施形態による自由空間ポインティング装置のハードウェアアーキテクチャを表わす。 図１０の典型的な実施形態による自由空間ポインティング装置のソフトウェアアーキテクチャを表わす。 アルゴリズムの観点から図９および図１０の典型的な実施形態を表わす。
符号の説明
２００ 集合メディアシステム
２１０ 入力／出力バス
２１２ テレビ／モニタ
２１４ ビデオカセットレコーダ
２１６ デジタルビデオディスク録画／再生装置
２１８ オーディオ／ビデオチューナ
２２０ コンパクトディスクプレーヤ
２２２ マイクロホン／スピーカシステム
２２４ ビデオカメラ
２２６ 無線Ｉ／Ｏ制御装置
２２８ システムコントローラ
２３０ ケーブル放送
２３２ 衛星放送
２３４ 放送テレビ網
２３６ 電話網
２３８ ケーブルモデム
４００ 自由空間ポインティング装置
４０２、４０４ ボタン
４０６ スクロールホィール
４０８ ディスプレイ
４１０ カーソル
５０２、５０４ 回転センサ
５０６ 加速度計
６００ 処理モデル
６０２ サンプリングされた加速度計出力
６０４ 変換機能
６０６ 加速度校正ブロック
６０８ 静止検出機能
６１０ 利得行列
６１２ サンプリングされた回転センサデータ
６１８ 回転校正機能
６１９ 温度センサ
６２０ 回転機能
６２２ 傾き判定機能
６２４ ＬＰＦ
８００ プロセッサ
８０２ スクロールホィール
８０４ ＪＴＡＧ
８０６ ＬＥＤ
８０８ スイッチマトリックス
８１０ 赤外線光検出器
８１２ 回転センサ
８１４ 加速度計
８１６ 送受信器
１０００ 加速度計データサンプル
１０１０ 誤差フィルタリング機能
１０４０ 重力ベクトル計算器
１０５０ 方向誤差推定器
１０６０ 幾何学変換器
１１２０ 方向判定器

Claims (11)

  1. 同一平面上にない配置で設けられた少なくとも４つの加速度計装置を具備し、
    前記少なくとも４つの加速度計装置の各々はそれぞれの加速度計データを出力し、
    前記少なくとも４つの加速度計装置の各々からの前記加速度計データを２次元のポインタの動きに変換するアルゴリズムをさらに具備するユーザインタフェース装置。
  2. 前記加速度計装置の各々は２つの加速度計を含む請求項１に記載のユーザインタフェース装置。
  3. 前記加速度計装置の各々は３つの加速度計を含む請求項１に記載のユーザインタフェース装置。
  4. 前記アルゴリズムはユーザの動きの特性に基づいて装置の動きの範囲を定めることによって誤差を削減する請求項１に記載のユーザインタフェース装置。
  5. 前記範囲を定めることはユーザの指、手首、腕、肩の少なくとも１つについてのユーザの動きの範囲を用いて実行される請求項４に記載のユーザインタフェース装置。
  6. 前記範囲を定めることはユーザの震えを用いて実行される請求項４に記載のユーザインタフェース装置。
  7. 前記アルゴリズムはさらにマウスボタンのクリックを生じさせるためのジェスチャーを読み取る請求項１に記載のユーザインタフェース装置。
  8. 前記アルゴリズムはさらにキーストロークまたはオペレーティングシステムメッセージを生じさせるためのジェスチャーを読み取る請求項１に記載のユーザインタフェース装置。
  9. ユーザインタフェース装置であって、
    前記ユーザインタフェース装置に対応する加速度を測定するための複数の加速度計と、
    時間にわたって方向の測定を安定させるために重力を利用するアルゴリズムと、
    を具備するユーザインタフェース装置。
  10. 手持ち型のユーザインタフェース装置であって、
    前記手持ち型のユーザインタフェース装置に対応する加速度を測定するための複数の加速度計と、
    前記手持ち型のユーザインタフェース装置がいつ静止したかを検出し、かつ静止状態が検出されたときに前記複数の加速度計の校正を実行するアルゴリズムと、
    を具備する手持ち型のユーザインタフェース装置。
  11. 手持ち型のユーザインタフェース装置であって、
    複数の加速度計を具備し、
    前記複数の加速度計の各々は手持ち型のユーザインタフェース装置の動きに対応する加速度データを供給し、
    前記加速度データを２次元のカーソルの動きのデータが生成可能なデータに変換するための処理装置をさらに具備し、
    前記処理装置はさらに前記手持ち型のユーザインタフェース装置がいつ静止したかを決定するために前記加速度データを処理し、かつ前記手持ち型のユーザインタフェース装置が静止しているときに前記手持ち型のユーザインタフェース装置を再校正する手持ち型のユーザインタフェース装置。
JP2006536917A 2003-10-23 2004-10-25 加速度計を用いたユーザインタフェース装置および方法 Pending JP2007509448A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US51386903P 2003-10-23 2003-10-23
US56644404P 2004-04-30 2004-04-30
US61257104P 2004-09-23 2004-09-23
PCT/US2004/035369 WO2005040991A2 (en) 2003-10-23 2004-10-25 User interface devices and methods employing accelerometers

Publications (1)

Publication Number Publication Date
JP2007509448A true JP2007509448A (ja) 2007-04-12

Family

ID=34527950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006536917A Pending JP2007509448A (ja) 2003-10-23 2004-10-25 加速度計を用いたユーザインタフェース装置および方法

Country Status (5)

Country Link
US (1) US7489299B2 (ja)
EP (1) EP1678585A4 (ja)
JP (1) JP2007509448A (ja)
KR (1) KR20060118448A (ja)
WO (1) WO2005040991A2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241655A (ja) * 2006-03-08 2007-09-20 Nintendo Co Ltd 動き判別装置および動き判別プログラム
JP2008123485A (ja) * 2006-11-14 2008-05-29 Ind Technol Res Inst 信号処理の方法及び装置、ならびに信号処理を使用する慣性位置決め装置
WO2009008372A1 (ja) 2007-07-06 2009-01-15 Sony Corporation 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
JP2010134912A (ja) * 2008-10-31 2010-06-17 Sony Corp 入力装置および方法、並びにプログラム
JP2010193335A (ja) * 2009-02-20 2010-09-02 Sony Corp 入力装置および方法、情報処理システム、並びにプログラム
JP2011072475A (ja) * 2009-09-30 2011-04-14 Nintendo Co Ltd 座標算出装置および座標算出プログラム
JP2011527053A (ja) * 2008-07-01 2011-10-20 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ３ｄポインタマッピング
JP2012502331A (ja) * 2008-06-27 2012-01-26 モベア エス．アー ロール補正を備えたハンドヘルドポインティングデバイス
JP2013539118A (ja) * 2010-09-02 2013-10-17 クゥアルコム・インコーポレイテッド 移動デバイスにおけるジェスチャーベースのユーザ入力の検出のための方法および装置
JP2013242836A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2013242916A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2014508366A (ja) * 2011-03-14 2014-04-03 ムラタ エレクトロニクス オサケユキチュア ポインティング方法、そのためのデバイスおよびシステム
JP2015122053A (ja) * 2013-10-25 2015-07-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、プログラム及び画像表示装置
US9079102B2 (en) 2008-06-30 2015-07-14 Nintendo Co., Ltd. Calculation of coordinates indicated by a handheld pointing device
US9772694B2 (en) 2009-03-09 2017-09-26 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
US9910507B2 (en) 2013-10-02 2018-03-06 Samsung Electronics Co., Ltd. Image display apparatus and pointing method for same
JP2018517190A (ja) * 2015-04-15 2018-06-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３次元の動きの変換の設定

Families Citing this family (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US7819806B2 (en) 2002-06-07 2010-10-26 Verathon Inc. System and method to identify and measure organ wall boundaries
US20070276247A1 (en) * 2002-06-07 2007-11-29 Vikram Chalana Systems and methods for ultrasound imaging using an inertial reference unit
US8221321B2 (en) 2002-06-07 2012-07-17 Verathon Inc. Systems and methods for quantification and classification of fluids in human cavities in ultrasound images
GB2391625A (en) 2002-08-09 2004-02-11 Diagnostic Ultrasound Europ B Instantaneous ultrasonic echo measurement of bladder urine volume with a limited number of ultrasound beams
US8221322B2 (en) 2002-06-07 2012-07-17 Verathon Inc. Systems and methods to improve clarity in ultrasound images
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US20060282873A1 (en) * 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7782297B2 (en) 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
WO2004014244A2 (en) 2002-08-13 2004-02-19 Microbotics Corporation Microsurgical robot system
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US7894177B2 (en) 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
ES2664472T3 (es) 2004-04-30 2018-04-19 Idhl Holdings, Inc. Dispositivos de señalización de espacio libre con compensación de inclinación y facilidad de uso mejorada
EP2273484B1 (en) * 2004-04-30 2019-08-28 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in free space pointing devices
TWI376520B (en) * 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
WO2005109215A2 (en) * 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in free space pointing devices
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US7138979B2 (en) * 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
FR2877113B1 (fr) * 2004-10-22 2007-05-11 Commissariat Energie Atomique Dispositif autonome, systeme et procede de navigation dans un espace a au moins trois dimensions.
US8456534B2 (en) 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
WO2006058129A2 (en) 2004-11-23 2006-06-01 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7216053B2 (en) * 2004-12-30 2007-05-08 Nokia Corporation Low power motion detector
US20060164393A1 (en) * 2005-01-24 2006-07-27 Chic Technology Corp. Highly sensitive inertial mouse
US20060169021A1 (en) * 2005-01-28 2006-08-03 Silverstein D A Method and apparatus for calibration of a motion sensing device in a portable apparatus
US7889186B2 (en) * 2005-04-29 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Pen input device and method for tracking pen position
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
EP1758398A1 (en) 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
EP2296079A3 (en) * 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
TWI316195B (en) * 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
US20070174416A1 (en) * 2006-01-20 2007-07-26 France Telecom Spatially articulable interface and associated method of controlling an application framework
JP4530419B2 (ja) 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US8210943B1 (en) 2006-05-06 2012-07-03 Sony Computer Entertainment America Llc Target interface
US8814641B2 (en) * 2006-05-08 2014-08-26 Nintendo Co., Ltd. System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
KR100816286B1 (ko) 2006-05-18 2008-03-24 삼성전자주식회사 휴대 단말기와 외부 장치를 이용한 디스플레이 장치 및방법
KR100827236B1 (ko) * 2006-05-23 2008-05-07 삼성전자주식회사 포인팅 디바이스, 포인터 이동 방법 및 상기 포인터를디스플레이하는 디스플레이 장치
US8013838B2 (en) * 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
DE112007000074T5 (de) * 2006-07-10 2009-04-02 Memsic Inc., Andover System zum Erfassen einer Gierrate unter Verwendung eines Magnetfeldsensors sowie tragbare elektronische Vorrichtungen unter Verwendung hiervon
US9405372B2 (en) * 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
US9526995B2 (en) 2006-11-22 2016-12-27 Sony Interactive Entertainment America Llc Video game recording and playback with visual display of game controller manipulation
TWI319539B (en) * 2006-11-29 2010-01-11 Ind Tech Res Inst Pointing device
JP5177735B2 (ja) * 2006-12-01 2013-04-10 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8194034B2 (en) * 2006-12-20 2012-06-05 Verizon Patent And Licensing Inc. Systems and methods for controlling a display
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US8167803B2 (en) 2007-05-16 2012-05-01 Verathon Inc. System and method for bladder detection using harmonic imaging
JP5035972B2 (ja) * 2007-06-13 2012-09-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP4916390B2 (ja) * 2007-06-20 2012-04-11 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US7860676B2 (en) 2007-06-28 2010-12-28 Hillcrest Laboratories, Inc. Real-time dynamic tracking of bias
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US7826999B1 (en) 2007-08-20 2010-11-02 Pni Corporation Magnetic tilt compensated heading compass with adaptive zoffset
US20090062943A1 (en) * 2007-08-27 2009-03-05 Sony Computer Entertainment Inc. Methods and apparatus for automatically controlling the sound level based on the content
US8810511B2 (en) * 2007-09-11 2014-08-19 Gm Global Technology Operations, Llc Handheld electronic device with motion-controlled cursor
US20090066637A1 (en) * 2007-09-11 2009-03-12 Gm Global Technology Operations, Inc. Handheld electronic device with motion-controlled display
KR20090034096A (ko) * 2007-10-02 2009-04-07 삼성전자주식회사 오류 보정 장치, 방법 및 이를 이용한 3차원 포인팅디바이스
KR101542274B1 (ko) 2007-10-16 2015-08-06 힐크레스트 래보래토리스, 인크. 씬 클라이언트 상에서 동작하는 사용자 인터페이스의 빠르고 부드러운 스크롤링
JP2009301531A (ja) * 2007-10-22 2009-12-24 Sony Corp 空間操作型入力装置、制御装置、制御システム、制御方法、空間操作型入力装置の製造方法及びハンドヘルド装置
US8341544B2 (en) 2007-12-14 2012-12-25 Apple Inc. Scroll bar with video region in a media system
US20090153475A1 (en) * 2007-12-14 2009-06-18 Apple Inc. Use of a remote controller Z-direction input mechanism in a media system
US8881049B2 (en) * 2007-12-14 2014-11-04 Apple Inc. Scrolling displayed objects using a 3D remote controller in a media system
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8344998B2 (en) 2008-02-01 2013-01-01 Wimm Labs, Inc. Gesture-based power management of a wearable portable electronic device with display
TWI374373B (en) * 2008-02-05 2012-10-11 Asustek Comp Inc Handheld pointing device and pointing method thereof and bias drift improving method
US9520743B2 (en) * 2008-03-27 2016-12-13 Echostar Technologies L.L.C. Reduction of power consumption in remote control electronics
US20090259432A1 (en) * 2008-04-15 2009-10-15 Liberty Matthew G Tracking determination based on intensity angular gradient of a wave
US20090285443A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab Remote Control Based on Image Recognition
US9200901B2 (en) 2008-06-19 2015-12-01 Microsoft Technology Licensing, Llc Predictive services for devices supporting dynamic direction information
US20100009662A1 (en) 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
US8342926B2 (en) * 2008-07-13 2013-01-01 Sony Computer Entertainment America Llc Game aim assist
KR20100018125A (ko) * 2008-08-06 2010-02-17 삼성전자주식회사 휴대용 단말기의 마우스 포인팅 방법 및 장치
JP5658151B2 (ja) 2008-08-07 2015-01-21 ベラソン インコーポレイテッドＶｅｒａｔｈｏｎ Ｉｎｃ． 腹部大動脈瘤の直径を測定するための装置、システム、方法
US9007396B2 (en) * 2008-10-09 2015-04-14 Hillcrest Laboratories, Inc. Methods and systems for analyzing parts of an electronic file
US8223121B2 (en) * 2008-10-20 2012-07-17 Sensor Platforms, Inc. Host system and method for determining an attitude of a device undergoing dynamic acceleration
KR101185589B1 (ko) * 2008-11-14 2012-09-24 (주)마이크로인피니티 움직임 감지를 통한 사용자 명령 입력 방법 및 디바이스
US8970707B2 (en) * 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8441388B2 (en) 2009-01-06 2013-05-14 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Remote control devices and methods
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US8515707B2 (en) * 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
US8898034B2 (en) * 2009-06-03 2014-11-25 Apple Inc. Automatically identifying geographic direction
US8239153B2 (en) * 2009-06-05 2012-08-07 Apple Inc. Dynamic compass calibration in a portable device
US7891103B2 (en) 2009-06-05 2011-02-22 Apple Inc. Magnetometer accuracy and use
US8437970B2 (en) * 2009-06-05 2013-05-07 Apple Inc. Restoring and storing magnetometer calibration data
KR101607476B1 (ko) 2009-06-12 2016-03-31 삼성전자주식회사 휴대용 단말기에서 모션 인식 장치 및 방법
US8872767B2 (en) 2009-07-07 2014-10-28 Microsoft Corporation System and method for converting gestures into digital graffiti
US9116002B2 (en) * 2009-08-27 2015-08-25 Apple Inc. Context determination to assist location determination accuracy
US8475371B2 (en) 2009-09-01 2013-07-02 Adidas Ag Physiological monitoring garment
US8626465B2 (en) 2010-03-30 2014-01-07 Apple Inc. Calibrating sensor measurements on mobile devices
US8531180B2 (en) * 2010-03-30 2013-09-10 Apple Inc. Determining heading using magnetometer data and angular rate data
US9436219B2 (en) * 2010-05-12 2016-09-06 Litl Llc Remote control to operate computer system
EP2577427A4 (en) 2010-06-03 2016-01-27 Hillcrest Lab Inc DETERMINATION OF A FORWARD DIRECTION OF A PORTABLE DEVICE
KR20110135707A (ko) * 2010-06-11 2011-12-19 엘지전자 주식회사 원격제어장치 및 그 동작 제어방법
US8977987B1 (en) 2010-06-14 2015-03-10 Google Inc. Motion-based interface control on computing device
WO2012023295A1 (ja) * 2010-08-18 2012-02-23 三菱電機株式会社 電気機器、制御方法及びプログラム
US8717009B2 (en) 2010-10-06 2014-05-06 Apple Inc. Magnetometer calibration
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
KR101769819B1 (ko) * 2010-11-15 2017-08-21 엘지전자 주식회사 영상표시기기의 동작 방법
CN102082900B (zh) * 2010-11-29 2012-11-07 中国科学院西安光学精密机械研究所 消旋摄像系统
CN102088549A (zh) * 2010-11-29 2011-06-08 中国科学院西安光学精密机械研究所 一种消旋摄像方法
EP2649505B1 (en) * 2010-12-08 2019-06-05 Nokia Technologies Oy User interface
US8761412B2 (en) 2010-12-16 2014-06-24 Sony Computer Entertainment Inc. Microphone array steering with image-based source location
US9030405B2 (en) 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
WO2012125596A2 (en) 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
CN102740189B (zh) * 2011-04-01 2014-10-08 中国科学院声学研究所 一种基于时间反转的声反馈抑制方法
US8615253B2 (en) 2011-06-03 2013-12-24 Apple Inc. State estimation using motion context and multiple input observation types
US20130194066A1 (en) * 2011-06-10 2013-08-01 Aliphcom Motion profile templates and movement languages for wearable devices
US9069380B2 (en) 2011-06-10 2015-06-30 Aliphcom Media device, application, and content management using sensory input
US9007302B1 (en) 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US9683865B2 (en) 2012-01-26 2017-06-20 Invensense, Inc. In-use automatic calibration methodology for sensors in mobile devices
US8565791B1 (en) 2012-02-02 2013-10-22 Google Inc. Computing device interaction with visual media
US8515413B1 (en) 2012-02-02 2013-08-20 Google Inc. Controlling a target device using short-range communication
US8638190B1 (en) 2012-02-02 2014-01-28 Google Inc. Gesture detection using an array of short-range communication devices
US8504008B1 (en) 2012-02-02 2013-08-06 Google Inc. Virtual control panels using short-range communication
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
US10922383B2 (en) * 2012-04-13 2021-02-16 Adidas Ag Athletic activity monitoring methods and systems
JP2013222399A (ja) * 2012-04-18 2013-10-28 Sony Corp 操作方法、制御装置及びプログラム
HK1174488A2 (en) * 2012-04-20 2013-06-07 Hihex Ltd Remote interaction system and control thereof
US8698746B1 (en) * 2012-04-24 2014-04-15 Google Inc. Automatic calibration curves for a pointing device
US20130338539A1 (en) * 2012-06-14 2013-12-19 International Business Machines Corporation Software program for monitoring a hand tremor of an end-user via a computer mouse input device
US20140035828A1 (en) * 2012-07-31 2014-02-06 Elwha LLC, a limited liability company of the State of Delaware Adjusting a displayed widget or delineated touch-selectable area of a touch screen display in response to an approaching user-appendage
US9423252B2 (en) 2012-09-11 2016-08-23 Apple Inc. Using clustering techniques to improve magnetometer bias estimation
CN102915126B (zh) * 2012-09-29 2016-03-02 深圳创维数字技术有限公司 一种光线遥控定位的方法、装置及系统
KR101420727B1 (ko) * 2012-11-28 2014-07-23 서강대학교산학협력단 터치스크린상에서의 가상 카메라의 회전 방법
US9726498B2 (en) 2012-11-29 2017-08-08 Sensor Platforms, Inc. Combining monitoring sensor measurements and system signals to determine device context
US11194368B2 (en) * 2012-12-10 2021-12-07 Adobe Inc. Accelerometer-based biometric data
US10147564B2 (en) 2013-02-07 2018-12-04 Universal Electronics Inc. System and methods for providing orientation compensation in pointing devices
US9151610B2 (en) 2013-06-08 2015-10-06 Apple Inc. Validating calibrated magnetometer data
JP5613314B1 (ja) * 2013-11-14 2014-10-22 Ｊｆｅシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム
US9612251B2 (en) * 2014-09-30 2017-04-04 Meng Liang Chen G-force measurement system with a horizontally deviated accelerometer
CN105808182B (zh) 2015-01-15 2019-09-17 财团法人工业技术研究院 显示控制方法及系统、广告破口判断装置、影音处理装置
FR3035718B1 (fr) * 2015-04-28 2017-05-26 Centre Nat Detudes Spatiales Cnes Procede de controle d'un dispositif de calcul via un element mobile et systeme de controle mettant en oeuvre ce procede
US9818310B2 (en) 2015-06-22 2017-11-14 Verily Life Sciences Llc Assessment of nutrition intake using a handheld tool
US9891245B2 (en) 2015-06-29 2018-02-13 CloudNav Inc. Real-time accelerometer calibration
ITUA20163019A1 (it) 2016-04-29 2017-10-29 St Microelectronics Srl Dispositivo sensore inerziale mems con determinazione del valore di scostamento di un relativo giroscopio e corrispondente metodo
KR101942264B1 (ko) * 2016-11-18 2019-01-25 (주)유엔디 자세 교정 시스템 및 방법
US11042262B2 (en) * 2017-02-01 2021-06-22 Opentv, Inc. Menu modification based on controller manipulation data
AU2017413929B2 (en) 2017-05-12 2022-07-14 Razer (Asia-Pacific) Pte. Ltd. Pointing devices and methods for providing user inputs to a computing device
US20190302903A1 (en) * 2018-03-30 2019-10-03 Microsoft Technology Licensing, Llc Six dof input device
US10989563B2 (en) 2018-06-25 2021-04-27 CloudNav Inc. Automatic calibration of rate gyroscope sensitivity
US11273367B1 (en) * 2019-09-24 2022-03-15 Wayne Hughes Beckett Non-CRT pointing device
US11941184B2 (en) * 2021-05-18 2024-03-26 Snap Inc. Dynamic initialization of 3DOF AR tracking system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744315A (ja) * 1993-05-21 1995-02-14 Sony Corp 入力装置
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JPH10307676A (ja) * 1997-05-07 1998-11-17 Ricoh Co Ltd ペン型入力装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
US4839838A (en) 1987-03-30 1989-06-13 Labiche Mitchell Spatial input apparatus
US5045843B1 (en) 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5138154A (en) 1990-04-04 1992-08-11 Gyration Inc. Shaft angle encoder with rotating off-axis interference pattern
US5128671A (en) * 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
US5396265A (en) 1990-09-17 1995-03-07 Massachusetts Institute Of Technology Three-dimensional tactile computer input device
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US6069594A (en) 1991-07-29 2000-05-30 Logitech, Inc. Computer input device with multiple switches using single line
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5359348A (en) 1992-05-21 1994-10-25 Selectech, Ltd. Pointing device having improved automatic gain control and information reporting
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5484355A (en) 1993-10-01 1996-01-16 Smith & Nephew Roylan, Inc. System for therapeutic exercise and evaluation
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
US6732369B1 (en) 1995-10-02 2004-05-04 Starsight Telecast, Inc. Systems and methods for contextually linking television program information
US6049823A (en) 1995-10-04 2000-04-11 Hwang; Ivan Chung-Shung Multi server, interactive, video-on-demand television system utilizing a direct-access-on-demand workgroup
US6100874A (en) 1995-11-17 2000-08-08 Immersion Corporation Force feedback mouse interface
US5703623A (en) 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
US5698784A (en) 1996-01-24 1997-12-16 Gyration, Inc. Vibratory rate gyroscope and methods of assembly and operation
US6164808A (en) 1996-02-09 2000-12-26 Murata Mfg. Co., Ltd. Three-dimensional data input device
US5825350A (en) 1996-03-13 1998-10-20 Gyration, Inc. Electronic pointing apparatus and method
US5835156A (en) 1996-08-14 1998-11-10 Samsung Electroncis, Ltd. Television graphical user interface employing remote random access pointing device
US5955988A (en) 1996-08-14 1999-09-21 Samsung Electronics Co., Ltd. Graphical user interface for establishing installation location for satellite based television system
US6016144A (en) 1996-08-14 2000-01-18 Samsung Electronics Co., Ltd. Multi-layered television graphical user interface
US6115028A (en) 1996-08-22 2000-09-05 Silicon Graphics, Inc. Three dimensional input system using tilt
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5912612A (en) 1997-10-14 1999-06-15 Devolpi; Dean R. Multi-speed multi-direction analog pointing device
US6181329B1 (en) 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
WO1999058214A1 (en) 1998-05-13 1999-11-18 Sega Enterprises, Ltd. Gun-shaped controller and game machine
US6369794B1 (en) 1998-09-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Operation indication outputting device for giving operation indication according to type of user's action
US6473713B1 (en) 1999-09-20 2002-10-29 American Gnc Corporation Processing method for motion measurement
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US6766456B1 (en) * 2000-02-23 2004-07-20 Micron Technology, Inc. Method and system for authenticating a user of a computer system
JP2002011250A (ja) 2000-04-25 2002-01-15 Nintendo Co Ltd ゲームシステムおよび携帯ゲーム機
US6757446B1 (en) 2000-11-27 2004-06-29 Microsoft Corporation System and process for image-based relativistic rendering
US6977645B2 (en) * 2001-03-16 2005-12-20 Agilent Technologies, Inc. Portable electronic device with mouse-like capabilities
US6929548B2 (en) 2002-04-23 2005-08-16 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices
US6650313B2 (en) 2001-04-26 2003-11-18 International Business Machines Corporation Method and adapter for performing assistive motion data processing and/or button data processing external to a computer
US6847351B2 (en) 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
US6993923B2 (en) * 2001-10-05 2006-02-07 Rich Beers Marine, Inc. Load bank
US20030107551A1 (en) 2001-12-10 2003-06-12 Dunker Garrett Storm Tilt input device
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6982697B2 (en) 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6984208B2 (en) * 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
US20040095317A1 (en) 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040268393A1 (en) 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
US20040229693A1 (en) 2003-05-13 2004-11-18 Clifton Lind Multiple video display gaming machine and gaming system
US6998966B2 (en) 2003-11-26 2006-02-14 Nokia Corporation Mobile communication device having a functional cover for controlling sound applications by motion
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US7301529B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
EP2273484B1 (en) 2004-04-30 2019-08-28 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in free space pointing devices
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
ES2664472T3 (es) 2004-04-30 2018-04-19 Idhl Holdings, Inc. Dispositivos de señalización de espacio libre con compensación de inclinación y facilidad de uso mejorada
WO2005109215A2 (en) 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in free space pointing devices
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JPH0744315A (ja) * 1993-05-21 1995-02-14 Sony Corp 入力装置
JPH10307676A (ja) * 1997-05-07 1998-11-17 Ricoh Co Ltd ペン型入力装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241655A (ja) * 2006-03-08 2007-09-20 Nintendo Co Ltd 動き判別装置および動き判別プログラム
JP2008123485A (ja) * 2006-11-14 2008-05-29 Ind Technol Res Inst 信号処理の方法及び装置、ならびに信号処理を使用する慣性位置決め装置
US7839386B2 (en) 2006-11-14 2010-11-23 Industrial Technology Research Institute Method and apparatus of signal processing and an inertial point device using the same
WO2009008372A1 (ja) 2007-07-06 2009-01-15 Sony Corporation 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
US8416186B2 (en) 2007-07-06 2013-04-09 Kazuyuki Yamamoto Input apparatus, control apparatus, control system, control method, and handheld apparatus
JP2012502331A (ja) * 2008-06-27 2012-01-26 モベア エス．アー ロール補正を備えたハンドヘルドポインティングデバイス
US9079102B2 (en) 2008-06-30 2015-07-14 Nintendo Co., Ltd. Calculation of coordinates indicated by a handheld pointing device
US10620726B2 (en) 2008-07-01 2020-04-14 Idhl Holdings, Inc. 3D pointer mapping
JP2011527053A (ja) * 2008-07-01 2011-10-20 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ３ｄポインタマッピング
US8648798B2 (en) 2008-10-31 2014-02-11 Sony Corporation Input device and method and program
US10474250B2 (en) 2008-10-31 2019-11-12 Sony Corporation Input device and method and program
US9990056B2 (en) 2008-10-31 2018-06-05 Sony Corporation Input device and method and program
JP2010134912A (ja) * 2008-10-31 2010-06-17 Sony Corp 入力装置および方法、並びにプログラム
US8321710B2 (en) 2009-02-20 2012-11-27 Sony Corporation Device, method and computer program product for causing an input device to enter a low power state and sending a command that disables display of a graphical user interface
JP4725818B2 (ja) * 2009-02-20 2011-07-13 ソニー株式会社 入力装置および方法、情報処理システム、並びにプログラム
JP2010193335A (ja) * 2009-02-20 2010-09-02 Sony Corp 入力装置および方法、情報処理システム、並びにプログラム
US9772694B2 (en) 2009-03-09 2017-09-26 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
JP2011072475A (ja) * 2009-09-30 2011-04-14 Nintendo Co Ltd 座標算出装置および座標算出プログラム
JP2013539118A (ja) * 2010-09-02 2013-10-17 クゥアルコム・インコーポレイテッド 移動デバイスにおけるジェスチャーベースのユーザ入力の検出のための方法および装置
US9513714B2 (en) 2010-09-02 2016-12-06 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
JP2015201217A (ja) * 2010-09-02 2015-11-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 移動デバイスにおけるジェスチャーベースのユーザ入力の検出のための方法および装置
US9372549B2 (en) 2011-03-14 2016-06-21 Murata Electronics Oy Pointing method, a device and system for the same
JP2014508366A (ja) * 2011-03-14 2014-04-03 ムラタ エレクトロニクス オサケユキチュア ポインティング方法、そのためのデバイスおよびシステム
US10261630B2 (en) 2012-04-27 2019-04-16 Panasonic Intellectual Property Corporation Of America Input device, input support method, and program
JP2013242916A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2013242836A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
US9910507B2 (en) 2013-10-02 2018-03-06 Samsung Electronics Co., Ltd. Image display apparatus and pointing method for same
JP2015122053A (ja) * 2013-10-25 2015-07-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、プログラム及び画像表示装置
JP2018517190A (ja) * 2015-04-15 2018-06-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３次元の動きの変換の設定

Also Published As

Publication number Publication date
EP1678585A2 (en) 2006-07-12
WO2005040991A3 (en) 2006-07-06
EP1678585A4 (en) 2008-04-30
WO2005040991A2 (en) 2005-05-06
US20050174324A1 (en) 2005-08-11
KR20060118448A (ko) 2006-11-23
US7489299B2 (en) 2009-02-10

Similar Documents

Publication Publication Date Title
US10782792B2 (en) 3D pointing devices with orientation compensation and improved usability
KR101192514B1 (ko) 틸트 보상과 향상된 사용성을 갖는 3ｄ 포인팅 장치
JP2007509448A (ja) 加速度計を用いたユーザインタフェース装置および方法
EP2337016B1 (en) Free space pointing devices with tilt compensation and improved usability
US7535456B2 (en) Methods and devices for removing unintentional movement in 3D pointing devices
US20140285434A1 (en) Methods and Systems for Gesture Classification in 3D Pointing Devices
JP2007535776A5 (ja)
JP2007535774A5 (ja)
KR20070017400A (ko) 틸트 보상과 향상된 사용성을 갖는 3ｄ 포인팅 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100817