JP2012507802A - 携帯端末上での運動処理を使用するコンテンツの制御およびアクセス - Google Patents

Abstract

各種の実施例が、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度の検知に基づき、携帯電子装置との相互作用を促進することができる、システムおよび方法を提供する。ある態様では、携帯電子装置は、表示能力を提供するサブシステム、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知する運動センサーのセット、および、少なくとも１つの運動センサーから抽出された運動データに基づき、装置との相互作用を促進することができるサブシステム、を含んでいる。
【選択図】図１

Description

関連する出願のクロスリファレンス
この出願は、「モバイル機器における運動処理を使用してコンテンツを制御する方法」という名称の、２００８年１０月２９日出願の、ＵＳ仮出願６１／１０９，３５６の利益をクレームしている。

この出願は、「ジャイロスコープを内蔵する携帯端末からシャープな画像を作成する方法および装置」という名称の、２００７年１月５日出願の、ＵＳ特許出願１１／６４９，９３６（ＩＶＳ−１１０／４０７８Ｐ）の一部継続出願である。

この出願は、「電子機器を備える垂直方向に一体化された３軸ＭＥＭＳ加速度計」という名称の、２００７年６月２１日に出願の、ＵＳ特許出願１１／７６６，７７６（ＩＶＳ−１１３／４２３６Ｐ）の一部継続出願である。

この出願は、「ＭＥＭＳ慣性を検知する埋め込まれたデジタル電子機器を備える一体化された運動処理ユニット（ＭＰＵ）」という名称の、２００７年７月６日出願の、ＵＳ特許出願１１／７７４，４８８（ＩＶＳ−１１１／３８７２Ｐ）の一部継続出願である。

この出願は、「電子機器を備える垂直方向に一体化された３軸回転ＭＥＭＳ加速度計」という名称の、２００７年１２月１０日出願の、ＵＳ特許出願１１／９５３，７６２（ＩＶＳ−１１４／４３５７Ｐ）の一部継続出願である。

この出願は、「振動ジャイロスコープに対するデュアルモード検知方法」という名称の、２００８年２月５日出願の、ＵＳ特許出願１２／０２６，４９３（ＩＶＳ−１１７／４４０４Ｐ）の一部継続出願である。

この出願は、「動作検知アプリケーション・インターフェース」という名称の、２００８年１月１８日出願の、ＵＳ仮出願６１／０２２，１４３の利益をクレームする、「装置のインターフェース・アプリケーション・プログラムおよび運動センサー」という名称の、２００８年４月２１日出願の、ＵＳ特許出願１２／１０６，９２１（ＩＶＳ−１１９／４３６０Ｐ）の一部継続出願である。

この出願は、「電子機器を備える垂直方向に一体化されたＭＥＭＳセンサーのウェハースケールチップのパッケージング方法」という名称の、２００８年５月８日出願の、ＵＳ特許出願１２／１１７，２６４（ＩＶＳ−１１５／４２８６Ｐ）の一部継続出願である。

この出願は、「コリオリの加速度を検知するための低慣性フレーム」という名称の、２００８年９月１２日出願の、ＵＳ特許出願１２／２１０，０４５（ＩＶＳ−１２３／４６０５Ｐ）の一部継続出願である。

この出願は、「一体化された複軸運動センサー」という名称の、２００８年９月２４日出願のＵＳ特許出願１２／２３６，７５７（ＩＶＳ−１２０／４４８３Ｐ）の一部継続出願である。

この出願は、「運動検知アプリケーション・インターフェース」という名称の、２００８年１月１８日出願の、ＵＳ仮出願６１／０２２，１４３の利益をクレームする、「運動ジェスチャーの認識を備えるモバイル機器」という名称の、２００８年１０月１５日出願の、ＵＳ特許出願１２／２５２，３２２（ＩＶＳ−１２４／４６０６Ｐ）の一部継続出願である。

この出願は、「モバイル機器における運動処理を用いたコンテンツの制御およびアクセス方法」という名称の、２００９年３月４日出願の、ＵＳ特許出願１２／３９８，１５６（ＩＶＳ−１２６／４８１７Ｐ）の一部継続出願である。

これらのすべては、これらの全体を参照番号によりここに組み込まれる。

携帯電子機器は、広範囲のアプリケーションや環境で使用されている。携帯電話、デジタルスチールカメラおよびビデオカメラ、携帯ミュージックおよびメディアプレイヤー、ポータブルゲーム装置およびコントローラー、携帯インターネット装置（ＭＩＤｓ）、パーソナルナビゲーション装置（ＰＮＤｓ）、および、その他の携帯装置のような装置のユビキタス性は、これらの種類の装置に対する人気および願望を示している。しかしながら、携帯装置の数多い機能をコントロールすることは、装置の小型化のため、しばしば、やっかいでありぎこちなくなる。例えば、ボタン入力あるいはタッチスクリーンを備える携帯装置は、装置を操作する際のユーザーの繊細な注意とともに、ユーザーの２本の腕を効果的に使用することを要求する。

加速度計やジャイロスコープのような慣性センサーなどの運動センサーは、携帯電子機器において使用される。加速度計は、線加速度を測定するために使用され、ジャイロスコープは動く携帯電子機器の角速度を測定するために使用される。運動センサーのマーケットは、携帯電話、ビデオゲームコントローラー、電子手帳（ＰＤＡｓ）、モバイルインターネット装置（ＭＩＤｓ）、パーソナルナビゲーション装置（ＰＮＤｓ）、デジタルスチールカメラ、デジタルビデオカメラ、リモートコントロール、および、多くの他の装置を含んでいる。例えば、携帯電話は、空間中の装置の傾斜を検知するための加速度計を使用し、傾斜に対応する方向にビデオ画像を表示することができる。ビデオゲームコンソールコントローラーは、ゲームの入力を提供する携帯コントローラーの動作を検知するために、加速度計を使用することができる。画像およびビデオの手ぶれ防止は、低価格や中価格のデジタルカメラにおいてさえも重要な特徴であり、レンズまたはイメージセンサーがジャイロスコープで検出した手ぶれを補償するためにシフトする。グローバル・ポジショニング・システム（ＧＰＳ）や位置情報サービス（ＬＢＳ）などのアプリケーションは、装置の正確な位置を決定することを頼りにしており、ＧＰＳ信号が弱かったり利用できない時や、ＧＰＳ位置測定の正確性をより高めたい時に、運動センサーがしばしば必要になる。

多くの現存する携帯電子機器は、「ピーク検出」を備える加速度計や定常状態の測定のように、大変基本的な運動センサーのみを使用する傾向がある。例えば、現在の携帯電話は装置の傾きを決定するために加速度計を使用し、これは定常状態の重力測定を使用して決定することができる。そのような簡単な決定は、ジャイロスコープや正確なタイミングをとることができる性能を要求される多くの洗練されたアプリケーションでは、受け入れることができない。装置に含まれるジャイロスコープなしでは、装置の傾きや加速度を信頼性高く検知できない。また、装置の運動は、地面に対して常に直線状や平行ではなく、多くの現在の装置は、しばしば、他のタイプの運動を正確に検知できない。そのため、現存の装置は運動検知能力が限られており、装置の機能および制御をどのように使用するかの点で制限されている。

各種の装置、システムおよびアプリケーション（ここに記載する発明に関連するものも関連しないものも）は、ゲーム装置、携帯電話、および、軍隊のアプリケーションを備える装置を含む、運動センサーの検知能力をうまく活かそうとしている。多くの工業セグメントは、構成要素のデザイナーからエンドユーザーの装置作製者やソフトウェアーの開発者まで、そのような装置、システムおよびアプリケーションを発展させてきた。現在の技術の状態は、しかしながら、単一の装置に統合された現存の運動センサーを介して達成できる運動検知の正確さによって制限され、一体化された運動センサーを備える携帯装置の発展のためのプラットホームとして使用するには十分でなく、装置はパーソナル・コミニュケーションを促進し、ここで、装置によりあるいは装置を通じて可能となるビジュアルコンテンツへのアクセスを提供する。

例えば、洗練された慣性計測ユニット（ＩＭＵ）装置は、３つのジャイロスコープの軸、３つの加速度計の軸および３つのコンパスの軸に沿って運動を検知するよう設計されている。通常、これらの装置は、相対的に大きい装置であり、エンドユーザー向けの携帯のアプリケーションにはフィットせず、その代わりに、工業や軍用の設定で配備されている。例えば、ＩＭＵは、アンテナや地球に向く他の通信システムを特定の方向に維持するために必要な、地球の周りを回る衛星に組み込まれている。

エンドユーザーを意図した他の装置は、運動センサーを組み込みつつ、形状因子を減少しようとする。例えば、ある装置は、ビデオゲームでユーザーとの相互作用を促進するために、（ディスプレ−の近傍に配置された光源の検知に加えて）３つの加速度計の軸に沿った運動検知を組み込むことができる。最近リリースされた改良型は、Ｎｉｎｔｅｎｄｏ（登録商標）Ｗｉｉ（登録商標）Ｒｅｍｏｔｅ（商標）といわれるゲームリモートコントローラのためのＭｏｔｉｏｎＰｌｕｓと呼ばれるアタッチメントであり、これは、ＷｉｉＲｅｍｏｔｅにプラグインする独特のアドオン装置であり、３つのジャイロスコープの軸に沿って運動を検知することができる一組のセンサー付加している（これらのセンサーはこの特許の出願人であるＩｎｖｅｎＳｅｎｓｅによって製造されている）。ＷｉｉＲｅｍｏｔｅと組み合わされたＭｏｔｉｏｎＰｌｕｓは、組み合わされた３つのジャイロスコープの軸および３つの加速度計の軸に沿った動きを検知できる複合装置を作製する。

軍用の装置およびアプリケーションに関する詳細は、通常、公共に知られておらず、これは運動検知技術に適用されている。この点で（それが真実だと知る方法はないが）、軍用アプリケーションで用いられる最先端の個人頭部装着型画像ディスプレーは（例えば、場合によりヘルメットの一部に一体化された、電子ディスプレーを含む洗練されたメガネまたはゴーグルは）、３つのジャイロスコープの軸および３つの加速度計の軸に沿って運動を検知することができる運動センサーを含んでいる。しかしながら、そのようなアプリケーションにおいて、もしそれが存在したとしても、ジャイロスコープと加速度計との意味のある統合が達成することは起こりそうもない。また、アイコン選択、メニュー選択またはリストのスクロールなどの、装置の動きを介する携帯装置におけるアプリケーションとの多くの相互作用は、そのような軍用の頭部装着型の画像ディスプレーを介して実行不可能だろう（例えば、特徴を起動するために電話を振ることは実行可能だが、頭部装着型画像ディスプレーにおいて同じ結果を達成するために、頭を振ることはできない）。その結果、そのような軍用装置は、パーソナルコミュニケーションを促進し、装置により、あるいは、装置を介して可能なビジュアルコンテンツへのアクセスを提供する統合された運動センサーを備える頭部装着型装置の発展のための良好なプラットホームとして役に立たない。どの会社も、そのような軍用システムを、そのようなコミュニケーション用携帯装置に変更しようとせず、実際、そのような変更は、妥当ではなく、直感に反したものであり、経済的に実行可能でない。

付加的な装置および構成要素が、加速度計とセンサーとを種々の程度での統合を提供するために市場に導入されているが、いずれも、十分な正確さのための３軸ジャイロスコープおよび３軸加速度計運動センサーを提供するものではなく、次世代の携帯用のモバイルのための適当なプラットホームとして役に立たない。そのような装置および構成要素の例は、（３つの加速時計と３つのコンパスセンサーを組み合わせた）ＡＫＭ社によって販売される検知構成要素、ワイヤレスマウス、ポインター装置、（３つの加速度計と２つのジャイロスコープを含むように思える）Ｍｏｖｅａ社および／またはＧｙｒａｔｉｏｎ社によって販売されるメディアリモートコントローラー、（現在のところ３つの加速度計を組み込む）各種の携帯電話、ポータブルビデオゲーム用アドオンアタッチメント、（手ぶれ防止の目的で２つまでのジャイロスコープを組み込み、もしそれが固い装置に組み込まれるならば１〜３個の分離した加速度計を含む）フォトビデオカメラ、および、（２つまでのジャイロスコープおよび３つまでの加速度計を組み込んだ）ナビゲーションシステム、を含んでいる。上述した加速度計およびジャイロスコープの数は、現在利用可能な広報に基づき推定している。

加速度計およびジャイロスコープを有するいくつかの装置は、加速度計のセットとジャイロスコープのセットとを２つの異なるユニットに分けている。センサーの２つのセットは、互いに離れた位置に配置され、それにより２つのセットのセンサー間の空間的な分離を導入し、統合された動き検出をより難しく精度の低いものとしている。さらにまた、センサーの２つのセットは、２つの異なるユニット間のインターフェースを介してのコミュニケーションに頼っており、加速度計およびジャイロスコープからのデータの同期をより難しく不正確なものとしている、

また、いくつかの装置は、ゲームとの直接的な相互作用を許すディスプレーサブシステムを統合していない（表示すべき画像を外部装置に実質的に作成することができる実際のディスプレーまたはロジックを問わず）。その結果、そのような装置は、統合されたあるいは外部ディスプレーを備える携帯電話のように、パーソナルコミュニケーションを促進し、グラフィックデータへの視覚的なアクセスを提供する、統合された動きセンサーを有する携帯端末を開発するための良好なプラットホームとしての役目を果たすことはできない。

米国特許出願公開ＵＳ２００９００６６６３７Ａ１は、「各種のジャイロスコープおよび加速度計」を組み込み携帯端末を開示しており、マップを統合スクリーン上に表示する。装置の動きは、マップの視野を変更するために使用される。このナビゲーション支援装置は、加速度計およびジャイロスコープの特定の統合や特定のパーソナルコミュニケーションの機能性を開示していない。さらに、ＵＳ２００９００６６６３７Ａ１の装置は、マップを超えてのコンテンツとのユーザ相互作用を促進するよう構成されても意図されてもいない。その結果、ＵＳ２００９００６６６３７Ａ１は、装置が、パーソナルコミュニケーションを促進し、装置によりあるいは装置を通して可能な広い範囲のビジュアルコンテンツへのアクセスを提供する、密接に統合された加速度計およびジャイロスコープ動きセンサーのセットを組み込む携帯端末の発展の手段や望ましさを開示も示唆もしていない。

米国特許出願公開ＵＳ２００８００３４３２１Ａ１は、運動センサーを組み込み、ビデオストリームのように、装置に統合されたスクリーン上に表示されたあるコンテンツの制御をユーザーに許す、携帯端末を開示している。この装置は、特定の電子回路構造に埋め込まれた加速度計を組み込んでいる（図１０および１１を参照）。ＵＳ２００８００３４３２１Ａ１は、全部で２つの加速度計（［００９７］パラグラフ）に対し、２つまでの付加的な加速度計およびジャイロスコープの導入を意図しているように見える（加速度計の置き換えとして、あるいは、加速度計と組み合わせたセンサーとして：［００９９］パラグラフ）。ＵＳ２００８００３４３２１Ａ１は、この出願で開示された携帯端末にジャイロスコープをどうやって導入するかの構造上の詳細を開示しておらず、１つ以上の加速度計およびジャイロスコープ間の密接な統合を意図していない。その結果、ＵＳ２００８００３４３２１Ａ１は、装置が、パーソナルコミュニケーションを促進し、装置によりあるいは装置を介して可能な広い範囲のビジュアルコンテンツへのアクセスを提供する、密接に統合された加速時計・ジャイロスコープ運動センサーのセットを組み込んだ携帯端末の発展の手段や望ましさを開示も示唆もしていない。

米国特許出願公開ＵＳ２００６０２７９５４２Ａ１は、装置の動きを介して統合されたスクリーン上に表示された地理的なマップをユーザーが操作できる携帯端末を開示している。ＵＳ２００６０２７９５４２Ａ１は、他の種類のマップや文書のページのように、ユーザーによって走査することができる付加的なコンテンツを示唆している。ＵＳ２００６０２７９５４２Ａ１によれば、装置は、３つまでの加速度計、または、場合によっては「ジャイロスコープおよび加速度計の配置」を組み込むことができる（［００３８］パラグラフ参照）。図１４に関連して、ＵＳ２００６０２７９５４２Ａ１は、好ましくは、運動センサーを装置の背面上に、外見上、装置の外表面上に搭載されることを開示している（［００４６］パラグラフ参照）。ＵＳ２００６０２７９５４２Ａ１は、携帯端末のための運動センサーとしての加速時計およびジャイロスコープの使用、特に、約１ｃｍの側面を有するジャイロスコープの立方体および３つまでの加速度計の使用を開示している（［００５９］パラグラフ参照）。ＵＳ２００６０２７９５４２Ａ１は、携帯端末にジャイロスコープおよび加速度計をどうやって導入するかの構造上の詳細を開示しておらず、１つ以上の加速度計と１つ以上のジャイロスコープとの間の密接な統合を意図していない。その結果、ＵＳ２００６０２７９５４２Ａ１は、装置が、パーソナルコミュニケーションを促進し、装置によりあるいは装置を介して可能な広い範囲のビジュアルコンテンツへのアクセスを提供する、密接に統合された加速時計・ジャイロスコープ運動センサーのセットを組み込んだ携帯端末の発展の手段や望ましさを開示も示唆もしていない。

ＰＣＴ特許出願ＷＯ０３００１３４０Ａ２は、運動センサーを組み込み、ユーザーのジェスチャーを解釈するために使用可能な携帯端末を開示している。ＷＯ０３００１３４０Ａ２によれば、ジェスチャーの解釈が行われる前に、ＷＯ０３００１３４０Ａ２の装置は、広い基準によるジェスチャーデータを複数の所定のクラスに割り付ける分類ステップを、必然的に実行しなければならない（ページ５、ライン３０−３４を参照）。ＷＯ０３００１３４０Ａ２に開示された装置に組み込まれる運動センサーは、３つまでの加速度計と３つまでのジャイロスコープを含むことができる（ページ７、ライン１６−１９を参照）。ＷＯ０３００１３４０Ａ２の図５は、別々に独立したセンサーとしての各種の運動センサーを示している。ＷＯ０３００１３４０Ａ２は、携帯端末にジャイロスコープおよび加速度計をどうやって導入するかの構造上の詳細を開示しておらず、１つ以上の加速度計と１つ以上のジャイロスコープとの間の密接な統合を意図していない。その結果、ＷＯ０３００１３４０Ａ２は、装置が、パーソナルコミュニケーションを促進し、装置によりあるいは装置を介して可能な広い範囲のビジュアルコンテンツへのアクセスを提供する、密接に統合された加速時計・ジャイロスコープ運動センサーのセットを組み込んだ携帯端末の発展の手段や望ましさを開示も示唆もしていない。

米国特許出願公開ＵＳ２００３０２３１１８９Ａ１は、統合されたスクリーン上に表示されたコンテンツをユーザーが走査できる運動センサーを使用した携帯端末を開示している。ＵＳ２００３０２３１１８９Ａ１に開示された運動センサーは、１つ以上の加速度計と１つ以上のジャイロスコープを含むことができる。ＵＳ２００３０２３１１８９Ａ１は、携帯端末にジャイロスコープおよび加速度計をどうやって導入するかの構造上の詳細を開示しておらず、１つ以上の加速度計と１つ以上のジャイロスコープとの間の密接な統合を意図していない。その結果、ＵＳ２００３０２３１１８９Ａ１は、装置が、パーソナルコミュニケーションを促進し、装置によりあるいは装置を介して可能な広い範囲のビジュアルコンテンツへのアクセスを提供する、密接に統合された加速時計・ジャイロスコープ運動センサーのセットを組み込んだ携帯端末の発展の手段や望ましさを開示も示唆もしていない。

発明者の調査に基づくと、運動センサーを組み込み、携帯電話の機能性を提供し、装置によりあるいは装置を介して提供されるビジュアルコンテンツとのユーザー相互作用を促進する、洗練された携帯端末は、装置の運動検知能力を利用できるように特に構成されたグラフィカル・ユーザー・インターフェースを必要とする。例えば、米国特許出願ＵＳ２００９００３７８４８Ａ１は、様々な対象物を、その対象物間の関係のグラフィカル表示と共に表示するグラフィカル・ユーザー・インターフェースを開示している（例えば、仕事の対象物間のグラフィカルな関係および仕事の対象物を表示する図２を参照）。ＵＳ２００９００３７８４８Ａ１に記載されているような先行技術のシステムおよび方法は、パーソナルコミュニケーションを促進し、装置よりあるいは装置を介して可能になるビジュアルコンテンツへのアクセスを提供する統合された運動センサーを有する携帯端末を発展させるための良好なプラットホームを提供できない。

パーソナルコミュニケーションに十分な携帯電子端末のための良いプラットホームとして役立つが、これらの装置または部品のいずれも、３つのジャイロスコープの軸および３つの加速度計の軸に沿って動きを検知することができない明らかな結果となった。さらに、これらの装置または部品のいずれもが、単一のモジュール内における加速度計およびジャイロスコープの統合を達成できず、そのような統合は、既存の先行技術から自明でなく、示唆もされず、直接的に促進されないことは明らかである。

本出願の発明は、携帯電子端末および動きの処理を使用するコンテンツとの相互作用に関するものである。ある態様では、携帯電子端末は、表示機能を提供するサブシステム、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセット、および、少なくとも１つの運動センサーから引き出されたモーションデータに基づき、装置との相互作用を促進することができるサブシステムを含む。

他の態様において、携帯電子端末は、装置に装着されたディスプレー、および、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットを含み、運動センサーが単一のモジュール内に統合されている。装置は、また、少なくとも１つの運動センサーから引き出されたモーションデータに基づき、装置との相互作用を促進することができるサブシステムを含む。

他の態様において、ストレージ媒体は、携帯電子端末を稼働させることのできるソフトプログラムを含む。装置は、表示機能を提供するサブシステム、および、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットを含む。ソフトウェアー・アプリケーションは、少なくとも１つの運動センサーから引き出されたモーションデータに基づき、装置との相互作用を促進することができる。

他の態様において、運動センサーのセットが、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知し、運動センサーは、携帯電子端末内に統合される。装置は、表示機能を提供するサブシステム、および、少なくとも１つの運動センサーから引き出されたモーションデータに基づき、装置との相互作用を促進することができるサブシステムを含む。

他の態様において、携帯電子端末は、表示機能を提供するサブシステム、運動機能のトリガー、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセット、および、サブシステムを含む。サブシステムは、少なくとも１つの運動センサーから引き出されたモーションデータに基づき、装置との相互作用を促進することができる。

記載した発明の態様は、携帯端末の機能のロバスト性、および、直感的で、正確なコントロールを可能とする、正確なモーションデータ検知を許す携帯電子端末を含む。態様は、ユーザーが、装置の運動を使用して電子装置の機能への簡単なアクセスおよ機能のコントロールを可能にする。

図１は、本発明の使用に適する、運動検知携帯端末の一例の斜視図である。 図２は、本発明の使用に適する、運動検知システムの一実施例のブロック図である。 図３Ａ−３Ｅは、装置の動きを使用して選択され得る、要素の表示の一例の線図である。 図４Ａ−４Ｃは、装置の動きを使用して表示スクリーン上で行われる、パンニングおよびズーミングの線図である。 図５Ａ−５Ｄは、装置の動きを使用した、表示されたマップの操作の線図である。 図６Ａ−６Ｂは、装置の動きを使用した、表示された要素のスクローリングの線図である。 図７Ａ−７Ｃは、装置の動きを使用した、表示された要素の操作に用いる動きのジェスチャーの線図である。 図８Ａ−８Ｃは、画像表示が装置の動きに基づきどのように変化するかを示す、表示された画像回転の線図である。 図９Ａ−９Ｃは、携帯電子装置のための運動検知システムの部分の実施例を示すブロック図である。

本発明は、一般的に運動検知装置に関するものであり、特に、モバイル機器および運動検知を用いるコンテンツとの相互作用に関するものである。以下の記載は、当業者が本発明を製造および使用することができるように使用され、特許出願およびその要件の文章中に提供される。好適な実施例、一般的な法則、および、ここに記載された特徴に対する各種の変更は、当業者にとって容易に推定できる。そのため、本発明は、示された実施例に限定されるものではなく、ここに記載された法則および特徴に矛盾しない限り最も広い範囲を許容する。

ここで記載された本発明の態様は、装置の機能をコントロールするために装置の動きを検知することによって、携帯電子端末の拡張された機能性を提供する。装置の動きを使用した装置の機能のコントロールは、タッチスクリーン、ボタン、スイッチのような物理的要素の使用からの装置の摩耗を減少するとともに、これらの機能のより簡単でより早いコントロールを可能にする。

図１は、ここに記載された本発明の態様に適する、運動検知携帯端末１０の一例の斜視図である。端末１０は、操作するユーザーの１本あるいは２本の手で持つことができ、以下に記載するように、各種の異なる機能を含むことができる。ここで使用されているように、「含む」、「含んでいる」、「例えば」などの語句およびその変形は、限定する語句を意図しておらず、「限定されず」の語句が続くことをむしろ意図している。示された実施例において、端末１０は、ディスプレースクリーン１６ａおよび物理的なボタン６を含むことができる。さらにまた、ある実施例は、端末１０の一方あるいは両方の側面に１つ以上のボタン８および９を含ますことができ、それをユーザーが押したり保持することで、例えば、以下に詳細に記載するように、装置の異なる状態を変えて操作の異なるモードにおいて、動きのジェスチャーによる入力を可能とする。端末の他の実施例は、図２について以下に記載するように、異なる、および／または、付加的な入力および出力を使用し、含ませることができる。

本発明の態様に従って、端末１０はユーザーにより空間に移動でき、この動きが、以下に詳細に示されるように、装置の運動センサーによって検知される。ここで参照するように、端末１０の回転は、図１に示されるように、種々の回転軸についてのピッチ、ロールおよびヨーを含むことができる。これらの軸は、他の実施例では、別の方法で定義される。さらにまた、直線状の動きは直線状の軸ｘ、ｙおよびｚに沿って行われる。さらにまた、これらの軸は、端末１０によって使用されるハードウェアおよびソフトウェアーにふさわしいように、端末の種々の異なる位置に規定される（例えば、図１に示された軸に対し平行移動または回転移動したり、他の場合は、他の座標システム（直交座標、極座標、その他の座標）に移動させたりする）。

図２は本発明の態様の使用に適する端末１０または運動検知システムの一例のブロック図である。端末１０は、ユーザーによって空間に移動でき、空間中の動きおよび／または方向がそのため検知できる、携帯端末のような端末あるいは装置として使用される。例えば、そのような携帯端末は、携帯電話（例えば、セル方式の携帯無線電話、ローカルネットワークで駆動する電話、あるいは、他の電話送受器）、有線電話（例えば、電話線に繋がった電話）、電子手帳（ＰＤＡ）、ビデオゲームプレーヤー、ビデオゲームコントローラー、ナビゲーション装置、モバイルインターネット装置（ＭＩＤ）、パーソナルナビゲーション装置（ＰＮＤ）、デジタルスチルカメラ、デジタルビデオカメラ、双眼鏡、望遠レンズ、ポータブルミュージック、ビデオ、メディアプレーヤー、リモートコントロール、他の携帯端末、あるいは、これらの装置の１つ以上の組み合わせである。ある実施例において、端末１０は、入力装置に加えて、それ自体のディスプレーおよび他の出力装置を含む内蔵型の装置である。他の実施例において、携帯端末１０は、例えばネットワーク接続を介して移動可能な携帯端末１０とコミュニケーションをとることができる、デスクトップコンピューター、電子卓上装置、サーバーコンピューター、などの非ポータブル装置とつないで機能する。装置は、有線に基づくコミュニケーションプロトコル（例えば、シリアル伝送、パラレル伝送、パケットに基づくコミュニケーション）、無線接続（例えば、電磁放射、赤外線放射、または他の無線技術）、１つ以上の有線接続と１つ以上の無線接続との組み合わせなどのいずれかのタイプを使用して、有線接続を介してコミュニケーションすることができる。

端末１０は、アプリケーションプロセッサー１２、メモリー１４、インターフェース装置１６、運動検知ユニット２０、アナログセンサー２２およびデジタルセンサー２４を含む。アプリケーションプロセッサー１２は、１つ以上のマイクロプロセッサー、中央処理ユニット（ＣＰＵｓ）、端末１０のための、または、端末１０の機能に関する他のアプリケーションのための、ソフトウェアープログラムを実行できる他のプロセッサーである。例えば、メニューナビゲーションソフトウェアー、ゲーム、カメラ機能コントロール、ナビゲーションソフトウェアーおよび電話などの異なるソフトウェアーアプリケーション、または、様々な他のソフトウェアーおよび機能性インターフェースが提供される。ある実施例において、複数の異なるアプリケーションが単一の端末１０に提供され、それらの実施例のいくつかでは、複数のアプリケーションが端末１０で同時に実行される。ある実施例において、アプリケーションプロセッサーは、端末１０の複数の異なるオペレーションモードを実装し、各モードは、端末における異なるセットのアプリケーションの使用を可能にし、ジェスチャーの異なるセットを検知可能にする。ここでの用例として、特に言及しない限り、アイテムの「セット」は、１つのアイテム、あるいは、２つ以上のアイテムの組み合わせを意味する。

ソフトウェアーの多層化は、アプリケーションプロセッサー１２との使用のために、電子メモリーのようなコンピューターが認識可能な媒体、または、ハードディスク、光ディスク、フラッシュドライブなどの他の記憶媒体に提供される。例えば、オペレーティングシステム層は、端末１０に対し、リアルタイムのリソース、アプリケーションソフトウェアおよび他の層の実行可能な機能、および、端末１０の他のソフトウェアおよび機能を有するインターフェースアプリケーションプログラムを、制御および管理するために提供される。モーションアルゴリズム層は、運動センサーおよび他のセンサーから提供される生のセンサーデータの下位レベルの処理を行うモーションアルゴリズムを提供する。センサー装置駆動層は、端末１０のハードウェアセンサーに対しソフトウェアインターフェースを提供する。

これらの層のいくつかあるいは全ては、プロセッサー１２のソフトウェア１３中に提供される。例えば、ある実施例では、プロセッサー１２は、動き処理ユニット（ＭＰＵ^ＴＭ）２０（以下に記載される）からのセンサー入力に基づき、ここに記載されたジェスチャーの処理および認識を実行する。他の実施例は、層のいくつか（下位レベルのソフトウェア層など）がＭＰＵ内に提供されている、使用されるアプリケーションおよび／またはハードウェアに適するように、ＭＰＵ２０とプロセッサー１２との間の処理の分割を可能にする。例えば、ＭＰＵ２０による処理が可能な実施例において、ＡＰＩ層は、ＡＰＩコマンドと同様に、ＭＰＵ２０に対しプロセッサー１２上で動作しているアプリケーションプログラムのステータスのコミュニケーションが可能な、プロセッサー１２の層１３に実装され（例えば、バス２１を介して）、ＭＰＵ２０がここに記載するジェスチャーの処理および認識のいくつかあるいは全てを実行可能にする。運動検知センサーにおけるＡＰＩ実装のある実施例は、最初に引用例として記載した、同時係属中の特許出願１２／１０６，９２１において記載されている。

端末１０は、また、メモリー１４（ＲＡＭ、ＲＯＭ、フラッシュなど）およびインターフェース装置１６のような、アプリケーションプロセッサー１２を補助するためのコンポーネントを含む。インターフェース装置１６は、ディスプレースクリーン、オーディオスピーカー、ボタン、スイッチ、タッチスクリーン、ジョイスティック、スライダー、ノブ、プリンター、スキャナー、カメラ、コンピュータネットワークＩ／Ｏ装置、結合周辺機器、などの、ユーザーに入力および／または出力を提供する各種の異なる装置である。例えば、多くの実施例で含まれるあるインターフェース装置１６は、ユーザーが視聴可能な画像を出力するためのディスプレースクリーン１６ａである。メモリー１４およびインターフェース装置１６は、バス１８によってアプリケーションプロセッサー１２と結合される。

端末１０は、また、動き処理ユニット（ＭＰＵ^ＴＭ）２０を含む。ＭＰＵは、空間中の端末１０の動き（またはその一部）を測定できる運動センサーを含む装置である。例えば、ＭＰＵは、端末における、回転の１つ以上の軸および加速度の１つ以上の軸を、測定することができる。好ましい実施例において、少なくともいくつかの運動センサーは、ジャイロスコープおよび／または加速度計のような、慣性センサーである。ある実施例では、これらの機能を実行するコンポーネントは、単一のパッケージ内に統合されている。ＭＰＵ２０は、運動センサーデータを、インターフェースバス２１例えば１２Ｃ、または、シリアル周辺機器インターフェース（ＳＰＩ）バスへ伝達し、そこへはまたアプリケーションプロセッサー１２が接続されている、。ある実施例において、プロセッサー１２は、バス２１のコントローラーまたはマスターである。ある実施例は、インターフェースバス２１と同じバスとしてバス１８を提供する。

ＭＰＵ２０は、１つ以上の回転運動センサー（ジャイロスコープ）２６および１つ以上の直線運動センサー（加速度計）２８を含む、運動センサーを含んでいる。例えば、ある実施例において、回転運動センサーがジャイロスコープであり直線運動センサーが加速度計である、慣性センサーが使用される。ジャイロスコープ２６は、ジャイロスコープ２６を収容する端末１０（またはその一部）の角速度を測定できる。その実施例において検知したいと希望する運動に応じて、１〜３個のジャイロスコープが通常設けられる。ある実施例は、例えば正確性を拡張し、パフォーマンスを増大し、信頼性を向上するために、３個以上のジャイロスコープを使用することもある。あるジャイロスコープは、例えば、パワーの使用をコントロールしたり、必要な運動処理に適合させたりするために、動的に起動あるいは停止される。加速度計２８は、加速度計２８を収容する端末１０（またはその一部）の線加速度を測定できる。その実施例において検知したいと希望する運動に応じて、１〜３個の加速度計が通常設けられる。ある実施例は、例えば正確性を拡張し、パフォーマンスを増大し、信頼性を向上するために、３個以上の加速度計を使用することもある。ある加速度計は、例えば、パワーの使用をコントロールしたり、必要な運動処理に適合させたりするために、動的に起動あるいは停止される。例えば、３つのジャイロスコープ２６および３つの加速度計２８を使用すると、６自由度全てにおいて検知可能な、６軸検知装置を提供できる。３つ以上のジャイロスコープおよび／または３つ以上の加速度計を備える実施例においては、付加的な自由度（あるいは検知軸）を提供でき、および／または、動きの６軸のそれぞれに対し付加的なセンサー入力を提供できる。ある実施例においては、単一チップの６軸慣性測定ユニットがＭＰＵ２０で使用される。ある実施例においては、回転速度センサーおよび／または線加速度センサーの付加的あるいは選択的なタイプを使用することができる。

ある実施例において、ジャイロスコープ２６および／または加速度計２８が、微小電気機械システム（ＭＥＭＳ）として実装される。例えば、３つのジャイロスコープおよび３つの加速度計は、ＭＥＭＳセンサーウェハーとして統合される。他の実施例は、それよりも多くのあるいはそれよりも少ない慣性センサーを統合することもある。ジャイロスコープ２６および加速度計２８からのデータのための記憶レジスターなどの支援ハードウェアを備えることもできる。

ある実施例において、ＭＰＵ２０は、ハードウェアプロセッサまたは処理ブロック３０を含むことができる。ハードウェア処理ブロック３０は、ハードウェアにおいて運動センサーデータの処理を提供するための、ロジック、マイクロプロセッサーまたはコントローラーを含むことができる。例えば、運動アルゴリズムあるいはアルゴリズムの部分、および／または、記載されたジェスチャーの認識の部分または全ては、ある実施例では、ブロック３０によって実装できる。そのような実施例において、ＡＰＩは、上述したように、ＭＰＵ２０に対し希望するセンサー処理タスクを伝達するために、アプリケーションプロセッサ１２に対し提供される。ある実施例は、空間中の携帯電子端末の動作を測定してセンサーの全ての軸の動きを処理するために、ハードウェア処理ブロック３０によって実行されるセンサー融合アルゴリズムを提供する。ある実施例は、ジャイロスコープ２６および加速度計２８から受け取ったセンサーデータを記憶するために、ブロック３０中にハードウェアバッファを含ますことができる。ボタン６、８、９または他のコントロールのような、１つ以上の運動機能トリガー３６は、ある実施例において、以下に詳細に記載するように、電子端末１０に対しジェスチャーの入力をコントロールするために、含ませることができる。

ＭＰＵ、統合センサーユニットおよび本発明の使用に適するシステムの例は、最初に引用例として記載した、同時係属中の米国特許出願１１／７７４，４８８および１２／１０６，９２１において記載されている。端末１０におけるＭＰＵ２０の適切な実装品は、サニーベール、ＣＡのインベンセンス社から利用可能である。

端末１０は、また、他のタイプのセンサーを含むことができる。アナログセンサー２２およびデジタルセンサー２４は、端末１０が存在する環境についての付加的なセンサーデータを提供するために使用される。例えば、気圧計、コンパス、あるいは、磁力計のようなセンサー、温度センサー、光学センサー（カメラセンサー、赤外線センサーなど）、超音波センサー、電波センサー、あるいは、他のタイプのセンサーが、提供される。例えば、コンパスまたは磁力計は、第１および第２の２つの水平ベクトルおよび第３の垂直ベクトルのような、検知すべき付加的な第１、第２または第３の軸を提供することができる。示された実施例において、デジタルセンサー２４は、センサーデータを直接的にインターフェースバス２１に提供できるが、アナログセンサーは、センサーデータをアナログデジタル変換器（ＡＤＣ）３４に提供し、センサーデータをデジタル形式に変換した後インターフェースバス２１に供給する。図２の例において、ＡＤＣ３４はＭＰＵ２０内に設けられ、ＡＤＣ３４は、変換されたデジタルデータを、ＭＰＵのハードウェア処理３０またはバス２１に提供する。他の実施例において、ＡＤＣ３４は、端末１０の他の場所に実装することもできる。

要素（ｅｌｅｍｅｎｔ）の選択
本発明に種々の実施例によれば、端末１０の運動センサーは、アイコンのセット（ユーザーのレビューまたは相互作用のためにデータを示すことができる、二次元配列としての表示、三次元構造としての表示、あるいは、他の方法での表示）、アイテムのリストを含むメニュー、または、画像のサムネールのセット、または、ユーザーのレビューまたは相互作用のために表示される他の要素、などの、デバイスのディスプレースクリーン１６ａに表示されたエレメントセットからの選択をコントロールするために使用される。個別の要素の他の同様なセットの選択は、また、ここに記載された特徴を使用してコントロールされる。各種の形状および構造の表示された対象物または領域は、２−Ｄディスプレースクリーン上に表示された２−Ｄ対象物または３−Ｄ対象物を含む要素として選択される。例えば、１つ以上の立方体、球体、直線形状、ダイアル、表面、背景、表示された対象物または領域の区域または部分がある。

図３Ａ−３Ｆは、アイコン選択ソフトウェアアプリケーションまたは端末上で起動するオペレーションシステム（オペレーションシステムはこの明細書では「ソフトウェア」として考える）によって、ディスプレースクリーン上に示されたアイコンの表示の例を示す。オペレーションシステムに加えて、ソフトウェアプログラムは、また、ソフトウェアアプリケーションまたは機能性、および、プロセス、タスク、スレッドまたはオペレーションシステムまたはアプリケーションの他の態様、を含む。携帯端末は、その上で起動する１つ以上のオペレーションシステムを有し、端末がまだ初期化されていない場合、あるいは、オペレーションシステムと関連する機能性が、ハードウェア、ファームウェアまたはソフトウェアアプリケーションの組み合わせによって提供されている場合、オペレーションシステムは存在しない。ソフトウェアプログラムは、携帯端末上で完全に起動する。あるいは、ソフトウェアプログラムは、携帯端末上で部分的に起動し、外部システム上で部分的に起動する。ソフトウェアプログラムが携帯端末上で少なくとも部分的に起動する場合の例は、携帯端末上で起動するソフトウェアプログラムがより大きなソフトウェアプログラムの部分である実施例を含み、より大きなソフトウェアプログラムは外部システム上で起動するモジュールを含む（例えば、外部システム上で起動するモジュールは、携帯端末上で起動するソフトウェアプログラムに対する機能性を、サポートし、補完し、提供する）。

そのような外部システムの例は、携帯端末に接続された周辺機器コンポーネント、携帯端末に接続された家庭用機器（例えば、テレビジョンセット、オーディオおよび／またはビデオコンテントサーバー、または、家、オフィスにセットアップされたローカルエリアネットワークの一部として携帯端末によってアクセスでき、あるいは、ユーザーを取り囲むことができるエンドユーザーシステム）、携帯端末に接続されたサーバー（例えば、ネットワークインフラあるいはサポートの一部であるサーバー、あるいは、携帯端末が接続されているワイヤレスネットワークを介してアクセスできるサーバー）、携帯端末にコンテントあるいは他のアプリケーションサポートを提供する他のコンピューターまたはサーバー（例えば、光共有アプリケーション、または、そのようなサーバーにアクセス可能なオーディオ、ビデオまたは他のコンテンツを可能とするアプリケーションなどの、携帯端末によってアクセス可能なアプリケーションを起動するサーバー）、あるいは、これらの組み合わせ、を含む。

アイコンの二次元配列は、ユーザーが携帯端末１０上で実行するアプリケーションを起動するためにアイコンの１つを選択できるように、示されている。この例において、アイコンを選択するために、ユーザーは、ボタンのような動き機能トリガーを押すか起動し、アイコンや他の要素の選択を可能にする端末の選択モードをエンターし、空間中で端末を回転する。動き機能トリガーは、以下でより詳細に議論する。端末の回転に応じて、アイコン選択アプリケーションは端末の動きを追跡し、動きに基づきアイコンを強調表示する。ある実施例では、回転軸の周りの端末１０の回転動作（例えば、左右の回転）は、強調表示された表示器を左右に移動するために使用され、ピッチ軸の周りの回転動作（例えば、上下回転）は、強調表示された表示器を上下に動かすために使用される。異なる軸の周りのあるいは異なる軸に沿った他の端末の動作は、他の実施例における強調表示された動作のために使用される。

種々の実施例において、動き機能トリガーの起動と関連して記載される端末との相互作用は、動き機能トリガーが存在しない時に実行され、あるいは、動き機能トリガーが存在するが動き機能トリガーが起動されていないときに実行される。

ある実施例において、動き機能トリガーを直接参照せずに記載される端末との相互作用は、動き機能トリガーの起動に基づいて実行される。

アイコンの強調表示は種々の方法で実行される。例えば、アイコンは、非強調表示のアイコンより大きく、あるいは鮮やかに、あるいは異なる目立つ色で、表示される。この例において、強調表示されたアイコンは、図３Ａに示すように、他のアイコンよりも大きく表示される。他の実施例では、強調表示されたアイコン上のカーソルあるいは他の表示器として表示される。

種々の実施例によると、ビジュアル表示器（あるいは短く表示器）は、ユーザーによる端末との相互作用を促進する、スクリーンに表示された人工物である。ビジュアル表示器の例は、カーソル、挿入バー、挿入ポイント、あるいは、グラフィカルインターフェースに表示可能な他のポインターまたは表示要素を含む。ビジュアル表示器は、ディスプレー上の位置を追跡し（例えば、ウィンドー中を動くカーソル）、ビジュアル要素を選択し、アイコンと相互作用し（例えば、アイコンの選択）、アイコンに関連するアクションを実行し（例えば、アイコンと関連してフォルダーを開いたり、アイコンと関連してファイルを開いたりする）、アイコンと関連してアプリケーションを開始し（例えば、アイコンと関連して電話アプリケーションを開始したり、アイコンと関連して個人に電話をかけたり、アイコンと関連して画像を見るために画像ビューイングアプリケーションを開始する）、あるいは、アイコンに関連して他のアクティビティーを実行する、ために使用される。

種々の実施例によれば、アイコンは、ファイルの表示（例えば、写真、他のグラフィックス、ビデオ、オーディオ、および、他のマルチメディアファイル）、フォルダー、ディレクトリー、アプリケーション、テキスト、入力インターフェースのキー（例えば、キーボードが静的であろうが、そのキーがユーザーのアクションに応じて動的に変化する、グラフィックとして表示されたキーボードの文字、数および他のシンボル）、および、ユーザに視覚的に示される他の同様なグラフィカル表示、を含む、表示端末によって提供されるグラフィカルな人工物である。

本発明のある実施例は、ユーザーに表示可能な種々の「ビジュアル要素」（あるいは簡単に「要素」）に関する。そのようなビジュアル要素の例は、アイコン、メニュー、メニューバー、ウインドー、ウインドーバー、ボックス、チェックボックス、リンク、ハイパーリンク、項目リスト（例えば、歌、写真、ビデオ、Ｅメール、テキストメッセージ）、上述した項目の組合せあるいはサブセット、および、情報を伝達するためにユーザーに表示可能な他のビジュアル人工物、を含む。特定のビジュアル要素（例えば、アイコン）を参照して記載された種々の実施例は、他のビジュアル要素に適用される。

種々の実装において、ビジュアル要素との相互作用は、ビジュアル要素の強調表示、ビジュアル要素の動き、ビジュアル要素のリストあるいはセットの再配列、ビジュアル要素のリストあるいはセットのスクローリング、ビジュアル要素の削除または加入、ビジュアル要素の他のビジュアル要素への変換、または、そのようなビジュアル要素との操作、起動あるいは他の相互作用と関連した他のアクティビティー、を含む。

ある実施例において、強調表示は、ボタンが解放されたときにどのアイコンが選択されたのかを表示するある種のカーソルまたは表示器を形成する。端末が動作して希望のアイコンが強調表示されると、ユーザーは希望したアイコンを選択するためにボタンを解放し、端末の１つ以上の状態を変化させ、および／または、１つ以上の関連したアプリケーションプログラムを起動するなどの、１つ以上の機能を実行する。ユーザーがボタンを押した後にアイコンを選択しない場合は、ユーザーは、端末の選択モードを終了させるために、終了モーションジェスチャーまたは他の終了入力を行うことができる。他のモーションジェスチャーまたはコントロール入力は、他の実施例においても同様に使用される。ここで参照する「ジェスチャー」または「モーションジェスチャー」は、端末の動きあるいは一連の動きであり（予め定義されていてもされていなくても）、発生したことが端末によって認識されたとき、端末の１つ以上の関連する機能をトリガーする（あるは端末の１つ以上の状態を変更する（例えば、ステータスまたは表示の変更、機能の選択、および／または、機能またはプログラムの実行または起動）。この動きは、振る運動とかタップする運動とか円運動のような、より複雑な一連の動きであったり、特定の軸または特定の角度に対し端末を傾けることや方向付けることのような、単純な軸方向の動きまたは端末の静的な連続した方向付けである。関連する機能は、例えば、特定の方向に端末のディスプレースクリーン上に表示されたリストまたはメニューをスクロールすること、表示されたアイテム（ボタン、メニュー、コントロール）を選択することおよび／または操作すること、端末のプログラムまたはインターフェースに望ましいコマンドまたはデータ（文字等の）のような入力や、端末の主電源のオン／オフを行うことなと、を含み、多くの例がここに記載される。

動きジェスチャーの認識は、どのジェスチャーが入力されたかを決定するためにセンサー動きデータを解釈する、１つ以上の経験則および／またはアルゴリズムを使用して実行される。例えば、端末は、座標系を変更したり他の物理パラメータに変換したりすることによって、結果として得られる「増大されたデータ」が、ユーザーの動きにおいて小さくて意図的でない相違にかかわらず、全てのユーザにとって近似して見えるように、センサーからの生のセンサーデータを予備処理することができる。この増大したデータは、次に、ラーニングシステムまたはハードコードパターン認識装置を訓練し、より多くの荒々しいジェスチャーを認識できる結果となる。端末のジェスチャーおよび動きの認識のための方法のある実施例は、同時継続している、「動きジェスチャー認識を備える携帯端末」との名称で、２００８年１０月１５日に出願された米国特許出願１２／２５２，３２２に記載されており、ここに参照として記載する。

アイコンの選択をより簡単にするために、ユーザーがどうやって端末を回転しているかを示す、ビジュアルフィードバックがディスプレー上に提供されている。例えば、実際のカーソルや他の表示器が、アイコンの上に重ねられ、端末の動きに従って連続的に動く。カーソルが、最初に、特定のアイコンの上に表示されるとき、そのアイコンは、強調表示となり、ボタンが解放された場合それが選択されることを示す。

図３Ａ−３Ｅは、ユーザーがどのアイコンが強調表示されたかをコントロールする助けとなるように、端末の動きに従って強調表示されたアイコンが少しだけ連続して動く実施例を示している。ある実施例において、少量の動きは、例えば、強調表示されていないアイコンのサイズの半分未満とすることができ、それよりもより小さくすることができる。図３Ａのアイコン１００は、他のアイコンよりも大きく表示されることによって強調表示されており、強調表示されたアイコンの右側に表示されたアイコンを選択しようとする場合は、ユーザーが端末１０を右へ（例えば回転運動）回転させる。図３Ｂに示すように、この動きは、強調されたアイコン１００を、連続する動きに関連してディスプレースクリーン上右へ連続して移動させる。ある点で、図３Ｃに示されているように、強調表示されたアイコン１００は右側の限界値まで移動し、移動方向に表示されている次のアイコン１０２を強調表示させ、いままで強調表示されていたアイコン１００を通常の強調表示されていない形状の表示とする。ユーザーが右方向への移動を連続させたときは、強調表示されたアイコン１０２は、図３Ｄに示すように、同様に連続して少量右側へ移動し、アイコン１０２が右側の限界に達しても端末の動きが連続しているときは、次のアイコン１０４が強調表示され、アイコン１０２は強調表示されなくなる。同様の強調表示方法は、電子端末のピッチ軸の周りの回転運動および回転軸の周りの回転運動の組合せに応じて、上述した右方向への移動に加えて、アイコンから全ての方向、例えば、左方向、上方向、下方向への動きに使用することができる。

ある実施例において、アイコンを選択するためのアルゴリズムは、端末１０の回転軸およびピッチ軸の周りの角速度を測定する、回転およびピッチジャイロスコープにより主として行われる。この角速度は、端末がどの程度移動したかを示す角度を提供するように統合される。しかしながら、アイコンの選択も端末１０のヨー回転を用いてコントロールできる。他のコントロール信号は、ジャイロスコープの軸を組み合わせることによって実行される。例えば、ヨーおよびピッチを組み合わせることによって、円形の運動が、一連のアイコンに対しスクロールするために使用される。これらのコントロール信号は、端末のジャイロスコープのみから引き出すことができ、あるいは、センサー融合アルゴリズムの出力として、端末のジャイロスコープ、加速度計および磁力計の組から引き出すこともできる（例えば、よりロバストセンシングを提供する複数のセンサーからの入力を組み合わせるアルゴリズム、その一例が、同時継続中のＵＳ特許出願１２／２５２，３２２に記載されており、ここに参照として記載する）。

ある実施例において、ヒステリシスが、センサーからおよび／またはユーザの手の振動から発生するノイズが、２つのアイコンの間を前後に急激に移動させるなどの望まない方法で強調表示させないことを保証するために、使用される。例えば、図３Ａに示されたように、ある限界値１１０が、端末の動きに基づいて、左側のアイコン１００から右側のアイコン１０２にいつ強調表示を移すかを決定するときに使用され、異なる限界値１１２（限界値１１０とは異なるディスプレースクリーンの位置）が、対向する端末の動き（限界値は表示されていない）に基づいて、右側のアイコンから左側のアイコンにいつ強調表示を移すかを決定するときに使用される。このように限界値を変更することは、見かけのノイズを減少させ、システムのコントロールをより容易にする。手の振動にフィルターをかけてドリフトを減少させる他のアルゴリズムは、端末のユーザビリティーを改良するために使用される。

異なる実施例において、アイテムが垂直方向に配列されたリストを含むメニューは、ピッチ方向の端末の回転（上下方向の回転）を使用してコントロールすることができる。他の実施例において、アイテムが垂直方向に配列されたリストを含むメニューは、空間中の端末のおおよその円運動を使用して、すなわち、端末をほぼ円運動に移動させて、空間中の円あるいはそれに近似した形状を追跡することによって、コントロールすることができる。時計方向に端末を回転させることで、例えば、表示されたカーソルをある方向に移動させることができ、反時計方向に端末を回転させることで、カーソルを反対方向に移動させることができる。

ある実施例において、アイコングリッドやメニューなどの一連の要素が、端末のディスプレースクリーン上に表示される。ユーザーは、上述したように、要素を強調表示するためにボタンを押したり回転を使用し、それを選択するためにボタンを解放する。これは、アプリケーションを起動させたり、新しいメニューや一連の要素を表示させたりする。要素の階層レベルもまた提供される。ユーザーは、ボタンを押し、カーソルや強調表示を移動させ、要素を選択するためにボタンを解放することによって、一連の要素、サブメニュー、スクリーン中に入るようナビゲートでき、新しいサブメニューまたは要素のスクリーンを表示する。ユーザーは、例えば異なるコントロールを押すことによって、より高い前回の階層メニューや階層レベルに戻るようナビゲートできる。異なるボタンは、前方へのあるいは後方へのナビゲートのために使用される。例えば、ユーザーは、端末１０の「後退」ボタンを押すことができる。あるいは、単一のボタン（または他のコントロール）は、前方へのあるいは後方への両方のナビゲートのために使用される。例えば、ボタンを押して保持する動作、端末を動かす動作、ボタンを解放する動作の連続は、装置およびスクリーンを階層において前方へ移動させ、ユーザーによるボタンの早い押して離す動作は、装置およびスクリーンを階層において後方へ戻させる。他の実施例において、動きの振動、タッピングなどの動きのジェスチャーあるいは他のジェスチャーは、階層において前のレベルに戻るために使用される。

パンニングおよびズーミング
パンニングおよびズーミングは、端末１０のディスプレースクリーンによって表示された画像上で行われる。画像（または画像の表示されたビュー）を左、右、上下に移動させる動作はパンニングと呼ばれ、画像のビュー（または画像の一部）を近づけるか遠ざかる動作はズーミングと呼ばれる。ここで、「ズーミング」の語は、ズーミングイン（近づくビュー）およびズーミングアウト（遠ざかるビュー）の両者を含む。例えば、図４Ａは端末のディスプレースクリーン上に表示された画像を示す。図４Ｂにおいて、画像はより近くにズームインされる。図４Ｃにおいて、図４Ｂのズームされた画像は左下方向にパンされている。

ある実施例において、端末の回転は、画像のパンニングを実行するために、画像を連続的に操作するために使用される。端末の回転は、また、スクリーン上で画像をより大きいあるいはより小さいサイズにズームするために使用される。画像は、グラフィカルイメージ、または、テキストドキュメント、ＰＤＦ、ウェブページ、他の同種のドキュメントなどのドキュメントである。

ある実施例において、ボタンを押し込んだまま端末に対して回転およびピッチ回転を与えることは、画像のパンニングを提供する。例えば、回転動作は、画像（または画像のビュー）を左または右に移動させ、ピッチ動作は、画像またはビューを上下に移動させる。ある実施例において、画像またはビューは、ユーザーによってボタンが解放され維持されたときのみに、そのように操作される。

ある実施例は、図１に示されたｚ軸に沿ったインアンドアウトの動き（例えば、インがズームインで、アウトがズームアウトとしたり、他のコントロールスキームで）、あるいは、ｘ軸またはｙ軸に沿った線形の動き、のような、直線上の軸にほぼ沿った端末の動きによって、表示されたビューにおけるズーミングをコントロールできる。例えば、インアウトのｚ軸の動きは、重力の成分をジャイロスコープのデータを使用して加速度計のデータから除去した後、加速度計のデータから線加速度のベクトルを観察することによって、追跡することができる（例えば、同時継続中の米国特許出願１２／２５２，３２２に記載されたモデル方程式を使用する、ここに参照として記載する）。さらにまた、ｚ軸に沿った端末の動きは、しばしば、端末がユーザーの腕によって移動するように、ユーザーの肘の回転軸の周りの回転動作のような、回転運動を含む。端末のジャイロスコープは、そのような回転運動を検知するために使用され、ｚ軸にほぼ沿った端末の運動量をより正確に測定するための助けとなる。

ある実施例では、加速度計のデータの線加速度ベクトルは、また、光学画像が端末１０の動きの方向や量を決定するために解析されるオプチカルフローのような公知の方法を使用して、端末１０上のカメラシステムからの情報と組み合わされる。これは、ある実施例において、よりロバストなインアウトコントロール信号を提供する。

ある実施例は、端末がピッチ回転で操作されるときに、ズーミングの機能を提供する。ある実施例において、これは画像を上下にパンさせる端末の動き（あるいは他のパンニング機能の実行）と同じタイプであるため、第２の動き機能トリガー（ボタンのような）が、ズーミングの間第２のボタンを保持するような、ズーミングのために使用される。あるいは、単一のトリガーがズーミングとパンニングのために使用され、例えば、トリガーは、パンニングモードのためにユーザーによって最初に押され（および解放され）、ズーミングモードに切り替えるため二度目に押される。

他の実施例において、端末のヨー回転がズーミングをコントロールするために使用される。る実施例において、単一のボタンが、画像が動きを使用して操作されるモードをエンターするために使用され、ここでは、回転運動が画像を左右にパンさせ、ピッチ運動が画像を上下にパンさせ、ヨー運動が画像（または画像のビュー）を拡大または縮小するためにズームさせる。ユーザーが、意図していようがいまいが、端末の交差軸の動き（例えば、回転およびピッチのような２回転軸における動き）を提供するため、表示された画像が同時にズームおよびパンでき、これは混乱となる。これを解消するために、スレッシュホールドが、パンニングが選択されているのか、あるいは、ズーミングが選択されているのか、を決定する。ある種の動きが最初にロールまたはピッチであるとき、特定の軸における動きの量が関連するスレッシュホールドを超えたと判断されると、パンニングが画像上で使用される。同様に、動きが最初ヨーであるときは、ズーミングが使用される。パンニングが使用されるのかズーミングが使用されるのかを示す、アイコンまたは他の表示されたメッセージまたは要素が表示される。例えば、図４Ｂに示すように、拡大鏡が、ズーミングモードのときおよび／またはズーミングが行われているときに、表示される。図４Ｃに示すように、手のシンボルが、パンニングモードのときおよび／またはパンニングが行われているときに、表示される。あるいはまたはそれに加えて、オーディオ、触感、他のフィードバックなどの視覚できない出力が、現在行われている操作または機能を示すことができる。

ある実施例において、ズーミングは、スクリーン上に現在表示されている画像のビューの中心で常に起きる。この場合、ユーザーは、最初に希望の場所にパンして、次にズームすることができる。この場合、画像のビューの外側のある領域はバッファー中に記憶され；例えば、ユーザーが画像のコーナーでズームすることを希望するならば、スクリーンの中心にそのコーナーを位置させ、次に、ズームインすることが可能である。あるいは、ユーザーは、最初に希望するズームレベルまでズームインし、次に、希望する位置までパンすることを要求できる。他の実施例において、ズーミングは、カーソルなどの表示器によって示された画像の位置で起きる。このカーソルは通常スクリーンの中心に存在するが、画像がこれ以上パンできないときは、ユーザによってスクリーンの周りを移動させることができる。この実施例において、バッファは必要とされない。ズーミングが起こる予定の場所を示すカーソルが、また、パンニングが起こるのかまたはズーミングが起こるのかを示すアイコンにもなる。

カーソルは、またまたはあるいは、画像の部分を選択するために使用される。例えば、ウェブページの場合、カーソルは、リンクの上に位置決めされ、次に、コントロール（ボタンなどの）あるいはジェスチャー（タッピングジェスチャーなどの）を使用してそのリンクを選択するために使用される。

ヨー端末の回転がズームのために使用される場合は、ある実施例において、端末が回転するとユーザーに対しスクリーン自体の回転するため、その効果は視覚的に混乱したものとなる。ユーザーの混乱を減少させるために、スクリーン上の画像は、ユーザーのヨー回転を保証するために回転する。ある実施例において、ボタンが押されてヨー回転が端末に適用される間、スクリーン上に表示された画像は対応する量だけ反対方向に回転し、その結果、ユーザに対し正確な方向を維持することができる。ボタンが解放されたとき、スクリーン方向は通常の方向に戻る。他のコントロールを他の実施例において使用することもできる。

ある例において、端末で起動するアプリケーションはカメラアプリケーションである（写真であろうがビデオであろうが）。ズーミングのために使用されるコントロール信号、例えば、ピッチまたはヨー回転あるいは上下方向の線移動は、写真をとるための準備においてあるいはビデオレコーディング中に、カメラの光学またはデジタルズームをコントロールできる。種々の実施例において、カメラのコントロールは、動き機能トリガーとともにあるいは動き機能トリガーなしで、行われる。ある実装において、カメラのズーム機能は、ユーザーのボタンを押す操作に応じて起動され、ユーザーがボタンを解放したとき（あるいはユーザーがボタンを解放した後所定の時間が過ぎたとき）停止される。

付加的要素の選択
あるアプリケーションにおいて、アイコンなどの表示された要素のリストまたは配列は、スクリーン上に表された多くの要素を含むことができる。各種のコントロール方法は、そのような要素を表示したり選択するために使用される。ある実施例において、要素の選択をコントロールするために使用されるコントロールの動き（ロール、ピッチまたはヨーなど）は、視覚できない要素がディスプレースクリーンの視覚領域に移動するように、視覚できる要素を過ぎてスクロールすることにより、視覚出来ない要素を選択するために使用される。

他の実施例において、上述したズーミング機能は、ディスプレースクリーン上のビューを要素の全体を見るようにズームアウトするために使用されたり、希望する位置で要素の希望するサブセットを見るようにズームインするために使用されたりする。あるいは、サブ要素のグループを表示する要素を選択することが、これらのサブ要素をスクリーン上で見られるようにする。

その他の実施例において、要素のページは、動きの振動や３回タップすることのようなジェスチャーを使用することによって変更できる。例えば、３回のタップは要素の現在のページを要素の次のページに置き換える。あるいは、振動が使用され；この場合、振動の方向が、要素の現在のページを要素の次のページ（例えば、動きの軸に沿った一方向への移動に対し）と置き換えるのか、あるいは、現在のページの前のページ（例えば、動きの軸に沿った反対方向への移動に対し）と置き換えるのか、を決定する。

ある場合、ユーザーがリストあるいは配列内に表示された要素の位置を調整することが必要となる。この場合、要素はそれが強調表示されることで選択されるが、起動されない（すなわち、要素の関連する機能は起動しない）。例えば、ユーザーが、ボタン３６を押し、ロール、ピッチまたはヨーなどの上述したコントロール信号を使用して、リストまたは配列内の要素の位置を調整する。ボタンを解放することで、要素をその新しい位置に固定する。

要素のメニューが複数のスクリーンから構成される場合、ユーザーは、動きのジェスチャー（例えば、コマンド）を提供して、端末１０を次のまたは異なるメニュースクリーンへ移動させる。例えば、３回のタップのジェスチャー（以下に記載する）が、次のメニュースクリーンへ移動させるために入力される。あるいは、ある種のジェスチャーが次のメニュースクリーンに移動するために使用され、他の種類のジェスチャーが前のメニュースクリーンに移動するために使用される。

文字の選択
アイコンの選択のような、上述した要素の選択方法は、選択すべき要素が電話のダイアルや計算機のような機能で使用される表示された数字キーパッドを用意する、表示されたキーまたはボタンである場合に適用される。他の実施例では、要素が、表示された文字キーボードやシンボルなどの文字の他の大きなセットの全てを準備する。「文字」の例は、数字、レター、句読記号、他のシンボル、漢字または他の同様の文字、漢字内の一画を含む。ある実施例において、表示された文字は、ロール、ピッチまたはヨーのような端末の連続した動きを使用して選択され、動き機能トリガー３６の選択が、選択モードを起動するために、最初に提供される。ある例において、文字は二次元配列で表示され、配列されて強調表示された異なる文字をスクロールするための、あるいは、カーソルのｘおよびｙ軸に沿った動きを提供するための、ピッチおよびロールのような２つの動きの組合せを使用して選択される。あるいは、文字は一次元リストで表示され、一次元でカーソルをコントロールするための、または、リストをスクロールするための、単一の動きを使用して選択される。

１２文字（０、１、２、３、４、５、６、７、８、９、＊および＃）しか有していない電話ダイアラーのような、選択すべき文字が少ないシステムにとって、選択は、回転ダイアル式電話で使用されるものと同様に、要素をスクロールするための１自由度（ＤＯＦ）の端末の動きで達成される。回転ダイアル式電話において、ユーザーは正しい数字の位置までダイアルを回し、次にダイアルを解放して、数字入力のリセットを可能とする。同様に、ある実施例において、ロール、ピッチ、ヨーのような１自由度（ＤＯＦ）の端末の動き、あるいは、それらの（ピッチおよびヨーのような）２つを組み合わせた回転運動は、例えば、この動きがボタン３６を押す操作および／または保持する操作と組み合わされたとき、文字選択を達成するために使用される。ある例において、ユーザーは、選択すべき文字（あるいは他のグラフィカルなアイコンまたは絵）を提供する、回転式電話と近似した車輪やカジノのスロットマシーンの車輪の表示されたグラフィックを、与えられる。例えば、ユーザーは、ボタンを押したり保持したりでき、所望の文字まで車輪をスクロールしたり回転したりでき、その後ボタンを解放したり車輪をリセットしたりする。

ある実施例においては、オートコンプリートの特徴が文字列の入力を完了するために使用される前に、ほんの数文字をエンターする必要がある。例えば、電話番号の個々の数字（あるいは他の文字）を選択するための連続した動きを使用することに加えて、電話番号をダイアルするとき、連続した端末の動きが、ユーザーによってエンターされた最初の数字に対しセットされたスピードダイアルと関連する電話番号、ユーザーによってエンターされた数字から始まる電話番号、以前ダイアルした電話番号を含む、オートコンプリートの特徴によって提供される電話番号のリストから完全な電話番号を選択するために使用される。オートコンプリートのリストは、番号と一緒に表示され、他の番号が選択されると自動的にアップデートされ、番号のエントリーとオートコンプリートのリストとの間の行き来は、連続した端末の動きと同様にして達成される。例えば、番号がスクリーンの左側の垂直カラムに表示されており、自動コンプリートのメニューがスクリーンの右側に表示されている場合、ユーザーは、ボタンを押し、ピッチ運動で希望する番号までスクローリングし、ボタンを解放することにより、番号を選択することができる。希望する完全な番号が右側のオートコンプリートのメニューにあるときは、ユーザーは、ボタンを保持し、回転端末の動きを使用して、番号のカラムからオートコンプリートのカラムへ切り換え、次にボタンを解放する。最後に、希望する番号をオートコンプリートのカラムから選択するために、ユーザーは、ボタンを保持し、オートコンプリートのカラム中の希望する番号へスクロールし、ボタンを解放する。

あるいは、文字選択リストがある種の動きで操作され、オートコンプリートのリストが第２の動きで操作される。例えば、数字（あるいは他の文字）が、端末のヨー運動で操作されるリスト中での選択のために表示され、オートコンプリートのリストは端末のピッチ運動で操作される。ユーザーは、動きボタン３６を押し、数字の入力のためにヨー運動を使用し、ボタンを解放する。希望するコンタクトあるいはエントリーが、入力した数字に基づきオートコンプリートのメニューに存在するときは、ユーザーは、ボタンを押し、オートコンプリートのリスト中の希望するコンタクトのためにピッチ運動を使用し、そのコンタクトを選択するためにボタンを解放する。両方のリストが同時に起動することを防止するために、スレッシュホールドが、どのリスト（数字選択リストあるいはオートコンプリートのリスト）が起動されているのかを決定するために、使用される。例えば、ボタンが押された後、端末のピッチまたはヨー回転のいずれかが、回転の大きさの予め設定したスレッシュホールドを通過した場合は、最初にスレッシュホールドを通過した方のリストを、起動しているリストであると判断する。

電話の例において、オートコンプリートのリストのエントリーを選択した結果としての電話のダイアリングは、すぐに起こるか、あるいは、付加的なジェスチャーまたはボタンを押す操作によって起動される。

連続した動きのジェスチャーは、さらなるコントロールのために、個々のジェスチャーと組み合わされる。例えば、個々のジェスチャーは、入力した最後の文字を削除したり、入力した文字全てをクリアしたり、オートコンプリートを起動したり、番号をダイアルするなどの関連する仕事を行ったりするために使用される。個々のジェスチャーは、例えば、振動やタッピングなどのすでに記載したジェスチャーである。

アルファベットなどの文字のより大きなセットの場合、他の特徴が文字の選択の助けとして必要になる。この場合、文字選択リストまたは配列は、複数の文字をそれぞれが選択可能な要素と関連づける。例えば、数字キーパッドを有する端末は、通常、複数のアルファベット文字をそれぞれの番号キーと関連づける。現在、ユーザーが番号キーを押すと、自動化機能が、複数の関連した文字のうちどの文字を意図しているのかを決定しようとする。同様に、オートコンプリートの機能は、希望するシンボルを選択するために検知する運動の使用をより簡単にするために、ユーザーに示す文字の番号を減少させるために使用される。

個々のジェスチャーおよびジェスチャーの認識は、また、文字または他のシンボルを入力するために使用される。ある例において、文字と関連するジェスチャーは、端末によって実行され、認識される。例えば、ジェスチャーは、文字のような軌跡であり、あるいは、実行するのが容易で認識するのが容易なために選択される異なる軌跡である。ある実施例において、文字は、空間で端末を移動させて文字自体を示す空間中の軌跡を追跡することによって、選択され、その例は、同時継続中の米国特許出願１２／２５２，３２２に記載されている。軌跡は、文字と近似した形状であり、あるいは、データベースに記憶された特定の文字に関連する軌跡のセットの一つであり、これらの軌跡は、文字と視覚的に近似している必要はないが、実行および認識が容易である必要がある。

文字のジェスチャーのある例において、ジェスチャーは、有る文字の複数のストロークと似ている、複数のストロークを含む。ここに記載された運動検知装置は、空間中で追跡されたりあるいは整列されていないときに、ストロークが重複するため、複数のストロークを正確に測定することは難しい。そのため、タブレット上のスタイラスの動きに基づき認識された文字とは異なり、複数のストローク間の空間的な関係は、信頼性良く検知できない。これは、ある実施例において、文字の特定のストロークの最初および／または最後を示すようにユーザーに対するコントロールをすることによって、緩和される。例えば、あるストロークは、空間中の端末を追跡することによって入力され、次に、ボタンが押されるか、他のコントロールが起動され、そのストロークの最後および／または他の別のストロークの最初を示す。他のコントロールは、全ての文字ストロークが完了したことを示すために使用される。装置は、次に、各ストロークを別々に読み込み、それらの順番、サイズなどを見て、一つの文字としてストロークを認識しようと試みる。複数のストローク間の空間的な関係は、認識方法において、無視されるか大幅に減少される。

オートコンプリートの機能は異なる言語ごとに異なって動作する。例えば漢字の場合、一連のストロークは文字をエンターするために実行される。ストロークは動きの軌跡として実行されるため、オートコンプリートの機能は、エンターされたストロークに基づいて、意図しそうな文字を決定する。ありそうな文字をリストするオートコンプリートのメニューは、文字がエンターされると自動的にアップデートされ、希望する文字がリスト中で見つかると、ユーザーは上述した技術を使用してその文字を見つける。動作がストロークあるいはストローク間の動きに対応しているかどうかを明らかにするために、各ストロークはボタンを押す操作に関連する。ボタンは、ストロークを始める前に押され、ストロークの最後で解放される；あるいは、ボタンは、より早いストロークの配信を可能にするために、ストローク中のいずれかの時点で押される。他の実施例においては、ストロークはボタンを押す操作なしで配信される。これは、正確な文字認識を端末にとってより難しくするが、不正確な認識は、全ての利用可能な文字を表示できるオートコンプリートのリストによって、償われる。

他の実施例において、オートコンプリートのリストまたは配列は、文字リストの部分として表示される。例えば、オートコンプリートの機能は、接触によるエントリーを完了するために、どの文字あるいはストロークがエンターされるのかを決定するため（例えば、番号、ワード、漢字）、選択可能な文字の示されたリストまたは配列は、エントリーを完了したと決定された利用可能な文字のみを示すために、形式を変更する。これにより、ユーザーに示される文字の数を大幅に減少させることができる。

３−Ｄマップビューイング
マップビューワーアプリケーションは、端末１０において、ディスプレースクリーン上の異なる領域のマップ画像、風景または物理的スペースの他の表示を表示するために使用される。マップの表示されたビューは端末の動きに対応して移動する。例えば、マップビューワーは、上述した方法と同様に、マップのパンニングおよびズーミングを提供する。また、マップビューワーは、端末１０の運動センサーによって測定された、ヘッディングからのマップ上のコンパス方向を決定する。ヘッディングは、例えば、ジャイロスコープ、コンパス、ＧＰＳの組合せから決定される。そのため、ある実施例において、表示されたマップは、地球の表面上の実際の方向に表示されたマップを正確に整列させるために、このヘッディングに基づき、ディスプレースクリーン上で回転する。例えば、図５Ａにおいて、マップ画像は現在のユーザーの方向に基づきある方向に表示され、図５Ｂにおいて、マップの方向は、端末を持つユーザーが移動して新しい方向に向いた後、変更される。

ある実施例において、３−Ｄマップは、マップの本人のビューを提供するために、端末の動きに従って傾く。ある実施例は、そのようなマップを本人のビューおよびオーバーヘッドビュー中に表示させる。例えば、端末が、ディスプレースクリーンが地面に対し水平（すなわち、スクリーンが仰向け）となるよう方向付けられた場合、マップは、図５Ｃに示すように、ユーザーがマップ領域のオーバーヘッドビューを有するように、表示される。端末がスクリーンが垂直（地面に対して垂直）となるように移動するか方向付けられた場合、表示されたマップは、現在のユーザーが例えば水平線がマップ上に示された３−Ｄビューを有するように、垂直位置に対する動きに従って連続的に移動する。より縮小されたマップの３−Ｄビューの一例が図５Ｄに示されており；他の実施例は、３−Ｄ表示の他の特徴上にせりだす風景の特徴を示すかおよび／または調整する水平線を有する、地面により近いビューを提供する。この傾きおよび回転は、例えばボタンあるいは他のコントロールの使用なしで、練側してコントロール可能である。

連続スクローリング
端末の動きはスクリーン上の他の要素の表示をスクロールするために使用される。例えば、要素の水平方向に表示され整列された要素は、図６Ａに示された絵のように、ユーザーに対しスクリーン上に表示され、端末のメモリー中に記憶される。ある実施例において、ボタンが押し下げられ端末が適切に空間中で移動したりまたは方向付けられたとき、要素のセットはある方向へ連続してスクロールする。そのため、図６Ｂにおいて、画像が左側へスクロールし、右側の絵を現在見ている。この例において、スクローリングの方向および速度は端末を回転することによって変更できる。

ある実施例において、重力がスクローリングの方向およびスピードを決定するために使用される。例えば、端末がその位置を保持している場合、何のスクローリングも起こらない。端末が左側に傾いた（回転した）場合（例えばヨー運動）、表示された要素は左側にスクロールし、要素が重力の影響のもとで滑り落ちるような印象を与える。滑り落ちる速度は垂直方向に対する端末の角度に基づいて決定され（重力ベクトルから決定され）；端末がより傾けば、要素がより早くスクロールするよう表示される。同様に、端末が右側に傾いた場合、要素は右に滑り落ちる。

重力ベクトルは、まず第一に、端末１０の１つ以上の加速度計によって決定される。システムの反応を改善するために、方向を素早く変更する場合は、ジャイロスコープのデータを加速度計のデータに組み合わせる。ある実施例において、ジャイロスコープおよび加速度計のデータが組み合わされて、端末の方向を示す回転マトリックスを形成する。回転マトリックス内の３つの要素が重力の方向を示す単位ベクトルを示す。これらの要素の１つ、２つあるいは３つ全部は、スクローリングの方向および大きさを決定するために使用される。

他の実施例において、重力を参照基準とする代わりに、ボタンを押す直前の端末の方向が参照基準として使用される。この実施例においては、適用される回転が、ボタンを押す前の端末の方向に依存して、重力あるいはそれ以外のものに対応しているため、「重力のもとでの滑り」の錯覚は弱くなる。しかし、要素のセットのようなディスプレーを操作するために、ユーザーが端末を重力に対し直立状態にする必要がないという効果がある。

デバイスコンテキストに基づくセンサーデータの処理
端末のセンサーからのセンサーデータは、現在のデバイスコンテキストに従って異なる方法で端末上のプロセッサーによって解釈される。これはよりロバスト的に認識されて解釈が難しい端末の動きを可能とする。この特徴のいくつかの実施例は以下に記載される。

傾きおよびタップ
端末は、他の方法で要素の表示をスクロールするように、ユーザーによって操作される。図７Ａに示すように、ある実施例において、絵のような要素のセットはディスプレー上で水平方向に設けられ、ある要素は、強調表示、例えば、図７Ａに示されたようにディスプレーのフォーカスとして要素の最も大きなサイズで表示される（いくつかの強調表示されない要素は、部分的に示されたり、大きさを減少したり、あるいは、ユーザーの参照のために強調表示された要素の側面に表示させたりする）。タップ運動ジェスチャーは端末に入力されディスプレーに影響を与え、ここで、タップジェスチャーは、ユーザーが指、手または物体で端末のハウジングを短くタップしたりヒットしたりすることで発生する端末の動きの短いパルスである。例えば、端末をタッピングすること（タップジェスチャーを入力すること）は、連続する要素中の次の要素を強調表示し、前回の要素を強調表示しない、すなわち、表示された要素をインクリメントする。インクリメントの方向は、１つ以上の予め定めた軸の周りのいずれかの方向に端末を傾ける（回転させる）ことによって、変更される。例えば、端末がまっすぐ立った状態を保持する場合、タップジェスチャー何も変更しない。しかし、端末をヨー軸の周りに左側に傾けた場合、タッピングは、右側の次の要素が強調表示されるように、要素がまるで重力のもと滑り落ちるように、ディスプレー上左側へ要素のセットを移動させる。同様に、端末を右側へ傾けてタッピングジェスチャーを入力すると、要素のセットは右側へ動く。

この実施例において、端末のコンテキストは要素表示プログラムの起動を含む。さらにまた、コンテキストは端末の物理的な方向を含む。そのため、端末が特定の方向に傾き、次に、ユーザーがタッピングジェスチャーを入力したときは、このジェスチャーは、傾いた方向に要素をスクロールすることを意味する傾きコンテキストの観点で解釈される。

ディスプレースクリーン上での視覚的フィードバックは、現在の操作コンテキストに適した少なくとも１つの適切な運動ジェスチャーを示すために使用される。例えば、上述したある例の視覚的フィードバックは、タッピングジェスチャーが入力されたときにもしあれば要素がどの方向に動くかを、ユーザーに示す。これは図７Ｂおよび７Ｃに示されている。例えば、端末がまっすぐ立った状態を保持する場合、視覚的な表示は現れない。端末が左方向に傾いた場合、図７Ｂに示されるように、左矢印２０１が表示される。端末が右方向に傾いた場合、図７Ｃに示されるように、右矢印２０２が表示される。矢印は、タップ運動ジェスチャーが入力されたときのスクローリングの方向を示す。他の実施例において、画像自体が端末の傾きに基づき特定の方向へごく僅かに傾くよう表示され、移動のコマンドが発せられた場合に、画像を複数の方向のうちどの方向に移動させるのかを示す。

他の実施例において、要素が動く方向を決定するための、静的（連続的）あういは単純な個別の端末の動き／方向を示すジェスチャーを使用する代わりに、より複雑な個別のジェスチャーが方向を変更することができる。ある例において、左側に端末を振動させることがスクローリングのコンテキストを起動させ、左矢印が表示され；次に、タップジェスチャーがユーザによって入力されると、表示された要素が左側へ１つインクリメントされる。

上述した実施例は、示されたサムネール画像のリストまたは配列に表示された画像のセットに適用できる。他の実施例において、同様のコントロール方法が、「フルスクリーンモード」で表示された画像、例えば、すべてのディスプレースクリーンを占領する画像に適用される。

選択のための２回または３回のタップ
要素のセットが、運動の検知がどの要素が強調表示されるかを決定するために使用されるように、表示された場合、複数のタップジェスチャーが強調表示された要素を選択するために使用される。ある実施例において、単一のタップであるとユーザーによる端末の握りの調整により間違って登録されるため、複数のタップが要求される。ある実施例において、複数のタップジェスチャー中の各タップは、所定の時間内に前回のタップに続いて行わなければならない。

単一のタップおよび複数のタップが端末１０により認識される実施例において、端末１０の方向が、単一のタップまたは複数のタップのいずれが機能を起動させるかを決定するコンテキストの拘束として使用される。例えば、ある実施例において、単一のタップが、端末が傾いているときだけ、要素のセットをインクリメントするために使用される場合、２回あるいは３回のタップが、端末が傾いていないときだけ、強調表示する要素を選択するために使用される。

視覚的フィードバックは、現在のコンテキストで受け入れられるジェスチャー、および／または、そのジェスチャーがどの機能を実行するのか、を示すために使用される。例えば、視覚的フィードバックは、ユーザーが端末に入力するために、１回または複数回のタップ（あるいは他のジェスチャー）のいずれが利用可能か、および、これらのタップが端末上で認識（記録）されるかどうか、を示すことができる。図７Ｂおよび７Ｃに示すように、１本の指を立てた手を示すアイコン２０６は、現在の操作コンテキストにおいて１回のタップが利用可能であることを示している。図７Ａに示すように、３本の指を立てた手を示すアイコン２０８は、３回のタップが入力のために利用可能であることを示している。付加的なフィードバックは、タップが端末によって認識される毎に、その数を表示またはフラッシュで表示するカウンターを含むことができる。例えば、ユーザーが３回タップすると、タップの位置に応じて、カウンターが対応する「１」、「２」または「３」の数を短く表示する。そのようなフィードバックは、ユーザーがどのように正確にタップするかを無意識に学習する助けとして重要である。例えば、端末の方向が不正確であるため３回のタップが登録されない場合、ユーザーは、３本指のアイコンがタッピング中存在していないためであることを知る。しかし、ユーザーが十分強くタップしなかったため３回のタップが登録出来ない場合、ユーザーは表示された数字が「３」に達していないためであることを知る。そのようなフィードバックなしでは、ユーザーは、希望する端末の機能またはイベントを正確に起動するために、どのようにしたタッピングを変更するかを知ることができない。

運動ジェスチャーショートカット
運動ジェスチャーは、アイコンや他の表示された要素を選択したり、ディスプレースクリーン上での他の表示に関連する操作を実行したりすることなく、端末が入力ジェスチャーを認識したとき、端末１０の１つ以上の機能を直接起動または始動させるためのショートカットとして使用される。例えば、ショートカットジェスチャーは、特定のアプリケーションを開始したり、アプリケーション内のモードを変更したり、端末の機能を起動したり（例えば、予めプログラムされた電話番号を呼び出したり、メディアファイルの再生を開始したりする、アプリケーションの機能）、または、他のイベントを生成したりするために使用される。

ジェスチャーショートカットの例は端末を振動させることである。３つの異なる振動ジェスチャーは、ローリング、ピッチング、および、ヨーイングの回転とともに端末を振動させることを含む。ある実施例において、端末の振動が偶然に機能を起動させないことを保証するために、端末の３つの「振動」が機能を起動させるために要求される。振動運動は初めにジャイロスコープセンサーデータから引き出される；しかし、回転の慣性がある軸から他の軸へと変わる場合は、加速度データもまた振動ジェスチャーを決定するために使用される。例えば、典型的な携帯端末において、ロール運動は大変低い回転慣性力であるのに対し（例えばユーザーの前腕を回転させること）、ヨーおよびピッチ回転はより高い回転慣性力であり（ユーザーの手首や肘で曲げるように）、そのため回転運動は、ユーザーが他の回転を実行するより簡単に行うことができる。端末の検知した回転角速度は、そのため、ヨーまたはピッチ運動がユーザーの回転の最初のタイプであることを意図した場合であっても、大変高い。そのため、どの運動がユーザーが最初に意図するものであるかはあいまいである。

しかし、運動の線加速度が、より多くのエネルギー量がヨーまたはピッチ方向で消費されているかを決定するために使用される。例えば、端末が回転のみであり、加速が検知されないとき、回転（ロール、ピッチまたはヨー）の軸は直接的に知られる。多くの場合、加速度を伴わないそのような回転は、ユーザーは線加速を生じる他の腕の運動を行うことなく簡単に手首を回転できるため、ロール運動（あるいは手首の回転に対応する端末軸の周りの回転）であり；そのようなロール運動は、しばしば、多くの実行されるジェスチャーにおいて検知される。しかし、ヨーまたはピッチ回転を実行するためには、ユーザーは肘や腕を動かさなければならず、それは端末の線運動および加速度を引き起こす。この加速度は、異なる軸の周りの加速度が両者とも同時に検知される場合、意図する運動を決定する「タイブレーカー」として使用される。ヨーおよびピッチ回転は、しばしば、ロール回転よりも小さい角速度を有するが、線加速度と相関している。例えば、ロールおよびヨー階段が同時に測定され、ヨー回転（例えばヨー軸周りの）と関連性のある線加速度がヨー回転と同時に測定されると、意図する運動はおそらくヨー回転であり、そのように認識される。そのような線加速度のスレッシュホールド量は、ヨーまたはピッチ回転のような運動を検知するために使用される。そのため、ヨーまたはピッチの回転は、回転の慣性が他の回転と比較してこれらの回転に対し大きく、そして、特定の線加速度がしはしばこれらの回転の構成要素であることが前もって知られている場合、意図する最初の運動として決定される。同様に、ある軸（ロールのような）における角速度は、ある軸の運動がユーザーにとって実行するのがより簡単であることが知られている（あるいは測定されあるいは見出されている）場合は、他の軸の角速度に対するスレッシュホールドよりも、ジェスチャーの部分として認識されるように、より高いスレッシュホールド（運動の速度および／または角度）を割り当てることができる。

ジェスチャーの他のタイプは、端末のほぼ円形の運動を含み、文字、番号または他のシンボルなどのキャラクターを端末を移動させることによって追跡し、空間中に文字を描く。これらのジェスチャーは、端末の機能を直接起動させるショートカットとして使用される。ある実施例において、キャラクタージェスチャーのショートカットは、キーボードのショートカットと同様に解釈される。例えば、空間で「Ｗ」をトレースすることは、端末の「Ｗ」ボタンを押すことが同じアプリケーションを起動する場合、ウェブブラウザーのアプリケーションを起動するコマンドとなる。

拘束されるジェスチャー
運動ジェスチャーのショートカットをよりロバスト性を有して認識することを可能とし、意図しない運動の認識を減少させるために、ショートカットは、端末の１つ以上の予め定められた操作コンテキストのもとでのみ認識されるよう構成されている。例えば、検知した運動が、運動ジェスチャーとして意図されたものであり、偶発的または突発的なユーザーの運動でないことを保証するために、端末の特定の方向が、ジェスチャー認識システムを拘束して、ジェスチャーがよりロバスト性を有して認識されるように、特定のジェスチャー入力のためのコンテキストとして要求される。そのため、特定のジェスチャーが、端末がジェスチャーに関連する予め定められた方法で方向付けられているとき、そのジェスチャーとしてのみ認識される。言い換えると、ジェスチャーは、そのジェスチャーとして認識されるとの要求のなかで、端末の特定で予め定められた方向付けを含み、ここでその方向付けは、ジェスチャーの実行の前、最中、および／または、後に要求される。ある実施例において、予め定められた方向は、ジェスチャーの最初から測定された所定の時間でのみ要求される。他の実施例では、所定の方向は、ジェスチャーすべての実行中要求される。さらに他の実施例では、所定の方向は、ジェスチャーが完了した直後のみ要求され、例えば、ジェスチャーが一旦検知され認識されると、端末の現在の方向がすぐにチェックされる。端末の方向は、予め定められた方向とほぼマッチするためのみに必要であり、例えば、端末は予め定められた方向の特定の角度範囲内または動作範囲内にあるためのみに必要である。

一例として、「戻る」ジェスチャーは、現在表示されている現在のモードあるいはアプリケーションにかかわらず、端末１０のメインメニューまたはデフォルトメニューに、端末を戻したり表示させたりするコマンドである。例えば、この戻るジェスチャーは、振動ジェスチャーであり、端末のスクリーンが下側に向くように、振動ジェスチャーの前／および最中に、端末を方向付けることを要求する。例えば、ジェスチャーは３回端末を振動させることである（スクリーン外の何かを放出するように）。スクリーンを下側に向けなければならないことの要求は、端末がある他の理由で振動されたとき、そのジェスチャーが偶然に認識されないようにする。

他の実施例において、振動ジェスチャーはメインメニューからアプリケーションを開始するために使用される。ロール軸中の３つの振動は、ウェブブラウザーなどのあるアプリケーションを起動するために使用され、一方、ピッチ軸中の３つの振動は、カメラなどの他のアプリケーションを起動するために使用される。これらのアプリケーションが端末の他の振動動作によって偶然に起動しないことを保証するために、端末が通常または最初に垂直方向に保持される場合（例えばスクリーンが垂直方向）、これらのジェスチャーのいずれかを認識するため、システムはユーザーに、端末を水平方向（例えばスクリーンが水平方向）に保持するよう要求する。（ある実施例において、システムはユーザー固有であり、前回の使用を通じて記録された方向のデータを検査することによって、特定のユーザーによって端末が通常どのように保持されるのかを決定する。）端末は最初に垂直方向に保持されるため、水平方向を要求するジェスチャーは通常の操作中認識されない。

他の実施例において、ボタン３６は、端末の特定の操作コンテキストを起動し、ジェスチャーをいつ認識すべきかを決定するために使用される。例えば、ユーザーが、ボタンを保持することなく、ボタンを押したり解放して、次にジェスチャーを実行する。あるいは、ユーザーが、ボタンを押して保持し、次に、ボタンを保持している間にジェスチャーを実行する。この方法は、システムが無意識な動きをジェスチャーとして認識しないようにするため、ロバスト性を付与する。

電話アプリケーション
ある実施例において、あるジェスチャーは、端末がある操作モードであるコンテキスト中に存在するときのみ、イベントを開始する。例えば、携帯電話あるいは他の電話の機能は、電話モードとして端末１０内に提供されている。ある電話の実施例において、通常ヨー運動振動は、いかなるジェスチャーとしても認識されず、端末のいかなる機能をも起動ない。しかし、受電があった場合、電話モードがエンターされ、ヨー振動動作が電話に答えるために入力される。同様のジェスチャーが、電話を終了したり中断したりするために使用される。電話中、３回のタップジェスチャーや他のジェスチャーは、電話スピーカー機能を切り替える（使用可能および不可能）ために入力される。

ポートレートおよび風景を見るための特徴
加速度計は、携帯端末において、表示された画像の方向やスクリーンのポートレートモードおよび風景モードの間のアプリケーションを切り換えるために使用される。この機能を実行するための標準的な方法は、端末のスクリーンがほぼ水平方向に方向付けられている、すなわち、端末のスクリーンが最初に上方あるいは下方を向いている場合、十分に機能しない。これは、加速度計が、重力ベクトルの周りの回転を検知できず、重力に関する方向のみを測定しているためである。

本実施例において、ヨーを測定できるジャイロスコープが、この場合はポートレートおよび風景の方向、あるいは、水平スクリーンの方向をコントロールするために使用されている。ジャイロスコープ信号は統合され；信号が９０度の回転を示すスレッシュホールドを通過したとき、スクリーン上に表示された画像は反対方向に９０度回転する。ある実施例では、スレッシュホールドは９０度未満である。特定の角度の回転が要求され、あるいはヨー回転ジェスチャーがその代わりに使用される。スレッシュホールドを通過するためには十分大きい回転が起きた場合、画像はスクリーン上で（例えば９０度）回転する。特定の角度がスレッシュホールドのために要求される場合、９０度が現在の角度から引き算され、端末と画像との回転の統合は連続する。これはユーザーが９０度以上端末を回転可能にする。例えば、ユーザーが端末を１８０度回転させると、画像は１８０度回転する。

画像が予期せぬ回転をしないことを保証するために、この統合は、端末のスクリーンが水平に近いときにのみ起こる。ある実施例において、ある速度を超える端末の回転が要求されるとき；端末の回転がある速度以下で起こる場合、画像はディスプレー上で回転しない。これはユーザーが画像の回転が起きるかどうかをコントロールすることを可能とし；端末が早く回転する場合、画像の回転が起き；そうでなければ画像の回転は起きない。

画像の回転は、所定の時間内すなわち端末が所定の時間間隔内にスレッシュホールド角度を超えて回転したときにのみ、起こるよう拘束されている。例えば、ユーザーが端末を４５度のみ回転させ次に回転を停止させた場合、角度は、所定時間後ゼロに設定し直され、あるいは、所定の時間が経過した後所定の速度でゼロに徐々に戻る。

視覚的フィードバックは、ユーザーが、回転をコントロールして、ある場合になぜ回転が起こったり起こらなかったりするのかを理解することを助けるために使用される。統合の現在の角度は、あるスケールファクターとともに変更された、スクリーン上の画像に直接的にマッピングされる。ユーザーは、ある種類の回転が画像に反映され、他の種類の回転は反映されないことがわかる。４５度の回転が起こった場合、統合は０に戻り、これはそのような視覚的フィードバックにおいてユーザーによって直接観察可能である。

ある実施例において、画像は端末の回転中わずかに回転し、角度のスレッシュホールドに達したときに画像がどのように回転するかを示す。例えば、図８Ａにおいて、画像が表示されている。端末を関連する角度スレッシュホールドよりも低い角度で回転させるユーザーに応じて、回転速度が所定の速度スレッシュホールドを超えている場合、図８Ｂに示されたように、画像は対応する方向に少しだけ回転して表示される。このことは、結果として全角度回転する画像変更の方向およびタイプをユーザーに示す。回転が速度スレッシュホールド以下のとき、画像は全く回転しない（少しの回転も、全角度の回転も）。図８Ｃにおいて、画像は、端末の回転がが関連するスレッシュホールドを超えた時点で、完全に９０度回転した。

オーディオおよび振動のフィードバック
ある場合において、ユーザーは、ディスプレースクリーンを見ることができなかったり、あるいは、スクリーンを見るつもりがない場合がある。例えば、メインメニューに戻すためにスクリーンが振動前に下を向く上述した実施例において、スクリーンは通常端末が下を向くと見られないため、ユーザーはジェスチャーが機能しているのかしていないのか分からない。そのため、端末は、メインメニューに戻ることを示す特定のオーディオビープ音のような、オーディオまたは振動のフィードバックに反応する。端末を振ることによってユーザーが電話に答える実施例において、最初にスクリーンを見ることなしに電話に応答できることが望ましい。この場合、振動および／またはオーディオのフィードバックが、振るジェスチャーが認識され、電話に応答でき、電話からの声を受け取ることを示すために有効である。通常、ユーザーがスクリーンを見たくない場合やジェスチャーの性質によりスクリーンを見ることができない場合にジェスチャーを行う場合において、振動またはオーディオのフィードバックは、ジェスチャーが認識できることをユーザーに知らせるために役に立つ。振動またはオーディオフィードバックの種類は、そのジェスチャーが認識されたのかを決定するために役立ち、ユーザーは、ジェスチャーが正しく認識されたのか認識されなかったのかを知ることができる。運動検知装置において、オーディオは公知のスピーカー装置を使用して提供され、振動は少なくとも１つの振動モーターまたはアクチュエーターを使用して提供される。

認証アプリケーション
より進化したジェスチャーアルゴリズムが認証の目的のために使用される。例えば、ユーザーによって行われた端末の動きは、分析され、データベースに記憶された動きと比較される。実行された動きが記憶された動きと一致する場合、ユーザーは認証される。例えば、ユーザーは、アイテム、アカウント、端末の機能、端末１０と連通されている装置の機能などの情報にアクセスするために、認証が必要である。その様な認証の動作は、例えば、あるユーザにとってはパスワードやコードなどの他の種類の署名よりも動きの署名や認証を覚える方が好ましく簡単であるなどの、いくつかの効果を有している。

実行した動きと記憶した動きとの一致の検証は、種々の方法で行われる。実行された動きは、直接記憶した動きと一致することもあれば、最初に座標変換および上述したセンサー融合アルゴリズムを使用して変換され、一致検査の前に最も重要なジェスチャーの特徴に換算される（動きジェスチャーの特徴は、同時継続中の米国特許出願１２／２５２，３２２号に記載され、ここに参照として記載する）。ユーザーは、それを単純に実行することにより、１回以上事前に記憶された動きを記録し、この記録された動きが次の動きを比較するための記憶された動きとなる。

あるいは、実行された動きが記録されたが一致しない場合；この場合は、ユーザーまたは裁判所が、動きが正しくても正しくなくても、次のデータを決定する責任を有する。例えば、手書きの署名を使用する認証システムは、署名の認証を行う装置に依存しない。署名は記録され、三次元の動き、例えば、３Ｄ対象物の回転および変形などの動きとして視認される。あるいは、署名は、署名に似た２−Ｄの動きとして記憶され；この場合、動きは空間で追跡された軌跡の動きとなる。そのような実装において、端末の移動は、特定のユーザーと直接的に相関する具体的な認証マークに変換され、法律的あるいは商業的な目的を含む種々の目的でユーザーを特定するために使用される（例えば、伝統的な署名の法律的価値とか、商売などにおける購入物の認証）。

あるアプリケーションにおいては、端末の動きは、証明、カードの磁気データ読み取り、キー、マグネットストライプ、ＲＦＩＤ（高周波識別）チップなどの他の方法により通常認証される外部システムと関連するイベントまたはアクセスを認証するために使用する。認証は、ユーザーによる動きとして実行され、データベース中の前回記録した認証と一致される。ある実施例において、この動きは、認証を提供するためのＲＦ署名などの他の認証メカニズムを組み合わされる。他の例においては、ユーザーが、外部システムを解除するときに使用される動きを定義する。ユーザーは、携帯端末で１回以上その動きを単純に行うことによって、システムをプログラムし；その後、同じ動きが外部システムを解除するために使用される。例えば、認証のための動きは、車のドアーおよび／または車のイグニッションなどの外部システムを解除するために使用される。そのような実装において、携帯端末は、１つ以上のローカルコミュニケーションチャンネル（例えば、ＷｉＦｉネットワーク、直接無線通信、赤外線通信、オーディオ通信など）を介して、ネットワーク（例えば、携帯端末および外部装置の両者が直接的または間接的にネットワークに接続している）を介して、あるいは、１つ以上のローカルコミュニケーションチャンネルおよびネットワークの組合せを介してコントロールされる外部システムと連絡できる。

他の例において、ＲＦＩＤまたは他のＲＦチップを含む端末（カードなど）が、端末をＲＦ検知器を通すことによって購買するために使用される。しかし、端末が盗まれた場合、裁判所が購買が無効であることを証明するように、付加的な動きの認証が必要となる。例えば、端末をＲＦＩＤリーダーの近くに保持しながら、所定の認証の動きがユーザーによって行われる。購買は、そのため、ユーザーにそれほど追加の時間を要求せずに、認証される。

健康に関するアプリケーション
ジャイロスコープや加速時計などの端末１０の運動センサーは、健康なライフスタイルのために必要な肉体的活動を測定して促進するために、人間の動きを測定するために使用される。

ある実施例において、加速度計は、万歩計として、ジャイロスコープやＧＰＳとともにあるいはそれらを使用せずに、使用され、ステッピング（ウォーキング、ランニングなど）と関連したスパイクインパクト移動を測定する。ステップカウンターは、ユーザーがどれほどのカロリーを燃焼したか、および、歩いた大体の距離を測定するために使用される。ＧＰＳを付加することで、燃焼したカロリー、歩いたルートおよび歩いた距離のより良好な理解をするために、歩いたステップの長さおよび距離が測定される。

測定ステップに加えて、エネルギーの消費のより正確な測定が、ジャイロスコープおよび加速度計の両者を使用して行われる。例えば、端末がユーザーのポケットにある場合、ユーザーの足のスウィングの角速度が、消費されたエネルギーの量を知るために、端末によって測定される。通常のウォーキングと「早いウォーキング」との間の相違は、例えば、ステップをカウントすることによっては決定されず、四肢の動きを測定するとき、使用されたエネルギーを測定することによって決定される。

ある実施例において、ユーザーの環境運動は、通常の日常生活においてユーザーがどのくらいのエネルギーを消費しているのかを決定するために使用される。例えば、医者またはスポーツの開業医がユーザーにある量だけ動くことを要求した場合、運動センサーは、ユーザーによって消費された運動量を記録して定量化するために使用される。一日の終わり近くで、ユーザーはこの運動量を調べ、要求された運動量に合わせるために他の運動を実行する。ユーザーの運動を記録して定量化するシステムは、また、動くかあるいは連続するために、ユーザーにリマインダーまたはエンカレッジメントを発行する。

他の実施例において、運動センサーは、ある運動を実行するためにユーザーを指導する運動システムとペアで用いられる。ある実施例において、ユーザーにある運動の仕方を指導すること、および、ディスプレー上に正確な運動を表示することに加えて、運動センサーが、また、いつユーザーが実際に運動を実行したかを決定するために使用される。一例として、運動システムはユーザーに３０回の腹筋運動をするよう指示する。ユーザーは端末１０を保持して、起き上がることを要求される。運動センサーは、動きを記録し、その運動がユーザーによっていつ実行されたかを決定する。ある実施例においては、装置は、ユーザーが腹筋運動などの運動を行うと、オーディオスピーカーを介して大きな声でカウントし、ユーザーがそれらを実行するとき、勇気づける言葉を発生する。運動センサーが、ユーザーがスローダウンしたり運動を中止したりしたことを見つけると、装置は、ユーザーがその運動を完了するよう説得するために、より多くの勇気づけの言葉を発生する。種々の運動が、端末を保持した状態でユーザーによって実行され、それぞれの場合、端末は、ユーザーと同期するために動きを測定し、実行する速度やフォームの点でフィードバックを与えるために、ユーザーの動きを評価する。例えば、腹筋運動の場合、携帯端末は、速度および腕の動きの両者を測定し、ユーザーの腕が開始位置に戻っているかどうかを決定する。

異なる健康のアプリケーションにおいて、端末は、その運動センサーを使用して、ユーザーが医学的な緊急事態にあるかどうかを決定する助けをする。ある例において、運動センサーを使用することで、端末は、医学的な緊急事態である可能性が高いことを示す、ユーザが突然または急に立った位置あるいは座った位置から腹臥位に倒れる事態が起きたかどうかを検知できる。端末は、端末がそのような機能を利用できる場合は現在のユーザーの位置を示すとともに、そのような緊急事態が検知された場合、自動的に救急サービス、救急車あるいは医者に知らせるようプログラムされている。ユーザーは、緊急事態に対する異なる感度が可能なように、自分の医学的な状態に応じて端末のセッティングを調整できる。他のアプリケーションでは、同様の緊急事態での対応が、端末がスポーツの移動や運動中における突然の落下や危険な動きを検知したとき、提供される。

スポーツのアプリケーション
ある実施例において、端末１０の運動センサーがスポーツの行動を評価するために使用される。端末は、ユーザーの手に保持されるか、ユーザー上のどこかに配置され、例えば、ベルト、シャツまたは足首のようなユーザーの身体の他の部分に搭載され、ユーザーのポケット内に置かれる。端末は、スポーツの行動に関連した運動を測定し、ユーザーにフィードバックを提供するために、運動を記録して分析する。端末は、また、ゴルフクラブ、野球のバット、テニスラケット、ボクシングのグローブ、あるいは、スポーツ道具の他の物品の上に搭載される。

最も詳細な信号を提供するために、高いサンプルレートおよび高いフルスケールレンジが使用される。ある実施例において、１ｋＨｚのサンプルレートが、ゴルフのスイングのような大変速い運動を表現する詳細なデータを提供するために、使用される。記録されたデータは、ユーザーが大変高いエネルギーの運動を実行するとして検知しない限り、通常１００Ｈｚまたは２００Ｈｚであり、これはデータ記録の大変に速い速度であるため、そのような場合すべて１ｋＨｚのデータが記録される。通常のスポーツの分析のみが必要な他の実施例において、すべてのデータレートは、１００Ｈｚまたは２００Ｈｚのように、通常低くなっている。

ジャイロスコープおよび加速度計のデータは、両者とも、コンパスデータのような他のデータが利用可能な場合は他のセンサーデータとともに、記録される。利用可能なセンサーデータは、回転マトリックスや線加速度のような最も有益な物理パラメータを引き出すために、センサー融合アルゴリズムを通る。記録され処理されたデータは、トレーニング中に実行される動きのビューをユーザーに与えるために、３Ｄモデルにマッピングされる。

運動は、また、どの動きが正確に実行されたかどうかを決定するために、プロのアスリートによって実行された予め記録された動きと比較される。ある実施例において、そのような比較は、音声認識に対し現在使用されているアルゴリズム方法を使用して、達成される。比較は、生のデータを使用して実行されるが、センサー融合アルゴリズムの出力である処理されたデータを使用して実行することもでき、その場合は、生データよりも有益な物理的パラメータが比較される。比較の後、タイミングや大きさのスレッシュホールドが、ユーザーの動きがプロのアスリートの動きとどのように異なっているのかを決定するために使用される。

ゲームのアプリケーション
携帯ゲームシステムは、ジャイロスコープおよび加速度計の使用により改良されている。加速度計はある携帯ゲーム端末において存在するが、検知した連続運動の待ち時間を減少させ、ゲームシステムで使用されるジェスチャーの豊富さを増加させるために、ジャイロスコープが追加される。

ある実施例において、ジャイロスコープおよび加速度計は、回転マトリックス、四元数、または、空間中の端末の方位を表現するオイラー角を提供するために、センサー融合アルゴリズム中で組み合わされる。この方位は、直接的に、あるいは、端末のディスプレーに示されたバーチャルワールドに対する拘束とともに、地図上に表示される。例えば、端末を異なるように方位付けすることは、バーチャルワールドの異なるビューをユーザーに提供する。線加速度は、空間中における端末の線運動を表示するために、抽出される。一時的な線運動は、また、端末中に表示された物理的ゲームモデルに対し適用される。センサー融合アルゴリズムは、また、慣性センサーデータをオンボードカメラ、コンパスまたは他の運動センサーと融合させる。

ロール、ピッチ、ヨーまたは円の端末の動きを利用する上述した要素選択技術は、選択され操作される要素がゲーム内のアイテムである、ゲームシステムに適用される。同様に、上述したジェスチャー認識アプリケーションは、ゲームシステム中の要素または起動イベントを選択するために使用される。

ある実施例において、ドライビング、フライング、スキーイングまたは操縦を含む他のゲームは、ジャイロスコープおよび加速度計を使用してコントロールされる。ジャイロスコープおよび加速度計を組み合わせるセンサー融合アルゴリズムは、装置に対しどちらが「下」の方向かを決定する重力ベクトルを出力する。重力ベクトに応じて端末を回転することにより、操縦の動きがゲームをコントロールするために使用される。これはジャイロスコープなしで実行可能であるが、加速度計のみを用いることは、結果としてノイジーか高い待ち時間を有するコントロール信号となり、ゲームの速い流体制御を難しくする。ジャイロスコープのみを用いることは、コントロールが容易な低い待ち時間の信号を提供するが、ドリフトを有する。センサー融合アルゴリズムの出力を使用することは、操縦信号を、低い待ち時間で、低いノイズで、低いドリフトの信号にする。操縦メカニズムは、必ずしも重力に対応する必要がないが、ユーザーが選択した開始ポイントには関連する。例えば、ゲームを開始するとき、ユーザーが保持する端末の方向が、記録され、その後の全ての運動に対し参照して使用される。

ある実施例において、３Ｄゲームは、これらの操縦コンセプトをバーチャルワールドのコンセプトに組み合わす。１つ以上の自由度が操縦に対するコントロール信号として使用され、１つ以上の自由度が、バーチャルワールドを表現する３Ｄグラフィックに直接的にマッピングされる。一例として、フライングゲームは、乗物を操縦するためにピッチおよびヨーを使用し、ロールがユーザーの視野を回転させるために直接的にマッピングされるよう、構成されている。

個別のジェスチャー認識は、ゲームをより楽しくするために、連続したジェスチャーの動きと組み合わせられる。例えば、ステアリングによって最初コントロールされているゲームにおいて、個別のジェスチャーがある機能を実行するために加えられる。端末を振ることは、シミュレートした乗物のギアをシフトさせ、あるいは、例えばスタントやトリックを実行させる。

上述したスポーツの分析およびトレーニングアプリケーションは、モバイル機器上で実行されるスポーツゲームに適用できる。他の実施例において、リアルタイムのジェスチャー認識は、ユーザーがスポーツゲームをできるように、スポーツに関連する動きを検知するために使用される。このジェスチャーの認識は、生データよりも、センサー融合アルゴリズムによって出力された物理的パラメータ上で最も有利に実行される。

パワーマネージメント
端末内の運動センサーは、端末のパワーマネージメントをコントロールするために使用される。例えば、端末が長時間静止状態にあり（そして端末が専用のメディアプレーイングモードや他のアクティブ状態または予測されたデータ処理状態になく）、端末がスリープモードのような低パワー状態になることを、運動センサーが決定する。

ある場合、センサーを循環するパワーによって、パワーをセーブすることが望ましい。例えば、この使用は、端末のモードおよび運動機能トリガーの状態に依存する。例えば、アイコンを選択する例において、ボタンが押された場合、運動センサーはパワーを保存するために電源を切られる。ボタンを押すことが、運動の検知が始まる前にセンサーの電源を入れる。バックグランドでの運動検知が要求された場合、運動センサーは、ボタンが押されないときデューティーサイクル状態となる。例えば、ボタンが押されないとき、ジャイロスコープは１秒オフの状態か０．１秒オンの状態の間のどちらかの状態になる。ボタンが押されたとき、ジャイロスコープに電源が入りフルパワーとなり、端末をコントロールするために使用される。あるいは、ジャイロスコープは、ボタンが押されたとき、デューティーサイクル状態を維持するが、ボタンが押されないときよりも速い速度、例えば、５ｍｓオフで５ｍｓオンの状態となる。

運動機能トリガーを使用するアプリケーション
ここに記載されているように、端末の動きは、動きを検知する端末１０の入力コントロール装置から検知された入力との組み合わせで使用される。入力コントロールは、ユーザーがジェスチャー入力のために意図する端末の動きの間、ジェスチャーを検知する端末のための指示をする。例えば、ここで「運動機能トリガー」（また「ＭＦＴ」として示される）３６として参照される（図２に示されるように）、１つ以上ボタン、スイッチ（メカニカル、オプチカル、マグネチックなど）、ノブ、車輪、ダイアル、あるいは、他の入力コントロール装置は、動きを検知する端末１０のハウジングに設けられ、それらはユーザーが押したり起動させたりすることができる。例えば、ユーザーのアクセルが便利なように端末の側面に設けられた図１に示されたボタン８および９のような、１つ以上のボタンは、運動機能トリガーとして使用される。ハードウェアコントロールが使用され（メカニカルな装置、接触センサー、圧力センサー、容量センサー、赤外線センサー、近接センサー、マグネチックセンサー、または、外部相互作用を検知できる他の種類のセンサーを介して実装される）、あるいは、ソフトウェア／表示コントロール（例えば、タッチスクリーン上の表示されたボタンまたはコントロール）が、運動機能トリガーとして使用される。

ある実施例において、運動機能トリガーの組み合わせが、単一の運動機能トリガーとしてここに記載された効果を達成するために使用される。ある実施例において、運動機能トリガーの効果は、種々のポイントにおける端末上の圧力（例えば、メカニカルセンサー、容量センサー、または、直接的にあるいは間接的に端末あるいはスクリーンの表面上の圧力を検知できる他のセンサーを介して検知される）、端末上の指の数、端末を保持するために使用されるグリップの分布、ユーザーと端末との間の物理的な相互作用の他の観点を含む、ユーザーが端末を保持する方法から推測される。ある実施例において、端末に対するユーザーの手や体の近接は、直接的な物理的接触がなくても、運動機能トリガーにエンターするために使用される。ある実施例において、運動機能トリガーの効果は、タップ、シェーク、他のジェスチャーを含む、端末の一連の動きにマッピングされる。運動機能トリガーの効果を起動させるそのような動きの数または状態は、予め設定でき、次に起動するアプリケーション、端末の事情、端末の動きの状態、他のファクターに基づき、動的に推測される。

端末上の運動機能トリガーは、端末が「運動モード」にあるいかないかを決定するために使用される。端末が運動モードにあるとき、端末１０のプロセッサーあるいは他のコントローラーは、検知される端末の動きが端末の状態を変更例えばジェスチャーとして検知されるように変更することを可能とする。例えば、運動機能トリガーが起動されていない状態にあるとき、例えば、ユーザーによって起動されずに保持されているとき、ユーザーは端末の状態を変更することなく自然に端末を動かす。しかし、運動機能トリガーがユーザーによって起動されると、端末は１つ以上の端末の状態を変更するよう移動する。端末の状態の変更は、機能および／または実行の選択、あるいは、機能またはプログラムの起動である。例えば、機能は、運動モードの間に受け取る動きのデータからジェスチャーを検知することに応じて、端末上で実行される。端末は、検知した終了イベントに基づき、運動モードを終了する。例えば、この実施例において、終了イベントは、運動機能トリガーがユーザーによって解放され、運動機能トリガーからの起動信号が検知されなくなったとき、発生する。ある実施例において、動きのデータに基づく端末の状態の変更は、運動モードが終了した後、例えば、この実施例ではボタンが押された後、にのみ発生する。運動モードでないとき、端末（例えば、端末中のプロセッサーまたは他の適用可能なコントローラー）は、動きのジェスチャー認識の目的で検知された動きのデータの入力を無視する。ある実施例においては、検知された動きのデータは、依然として入力となり、上述したように端末のモデルを計算するなどの他の機能または目的のために使用され；あるいは、ある実施例では、運動機能トリガーの他の例と使用されると十分な機能とはならないタップジェスチャーのような、特定の所定の種類のジェスチャーあるいは他の動きのみが、依然として入力および／または認識される。他の実施例においては、全ての検知された動きのデータは、例えばセンサーが停止している時のような動きモードでないときは、いかなる目的のためにも無視される。例えば、ボタンの解放は、端末の動きとして検知されたスパイクを起こすが、このスパイクはボタンの解放のあとに発生し、そのため無視される。

端末の運動モードの操作は端末の操作モードに依存する。例えば、運動モードをエンターさせるための運動機能トリガーの入力は、ユーザーに、端末がある操作モードにある間に動きのジェスチャーを入力することを要求し、端末の他の操作モードにある間には、何の運動機能トリガーの起動も要求されない。例えば、端末の動きに基づき端末のディスプレースクリーン１６ａを介して画像のセットあるいは他の対象物をスクロールすることが可能な画像ディスプレー操作モードにあるとき、動きモードの起動が要求される（例えば、ユーザーが運動機能トリガーを押し下げることによって）。しかし、ユーザーが携帯電話に答えることができる電話モードにあるときは、ユーザーが電話の呼び出しに応えたり端末１０の他の電話機能を実行するために、運動モードの起動や運動機能トリガーの起動を要求されることはない。また、端末１０の異なる操作モードは、運動機能トリガーや運動モードを異なる方法で使用する。例えば、ある操作モードでは、ユーザーが運動機能トリガーを不活性にすることによって、運動モードを停止させることができ、他の運動モードでは、ユーザーが特定の動きのジェスチャーを入力することによって、運動モードを停止させることができる。

ある実施例において、運動機能トリガーは、端末の運動コードを起動するためにユーザーによって押される必要はなく、および／または、停止イベントも運動機能トリガーを解放する必要がない。例えば、運動機能トリガーは、端末の動きにより端末の１つ以上の状態を変更することを可能にする運動モードを起動するために、「クリック」、すなわち、起動し（例えば押し込まれ）てすぐに解放される。端末は、運動機能トリガーがクリックされた後運動モードのまま残る。望ましい所定の停止イベントは、検知されたとき運動モードを停止するために使用され、その後の端末の動きは端末の状態をそれ以上変更しない。例えば、特定のシェークジェスチャーは、ユーザーが提供する動き（所定の回数振る動作を有するシェークジェスチャーなど）の動きのデータから検知され、検知されると運動モードを停止する。他の種類のジェスチャーは、他の実施例において、運動モードを停止するために使用される。さらに他の実施例においては、停止イベントは、ユーザーの動きに基づかない。例えば、運動モードは、現地されたジェスチャーの完了（ジェスチャーが正しく端末によって検知されたとき）のような、他の基準に基づき自動的に停止される。

入力端末
携帯端末１０は、他のシステムへの入力を提供するために空間中の軌跡を追跡するために使用され、入力が空間中の端末１０の動きや位置に基づく入力端末として動作するために使用される。携帯端末１０の軌跡は、例えば、ピッチおよびヨージャイロスコープのような、端末の異なる軸を検知する２つのジャイロスコープを統合することによって、得られる。あるいは、この軌跡は、センサー融合アルゴリズムの出力として、ジャイロスコープおよび加速度計（例えば、３つのジャイロスコープと３つの加速度計）から抽出される、重力に対するピッチおよびヨーの動きから得られる（例えば、同時係属中の米国特許出願１２／２５２，３２２号に記載されたようなモデル方程式を使用して、ここに参照のため記載する）。この軌跡は、現存のカーソルコントロールソフトウェアとともに、または、通常マウス、スタイラスまたはタッチスクリーンのアプルケーションのために設計された、手書き認識ソフトウェアとともに、使用される。

ある実施例において、軌跡は、コンピュータ装置や電子エンターテインメントシステムなどの外部装置へ、ワイヤレスで伝達される。軌跡は、ＰＣまたはエンターテインメントシステムを直接コンロトールするディスプレースクリーン上に表示されたカーソルをコントロールする、ボタンまたは他のコントロールとともに使用される。あるいは、軌跡の入力は、他の端末のディスプレースクリーン上の異なる表示された対象物またはビューをコントロールする。

他の実施例において、ソフトウェアは、他の装置への入力を提供しなくても、携帯端末１０上で完全に動作する。軌跡は、スタイラスあるいはタッチスクリーン装置のために設計された現存する手書き認識ソフトウェアを使用して、文字として解釈される。

本発明の実施例は、表示可能性を提供するサブシステムを備える携帯電子端末を提供する。モバイル携帯電子端末は、図２に示された端末１０を含む、ユーザーの手に保持された状態でユーザーによって動かすことができる、各種の電子端末である。ある実施例において、端末は、他の拡張機器に装着され、統合され、あるいは物理的に結合されている。拡張機器は、ビデオゲームコンテキストで好適に使用されるゲームインスツルメント（例えば、テニスラケット、野球のバッド、ゴルフクラブ、銃または他の武器）や、物理的な計測、測量あるいは同様のアプリケーションで好適に使用されるポインティング装置や、端末の機能性の恩恵を受けることができる各種の物理的装置である。拡張機器それ自体は、それ自身処理能力を有していない物理的なハンドルや、端末の機能性の少なくとも一部を補償するかオーバーラップするデータ処理能力を有している。

ある実施において、表示能力を提供するサブシステムは、端末に装着されたディスプレーである。このディスプレーは、端末に統合され、端末に対し実質的に固定されている。他の実施において、ディスプレーは、端末に装着され、端末から延びることができ、端末に対し回転でき、端末に対して傾くことができ、あるいは、端末の一部に対し移動可能である。そのようなディスプレーの例は、ブラウン管（ＣＲＴ）、蓄積管、双安定ディスプレー、電子ペーパー、ニキシー管ディスプレー、ベクトルディスプレー、フラットパネルディスプレー、真空蛍光ディスプレー（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレー、ＥＬＤディスプレー、プラズマディスプレーパネル（ＰＤＰ）、液晶ディスプレー（ＬＣＤ）、ＨＰＡディスプレー、薄膜トランジスターディスプレー（ＴＦＴ）、有機発光ダイオードディスプレー（ＯＬＥＤ）、表面電界ディスプレー（ＳＥＤ）、レーザーディスプレー、カーボンナノチューブディスプレー、ナノ結晶ディスプレー、量子ドットディスプレー、あるいは、携帯端末に実装されあるいは使用される、上述したディスプレーの組み合わせ、を含む。

ある実施例において、表示能力を提供するサブシステムは、外部ディスプレー上の表示のために実質的に適合された画像を生成することができるモジュールのセットを含む。そのようなモジュールは、ハードウェアロジック、ソフトウェアロジック、あるいは、ハードウェアとソフトウェアとの組み合わせ、を含む。画像は、静止画でも、動画でも、テキスト、絵およびビデオを含むマルチメディア信号であっても良い。画像を生成するためのロジックは、ビデオおよび画像信号生成や、ビデオおよび画像の圧縮や、ビデオおよび画像のエンコーディングや、各種の無線または有線のメディアによるビデオおよび画像の伝達などを含む、先行技術から知られている。モジュールのセットによって生成された画像は、実質的に完全で外部ディスプレーに表示する準備ができているか、あるいは、外部ディスプレーに表示する前に付加的な処理が必要である（例えば、画像は、端末から出力されたデータを含むが、特定の外部ディスプレー上の適切な表示のために必要な付加的なディスプレーに依存するビデオ信号情報を必要とする）。

ある実施例において、表示可能性を提供するサブシステムは、スクリーン上に画像を投影することができるモジュールのセットを含むか（例えば、スクリーン、ボード、壁、あるいは画像を表示可能な他の表面上に２Ｄ画像を形成する光学プロジェクターシステム）、空間に画像を表示するモジュールのセットを含む（例えば、３Ｄまたはホログラム画像）。

ある実施例において、端末は、さらに、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットを含む。ある実施例において、少なくとも３軸の周りの回転速度を検知するための運動センサーのセットは、３つのセンサーから構成されるが、他の実施例においては、そのようなセンサーを４個、５個、６個あるいは他の数だけ含むことができる。ある実施例において、回転速度を検知するための運動センサーはジャイロスコープである。種々の実施例において、ジャイロスコープを３個、４個、５個、６個あるいは他の数だけ備えている。

回転速度を検知するための運動センサーは、微小電気機械システム、圧電物質、半球共振器、音叉、クオーツ、カーボンナノチューブ、回転運動を検知できる端末を生成することができる他の技術、あるいは、上述した技術の組み合わせを含む、種々の技術を使用して実装されている。

ある実施例において、線加速度を検知するための運動センサーのセットは３個であるが、他の実施例においては、そのようなセンサーを４個、５個、６個あるいは他の数だけ備えている。ある実施例において、線加速度を検知するための運動センサーは加速度計である。種々の実施例において、加速度計を３個、４個、５個、６個あるいは他の数だけ備えている。加速度計は、先行技術において広く知られており、公知の加速度計製造技術や、加速度を検知できる端末を生成可能な他の技術や、あるいは、上述した技術の組み合わせを使用して実装される。

ある実施例において、少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットは、単一のモジュールとして統合される。ある実施において、モジュールは、単一のパッケージ内で統合されるか、単一のパッケージ内に封入される。単一のパッケージモジュールは、単一のチップから構成されるか、共通パッケージ内で統合される複数の別々の端末を含む。共通パッケージ内で統合されたそのような複数の別々の端末の例は、互いに装着されたか、あるいは、統合されて装着された、２つ以上のダイや、プリント配線基板（付加回路を含む）、チップ上のシステム（ＳＯＣ）、あるいは、端末の他の組み合わせ、を含んでいる。

図９Ａは、モジュールおよびサブシステムの例を含む、携帯電子端末のための運動検知システムの部分３００の一実施例のブロック図である。一実施例において、モジュール３０２は、回転速度を検知するための運動センサーを含む第１のサブシステム３０４（図９Ａの例ではジャイロスコープとして示されている）、および、線加速度を検知するための運動センサーを含む第２のサブシステム３０６（図９Ａの例では加速度計として示されている）、を備えている。ある実施において、第１のサブシステム３０４は、サブモジュールデータバス３０８を介して、第２のサブシステム３０６に接続されている。サブモジュールバス３０８は、２つのサブシステムの間、および、２つのサブシステム中に含まれる個々のセンサーの間、のコミュニケーションを促進するローカルデータバスである。そのようなコミュニケーションは、センサーによって発生された運動データ、センサーのためのインストラクション（例えば、電源節約のためのパワーダウンの指示、パワーアップの指示、操作を調整するための指示など）、および、他のセンサーに関連するデータまたはサブシステムやセンサーの操作や機能性に関するデータ、を含んでいる。センサーによって発生され、サブモジュールデータバス３０８を介して伝達される運動データは、予備的に処理されるか（すなわち、複数のセンサー間を時間について同期させる）、あるいは、生のままである（すなわち、生のデータが、生のデータのままかあるいは予備処理されたデータに加えて、別の処理のための外部プロセッサーで利用可能である）。ある実施例において、２つ以上のセンサーによって生成された運動データの時間における同期は、センサーから受け取られた情報が、実際に、端末の状態を示しているか、時間の特定の点における動きの種類を表しているのか、を保証するために重要である。

サブモジュールデータバス３０８は、電気的通信（例えば、シリアル、パラレル、または、パケットに基づく通信）、光学的通信（例えば、光ファイバー、光スイッチングマトリックス、光学的自由空間伝搬）、あるいは、無線通信（例えば、超広帯域、ローカル無線ネットワーク、ブルートゥース）を含む、有線または無線コミュニケーション技術を使用して実装される。サブモジュールデータバスで使用されるプロトコルは、標準のプロトコル（例えばｉ２ｃ）、あるいは、専用プロトコル（たぶん、暗号化されている）である。

ある実施例では、回転速度を検知するすべての運動センサーが第１のサブシステム３０４中に統合され、線加速度を検知するすべての運動センサーが第２のサブシステム３０６中に統合される。他の実施例では、モジュールは付加的なサブシステムを備える。ある実施において、第１のサブシステムは回転速度を検知する１つの運動センサーを含み、第２のサブシステムは回転速度を検知する少なくとも２つの運動センサーを含み、第３のサブシステムは線加速度を検知する少なくとも３つの運動センサーを含んでいる。他の実施例において、第３のサブシステムにおける線加速度を検知する少なくとも３つの運動センサーは、２つのサブシステムの間に設けられている。ある実施例において、付加的なサブシステムが、回転速度を検知する付加的な運動センサー、および／または、線加速度を検知する付加的な運動センサー、を含むよう付加されている。ある実施例において、モジュール中に含まれるすべてのサブシステムは、サブモジュールデータバスに接続されている。他の実施例において、１つ以上のサブシステムは、サブモジュールデータバスに直接的に接続されていない。この記載の目的のために、サブシステムは、サブシステムがサブモジュールデータバスを介してサブモジュールデータバスに接続された他の装置にデータを送受信できる限り、バッファや他の回路がサブシステムとサブモジュールバスとの間に設けられていたとしても、サブモジュールバスに接続されているとみなされる（外部データバスを介してそのようなデータを装置に送る場合とは対照的に）。

ある実施例において、運動センサーのセットを含むモジュール（例えばモジュール３０２）は、いくつかのあるいはすべてのセンサーによって生成された運動データと時間において実質的に同期可能である。ある実施例において、例えば、モジュール中のバッファ３０５を使用して、モジュールはそのような運動データをバッファし、データを利用できる他の端末が利用できるようにする。そのような他の端末の例は、アプリケーションプロセッサー３１０および／またはそのプロセッサーで実行されるアプリケーションなどの、外部プロセッサーまたは外部アプリケーションを含む。ある実施例において、モジュールは、運動センサーによって生成された運動データを内部で処理して、モジュールの外での処理の要求を減少させる、データ処理ロジック３０７（ハードウェア、ソフトウェア、ファームウェア、または、上述した例の組み合わせのいずれであっても）。ロジック３０７は、ある実施例において、処理のためのロジックに対し内部あるいは外部のメモリー３０９を使用する。各種の実施において、モジュールは、さらに、１つ以上のプロセッサー、ＤＳＰ、メモリーおよび他の回路を含んでいる。データ処理ロジック３０７および／または他の処理コンポーネントが、センサーサブシステムの外のモジュール３０２中のどこかに部分的にまたはすべてが設けられ、適当なバスを介してサブシステムおよび／または外部バス３１２に接続されている、１つ以上のセンサーサブシステム中に含まれている。

ある実施例において、モジュール３０２は、携帯端末の他のコンポーネントなどの、モジュールとモジュールに接続した外部装置との間のコミュニケーションを促進する、１つ以上の外部装置バス３１２と結合されている。１つの例は図９Ａに示され、アプリケーションプロセッサー３１０は外部装置バス３１２に接続されている。ある種の外部装置バスに対し、パワーマネージメント装置３１１および／または他の周辺装置が接続されている。ある実施例において、メモリー３１４、インターフェース装置３１６（入力および／または出力装置、回路、および／またはコンポーネント）、および、ディスプレー３１８が、外部装置バス３１２を介してコミュニケーションできる携帯端末のコンポーネントの例となる。ある実施例において、特定の装置が、代替え的にあるいは付加的に、ディスプレー３１８およびメモリー３１４のようなコンポーネントに対する図９Ａの点線で示されたバス３１５や図２に示された専用バスなどの、アプリケーションプロセッサー３１０や他のコンポーネントに対する自分自身の専用のバスを有している。ある実施例において、表示した接続のいくつかは存在しない（例えば、アプリケーションプロセッサー３１０は、共用の外部バス３１２を介して、専用のバスを介して、あるいは、共用および専用のバスの組み合わせを介して、コンポーネントに接続できる）。外部装置バスの一例は、Ｉ２Ｃ標準に従ったバスであるが、他の種類あるいは他の標準のコミュニケーションバスも代替的あるいは付加的に使用される。図９Ａの一実施例において、サブシステム３０４および３０６、および、サブモジュールバス３０８は、外部装置バス３１２から分離され、処理ロジック３０７あるいは他のコンポーネントのような他のコンポーネントを介してのみ、外部装置とコミュニケーションできる。

図９Ｂは他の実装３３０を示し、モジュール中に含まれる１つ以上のサブシステム（サブシステム３０４および３０６のような）は、１つ以上の装置バス３１２に直接的に接続されている。この例において、サブモジュールデータバス３０８は、示されているように、外部装置バス３１２から分離されている（しかし、そのような外部装置バスに接続したサブシステムを介して外部装置とコミュニケーションすることができる）。あるいは、サブモジュールデータバス３０８は、１つ以上の外部装置バスに直接的に接続されている。

図９Ｃは他の実装３５０を示し、サブモジュールデータバス３０８は１つ以上の外部装置バス３１２に接続され、モジュール中に含まれているサブシステム（サブシステム３０４および３０６のような）は、いかなる外部装置バスまたは他の外部装置にも直接的に接続されていない。この場合、例えば、サブシステムは、サブモジュールデータバス３０８および外部装置バス３１２を介して外部装置（アプリケーションプロセッサー３１０のような）とコミュニケーションすることができる。

ある実施例において、モジュール中に含まれる１つ以上のサブシステムは、同期なしで、バッファリングなしで、あるいは、他の運動データの予備処理なしで、運動センサーの一部あるいは全部から外部バスに直接的にデータを送る能力を有している。

ある実施例において、携帯端末は、少なくとも１つの運動センサーから抽出された運動データに基づき、端末との相互作用を促進することができる、サブシステムを含んでいる。サブシステムは、運動センサーのセットから受け取られ、ハードウェア、ソフトウェア、ファームウェア、または、それらの組み合わせにおいて実行される、運動データを解釈するためのロジックを含んでいる。サブシステムは、いずれの特定の時間においても運動センサーの１つ、すべて、あるいは、あるサブセットから運動データを受け取ることができる。サブシステムは、運動データを解釈し、それを、ソフトウェア、ハードウェア、あるいは、端末に統合された他のロジックによって理解できるコマンドあるいは他の入力に変換することによって、端末との相互作用を促進することができる。

運動センサーによって生成される運動データに基づく端末との相互作用の例は、例えば、端末の動きに応じたスクリーン上の視覚的な表示器の動き、端末の動きに応じた視覚的な要素の選択、端末の動きに応じた端末のアプリケーションまたは他の特徴の起動、などを含む種々の実施例とともに、この特許を通じて提供される。受け取られた運動データは、１つ以上の種々の処理技術を使用して処理され、携帯端末の他のコンポーネントのために解釈されおよび／または準備され、あるいは、携帯端末の他のコンポーネントにより実行されるよう準備される。例えば、ここに参照のために記載する、同時継続中の米国特許出願１１／７７４，４８８、１２／１０６，９２１および１２／２５２，３２２は、拡張されたセンサーデータを処理および／または提供するための、データを解釈してセンサーデータ中のジェスチャーまたはコマンドを認識するための、および、準備されたデータを、オペレーティングシステム、アプリケーション、アプリケーションプロセッサーまたは他の端末のコンポーネントあるいはソフトウェア、ここに記載された実施例において使用された利用可能なもののいずれかあるいはすべてに、提供するための、種々の技術およびシステムを記載している。

ある実施例において、端末との相互作用は、ロール、ピッチまたはヨー軸のうちの少なくとも２つに沿った端末の回転に応じて、ディスプレー上のパスに沿った、視覚的な表示器の動作、視覚的な要素の選択、または、視覚的な要素の動作を含んでいる。この実施例において、ディスプレー上のパスは、直線方向（水平、垂直、斜めあるいはその他の方向であろうと、ディスプレー上のいずれかの方向における）、曲線方向（円、放物線、楕円、またはその他の曲線を含む）、セグメント化された方向（直線方向および曲線方向の組み合わせを含む）、自由造形の方向、あるいは、それらの組み合わせである。三次元のディスプレー、画像、対象物あるいは視覚的要素のセットにおいて、上述した方向は、ディスプレーと平行（すなわち、従来の２Ｄディスプレーの平面において）、ディスプレーの表面に対し垂直（すなわち、従来の２Ｄディスプレーの平面の内部あるいは外部において）、あるいは、従来の２Ｄディスプレーの平面に対し傾いた方向（すなわち、平面に対して任意の角度で、従来の２Ｄディスプレーの平面の内部あるいは外部において）である。

ある実施例において、端末との相互作用は、ロール、ピッチまたはヨー軸の少なくとも１つに沿った端末の回転に応じて、二次元あるいは三次元のディスプレー上での視覚的な要素の回転を含んでいる。

ある実施例において、携帯端末は、端末との相互作用を促進できるサブシステムの操作を拡張するために使用される運動機能トリガーを含んでいる。ある実施例において、ユーザーが運動機能トリガーを起動または停止するとき、運動機能トリガーは、端末との相互作用を促進することができるサブシステムの状態、コンテキストあるいは操作に注意を喚起する信号を発生する（例えば、端末の特定の機能を起動または停止する、端末との相互作用を促進することができるサブシステムの一部あるいは全部を起動または停止するとき）。

本発明は、示された実施例に基づいて記載されているが、当業者であれば、実施例に変更を加えることができること、および、それらの変更が本発明の使用および範囲内であることが容易にわかるであろう。従って、多くの変更が当業者によってなされるであろう。

Claims (39)

1. 装置が：
   表示能力を提供するサブシステム；
   少なくとも３軸の周りの回転速度および少なくとも３軸に沿った直線加速度を検知する一組の運動センサー；および
   少なくとも運動センサーの１つから得られた運動データに基づき、装置との連携を促進することができるサブシステム；
   を備えることを特徴とする携帯電子装置。
2. 回転速度を検知する運動センサー、ジャイロスコープ、および、直線加速度を検知する運動センサーが、加速度計である、請求項１に記載の電子装置。
3. 回転速度を検知する運動センサーが、微小電気機械システム、圧電物質、半球共振装置、音叉、石英、カーボンナノチューブの１つあるいはそれ以上の技術に基づいて、実装されている、請求項１に記載の電子装置。
4. 表示能力を提供するサブシステムが：
   装置に取り付けられたディスプレイ；
   外部ディスプレイ上の表示のために実質的に構成された、画像を作成することができる１組のモジュール；または
   画像を投影することができる１組のモジュール；
   のいずれかから構成されている、請求項１に記載の電子装置。
5. 表示能力を提供するサブシステムが装置に取り付けられたディスプレイであり、装置との連携がディスプレイ上の視覚的表示装置の動きを含む、請求項１に記載の電子装置。
6. 表示能力を提供するサブシステムが装置に取り付けられたディスプレイであり、装置との連携がスクリーン上の視覚的要素との相互作用を含む、請求項１に記載の電子装置。
7. 視覚的要素が、要素の選択、要素の強調表示、要素の開始、要素の動き、要素リスト中での要素の再配列、または、要素と関連するアプリケーションの開始、の１つあるいはそれ以上から構成されている、請求項６に記載の電子装置。
8. 装置との相互作用がアプリケーションとの相互作用を含む、請求項１に記載の電子装置。
9. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との双と作用が以下の１つ以上から構成される：
   装置の動作に応じたスクリーン上のカーソルの動作；
   装置の動作に応じたメニューの選択；
   装置の動作に応じたメニューの起動；
   装置の動作に応じたメニュー内に含まれるアイテムの選択；
   装置の動作に応じたメニュー内に含まれるアイテムの起動；
   装置の動作に応じてディスプレー上に示された要素の選択；
   装置の動作に応じてディスプレー上に示された要素の起動；
   装置の動作に応じてディスプレー上に示されたアプリケーションに関連する要素を通じてのアプリケーションの開始；
   装置の動作に応じた少なくとも２つのアプリケーション間の切り換え；
   装置の動作に応じてディスプレー上に示されたアプリケーションに関連する要素を通じてのアプリケーションとの相互作用；または
   装置の動作に応じたアプリケーションの停止；
   ことを特徴とする、請求項１に記載の電子装置。
10. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が以下の１つ以上から構成される：
    電子装置のロール、ピッチまたはヨー軸の１つの周りの電子装置の回転動作に応じた、実質的に直線方向のディスプレー上での視覚的表示装置の動作；
    電子装置のロール、ピッチまたはヨー軸の１つの周りの電子装置の回転動作に応じた、実質的に直線方向のディスプレー上での視覚的要素の選択；
    電子装置のロール、ピッチまたはヨー軸の１つの周りの電子装置の回転動作に応じた、実質的に直線方向のディスプレー上での視覚的要素の動作；
    電子装置のロール、ピッチまたはヨー軸の少なくとも２つの周りの電子装置の回転動作に応じた、セグメント化された、自由造形の、あるいは、曲線のパスに沿ったスクリーン上の視覚的表示装置の動作；
    電子装置のロール、ピッチまたはヨー軸の少なくとも２つの周りの電子装置の回転動作に応じた、セグメント化された、自由造形の、あるいは、曲線のパスに沿ったスクリーン上の視覚的要素の選択；
    電子装置のロール、ピッチまたはヨー軸の少なくとも２つの周りの電子装置の回転動作に応じた、セグメント化された、自由造形の、あるいは、曲線のパスに沿ったスクリーン上の視覚的要素の動作；
    ことを特徴とする、請求項１に記載の電子装置。
11. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が、ロール、ピッチまたはヨー軸の少なくとも１つに沿った装置の回転に応じた、２次元または３次元でのディスプレー上の視覚的要素の回転を含む、請求項１に記載の電子装置。
12. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が以下の１つ以上から構成される：
    装置の動作に応じてスクリーン上の画像をパンすること；
    装置の動作に応じてスクリーン上の画像をズームすること；
    装置の動作に応じて端末上で少なくともその一部が実行されるカメラアプリケーションをズームすること；
    装置の動作に応じてディスプレー上のページを変更すること；
    少なくとも１つの要素が配列の一部であるとき、装置の動作に応じてスクリーン上の少なくとも１つの要素の位置を調整すること；
    装置の動作に応じてメニュースクリーンに案内すること；
    装置の動作に応じてディスプレー上に表示されたキーパッド上のキーを選択すること；
    装置の動作に応じてディスプレー上に表示された電話ダイアルパッド上のキーを選択すること；
    装置の動作に応じて接触の確認に対応して文字を選択すること；
    装置の動作に応じて電話コールを開始すること；
    装置の動作に応じて電話コールを中止すること；
    装置の動作に応じて文字を認識すること；
    装置の動作に応じて複数の文字を認識すること；
    装置の動作に応じて自動完了操作の一部としてディスプレー上の要素を表示すること；
    装置の動作に応じてディスプレー上のマップを回転すること；
    装置の動作に応じてディスプレー上のマップをズームすること；
    装置の動作に応じてディスプレー上のマップをパンすること；
    装置の動作に応じてディスプレー上のマップを傾けること；
    要素のセットに含まれる少なくとも１つの要素がディスプレー上に表示されているとき、装置の動作に応じて、要素のセットを介してスクロールすること；
    装置末のコンテキストに依存する装置の動作を解釈すること；
    装置の動作に応じて、ポートレートモードと風景モードとの間でディスプレー上の画像の方向を切り換えること；
    動作が２つの異なる方向の間の切り換えに対応するとき、装置の動作に応じてアプリケーションを起動すること；
    装置の動作の解釈に関連して、視覚、オーディオまたは振動によるフィードバックを提供すること；
    装置の動作に基づきユーザーを認証すること；
    装置の動作を具体的な認証マークに変換すること；
    装置の動作に基づき外部システムをコントロールすること：
    装置の動作に基づき商取引を認証すること：
    装置の動作に基づきユーザーのカロリー消費を測定すること；
    装置の動作に基づきスポーツ関連の動きを判断すること；
    装置の動作に基づきスポーツ関連の動きをカウントすること；
    装置の動作に基づきゲーム関連の動きを判断すること；
    装置の方向、装置の動作または装置の動作がないことの少なくとも１つに基づき、装置のパワーセービングの特徴をコントロールすること；あるいは
    装置の動作に基づき外部システムに送るべき指示を認識すること；
    を特徴とする、請求項１に記載の電子装置。
13. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が以下の１つ以上から構成される：
    端末に適用されたタップのセットに応じて機能をトリガーすること；
    タップに関連する視覚的なフィードバックを提供するために、端末に適用されたタップのセットに応じてシンボルを表示すること；
    端末に適用された振動のセットに応じて端末の機能をトリガーすること；または
    タップに関連する視覚的なフィードバックを提供するために、端末に適用された振動のセットに応じてシンボルを表示すること；
    を特徴とする、請求項１に記載の電子装置。
14. 装置が：
    装置に装着されたディスプレー；
    少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットであって、運動センサーが単一のモジュール内に統合されている運動センサーのセット；および
    少なくとも１つの運動センサーから抽出された運動データに基づき、装置との相互作用を促進することができるサブシステム；
    を備えることを特徴とする、携帯電子装置。
15. モジュールが単一のパッケージ内にある、請求項１４に記載の電子装置。
16. モジュールが第１のサブシステムと第２のサブシステムとを備え、第１のサブシステムが回転速度を検知する運動センサーを備え、第２のサブシステムが線加速度を検知する運動センサーを備え、第１のサブシステムがサブモジュールデータバスを介して第２のサブシステムに結合している、請求項１４に記載の電子装置。
17. モジュールが第１のサブシステムと第２のサブシステムとを備え、第１のサブシステムが回転速度を検知する運動センサーを備え、第２のサブシステムが線加速度を検知する運動センサーを備え、第１のサブシステムがサブモジュールデータバスを介して第２のサブシステムに結合し、サブモジュールデータバスが、モジュールを電子端末の少なくとも１つの外部装置に接続させる外部装置バスから分離されている、請求項１４に記載の電子装置。
18. モジュールが第１のサブシステム、第２のサブシステムおよび第３のサブシステムとを備え、第１のサブシステムが回転速度を検知する少なくとも１つの運動センサーを備え、第２のサブシステムが回転速度を検知する少なくとも２つの運動センサーを備え、第３のサブシステムが線加速度を検知する運動センサーを備え、第１、第２および第３のサブシステムがサブモジュールデータバスを介して結合している、請求項１４に記載の電子装置。
19. ソフトウェアプログラム、携帯電子端末上で少なくとも部分的に実行することができるソフトウェアプログラムを含む記憶媒体であって、
    端末が：
    表示能力を提供するサブシステム；および
    少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセット；を備え
    ソフトウェアプログラムが、少なくとも１つの運動センサーから抽出された運動データに基づき、端末との相互作用を促進することができる、ことを特徴とする記録媒体。
20. ソフトウェアプログラムが、携帯電子端末上で実行されるオペレーティングシステムである、請求項１９に記載の記憶媒体。
21. ソフトウェアプログラムが、携帯電子端末上で実行されるソフトウェアアプリケーションである、請求項１９に記載の記憶媒体。
22. 少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットであって：
    運動センサーが携帯電子端末中に統合することができ；
    端末が：
    表示能力を提供するサブシステム；および
    少なくとも１つの運動センサーから抽出された運動データに基づき、端末との相互作用を促進することができるサブシステム；
    を備える、運動センサーのセット。
23. 回転速度を検知する運動センサーがジャイロスコープであり、線加速度を検知する運動センサーが加速度計である、請求項１に記載の電子装置。
24. 回転速度を検知する運動センサーが、微小電気機械システム、圧電物質、石英、カーボンナノチューブの１つあるいはそれ以上の技術に基づいて、実装されている、請求項１に記載の電子装置。
25. 装置が：
    表示能力を提供するサブシステム；
    運動機能トリガー；
    少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知する運動センサーのセット；および
    少なくとも１つの運動センサーから抽出した運動データに基づき、装置との相互作用を促進することができるサブシステム；
    を備えることを特徴とする携帯電子装置。
26. 表示能力を提供するサブシステムが以下の１つ以上から構成される：
    装置に装着されたディスプレー；
    外部ディスプレー上の表示のために実質的に適合された画像を生成することができるモジュールのセット；または
    画像を投影することができるモジュールのセット；
    ことを特徴とする、請求項２５に記載の電子装置。
27. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が、ディスプレー上の視覚的指示装置の動作を含む、請求項２５に記載の電子装置。
28. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が、スクリーン上に表示された視覚的要素との相互作用を含む、請求項２５に記載の電子装置。
29. 視覚的要素との相互作用が、運動機能トリガーから受け取った信号に応じて、以下の１つ以上で構成される：要素の選択、要素の強調表示、要素の開始、要素の動作、要素のリスト中における要素の再配列、または、要素に関連するアプリケーションの開始、である、請求項２８に記載の電子装置。
30. 装置との相互作用が、運動機能トリガーから受け取った信号に応じた、アプリケーションとの相互作用を含む、請求項２５に記載の電子装置。
31. 表示能力を提供するサブシステムが装置に装着したディスプレーを含み、視覚的要素との相互作用が、運動機能トリガーから受け取った信号に応じて、以下の１つ以上で構成される：
    装置の動作に応じたスクリーン上のカーソルの動作；
    装置の動作に応じたメニューの選択；
    装置の動作に応じたメニューの起動；
    装置の動作に応じたメニュー内に含まれるアイテムの選択；
    装置の動作に応じたメニュー内に含まれるアイテムの起動；
    装置の動作に応じてディスプレー上に示された要素の選択；
    装置の動作に応じてディスプレー上に示された要素の起動；
    装置の動作に応じてディスプレー上に示されたアプリケーションに関連する要素を通じてのアプリケーションの開始；
    装置の動作に応じた少なくとも２つのアプリケーション間の切り換え；
    装置の動作に応じてディスプレー上に示されたアプリケーションに関連する要素を通じてのアプリケーションとの相互作用；または
    装置の動作に応じたアプリケーションの停止；
    ことを特徴とする、請求項２５に記載の電子装置。
32. 表示能力を提供するサブシステムが装置に装着したディスプレーを含み、視覚的要素との相互作用が、運動機能トリガーから受け取った信号に応じて、以下の１つ以上で構成される：
    電子装置のロール、ピッチまたはヨー軸の１つの周りの電子装置の回転動作に応じた、実質的に直線方向のディスプレー上での視覚的表示装置の動作；
    電子装置のロール、ピッチまたはヨー軸の１つの周りの電子装置の回転動作に応じた、実質的に直線方向のディスプレー上での視覚的要素の選択；
    電子装置のロール、ピッチまたはヨー軸の１つの周りの電子装置の回転動作に応じた、実質的に直線方向のディスプレー上での視覚的要素の動作；
    電子装置のロール、ピッチまたはヨー軸の少なくとも２つの周りの電子装置の回転動作に応じた、セグメント化された、自由造形の、あるいは、曲線のパスに沿ったスクリーン上の視覚的表示装置の動作；
    電子装置のロール、ピッチまたはヨー軸の少なくとも２つの周りの電子装置の回転動作に応じた、セグメント化された、自由造形の、あるいは、曲線のパスに沿ったスクリーン上の視覚的要素の選択；
    電子装置のロール、ピッチまたはヨー軸の少なくとも２つの周りの電子装置の回転動作に応じた、セグメント化された、自由造形の、あるいは、曲線のパスに沿ったスクリーン上の視覚的要素の動作；
    ことを特徴とする、請求項２５に記載の電子装置。
33. 表示能力を提供するサブシステムが装置に装着されたディスプレーを含み、装置との相互作用が、ロール、ピッチまたはヨー軸の少なくとも１つに沿った装置の回転に応じ、運動機能トリガーから受け取った信号に応じた、二次元または三次元でのディスプレー上の視覚的要素の回転を含む、請求項２５に記載の電子装置。
34. 表示能力を提供するサブシステムが装置に装着したディスプレーを含み、視覚的要素との相互作用が、運動機能トリガーから受け取った信号に応じて、以下の１つ以上で構成される：
    装置の動作に応じてスクリーン上の画像をパンすること；
    装置の動作に応じてスクリーン上の画像をズームすること；
    装置の動作に応じて端末上で少なくともその一部が実行されるカメラアプリケーションをズームすること；
    装置の動作に応じてディスプレー上のページを変更すること；
    少なくとも１つの要素が配列の一部であるとき、装置の動作に応じてスクリーン上の少なくとも１つの要素の位置を調整すること；
    装置の動作に応じてメニュースクリーンに案内すること；
    装置の動作に応じてディスプレー上に表示されたキーパッド上のキーを選択すること；
    装置の動作に応じてディスプレー上に表示された電話ダイアルパッド上のキーを選択すること；
    装置の動作に応じて接触の確認に対応して文字を選択すること；
    装置の動作に応じて電話コールを開始すること；
    装置の動作に応じて電話コールを中止すること；
    装置の動作に応じて文字を認識すること；
    装置の動作に応じて複数の文字を認識すること；
    装置の動作に応じて自動完了操作の一部としてディスプレー上の要素を表示すること；
    装置の動作に応じてディスプレー上のマップを回転すること；
    装置の動作に応じてディスプレー上のマップをズームすること；
    装置の動作に応じてディスプレー上のマップをパンすること；
    装置の動作に応じてディスプレー上のマップを傾けること；
    要素のセットに含まれる少なくとも１つの要素がディスプレー上に表示されているとき、装置の動作に応じて、要素のセットを介してスクロールすること；
    装置末のコンテキストに依存する装置の動作を解釈すること；
    装置の動作に応じて、ポートレートモードと風景モードとの間でディスプレー上の画像の方向を切り換えること；
    動作が２つの異なる方向の間の切り換えに対応するとき、装置の動作に応じてアプリケーションを起動すること；
    装置の動作の解釈に関連して、視覚、オーディオまたは振動によるフィードバックを提供すること；
    装置の動作に基づきユーザーを認証すること；
    装置の動作を具体的な認証マークに変換すること；
    装置の動作に基づき外部システムをコントロールすること：
    装置の動作に基づき商取引を認証すること：
    装置の動作に基づきユーザーのカロリー消費を測定すること；
    装置の動作に基づきスポーツ関連の動きを判断すること；
    装置の動作に基づきスポーツ関連の動きをカウントすること；
    装置の動作に基づきゲーム関連の動きを判断すること；
    装置の方向、装置の動作または装置の動作がないことの少なくとも１つに基づき、装置のパワーセービングの特徴をコントロールすること；あるいは
    装置の動作に基づき外部システムに送るべき指示を認識すること；
    を特徴とする、請求項２５に記載の電子装置。
35. 表示能力を提供するサブシステムが装置に装着したディスプレーを含み、視覚的要素との相互作用が、運動機能トリガーから受け取った信号に応じて、以下の１つ以上で構成される：
    端末に適用されたタップのセットに応じて機能をトリガーすること；
    タップに関連する視覚的なフィードバックを提供するために、端末に適用されたタップのセットに応じてシンボルを表示すること；
    端末に適用された振動のセットに応じて端末の機能をトリガーすること；および
    タップに関連する視覚的なフィードバックを提供するために、端末に適用された振動のセットに応じてシンボルを表示すること；
    を特徴とする、請求項２５に記載の電子装置。
36. 装置が：
    装置に装着されたディスプレー；
    運動機能トリガー；
    少なくとも３軸の周りの回転速度および少なくとも３軸に沿った線加速度を検知するための運動センサーのセットであって、運動センサーが単一のモジュール内に統合されている運動センサーのセット；および
    少なくとも１つの運動センサーから抽出された運動データおよび運動機能トリガーの起動に基づき、装置との相互作用を促進することができるサブシステム；
    を備えることを特徴とする、携帯電子装置。
37. モジュールが単一のパッケージ内で統合されている、請求項３６に記載の電子装置。
38. モジュールが第１のサブシステムと第２のサブシステムとを備え、第１のサブシステムが回転速度を検知する運動センサーを備え、第２のサブシステムが線加速度を検知する運動センサーを備え、第１のサブシステムがサブモジュールデータバスを介して第２のサブシステムに結合している、請求項３６に記載の電子装置。
39. モジュールが第１のサブシステム、第２のサブシステムおよび第３のサブシステムとを備え、第１のサブシステムが回転速度を検知する少なくとも１つの運動センサーを備え、第２のサブシステムが回転速度を検知する少なくとも２つの運動センサーを備え、第３のサブシステムが線加速度を検知する運動センサーを備え、第１、第２および第３のサブシステムがサブモジュールデータバスを介して結合している、請求項３６に記載の電子装置。

Images