JP2009514106A - コンピュータプログラムとインタフェースするためのシステムおよび方法 - Google Patents

Abstract

コンピューティングシステムで実行されているプログラムのコマンドをトリガするための方法が提供される。上記方法では、まず、インタフェースオブジェクトが提供される。１つのインタフェースオブジェクトは、ハンドルに連結されたオブジェクトによって定義され、ハンドルは、オブジェクトから延びる線に略直交する長尺部材を有する。別のインタフェースオブジェクトはゲームコントローラに連結される。別のインタフェースオブジェクトは、球形オブジェクトのペアによって定義される。次に、画像キャプチャ装置の視野内にインタフェースオブジェクトが配置され、画像キャプチャ装置の視野内のインタフェースオブジェクトの位置の変化により、コンピューティングシステムで実行されているプログラムでインタフェースコマンドがトリガされる。また、プログラムの命令をトリガするシステムも記載される。

Description

本発明は、一般に、コンピュータシステムへのジェスチャ入力に関し、より詳細には、装置の変化を視覚によって検出し、この変化によりコンピュータシステム側でアクションをトリガすることに関する。

コンピューティングシステム用の代わりの入力装置を探し出すことが大きな関心を集めている。詳しくいえば、視覚によるジェスチャ入力装置の普及が一層進んでいる。一般的にいうと、ジェスチャ入力とは、コンピューティングシステム、ビデオゲームコンソール、インテリジェント家電（smart appliance）などの電子装置を、オブジェクトをトラッキングするビデオカメラがキャプチャした何らかのジェスチャに反応させることを指す。

デジタルビデオカメラを使用して移動するオブジェクトをトラッキングし、ビデオ画像を処理してさまざまな表示を生成することは、当業界で知られている。例えば、図１は、ユーザの手がボール１０１を保持している状態を示す。ボール１０１はビデオカメラの視野に配置されており、ビデオカメラは、ボールの円形状を検出することで、ボールの位置をトラッキングすることができる。ボール１０１の位置がわかれば、この情報を使用して、当業界で一般に知られている各種方法によって、コンピュータプログラムを制御することができる。例として、モニタ上の動画を形成する仮想オブジェクトを考える。これは、ボール１０１の移動に対応しているとする。この仮想オブジェクトを表示するには、計算で求めた情報を使用して、コンピュータの記憶空間内でこの仮想オブジェクトの位置および向きを固定して、次に公知の処理によってこの画像のレンダリングを実行し、三次元情報を現実的な遠近表示に変換する。

しかし、上記の知見および技術を使用しても、さまざまな課題によりオブジェクトのトラッキングができない状況が続いており、なかでも困難なのが、ビデオ画像内のピクセルのうち、対象のボール１０１に間違いなく対応しているピクセルのみを正確に抽出することである。例えば、図１に示すように、ボール１０１を保持している手によって、ボールの一部がブロックされる。この結果、ビデオカメラによってキャプチャされるボール１０１の画像の形状が完全な円でなくなってしまう。ボール１０１を保持している手によってボールの一部がブロックされるため、特定の円のオブジェクトを検出することで機能するオブジェクトのトラッキング法は、誤りが非常に起こりやすい。

別の例では、入力をキャプチャするために、ビデオカメラによってトラッキングされるセンサを備えた手袋をユーザが着用し、ビデオカメラが、この手袋もトラッキングする場合もある。このような手袋は試されてきたものの、手袋を頻繁に着脱しなければならず不便であるため、この手袋はユーザに受け入れられていない。

このため、ユーザにとって使い勝手のよい、インタフェースオブジェクトをトラッキングするためのより信頼性の高い方法およびシステムを提供することが求められている。

大まかにいうと、本発明は、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムおよび方法を提供することによって、このようなニーズを満たす。本発明は、方法、システムまたは装置など、多くのやり方で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。

発明の第１の態様によれば、コンピューティングシステムで実行されているプログラムのコマンドをトリガするための方法が提供される。前記方法では、画像キャプチャ装置の視野が監視され、前記視野内でインタフェースオブジェクトが特定される。前記インタフェースオブジェクトは、球形オブジェクトのペアによって定義され、前記特定されたインタフェースオブジェクトの位置の変化が分析される。前記インタフェースオブジェクトの位置の変化が検出されると、前記変化によって、前記コンピューティングシステムで実行されている前記プログラムでインタフェースコマンドがトリガされ、前記トリガは前記インタフェースオブジェクトの前記検出された変化の結果である。

発明の第２の態様によれば、コンピューティングシステムで実行されているプログラムのコマンドをトリガするための方法が提供される。前記方法では、インタフェースオブジェクトが提供される。ここで、前記インタフェースオブジェクトは、ハンドルに連結されたオブジェクトによって定義され、前記ハンドルは、前記オブジェクトから延びる線に略直交する長尺部材を有する。画像キャプチャ装置の視野内に前記インタフェースオブジェクトが配置され、前記画像キャプチャ装置の前記視野内の前記インタフェースオブジェクトの位置の変化により、前記コンピューティングシステムで実行されている前記プログラムでインタフェースコマンドがトリガされる。

発明の第３の態様によれば、コンピューティングシステムで実行されているプログラムのコマンドをトリガするためのシステムが提供される。前記システムは、画像キャプチャ装置と、前記画像キャプチャ装置と通信している前記コンピューティングシステムと、を有する。前記システムは、前記画像キャプチャ装置の視野内に配置されるように構成されたインタフェースオブジェクトも更に有する。前記インタフェースオブジェクトは、ハンドルに取り付けられたオブジェクトによって定義され、前記ハンドルは、前記オブジェクトから延びる線に略直交する長尺部材を有する。前記ハンドルは、前記ハンドルを保持している手が、前記画像キャプチャ装置が前記球形オブジェクトを視界にいれる（あるいは捉える）のをブロックしないよう制限するように構成されている。

更に別の実施形態によれば、ゲームシステムが開示される。前記システムは、画像キャプチャ装置と、前記画像キャプチャ装置とインタフェースする前記コンピューティングシステムと、を有する。前記コンピューティングシステムとインタフェースするゲームコントローラも提供される。前記ゲームコントローラは、インタフェースオブジェクトとの連結が可能であり、前記インタフェースオブジェクトは、ポスト、および前記コントローラとインタフェースするコネクタを有する。前記インタフェースオブジェクトは、前記ポストの、前記コネクタに対向する端で前記ポストに連結された形状オブジェクトを有する。前記コンピューティングシステムは、前記画像キャプチャ装置によって得られた画像データの分析によって前記形状オブジェクトを捉えるように構成されており、前記画像データの前記分析は、前記コンピューティングシステム上で実行されるコンピュータプログラムによるインタラクティブなアクションをトリガするように構成されている。

更に別の実施形態によれば、ゲームコントローラが開示される。前記ゲームコントローラは、コンピューティングシステムとインタフェースするためのものである。前記ゲームコントローラは、インタフェースオブジェクトとの連結が可能であり、前記インタフェースオブジェクトは、ポスト、および前記コントローラとインタフェースするコネクタを有する。前記インタフェースオブジェクトは、前記ポストの、前記コネクタに対向する端で前記ポストに連結された形状オブジェクトを有する。前記コンピューティングシステムは、前記形状オブジェクトを捉えるように構成されたキャプチャ装置を有し、前記キャプチャ装置からの画像データの分析は、前記コンピューティングシステム上で実行されるコンピュータプログラムによるインタラクティブなアクションをトリガするように構成されている。

別の実施形態では、ゲームコントローラが提供される。前記ゲームコントローラは、人のユーザの左右の手による取り扱いに適合可能な第１面および第２面を有することが可能な本体を有する。第１端および第２端を有するポストが提供される。前記第１端は、前記本体を前記第１面と前記第２面の間に連結するためのコネクタを有する。形状オブジェクトが前記ポストの前記第２端に連結されており、前記形状オブジェクトは、前記本体が前記人のユーザによって取り扱われると、前記形状オブジェクトの空間位置および光強度の一方または両方を、画像キャプチャ装置によって認識することができる。

本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。図面においては、同じ構造要素には同じ参照符号を付した。

コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムおよび方法について、本発明を記載する。しかし、本発明を、このような詳細な内容の一部または全てを用いなくても実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にあいまいにすることのないよう、公知の処理操作は詳述していない。

ここに記載する各種実施形態は、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムおよび方法を提供する。一実施形態では、画像キャプチャ装置によって検出されるように構成されたインタフェースオブジェクトは、変形可能なハンドルに取り付けられた球形オブジェクトのペアによって定義される。画像キャプチャ装置は、このインタフェースオブジェクトにより、２種類の移動をキャプチャすることができる。一方の移動は、画像キャプチャ装置に対するインタフェースオブジェクトの移動である。以下に更に詳しく説明するように、２番目の移動は、インタフェースオブジェクトを保持しており、インタフェースオブジェクトに圧力をかけ、球形オブジェクトのペアを互いに対して移動させる手である。別の実施形態では、インタフェースオブジェクトは、Ｔ字状のハンドルに取り付けられたオブジェクトによって定義される。以下に更に詳しく説明するように、このハンドルは、ハンドルを保持している手が、画像キャプチャ装置がオブジェクトを捉えるのをブロックしないよう制限するように構成されている。更に別の実施形態では、ゲームコントローラが提供される。ゲームコントローラは、インタフェースオブジェクトとインタフェースすることができる。コントローラのオブジェクトのインタフェースは、コントローラに一体化されていても、接続インタフェースを介してコントローラと接続できてもよい。コントローラと接続されている場合に、形状オブジェクト（球形など）に光が提供されてもよい。この光は、着色光であっても、強度が異なる光であってもよく、一部の実施形態では、この光は、インタラクティブな信号を示すか、あるいは、コンピューティングシステムとの制御操作のインタラクティブ性と連係していてもよい。このため、各種の実施形態を、図面の順序に従って説明する。しかし、これらは、記載した特許請求の範囲の趣旨ならびに広い範囲に含まれる、数多くの入れ替え、組合せおよび／または変形を示すものであるため、特定の構造または構成に限定するものではない。

図２は、本発明の一実施形態による、インタフェースオブジェクトをトラッキング可能なシステム構成全体の高水準模式図である。ゲームインタフェースシステム１００は、画像キャプチャ装置１０４およびディスプレイ１０６と通信しているコンピューティングシステム１０２を備える。コンピューティングシステム１０２は、コードを実行し、画像キャプチャ装置１０４とインタフェースすることができる任意のコンピュータ装置（すなわちプロセッサとメモリを有する装置）を備えうる。例示的なコンピューティングシステム１０２は、コンピュータ、デジタルビデオディスク（ＤＶＤ）プレーヤ、インテリジェント家電、ソニープレイステーション２、ソニープレイステーション３（Ｎ）、他のブランドのゲームなどのゲームコンソール、あるいは汎用コンピューティングシステムなどを備える。コンピューティングシステム１０２は、ユーザ１０８が、プログラムのグラフィックとインタフェースできるようにするプログラムを実行することができる。

画像キャプチャ装置１０４は、視野１１０内の画像のフレームを、キャプチャしてデジタル化してから、コンピューティングシステム１０２に転送できるようにするビデオキャプチャ装置であってもよい。画像キャプチャ装置１０４の例として、画像をコンピューティングシステム１０２に転送する際に、画像をキャプチャして、多くのフレームにデジタル化するウェブカメラタイプのビデオキャプチャ装置がある。更に、画像キャプチャ装置１０４は、生ビデオを連続的にキャプチャして、その後、この生ビデオをコンピューティングシステム１０２に転送するアナログタイプのビデオキャプチャ装置でもよく、コンピューティングシステムが生ビデオをフレームにデジタル化する。

図２に示すように、画像キャプチャ装置１０４は、コンピューティングシステム１０２上で実行されているプログラム（ビデオゲームなど）とのインタラクションを可能にするために、インタフェースオブジェクト１１２の移動をキャプチャするように設計されている。

例えば、ユーザ１０８は、プログラムとのインタラクションを可能にするために、インタフェースオブジェクト１１２の移動を利用することができる。詳細には、一実施形態では、ユーザ１０８は、ハンドルによって連結された球形オブジェクトのペアを備えたインタフェースオブジェクト１１２を保持している。以下に更に詳しく説明するように、ユーザ１０８が、２つの球形オブジェクトに圧力をかけて、握ることによって、球形オブジェクトのペアを互いに対して移動させうる。ユーザ１０８がインタフェースオブジェクト１１２を画像キャプチャ装置１０４の視野１１０内に移動させると、画像キャプチャ装置は、インタフェースオブジェクトの物理的特徴（サイズ、形、および色など）をキャプチャする。次に、ユーザ１０８は、手（または体の一部）を使って、インタフェースオブジェクト１１２の球形オブジェクトを互いに対して移動させるか、または画像キャプチャ装置１０４に対して移動させ、プログラムとのインタラクションを生じさせる。

画像キャプチャ装置１０４がインタフェースオブジェクト１１２の物理的特徴をキャプチャしたら、コンピューティングシステム１０２は、インタフェースオブジェクトの二次元または三次元の描写を計算し（このような描写には、二次元または三次元の空間におけるインタフェースオブジェクトの位置および向きなどが含まれる）、この描写が、コンピューティングシステムのメモリ内に適宜記憶される。ユーザ１０８がインタフェースオブジェクト１１２の位置および／または向きを変更すると、コンピューティングシステム１０２上で実行され、ディスプレイ１０６に表示されているプログラムとインタフェースするために、メモリ内のインタフェースオブジェクトの描写と、画像メモリのレンダリング領域内のインタフェースオブジェクトの対応する表現とが絶えず更新される。例えば、図２に示すように、インタフェースオブジェクト１１２を移動させることにより、ユーザ１０８が、プログラムのオブジェクト１１４（例えばカーソル、図面、ウィンドウ、メニューなど）を操作できるようにするインタフェースコマンドがトリガされる。一例として、インタフェースオブジェクト１１２を移動させると、マウスに似たクリックおよびドラッグ機能が可能となる。すなわち、インタフェースオブジェクト１１２を握るか、これを移動させるか、この両方を行うことによって、ユーザ１０８は、ディスプレイ１０６に表示されているオブジェクト１１４を移動させたり、またはこれを操作することができる。

図３は、本発明の一実施形態による、インタフェースオブジェクトとの併用に適したコンピューティングシステムの各種構成要素の構成を示すブロック図である。コンピューティングシステムは、本発明によるエンタテインメントシステム２１０全体の一構成要素であり、図３に示すように、システム全体を制御するためのマルチプロセッサユニット（ＭＰＵ）２１２、プログラムの各種操作およびデータ記憶に使用されるメインメモリ２１４、幾何学処理に必要な浮動小数点のベクトル演算を実行するベクトル演算ユニット２１６、ＭＰＵからの制御に基づいてデータを生成すると共に、ビデオ信号をディスプレイ１０６（例えばＣＲＴモニタ、液晶ディスプレイモニタなど）に出力する画像プロセッサ２２０、ＭＰＵまたはベクトル演算ユニットと画像プロセッサとの間の伝送バス上で調停等を実行するグラフィックインタフェース（ＧＩＦ）２２２、周辺機器との間でデータを送受信できるようにする入出力ポート２２４、カーネル等の制御を実行するための、フラッシュメモリ等で構成された内部ＯＳＤ機能ＲＯＭ（ＯＳＤＲＯＭ）２２６、ならびにカレンダ機能およびタイマ機能を備えたリアルタイムクロック２２８を備える。

メインメモリ２１４、ベクトル演算ユニット２１６、ＧＩＦ２２２、ＯＳＤＲＯＭ２２６、リアルタイムクロック（ＲＴＣ）２２８および入出力ポート２２４は、データバス２３０を介してＭＰＵ２１２に接続されている。バス２３０には、圧縮済みの動画およびテクスチャ画像を伸張して、これにより画像データを展開するプロセッサである画像処理ユニット２３８も接続されている。例えば、画像処理ユニット２３８は、ＭＰＥＧ２またはＭＰＥＧ４の標準フォーマットに従って、ビットストリームをデコードおよび展開したり、マクロブロックをデコードしたり、逆離散コサイン変換、色空間変換、ベクトル量子化などを実行する機能を担う。

サウンドシステムは、ＭＰＵ２１２からの命令に基づいて音楽やその他の音響効果を生成するサウンド処理ユニット（ＳＰＵ）２７１、ＳＰＵが波形データを記録するためのサウンドバッファ２７３、およびＳＰＵが生成した音楽やその他の音響効果を出力するスピーカ２７５で構成される。なお、スピーカ２７５はディスプレイ１０６の一部として組み込まれていても、あるいは、外部スピーカ２７５に取り付けられた別個のオーディオライン出力接続として提供されてもよい。

バス２３０に接続されており、本発明に従ってデジタルデータの入出力を行うと共にデジタルコンテンツを入力する機能を備えたインタフェースである通信インタフェース２４０も提供される。例えば、オンラインビデオゲームアプリケーションを実現するために、この通信インタフェース２４０を介して、ネットワーク上のサーバ端末との間で、ユーザ入力データを送信したり、状態データを受信することができる。エンタテインメントシステム２１０に対してデータ（キー入力データまたは座標データなど）を入力する入力装置２３２（コントローラとも呼ばれる）と、各種プログラムおよびデータ（すなわちオブジェクトに関するデータ、テクスチャデータなど）を有するＣＤ−ＲＯＭなどの光学ディスク７０の内容を再生する光ディスク装置２３６とが入出力ポート２２４に接続されている。

本発明は、入力装置の機能を拡張するかこれに代わるものとして、入出力ポート２２４に接続された画像キャプチャ装置１０４を備える。入出力ポート２２４は、シリアルインタフェースやＵＳＢインタフェースなどの１つ以上の入力インタフェースによって実装することができ、画像キャプチャ装置１０４は、画像キャプチャ装置との併用に適したＵＳＢ入力やその他の任意の従来のインタフェースを有利に利用することができる。

上記の画像プロセッサ２２０は、レンダリングエンジン２７０、インタフェース２７２、画像メモリ２７４、およびディスプレイコントローラ２７６（プログラム可能なＣＲＴコントローラなど）を備える。レンダリングエンジン２７０は、メモリインタフェース２７２を介して、かつＭＰＵ２１２から送られるレンダリング命令に従って、所定の画像データを画像メモリにレンダリングする処理を実行する。レンダリングエンジン２７０は、例えば、ＮＴＳＣ方式またはＰＡＬ方式に準拠し、より詳細には、１／６０秒〜１／３０秒の間隔で１０〜数何十回を越えるレートで、３２０×２４０ピクセルまたは６４０×４８０ピクセルの画像データをリアルタイムに描画できる機能を備える。

メモリインタフェース２７２とレンダリングエンジン２７０との間にバス２７８が接続されており、メモリインタフェース２７２と画像メモリ２７４との間に第２バス２８０が接続されている。第１バス２７８と第２バス２８０のビット幅は、例えばそれぞれ１２８ビットであり、レンダリングエンジン２７０は、画像メモリに対して高速レンダリング処理を実行することができる。画像メモリ２７４は、一元化された記憶構造を採用しており、この構造では、例えば、テクスチャレンダリング領域とディスプレイレンダリング領域とを一元化された領域に設定することができる。

ディスプレイコントローラ２７６は、光ディスク装置２３６によって光ディスク７０から取得したテクスチャデータ、またはメインメモリ２１４に作成されたテクスチャデータを、メモリインタフェース２７２を介して画像メモリ２７４のテクスチャレンダリング領域に書き込むように構成されている。画像メモリ２７４のディスプレイレンダリング領域にレンダリングされた画像データは、メモリインタフェース２７２を介して読み出されて、ディスプレイ１０６に出力され、画像データがその画面に表示される。

図４は、本発明の一実施形態による、ユーザがインタフェースオブジェクトを操作しているときに、インタフェースオブジェクトに対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。ブロックが表している諸機能は、コンピューティングシステムのＭＰＵによって実行されるソフトウェアによって実装される点を理解されたい。更に、図４のブロックが表している機能の全てが、各実施形態で使用されるとは限らない。

最初に、画像キャプチャ装置１０４から入力されたピクセルデータが、入出力ポートインタフェースを介してコンピューティングシステムに送られ、これにより、以下に記載するプロセスがコンピューティングシステムで実行されうる。まず、画像の各ピクセルが、例えばラスタベースでサンプリングされると、色分離処理操作３０１が実行される。これにより、各ピクセルの色が決定されて、画像が、色の異なるさまざまな二次元セグメントに分割される。次に、特定の実施形態では、色遷移定位操作３０３が実行される。これにより、色の異なるセグメントが隣接している領域がより詳細に決定されて、はっきりと色が遷移している画像の位置が特定される。次に、幾何学処理３０５の操作が実行される。この操作では、実施形態に応じて、端縁検出プロセスまたは面積の統計値（area statistics）の計算の実行が行われて、対象のオブジェクトの端縁に相当する線、曲線および／または多角形が代数的または幾何学的に定義される。例えば、図２に示すインタフェースオブジェクトの実施形態では、ピクセル領域には、インタフェースオブジェクトの直交正面像に対応する２つの略円形の形状が含まれる。この円形状の代数的または幾何学的な表現から、インタフェースオブジェクトに対応するピクセル群の中心、半径および向きを定義することができる。

図４を参照すると、操作３０７で、アルゴリズムに従ってオブジェクトの三次元の位置および向きが計算される。このアルゴリズムについては、本発明の好ましい実施形態に関して後述する。性能向上のため、三次元の位置および向きのデータに対して、カルマン（Kalman）フィルタリング処理操作３０９が実行される。この処理を実行するのは、所定の時点においてオブジェクトが存在するであろう位置を概算して、起こり得ず、このため正しいデータ群から外れていると考えられる誤った測定値を除去するためである。カルマンフィルタリングを実行するもう１つの理由は、画像キャプチャ装置１０４は画像を３０Ｈｚで生成するが、一般的なディスプレイは６０Ｈｚで動作するため、カルマンフィルタリングによって、ゲームプログラムの動作の制御に使用するデータの不足分を埋めるためである。カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では公知であり、ここで詳述しない。

図５Ａ，Ｂは、本発明の一実施形態による、図２に示したインタフェースオブジェクトをより詳細に示す模式図である。図５Ａに示すように、インタフェースオブジェクト１１２は、ハンドル４０４によって互いに連結された球形オブジェクト４０２のペアを備える。球形オブジェクト４０２のそれぞれは球形の本体を有しており、この本体は、中実であっても中空であってもよい。球形オブジェクト４０２は、適切な材料であればどのような材料でもよい。代表的な材料には、プラスチック、木、セラミック、金属などがある。更に、球形オブジェクト４０２の表面が、任意の適切な色またはパターンを有していてもよい。例えば、球形オブジェクト４０２が、球形オブジェクトを容易に特定できるように、暗い背景とはっきり対照をなす白であってもよい。更に、画像キャプチャ装置がパターンの向きをキャプチャして、コンピューティングシステムが、画像キャプチャ装置に対する球形オブジェクトの向きを決定できるように、球形オブジェクト４０２の表面にパターンが付されていてもよい。

ハンドル４０４は、２つの球形オブジェクト４０２を連結する変形可能な部材であれば、どのようなものでもよい。例えば、一実施形態では、ハンドル４０４は、２つの対向する端を有し、これにより、それぞれの端が、１つの球形オブジェクト４０２に連結されている変形可能なＵ字状部材であってもよい。インタフェースオブジェクト１１２を保持している手が、球形オブジェクト４０２のペアをブロックしないよう制限するために、ハンドル４０４は、球形オブジェクトから離れて延在し、一実施形態では、ハンドルはユーザの手のひらにフィットするように設計されている。ハンドル４０４は、圧力をかけると変形し、圧力が解放されると元の形に復元する材料であれば、どのような材料から形成されてもよい。代表的な変形可能材料には、プラスチック、金属、木などがある。

図５Ｂは、インタフェースオブジェクト１１２に圧力をかけている状態を示す。力４０６（すなわち圧力）をかけることで、球形オブジェクト４０２のペアが互いに対して移動する。例えば、図５Ｂに示すように、ハンドル４０４または球形オブジェクト４０２に力４０６をかけると、球形オブジェクトのペアが、反対方向から互いに近づく。あるいは、力４０６が解放されると、ハンドル４０４が、力の解放に伴って元の形状に戻るため、球形オブジェクト４０２のペアが、反対方向に互いに離れる。

図６は、本発明の一実施形態による、画像キャプチャ装置の視野内にある状態の、図５Ａ，５Ｂに示したインタフェースオブジェクトの模式図である。図６に示すように、インタフェースオブジェクト１１２が、画像キャプチャ装置１０４の視野５０２内に配置されている。インタフェースオブジェクト１１２は、Ｘ、ＹおよびＺの各方向に移動および／または回転することができる。インタフェースオブジェクト１１２が視野５０２内にありさえすれば、画像キャプチャ装置１０４は、ほぼどの方向、どの角度でも、球形オブジェクト４０２のペアの円形状を検出する。換言すれば、各オブジェクト４０２は球形であるため、球形オブジェクトは、Ｘ軸、Ｙ軸およびＺ軸のどの方向、どの角度からみても円形状を有する。例えば、図６に示すように、画像キャプチャ装置１０４は、球形オブジェクト４０２のペアが、ＸＺ平面に沿って垂直に並んでいる状態で、インタフェースオブジェクト１１２の直交正面像に対応する２つの略円形の形状を検出する。図６に示すように、インタフェースオブジェクト１１２がＸＹ平面に沿って９０°時計回りに回転してもなお、画像キャプチャ装置１０４は２つの略円形の形状を検出する。球形オブジェクト４０２は、異なる方向および角度からみても形状が歪まないため、２つの円形状を検出して、インタフェースオブジェクト１１２を単純にトラッキングすることができる。

図７は、本発明の一実施形態による、図５Ａ，５Ｂに示したインタフェースオブジェクトを使用して、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムの模式図である。図７に示すように、画像キャプチャ装置１０４は、コンピューティングシステム１０２と通信しており、コンピューティングシステム１０２はディスプレイ１０６と通信している。インタフェースオブジェクト１１２が画像キャプチャ装置１０４の視野内に与えられると、画像キャプチャ装置はインタフェースオブジェクトを検出する。インタフェースオブジェクト１１２は、Ｘ方向、Ｙ方向およびＺ方向でトラッキングされて、コンピューティングシステム１０２上で実行されているプログラムのイベントをトリガできるように構成されている。インタフェースオブジェクト１１２は、前述のように色および／または円形状によってトラッキングすることができる。すなわち、インタフェースオブジェクト１１２は、画像キャプチャ装置１０４の視野内にあるときに、検出可能な特徴的な色と、特徴的な円形状とを有しうる。一実施形態では、インタフェースオブジェクト１１２は、手のひらのなかにフィットすることができる。このため、インタフェースオブジェクト１１２に圧力をかけると、インタフェースオブジェクトの球形オブジェクトのペアが、ＸＺ平面に沿って反対方向から互いに近づき、この位置の変化が画像キャプチャ装置１０４によって検出される。逆に、画像キャプチャ装置１０４は、圧力が解放されると、球形オブジェクトが、ＸＺ平面に沿って反対方向に互いに離れることを検出しうる。更に、手により、インタフェースオブジェクト１１２を、画像キャプチャ装置１０４に対して、Ｘ方向、Ｙ方向およびＺ方向に沿って移動させうる。例えば、Ｘ方向に沿ったインタフェースオブジェクト１１２の位置の変化を検出するために、画像キャプチャ装置１０４によってキャプチャされたインタフェースオブジェクトの球形オブジェクトのサイズが、事前にプログラムされている基準サイズと比較されて、画像キャプチャ装置に対するインタフェースオブジェクトの距離が決定されうる。この検出された位置の変化がコンピューティングシステム１０２に伝達されて、この結果、コンピューティングシステム上で実行され、ディスプレイ１０６に表示されているプログラムでインタフェースコマンドがトリガされる。例えば、ディスプレイ１０６に表示されているプログラムのオブジェクト（画像６０４または点６０２など）を選択したり、これにアクセスしたり、これを移動させたりできるように、インタフェースオブジェクト１１２を、マウスと同様に使用することができる。

一実施形態では、点６０２で画像６０４をグラブして、自由にドラッグしたり操作したりすることができる。インタフェースオブジェクト１１２がマウスと同様の機能を実現する任意の数の適切な操作を実行できることを当業者は理解されよう。当然、インタフェースオブジェクト１１２を使用して、マウスに似た機能を必要とするビデオゲームや、その他の適したインタラクティブゲームをプレイすることができる。一実施形態では、インタフェースオブジェクト１１２の球形オブジェクト同士の相対移動が、ディスプレイ１０６に表示されているオブジェクト（画像６０４および点６０２など）を選択させるマウスクリックと同様のインタフェースコマンドをトリガする。更に、インタフェースオブジェクト１１２の位置を、画像キャプチャ装置１０４に対して、Ｘ方向、Ｙ方向およびＺ方向に移動すると、ディスプレイ１０６に表示されているオブジェクトが移動されうる。例えば、インタフェースオブジェクト１１２を移動させると、ディスプレイ１０６で画像６０４が移動される。本明細書に記載したマウスに似た機能を適用できる用途が数多く存在することを当業者は理解されよう。

図８Ａ，８Ｂ，８Ｃは、インタフェースオブジェクトの別の実施形態の模式図である。図８Ａに示すように、インタフェースオブジェクト１１２は、ハンドル７０６に連結されたオブジェクト７０４を備える。この実施形態では、ハンドル７０６は、オブジェクト７０４から延びる線と略直交する第１の長尺部材７３２のほか、２つの対向する端を有する第２の長形部材７３０を更に備える。このうちの一方の端が第１の長尺部材の略中間地点に連結され、もう一方の端がオブジェクトに連結されている。したがって、一実施形態では、ハンドル７０６はＴ字状であると定義される。ここで使用しているように、「実質的」および「略」との文言は、特定の用途について、特定の寸法またはパラメータが、製造許容差内で変わってもよいことを指す。一実施形態では、製造許容差は＋２５％である。ハンドル７０６は、適切な材料であればどのような材料でもよい。代表的な材料には、プラスチック、木、セラミック、金属などがある。

図８Ａに示すように、オブジェクト７０４は、形状が球形状であってもよい。しかし、オブジェクト７０４は、球形に限定されず、任意の適切な形状を有することができる。例えば、図８Ｃに示すように、オブジェクト７０４は立方体でもよい。オブジェクト７０４の代表的な形状には、このほか、ドーム、半球、角錐、半立方体などがある。オブジェクト７０４の表面が、任意の適切な色またはパターンを有していてもよい。例えば、オブジェクト７０４が、オブジェクトを容易に特定できるように、白い背景とはっきり対照をなす黒であってもよい。一実施形態では、オブジェクト７０４は色が変わってもよい。例えば、図８Ａに示すように、オブジェクト７０４は、ある色を有する。しかし、図８Ｂに示すように、ボタン７１０が押されると、ボタンにより、オブジェクト７０４の色が変化する。一実施形態では、変色は、オブジェクト７０４内に色光源（例えば発光ダイオード（ＬＥＤ）のライトなど）を設けることによって容易に行うことができる。オブジェクト内で着色光を発するように着色光源が駆動されると、オブジェクト７０４の色が変化する。更に、オブジェクト７０４の表面がパターンを有し、画像キャプチャ装置に対するオブジェクトの向きを決定するために、パターンの向きを検出できるようになっていてもよい。パターンは、適切であればどのような形状、色およびサイズであってもよい。例えば、図８Ｃに示すように、立方体の各表面が、Ｌ字状のパターン７１２を有する。それぞれのＬ字状パターン７１２は色と向きが異なっており、画像キャプチャ装置が色とパターンを検出することで、コンピューティングシステムが、画像キャプチャ装置に対するインタフェースオブジェクト１１２の向きおよび位置を決定できるようになる。

図９Ａ，９Ｂは、図８Ａ〜８Ｃに示したインタフェースオブジェクトを保持している手の模式図である。図９Ａ，９Ｂに示すように、インタフェースオブジェクト１１２が、画像キャプチャ装置１０４の視野内に配置されている。インタフェースオブジェクト１１２を保持している手９０３が、オブジェクト７０４をブロックしないように、ハンドル７０６が設けられている。つまり、ハンドル７０６は、画像キャプチャ装置１０４がオブジェクト７０４を視界にいれて捉えることをハンドルを保持している手９０３がブロックしないように制限する。手９０３がオブジェクト７０４をブロックしないよう制限するために、ハンドル７０６はオブジェクトから離れて延在しており、オブジェクト７０４から延びる線と略直交する部材を備える。したがって、インタフェースオブジェクト１１２を保持している手９０３は、オブジェクト７０４から所定の距離、離間した状態に保たれる。すなわち、手９０３は、オブジェクト７０４を保持せず、４本の指が長尺部材とてのひらを包み込むように、自然にハンドル７０６を持つ。親指は、長尺部材の端の一方に置かれうる。手９０３は、図９Ａに示すように、オブジェクト７０４が上を向くようにインタフェースオブジェクト１１２を保持するか、あるいは、図９Ｂに示すように、オブジェクトが画像キャプチャ装置１０４のほうを向くようにインタフェースオブジェクトを保持しうる。

図１０Ａ〜１０Ｄは、画像キャプチャ装置の視野内にある状態の、図８Ａ〜８Ｃに示したインタフェースオブジェクトの模式図である。上で説明したように、ハンドルは、インタフェースオブジェクト１１２を保持している手がハンドルに連結されたオブジェクトをブロックしないよう制限するように構成されている。つまり、手に自然にハンドルを保持させることで、ユーザが画像キャプチャ装置１０４の視野５０２内でインタフェースオブジェクト１１２を保持しているときに、ハンドルに連結されたオブジェクトがブロックされてみえなくなることが一般に防げる。例えば、図１０Ａは、ユーザが、インタフェースオブジェクト１１２を画像キャプチャ装置１０４のほうに直接向けている状態を示す。インタフェースオブジェクト１１２のハンドルを保持している手がハンドルに取り付けられたオブジェクトの後ろにあるため、画像キャプチャ装置１０４は、オブジェクトを妨害されずに視界にいれ、捉えることができる。図１０Ｂは、ユーザが、腕を前腕に実質的に垂直にして、インタフェースオブジェクト１１２を保持している状態を示す。この角度では、手がオブジェクトの下にあるため、インタフェースオブジェクト１１２を保持している手がハンドルと連結されているオブジェクトをブロックすることはない。したがって、画像キャプチャ装置１０４は、この場合も、この角度でオブジェクトを妨害されずに捉えることができる。更に、図１０Ｃは、ユーザが、腕と前腕を床に向けてインタフェースオブジェクト１１２を保持している状態を示す。この角度では、手がオブジェクトの後ろにあるため、インタフェースオブジェクト１１２を保持している手がハンドルと連結されているオブジェクトをブロックすることはない。このため、画像キャプチャ装置１０４は、インタフェースオブジェクト１１２が床を向いている場合であってもオブジェクトを妨害されずに捉えることができる。

しかし、ハンドルは、画像キャプチャ装置１０４の視野５０２内に配置されているときに、ハンドルに取り付けられたオブジェクトがブロックされるのを完全には防ぐことはできない。図１０Ｄに示すように、インタフェースオブジェクト１１２がブロックされてみえなくなる可能性のある腕の位置の１つが、腕と肘を直接画像キャプチャ装置１０４に向けている状態である。前腕が曲がり、インタフェースオブジェクト１１２がユーザの肩の後ろにある。したがって、この１つの腕位置では、インタフェースオブジェクト１１２が、画像キャプチャ装置１０４から遠ざけて向けられ、インタフェースオブジェクトが肘と前腕の後ろにある。このため、この腕の角度では、肘と前腕が、画像キャプチャ装置１０４の視野からインタフェースオブジェクト１１２をブロックしている。

図１１Ａは、ゲームコントローラ１１０２が、オブジェクト１１１２が連結されているインタフェースオブジェクト１１０４に取り付けるためのコネクタ１１１４を有する例示的な１１００を示す。オブジェクト１１１２は、後述するように、コンピューティングシステムとのインタフェースを複数選択できるように構成されうる。一実施形態では、コネクタ１１１４は、係合コネクタ１１０６に取り付けられる。係合コネクタ１１０６では、コネクタ１１１４を囲むかまたはこれを支えるクリップまたはラッチ機構は、コントローラ１１０２にある係合コネクタ１１０６と接続されると、更に機械的に安定させることが可能である。別の実施形態では、係合コネクタ１１０６は、ユニバーサルシリアルバス（ＵＳＢ）ポート（ＵＳＢ接続のメスコネクタなど）などの機械電気的接続機構を有する。相手側の係合コネクタ１１１４が、インタフェースオブジェクト１１０４の一端に提供されている。一実施形態では、相手側の係合コネクタ１１１４は、ＵＳＢポート（ＵＳＢ接続のオスコネクタなど）であってもよい。別の実施形態では、各種アクセサリを接続するために、ゲームコントローラ１１０２に２つのミニＵＳＢポート１１０６，１１０８が設けられてもよい。アクセサリの例には、ビデオゲームシステムまたは一般的なコンピューティングシステムに適した振動装置、音声入力装置、足踏み式ペダル、その他のアクセサリなどがあるが、これらに限定されない。このため、一実施形態では、インタフェースオブジェクト１１０４は、ゲームコントローラ１１０２のアクセサリとして提供され、所望のインタフェースの実装に応じて着脱することができる。

係合コネクタ１１０６がミニＵＳＢポートなどの通信ポートを備えている場合には、インタフェースオブジェクト１１０４に追加のインタラクティブ機能を提供することができる。例えば、インタフェースオブジェクト１１０４が、ＬＥＤなどの光電気イルミネータおよび／またはスピーカなどの音声発生装置を備えうる。例示的な実施形態では、インタフェースオブジェクト１１０４が、ゲームコントローラ１１０２を介してコンピューティングシステム１０２と電気的通信を行っており（図２）、このため、コンピューティングシステム１０２上で実行されているプログラムにインタラクティブに反応しうる（図２）。

一実施形態では、ポスト１１１０は、硬質または半硬質であり、ジョイント、ヒンジを有していても、破損することなく曲がるように、弾性的に変形可能であってもよい。例えば、ポスト１１１０は、粘弾性を有するプラスチック材料から形成されるか、または弾性スプリングの内部を有する軟性プラスチックから形成されうる。オブジェクト１１１２が照明手段を有する実施形態では、ポスト１１１０は、中空であるか、オブジェクト１１１２からインタフェースオブジェクトコネクタ１１１４まで延びる電気導体のまわりに成型され（図１５を参照）、例えば、ミニＵＳＢプラグである。このため、ポスト１１１０は、オブジェクト１１１２からコネクタ１１１４に延びる長尺部材であってもよい。

一実施形態では、オブジェクト１１１２は、オブジェクト１１１２内の照明手段がオブジェクト１１１２を照明するように、半透明のプラスチック材料の楕円体であってもよい。多色および／または変調のＬＥＤデバイスを使用することにより、ゲームコントローラ１１０２または関連するコンピューティング装置から（有線または無線で）受け取ったデータに応じて、オブジェクト１１１２を、明るさをさまざまに変えて、異なる色で照明することができる。オブジェクト１１１２、コネクタ１１１４、ポスト１１１０内に、あるいは、コントローラ１１０２、コネクタ１１１４またはポスト１１１０の異なる部分に沿って、回路（図１５）を設けることができる。一実施形態では、この回路は、受信したデータを解釈して、所望の色と明るさを発生させるために、イルミネータに適切な電圧を給電する。得られる色および／または明るさが、変調されたり、コンピュータプログラムまたはゲームのシーケンスとのインタラクティブなインタフェースに応じて起動されうる。

図１１Ｂは、等角コネクタ１１１４’を有する別のコントローラ１１０２を示す。一例では、等角コネクタ１１１４’は、コントローラへ留まるクランプのように機能する。別の実施形態では、等角コネクタ１１１４’は、コントローラ１１０２の正面領域と係合するように構成されている。等角コネクタ１１１４’にはオスＵＳＢコネクタ１１１５が設けられており、このコネクタ１１１５は、コントローラ１１０２の正面にあるメスコネクタ（図示せず）に挿入される。等角コネクタ１１１４’は、コントローラ１１０２の正面にぴったり安定して係合するように、適切なクリップ構造を備えて構成されている。このようにして、プレーヤ／ユーザがゲームプレイ中に興奮して、時にはコントローラ１１０２を用いたプレイが多少乱暴になったとしても、インタフェースオブジェクト１１０４は、ほぼ安定して、コントローラ１１０２の正面に取り付けられている状態を保つ。

インタフェースオブジェクト１１０４をコントローラ１１０２に取り付ける方法を示すために、例示的な形状と構造を示したが、インタフェースオブジェクト１１０４を固定する他の方法を提供することができることを理解すべきである。更に、ＵＳＢ以外の他のタイプの電気通信コネクタも可能であり、コントローラ１１０２とインタフェースオブジェクト１１０４間で電気信号を伝達するために、他の特殊コネクタ、専用コネクタ、カスタムコネクタおよび標準のコネクタを使用してもよいことを理解すべきである。

図１２Ａ，１２Ｂは、ゲームコントローラ１１０２の背面１２０２にある、少なくとも１つの背面コネクタ１２０４，１２０６で接続が行われる別の実施形態を示す。一実施形態では、インタラクティブオブジェクト１１０４（図１１）が背面コネクタ１２０４または１２０６に接続され、インタラクティブオブジェクト１１０４のポスト１１１０がゲームコントローラ１１０２から水平に延びている。別の実施形態では、ゲームコントローラ１２０４は、図１２Ｂに分解した形で示すように、ポスト１１１０がコネクタ１１１４”から垂直に上に延びることができるように、９０°（または他の任意の適切な角度）の曲げを有する。

図１３Ａでは、ゲームインタフェースシステム１３００は、画像キャプチャ装置１０４と電気的に通信しているコンピューティングシステム１０２を備え、このため、図２を参照して上で説明したように、コンピューティングシステム１０２は、画像キャプチャ装置１０４からビデオ画像データを受け取る。この実施形態では、ユーザ１３０８は、インタフェースオブジェクト１１０４が取り付けられているゲームコントローラ１１０２を操作している。上で説明したように、インタフェースオブジェクト１１０４は、ゲームプログラムまたは一般のコンピュータによって実行されるプログラムなどの、コンピューティングシステム１０２上で実行されているアプリケーションプログラム内のアクションに反応しうる。

一例として、ゲームプログラムがフライトシミュレーションプログラムの場合、インタフェースオブジェクト１１０４は、ミサイルが搭載されているとき、燃料残量が低下したとき、または標的に照準を定めたときに、色を変えたり、点滅したり、変調したりする。更に、インタフェースオブジェクト１１０４が画像キャプチャ装置１０４の視野に入っていれば、インタフェースオブジェクトの移動が、画像キャプチャ装置１０４から受信されたビデオ画像データから解釈されうる。このため、フライトシュミレータの例では、ゲームコントローラ１１０２の移動が、航空機の操縦やその他の操作に使用される一方で、ゲームコントローラ１１０２のボタンや、ジョイスティック、その他の制御装置は、例えば、カメラアングルを選択または変更したり、武器のタイプを選択するなど、さまざまなシステムを起動するのに使用されうる。

一実施形態では、ゲームコントローラ１１０２は、図１３Ａに示すようにコンピューティングシステム１０２と無線通信する。例えば、ゲームコントローラ１１０２は、コンピューティング装置１０２と無線で通信するための無線Ｗｉ−Ｆｉ ＩＥＥＥ ８０２．１１ｘ対応の無線トランシーバ、あるいは赤外（ＩＲ）モジュレータを備え、この場合、コンピューティング装置１０２は、互換の赤外線トランシーバまたはセンサユニット（図示せず）を備える。別の実施形態では、ゲームコントローラ１１０２は、画像キャプチャ装置１０４を介してユーザーコマンドをコンピューティング装置１０２に伝送するために、コントローラにあるインタラクティブオブジェクト１１０４またはほかの発光素子（図示せず）を使用して、視覚により通信する。この技術に関する更に詳しい詳細は２００６年５月４日出願の、関連米国特許出願第１１／４２９，４１４号「強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置（Computer Image And Audio Processing of Intensity And Input Devices For Interfacing With A Computer Program）」に記載されている。同出願を、参照により援用する。

動作時に、画像キャプチャ装置１０４は視野を撮像し、画像キャプチャ装置１０４が捉えている視覚的視野を表すビデオデータを送信する。コンピューティング装置１０２は、このビデオデータを解釈して、ビデオフレームに対するインタラクティブオブジェクト１１０４の位置を特定する。次に、この位置情報が、データを要求しているプログラムまたはソフトウェアルーチンに送信されうる。別の実施形態では、画像キャプチャ装置１０４は、画像キャプチャ装置１０４の内部的な画像データを解釈して、次に、インタラクティブオブジェクト１１０４を特定するために、視野の位置情報をコンピューティング装置１０２に送信するマイクロプロセッサまたはデジタル信号処理装置を備える。図１３Ｂは、図１３Ａの無線接続の代わりに、ケーブルを介してコントローラ１１０２がコンピューティング装置１０２に接続されている例１３００’を示す。この例では、ワイヤが別のＵＳＢ接続を介してコントローラに接続されていても、接続がコントローラに一体化されていてもよい。

図１４Ａは、コントローラ１１０２の本体の異なる部分にインタフェースオブジェクト１１０４を接続することができるコントローラ１１０２を示す。この例では、２つのインタフェースオブジェクト１１０４を有することで、コンピューティング装置１０２が、空間位置１４００を決定することが可能となる。空間位置１４００の例には、上述したフライトシミュレーションプログラムで使用されるようなチルト、ロール、およびヨーがある。ポスト１１１０のコントローラ１１０２への接続は、ＵＳＢ接続、または電気線、配線、音声、光または一般的な信号伝達の１つ以上を可能にするその他の接続を介したものであってよい。図１４Ｂの例では、インタフェースオブジェクト１１１４ａにクロスポスト１１１０’構成が提供されている。図に示すように、クロスポスト１１１０’は、２つのオブジェクト１１１２に連結することができる。クロスポスト１１１０’は一例に過ぎず、ほかのポスト構成も可能である。

図１４Ｃ，１４Ｄは、そのような他のポストの構成を示す。例えば、図１４Ｃにおいて、ポスト１１１０”は完全な十字の構成を提供し、図１４Ｄでは、ポスト１１１０’”は可撓部材を提供する。このため、オブジェクト１１１２は、ポストを介してインタフェースして、前述の追加の位置情報を提供することができる。

図１５は、ポスト１１１０がコネクタ１１１４とオブジェクト１１１２を接続している一例を示す。オブジェクト１１１２の内部に、色の光の駆動、制御および切替を行う回路１５０２が設けられている。別の例では、回路が、コントローラ１１０２またはコンピューティング装置１０２に設けられてもよい。回路がオブジェクト１１１２の中にある場合、回路１５０２は発光ダイオード（ＬＥＤ）１５０４，１５０６を有しうる。ＬＥＤ１５０４と１５０６の色は、同じであっても、異なっていてもよい。ＬＥＤ１５０４，１５０６は、互いに独立して、変調されたり、光の強度を変えたり、動作することができる。回路１５０２は、スピーカを備えるか、またはスピーカ１５０９とインタフェースすることができる。スピーカは、インタラクティビティの実装に応じて、光と同期して音を出力するか、あるいは、独立して音または振動を発生させるように駆動されうる。

図１６は、本発明の一実施形態による、図８Ａ〜８Ｃに示したインタフェースオブジェクトを使用して、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムの模式図である。図１１に示すように、画像キャプチャ装置１０４は、コンピューティングシステム１０２と通信しており、コンピューティングシステム１０２はディスプレイ１０６と通信している。インタフェースオブジェクト１１２が画像キャプチャ装置１０４の視野内に与えられると、画像キャプチャ装置はインタフェースオブジェクトを検出する。インタフェースオブジェクト１１２は、Ｘ方向、Ｙ方向およびＺ方向でトラッキングされて、ディスプレイに表示されるイベントをトリガできるように構成されている。インタフェースオブジェクト１１２は、前述のように色および／または形状によってトラッキングすることができる。すなわち、インタフェースオブジェクト１１２は、画像キャプチャ装置１０４の視野内にあるときに、検出可能な特徴的な色と、特徴的な形状とを有しうる。インタフェースオブジェクト１１２を保持している手が、インタフェースオブジェクトを、画像キャプチャ装置１０４に対して、Ｘ方向、Ｙ方向およびＺ方向に沿って移動させうる。更に、インタフェースオブジェクト１１２は色を変えうる。画像キャプチャ装置１０４は、この位置と色の変化を検出することができ、検出されたこの変化が、コンピューティングシステム１０２に伝達される。この結果、コンピューティングシステム上で実行され、ディスプレイ１０６に表示されているプログラムでインタフェースコマンドがトリガされる。例えば、ディスプレイ１０６に表示されているオブジェクト（画像６０４または点６０２など）を選択したり、これにアクセスしたり、これを移動させたりできるように、インタフェースオブジェクト１１２を、マウスと同様に使用することができる。一実施形態では、インタフェースオブジェクト１１２の色の変化が、ディスプレイ１０６に表示されているオブジェクト（画像６０４および点６０２など）を選択させるマウスクリックと同様のインタフェースコマンドをトリガする。更に、インタフェースオブジェクト１１２の位置を、画像キャプチャ装置１０４に対してＸ方向、Ｙ方向およびＺ方向に移動すると、ディスプレイ１０６に表示されているオブジェクトが移動される。このため、インタフェースオブジェクト１１２を使用して、点６０２において画像６０４をグラブして、この画像を自由にドラッグしたり操作することができる。この場合も、本明細書に記載したマウスに似た機能を適用できる用途が数多く存在することを当業者は理解されよう。

図１７は、本発明の一実施形態による、コンピューティングシステムで実行されているプログラムのコマンドをトリガする方法操作のフローチャート図である。操作１７０２で開始し、画像キャプチャ装置の視野がモニタされる。インタフェースオブジェクトが提供され、画像キャプチャ装置の視野内に配置される。上で説明したように、一実施形態では、インタフェースオブジェクトは、球形オブジェクトのペアによって定義される。別の実施形態では、インタフェースオブジェクトは、ハンドルに取り付けられたオブジェクトによって定義され、ハンドルは、オブジェクトから延びる線に略直交する長尺部材を有する。

図１７に示すように、インタフェースオブジェクトが視野内で特定されて（１７０４）、インタフェースオブジェクトの位置または色の変化が検出されうる（１７０６）。上で説明したように、一実施形態では、位置の変化は、画像キャプチャ装置に対するインタフェースオブジェクトの移動であり、別の実施形態では、インタフェースオブジェクトの球形オブジェクトのペアの互いに対する移動でもよい。更に、一実施形態では、色の変化は、インタフェースオブジェクト内で着色光を発光させることで容易に行うことができる。操作１７０８において、位置または色の変化によって、コンピューティングシステム上で実行されているプログラムでインタフェースコマンドがトリガされる。代表的なインタフェースコマンドには、ディスプレイ上のオブジェクトの選択、ディスプレイ上のオブジェクトの移動、コンピュータプログラムの起動などがある。

以上まとめると、上記の発明は、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムおよび方法を提供する。一実施形態では、インタフェースオブジェクトは、球形オブジェクトのペアによって定義される。ハンドルは、画像キャプチャ装置が球形オブジェクトのペアを捉えるのをブロックしないようにハンドルを保持している手を制限する。各球形オブジェクトは、どの方向、どの角度からみても円形状の形状を有する。１つ以上の球形オブジェクトは、完全に球形でも、そうでなくてもよい。球形オブジェクトは、異なる方向および角度からみても形状が歪まないため、画像キャプチャ装置は、妨害のない円形状を検出することによって、インタフェースオブジェクトを確実にトラッキングすることができる。しかし、オブジェクトが円形でない場合にも、オブジェクトの形状を検出することができ、このため、他の形状も想定される。別の実施形態では、インタフェースオブジェクトは、Ｔ字状のハンドルに連結されたオブジェクトによって定義される。手は、当然、オブジェクトを保持せずに、画像キャプチャ装置が捉えているオブジェクトを手がブロックしにくいようにハンドルを保持する。ユーザは、インタフェースコマンドをトリガするために、ハンドルを把握して、対応するインタフェースオブジェクトを、画像キャプチャ装置の視野内に保持させるだけでよいため、上記のインタフェースオブジェクトにより、ユーザは、インタフェースオブジェクトを使い勝手よく使用および保持できるようになる。オブジェクトは、ビデオゲームのプレイで使用されるコントローラに接続することもできる。オブジェクトは、コネクタを介してインタフェースされ、オブジェクトは、追加のインタラクティブに検出可能な視覚、音声、構成または位置を提供する、光、音声またはその他の効果によって給電されうる。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。

本発明は、また、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。計算機可読媒体には、コンピュータコードが実装される電磁搬送波も含まれる。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。

本発明の一部を構成している、本明細書に記載した操作はいずれも、有用な機械的操作である。本発明は、これらの操作を実行するデバイスまたは装置にも関する。この装置は、所望の目的のために特別に作製されたものであっても、あるいは汎用コンピュータであり、そのコンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成されてもよい。特に、各種の汎用の機械を、本明細書の教示に従って記述したコンピュータプログラムと併用してもよく、あるいは所望の操作を実行するために特化した機械を作製するほうが利便性が高いこともある。

上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。特許請求の範囲において、各種構成要素および／またはステップの順序は、請求項に明示的に記載されていない限り、特定の操作の順序を示すものではない。

従来のインタフェースオブジェクトを保持しているユーザの手の説明図である。 本発明の一実施形態による、インタフェースオブジェクトをトラッキング可能なシステム構成全体の高水準説明図である。 本発明の一実施形態による、インタフェースオブジェクトとの併用に適したコンピューティングシステムの各種構成要素の構成を示すブロック図である。 本発明の一実施形態による、ユーザがインタフェースオブジェクトを操作しているときに、インタフェースオブジェクトに対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。 本発明の一実施形態による、図２に示したインタフェースオブジェクトをより詳細に示す説明図である。 本発明の一実施形態による、図２に示したインタフェースオブジェクトをより詳細に示す説明図である。 本発明の一実施形態による、画像キャプチャ装置の視野内にある状態の、図５Ａ，５Ｂに示したインタフェースオブジェクトの説明図である。 本発明の一実施形態による、図５Ａ，５Ｂに示したインタフェースオブジェクトを使用して、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムの説明図である。 インタフェースオブジェクトの別の実施形態の説明図である。 インタフェースオブジェクトの別の実施形態の説明図である。 インタフェースオブジェクトの別の実施形態の説明図である。 図８Ａ〜８Ｃに示したインタフェースオブジェクトを保持している手の説明図である。 図８Ａ〜８Ｃに示したインタフェースオブジェクトを保持している手の説明図である。 画像キャプチャ装置の視野内にある状態の、図８Ａ〜８Ｃに示したインタフェースオブジェクトの説明図である。 画像キャプチャ装置の視野内にある状態の、図８Ａ〜８Ｃに示したインタフェースオブジェクトの説明図である。 画像キャプチャ装置の視野内にある状態の、図８Ａ〜８Ｃに示したインタフェースオブジェクトの説明図である。 画像キャプチャ装置の視野内にある状態の、図８Ａ〜８Ｃに示したインタフェースオブジェクトの説明図である。 本発明の一実施形態による、コンピュータプログラムとのインタフェースに使用することができる、コントローラに接続されたインタフェースオブジェクトの例を示す。 本発明の一実施形態による、コンピュータプログラムとのインタフェースに使用することができる、コントローラに接続されたインタフェースオブジェクトの例を示す。 本発明の一実施形態による、１つ以上のインタフェースオブジェクトをコントローラに接続するための代替の接続面の例を示す。 本発明の一実施形態による、１つ以上のインタフェースオブジェクトをコントローラに接続するための代替の接続面の例を示す。 本発明の一実施形態による、コンピューティング装置との通信を検出する際に、インタフェースオブジェクトと接続されているコントローラの例を示す。 本発明の一実施形態による、コンピューティング装置との通信を検出する際に、インタフェースオブジェクトと接続されているコントローラの例を示す。 本発明の一実施形態による、１つ以上のインタフェースオブジェクトをコントローラに接続するための別例を示す。 本発明の一実施形態による、１つ以上のインタフェースオブジェクトをコントローラに接続するための別例を示す。 本発明の一実施形態による、１つ以上のインタフェースオブジェクトをコントローラに接続するための別例を示す。 本発明の一実施形態による、１つ以上のインタフェースオブジェクトをコントローラに接続するための別例を示す。 本発明の一実施形態による、インタフェースオブジェクトのオブジェクトに一体化することができる回路、スピーカおよび光デバイスを示す。 本発明の一実施形態による、図８Ａ〜８Ｃに示したインタフェースオブジェクトを使用して、コンピューティングシステム上で実行されているプログラムのコマンドをトリガするためのシステムの説明図である。 本発明の一実施形態による、コンピューティングシステムで実行されているプログラムのコマンドをトリガする高水準の方法操作のフローチャート図である。

Claims (43)

1. コンピューティングシステムで実行されているプログラムのコマンドをトリガするための方法であって、
   キャプチャ装置の視野を監視するステップを有し、
   前記視野内で、球形オブジェクトのペアによって定義されるインタフェースオブジェクトを特定するステップであって、前記特定されたインタフェースオブジェクトの位置の変化が分析されるものであるステップを有し、
   前記インタフェースオブジェクトの前記位置の変化を検出するステップを有し、
   前記コンピューティングシステムで実行されている前記プログラムでインタフェースコマンドをトリガするステップであって、前記トリガは前記インタフェースオブジェクトの前記変化が検出された結果発生するものであるステップを有する方法。
2. 前記画像キャプチャ装置に対する前記インタフェースオブジェクトの向きを決定するために、前記インタフェースオブジェクトの表面にあるパターンの向きを検出するステップを更に有する請求項１に記載の方法。
3. 前記画像キャプチャ装置は、前記インタフェースオブジェクトの色、色の変化または色の強度の変化をトラッキングする請求項１に記載の方法。
4. 前記インタフェースオブジェクトの前記位置の変化は、前記インタフェースオブジェクトの前記画像キャプチャ装置に対する移動によって定義される請求項１に記載の方法。
5. 前記インタフェースオブジェクトの前記位置の変化は、前記球形オブジェクトのペアの互いの相対移動によって定義される請求項１に記載の方法。
6. 前記相対移動は、前記球形オブジェクトのペアの反対方向からの互いの接近によって定義される請求項５に記載の方法。
7. 前記相対移動は、前記球形オブジェクトのペアの反対方向への互いの離隔によって定義される請求項５に記載の方法。
8. 前記インタフェースコマンドによって、前記コンピューティングシステムに接続されているディスプレイに表示されているオブジェクトが選択される請求項１に記載の方法。
9. 前記インタフェースコマンドによって、前記コンピューティングシステムに接続されているディスプレイに表示されているオブジェクトが移動される請求項１に記載の方法。
10. ハンドルが前記球形オブジェクトのペアを連結しており、前記ハンドルは、前記画像キャプチャ装置からの前記球形オブジェクトのペアへの視界をブロックすることがないように前記ハンドルを保持している手を制限するように構成されている請求項１に記載の方法。
11. ポストが前記球形オブジェクトのペアを一緒にコントローラに連結している請求項１に記載の方法。
12. コンピューティングシステムで実行されているプログラムのコマンドをトリガするための方法であって、
    長尺部材を備えるハンドルに連結されたオブジェクトによって定義されるインタフェースオブジェクトを提供するステップと、
    画像キャプチャ装置の視野内に前記インタフェースオブジェクトを配置するステップと、
    前記コンピューティングシステムで実行されている前記プログラムでインタフェースコマンドをトリガするために、前記画像キャプチャ装置の前記視野内で前記インタフェースオブジェクトの位置を変えるステップと、を有する方法。
13. 前記ハンドルは、前記画像キャプチャ装置から前記球形オブジェクトへの視界を前記ハンドルを保持している手がブロックすることがないよう制限するように構成されている請求項１２に記載の方法。
14. 前記ハンドルはコントローラに連結されている請求項１１に記載の方法。
15. 前記インタフェースコマンドによって、前記コンピューティングシステムに接続されているディスプレイに表示されているオブジェクトが移動される請求項１２に記載の方法。
16. 前記コンピューティングシステムで実行されている前記プログラムで前記インタフェースコマンドをトリガするために、前記インタフェースオブジェクトの色、色の変化、色の強度の変化または明るさの変化のうちの１つを検出するステップを更に有する請求項１２に記載の方法。
17. 前記画像キャプチャ装置は、前記インタフェースオブジェクトの色、色の変化、色の強度の変化または明るさの変化をトラッキングするかまたはこれに反応する請求項１２に記載の方法。
18. コンピューティングシステムで実行されているプログラムのコマンドをトリガするためのシステムであって、
    画像キャプチャ装置と、
    前記画像キャプチャ装置と通信している前記コンピューティングシステムと、
    前記画像キャプチャ装置の視野内に配置されるように構成され、ハンドルに取り付けられたオブジェクトによって定義されるインタフェースオブジェクトと、を有し、前記ハンドルは、前記オブジェクトから延びる線に略直交し、前記画像キャプチャ装置からの前記球形オブジェクトへの視界が前記ハンドルを保持している手によってブロックされることがないよう制限するように構成された第１の長尺部材を有するシステム。
19. 前記ハンドルは、
    前記第１の長尺部材と、
    第１端、および前記第１端に対向する第２端を有する第２の長尺部材と、を有し、前記第１端は前記第１の長尺部材の略中間に連結されており、前記第２端は前記オブジェクトに連結されている請求項１８に記載のシステム。
20. 前記ハンドルはＴ字状に定義される請求項１８に記載のシステム。
21. 前記オブジェクトは、球、ドーム、半球、立方体、角錐および半立方体のうちの１つによって定義される請求項１８に記載のシステム。
22. 前記オブジェクトは表面にパターンを有する請求項１８に記載のシステム。
23. 前記コンピューティングシステムは、
    前記画像キャプチャ装置の前記視野を監視する回路と、
    前記視野内で前記インタフェースオブジェクトを特定する回路であって、前記特定されたインタフェースオブジェクトの位置の変化が分析される回路と、
    前記インタフェースオブジェクトの前記位置の変化を検出する回路と、
    前記コンピューティングシステムで実行されている前記プログラムでインタフェースコマンドをトリガする回路と、を有し、前記トリガは前記インタフェースオブジェクトの前記変化が検出された結果発生する請求項１８記載のシステム。
24. 画像キャプチャ装置と、
    前記画像キャプチャ装置とインタフェースする前記コンピューティングシステムと、
    前記コンピューティングシステムとインタフェースするゲームコントローラと、を有し、前記ゲームコントローラは、インタフェースオブジェクトとの連結が可能であり、前記インタフェースオブジェクトは、ポスト、および前記コントローラとインタフェースするコネクタを有し、前記インタフェースオブジェクトは、前記ポストの、前記コネクタに対向する端で前記ポストに連結された形状オブジェクトを有し、前記コンピューティングシステムは、前記画像キャプチャ装置によって得られた画像データの分析によって前記形状オブジェクトを捉えるように構成されており、前記画像データの前記分析は、前記コンピューティングシステム上で実行されるコンピュータプログラムによるインタラクティブなアクションをトリガするように構成されているゲームシステム。
25. 前記画像データの前記分析は、前記形状オブジェクトの空間位置の変化を特定する請求項２４に記載のゲームシステム。
26. 前記画像データの前記分析は、前記形状オブジェクトの色の変化を特定する請求項２４に記載のゲームシステム。
27. 前記画像データの前記分析は、前記形状オブジェクトで出力された音を特定する請求項２４に記載のゲームシステム。
28. 前記画像データの前記分析は、前記形状オブジェクトが発する光の強度変化を特定する請求項２４に記載のゲームシステム。
29. 前記インタフェースオブジェクトは、２つ以上の形状オブジェクトを備え、前記画像データの前記分析において、前記２つ以上の形状オブジェクトの位置の変化が検出され、これにより、前記コンピュータプログラムによる１つ以上のアクションがトリガされる請求項２４に記載のゲームシステム。
30. 前記インタフェースオブジェクトは、３つの形状オブジェクトを備え、前記コントローラの空間位置の変化により、前記コントローラのチルト、ヨーおよびロールの１つまたは全てが検出され、前記検出は、前記コンピュータプログラムによって駆動されるように、前記コンピューティングシステムによって処理される請求項２４に記載のゲームシステム。
31. 前記コネクタは、前記形状オブジェクトと前記コントローラ間で信号をインタフェースすることができる請求項２４に記載のゲームシステム。
32. 前記コネクタはユニバーサルシリアルバス（ＵＳＢ）コネクタである請求項２４に記載のゲームシステム。
33. 回路が前記形状オブジェクトに組み込まれている請求項３１に記載のゲームシステム。
34. 前記回路は発光素子に接続されている請求項３３に記載のゲームシステム。
35. 前記インタフェースオブジェクトは、前記コントローラの面へ留まるクランプモールドと連結される請求項２４に記載のゲームシステム。
36. 前記インタフェースオブジェクトと前記コントローラ間で信号を伝達するためのコネクタが前記クランプモールドに提供されている請求項２５に記載のゲームシステム。
37. コンピューティングシステムとインタフェースするゲームコントローラを有し、
    前記ゲームコントローラは、インタフェースオブジェクトとの連結が可能であり、
    前記インタフェースオブジェクトは、ポスト、および前記コントローラとインタフェースするコネクタを有し、
    前記インタフェースオブジェクトは、前記ポストの、前記コネクタに対向する端で前記ポストに連結された形状オブジェクトを有し、
    キャプチャ装置を備えた前記コンピューティングシステムは、前記形状オブジェクトを捉えるように構成され、
    前記キャプチャ装置からの画像データの分析は、前記コンピューティングシステム上で実行されるコンピュータプログラムによるインタラクティブなアクションをトリガするように構成されているゲームコントローラ。
38. 前記画像データの前記分析は、前記形状オブジェクトの空間位置の変化を特定する請求項３７に記載のゲームコントローラ。
39. 前記画像データの前記分析は、前記形状オブジェクトの色の変化を特定する請求項３７に記載のゲームコントローラ。
40. 前記画像データの前記分析は、前記形状オブジェクトが発する光の強度変化を特定する請求項３７に記載のゲームコントローラ。
41. 前記インタフェースオブジェクトは、２つ以上の形状オブジェクトを備え、前記画像データの前記分析において、前記２つ以上の形状オブジェクトの位置の変化が検出され、これにより、前記コンピュータプログラムによる１つ以上のアクションがトリガされる請求項３７に記載のゲームコントローラ。
42. 人のユーザの左右の手による取り扱いに適合可能な第１面および第２面を有することが可能な本体と、
    前記本体を前記第１面と前記第２面の間に連結するためのコネクタを有する第１端、および第２端を有するポストと、
    前記ポストの前記第２端に連結された形状オブジェクトと、を有し、前記形状オブジェクトは、前記本体が前記人のユーザによって取り扱われると、画像キャプチャ装置によって、前記形状オブジェクトの空間位置および光強度の一方または両方を認識することができるゲームコントローラ。
43. 前記コネクタは、前記形状オブジェクトと、前記ゲームコントローラの前記本体との間で信号が伝達されるようにする請求項４２に記載のゲームコントローラ。

Images