JP2009544389A - データ処理装置との対話装置および方法 - Google Patents

Abstract

ゲーム機などのデータ処理装置との対話方法であって、環境の広角画像をキャプチャするステップと、前記広角画像から画像特徴を取得するステップと、それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップとを有する対話方法。更に、広角画像から画像特徴を取得する前記ステップは、前記広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面にマッピングするステップと、マッピングされた広角画像の前記１つあるいはそれ以上の平面から画像特徴を取得するステップとを有する。広角画像に特有な特徴の位置依存性の歪み無しに、これらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができ、画像特徴を整合的に提示することができ、その結果ゲームなどのプロセスにモーションを入力できるのは都合が良い。
【選択図】図４

Description

本発明は、ゲーム機などのデータ処理装置との対話装置および方法に関し、特に、画像解析に基づいた対話装置および方法に関する。

ビデオゲーム機などの多くの娯楽装置は様々な周辺コントロール手段を有している。その中には、ジョイスティック、キーパッド、ジョイパッドや、さらにはゲームに特有のコントローラ、例えば、ステアリングホイール、ライトガン、ゴルフクラブなどが含まれる。

しかし、そのようなコントローラの物理的な操作は、それが提供できる対話（インタラクション）のタイプを本質的に限定することになる。通常、それはボタンを押すことや前もって約束された特定のアクション、例えばゴルフスウィングなど、に限定される。

ソニー（登録商標）のプレイステーション２（登録商標）ビデオゲーム機やプレイステーション３（登録商標）ビデオゲーム機など、最近のビデオゲーム機は、アイトイ（登録商標）などの光学的な周辺コントローラも呼び物にしている。アイトイは、ユーザの身体の動き（モーション）によってゲームのコントロールを可能にし、それによってゲームとの新しい対話手段を提供している。そのようなコントローラは、典型的には、ゲームを表示するテレビの上に置かれる構成とされており、その位置でコントローラはプレイヤーをいわば観察することができる。それで、プレイヤーの画像がゲームの環境内に組み込まれ、その環境に対して動くことによりゲームと対話することができるようになっている。

本発明は、ゲーム機などの娯楽装置と対話する更なる手段を提供する。

本発明の第１の側面によれば、ゲーム機との対話方法であって、
環境の広角画像をキャプチャするステップと、
前記広角画像から画像特徴を取得するステップと、
それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップと、
を有し、
更に、広角画像から画像特徴を取得する前記ステップは、
前記広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面（以後、ファセットと称する）にマッピングするステップと、
マッピングされた広角画像の前記１つあるいはそれ以上のファセットから画像特徴を取得するステップと、
を有する、
ことを特徴とする対話方法が提供される。

これらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができ、画像モーションを整合的に解析することができ、その結果ゲームなどのプロセスにモーションを入力することができるのは都合が良い。

本発明の第２の側面によれば、コントロール装置であって、広角画像をキャプチャできるように広角レンズ手段が接続された撮像手段を有し、前記広角レンズ手段は実質的に半球形の視野を提供し、前記広角画像から取得された画像特徴はゲーム機上で実行されるソフトウェアに対する入力として解釈できることを特徴とするコントロール装置が提供される。

特徴をこのように組み合わせることにより、対話方法によって利用される環境の広角画像が提供される。

本発明の一実施形態によるコントローラとデータ処理装置を示すブロック図である。 本発明の一実施形態による広角画像の光景とその光景の画像キューブの５つの側面へのマッピングとを比較するブロック図である。 本発明の一実施形態による画像処理方法を示すフローチャートである。 本発明の一実施形態による、環境の画像キューブへのマッピングを示す三つのブロック図の組である。 本発明の一実施形態による、画像キューブの面上における画像モーションの軸を示すブロック図である。 本発明の一実施形態による、環境の画像キューブへのマッピングを示す三つのブロック図の組である。 本発明の一実施形態による画像処理方法を示すフローチャートである。

以下、添付図面を参照しながら、本発明の実施形態を例として説明する。

ゲーム機との対話方法およびそれに対応するコントローラ装置を開示する。以下の説明においては本発明の実施形態を十分に理解してもらうために多くの特定の詳細が示される。しかし、本発明を実施するためにこれら特定の詳細の採用が必須でないことは当業者には明らかであろう。一方、実施形態を明瞭に示すという目的のために、当業者に既知の特定の詳細は省かれている。

図１を参照すると、本発明の一実施形態において、ゲーム機などのホストデータ処理装置１１０に対して周辺コントロール手段１００が提供されている。

周辺コントロール手段１００（以下、「コントローラ」と称する）は、広角レンズ１０１と、電荷結合素子（ＣＣＤ）などの撮像手段１０２と、撮像手段１０２に対して動作可能に接続された画像処理プロセッサ１０３と、データをデータ処理装置１１０に伝送するために画像処理プロセッサ１０３に対して動作可能に接続されたワイファイ（ｗｉ−ｆｉ）やブルートゥース（登録商標）などの伝送手段１０４とを有している。

広角レンズ１０１は、撮像手段１０２に軸心合わせされたほぼ半球形の視野を提供することが好ましい。広角レンズは、例えば、魚眼レンズ、あるいは先端を切断したピラミッド型などの多面レンズ、あるいは適切な形状の同心フレネルレンズあるいはレンチキュラーレンズなど、任意の適切なレンズ、あるいは複数レンズの配列とすることができる。

本発明の一実施形態においては、ゲーム機などのデータ処理装置との対話方法は、ＣＣＤから広角画像を得る第一ステップを有している。この目的のためにＣＣＤは広角レンズと組み合わせて配列され、広角画像がＣＣＤに入射されてキャプチャされるようになっている。

次いで、この画像が処理される。

本発明の一実施形態においては、撮像手段１０２によりキャプチャされた広角画像は、更に処理されないで（あるいは、任意の選択として、図示されていない既知の圧縮手段により圧縮された後）、まずデータ処理装置１１０に伝送される。それに続いて、受信データ手段１１４によるデータの受信に引き続いて、処理装置１１０の画像処理プロセッサ１１３により画像処理が行なわれる。そのような実施形態の場合には、コントローラは画像処理プロセッサ１０３を必ずしも必要としない。

本発明の別の実施形態では、撮像手段１０２によりキャプチャされた広角画像はコントローラ１００において画像処理プロセッサ１０３により処理され、この処理の出力がデータ処理装置１１０に伝送される。

本発明の更に別の実施形態では、画像処理タスクはコントローラ１００とデータ処理装置１１０の画像処理プロセッサ（１０３，１１３）間で引き渡され、その処理の第一部はコントローラ１００の画像処理プロセッサ１０３により実行され、第二部はデータ処理装置１１０の画像処理プロセッサ１１３によって実行される。

従って、以下の説明における画像処理プロセッサへの言及は、どちらかの画像処理プロセッサ（１０３，１１３）に対するものであり、そのようなプロセッサの動作方法への言及は、適用できるどちらかあるいは両方の画像処理プロセッサの動作に対して、全面的にあるいは部分的に当てはめ可能であることは明らかであろう。

さて、図２および図３を参照すると、本発明の一実施形態において、画像処理プロセッサ（１０３，１１３）は、図２に示されているような広角画像を図３に列挙される以下の方法ステップによって処理するように、その動作が構成されている。

広角画像２１０のそれぞれの領域は、コントローラ１００がトーチのように手に保持されている状況を考えて、概念的に次のように名前が付けられている：（Ｆ）正面あるいは中心軸ビュー、（Ｔ）頂部の天井ビュー、（Ｂ）底面の床ビュー、（Ｌ）左ビュー、（Ｒ）右ビュー。

次いで、図３のステップｓ１で、これらの領域を平面にマッピングすることにより、広角レンズに起因する画像のゆがみを減少する。ディジタル画像の有効投影を変換する画像変換は既知であり、例えば環境マッピングがそうである。従来の環境マッピングでは、平坦なテクスチャ上の点のアレイを任意の形状の対応する点にマッピングすることにより、そのテクスチャをその形状の周りに「ラッピング」することができる。ステップｓ１では逆の処理が適用され、ゆがんだ画像内の一組の点が平面へと変形される（例えば、http://www.worldserver.com/turk/quicktimevr/fisheye.htmlおよびNed Greene, Environment Mapping and Other Applications of World Projections（ネッド・グリーン、環境マッピングおよび世界投影の他の応用）, IEEE Computer Graphics and Applications, November 1986, vol. 6, no.11, pp. 21-29を参照）。図２では、歪んだ画像の５つの領域に対し５つの平面が用いられている。

先に言及したレンズ配列のどれから得られた画像であっても、それらの画像をマッピングするための変換を生成できることは、当業者には明らかであろう。

デフォルトでは、先に言及した５つの領域は、５つの平面、すなわち、画像キューブ２２０の５つの面すなわちファセットを構成し又それぞれの領域に対応している５つの平面にマッピングされるのが好ましい。

このようにマッピングされた領域がキューブの各頂点において正確に接続している必要はなく、オーバーラップしてもよいし、ギャップがあってもよいことは明らかであろう。

又、すべての領域を処理する必要はなく、例えば、天井ビューに本質的に特徴のない場合などはすべての領域を処理する必要がないことも明らかであろう。同様に、アプリケーションにとって正面領域だけが関係している場合、他のすべての領域は無視してもよい。

又、ファセットが部屋の正面、頂部面、底部面、左面、あるいは右面に一致することが必要条件でないことも明らかであろうが、これについては更に説明することにする。

さて、図４を参照すると、あるゲーム用シナリオに関してマッピング処理の効果が示されている。

図４において、コントローラ１００はユーザの手中にトーチのように保持されており、典型どおりユーザはゲーム（感嘆符によって表わされている）を表示しているＴＶ画面に向かい合っている。その結果得られる広角画像４１０は、ユーザ前方の部屋の特徴を実質的にすべてキャプチャしている。領域Ｆ、Ｂ、Ｔ、Ｌ、Ｒを対応する平面にマッピングすることによって画像の歪みが除去され、部屋の各特徴が画像キューブ４２０のファセット内に配置される。それらのファセットは、通常、壁や天井や床などの、部屋の適切な部分に近似的に対応している。

４つの領域を三角プリズムへマッピングするなど、他の領域や形状が可能であることは明らかであろう。しかし、キューブ（立方体）は部屋の典型的な形状に対して一層容易に一致するので好ましい。

ステップｓ２では、画像キューブ４２０の１つあるいはそれ以上のファセットが解析され、画像の特徴が抽出される。

本発明の一実施形態においては、サブステップｓ２．１において、ファセットにマッピングされた画像領域に対して、その画像領域内の輝度および／またはクロミナンスの変化に基づいてエッジ検出処理を行なう。業界では多くのエッジ検出アルゴリズムが知られており、例えば、ソーベル演算子（オペレータ）、キャニー演算子、ピラミッド演算子、ラプラス演算子などを挙げることができる。

短いエッジあるいは断片的なエッジよりもむしろ意味のあるエッジを強める演算子、例えばピラミッド演算子など、が好ましい。この演算子は（キャニー演算子あるいはソーベル演算子など任意の他の適切なエッジ検出手段を用いて）エッジ検出する前に画像のデシメーションを行ない、それにより比較的大きなエッジ特徴のみを検出する。これらの特徴の識別が完了すると、より正確なエッジ評価を本来のスケールの画像に対して行なうという目的で、検出された大きなエッジ特徴に対応する領域においてのみ本来のスケールの画像にエッジ検出を適用する。

オプションとして、画像に見られる大きなエッジ特徴の数が非常に少ない場合に少なくとも最小限の数のエッジを検出できるように、デシメーションの度合いを調整可能としてもよい。

このようにして得られたエッジに対して、サブステップｓ２．２において、画像特徴として次のいずれかあるいはすべてが選択される。
ｉ．実質的に線形なエッジ
ｉｉ．２あるいはそれ以上の線形エッジが交わる点
ｉｉｉ．エッジの組により形成される所定の形状

実質的に線形なエッジは、実質的に同一直線上にある少なくとも３つのエッジ点（即ち、エッジ検出アルゴリズムによってエッジに対応すると識別される点）を有するものと定義される。このような３点は、直線当てはめ（ラインフィッティング）アルゴリズムを用いて評価することができ、所定の許容誤差内の適合度であれば、それらの点は同一直線上にある（共線）と見なされる。次いで、隣接した点を、確立された共線点である２点あるいはそれ以上の点との関連で、あるいは推定された直線に対して、評価することができ、そのようにして線形エッジを大きくし、完成することができる。

オプションとして、線形エッジを選択するために、画像寸法に対して最小の長さのしきい値を設けることもできる。やはりオプションとして、モーションを評価する際に（下記参照）、線形エッジに寄与するエッジ点の数を、比較特徴としてそれに付与する重みあるいは重要さの指標と見なすこともできる。

エッジの組み合わせにより形成される所定の形状は、スケールに依存しないテンプレートマッチングなど任意の適切な画像マッチング手段により識別することができ、あるいは、ハフ（Hough）変換やブレセンハム（Bresenham）変換などの一般化したラインフィッティング手段を用いて識別することもできる。

あるいは、直線、直線の交点および／または形状の認識は、訓練可能な発見的手法によって行なうこともできるし、あるいは製造時に画像プロセッサに組み込まれる人工神経回路網などのアルゴリズムかゲーム機上で現在動作しているアプリケーションにより使用時に構成されるアルゴリズムによって行なうことができる。

次に図５を参照すると、本発明の一実施形態において、ステップｓ３では、解析された各ファセットに関して結果として得られた特徴を用いて、コントローラ１００の位置および方位に関する基準が提供される。

図５に示されているように、解析されたそれぞれのファセットは、環境（例えば、部屋）の幾つかの特徴を二次元に位置決めする手段を提供する。

従って、例えば、画像キューブ４２０の５つのファセットが利用できる場合の運用では、各ファセットの特徴の初期分析を用いて、部屋の環境の中の画像特徴の初期位置が決定され、また、それらの特徴を参照基準とする初期位置および／または方位が確立される。このような初期処理は、例えば、ゲームのキャリブレーション段階あるいはセットアップ段階で実行することができる。

その後の使用において、コントローラ１００のモーションを追跡するために、ステップｓ４で、コントローラ１００の現行（現在の）位置および／または方位を、それらの特徴を参照して再評価することができる。

本発明の一実施形態においては、これを達成するために、所定のファセットに関する方位および位置をそれぞれ決定するために、画像を回転および／または平行移動できる機能のある適用可能な画像変換を用いることができる。

所定のファセット上に連続的に（継続的に）マッピングされる画像に関して、先行する画像をその画像変換によって変形することにより推定（予測）画像を生成し、次いで、その画像を現行（現在の）画像と比較する。次に、推定画像と現行画像との誤差を、画像変換の回転および／または平行移動モデルを制御するパラメータを調整することによって最小化する（勿論、現実問題として、この表現は「減少させる」ことを含んでいる）。これは、傾斜降下法などの誤差最小化法によって行なわれる。

誤差最小化処理が終了する時、回転および／平行移動のパラメータの値が、連続する画像間の区間（インターバル）におけるそのファセット上の特徴に関するコントローラ１００のモーションの指標となる。

次いで、このモーションを複数のファセットにわたって、また、複数の連続する画像フレームにわたって組み合わせることにより、コントローラ１００がどのように使用されているかを解釈する。

例えば、コントローラ１００はゲーム内で仮想的なトーチとして用いられているかもしれず、その場合、コントローラの方位は画面上のキャラクタにより使用されるトーチの方向を知らせるために使用される。同様に、コントローラ１００は銃として用いられているかもしれない。

より一般的には、コントローラ１００をコンピュータのマウスなどのような指示器として用いることができ、異なる方向あるいは方位への動きを、風景をパンするコマンド、あるいはあるテキストをスクロールするコマンド、あるいはゲームパラメータを調整するコマンドなどのコマンドとして解釈することができる。

同様に、コントローラ１００を、特定のアクションとして認識されるモーションパターンを用いて身振り（ジェスチャー）コマンドを与えるために用いることができ、例えば、コントローラ１００をゲームで魔法をかけるための仮想的な魔法の杖として用いることを可能にしたり、ユーザの名前やイニシャルを空中に書いてゲームに組み込むことを可能にしたりする。

コントローラ１００のモーションを利用して、またオプションとしてコントローラ１００の算定速度あるいは加速度を利用することにより、仮想的なゴルフクラブや釣竿、あるいは剣や斧のような戦闘兵器の役割をコントローラ１００が果たすようにすることもできる。

最後の点として、コントローラ１００によって、ゲーム機とのこの対話モードに特有の新しいゲームが可能になる。例えば、狭い径路に沿ったユーザの動きを追跡するために３Ｄ空間におけるコントローラ１００の軌跡を利用する「ワイヤに沿って触らずに進む」仮想ゲームなどである。

察知されるであろうが、上記の利用のあるものの場合、コントローラ１００の動きが９０度もの回転となり、それによって環境の特徴が画像キューブ４２０の異なるファセットにマッピングされる場合があり得る。しかし、画像取得速度が回転速度に比べて速ければ、先に説明したモーションの情報を提供するために依然として画像ごとに追跡できるファセット上の画像領域で特徴が旋回することができ、問題となりそうにない。

あるいは、参照基準である特徴要素のしきい値を超える割合（部分）が現行ファセットの縁に達した場合、マッピングそれ自体を特徴の平行移動の方向に９０度回転することもできる。

更に、このことは、そのような平行移動が平行移動の方向と合致するすべてのファセット上に見いだされ、単にコントローラ１００に関する１つの環境的特徴のモーションではなく、環境内のコントローラ１００のモーションを示している場合にのみ生じ得る。

都合の良いことに、一般的に、多数のファセットによる冗長性によって、コントローラ１００は室内を動く他の人々の存在に対してより頑強となる。

従って、ゲームのコンフィギュレーションセッションの際に、あるいは、コントローラが有意な動きをしていない時に、Ｂファセット、Ｔファセット、ＬファセットおよびＲファセットの概念上の方位をレンズの軸の周りに回転して、部屋などの環境の特徴を、各画像領域の中心に置くことができることが、当業者には明らかであろう。従って、例えば、ユーザがレンズの軸に対して任意の回転方向にコントローラを持ち上げ、窓などの輝度の強い特徴が２つのファセットにより二分されると、それらのファセットを回転してその窓が１つのファセットの中心となるようにすることができ、それによって、画像ファセットと部屋の壁との間にふさわしい相関関係を確立し、以後のモーションの追跡を単純化することができる。

本発明の別の実施形態では、コントローラ１００の広角レンズ１０１と反対の端部にある固定手段（図示されていない）に、ゲーム内の使用物（魔法の杖や、剣や、ゴルフクラブなど）を表わす装飾的な要素を付着することができる。この実施形態では、ユーザが装飾要素がユーザから離れる方を向くようにコントローラを保持する場合、識別されるエッジ特徴がユーザを含んだり、時々ユーザによって不明瞭となったりすることは明らかである。しかし、先に注目したように、ファセットを画像キューブ２２０として配列することは、利用できる特徴の数に冗長性があることを意味し、時々不明瞭になるエッジに対して位置および／または方位の決定を頑強なものとする。

更に別の実施形態では、ゲームに適切な使用モード（例えば、１つのファセットを無視するモードや生ビデオデータを伝送するモードなど）を決定するためのスイッチ手段を固定手段が有しており、装置が適切に構成されるように装飾要素はそのスイッチ手段に係合する形状とされている。

それと異なり、あるいはそれに加えて、本発明の一実施形態では、伝送手段１０４が受信手段をも有しており、ホストデータ処理装置からコンフィギュレーションデータを受信して、補足的なビデオデータを伝送すべきかどうかやあるファセットだけを処理すべきかどうかなどといった、使用モードを決定するように動作することができる。

次に、図６を参照すると、本発明の一実施形態では、コントローラ１００が第２のモードで使用することができ、その第２モードでは手に保持される代わりに、１人のプレイヤーの前の床、あるいは２人以上のプレイヤー間の中心の床などの面に置かれる。この動作モードで得られる広角画像は、画像の中心点の周りに歪んだプレイヤーを示す。領域Ｆ、Ｂ、Ｔ、ＬおよびＲを対応する平面にマッピングすることにより歪みが除去され、各プレイヤーが画像キューブ６２０の別個のファセットに配置される。

プレイヤーがコントローラの周りに均等に配置されていない場合、先に説明されたような画像特徴の検出を利用して各プレイヤーを取り囲む領域を決定し、対応するファセットにマッピングすることができることは、明らかであろう。

同様に、４人以上のプレイヤーの場合、オプションとして、キューブに代えてプレイヤーと同じ数の側面を有する多角柱を用いることができることも明らかであろう。４人より少ないプレイヤーの場合は未使用の領域は無視することができ、３人の場合はオプションとして三角柱を用いることができる。

この動作モードにおいて、先に説明された方法を用いて得られる画像特徴は、各プレイヤーの輪郭のすべてあるいは一部を含んでいる。これらの特徴を追跡することにより、プレイヤーの動きが明らかにされる。次いで、これらの動きは、例えばダンスの動きやスパーリングの動きなど、ゲームに関連したアクションとして解釈することができる。

それで、図７を参照して、この実施形態における動作方法次のように要約することができる。画像をマッピングし、画像特徴を得るステップは、手に保持するモード（ハンドヘルドモード）の場合のコントローラについて先に説明したものと実質的に同じである。

次に、ステップｓ３Ａで、プレイヤーあるいは複数のプレイヤーに関連した画像特徴が識別される。例えば、ゲームのコンフィギュレーションセッションの際に、あるいはウォームアップ段階の一部として、各プレイヤーに手足の各々を順に動かすように要請することにより、当該の手足に対応する有意なエッジの識別が可能となる。代わりに、あるいはそれに加えて、骨格モデルに最も一致するエッジを、基準画像特徴として選択する。このようにして、プレイヤーの身体のすべてあるいは一部をゲームの目的のために識別することができる。

ステップｓ４Ａでは、プレイヤーあるいは複数のプレイヤーの動きが追跡される。これは、コントローラに関して全体的な動きを決定するためのハンドヘルドモードのステップｓ４の場合のように行なうことができ、および／または、各プレイヤーの画像特徴（例えば、１つあるいはそれ以上の肢体の中心線の推定値など）をそのエッジに基づいてパラメータ記述することによって行なうことができる。ラインモーションを特徴付けるための他の方法は当業者には明らかであろう。

ステップｓ５Ａでは、プレイヤーの動きの情報がホストデータ処理装置、今の場合はゲーム機、に伝送される。

オプションとして、プレイヤーを描写した画像データも伝送することができ、それによってプレイヤーをゲーム内に組み込むことが可能となる。プレイヤーを別々のファセットにマッピングすることにより、部屋におけるプレイヤーの物理的な配置にかかわらず、プレイヤーを側面ごとに表示すること、あるいは任意の画面上の配列で表示することが容易となる。

各プレイヤーに関して十分な解像度の画像データを提供するために、撮像手段１０２が高解像度ＣＣＤであることが好ましいことは明らかであろう。例えば、現行のアイトイ（登録商標）装置のＣＣＤの場合の６４０×４８０ピクセルの解像度に対し少なくとも５倍の解像度であることが好ましく、その場合、好ましいＣＣＤ解像度は少なくとも１．５メガピクセルとなる。そこで本発明の一実施形態では互換モードも利用でき、その場合、アイトイ（登録商標）装置の出力に対して互換の（すなわち、下位互換の）データを提供するために、１つのファセットだけが処理される。

ハンドヘルド動作モードあるいは中央設置動作モードのどちらに関しても、処理方法がコントローラの画像処理プロセッサとホストデータ処理装置の画像処理プロセッサで共通である場合、コントローラによって伝送されるデータは、ホストデータ処理装置上で実行されている方法の次のステップに対する入力として十分に役立つデータである。生画像データや処理されたモーションデータのほかに、中間データもそのようなデータとなり得る。

従って、本発明の実施形態において、任意の適切な仕方で画像処理およびそれに必要な手段をコントローラ１００内に置くこともできればホストデータ処理装置１１０内に置くこともでき、あるいはそれら２つの間に分散できることは明らかであろう。同様に、コントローラ１００およびホストデータ処理装置１１０の両方が完全な画像処理プロセッサ（１０３，１１３）を有することができるが、ここに説明された画像処理方法はもっぱらプロセッサのどちらかによって実行することもできるし、２つのプロセッサで分担することもできる。例えば、コントローラの画像処理プロセッサ１０３が広角画像を５つのファセットにマッピングし、次にそれらをホストデータ処理装置の画像処理プロセッサに伝送して更に処理することができる。

このように、本発明は任意の適切な仕方で実行して、コントローラとホスト処理装置との間に適切な装置あるいは動作を提供することができる。特に、コントローラという形態の単一個別要素として構成することができ、あるいは従来のホストデータ処理装置に追加される１つあるいはそれ以上の付加的要素に接続することもできる。あるいは、従来のホストデータ処理装置の既存部品を更に適応させることによって、例えば画像処理プロセッサ１１３に関するソフトウェアの再構成などによって、実現することもできる。

このように、従来のホストデータ処理装置の既存部品を適応させることには、その中の１つあるいはそれ以上のプロセッサの再プログラミングを含めることができる。そのような場合、必要とされる適応はコンピュータプログラム製品の形態で実現することができ、その製品は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、あるいはこれらあるいは他の記憶媒体の任意の組み合わせなどのデータ媒体に記憶されたプロセッサ実行可能命令、あるいはイーサネット（登録商標）、無線ネットワーク、インターネットあるいはこれらあるいは他のネットワークの任意の組み合わせによるネットワーク上のデータ信号によって伝送されたプロセッサ実行可能命令を含むものである。

最後に、本発明のそれぞれの実施形態によれば次の利点の幾つかあるいはすべてを実現できることが明らかであろう。
ｉ． ゲーム機などのデータ処理装置との対話方法であって、広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面にマッピングすることにより、それらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができる対話方法。
ｉｉ． 広角画像に特有な位置に依存する歪みを減少させることにより、平坦な画像平面によって画像特徴の整合的な解析が可能となり、そしてその結果ゲームなどのプロセスへのモーションの入力が可能である対話方法。
ｉｉｉ． 環境の画像を解析することにより環境内の自由な動きを検出することが可能なハンドヘルドコントローラ。
ｉｖ． 使用される環境特徴の冗長性のゆえに環境内の閉鎖状態および局所的なモーションに対して頑強なコントローラ。
ｖ．広角画像を作り出すコントローラであって、その広角画像をマッピングして、ゲーム内に典型的には複数のプレイヤーを再生するために環境の別々の光景を提供することができ、ゲーム内に複数のプレイヤーを歪み無く表示することができるコントローラ。

Claims (44)

1. ゲーム機との対話方法であって、
   環境の広角画像をキャプチャするステップと、
   前記広角画像から画像特徴を取得するステップと、
   それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップと、
   を有し、
   更に、広角画像から画像特徴を取得する前記ステップは、
   前記広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面（以後、ファセットと称する）にマッピングするステップと、
   マッピングされた広角画像の前記１つあるいはそれ以上のファセットから画像特徴を取得するステップと、
   を有する、
   ことを特徴とする対話方法。
2. 請求項１に記載の方法であって、前記広角画像が実質的に半球形であることを特徴とする方法。
3. 請求項１または２に記載の方法であって、５つのファセットが存在し、共になってキューブの５つの平面を形成することを特徴とする方法。
4. 請求項１ないし３のいずれか１項に記載の方法であって、更に、前記ファセットの１つあるいはそれ以上においてエッジ検出を行なうことにより前記画像特徴を取得するステップ、を有することを特徴とする方法。
5. 請求項４に記載の方法であって、前記エッジ検出が、
   ｉ．輝度、および
   ｉｉ．クロミナンス
   のいずれかあるいは両方の変化に基づくことを特徴とする方法。
6. 請求項４または５に記載の方法であって、前記エッジ検出が、
   ｉ．ソーベル演算子、
   ｉｉ．キャニー演算子、
   ｉｉｉ．ピラミッド演算子、
   ｉｖ．ラプラス演算子
   のいずれかあるいはすべてを用いることを特徴とする方法。
7. 請求項４ないし請求項６のいずれか１項に記載の方法であって、更に、
   次のエッジタイプ、すなわち、
   ｉ．実質的に線形なエッジ、
   ｉｉ．２以上の線形エッジが交差する点、
   ｉｉｉ．エッジの組によって形成される所定の形状
   のいずれかあるいはすべてを選択するステップ、
   を有することを特徴とする方法。
8. 請求項７に記載の方法であって、実質的に共線な３以上のエッジ点を識別することにより実質的に線形なエッジを決定することを特徴とする方法。
9. 請求項７または請求項８に記載の方法であって、前記所定の形状が、
   ｉ．テンプレートマッチング、
   ｉｉ．ハフ変換、
   ｉｉｉ．ブレセンハム変換
   のいずれかあるいはすべてによって識別されることを特徴とする方法。
10. 請求項１ないし請求項９のいずれか１項に記載の方法であって、前記ファセットの１つあるいはそれ以上から取得された画像特徴からその画像特徴に関して、
    ｉ．初期方位、
    ｉｉ．初期位置
    のいずれかあるいは両方を推定するステップ、を有することを特徴とする方法。
11. 請求項１０に記載の方法であって、更に、前記ファセットの１つあるいはそれ以上から取得された画像特徴から、
    ｉ．現行方位、
    ｉｉ．現行位置
    のいずれかあるいは両方を再推定するステップ、を有することを特徴とする方法。
12. 請求項１１に記載の方法であって、選択された画像特徴の相対的な動きを継続的な画像にわたって追跡することにより、
    適用可能な先行の方位および位置に対して
    ｉ．方位、
    ｉｉ．位置
    のいずれかあるいは両方の変化を決定する、ことを特徴とする方法。
13. 請求項１２に記載の方法であって、選択された画像特徴の前記相対的な動きの決定が、
    ｉ．方位パラメータ、
    ｉｉ．平行移動パラメータ
    のいずれかあるいは両方を含む画像変換を生成し、該画像変換によって処理されることにより先に取得された画像特徴に基づく現行画像特徴の推定と現行画像特徴との間の誤差をパラメータ的に最小にすることによって決定されることを特徴とする方法。
14. 請求項１２または請求項１３のいずれかに記載の方法であって、動きの継続的な推定を組み合わせてゲームへの入力とすることを特徴とする方法。
15. 請求項１４に記載の方法であって、入力が、
    ｉ．トーチあるいは銃、
    ｉｉ．コンピュータマウス
    ｉｉｉ．魔法の杖あるいはジェスチャー用装置、
    ｉｖ．ゴルフクラブ、
    ｖ．釣竿、
    ｖｉ．戦闘兵器、
    ｖｉｉ．３Ｄ空間の点
    のいずれかの動きを表わすことができる方法。
16. 請求項１ないし請求項９のいずれか１項に記載の方法であって、前記ファセットの１つあるいはそれ以上から取得された画像特徴から、少なくとも第１のユーザの身体の少なくとも一部の位置を推定するステップを有することを特徴とする方法。
17. 請求項１６に記載の方法であって、更に、継続的な画像の前記ファセットの少なくとも１つあるいはそれ以上からの画像特徴を比較することにより少なくとも第１のユーザの動きを追跡するステップを有することを特徴とする方法。
18. 請求項１６または請求項１７のいずれかに記載の方法であって、前記広角画像のマッピングが、広角画像内の複数のユーザの各々がそれぞれ別個のファセットにマッピングされるものであることを特徴とする方法。
19. 請求項１８に記載の方法であって、それぞれ別個のファセットに画像がマッピングされる複数のユーザの１人あるいはそれ以上がゲーム内に表示されることを特徴とする方法。
20. 請求項１ないし請求項１９のいずれか１項に記載の方法であって、
    ｉ．広角画像の１つあるいはそれ以上のファセットへのマッピング、
    ｉｉ．１つあるいはそれ以上のファセットから画像特徴の取得、
    ｉｉｉ．前記画像特徴に関する現行方位および／または位置の推定
    を含む処理シーケンスが、ホストデータ処理装置が周辺コントロール手段から伝送された広角画像を受信するとホストデータ処理装置の画像処理手段により実行されることを特徴とする方法。
21. 請求項１ないし請求項１８のいずれか１項に記載の方法であって、
    ｉ．広角画像の１つあるいはそれ以上のファセットへのマッピング、
    ｉｉ．１つあるいはそれ以上のファセットから画像特徴の取得、
    ｉｉｉ．前記画像特徴に関する現行方位および／または位置の推定
    を含む処理シーケンスが周辺コントロール手段の画像処理手段によって実行されることを特徴とする方法。
22. 請求項２１に記載の方法であって、方位および／または位置情報が前記周辺コントロール手段からホストデータ処理装置に伝送されることを特徴とする方法。
23. 請求項１ないし請求項１８に記載の方法であって、
    ｉ．広角画像の１つあるいはそれ以上のファセットへのマッピング、
    ｉｉ．１つあるいはそれ以上のファセットから画像特徴の取得、
    ｉｉｉ．前記画像特徴に関する現行方位および／または位置の推定
    を含む処理シーケンスが、処理シーケンスの任意の点において、第一に周辺コントロール手段そして第二にホストデータ処理装置において分担されることを特徴とする方法。
24. 請求項２３に記載の方法であって、処理シーケンスの次のステップに関連する情報が前記周辺コントロール手段からホストデータ処理装置に伝送されることを特徴とする方法。
25. 請求項１ないし請求項２４のいずれか１項に記載の方法であって、前記データ処理装置がゲーム機であることを特徴とする方法。
26. ゲーム機用のコントロール手段であって、
    広角画像をキャプチャできるように広角レンズ手段が接続された撮像手段を有し、前記広角レンズ手段は実質的に半球形の視野を提供し、前記広角画像から取得された画像特徴は前記ゲーム機上で実行されるソフトウェアに対する入力として解釈できることを特徴とするコントロール手段。
27. 請求項２６に記載のコントロール手段であって、前記撮像手段が、少なくとも１．５メガピクセルの広角画像を生成するように動作できる電荷結合素子を有することを特徴とするコントロール手段。
28. ゲームシステムであって、
    請求項２６または２７のいずれかに記載のコントロール手段と、
    前記コントロール手段に機能的に接続できるゲーム機と、
    を有するゲームシステムであって、
    更に、前記広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面（以後、ファセットと称する）にマッピングするように動作できる画像処理手段を有する、ゲームシステム。
29. 請求項２８に記載のゲームシステムであって、前記コントロール手段が画像処理手段を有することを特徴とするゲームシステム。
30. 請求項２８に記載のゲームシステムであって、前記ゲーム機が画像処理手段を有することを特徴とするゲームシステム。
31. 請求項２８ないし請求項３０のいずれか１項に記載のゲームシステムであって、前記画像処理手段が更に、マッピングされた前記広角画像の前記ファセットの１つあるいはそれ以上から画像特徴を取得するように動作できることを特徴とするゲームシステム。
32. 請求項２８ないし請求項３１のいずれか１項に記載のゲームシステムであって、前記画像処理手段が更に、マッピングされた前記広角画像の前記ファセットの１つあるいはそれ以上から次の画像特徴、すなわち、
    ｉ．実質的に線形なエッジ、
    ｉｉ．２以上の線形エッジが交差する点、
    ｉｉｉ．エッジの組によって形成される所定の形状
    のいずれかあるいはすべてを取得するように動作できることを特徴とするゲームシステム。
33. 請求項３１または請求項３２のいずれか１項に記載のゲームシステムであって、前記画像処理手段が更に、前記画像特徴に関して現行方位および／または位置を推定するように動作できることを特徴とするゲームシステム。
34. 請求項３１または請求項３２のいずれか１項に記載のゲームシステムであって、前記画像処理手段が更に、前記画像特徴に基づいて少なくとも第１のユーザの身体の少なくとも一部の位置を推定するように動作できることを特徴とするゲームシステム。
35. 請求項２８ないし請求項３４のいずれか１項に記載のゲームシステムであって、前記コントロール手段が無線通信手段によって前記ゲーム機に動作可能に接続されることを特徴とするゲームシステム。
36. 請求項１ないし請求項２５のいずれか１項の方法を実行するように動作できるゲーム機であって、画像処理プロセッサを有するゲーム機。
37. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると請求項１ないし請求項２５のいずれか１項に記載の方法をコンピュータに実行させるものであるデータ媒体。
38. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると前記コンピュータを請求項２６または請求項２７のいずれか１項に記載のコントロール手段として動作させるものであるデータ媒体。
39. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると前記コンピュータを請求項２８ないし請求項３５のいずれか１項に記載のゲームシステムのゲーム機として動作させるものであるデータ媒体。
40. コンピュータ可読な命令を含むデータ信号であって、前記命令はコンピュータにロードされると請求項１ないし請求項２５のいずれか１項に記載の方法を前記コンピュータに実行させるものであるデータ信号。
41. コンピュータ可読な命令を含むデータ信号であって、前記命令はコンピュータにロードされると前記コンピュータを請求項２６または請求項２７のいずれか１項に記載のコントロール手段として動作させるものであるデータ信号。
42. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると前記コンピュータを請求項２８ないし請求項３５のいずれか１項に記載のゲームシステムのゲーム機として動作させるものであるデータ媒体。
43. コンピュータ可読な命令であって、コンピュータにロードされると請求項１ないし請求項２５のいずれか１項に記載の方法を前記コンピュータに実行させるものであるコンピュータ可読な命令。
44. コンピュータ可読な命令であって、コンピュータにロードされると前記コンピュータを請求項２６または請求項２７のいずれか１項に記載のコントロール手段として動作させるものであるコンピュータ可読な命令。

Images