JP2009544389A - データ処理装置との対話装置および方法 - Google Patents

データ処理装置との対話装置および方法 Download PDF

Info

Publication number
JP2009544389A
JP2009544389A JP2009521328A JP2009521328A JP2009544389A JP 2009544389 A JP2009544389 A JP 2009544389A JP 2009521328 A JP2009521328 A JP 2009521328A JP 2009521328 A JP2009521328 A JP 2009521328A JP 2009544389 A JP2009544389 A JP 2009544389A
Authority
JP
Japan
Prior art keywords
image
wide
computer
facets
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009521328A
Other languages
English (en)
Other versions
JP5508007B2 (ja
Inventor
ヒューズ、コリン、ジョナサン
Original Assignee
ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド filed Critical ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド
Publication of JP2009544389A publication Critical patent/JP2009544389A/ja
Application granted granted Critical
Publication of JP5508007B2 publication Critical patent/JP5508007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ゲーム機などのデータ処理装置との対話方法であって、環境の広角画像をキャプチャするステップと、前記広角画像から画像特徴を取得するステップと、それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップとを有する対話方法。更に、広角画像から画像特徴を取得する前記ステップは、前記広角画像の1つあるいはそれ以上の領域を対応する1つあるいはそれ以上の平坦な画像平面にマッピングするステップと、マッピングされた広角画像の前記1つあるいはそれ以上の平面から画像特徴を取得するステップとを有する。広角画像に特有な特徴の位置依存性の歪み無しに、これらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができ、画像特徴を整合的に提示することができ、その結果ゲームなどのプロセスにモーションを入力できるのは都合が良い。
【選択図】図4

Description

本発明は、ゲーム機などのデータ処理装置との対話装置および方法に関し、特に、画像解析に基づいた対話装置および方法に関する。
ビデオゲーム機などの多くの娯楽装置は様々な周辺コントロール手段を有している。その中には、ジョイスティック、キーパッド、ジョイパッドや、さらにはゲームに特有のコントローラ、例えば、ステアリングホイール、ライトガン、ゴルフクラブなどが含まれる。
しかし、そのようなコントローラの物理的な操作は、それが提供できる対話(インタラクション)のタイプを本質的に限定することになる。通常、それはボタンを押すことや前もって約束された特定のアクション、例えばゴルフスウィングなど、に限定される。
ソニー(登録商標)のプレイステーション2(登録商標)ビデオゲーム機やプレイステーション3(登録商標)ビデオゲーム機など、最近のビデオゲーム機は、アイトイ(登録商標)などの光学的な周辺コントローラも呼び物にしている。アイトイは、ユーザの身体の動き(モーション)によってゲームのコントロールを可能にし、それによってゲームとの新しい対話手段を提供している。そのようなコントローラは、典型的には、ゲームを表示するテレビの上に置かれる構成とされており、その位置でコントローラはプレイヤーをいわば観察することができる。それで、プレイヤーの画像がゲームの環境内に組み込まれ、その環境に対して動くことによりゲームと対話することができるようになっている。
本発明は、ゲーム機などの娯楽装置と対話する更なる手段を提供する。
本発明の第1の側面によれば、ゲーム機との対話方法であって、
環境の広角画像をキャプチャするステップと、
前記広角画像から画像特徴を取得するステップと、
それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップと、
を有し、
更に、広角画像から画像特徴を取得する前記ステップは、
前記広角画像の1つあるいはそれ以上の領域を対応する1つあるいはそれ以上の平坦な画像平面(以後、ファセットと称する)にマッピングするステップと、
マッピングされた広角画像の前記1つあるいはそれ以上のファセットから画像特徴を取得するステップと、
を有する、
ことを特徴とする対話方法が提供される。
これらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができ、画像モーションを整合的に解析することができ、その結果ゲームなどのプロセスにモーションを入力することができるのは都合が良い。
本発明の第2の側面によれば、コントロール装置であって、広角画像をキャプチャできるように広角レンズ手段が接続された撮像手段を有し、前記広角レンズ手段は実質的に半球形の視野を提供し、前記広角画像から取得された画像特徴はゲーム機上で実行されるソフトウェアに対する入力として解釈できることを特徴とするコントロール装置が提供される。
特徴をこのように組み合わせることにより、対話方法によって利用される環境の広角画像が提供される。
本発明の一実施形態によるコントローラとデータ処理装置を示すブロック図である。 本発明の一実施形態による広角画像の光景とその光景の画像キューブの5つの側面へのマッピングとを比較するブロック図である。 本発明の一実施形態による画像処理方法を示すフローチャートである。 本発明の一実施形態による、環境の画像キューブへのマッピングを示す三つのブロック図の組である。 本発明の一実施形態による、画像キューブの面上における画像モーションの軸を示すブロック図である。 本発明の一実施形態による、環境の画像キューブへのマッピングを示す三つのブロック図の組である。 本発明の一実施形態による画像処理方法を示すフローチャートである。
以下、添付図面を参照しながら、本発明の実施形態を例として説明する。
ゲーム機との対話方法およびそれに対応するコントローラ装置を開示する。以下の説明においては本発明の実施形態を十分に理解してもらうために多くの特定の詳細が示される。しかし、本発明を実施するためにこれら特定の詳細の採用が必須でないことは当業者には明らかであろう。一方、実施形態を明瞭に示すという目的のために、当業者に既知の特定の詳細は省かれている。
図1を参照すると、本発明の一実施形態において、ゲーム機などのホストデータ処理装置110に対して周辺コントロール手段100が提供されている。
周辺コントロール手段100(以下、「コントローラ」と称する)は、広角レンズ101と、電荷結合素子(CCD)などの撮像手段102と、撮像手段102に対して動作可能に接続された画像処理プロセッサ103と、データをデータ処理装置110に伝送するために画像処理プロセッサ103に対して動作可能に接続されたワイファイ(wi−fi)やブルートゥース(登録商標)などの伝送手段104とを有している。
広角レンズ101は、撮像手段102に軸心合わせされたほぼ半球形の視野を提供することが好ましい。広角レンズは、例えば、魚眼レンズ、あるいは先端を切断したピラミッド型などの多面レンズ、あるいは適切な形状の同心フレネルレンズあるいはレンチキュラーレンズなど、任意の適切なレンズ、あるいは複数レンズの配列とすることができる。
本発明の一実施形態においては、ゲーム機などのデータ処理装置との対話方法は、CCDから広角画像を得る第一ステップを有している。この目的のためにCCDは広角レンズと組み合わせて配列され、広角画像がCCDに入射されてキャプチャされるようになっている。
次いで、この画像が処理される。
本発明の一実施形態においては、撮像手段102によりキャプチャされた広角画像は、更に処理されないで(あるいは、任意の選択として、図示されていない既知の圧縮手段により圧縮された後)、まずデータ処理装置110に伝送される。それに続いて、受信データ手段114によるデータの受信に引き続いて、処理装置110の画像処理プロセッサ113により画像処理が行なわれる。そのような実施形態の場合には、コントローラは画像処理プロセッサ103を必ずしも必要としない。
本発明の別の実施形態では、撮像手段102によりキャプチャされた広角画像はコントローラ100において画像処理プロセッサ103により処理され、この処理の出力がデータ処理装置110に伝送される。
本発明の更に別の実施形態では、画像処理タスクはコントローラ100とデータ処理装置110の画像処理プロセッサ(103,113)間で引き渡され、その処理の第一部はコントローラ100の画像処理プロセッサ103により実行され、第二部はデータ処理装置110の画像処理プロセッサ113によって実行される。
従って、以下の説明における画像処理プロセッサへの言及は、どちらかの画像処理プロセッサ(103,113)に対するものであり、そのようなプロセッサの動作方法への言及は、適用できるどちらかあるいは両方の画像処理プロセッサの動作に対して、全面的にあるいは部分的に当てはめ可能であることは明らかであろう。
さて、図2および図3を参照すると、本発明の一実施形態において、画像処理プロセッサ(103,113)は、図2に示されているような広角画像を図3に列挙される以下の方法ステップによって処理するように、その動作が構成されている。
広角画像210のそれぞれの領域は、コントローラ100がトーチのように手に保持されている状況を考えて、概念的に次のように名前が付けられている:(F)正面あるいは中心軸ビュー、(T)頂部の天井ビュー、(B)底面の床ビュー、(L)左ビュー、(R)右ビュー。
次いで、図3のステップs1で、これらの領域を平面にマッピングすることにより、広角レンズに起因する画像のゆがみを減少する。ディジタル画像の有効投影を変換する画像変換は既知であり、例えば環境マッピングがそうである。従来の環境マッピングでは、平坦なテクスチャ上の点のアレイを任意の形状の対応する点にマッピングすることにより、そのテクスチャをその形状の周りに「ラッピング」することができる。ステップs1では逆の処理が適用され、ゆがんだ画像内の一組の点が平面へと変形される(例えば、http://www.worldserver.com/turk/quicktimevr/fisheye.htmlおよびNed Greene, Environment Mapping and Other Applications of World Projections(ネッド・グリーン、環境マッピングおよび世界投影の他の応用), IEEE Computer Graphics and Applications, November 1986, vol. 6, no.11, pp. 21-29を参照)。図2では、歪んだ画像の5つの領域に対し5つの平面が用いられている。
先に言及したレンズ配列のどれから得られた画像であっても、それらの画像をマッピングするための変換を生成できることは、当業者には明らかであろう。
デフォルトでは、先に言及した5つの領域は、5つの平面、すなわち、画像キューブ220の5つの面すなわちファセットを構成し又それぞれの領域に対応している5つの平面にマッピングされるのが好ましい。
このようにマッピングされた領域がキューブの各頂点において正確に接続している必要はなく、オーバーラップしてもよいし、ギャップがあってもよいことは明らかであろう。
又、すべての領域を処理する必要はなく、例えば、天井ビューに本質的に特徴のない場合などはすべての領域を処理する必要がないことも明らかであろう。同様に、アプリケーションにとって正面領域だけが関係している場合、他のすべての領域は無視してもよい。
又、ファセットが部屋の正面、頂部面、底部面、左面、あるいは右面に一致することが必要条件でないことも明らかであろうが、これについては更に説明することにする。
さて、図4を参照すると、あるゲーム用シナリオに関してマッピング処理の効果が示されている。
図4において、コントローラ100はユーザの手中にトーチのように保持されており、典型どおりユーザはゲーム(感嘆符によって表わされている)を表示しているTV画面に向かい合っている。その結果得られる広角画像410は、ユーザ前方の部屋の特徴を実質的にすべてキャプチャしている。領域F、B、T、L、Rを対応する平面にマッピングすることによって画像の歪みが除去され、部屋の各特徴が画像キューブ420のファセット内に配置される。それらのファセットは、通常、壁や天井や床などの、部屋の適切な部分に近似的に対応している。
4つの領域を三角プリズムへマッピングするなど、他の領域や形状が可能であることは明らかであろう。しかし、キューブ(立方体)は部屋の典型的な形状に対して一層容易に一致するので好ましい。
ステップs2では、画像キューブ420の1つあるいはそれ以上のファセットが解析され、画像の特徴が抽出される。
本発明の一実施形態においては、サブステップs2.1において、ファセットにマッピングされた画像領域に対して、その画像領域内の輝度および/またはクロミナンスの変化に基づいてエッジ検出処理を行なう。業界では多くのエッジ検出アルゴリズムが知られており、例えば、ソーベル演算子(オペレータ)、キャニー演算子、ピラミッド演算子、ラプラス演算子などを挙げることができる。
短いエッジあるいは断片的なエッジよりもむしろ意味のあるエッジを強める演算子、例えばピラミッド演算子など、が好ましい。この演算子は(キャニー演算子あるいはソーベル演算子など任意の他の適切なエッジ検出手段を用いて)エッジ検出する前に画像のデシメーションを行ない、それにより比較的大きなエッジ特徴のみを検出する。これらの特徴の識別が完了すると、より正確なエッジ評価を本来のスケールの画像に対して行なうという目的で、検出された大きなエッジ特徴に対応する領域においてのみ本来のスケールの画像にエッジ検出を適用する。
オプションとして、画像に見られる大きなエッジ特徴の数が非常に少ない場合に少なくとも最小限の数のエッジを検出できるように、デシメーションの度合いを調整可能としてもよい。
このようにして得られたエッジに対して、サブステップs2.2において、画像特徴として次のいずれかあるいはすべてが選択される。
i.実質的に線形なエッジ
ii.2あるいはそれ以上の線形エッジが交わる点
iii.エッジの組により形成される所定の形状
実質的に線形なエッジは、実質的に同一直線上にある少なくとも3つのエッジ点(即ち、エッジ検出アルゴリズムによってエッジに対応すると識別される点)を有するものと定義される。このような3点は、直線当てはめ(ラインフィッティング)アルゴリズムを用いて評価することができ、所定の許容誤差内の適合度であれば、それらの点は同一直線上にある(共線)と見なされる。次いで、隣接した点を、確立された共線点である2点あるいはそれ以上の点との関連で、あるいは推定された直線に対して、評価することができ、そのようにして線形エッジを大きくし、完成することができる。
オプションとして、線形エッジを選択するために、画像寸法に対して最小の長さのしきい値を設けることもできる。やはりオプションとして、モーションを評価する際に(下記参照)、線形エッジに寄与するエッジ点の数を、比較特徴としてそれに付与する重みあるいは重要さの指標と見なすこともできる。
エッジの組み合わせにより形成される所定の形状は、スケールに依存しないテンプレートマッチングなど任意の適切な画像マッチング手段により識別することができ、あるいは、ハフ(Hough)変換やブレセンハム(Bresenham)変換などの一般化したラインフィッティング手段を用いて識別することもできる。
あるいは、直線、直線の交点および/または形状の認識は、訓練可能な発見的手法によって行なうこともできるし、あるいは製造時に画像プロセッサに組み込まれる人工神経回路網などのアルゴリズムかゲーム機上で現在動作しているアプリケーションにより使用時に構成されるアルゴリズムによって行なうことができる。
次に図5を参照すると、本発明の一実施形態において、ステップs3では、解析された各ファセットに関して結果として得られた特徴を用いて、コントローラ100の位置および方位に関する基準が提供される。
図5に示されているように、解析されたそれぞれのファセットは、環境(例えば、部屋)の幾つかの特徴を二次元に位置決めする手段を提供する。
従って、例えば、画像キューブ420の5つのファセットが利用できる場合の運用では、各ファセットの特徴の初期分析を用いて、部屋の環境の中の画像特徴の初期位置が決定され、また、それらの特徴を参照基準とする初期位置および/または方位が確立される。このような初期処理は、例えば、ゲームのキャリブレーション段階あるいはセットアップ段階で実行することができる。
その後の使用において、コントローラ100のモーションを追跡するために、ステップs4で、コントローラ100の現行(現在の)位置および/または方位を、それらの特徴を参照して再評価することができる。
本発明の一実施形態においては、これを達成するために、所定のファセットに関する方位および位置をそれぞれ決定するために、画像を回転および/または平行移動できる機能のある適用可能な画像変換を用いることができる。
所定のファセット上に連続的に(継続的に)マッピングされる画像に関して、先行する画像をその画像変換によって変形することにより推定(予測)画像を生成し、次いで、その画像を現行(現在の)画像と比較する。次に、推定画像と現行画像との誤差を、画像変換の回転および/または平行移動モデルを制御するパラメータを調整することによって最小化する(勿論、現実問題として、この表現は「減少させる」ことを含んでいる)。これは、傾斜降下法などの誤差最小化法によって行なわれる。
誤差最小化処理が終了する時、回転および/平行移動のパラメータの値が、連続する画像間の区間(インターバル)におけるそのファセット上の特徴に関するコントローラ100のモーションの指標となる。
次いで、このモーションを複数のファセットにわたって、また、複数の連続する画像フレームにわたって組み合わせることにより、コントローラ100がどのように使用されているかを解釈する。
例えば、コントローラ100はゲーム内で仮想的なトーチとして用いられているかもしれず、その場合、コントローラの方位は画面上のキャラクタにより使用されるトーチの方向を知らせるために使用される。同様に、コントローラ100は銃として用いられているかもしれない。
より一般的には、コントローラ100をコンピュータのマウスなどのような指示器として用いることができ、異なる方向あるいは方位への動きを、風景をパンするコマンド、あるいはあるテキストをスクロールするコマンド、あるいはゲームパラメータを調整するコマンドなどのコマンドとして解釈することができる。
同様に、コントローラ100を、特定のアクションとして認識されるモーションパターンを用いて身振り(ジェスチャー)コマンドを与えるために用いることができ、例えば、コントローラ100をゲームで魔法をかけるための仮想的な魔法の杖として用いることを可能にしたり、ユーザの名前やイニシャルを空中に書いてゲームに組み込むことを可能にしたりする。
コントローラ100のモーションを利用して、またオプションとしてコントローラ100の算定速度あるいは加速度を利用することにより、仮想的なゴルフクラブや釣竿、あるいは剣や斧のような戦闘兵器の役割をコントローラ100が果たすようにすることもできる。
最後の点として、コントローラ100によって、ゲーム機とのこの対話モードに特有の新しいゲームが可能になる。例えば、狭い径路に沿ったユーザの動きを追跡するために3D空間におけるコントローラ100の軌跡を利用する「ワイヤに沿って触らずに進む」仮想ゲームなどである。
察知されるであろうが、上記の利用のあるものの場合、コントローラ100の動きが90度もの回転となり、それによって環境の特徴が画像キューブ420の異なるファセットにマッピングされる場合があり得る。しかし、画像取得速度が回転速度に比べて速ければ、先に説明したモーションの情報を提供するために依然として画像ごとに追跡できるファセット上の画像領域で特徴が旋回することができ、問題となりそうにない。
あるいは、参照基準である特徴要素のしきい値を超える割合(部分)が現行ファセットの縁に達した場合、マッピングそれ自体を特徴の平行移動の方向に90度回転することもできる。
更に、このことは、そのような平行移動が平行移動の方向と合致するすべてのファセット上に見いだされ、単にコントローラ100に関する1つの環境的特徴のモーションではなく、環境内のコントローラ100のモーションを示している場合にのみ生じ得る。
都合の良いことに、一般的に、多数のファセットによる冗長性によって、コントローラ100は室内を動く他の人々の存在に対してより頑強となる。
従って、ゲームのコンフィギュレーションセッションの際に、あるいは、コントローラが有意な動きをしていない時に、Bファセット、Tファセット、LファセットおよびRファセットの概念上の方位をレンズの軸の周りに回転して、部屋などの環境の特徴を、各画像領域の中心に置くことができることが、当業者には明らかであろう。従って、例えば、ユーザがレンズの軸に対して任意の回転方向にコントローラを持ち上げ、窓などの輝度の強い特徴が2つのファセットにより二分されると、それらのファセットを回転してその窓が1つのファセットの中心となるようにすることができ、それによって、画像ファセットと部屋の壁との間にふさわしい相関関係を確立し、以後のモーションの追跡を単純化することができる。
本発明の別の実施形態では、コントローラ100の広角レンズ101と反対の端部にある固定手段(図示されていない)に、ゲーム内の使用物(魔法の杖や、剣や、ゴルフクラブなど)を表わす装飾的な要素を付着することができる。この実施形態では、ユーザが装飾要素がユーザから離れる方を向くようにコントローラを保持する場合、識別されるエッジ特徴がユーザを含んだり、時々ユーザによって不明瞭となったりすることは明らかである。しかし、先に注目したように、ファセットを画像キューブ220として配列することは、利用できる特徴の数に冗長性があることを意味し、時々不明瞭になるエッジに対して位置および/または方位の決定を頑強なものとする。
更に別の実施形態では、ゲームに適切な使用モード(例えば、1つのファセットを無視するモードや生ビデオデータを伝送するモードなど)を決定するためのスイッチ手段を固定手段が有しており、装置が適切に構成されるように装飾要素はそのスイッチ手段に係合する形状とされている。
それと異なり、あるいはそれに加えて、本発明の一実施形態では、伝送手段104が受信手段をも有しており、ホストデータ処理装置からコンフィギュレーションデータを受信して、補足的なビデオデータを伝送すべきかどうかやあるファセットだけを処理すべきかどうかなどといった、使用モードを決定するように動作することができる。
次に、図6を参照すると、本発明の一実施形態では、コントローラ100が第2のモードで使用することができ、その第2モードでは手に保持される代わりに、1人のプレイヤーの前の床、あるいは2人以上のプレイヤー間の中心の床などの面に置かれる。この動作モードで得られる広角画像は、画像の中心点の周りに歪んだプレイヤーを示す。領域F、B、T、LおよびRを対応する平面にマッピングすることにより歪みが除去され、各プレイヤーが画像キューブ620の別個のファセットに配置される。
プレイヤーがコントローラの周りに均等に配置されていない場合、先に説明されたような画像特徴の検出を利用して各プレイヤーを取り囲む領域を決定し、対応するファセットにマッピングすることができることは、明らかであろう。
同様に、4人以上のプレイヤーの場合、オプションとして、キューブに代えてプレイヤーと同じ数の側面を有する多角柱を用いることができることも明らかであろう。4人より少ないプレイヤーの場合は未使用の領域は無視することができ、3人の場合はオプションとして三角柱を用いることができる。
この動作モードにおいて、先に説明された方法を用いて得られる画像特徴は、各プレイヤーの輪郭のすべてあるいは一部を含んでいる。これらの特徴を追跡することにより、プレイヤーの動きが明らかにされる。次いで、これらの動きは、例えばダンスの動きやスパーリングの動きなど、ゲームに関連したアクションとして解釈することができる。
それで、図7を参照して、この実施形態における動作方法次のように要約することができる。画像をマッピングし、画像特徴を得るステップは、手に保持するモード(ハンドヘルドモード)の場合のコントローラについて先に説明したものと実質的に同じである。
次に、ステップs3Aで、プレイヤーあるいは複数のプレイヤーに関連した画像特徴が識別される。例えば、ゲームのコンフィギュレーションセッションの際に、あるいはウォームアップ段階の一部として、各プレイヤーに手足の各々を順に動かすように要請することにより、当該の手足に対応する有意なエッジの識別が可能となる。代わりに、あるいはそれに加えて、骨格モデルに最も一致するエッジを、基準画像特徴として選択する。このようにして、プレイヤーの身体のすべてあるいは一部をゲームの目的のために識別することができる。
ステップs4Aでは、プレイヤーあるいは複数のプレイヤーの動きが追跡される。これは、コントローラに関して全体的な動きを決定するためのハンドヘルドモードのステップs4の場合のように行なうことができ、および/または、各プレイヤーの画像特徴(例えば、1つあるいはそれ以上の肢体の中心線の推定値など)をそのエッジに基づいてパラメータ記述することによって行なうことができる。ラインモーションを特徴付けるための他の方法は当業者には明らかであろう。
ステップs5Aでは、プレイヤーの動きの情報がホストデータ処理装置、今の場合はゲーム機、に伝送される。
オプションとして、プレイヤーを描写した画像データも伝送することができ、それによってプレイヤーをゲーム内に組み込むことが可能となる。プレイヤーを別々のファセットにマッピングすることにより、部屋におけるプレイヤーの物理的な配置にかかわらず、プレイヤーを側面ごとに表示すること、あるいは任意の画面上の配列で表示することが容易となる。
各プレイヤーに関して十分な解像度の画像データを提供するために、撮像手段102が高解像度CCDであることが好ましいことは明らかであろう。例えば、現行のアイトイ(登録商標)装置のCCDの場合の640×480ピクセルの解像度に対し少なくとも5倍の解像度であることが好ましく、その場合、好ましいCCD解像度は少なくとも1.5メガピクセルとなる。そこで本発明の一実施形態では互換モードも利用でき、その場合、アイトイ(登録商標)装置の出力に対して互換の(すなわち、下位互換の)データを提供するために、1つのファセットだけが処理される。
ハンドヘルド動作モードあるいは中央設置動作モードのどちらに関しても、処理方法がコントローラの画像処理プロセッサとホストデータ処理装置の画像処理プロセッサで共通である場合、コントローラによって伝送されるデータは、ホストデータ処理装置上で実行されている方法の次のステップに対する入力として十分に役立つデータである。生画像データや処理されたモーションデータのほかに、中間データもそのようなデータとなり得る。
従って、本発明の実施形態において、任意の適切な仕方で画像処理およびそれに必要な手段をコントローラ100内に置くこともできればホストデータ処理装置110内に置くこともでき、あるいはそれら2つの間に分散できることは明らかであろう。同様に、コントローラ100およびホストデータ処理装置110の両方が完全な画像処理プロセッサ(103,113)を有することができるが、ここに説明された画像処理方法はもっぱらプロセッサのどちらかによって実行することもできるし、2つのプロセッサで分担することもできる。例えば、コントローラの画像処理プロセッサ103が広角画像を5つのファセットにマッピングし、次にそれらをホストデータ処理装置の画像処理プロセッサに伝送して更に処理することができる。
このように、本発明は任意の適切な仕方で実行して、コントローラとホスト処理装置との間に適切な装置あるいは動作を提供することができる。特に、コントローラという形態の単一個別要素として構成することができ、あるいは従来のホストデータ処理装置に追加される1つあるいはそれ以上の付加的要素に接続することもできる。あるいは、従来のホストデータ処理装置の既存部品を更に適応させることによって、例えば画像処理プロセッサ113に関するソフトウェアの再構成などによって、実現することもできる。
このように、従来のホストデータ処理装置の既存部品を適応させることには、その中の1つあるいはそれ以上のプロセッサの再プログラミングを含めることができる。そのような場合、必要とされる適応はコンピュータプログラム製品の形態で実現することができ、その製品は、フロッピー(登録商標)ディスク、光ディスク、ハードディスク、PROM、RAM、フラッシュメモリ、あるいはこれらあるいは他の記憶媒体の任意の組み合わせなどのデータ媒体に記憶されたプロセッサ実行可能命令、あるいはイーサネット(登録商標)、無線ネットワーク、インターネットあるいはこれらあるいは他のネットワークの任意の組み合わせによるネットワーク上のデータ信号によって伝送されたプロセッサ実行可能命令を含むものである。
最後に、本発明のそれぞれの実施形態によれば次の利点の幾つかあるいはすべてを実現できることが明らかであろう。
i. ゲーム機などのデータ処理装置との対話方法であって、広角画像の1つあるいはそれ以上の領域を対応する1つあるいはそれ以上の平坦な画像平面にマッピングすることにより、それらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができる対話方法。
ii. 広角画像に特有な位置に依存する歪みを減少させることにより、平坦な画像平面によって画像特徴の整合的な解析が可能となり、そしてその結果ゲームなどのプロセスへのモーションの入力が可能である対話方法。
iii. 環境の画像を解析することにより環境内の自由な動きを検出することが可能なハンドヘルドコントローラ。
iv. 使用される環境特徴の冗長性のゆえに環境内の閉鎖状態および局所的なモーションに対して頑強なコントローラ。
v.広角画像を作り出すコントローラであって、その広角画像をマッピングして、ゲーム内に典型的には複数のプレイヤーを再生するために環境の別々の光景を提供することができ、ゲーム内に複数のプレイヤーを歪み無く表示することができるコントローラ。

Claims (44)

  1. ゲーム機との対話方法であって、
    環境の広角画像をキャプチャするステップと、
    前記広角画像から画像特徴を取得するステップと、
    それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップと、
    を有し、
    更に、広角画像から画像特徴を取得する前記ステップは、
    前記広角画像の1つあるいはそれ以上の領域を対応する1つあるいはそれ以上の平坦な画像平面(以後、ファセットと称する)にマッピングするステップと、
    マッピングされた広角画像の前記1つあるいはそれ以上のファセットから画像特徴を取得するステップと、
    を有する、
    ことを特徴とする対話方法。
  2. 請求項1に記載の方法であって、前記広角画像が実質的に半球形であることを特徴とする方法。
  3. 請求項1または2に記載の方法であって、5つのファセットが存在し、共になってキューブの5つの平面を形成することを特徴とする方法。
  4. 請求項1ないし3のいずれか1項に記載の方法であって、更に、前記ファセットの1つあるいはそれ以上においてエッジ検出を行なうことにより前記画像特徴を取得するステップ、を有することを特徴とする方法。
  5. 請求項4に記載の方法であって、前記エッジ検出が、
    i.輝度、および
    ii.クロミナンス
    のいずれかあるいは両方の変化に基づくことを特徴とする方法。
  6. 請求項4または5に記載の方法であって、前記エッジ検出が、
    i.ソーベル演算子、
    ii.キャニー演算子、
    iii.ピラミッド演算子、
    iv.ラプラス演算子
    のいずれかあるいはすべてを用いることを特徴とする方法。
  7. 請求項4ないし請求項6のいずれか1項に記載の方法であって、更に、
    次のエッジタイプ、すなわち、
    i.実質的に線形なエッジ、
    ii.2以上の線形エッジが交差する点、
    iii.エッジの組によって形成される所定の形状
    のいずれかあるいはすべてを選択するステップ、
    を有することを特徴とする方法。
  8. 請求項7に記載の方法であって、実質的に共線な3以上のエッジ点を識別することにより実質的に線形なエッジを決定することを特徴とする方法。
  9. 請求項7または請求項8に記載の方法であって、前記所定の形状が、
    i.テンプレートマッチング、
    ii.ハフ変換、
    iii.ブレセンハム変換
    のいずれかあるいはすべてによって識別されることを特徴とする方法。
  10. 請求項1ないし請求項9のいずれか1項に記載の方法であって、前記ファセットの1つあるいはそれ以上から取得された画像特徴からその画像特徴に関して、
    i.初期方位、
    ii.初期位置
    のいずれかあるいは両方を推定するステップ、を有することを特徴とする方法。
  11. 請求項10に記載の方法であって、更に、前記ファセットの1つあるいはそれ以上から取得された画像特徴から、
    i.現行方位、
    ii.現行位置
    のいずれかあるいは両方を再推定するステップ、を有することを特徴とする方法。
  12. 請求項11に記載の方法であって、選択された画像特徴の相対的な動きを継続的な画像にわたって追跡することにより、
    適用可能な先行の方位および位置に対して
    i.方位、
    ii.位置
    のいずれかあるいは両方の変化を決定する、ことを特徴とする方法。
  13. 請求項12に記載の方法であって、選択された画像特徴の前記相対的な動きの決定が、
    i.方位パラメータ、
    ii.平行移動パラメータ
    のいずれかあるいは両方を含む画像変換を生成し、該画像変換によって処理されることにより先に取得された画像特徴に基づく現行画像特徴の推定と現行画像特徴との間の誤差をパラメータ的に最小にすることによって決定されることを特徴とする方法。
  14. 請求項12または請求項13のいずれかに記載の方法であって、動きの継続的な推定を組み合わせてゲームへの入力とすることを特徴とする方法。
  15. 請求項14に記載の方法であって、入力が、
    i.トーチあるいは銃、
    ii.コンピュータマウス
    iii.魔法の杖あるいはジェスチャー用装置、
    iv.ゴルフクラブ、
    v.釣竿、
    vi.戦闘兵器、
    vii.3D空間の点
    のいずれかの動きを表わすことができる方法。
  16. 請求項1ないし請求項9のいずれか1項に記載の方法であって、前記ファセットの1つあるいはそれ以上から取得された画像特徴から、少なくとも第1のユーザの身体の少なくとも一部の位置を推定するステップを有することを特徴とする方法。
  17. 請求項16に記載の方法であって、更に、継続的な画像の前記ファセットの少なくとも1つあるいはそれ以上からの画像特徴を比較することにより少なくとも第1のユーザの動きを追跡するステップを有することを特徴とする方法。
  18. 請求項16または請求項17のいずれかに記載の方法であって、前記広角画像のマッピングが、広角画像内の複数のユーザの各々がそれぞれ別個のファセットにマッピングされるものであることを特徴とする方法。
  19. 請求項18に記載の方法であって、それぞれ別個のファセットに画像がマッピングされる複数のユーザの1人あるいはそれ以上がゲーム内に表示されることを特徴とする方法。
  20. 請求項1ないし請求項19のいずれか1項に記載の方法であって、
    i.広角画像の1つあるいはそれ以上のファセットへのマッピング、
    ii.1つあるいはそれ以上のファセットから画像特徴の取得、
    iii.前記画像特徴に関する現行方位および/または位置の推定
    を含む処理シーケンスが、ホストデータ処理装置が周辺コントロール手段から伝送された広角画像を受信するとホストデータ処理装置の画像処理手段により実行されることを特徴とする方法。
  21. 請求項1ないし請求項18のいずれか1項に記載の方法であって、
    i.広角画像の1つあるいはそれ以上のファセットへのマッピング、
    ii.1つあるいはそれ以上のファセットから画像特徴の取得、
    iii.前記画像特徴に関する現行方位および/または位置の推定
    を含む処理シーケンスが周辺コントロール手段の画像処理手段によって実行されることを特徴とする方法。
  22. 請求項21に記載の方法であって、方位および/または位置情報が前記周辺コントロール手段からホストデータ処理装置に伝送されることを特徴とする方法。
  23. 請求項1ないし請求項18に記載の方法であって、
    i.広角画像の1つあるいはそれ以上のファセットへのマッピング、
    ii.1つあるいはそれ以上のファセットから画像特徴の取得、
    iii.前記画像特徴に関する現行方位および/または位置の推定
    を含む処理シーケンスが、処理シーケンスの任意の点において、第一に周辺コントロール手段そして第二にホストデータ処理装置において分担されることを特徴とする方法。
  24. 請求項23に記載の方法であって、処理シーケンスの次のステップに関連する情報が前記周辺コントロール手段からホストデータ処理装置に伝送されることを特徴とする方法。
  25. 請求項1ないし請求項24のいずれか1項に記載の方法であって、前記データ処理装置がゲーム機であることを特徴とする方法。
  26. ゲーム機用のコントロール手段であって、
    広角画像をキャプチャできるように広角レンズ手段が接続された撮像手段を有し、前記広角レンズ手段は実質的に半球形の視野を提供し、前記広角画像から取得された画像特徴は前記ゲーム機上で実行されるソフトウェアに対する入力として解釈できることを特徴とするコントロール手段。
  27. 請求項26に記載のコントロール手段であって、前記撮像手段が、少なくとも1.5メガピクセルの広角画像を生成するように動作できる電荷結合素子を有することを特徴とするコントロール手段。
  28. ゲームシステムであって、
    請求項26または27のいずれかに記載のコントロール手段と、
    前記コントロール手段に機能的に接続できるゲーム機と、
    を有するゲームシステムであって、
    更に、前記広角画像の1つあるいはそれ以上の領域を対応する1つあるいはそれ以上の平坦な画像平面(以後、ファセットと称する)にマッピングするように動作できる画像処理手段を有する、ゲームシステム。
  29. 請求項28に記載のゲームシステムであって、前記コントロール手段が画像処理手段を有することを特徴とするゲームシステム。
  30. 請求項28に記載のゲームシステムであって、前記ゲーム機が画像処理手段を有することを特徴とするゲームシステム。
  31. 請求項28ないし請求項30のいずれか1項に記載のゲームシステムであって、前記画像処理手段が更に、マッピングされた前記広角画像の前記ファセットの1つあるいはそれ以上から画像特徴を取得するように動作できることを特徴とするゲームシステム。
  32. 請求項28ないし請求項31のいずれか1項に記載のゲームシステムであって、前記画像処理手段が更に、マッピングされた前記広角画像の前記ファセットの1つあるいはそれ以上から次の画像特徴、すなわち、
    i.実質的に線形なエッジ、
    ii.2以上の線形エッジが交差する点、
    iii.エッジの組によって形成される所定の形状
    のいずれかあるいはすべてを取得するように動作できることを特徴とするゲームシステム。
  33. 請求項31または請求項32のいずれか1項に記載のゲームシステムであって、前記画像処理手段が更に、前記画像特徴に関して現行方位および/または位置を推定するように動作できることを特徴とするゲームシステム。
  34. 請求項31または請求項32のいずれか1項に記載のゲームシステムであって、前記画像処理手段が更に、前記画像特徴に基づいて少なくとも第1のユーザの身体の少なくとも一部の位置を推定するように動作できることを特徴とするゲームシステム。
  35. 請求項28ないし請求項34のいずれか1項に記載のゲームシステムであって、前記コントロール手段が無線通信手段によって前記ゲーム機に動作可能に接続されることを特徴とするゲームシステム。
  36. 請求項1ないし請求項25のいずれか1項の方法を実行するように動作できるゲーム機であって、画像処理プロセッサを有するゲーム機。
  37. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると請求項1ないし請求項25のいずれか1項に記載の方法をコンピュータに実行させるものであるデータ媒体。
  38. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると前記コンピュータを請求項26または請求項27のいずれか1項に記載のコントロール手段として動作させるものであるデータ媒体。
  39. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると前記コンピュータを請求項28ないし請求項35のいずれか1項に記載のゲームシステムのゲーム機として動作させるものであるデータ媒体。
  40. コンピュータ可読な命令を含むデータ信号であって、前記命令はコンピュータにロードされると請求項1ないし請求項25のいずれか1項に記載の方法を前記コンピュータに実行させるものであるデータ信号。
  41. コンピュータ可読な命令を含むデータ信号であって、前記命令はコンピュータにロードされると前記コンピュータを請求項26または請求項27のいずれか1項に記載のコントロール手段として動作させるものであるデータ信号。
  42. コンピュータ可読な命令を含むデータ媒体であって、前記命令はコンピュータにロードされると前記コンピュータを請求項28ないし請求項35のいずれか1項に記載のゲームシステムのゲーム機として動作させるものであるデータ媒体。
  43. コンピュータ可読な命令であって、コンピュータにロードされると請求項1ないし請求項25のいずれか1項に記載の方法を前記コンピュータに実行させるものであるコンピュータ可読な命令。
  44. コンピュータ可読な命令であって、コンピュータにロードされると前記コンピュータを請求項26または請求項27のいずれか1項に記載のコントロール手段として動作させるものであるコンピュータ可読な命令。
JP2009521328A 2006-07-25 2007-07-17 データ処理装置との対話装置および方法 Active JP5508007B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0614783.9 2006-07-25
GB0614783A GB2440993C (en) 2006-07-25 2006-07-25 Apparatus and method of interaction with a data processor
PCT/GB2007/002685 WO2008012502A1 (en) 2006-07-25 2007-07-17 Apparatus and method of interaction with a data processor

Publications (2)

Publication Number Publication Date
JP2009544389A true JP2009544389A (ja) 2009-12-17
JP5508007B2 JP5508007B2 (ja) 2014-05-28

Family

ID=37006138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009521328A Active JP5508007B2 (ja) 2006-07-25 2007-07-17 データ処理装置との対話装置および方法

Country Status (5)

Country Link
US (1) US8241125B2 (ja)
EP (1) EP2044503B1 (ja)
JP (1) JP5508007B2 (ja)
GB (2) GB2440993C (ja)
WO (1) WO2008012502A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
EP1988451A1 (en) * 2007-05-04 2008-11-05 Deutsche Thomson OHG Method for generating a set of machine-interpretable instructions for presenting media content to a user
EP2173444A2 (en) 2007-06-14 2010-04-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
EP2579955B1 (en) 2010-06-11 2020-07-08 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9060136B1 (en) 2010-06-14 2015-06-16 Open Invention Network, Llc Advanced gameplay system
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
AT514174B1 (de) * 2013-03-04 2015-06-15 B & D Buchta Und Degeorgi Mechatronik Gmbh Kamerasystem zur Herstellung von Panoramaaufnahmen
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
US10580055B2 (en) * 2016-10-13 2020-03-03 International Business Machines Corporation Identifying physical tools to manipulate physical components based on analyzing digital images of the physical components
US10217031B2 (en) * 2016-10-13 2019-02-26 International Business Machines Corporation Identifying complimentary physical components to known physical components
CN112541861B (zh) * 2019-09-23 2024-05-24 华为技术有限公司 图像处理方法、装置、设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004537777A (ja) * 2001-05-14 2004-12-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ リアルタイムのコンテンツのストリームと対話するための装置
US20050208999A1 (en) * 2004-03-17 2005-09-22 Zeroplus Technology Co., Ltd [game control system and its control method]

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JPH08279999A (ja) * 1995-02-22 1996-10-22 Internatl Business Mach Corp <Ibm> テレビ会議マルチメディア・システム
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US5704736A (en) * 1995-06-08 1998-01-06 Giannetti; Enrico R. Dove-tail end mill having replaceable cutter inserts
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
AU2002215743A1 (en) * 2000-12-07 2002-06-18 Just Iced Cubed Inventions Inc. Systems and methods for registration of hemispheric images for panomaric viewing
US6754400B2 (en) * 2001-02-06 2004-06-22 Richard Wilson, Jr. System and method for creation, processing and visualization of omni-directional images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004537777A (ja) * 2001-05-14 2004-12-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ リアルタイムのコンテンツのストリームと対話するための装置
US20050208999A1 (en) * 2004-03-17 2005-09-22 Zeroplus Technology Co., Ltd [game control system and its control method]

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN5009010261; KEN TURKOWSKI: 'MAKING ENVIRONMENT MAPS FROM FISHEYE PHOTOGRAPHS' [ONLINE] , 19990604 *

Also Published As

Publication number Publication date
GB2440993B (en) 2008-07-30
GB2440993A (en) 2008-02-20
EP2044503A1 (en) 2009-04-08
US8241125B2 (en) 2012-08-14
GB0614783D0 (en) 2006-09-06
GB2440376B (en) 2009-07-08
GB0620190D0 (en) 2006-11-22
GB2440376A (en) 2008-01-30
EP2044503B1 (en) 2011-10-12
WO2008012502A1 (en) 2008-01-31
US20090318228A1 (en) 2009-12-24
GB2440993C (en) 2014-03-19
JP5508007B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5508007B2 (ja) データ処理装置との対話装置および方法
JP7181316B2 (ja) Hmd環境での高速中心窩レンダリングのための予測及びgpuに対する最新の更新を伴う視線追跡
US10369466B2 (en) Combiner method for altering game gearing
CN101484933B (zh) 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
CN112135672B (zh) 使用移动机器人通过动态相机定位和照明进行的空间捕获、建模和纹理重建
US8998718B2 (en) Image generation system, image generation method, and information storage medium
CN102576466B (zh) 用于跟踪模型的系统和方法
KR101320134B1 (ko) 이미지로 구현되는 실제장면으로부터의 데이터를 이용하여 이미지 스트림에 가상객체를 실시간 삽입하기 위한 방법 및 장치
EP2394717B1 (en) Image generation system, image generation method, and information storage medium for video games
KR100969873B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 및 로봇게임 방법
US8520901B2 (en) Image generation system, image generation method, and information storage medium
US8655015B2 (en) Image generation system, image generation method, and information storage medium
EP2194509A1 (en) Method for providing affective characteristics to computer generated avatar during gameplay
EP2243525A2 (en) Method and system for creating a shared game space for a networked game
JP2021508262A (ja) 双方向ビデオゲームシステム
EP2969081A1 (en) Client side processing of player movement in a remote gaming environment
CN110832442A (zh) 注视点渲染系统中的优化的阴影和自适应网状蒙皮
CN113318424B (zh) 一种新型游戏装置与控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140320

R150 Certificate of patent or registration of utility model

Ref document number: 5508007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250