JP2012088777A - 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 - Google Patents
画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 Download PDFInfo
- Publication number
- JP2012088777A JP2012088777A JP2010232657A JP2010232657A JP2012088777A JP 2012088777 A JP2012088777 A JP 2012088777A JP 2010232657 A JP2010232657 A JP 2010232657A JP 2010232657 A JP2010232657 A JP 2010232657A JP 2012088777 A JP2012088777 A JP 2012088777A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- real world
- camera
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8076—Shooting
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Abstract
【解決手段】外側右撮像部23b等の実カメラによって撮影された実世界画像を取得し、当該取得した実世界画像と敵オブジェクトEO等の第1仮想オブジェクトを表した仮想画像とを、当該敵オブジェクトEO等の第1仮想オブジェクトが実世界画像の背後に存在して見えるように合成して、合成画像を生成し、当該生成した合成画像を表示装置に表示する。
【選択図】図21
Description
画像が優先的に表示されるように合成して合成画像を生成してもよい。
ることができる。
記によれば、実世界画像が単なる背景ではなく、実世界が仮想世界と関係しているかのような感覚をユーザに与えることができる。
まず、図面を参照して、本実施形態に係る画像処理プログラムを実行する画像処理装置の一例として携帯型のゲーム装置10について説明する。ただし、本発明に係る画像処理装置はゲーム装置に限定されるものではない。本発明に係る画像処理装置は、例えば、汎用コンピュータ等、任意のコンピュータシステムであればよい。また、携帯型でなくてもよい。
21を有する。下側ハウジング11と上側ハウジング21とは、ヒンジ構造により開閉可能(折り畳み可能)に連結されている。すなわち、上側ハウジング21は、下側ハウジング11に対して回動(揺動)自在に取り付けられている。これにより、ゲーム装置10は、上側ハウジング21が下側ハウジング11に対して密着した状態となる閉状態(図3A,図3C)と、上側ハウジング21が下側ハウジング11に対して回動し、密着場外が解除された状態(開状態)との二つの形態を有する。上側ハウジング21の回動は、図2に示すように、開状態において、上側ハウジング21と下側ハウジング11とが略平行となる位置まで許容される(図2参照)。
が、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の表示装置を利用してもよい。また、下側LCD12として、所望の解像度を有する表示装置を利用することができる。
ィック15は、ゲーム装置10が実行するプログラムに応じて機能する。例えば、3次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置10によって実行される場合、アナログスティック15は、当該所定のオブジェクトを3次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトは、アナログスティック15のキートップがスライドした方向に移動される。なお、アナログスティック15として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いてもよい。
)のものが用いられる。第1実施形態では、上側LCD22は、パララックスバリア方式の表示装置とする。上側LCD22は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像(立体画像)を表示する。すなわち、上側LCD22は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像をそれぞれ視認させることにより、ユーザにとって立体感のある立体画像(立体視可能な画像)を表示することができる。また、上側LCD22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである。)。このように、上側LCD22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視画像を表示する)平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する3D調整スイッチ25によって行われる。
用いられる。3D調整スイッチ25は、ゲーム装置10の開閉状態に関わらずユーザが視認できるように、上側ハウジング21の内側面21Bと右側面とが共有する端部に設けられる。3D調整スイッチ25は、所定方向(例えば、上下方向)の任意の位置にスライド可能なスライダを有しており、当該スライダの位置に応じて上側LCD22の表示モードが設定される。
撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。外側左撮像部23a及び外側右撮像部23bの撮像方向は、いずれも外側面21Dの外向きの法線方向である。すなわち、外側左撮像部23aの撮像方向および外側右撮像部23bの撮像方向(カメラの視軸)は、平行である。以降、外側左撮像部23a及び外側右撮像部23bをまとめて、外側撮像部23と称する。
視差を有する左目用画像及び右目用画像を生成して、あたかも二つのカメラで撮影されたかのような疑似ステレオ画像を生成することもできる。この疑似ステレオ画像の生成において、仮想カメラ間の距離は、適宜設定可能とされる。
た外部メモリ45やデータ保存用内部メモリ35)に記憶されている。情報処理部31のCPU311は、当該所定のプログラムを実行することによって、後述する画像処理やゲーム処理を実行する。なお、情報処理部31のCPU311によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部31は、VRAM(Video RAM)313を含む。情報処理部31のGPU312は、情報処理部31のCPU311からの命令に応じて画像を生成し、VRAM313に描画する。そして、情報処理部31のGPU312は、VRAM313に描画された画像を上側LCD22および/または下側LCD12に出力し、当該画像は上側LCD22および/または下側LCD12に表示される。
サ39は、図1に示されるように、下側ハウジング11の長辺方向をx軸、下側ハウジング11の短辺方向をy軸、下側ハウジング11の内側面(主面)に対して垂直な方向をz軸として、ゲーム装置10の各軸方向へ生じる直線加速度の大きさをそれぞれ検出する。なお、加速度センサ39は、例えば静電容量式の加速度センサとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ39は1軸または2軸方向を検出する加速度センサであってもよい。情報処理部31は、加速度センサ39が検出した加速度を示すデータ(加速度データ)を受信して、ゲーム装置10の姿勢や動きを算出する。
面画像を表示させたりする。
次に、ゲーム装置10で実行される画像処理プログラムによる具体的な画像処理動作を説明する前に、図7A、7B、8〜13、14A、14B、15を参照して当該画像処理動作によって上側LCD22に表示される表示形態例について説明する。なお、当該表示形態例の説明を簡単にするために、ゲーム装置10で実行される本実施形態に係る画像処理プログラムの一例はゲームプログラムであるとする。そして、ゲーム上の処理として、本実施形態に係る画像処理プログラムの画像処理操作及び表示形態例を説明する。ただし、上述のとおり、本発明の画像処理プログラムはゲームプログラムに限定される訳ではな
い。
まず、本実施形態において、ゲーム装置10によるゲームプログラムの実行によってプレーヤが遊技可能なゲームの概要について説明する。本実施形態におけるゲームは、プレーヤが、ゲーム内の主人公として、ゲーム世界として用意された仮想の3次元空間に出現する敵キャラクタを撃ち落とす、いわゆるシューティングゲームである。ゲーム世界をなす仮想の3次元空間(仮想空間(ゲーム空間とも呼ばれる))は、ゲーム装置10の表示画面(例えば、上側LCD22)において、プレーヤの視点(いわゆる主観視点で)で表示される。もちろん、客観視点としてもよい。プレーヤが敵キャラクタを撃ち落とすことで、得点が加算される。これに対し、敵キャラクタとプレーヤとが衝突すると(具体的には、敵キャラクタが仮想カメラの位置から一定距離以内に到達すると)、得点が減点される。
る画像が合成される。
このように本実施形態に係るゲームでは、実画像の背後にも仮想空間(奥側領域)が存在することが感じられ、奥行き感が向上した仮想空間を表すゲーム画面が表示される。なお、実世界画像は、単眼カメラで撮影された状態の通常画像であってもよく、複眼カメラで撮影された状態のステレオ画像であってもよい。
の向きの変化方向に仮想カメラを現在の向きから変化させる。さらには、外側撮像部23の向きの変化量(角度)だけ、仮想カメラを現在の向きから変化させる。すなわち、ゲーム装置10の向きを変えると、実世界画像が変化するとともに、仮想空間のうちの表示される範囲が変化する。すなわち、ゲーム装置10の向きを変更することにより、実世界画像と仮想世界画像が連動して変化し、これにより、現実世界と仮想世界とが関連付いているかのような合成画像を表示することができる。なお、本実施形態においては、仮想カメラの位置は変更しないが、ゲーム装置10の移動を検出して仮想カメラの位置を変更してもよい。
(実世界画像の描画)
外側撮像部23で撮像された実世界画像は、仮想空間の手前側領域と奥側領域の境界位置に存在して見えるように合成される。図7Aは、本実施形態における仮想空間の一例を示す。また、図7Bは、本実施形態におけるスクリーンモデルとαテクスチャの関係を示す。第1の描画方法では、実世界画像の表示のため、図7Aに示すように、仮想空間内に仮想カメラの位置を中心とする球体モデル(上述のスクリーンモデル)を設定し、この球体の内面に実世界画像を貼り付け、スクリーンオブジェクトを形成してもよい。より具体的には、スクリーンモデルのうち仮想カメラで撮影される部分の全体にテクスチャとして貼り付けられる。スクリーンモデルのうちこの部分以外については、透明に設定されため画面上で視認されない。この例では、境界面は球体面であり、すなわち、図7Aで示すように、球体の表面により仮想カメラ側が手前側領域(本発明の「第2領域」に相当)であり、球体の表面より仮想カメラからみて遠い側が奥側領域(本発明の「第1領域」に相当)である。
軸(本実施形態においては、仮想空間のY軸が鉛直方向に対応し、X軸およびZ軸が水平方向に対応するとする)を中心軸とする仮想の円筒周面(境界面)が配置される。ただし、前述の通り、この円筒周面は視認されるオブジェクトではなく、開口処理において用いられるオブジェクトである。この円筒の外周面は、仮想空間を、仮想カメラが位置する第1空間(本発明の「第2領域」に相当)と、この第1空間の周りに存在する第2空間(本発明の「第1領域」に相当)とに区分する。
さらに、本実施形態に係るゲームでは、実世界画像に開口を設け、実世界画像の背後の奥側領域の存在をプレーヤに認識させる。より明確に言うと、実世界画像のうちこの開口の部分は、透明または半透明で表示され、その背後にある世界がこの部分に合成される。このため、ゲーム内で、所定のイベントの発生を契機に、実世界画像の一部が開口して(消去されて)、その開口を通して実世界画像の背後に存在する他の仮想空間(奥側領域)を示す画像が表示される。また、実世界画像の背後の奥側領域には仮想オブジェクトが存在しており、仮想オブジェクトの位置や開口の位置によっては、仮想オブジェクトが実世界画像に隠れたり、開口を通して仮想オブジェクトの画像が表示されたりする。これにより、仮想オブジェクトが実世界画像の背後に存在しているかのような画像をユーザに提供することができることになる。
図10〜図13は、上側LCD22に表示されるゲーム画面の一例を示す。以下、各図の表示形態例について説明する。
い、本実施形態のゲーム上における敵オブジェクトEOの退治や、境界面3に存在する開口の修復をする。
画されて、図11や図12に示すように影が表示される。しかしながら、敵オブジェクトEOが境界面の前方に存在する場合や、境界面の開口領域の背後に存在する場合は、シルエットモデルは実体モデルより奥に存在し、敵オブジェクトEOの実体モデルが描画され、それによりシルエットモデルは描画されないため、影は表示されない。これは、シルエットモデルが敵オブジェクトEOの実体モデルに内包されるように設定されているからである。
(2)実世界画像のうち非開口領域については、第2空間2に存在するオブジェクトの影画像と実世界画像の合成画像(例えば影画像が半透明で実世界画像に合成される)
(3)実世界画像のうち開口部領域については第2空間2に存在するオブジェクトの画像(実体画像)が優先的に合成され、さらにその奥に奥壁画像が合成される。
の式を設定することができる。具体的には以下のように設定される。
スクリーンオブジェクトは、以下の式で描画される。
(1− 自身のテクスチャの不透明度)」
敵オブジェクトのシルエットモデルは、以下の式で描画される。
不透明度)」
なお、敵オブジェクトが描画される場合、その背景はスクリーンオブジェクト(境界面3)であるから、上式において、「背景のマテリアルの不透明度」は「スクリーンオブジェクト(境界面3)のマテリアルの不透明度」である。
次に、図16〜図19、図20A及び図20Bを参照して、ゲーム装置10で実行される本実施形態における画像処理プログラムによる具体的な画像処理の動作例について説明する。図16は、画像処理プログラムを実行することに応じて、メインメモリ32に記憶される各種データの一例を示す。図17は、当該画像処理プログラムを実行することによってゲーム装置10が画像処理する動作例の一例を示すフローチャートである。図18は、図17のステップ53で行われる敵オブジェクト関連処理の詳細な動作の一例を示すサブルーチンのフローチャートである。図19は、図17のステップ54で行われる弾オブジェクト関連処理の詳細な動作の一例を示すサブルーチンのフローチャートである。図20A及び図20Bは、図17のステップ57で行われる表示画像の更新処理(第1の描画方法及び第2の描画方法)の詳細な動作の一例を示すサブルーチンのフローチャートである。
図16において、メインメモリ32には、内蔵メモリ、外部メモリ45、またはデータ保存用外部メモリ46から読み出されたプログラムや画像処理において生成される一時的なデータが記憶される。図16において、メインメモリ32のデータ記憶領域には、操作データDa、実カメラ画像データDb、実世界画像データDc、境界面データDd、奥壁画像データDe、敵オブジェクトデータDf、弾オブジェクトデータDg、得点データDh、動きデータDi、仮想カメラデータDj、レンダリング画像データDk、および表示画像データDl等が格納される。また、メインメモリ32のプログラム記憶領域には、画像処理プログラムを構成する各種プログラム群Paが記憶される。
操作データDaは、ユーザがゲーム装置10を操作した操作情報を示すデータである。操作データDaは、操作子データDa1および角速度データDa2を含んでいる。操作子データDa1は、ユーザがゲーム装置10の操作ボタン14やアナログスティック15等の操作子を操作したことを示すデータである。角速度データDa2は、角速度センサ40によって検出された角速度を示すデータである。例えば、角速度データDa2には、角速度センサ40が検出したx軸周りの角速度を示すx軸周り角速度データ、y軸周りの角速度を示すy軸周り角速度データ、およびz軸周りの角速度を示すz軸周り角速度データが含まれる。例えば、操作ボタン14やアナログスティック15からの操作データや角速度センサ40からの角速度データは、ゲーム装置10が処理する時間単位(例えば、1/60秒)毎に取得され、当該取得に応じて操作子データDa1および角速度データDa2に格納されて更新される。
2を処理周期毎に利用する態様でもかまわない。この場合、操作子データDa1や角速度データDa2を更新するそれぞれの周期と、処理周期とが異なることになる。
実カメラ画像データDbは、外側撮像部23および内側撮像部24のいずれかが撮像した実カメラ画像を示すデータである。後述する処理の説明においては、実カメラ画像を取得するステップにおいて外側撮像部23および内側撮像部24のいずれかが撮像した実カメラ画像を用いて、実カメラ画像データDbを更新する態様を用いる。なお、外側撮像部23または内側撮像部24が撮像し、撮像された実カメラ画像を用いて実カメラ画像データDbを更新する周期は、ゲーム装置10における処理の単位時間(例えば、1/60秒)と同じでもいいし、当該単位時間より短い時間でもかまわない。ゲーム装置10における処理の周期より実カメラ画像データDbを更新する周期が短い場合、後述する処理とは独立して適宜実カメラ画像データDbを更新してもかまわない。この場合、後述する実カメラ画像を取得するステップにおいて、実カメラ画像データDbが示す最新の実カメラ画像を常に用いて処理すればよい。以下、本実施形態では、実カメラ画像データDbは、外側撮像部23(例えば、外側左撮像部23a)により撮像した実カメラ画像を示すデータであるとする。
実世界画像データDcは、ゲーム装置10の実カメラ(外側撮像部23または内側撮像部24)が撮像した実カメラ画像を用いて、境界面3上に存在しているように見える実世界画像を生成するためのデータである。第1の描画方法では、例えば、実世界画像データDcは、実世界画像を境界面(仮想カメラの表示範囲のスクリーンオブジェクト)に貼り付けるための実カメラ画像のテクスチャデータを含んでいる。また、第2の描画方法では、例えば、実世界画像データDcは、実世界画像を生成するための平面ポリゴンのデータ、当該平面ポリゴンにマッピングするための実カメラ画像のテクスチャデータ、および当該平面ポリゴンの仮想空間上の位置(上述した実世界描画用カメラからの位置)を示すデータ等を含んでいる。
境界面データDdは、上記実世界画像データDcと合わせて、境界面3上に存在しているように見える実世界画像を生成するためのデータである。第1の描画方法では、例えば、境界面データDdは、スクリーンオブジェクトに関するデータであり、境界面3を構成する各点の状態(例えば、開口の有無)を示す開口判定用データ(前述のαテクスチャのデータに相当する)、境界面3の仮想空間上の配置位置(境界面3の仮想空間上の座標)を示すデータ等を含んでいる。また、第2の描画方法では、例えば、境界面データDdは、上記実世界画像の平面ポリゴンに開口を表現するためのデータであり、境界面3を構成する各点の状態(例えば、開口の有無)を示す開口判定用データ(前述のαテクスチャのデータに相当する)、境界面3の仮想空間上の配置位置(境界面3の仮想空間上の座標)を示すデータ等を含んでいる。境界面3の仮想空間上の配置位置を示すデータは、例えば、上記球体表面の条件式(仮想空間上における球体表面を定義する関係式)であり、境界面3の仮想空間上の存在範囲を示す。
素又は複数の画素からなる画素ブロック単位に設定することができる。本実施形態では、非開口領域には、「0を超える1未満の所定値(本実施形態においては0.2が設定される)」が格納される。このデータは、実世界画像に適用する時には使用されない。実世界画像に適用する場合、開口判定用データに格納されたアルファ値「0.2」は「1」として取り扱われる。なお、当該アルファ値「0.2」は、前述の敵オブジェクトEOの影ESの描画時に使用される。ただし、当該アルファ値の設定、及びアルファ値の取り得る値の範囲は、本発明の画像処理プログラムを限定するものではない。
奥壁画像データDeは、第2空間2に存在する奥壁BWに関するデータである。例えば、奥壁画像データDeは、奥壁BWの画像を生成するための画像データ、および当該奥壁BWを定義するポリゴンモデルの仮想空間上の位置を示すデータ等を含んでいる。
、仮想世界描画用カメラ)の位置から伸びる鉛直軸を中心として、図7Aで示す球体の半径より大きな半径を有し、図7Aで示す球体の中央部と同じ形状のモデルである。すなわち、奥壁BWを定義するモデルは、境界面3を内含する。また、境界面3に形成される開口予定位置の背後に配置される平面ポリゴンであっても良い。また、境界面3に開口が形成される毎に、第2空間2においてその開口の投影面を定義する平面ポリゴンが配置されるようにしても良い。
敵オブジェクトデータDfは、敵オブジェクトEOに関するデータであり、実体データDf1、シルエットデータDf2、および開口形状データDf3を含んでいる。
ジェクトEOのシルエットモデルを簡素化した画像であってもよい。なお、本実施形態において、後述する描画の優先度はアルファ値によって定められるため、シルエットモデルに張り付けられるテクスチャデータにはアルファ値が定められているものとする。本実施形態では、当該テクスチャデータに定められているアルファ値は、影画像部分について「1」であり、影画像がない部分(周囲の部分)について「0」であるとする。
弾オブジェクトデータDgは、プレーヤの攻撃操作に応じて発射される弾オブジェクトBOに関するデータである。例えば、弾オブジェクトデータDgは、弾オブジェクトBOを描画するためのポリゴンモデル及び弾画像(テクスチャ)データ、弾オブジェクトBOの配置方向や配置位置を示すデータ、および弾オブジェクトBOの移動速度や移動方向(例えば、移動速度ベクトル)を示すデータ等を含んでいる。なお、本実施形態において、後述する描画の優先度はアルファ値によって定められるため、弾画像データにはアルファ値が定められているものとする。本実施形態では、弾画像データに定められているアルファ値は「1」であるとする。
得点データDhは、敵オブジェクトEOが登場するゲームの得点を示すデータである。例えば、上述のとおり、ゲームの得点は、攻撃操作によって敵オブジェクトEOを退治することによって加点され、敵オブジェクトEOがユーザの位置(つまり、仮想空間上における仮想カメラの配置位置)に到達することによって減点される。
動きデータDiは、実空間におけるゲーム装置10の動きを示すデータである。一例として、ゲーム装置10の動きは、角速度センサ40によって検出された角速度によって算出される。
仮想カメラデータDjは、仮想空間に設置される仮想カメラに関するデータである。第1の描画方法では、例えば、仮想カメラデータDjは、仮想カメラの仮想空間上の配置方向や配置位置を示すデータを含んでいる。また、第2の描画方法では、例えば、仮想カメラデータDjは、実世界描画用カメラの仮想空間上の配置方向や配置位置を示すデータと、仮想世界描画用カメラの仮想空間上の配置方向や配置位置を示すデータのそれぞれを含む。そして、例えば、第1の描画方法における仮想カメラ及び第2の描画方法における仮想世界描画用カメラの仮想空間上の配置方向や配置位置を示すデータは、動きデータDiが示すゲーム装置10の動き(角速度)に応じて変化する。さらに、仮想カメラデータDjは、仮想カメラの画角(撮像範囲)データを含んでいる。これによって、第1の描画方法における仮想カメラ及び第2の描画方法における仮想世界描画用カメラの位置及び向きの変化に応じて、境界面3上の撮像範囲(撮像位置)が変化する。
レンダリング画像データDkは、後述する処理によりレンダリングされた画像に関するデータである。
表示画像データDlは、上側LCD22に表示される表示画像を示すデータである。第1の描画方法では、例えば、上側LCD22に表示される表示画像は、仮想空間のレンダリング処理により生成される。また、第2の描画方法では、例えば、上側LCD22に表示される表示画像は、上記カメラ画像のレンダリング画像データと仮想空間のレンダリング画像データとを後述する方法で合成することによって生成される。
照準カーソル画像データDmは、上側LCD22に表示される照準カーソルALの画像データである。当該画像データは、任意のデータでよい。
次に、図17を参照して、情報処理部31の動作について説明する。まず、ゲーム装置10の電源(電源ボタン14F)がONされると、CPU311によってブートプログラム(図示せず)が実行され、これにより内蔵メモリまたは外部メモリ45やデータ保存用外部メモリ46に格納されているプログラムがメインメモリ32にロードされる。そして、当該ロードされたプログラムが情報処理部31(CPU311)で実行されることによって、図17に示すステップ(図17〜図19、図20A及び図20Bでは「S」と略称する)が実行される。なお、図17〜図19、図20A及び図20Bにおいては、本発明の画像処理に直接関連しない画像処理及びその他周辺の処理についての記載を省略する。
面の条件式を満たすことである。上述のとおり、境界面3の仮想空間上の配置位置を示すデータは、境界面3の仮想空間上の存在範囲を示し、例えば、球体表面(本実施形態における境界面3の形状)の条件式である。敵オブジェクトEOの配置位置が当該条件式を満たす場合、敵オブジェクトEOは、仮想空間において境界面3上に存在することになる。本実施形態では、例えばこのような場合に、敵オブジェクトEOが境界面3を通過すると判定する。
か否かを判定する。
めた点を中心として実世界画像データDcに含まれる上記実カメラ画像のテクスチャデータを貼り付け、境界面データDdを更新する。この時、情報処理部31は、テクスチャデータを貼りつける領域に設定されている開口判定用データを、テクスチャデータの各画素に対応する領域分取得する。そして、情報処理部31は、取得した開口判定用データに設定されているアルファ値(「0」または「0.2」)を上記テクスチャデータに適用する。具体的には、情報処理部31は、貼り付ける実カメラ画像のテクスチャデータの各画素の色情報と、開口判定用データの対応する位置におけるアルファ値とを掛け算する。この処理により、上述のとおり、実世界画像に開口が表現される。なお、開口判定用データに格納されるアルファ値「0.2」(非開口領域)は、上記掛け算の際は、上述のマテリアルとしてのアルファ値「1」として取り扱われる。また、本実施形態では、境界面3に貼り付けられる実カメラ画像のテクスチャデータは、仮想カメラの視野範囲よりも領域の広い画像データである。
る。
弾オブジェクトBO、及び奥壁BWを透視投影でレンダリングし、仮想カメラC0から見た仮想世界画像(照準カーソルALを含んだ画像)を生成し、仮想空間のレンダリング画像データを更新する(ステップ82)。そして、更新した仮想空間のレンダリング画像データを用いて、表示画像データDlを更新する。
×iピクセルの領域に対応するため、平面ポリゴンの横(W/i)×縦(H/i)の領域は、テクスチャのWピクセル×Hピクセルのサイズに対応する。
ラ画像のレンダリング画像データ)の色情報とが掛け算されることで、開口が付与された実画像が生成される。したがって、例えば、実カメラ画像のレンダリング画像データ(図23及び図24の平面ポリゴンの位置関係を参照)の横1座標×縦1座標と、仮想空間における境界面3(具体的には、開口判定用データ)の横1座標×縦1座標とが対応しているとする。つまり、図25または図26に示す仮想世界描画用カメラC2から境界面3を透視投影により見たときに、仮想世界描画用カメラC2による境界面3の視野範囲が実カメラ画像のレンダリング画像データの横×縦のサイズに対応しているものとする。
tanθ=(H/2i)/D=H/2Di
したがって、境界面3を考慮して、後述する敵オブジェクトEO等を透視投影して仮想世界画像を生成する場合、当該仮想世界画像を生成する仮想世界描画用カメラC2は「Y軸方向の画角θ=tan−1(H/2Di)、アスペクト比=W:H」と設定される。そして、境界面3(具体的には境界面3の状態を示す開口判定用データ)は、仮想世界描画用カメラC2からのビュー座標Z=Z0に配置される。これにより、仮想世界描画用カメラC2による境界面3の視野範囲が大きさW×Hとなる。
判定用データが設定されている。開口判定用データは、上述のとおり、アルファ値を格納した矩形のテクスチャデータであり、テクスチャデータ上の各座標は、仮想空間の境界面の各位置に対応する。したがって、情報処理部31は、仮想世界描画用カメラC2による第2空間2に存在するオブジェクトの視野範囲に対応する開口判定用データの領域を特定することができる。
C2から見た仮想世界画像を生成し、仮想空間のレンダリング画像データを更新する(ステップ84)。なお、当該処理によって生成される画像は、図28に示される表示画像から実世界画像を除いた画像である。
このように、本実施形態に係る画像処理プログラムでは、実カメラから得られた実世界画像と、当該実世界画像の背後に存在するオブジェクトを含む仮想空間画像とが合成されて表示される。
ェクト(例えば、第2空間2に存在する敵オブジェクトEO)は、実世界画像(境界面3)に開口が存在する領域においては、実像が表示される。また、当該オブジェクトは、実世界画像に開口が存在しない領域においては、影画像が表示される(図11参照)。更に、当該実像及び影画像は、当該オブジェクトの仮想空間上における配置方向または、移動方向に応じた向きに対応する画像である。
上述した実施例では、情報処理部31は、敵オブジェクトEOを出現させる場合、特に当該敵オブジェクトEOの出現演出処理を実行しないが、当該敵オブジェクトEOの出現演出処理を実行してもよい。図29は、当該出現演出処理の実行例を示す。図29に示されるとおり、当該出現演出処理では、実世界画像の所定範囲が開口として矩形に切り取られ、当該矩形が第2空間2に倒れこみ、生成された開口から敵オブジェクトEOが出現する。情報処理部31は、図18のステップ62における敵オブジェクトデータDfの生成に際して、図29に示されるような敵オブジェクトEOの出現演出処理を行ってもよい。図29における第2空間2に倒れた矩形部分は、実世界画像の所定範囲を切り取ったテク
スチャを、当該所定範囲の大きさに対応した平面ポリゴンに貼り付け、当該平面ポリゴンに所定の動作をさせることで実現される。また、図29における開口部分は、上述のとおり、開口判定用データの所定の位置のアルファ値を「0」にすることで実現される。
向が変化した角度や撮像位置の移動量等を算出することができる。一例として、情報処理部31は、ゲーム装置10に内蔵されている実カメラで撮像されるカメラ画像から所定の物体を識別する。そして、情報処理部31は、当該物体が撮像されている角度や撮像されている位置を時系列的に比較することによって、これらの変化量から当該実カメラの撮像方向が変化した角度や撮像位置の移動量等を算出することができる。他の例として、情報処理部31は、ゲーム装置10に内蔵されている実カメラで撮像されるカメラ画像全体に対して時系列的に比較する。この当該画像全体の撮像方向や撮像範囲の変化量から、情報処理部31は、当該実カメラの撮像方向が変化した角度や撮像位置の移動量等を算出することができる。
いて、情報処理部31は、外側左撮像部23aから得られた左目用画像および外側右撮像部23bから得られた右目用画像を用いて、それぞれの実カメラ画像のレンダリングした画像(左目用の実世界画像と右目用の実世界画像)を生成する。また、図20Bに示したステップ84の画像処理において、情報処理部31は、仮想空間に配置された各オブジェクトを、2つの仮想世界描画用カメラ(ステレオカメラ)から透視投影することによって、それぞれ左目用仮想世界画像と右目用仮想世界画像とを得る。そして、図20Bに示したステップ85の画像処理において、情報処理部31は、左目用の実世界画像と左目用仮想世界画像とを合成して左目用表示画像を生成する。同様に、情報処理部31は、右目用の実世界画像と右目用仮想世界画像とを合成して右目用表示画像を生成する。そして、情報処理部31のGPU312が、当該左目用表示画像および当該右目用表示画像を上側LCD22に出力することで、上側LCD22には、立体画像が表示される。
構成してもよい。すなわち、物理的に1つの画面を2つに分割して使用することにより2つの画像を表示してもかまわない。また、物理的に1つの画面を2つに分割して使用することにより上記2つの画像を表示する場合、当該画面全面にタッチパネル13を配設してもかまわない。
なお、以上までの説明において、本発明に係る画像処理プログラム及び当該画像処理プログラムを実行する画像処理装置の一実施形態について説明したが、本発明に係る画像処理システム及び画像処理方法の一実施形態についても同様に説明することができる。つまり、上記画像処理プログラムの各処理を実行するシステムが本発明に係る画像処理システムの一実施形態である。また、上記画像処理プログラムの各処理を各ステップとする手順が本発明に係る画像処理方法の一実施形態である。
2…第2空間
3…境界面
10…ゲーム装置
11…下側ハウジング
12…下側LCD
13…タッチパネル
14…操作ボタン
15…アナログスティック
16…LED
17…挿入口
18…マイクロフォン用孔
19…無線スイッチ
21…上側ハウジング
22…上側LCD
23…外側撮像部
23a…外側左撮像部
23b…外側右撮像部
24…内側撮像部
25…3D調整スイッチ
26…3Dインジケータ
27…境界面カバー
28…タッチペン
31…情報処理部
311…CPU
312…GPU
313…VRAM
32…メインメモリ
33…外部メモリI/F
34…データ保存用外部メモリI/F
35…データ保存用内部メモリ
36…無線通信モジュール
37…ローカル通信モジュール
38…RTC
39…加速度センサ
40…角速度センサ
41…電源回路
42…I/F回路
43…マイク
44…スピーカ
45…外部メモリ
46…データ保存用外部メモリ
AL…照準カーソル
BO…弾オブジェクト
CI…カメラ画像
C0…仮想カメラ
C1…実世界描画用カメラ
C2…仮想世界描画用カメラ
EO…敵オブジェクト
ES…影
Claims (31)
- 表示装置に実世界画像と仮想画像との合成画像を表示するコンピュータで実行される画像処理プログラムであって、
前記コンピュータに、
実カメラによって撮影された実世界画像を取得する実世界画像取得ステップと、
前記実世界画像と第1仮想オブジェクトを表した仮想画像とを、当該第1仮想オブジェクトが前記実世界画像の背後に存在して見えるように合成して、前記合成画像を生成する画像生成ステップと、
前記合成画像を前記表示装置に表示する表示ステップと、
を実行させる画像処理プログラム。 - 前記画像生成ステップは、所定の第1仮想領域に存在する第1仮想オブジェクトが前記実世界画像の背後に存在して見えるように前記合成画像を生成する、請求項1に記載の画像処理プログラム。
- 前記画像生成ステップは、当該第1仮想オブジェクトを表した仮想画像よりも前記実世界画像が優先的に表示されるように合成して前記合成画像を生成する、請求項2に記載の画像処理プログラム。
- 前記画像生成ステップは、さらに、所定の第2仮想領域に存在する第2仮想オブジェクトが前記実世界画像の前方に存在して見えるように前記合成画像を生成する、請求項2に記載の画像処理プログラム。
- 前記画像生成ステップは、当該第2仮想オブジェクトを表した仮想画像が前記実世界画像よりも優先的に表示されるように合成して前記合成画像を生成する、請求項4に記載の画像処理プログラム。
- 前記画像生成ステップは、前記実世界画像を背景として前記第2仮想オブジェクトを合成し、かつ、前記第1仮想オブジェクトが当該背景の背後に存在して見えるように前記合成画像を生成する、請求項4に記載の画像処理プログラム。
- 前記画像生成ステップは、所定の仮想空間のうちの第1領域を前記第1仮想領域とし、当該仮想空間のうちの第2領域を前記第2仮想領域として設定する、請求項4に記載の画像処理プログラム。
- 前記画像生成ステップは、隣接した領域を前記第1領域と前記第2領域に設定する、請求項7に記載の画像処理プログラム。
- 前記第2領域は、仮想カメラの位置を含み、
前記第1領域は、仮想カメラの位置からみて前記第2領域よりも離れた領域である、請求項7または8に記載の画像処理プログラム。 - 前記画像生成ステップは、前記合成画像において前記実世界画像が全域となるように、前記合成画像を生成する、請求項1ないし請求項9のいずれか1項に記載の画像処理プログラム。
- 前記コンピュータに、さらに、所定の検知手段を用いて実カメラの少なくとも撮影方向を繰り返し取得する撮影方向取得ステップを実行させ、
前記実世界画像取得ステップは前記実カメラによる実世界画像の取得を繰り返し、
前記画像生成ステップは、前記撮影方向取得ステップにおいて取得された現在の前記実カメラの撮影方向に応じて現在の仮想カメラの撮影方向を設定して前記仮想画像を生成し、かつ、前記実世界画像取得ステップにより繰り返し取得される現在の前記実世界画像を用いて、前記合成画像を生成する、請求項1ないし10のいずれか1項に記載の画像処理プログラム。 - 前記コンピュータに、さらに、所定の検知手段を用いて実カメラの少なくとも撮影方向を繰り返し取得する撮影方向取得ステップを実行させ、
前記実世界画像取得ステップは前記実カメラによる実世界画像の取得を繰り返し、
前記画像生成ステップは、前記撮影方向取得ステップにおいて取得された現在の前記実カメラの撮影方向に応じて現在の仮想カメラの撮影方向を設定して前記仮想画像を生成し、かつ、前記実世界画像取得ステップにより取得される現在の前記実世界画像を用いて、前記合成画像を生成し、
前記画像生成ステップは、さらに、前記第1領域と前記第2領域との境界面について所定の画像処理を付与すべき位置を判定可能な判定データに基づいて、現在の仮想カメラの撮影方向に対応する前記境界面に当該画像処理を付与すべきことが判定されたときに、前記実世界画像取得ステップにより取得される現在の前記実世界画像に当該画像処理を付与する、請求項8に記載の画像処理プログラム。 - 前記画像生成ステップは、さらに、前記判定データに基づいて、現在の仮想カメラの撮影方向に対応する前記境界面のうち当該画像処理を付与すべき位置を判定して、前記実世界画像取得ステップにより取得される現在の前記実世界画像のうちの対応位置に当該画像処理を付与する、請求項12に記載の画像処理プログラム。
- 前記画像生成ステップは、さらに、前記第1領域と前記第2領域との境界面に所定の判定用マップを配置して、当該判定用マップを仮想カメラで撮影することにより、当該判定用マップのうち現在の仮想カメラの撮影方向に対応する部分を切り出し、当該切り出した判定用マップを用いて、前記実世界画像取得ステップにより取得される現在の前記実世界画像のうちの対応位置に当該画像処理を付与する、請求項13に記載の画像処理プログラム。
- 前記画像生成ステップは、仮想空間の前記第1領域と前記第2領域との境界面と、前記第1仮想オブジェクトおよび前記第2仮想オブジェクトとの、仮想カメラを基準とする奥行判定をおこない、当該奥行判定に基づいて、当該境界面よりも仮想カメラに近いと判定された仮想オブジェクトを前記実世界画像に優先的に、かつ、当該境界面よりも仮想カメラに遠いと判定された仮想オブジェクトよりも前記実世界画像を優先的に合成する、請求項7に記載の画像処理プログラム。
- 前記画像生成ステップは、仮想カメラの視野範囲を包含し、前記第1領域と前記第2領域との境界位置に配置されるスクリーンオブジェクトに前記実世界画像を適用し、前記第1仮想オブジェクトと前記第2仮想オブジェクトと当該スクリーンオブジェクトを当該仮想カメラで撮影することにより前記合成画像を生成する、請求項7に記載の画像処理プログラム。
- 前記画像生成ステップは、一部に開口が形成された前記実世界画像を用いることにより、当該開口を通して前記第1仮想オブジェクトが見える合成画像を生成する請求項1に記載の画像処理プログラム。
- 前記開口は、前記表示装置に表示されるか否かに拘わらず、前記仮想空間に固定配置される請求項17に記載の画像処理プログラム。
- 前記画像生成ステップは、前記仮想空間に設定された開口位置と、前記合成画像に含まれる前記実世界画像の前記仮想空間における位置との対応付けを行い、前記開口位置に対応する前記実世界画像の位置に、前記第1仮想オブジェクトを表す仮想画像が表示された前記合成画像を生成する請求項18に記載の画像処理プログラム。
- 前記画像生成ステップは、前記開口位置に対応する前記実世界画像の位置を透明に設定し、この透明に設定された位置から見える前記第1仮想オブジェクトの画像を含む前記表示画像を生成する請求項19に記載の画像処理プログラム。
- 前記コンピュータに、イベント発生条件が満たされることを条件に、前記仮想空間における開口の位置を新たに設定するステップをさらに実行させる請求項20に記載の画像処理プログラム。
- 前記コンピュータに、さらに、前記第1仮想オブジェクトを、仮想オブジェクトよりも実世界画像が優先的に合成される第1領域と、実世界画像が仮想オブジェクトよりも優先的に合成される第2領域との境界面のうちの仮想カメラの視野領域を通って、前記第1領域から前記第2領域に移動させる仮想オブジェクト移動制御ステップを実行させる、請求項1ないし21のいずれか1項に記載の画像処理プログラム。
- 前記仮想オブジェクト移動制御ステップによる前記移動があったときに、前記第1領域と前記第2領域の境界面のうちの仮想カメラの視野領域に前記開口を形成するステップをさらに含む請求項22に記載の画像処理プログラム。
- 所定の修復条件が満たされることを条件に、前記開口のサイズを小さくする請求項17ないし23のいずれか1項に記載の画像処理プログラム。
- 前記画像生成ステップにおいて、前記実世界画像に前記第1仮想オブジェクトのシルエットの画像が合成された合成画像を生成する請求項1ないし24のいずれか1項に記載の画像処理プログラム。
- 前記シルエットは、前記第1仮想オブジェクトの向きに応じた輪郭を有する請求項25に記載の画像処理プログラム。
- 仮想カメラからみて前記実世界画像の前方と背後との境となる境界面における前記開口の位置と、前記開口以外の位置との夫々に関して、前記実世界画像の背後に存在するオブジェクトの画像と、前記オブジェクトのシルエットの画像とのいずれを表示するかを決定するための値が予め設定されており、
前記画像生成ステップにおいて、前記値に基づき、前記開口の位置においては前記オブジェクトの画像が表示され、前記開口以外の位置においては前記実世界画像上に前記オブジェクトのシルエットの画像が重ねて表示された前記合成画像を生成する請求項17ないし26のいずれか1項に記載の画像処理プログラム。 - 前記実世界画像は、単眼カメラまたは複眼カメラで撮像された画像であることを特徴とする請求項1ないし27のいずれか1項に記載の画像処理プログラム。
- 表示装置に画像を表示する画像処理装置であって、
実カメラによって撮影された実世界画像を取得する実世界画像取得手段と、
前記実世界画像と第1仮想オブジェクトを表した仮想画像とを、当該第1仮想オブジェクトが前記実世界画像の背後に存在して見えるように合成して、前記合成画像を生成する
画像生成手段と、
前記合成画像を前記表示装置に表示する表示制御手段と、を備える画像処理装置。 - 複数の装置が通信可能に構成され、表示装置に画像を表示する画像処理システムであって、
実カメラによって撮影された実世界画像を取得する実世界画像取得手段と、
前記実世界画像と第1仮想オブジェクトを表した仮想画像とを、当該第1仮想オブジェクトが前記実世界画像の背後に存在して見えるように合成して、前記合成画像を生成する画像生成手段と、
前記合成画像を前記表示装置に表示する表示制御手段と、を備える画像処理システム。 - 表示装置に画像を表示するための画像処理が可能な少なくとも1つの情報処理装置により構成される画像処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行される画像処理方法であって、
実カメラによって撮影された実世界画像を取得するステップと、
前記実世界画像と第1仮想オブジェクトを表した仮想画像とを、当該第1仮想オブジェクトが前記実世界画像の背後に存在して見えるように合成して、前記合成画像を生成するステップと、
前記合成画像を前記表示装置に表示するステップと、を含む画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010232657A JP5939733B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 |
EP11180373.0A EP2442280B1 (en) | 2010-10-15 | 2011-09-07 | Blending a real world with a virtual world |
US13/231,344 US9737814B2 (en) | 2010-10-15 | 2011-09-13 | Computer readable medium storing image processing program of synthesizing images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010232657A JP5939733B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012088777A true JP2012088777A (ja) | 2012-05-10 |
JP5939733B2 JP5939733B2 (ja) | 2016-06-22 |
Family
ID=44674455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010232657A Active JP5939733B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9737814B2 (ja) |
EP (1) | EP2442280B1 (ja) |
JP (1) | JP5939733B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106556A (ja) * | 2012-11-22 | 2014-06-09 | Hitachi Systems Ltd | 仮想のぞき穴画像生成システム |
US11961190B2 (en) | 2019-03-28 | 2024-04-16 | Dwango Co., Ltd. | Content distribution system, content distribution method, and content distribution program |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6637650B2 (ja) * | 2014-10-31 | 2020-01-29 | ティフォン インコーポレーテッドTyffon Inc. | ゲームプログラム、コンピュータの制御方法、情報処理装置、画像出力装置、画像出力方法および画像出力プログラム |
JP6144738B2 (ja) * | 2015-09-18 | 2017-06-07 | 株式会社スクウェア・エニックス | ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法 |
WO2017090273A1 (ja) * | 2015-11-27 | 2017-06-01 | 株式会社アースビート | ゲーム用オブジェクト制御システム及びプログラム |
US10150034B2 (en) | 2016-04-11 | 2018-12-11 | Charles Chungyohl Lee | Methods and systems for merging real world media within a virtual world |
KR20170130016A (ko) | 2016-05-17 | 2017-11-28 | 삼성디스플레이 주식회사 | 표시 장치 |
CN115842907A (zh) * | 2018-03-27 | 2023-03-24 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
US11694392B2 (en) | 2018-05-22 | 2023-07-04 | Apple Inc. | Environment synthesis for lighting an object |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001092990A (ja) * | 1999-09-20 | 2001-04-06 | Nippon Telegr & Teleph Corp <Ntt> | 3次元仮想空間参加者表示方法、3次元仮想空間表示装置、および3次元仮想空間参加者表示プログラムを記録した記録媒体 |
JP2002222431A (ja) * | 2001-01-29 | 2002-08-09 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP2003143477A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 映像合成装置および方法 |
JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP2005339127A (ja) * | 2004-05-26 | 2005-12-08 | Olympus Corp | 画像情報表示装置及び画像情報表示方法 |
JP2008061951A (ja) * | 2006-09-11 | 2008-03-21 | Namco Bandai Games Inc | ゲーム装置、プログラム及び情報記憶媒体 |
JP2009238245A (ja) * | 2009-07-13 | 2009-10-15 | Namco Bandai Games Inc | 画像生成システム及び情報記憶媒体 |
JP2010528354A (ja) * | 2007-05-18 | 2010-08-19 | ザ ユーエービー リサーチ ファンデーション | 仮想インタラクティブプレゼンスのシステムおよび方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100490726B1 (ko) * | 2002-10-17 | 2005-05-24 | 한국전자통신연구원 | 비디오 기반의 사격 게임 장치 및 그 방법 |
US20040219980A1 (en) * | 2003-04-30 | 2004-11-04 | Nintendo Co., Ltd. | Method and apparatus for dynamically controlling camera parameters based on game play events |
US20070132785A1 (en) * | 2005-03-29 | 2007-06-14 | Ebersole John F Jr | Platform for immersive gaming |
JP4804256B2 (ja) | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
US20080293488A1 (en) * | 2007-05-21 | 2008-11-27 | World Golf Tour, Inc. | Electronic game utilizing photographs |
DE102007045835B4 (de) * | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
US8231465B2 (en) | 2008-02-21 | 2012-07-31 | Palo Alto Research Center Incorporated | Location-aware mixed-reality gaming platform |
US9619917B2 (en) * | 2008-10-03 | 2017-04-11 | Apple Inc. | Depth of field for a camera in a media-editing application |
CA2795826C (en) * | 2010-04-08 | 2015-08-11 | Vrsim, Inc. | Simulator for skill-oriented training |
-
2010
- 2010-10-15 JP JP2010232657A patent/JP5939733B2/ja active Active
-
2011
- 2011-09-07 EP EP11180373.0A patent/EP2442280B1/en active Active
- 2011-09-13 US US13/231,344 patent/US9737814B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001092990A (ja) * | 1999-09-20 | 2001-04-06 | Nippon Telegr & Teleph Corp <Ntt> | 3次元仮想空間参加者表示方法、3次元仮想空間表示装置、および3次元仮想空間参加者表示プログラムを記録した記録媒体 |
JP2002222431A (ja) * | 2001-01-29 | 2002-08-09 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP2003143477A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 映像合成装置および方法 |
JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP2005339127A (ja) * | 2004-05-26 | 2005-12-08 | Olympus Corp | 画像情報表示装置及び画像情報表示方法 |
JP2008061951A (ja) * | 2006-09-11 | 2008-03-21 | Namco Bandai Games Inc | ゲーム装置、プログラム及び情報記憶媒体 |
JP2010528354A (ja) * | 2007-05-18 | 2010-08-19 | ザ ユーエービー リサーチ ファンデーション | 仮想インタラクティブプレゼンスのシステムおよび方法 |
JP2009238245A (ja) * | 2009-07-13 | 2009-10-15 | Namco Bandai Games Inc | 画像生成システム及び情報記憶媒体 |
Non-Patent Citations (2)
Title |
---|
CSNG200500558014; 南松 利博 多田村 克己 鵤 心治 田淵 義彦: '市街地景観計画・評価支援システムの開発' 情報処理学会論文誌 第45巻 第6号 Vol.45 No.6, 20040615, P.1663-1671, 社団法人情報処理学会 * |
JPN6014024468; 南松 利博 多田村 克己 鵤 心治 田淵 義彦: '市街地景観計画・評価支援システムの開発' 情報処理学会論文誌 第45巻 第6号 Vol.45 No.6, 20040615, P.1663-1671, 社団法人情報処理学会 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106556A (ja) * | 2012-11-22 | 2014-06-09 | Hitachi Systems Ltd | 仮想のぞき穴画像生成システム |
US11961190B2 (en) | 2019-03-28 | 2024-04-16 | Dwango Co., Ltd. | Content distribution system, content distribution method, and content distribution program |
Also Published As
Publication number | Publication date |
---|---|
US9737814B2 (en) | 2017-08-22 |
JP5939733B2 (ja) | 2016-06-22 |
EP2442280B1 (en) | 2019-01-16 |
US20120092367A1 (en) | 2012-04-19 |
EP2442280A1 (en) | 2012-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5675260B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
JP5602618B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
JP5939733B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
JP5627973B2 (ja) | ゲーム処理をするためのプログラム、装置、システムおよび方法 | |
JP5738569B2 (ja) | 画像処理プログラム、装置、システムおよび方法 | |
JP4757948B1 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
JP5541974B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5791433B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
US8882593B2 (en) | Game processing system, game processing method, game processing apparatus, and computer-readable storage medium having game processing program stored therein | |
JP5800484B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
JP5690135B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
JP4917664B1 (ja) | 画像表示装置、ゲームプログラム、ゲーム制御方法 | |
JP3442270B2 (ja) | 画像生成装置及び情報記憶媒体 | |
JP5514637B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
JP2012141823A (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
JP5689637B2 (ja) | 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法 | |
US8662976B2 (en) | Game processing system, game processing method, game processing apparatus, and computer-readable storage medium having game processing program stored therein | |
JP5117565B2 (ja) | 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム | |
JP5714393B2 (ja) | 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム | |
JP2012106005A (ja) | 画像表示装置、ゲームプログラム、ゲーム制御方法 | |
JP4469709B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
JP2003203250A (ja) | シューティングゲーム装置及び情報記憶媒体 | |
JP2014135771A (ja) | 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140813 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150115 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150204 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20150327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5939733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |