JP2012003328A - 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 - Google Patents
立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 Download PDFInfo
- Publication number
- JP2012003328A JP2012003328A JP2010135316A JP2010135316A JP2012003328A JP 2012003328 A JP2012003328 A JP 2012003328A JP 2010135316 A JP2010135316 A JP 2010135316A JP 2010135316 A JP2010135316 A JP 2010135316A JP 2012003328 A JP2012003328 A JP 2012003328A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- virtual
- image
- distance
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 194
- 230000008569 process Effects 0.000 claims description 153
- 238000004364 calculation method Methods 0.000 claims description 78
- 238000003384 imaging method Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 239000003550 marker Substances 0.000 abstract description 97
- 230000003190 augmentative effect Effects 0.000 abstract description 17
- 230000000007 visual effect Effects 0.000 description 52
- 230000010365 information processing Effects 0.000 description 50
- 239000002131 composite material Substances 0.000 description 46
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 238000013500 data storage Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 15
- 230000004888 barrier function Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 238000005401 electroluminescence Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000037433 frameshift Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】ゲーム装置10は、2つの実カメラのそれぞれについて所定の記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出し、それに基づいて、前記所定の座標系におけるカメラ間距離を算出する。そして、算出された前記所定の座標系における距離と、現実世界におけるカメラ間距離とを用いて、所定の座標系における単位長さと現実空間における単位長さの対応関係の情報を算出する。
【選択図】図17
Description
以下、図面を参照して、本発明に係る立体画像表示プログラムおよび立体画像表示装置の一実施形態であるゲームプログラムおよびゲーム装置について説明する。図1〜図3は、ゲーム装置10の外観を示す平面図である。ゲーム装置10は携帯型のゲーム装置であり、図1〜図3に示すように折り畳み可能に構成されている。図1および図2は、開いた状態(開状態)におけるゲーム装置10を示し、図3は、閉じた状態(閉状態)におけるゲーム装置10を示している。図1は、開状態におけるゲーム装置10の正面図であり、図2は、開状態におけるゲーム装置10の側面図である。ゲーム装置10は、カメラによって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置10は、所定のゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像を画面に表示することができる。
まず、下側ハウジング11の構成について説明する。図1〜図3に示すように、下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L(図1、図3)、アナログスティック15、LED16A〜16B、挿入口17、および、マイクロフォン用孔18が設けられる。以下、これらの詳細について説明する。
次に、上側ハウジング21の構成について説明する。図1〜図3に示すように、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22、外側カメラ23(左目用カメラ23aおよび右目用カメラ23b)、内側カメラ24、3D調整スイッチ25、および、3Dインジケータ26が設けられる。以下、これらの詳細について説明する。
次に、図6を参照して、ゲーム装置10の内部の電気的構成について説明する。図6は、ゲーム装置10の内部構成を示すブロック図である。図6に示すように、ゲーム装置10は、上述した各部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、電源回路40、およびインターフェイス回路(I/F回路)41等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(または上側ハウジング21でもよい)内に収納される。
以下、ゲーム装置10において実行される立体画像表示処理の概要について説明する。本実施形態では、ゲーム装置10は、拡張現実感技術を用いて生成した画像を立体的に表示する。すなわち、ゲーム装置10は、外側カメラ23によって撮像される画像(撮像画像)と、仮想的に生成される仮想オブジェクトの画像(仮想画像)とを合成した画像(合成画像)を、立体視表示が可能な上側LCD22に表示する。
本実施形態においては、ゲーム装置10は、立体視表示における視差ゼロ距離を調整するために、各撮像画像のうちで画面に表示される領域(表示領域)をそれぞれ適切な位置に決定する。なお、立体視表示される表示対象は、立体視表示時の奥行位置に応じた視差で表示されることになるが、このうち、視差がゼロで表示される表示対象は、表示面上に見える(焦点が合って見える)ことになる。つまり、立体視表示における視差が小さい物体については、奥行き方向に関して表示面の位置に存在するように見え(焦点が合って見え)、視差が大きい物体については、表示面の位置よりも手前または奥に存在するように見える。
上記のようにして表示領域57および58が決定されると、ゲーム装置10は、表示領域内の各撮像画像55および56に対して仮想オブジェクト54の画像(仮想画像)を合成して、合成画像を生成する。合成画像を生成する処理は、マーカー53を用いた拡張現実感技術によって行われる。すなわち、ゲーム装置10は、マーカー53と外側カメラ23との位置関係を算出し、算出された位置関係に基づいて生成された仮想オブジェクト54の画像を撮像画像に合成することによって合成画像を生成する。具体的には、仮想空間における仮想カメラの位置および姿勢が上記位置関係に基づいて決定され、仮想カメラから見た仮想オブジェクト54の画像が撮像画像に合成される。
上記のように生成された各合成画像59および60を用いて、ゲーム装置10は立体視表示を行う。具体的には、ゲーム装置10は、上側LCD22の縦1ライン毎に左合成画像59と右合成画像60を交互に配置して表示する。なお、図7および図11では、左目用画像(実線)と右目用画像(点線)との両方が上側LCD22の画面に表示される様子を表している。ただし、実際には、(上側LCD22の視差バリアがオンになっている場合、)上側LCD22の正面付近に位置するユーザに関しては、上述の視差バリアによって、左合成画像59はユーザの左目のみで視認され、右合成画像60はユーザの右目のみで視認される。その結果、ユーザは合成画像を立体的に視認することができる。すなわち、ユーザにとっては、視差が小さい仮想オブジェクト54が表示画面付近にあるように見え、また、ボール51が仮想オブジェクト54よりも飛び出して見え、ボール52が仮想オブジェクト54よりも奥に見える。
また、本実施形態では、自動的に視差ゼロ距離(表示領域)が調整される際に、必要に応じて表示領域が縮小し、画像の拡大(ズームアップ)が行われることがある。以下、図12〜図14を参照して、表示領域が縮小される処理の概要について説明する。
次に、図15〜図22を参照して、ゲームプログラムによって実行されるゲーム処理の詳細を説明する。まず、ゲーム処理において用いられる各種データについて説明する。図15は、ゲームプログラムによる処理において用いられる各種データを示す図である。図15において、ゲーム装置10のメインメモリ32には、ゲームプログラム71、撮像画像データ72、および処理用データ75等が記憶される。
dx=γ×256/β …(1)
また、図21において、線分P1−P5の長さαに対する線分P5−P7の長さγの比(γ:α)は、線分P3−P4の長さFに対する線分P1−P3の長さ“E/2”の比(E/2:F)に等しくなる。したがって、長さγは式(2)として表すことができる。
γ=α×(E/2)/F …(2)
上式(1)、(2)より、dxは、式(3)として表すことができる。
dx=(α/β)×(E/2)×(1/F)×256 …(3)
上式(3)において、上述のように実カメラ間距離Eの値は既知であり、メインメモリ32等に記憶されている。また、“α/β”の値は、左目用カメラ23aの画角から求めることができ、既知である。この値もメインメモリ32等に記憶されているものとする。また、変数Fは、上記視差ゼロ点算出処理において実視差ゼロ距離Fとして算出されている。したがって、上式(3)を用いて、ずれ量dxを算出することができる。
(視差ゼロ距離を算出しない変形例)
上記実施形態においては、ゲーム装置10は、外側カメラ23からマーカー53までの距離Dに応じた視差ゼロ距離Fを実際に算出し(ステップS17)、立体視表示における視差ゼロ点の位置が視差ゼロ距離Fとなるように、視差を調整(表示領域を決定)した。ここで、他の実施形態においては、視差ゼロ距離Fを算出しない方法で、上記距離Dに応じた視差ゼロ距離となるように自動的に視差が調整されるようにしてもよい。具体的には、ゲーム装置10は、各撮像画像に含まれるマーカー53を認識した場合、左右の撮像画像に含まれるマーカー53の画像についてマッチングを行い、左右の撮像画像でマーカー53の位置が一致するように、表示領域を決定してもよい。あるいは、左右の撮像画像でマーカー53の位置が一致する位置から所定量だけ表示領域をずらすことで、マーカー53までの距離から視差ゼロ距離をずらすようにしてもよい。以上の方法によって、マーカー53の視差がゼロになるように調整することができるので、上記実施形態と同様、立体視表示における視差ゼロ距離を上記距離Dに応じた距離とすることができる。ただし、上記の方法では、上記距離Dおよび視差ゼロ距離Fを実際には算出しないので、例えば「マーカー53までの距離Dから所定距離だけ手前の位置を視差ゼロ点にする」というように、視差ゼロ距離を精度良く設定することは難しい。例えば、マーカー53から所定距離だけ離れた位置に表示される仮想オブジェクトに視差ゼロ点が設定されるように視差を調整することは、上記の方法では難しい。これに対して、上記実施形態では、距離Dに対応する距離(仮想マーカー距離d)を実際に算出して視差ゼロ距離Fを実際に算出するので、視差ゼロ距離を精度良く調整することが可能である。したがって、例えば仮想オブジェクトの位置に視差ゼロ点を設定する場合には、上記実施形態のように視差ゼロ距離を算出する方法が有効である。
上記実施形態では、ゲーム装置10は、撮像画像の表示領域を決定した(ステップS21〜S24)後、表示領域内の撮像画像に対応する仮想画像を生成して撮像画像と仮想画像とを合成した(ステップS28)。ここで、他の実施形態では、表示領域の決定処理と合成画像の生成処理との順序が上記実施形態とは逆になる手順で、上側LCD22に表示すべき画像が生成されてもよい。具体的には、ゲーム装置10は、まず、撮像画像の全領域に対応する仮想画像を各撮像画像について生成し、生成した仮想画像と撮像画像の全領域とを合成して、撮像画像の全領域に対応する合成画像を生成する。次に、ゲーム装置10は、上記ステップS21〜S24と同様の方法で合成画像について表示領域を決定する。これによっても、上記実施形態と同様、立体視表示における視差ゼロ距離を、外側カメラ23からマーカー53までの距離Dに応じた距離とすることができる。なお、上記の手順によれば、仮想画像を生成するための仮想カメラの視野範囲を、外側カメラ23の視野範囲に対応する範囲とすればよいので、仮想カメラの視野範囲を容易に算出することができる。ただし、仮想画像および合成画像を生成する領域が広くなり、実際には表示されない部分にまで合成画像を生成する必要がある。
上記実施形態では、立体視表示における視差ゼロ距離を調整するべく左右の撮像画像の表示位置を決定するために、ゲーム装置10は各撮像画像について表示領域を設定した。ここで、他の実施形態においては、ゲーム装置10は、各撮像画像の全体を上側LCD22に表示するようにしてもよい。例えば図10を用いて説明すると、他の実施形態においては、ゲーム装置10は、左撮像画像55および右撮像画像56の全体を視差ゼロ距離に応じてずらして上側LCD22に表示してもよい。このとき、上側LCD22の画面領域には、左撮像画像55のみが表示される領域と右撮像画像56のみが表示される領域とが生じるので、立体的に見えない部分が生じて上記実施形態に比べると若干見にくい画像となる。ただし、この場合でも、外側カメラ23からマーカー53までの距離Dに応じ視差ゼロ距離となるように自動的に視差が調整されるので、上記実施形態と同様の効果を得ることができる。
なお、他の実施形態においては、ゲーム装置10は、外側カメラ23で撮像された撮像画像に対して、キャリブレーションによる補正処理を行うようにしてもよい。ここで、外側カメラ23の各カメラ23aおよび23bには取り付け誤差が生じる場合があり、この場合、取り付け誤差によって撮像画像は理想的な画像(理想的な位置および姿勢で取り付けられた各カメラ23aおよび23bによって撮像される画像)からずれてしまう。そのため、ゲーム装置10(またはゲームプログラム)の作成者は、理想的な画像に対する撮像画像のずれを予め測定しておき、撮像画像のずれを相殺する補正をゲーム装置10に行わせるようにしてもよい。
また、上記実施形態では、ゲーム装置10は、外側カメラ23によってリアルタイムに取得される撮像画像を用いて上側LCD22に立体画像を表示した。ここで、他の実施形態においては、ゲーム装置10は、外側カメラ23や外部のステレオカメラ等によって過去に撮像された画像データを用いて上側LCD22に立体画像を表示するようにしてもよい。また、上記実施形態では、外側カメラ23がゲーム装置10に予め搭載されているが、他の実施形態では、ゲーム装置10に着脱可能な外付け型のカメラが外側カメラ23に代えて利用されてもよい。
11 下側ハウジング
12 下側LCD
13 タッチパネル
14 操作ボタン
15 アナログスティック
16 LED
21 上側ハウジング
22 上側LCD
23 外側カメラ
23a 左目用カメラ
23b 右目用カメラ
24 内側カメラ
25 3D調整スイッチ
26 3Dインジケータ
28 タッチペン
31 情報処理部
311 CPU
312 GPU
32 メインメモリ
53 マーカー
54 仮想オブジェクト
55 左撮像画像
56 右撮像画像
57,58 表示領域
59 左合成画像
60 右合成画像
61 基準枠
62,63 枠
71 ゲームプログラム
72 撮像画像データ
Claims (9)
- 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示部の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであって、コンピュータを、
前記右目用の実カメラから出力される右撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該右目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第1位置姿勢情報を算出する第1位置姿勢算出手段、
前記左目用の実カメラから出力される左撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該左目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第2位置姿勢情報を算出する第2位置姿勢算出手段、
前記第1位置姿勢算出手段によって算出された前記第1位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報の少なくとも一方を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、
前記右仮想カメラから見た前記仮想空間を示す右仮想画像を生成する右仮想画像生成手段、
前記左仮想カメラから見た前記仮想空間を示す左仮想画像を生成する左仮想画像生成手段、
前記右撮像画像に前記右仮想画像を合成し、かつ、前記左撮像画像に前記左仮想画像を合成して、前記立体表示部に立体視のための画像出力を行う表示制御手段、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報を用いて、前記右目用の実カメラと前記左目用の実カメラとの間の前記所定の座標系における距離を算出するカメラ間距離算出手段、および
前記カメラ間距離算出手段によって算出された前記所定の座標系における距離と、前記右目用の実カメラと前記左目用の実カメラの間の現実世界における距離とを用いて、前記所定の座標系における単位長さと現実空間における単位長さの対応関係の情報を算出する対応関係情報算出手段として機能させる、画像表示プログラム。 - 前記コンピュータを、さらに、
前記対応関係情報算出手段によって算出された前記対応関係の情報に基づいて、前記所定の座標系における単位長さを現実空間における単位長さ一致させる処理をおこなう一致化処理手段として機能させる、請求項1に記載の画像表示プログラム。 - 前記コンピュータを、さらに、
前記所定の座標系において、当該座標系における所定位置から現実世界における所定距離だけ離れた位置に所定の仮想オブジェクトを配置する仮想オブジェクト配置手段として機能させる、請求項1に記載の画像表示プログラム。 - 前記コンピュータを、さらに、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報を用いて、前記右目用の実カメラまたは前記左目用の実カメラの撮像方向における前記所定の撮像対象までの前記所定の座標系における距離を算出する仮想距離算出手段、および
前記仮想距離算出手段によって算出された距離と前記対応関係情報算出手段によって算出された前記対応関係の情報に基づいて、前記所定の撮像対象までの現実空間における距離を算出する現実距離算出手段として機能させる、請求項1に記載の画像表示プログラム。 - 前記コンピュータを、さらに、前記現実距離算出手段によって算出された距離を基準として前記実カメラから撮影方向への距離の基準距離を設定する基準距離設定手段として機能させ、
前記表示制御手段は、前記2つの実カメラの中心を通り、前記2つの実カメラの撮像方向に伸びる直線上で、前記実カメラから撮像方向に前記基準距離だけ離れた点である基準点について、前記右撮像画像中の当該基準点が前記表示領域の中心に表示されるように前記右撮像画像を前記表示領域に表示し、かつ、前記左撮像画像中の当該基準点が前記表示領域の中心に表示されるように前記左撮像画像を前記表示領域に表示する、立体視表示制御手段として機能させる、請求項1に記載の画像表示プログラム。 - 前記表示制御手段は、前記2つの仮想カメラの中心を通り、前記2つの仮想カメラの撮像方向に伸びる直線上で、前記仮想カメラから撮像方向に前記基準距離に対応する距離だけ離れた点である仮想基準点について、前記右仮想画像中の当該仮想基準点が前記表示領域の中心に表示されるように前記右仮想カメラの射影行列を設定し、かつ、前記左仮想画像中の当該仮想基準点が前記表示領域の中心に表示されるように前記左仮想カメラの射影行列を設定する、請求項1に記載の画像表示プログラム。
- 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示部の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示装置であって、
前記右目用の実カメラから出力される右撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該右目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第1位置姿勢情報を算出する第1位置姿勢算出手段、
前記左目用の実カメラから出力される左撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該左目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第2位置姿勢情報を算出する第2位置姿勢算出手段、
前記第1位置姿勢算出手段によって算出された前記第1位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報の少なくとも一方を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、
前記右仮想カメラから見た前記仮想空間を示す右仮想画像を生成する右仮想画像生成手段、
前記左仮想カメラから見た前記仮想空間を示す左仮想画像を生成する左仮想画像生成手段、
前記右撮像画像に前記右仮想画像を合成し、かつ、前記左撮像画像に前記左仮想画像を合成して、前記立体表示部に立体視のための画像出力を行う表示制御手段、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報を用いて、前記右目用の実カメラと前記左目用の実カメラとの間の前記所定の座標系における距離を算出するカメラ間距離算出手段、および
前記カメラ間距離算出手段によって算出された前記所定の座標系における距離と、前記右目用の実カメラと前記左目用の実カメラの間の現実世界における距離とを用いて、前記所定の座標系における単位長さと現実空間における単位長さの対応関係の情報を算出する対応関係情報算出手段を備える、画像表示装置。 - 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示部の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示システムであって、
前記右目用の実カメラから出力される右撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該右目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第1位置姿勢情報を算出する第1位置姿勢算出手段、
前記左目用の実カメラから出力される左撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該左目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第2位置姿勢情報を算出する第2位置姿勢算出手段、
前記第1位置姿勢算出手段によって算出された前記第1位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報の少なくとも一方を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、
前記右仮想カメラから見た前記仮想空間を示す右仮想画像を生成する右仮想画像生成手段、
前記左仮想カメラから見た前記仮想空間を示す左仮想画像を生成する左仮想画像生成手段、
前記右撮像画像に前記右仮想画像を合成し、かつ、前記左撮像画像に前記左仮想画像を合成して、前記立体表示部に立体視のための画像出力を行う表示制御手段、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報および前記第2位置姿勢算出手段によって算出された前記第2位置姿勢情報を用いて、前記右目用の実カメラと前記左目用の実カメラとの間の前記所定の座標系における距離を算出するカメラ間距離算出手段、および
前記カメラ間距離算出手段によって算出された前記所定の座標系における距離と、前記右目用の実カメラと前記左目用の実カメラの間の現実世界における距離とを用いて、前記所定の座標系における単位長さと現実空間における単位長さの対応関係の情報を算出する対応関係情報算出手段を備える、画像表示システム。 - 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示部の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する、コンピュータによって実行される画像表示方法であって、
前記右目用の実カメラから出力される右撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該右目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第1位置姿勢情報を算出する第1位置姿勢算出ステップ、
前記左目用の実カメラから出力される左撮像画像データ内の所定の撮像対象を認識することにより、所定の座標系における当該左目用の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す第2位置姿勢情報を算出する第2位置姿勢算出ステップ、
前記第1位置姿勢算出ステップによって算出された前記第1位置姿勢情報および前記第2位置姿勢算出ステップによって算出された前記第2位置姿勢情報の少なくとも一方を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定ステップ、
前記右仮想カメラから見た前記仮想空間を示す右仮想画像を生成する右仮想画像生成ステップ、
前記左仮想カメラから見た前記仮想空間を示す左仮想画像を生成する左仮想画像生成ステップ、
前記右撮像画像に前記右仮想画像を合成し、かつ、前記左撮像画像に前記左仮想画像を合成して、前記立体表示部に立体視のための画像出力を行う表示制御ステップ、
前記第1位置姿勢算出ステップによって算出された前記位置姿勢情報および前記第2位置姿勢算出ステップによって算出された前記第2位置姿勢情報を用いて、前記右目用の実カメラと前記左目用の実カメラとの間の前記所定の座標系における距離を算出するカメラ間距離算出ステップ、および
前記カメラ間距離算出ステップによって算出された前記所定の座標系における距離と、前記右目用の実カメラと前記左目用の実カメラの間の現実世界における距離とを用いて、前記所定の座標系における単位長さと現実空間における単位長さの対応関係の情報を算出する対応関係情報算出ステップを含む、画像表示方法。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010135316A JP5548038B2 (ja) | 2010-06-14 | 2010-06-14 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
EP11166512.1A EP2395764B1 (en) | 2010-06-14 | 2011-05-18 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
EP11166521.2A EP2395766B1 (en) | 2010-06-14 | 2011-05-18 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
EP11166510A EP2395763A3 (en) | 2010-06-14 | 2011-05-18 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
EP11166513.9A EP2395765B1 (en) | 2010-06-14 | 2011-05-18 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
CN201110156378.7A CN102274632B (zh) | 2010-06-14 | 2011-06-03 | 立体图像显示系统和方法以及立体图像显示装置 |
CN201110156353.7A CN102274631B (zh) | 2010-06-14 | 2011-06-03 | 立体图像显示系统和方法以及立体图像显示装置 |
US13/154,991 US8902298B2 (en) | 2010-06-14 | 2011-06-07 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US13/154,904 US9001192B2 (en) | 2010-06-14 | 2011-06-07 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US13/154,964 US8842166B2 (en) | 2010-06-14 | 2011-06-07 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US13/154,926 US8830231B2 (en) | 2010-06-14 | 2011-06-07 | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010135316A JP5548038B2 (ja) | 2010-06-14 | 2010-06-14 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012003328A true JP2012003328A (ja) | 2012-01-05 |
JP5548038B2 JP5548038B2 (ja) | 2014-07-16 |
Family
ID=45535268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010135316A Active JP5548038B2 (ja) | 2010-06-14 | 2010-06-14 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5548038B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126172A1 (ja) * | 2016-01-18 | 2017-07-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
JP6332658B1 (ja) * | 2017-03-07 | 2018-05-30 | 株式会社コナミデジタルエンタテインメント | 表示制御装置、及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000276613A (ja) * | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
JP2005020559A (ja) * | 2003-06-27 | 2005-01-20 | Univ Waseda | 立体映像呈示装置 |
JP2005128897A (ja) * | 2003-10-24 | 2005-05-19 | Sony Corp | 立体視画像処理装置 |
JP2008146109A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 画像処理方法、画像処理装置 |
JP2009122547A (ja) * | 2007-11-16 | 2009-06-04 | Canon Inc | 画像表示システム |
WO2009127701A1 (en) * | 2008-04-16 | 2009-10-22 | Virtual Proteins B.V. | Interactive virtual reality image generating system |
-
2010
- 2010-06-14 JP JP2010135316A patent/JP5548038B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000276613A (ja) * | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
JP2005020559A (ja) * | 2003-06-27 | 2005-01-20 | Univ Waseda | 立体映像呈示装置 |
JP2005128897A (ja) * | 2003-10-24 | 2005-05-19 | Sony Corp | 立体視画像処理装置 |
JP2008146109A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 画像処理方法、画像処理装置 |
JP2009122547A (ja) * | 2007-11-16 | 2009-06-04 | Canon Inc | 画像表示システム |
WO2009127701A1 (en) * | 2008-04-16 | 2009-10-22 | Virtual Proteins B.V. | Interactive virtual reality image generating system |
Non-Patent Citations (2)
Title |
---|
CSNG200600881009; 鈴木香織, 外3名: '"ステレオ法を用いた視点位置検出による仮想展示の検討"' 電子情報通信学会技術研究報告 第105巻, 第683号, 20060315, p.55-60, 社団法人電子情報通信学会 * |
JPN6014002825; 鈴木香織, 外3名: '"ステレオ法を用いた視点位置検出による仮想展示の検討"' 電子情報通信学会技術研究報告 第105巻, 第683号, 20060315, p.55-60, 社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126172A1 (ja) * | 2016-01-18 | 2017-07-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
US10783654B2 (en) | 2016-01-18 | 2020-09-22 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
JP6332658B1 (ja) * | 2017-03-07 | 2018-05-30 | 株式会社コナミデジタルエンタテインメント | 表示制御装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5548038B2 (ja) | 2014-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5541974B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
US9001192B2 (en) | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method | |
JP5689707B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法 | |
JP4869430B1 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5646263B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5702653B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5149939B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
JP5876983B2 (ja) | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム | |
JP5602702B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5723149B2 (ja) | 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置 | |
JP5785732B2 (ja) | 情報処理プログラム、撮像装置、撮像方法及び撮像システム | |
JP5525924B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 | |
JP5548038B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 | |
JP5541973B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 | |
US20120306855A1 (en) | Storage medium having stored therein display control program, display control apparatus, display control method, and display control system | |
JP5739673B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5546960B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111019 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5548038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |