JP2011013993A - 画像表示装置および方法並びにプログラム - Google Patents

Abstract

【課題】立体画像に含まれる被写体の奥行き方向における距離を容易に確認できるようにする。
【解決手段】撮影部２Ａ，２Ｂが取得した２つの画像を用いて、立体画像生成部５が立体画像を生成する。被写体抽出部６が２つの画像から人物等の被写体領域を抽出し、奥行き情報取得部７が、被写体領域の立体画像の奥行き方向における距離を、奥行き情報として取得する。奥行き画像生成部８が、被写体領域についての被写体画像を距離順に並べて奥行き画像を生成する。被写体画像を奥行き方向と直交する軸に関して回転させる。
【選択図】図１

Description

本発明は、立体視を行うための立体画像から、立体画像の奥行きを表す奥行き画像を生成して表示する画像表示装置および方法並びに画像表示方法をコンピュータに実行させるためのプログラムに関するものである。

同一の被写体を異なる複数の視点から撮影することにより取得した複数の画像から立体視可能な立体画像を生成し、生成した立体画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体画像を立体視表示するための具体的な手法として、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能なモニタに表示する手法が提案されている。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。

また、立体視表示される立体画像を見やすくするための各種手法が提案されている。例えば、撮影により取得した立体画像とＣＧにより作成した立体画像とを合成して合成画像を生成する際に、立体画像の周波数特性を調整し、合成画像の違和感をなくすようにする手法が提案されている（特許文献１参照）。

特開２００６−２１１３８３号公報

しかしながら、特許文献１に記載された手法は、立体画像を合成する際の違和感をなくすことができるものの、立体画像に含まれる被写体の奥行き方向における距離を確認することができない。このため、合成画像において含まれる被写体の奥行き方向の位置関係が、実際の位置関係と異なるものとなってしまうおそれがある。

本発明は、上記事情に鑑みなされたものであり、立体画像に含まれる被写体の奥行き方向における距離を容易に確認できるようにすることを目的とする。

本発明による画像表示装置は、異なる視点において取得した複数の画像から生成された立体視を行うための立体画像を取得する立体画像取得手段と、
前記立体画像に含まれる少なくとも１つの被写体の、該立体画像の奥行き方向における距離を表す奥行き情報を取得する奥行き情報取得手段と、
前記奥行き方向における基準位置からの前記被写体画像の位置までの距離と、前記被写体の前記奥行き方向における距離とを対応づけて前記被写体画像を配置して、奥行き画像を生成する奥行き画像生成手段と、
前記奥行き画像に配置された前記被写体画像を、前記奥行き方向と直交する軸に関して回転可能に表示制御する回転表示制御手段と、
該被写体画像が回転可能に表示制御された前記奥行き画像を表示する表示手段とを備えたことを特徴とするものである。

「立体画像の奥行き方向における距離」とは、立体画像を取得するための撮影を行う場合における、撮影装置から被写体までの光軸方向における距離を意味し、具体的には、あらかじめ定められた基準位置（例えば撮影装置における撮像素子の位置あるいは撮影レンズの主点の位置等）を基準とした被写体までの距離を意味する。また、被写体は通常３次元形状を有するため、被写体上の各点において奥行き方向における距離は異なる。このため、被写体までの距離としては、被写体上のあらかじめ定められた点における距離、被写体上の所定領域内における距離の平均値、あるいは被写体上の全領域における距離の平均値等を用いることが好ましい。

「奥行き方向と直交する軸」とは、実際に立体画像の奥行き方向と直交する軸を意味する。このため、奥行き方向を奥行き画像上のいずれの方向に設定するかに応じて、「奥行き方向と直交する軸」は、奥行き画像上の奥行き方向と必ずしも直交しない場合がある。例えば、奥行き方向が奥行き画像の水平方向に設定されており、被写体画像が奥行き画像の水平方向に並んでいれば、「奥行き方向と直交する軸」は奥行き画像においても奥行き方向と直交する。一方、奥行き画像の水平方向にｘ軸、垂直方向にｚ軸、斜め方向にｙ軸を設定することにより奥行き画像上の３次元空間を設定し、ｙ軸を奥行き方向とした場合、奥行き画像上においては奥行き方向と直交する軸はｚ軸となるため、「奥行き方向と直交する軸」は、奥行き画像上においては奥行き方向とは直交しないこととなる。

「被写体画像を奥行き方向と直交する軸に関して回転可能」とするとは、被写体画像のサイズを、奥行き方向と直交する軸にさらに直交する方向に圧縮することにより、被写体画像のサイズをその直交方向に小さくし、奥行き画像を表示した際に、板状の被写体画像が奥行き方向と直交する軸に対して回転して見えるようにすることを意味する。なお、被写体画像のサイズを圧縮する際に、回転の基準となる軸の左右の画像を、それぞれ軸に平行に逆方向に移動させることにより、板状の被写体画像が立体感を持って回転して見えることとなる。なお、圧縮した被写体画像のサイズを元に戻すことにより、被写体画像を逆方向に回転できることはもちろんである。

なお、本発明による画像表示装置においては、前記立体画像に含まれる所定被写体を抽出する被写体抽出手段をさらに備えるものとし、
前記奥行き情報取得手段を、前記所定被写体の奥行き情報を取得する手段とし、
前記奥行き画像生成手段を、前記所定被写体を表す２次元の被写体画像を含む前記奥行き画像を生成する手段としてもよい。

また、本発明による画像表示装置においては、前記表示手段を、前記奥行き画像とともに前記立体画像を表示する手段としてもよい。

本発明による画像表示方法は、異なる視点において取得した複数の画像から生成された立体視を行うための立体画像を取得し、
前記立体画像に含まれる少なくとも１つの被写体の、該立体画像の奥行き方向における距離を表す奥行き情報を取得し、
前記奥行き方向における基準位置からの前記被写体画像の位置までの距離と、前記被写体の前記奥行き方向における距離とを対応づけて前記被写体画像を配置して、奥行き画像を生成し、
前記奥行き画像に配置された前記被写体画像を、前記奥行き方向と直交する軸に関して回転可能に表示制御し、
該被写体画像が回転可能に表示制御された前記奥行き画像を表示することを特徴とするものである。

なお、本発明による画像表示方法においては、前記立体画像に含まれる所定被写体を抽出し、
前記所定被写体についての前記奥行き情報を取得し、
前記所定被写体を表す２次元の被写体画像を含む前記奥行き画像を生成するようにしてもよい。

また、本発明による画像表示方法においては、前記奥行き画像とともに前記立体画像を表示してもよい。

なお、本発明による画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本願発明によれば、立体画像に含まれる少なくとも１つの被写体の、立体画像の奥行き方向における距離を表す奥行き情報が取得され、奥行き方向における基準位置からの被写体画像の位置までの距離と、被写体の奥行き方向における距離とが対応づけられて被写体画像が配置されて奥行き画像が生成され、奥行き画像に配置された被写体画像が、奥行き方向と直交する軸に関して回転可能に表示制御され、被写体画像が回転可能に表示制御された奥行き画像が表示される。このため、奥行き画像を見たユーザは、立体画像に含まれる被写体の奥行き方向の距離を容易に認識することができ、その結果、立体画像における被写体の奥行き方向における位置の確認をより容易に行うことができる。とくに、複数の立体画像を合成する場合、本発明による奥行き画像を生成することにより、被写体の奥行き方向における距離関係を誤ることがなくなるため、正しい立体感を持った合成画像を生成することができる。

また、奥行き画像に配置された被写体画像を、奥行き方向と直交する軸に関して回転可能に表示制御しているため、奥行き画像を表示した際に、板状の被写体画像が奥行き方向と直交する軸に関して、回転して見えるようにすることができる。したがって、奥行き画像において、被写体画像に立体感を付与することができる。

また、立体画像に含まれる所定被写体を抽出し、所定被写体の奥行き情報を取得し、所定被写体を表す２次元の被写体画像を含む奥行き画像を生成することにより、所定被写体についての立体画像の奥行き方向における位置関係を容易に確認できることとなる。

また、奥行き画像とともに立体画像を表示することにより、立体画像において立体感を確認しつつ、立体画像に含まれる被写体の奥行き方向における位置を確認することができる。

本発明の実施形態による画像表示装置を適用した複眼撮影装置の構成を示す概略ブロック図 撮影部の構成を示す図 撮影部の配置を説明するための図 撮影部が取得した画像を示す図 抽出した被写体領域を示す図 奥行き画像を示す図 被写体画像の回転を説明するための図 奥行き画像の他の例を示す図 画像ファイルのファイルフォーマットを示す図 付帯情報の内容を示す図 本実施形態において奥行き画像の生成時に行われる処理を示すフローチャート 本実施形態において合成時に行われる処理を示すフローチャート 合成に使用する２つの立体画像を示す図 合成に使用する２つの立体画像の奥行き画像を示す図 合成の指示を説明するための図 合成画像を示す図 奥行き画像と立体画像とを同時に表示する状態を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像表示装置を適用した複眼撮影装置の構成を示す概略ブロック図である。図１に示すように本実施形態による複眼撮影装置１は、２つの撮影部２Ａ，２Ｂ、撮影制御部３、画像処理部４、立体画像生成部５、被写体抽出部６、奥行き情報取得部７、奥行き画像生成部８、合成部９、ファイル生成部１０、メディア制御部１１、各種入力を行う操作ボタン等からなる入力部１３、各種表示を行う液晶モニタ等の表示部１４、および制御部１５を備え、各部がバス１６により接続されている。

図２は撮影部２Ａ，２Ｂの構成を示す図である。図２に示すように、撮影部２Ａ，２Ｂは、レンズ２０Ａ，２０Ｂ、絞り２１Ａ，２１Ｂ、シャッタ２２Ａ，２２Ｂ、撮像素子２３Ａ，２３Ｂ、アナログフロントエンド（ＡＦＥ）２４Ａ，２４ＢおよびＡ／Ｄ変換部２５Ａ，２５Ｂをそれぞれ備える。なお、撮影部２Ａ，２Ｂは、図３に示すように、被写体を見込む輻輳角αを持って、あらかじめ定められた基線長Ｋとなるように配置されている。なお、輻輳角および基線長の情報は後述するＲＯＭ１５Ｃに記憶されている。

レンズ２０Ａ，２０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部３が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。

絞り２１Ａ，２１Ｂは、撮影制御部３が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ２２Ａ，２２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

撮像素子２３Ａ，２３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、撮像素子２３Ａ，２３Ｂの前面には、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ２４Ａ，２４Ｂは、撮像素子２３Ａ，２３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部２５Ａ，２５Ｂは、ＡＦＥ２４Ａ，２４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮影部２Ａ，２Ｂのそれぞれにより取得されるデジタルの画像データにより表される画像を画像Ｌ１，Ｒ１とする。

撮影制御部３は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部１３に含まれるレリーズボタンの半押し操作により撮影部２Ａ，２Ｂが取得したプレ画像に基づいてレンズ２０Ａ，２０Ｂの焦点距離を決定し、撮影部２Ａ，２Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２Ａ，２Ｂに出力する。なお、ＡＦ処理およびＡＥ処理を行うことなく、あらかじめ定められたフォーカス位置、絞り値およびシャッタ速度を用いて撮影を行うことも可能である。

また、撮影制御部３は、レリーズボタンの全押し操作により、撮影部２Ａ，２Ｂに対して立体画像生成用の画像Ｌ１，Ｒ１の本画像を取得させる指示を行う。なお、レリーズボタンが操作される前は、撮影制御部３は、撮影部２Ａ，２Ｂに対して撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を取得させる指示を行う。

ここで、画像Ｌ１，Ｒ１は、図３に示すように、撮影部２Ａ，２Ｂを用いて被写体を異なる２つの撮影位置において撮影を行うことにより取得されるものである。なお、立体画像生成時に左側に表示される画像が画像Ｌ１、右側に表示される画像が画像Ｒ１となる。

また、本実施形態においては、２つの画像Ｌ１，Ｒ１から立体画像を生成するものであるが、３以上の撮影部を備え、３以上の異なる撮影位置において撮影を行うことにより取得した３以上の画像から立体画像を生成するものであってもよい。

画像処理部４は、撮影部２Ａ，２Ｂが取得した画像Ｌ１，Ｒ１のデジタルの画像データに対して、撮影部２Ａ，２Ｂの画角のずれ、ズーム倍率の相違、撮像素子の回転による画像のずれ、撮影部２Ａ，２Ｂが輻輳角αを持って被写体を撮影することにより生じる台形歪み等を補正する補正処理、並びにホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画質補正処理を施す。なお、画像処理部４における処理後の画像Ｌ１，Ｒ１についても処理前の参照符号Ｌ１，Ｒ１を用いるものとする。

立体画像生成部５は、画像Ｌ１，Ｒ１を表示部１４に立体視表示させるために、画像Ｌ１，Ｒ１から立体画像を生成する。ここで、本実施形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像Ｌ１，Ｒ１を並べて表示して裸眼平衡法により立体視を行う方式を用いることができる。この場合、立体画像は画像Ｌ１，Ｒ１を並べた画像となる。また、表示部１４にレンチキュラーレンズを貼り付け、表示部１４の表示面の所定位置に画像Ｌ１，Ｒ１を短冊状に切り取って交互に配置して表示することにより、左右の目に画像Ｌ１，Ｒ１をそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、表示部１４に左右の目への光路を変更するバリアを貼り付け、表示部１４の表示面の所定位置に画像Ｌ１，Ｒ１を短冊状に切り取って交互に配置して表示することにより、左右の目に画像Ｌ１，Ｒ１をそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。レンチキュラー方式およびパララックスバリア方式の場合、立体画像は画像Ｌ１，Ｒ１を短冊状に切り取って交互に配置した画像となる。

また、画像Ｌ１，Ｒ１の色を例えば赤と青のように異ならせて重ね合わせたり、画像Ｌ１，Ｒ１の偏光方向を異ならせて重ね合わせることにより、画像Ｌ１，Ｒ１を合成して立体視表示を実現する方式（アナグリフ方式、偏光フィルタ方式）を用いることができる。この場合、立体画像は画像Ｌ１，Ｒ１を重ね合わせた画像となる。さらに、表示部１４のバックライトの光路を光学的に左右の目に対応するように交互に分離し、表示部１４の表示面に画像Ｌ１，Ｒ１をバックライトの左右への分離にあわせて交互に表示することにより、立体視表示を実現するスキャンバックライト方式を用いることができる。この場合、立体画像は画像Ｌ１，Ｒ１を交互に表示する動的に変化する画像となる。

なお、表示部１４は立体視表示の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、表示部１４の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、表示部１４の表面にバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子が表示部１４の表示面に取り付けられている。

被写体抽出部６は、画像Ｌ１，Ｒ１から所定被写体の領域を被写体領域として抽出する。なお、本実施形態においては、所定被写体として人物を用いるものとする。なお、被写体抽出部６は、テンプレートマッチングによる手法、あるいは顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、画像Ｌ１，Ｒ１から顔を検出し、さらに顔に隣接する背景と異なる領域を人物の体として検出する。そして、顔および体からなる領域を人物の被写体領域として抽出する。なお、画像Ｌ１，Ｒ１に複数の人物が含まれる場合、被写体抽出部６はすべての人物の被写体領域を抽出する。ここで、画像Ｌ１，Ｒ１に含まれる人物のうち、サイズがあまりに小さい人物については、撮影の対象としたものではなく、撮影者が意図しない人物である場合が多い。このため、被写体抽出部６は、あらかじめ定めた所定のしきい値以上の面積を有する人物のみを被写体領域として抽出するものとする。

奥行き情報取得部７は、被写体抽出部６が抽出した被写体について、立体画像生成部５が生成した立体画像の奥行き方向における距離を表す奥行き情報を生成する。具体的には、撮影部２Ａ，２Ｂから撮影部２Ａ，２Ｂの撮影範囲に含まれる、抽出した被写体までの距離を測定し、測定した距離を奥行き情報として生成する。以下、奥行き情報の生成について説明する。

奥行き情報取得部７は、まずステレオマッチングの手法を用いて撮影部２Ａ，２Ｂが取得した画像Ｌ１，Ｒ１上において互いに対応する対応点を求める。例えば、画像Ｌ１，Ｒ１から部分的な行列（例えば３×３画素）を取り出して相関値を求めることにより対応点を求める。そして、求めた対応点、撮影部２Ａ，２Ｂの基線長、輻輳角およびズーム倍率を用いて、三角測量の原理を用いて画像Ｌ１，Ｒ１に共通に含まれる被写体までの距離（被写体距離）を算出する。具体的には、画像Ｌ１，Ｒ１から抽出した被写体領域上のすべての画素について、画素毎に距離を算出する。

さらに、奥行き情報取得部７は、被写体領域内について算出した画素毎の距離の平均値を被写体までの距離を表す奥行き情報として算出する。例えば、図４に示すように３人の人物を含む画像Ｌ１，Ｒ１を取得した場合、被写体抽出部６は、図５に示すように画像Ｌ１，Ｒ１からそれぞれ３人の人物に対応する被写体領域Ａ１〜Ａ３を抽出する。したがって、奥行き情報取得部７は、被写体領域Ａ１〜Ａ３のそれぞれについて、距離の平均値を奥行き情報Ｄ１〜Ｄ３として算出する。

奥行き画像生成部８は、被写体領域Ａ１〜Ａ３の画像を奥行き情報Ｄ１〜Ｄ３、すなわち距離に応じて配置した奥行き画像を生成する。図６は奥行き画像を示す図である。図６に示すように奥行き画像４０は、水平方向が立体画像の奥行きを表すものであり、被写体領域Ａ１〜Ａ３の２次元の画像（被写体画像とする）Ｇ１〜Ｇ３が、距離順に並んでいる。なお、図６においては、奥行き画像４０の左端を基準位置として、右端に向かうほど距離が大きくなるものとする。

なお、奥行き画像４０においては、図７に示すように、被写体画像Ｇ１〜Ｇ３を水平方向に圧縮しつつ、被写体画像Ｇ１〜Ｇ３における中心を通る垂直軸Ｘ０の左右の画像をそれぞれ上下に逆方向に移動させることにより、被写体画像Ｇ１〜Ｇ３を垂直軸Ｘ０に関して回転させるようにしてもよい。なお、垂直軸Ｘ０は、水平方向すなわち立体画像の奥行き方向と直交する軸である。また、被写体画像Ｇ１〜Ｇ３の回転は、回転表示制御部１６が行う。これにより、図８に示す奥行き画像４１のように、板状の被写体画像Ｇ１〜Ｇ３が水平方向に垂直な軸に対して回転して見えるようにすることができる。また、入力部１３において被写体画像の回転の指示を受け付けるようにすることにより、被写体画像を回転するようにしてもよい。これにより、被写体画像Ｇ１〜Ｇ３の回転して見える度合を変更できるため、所望とする回転度合の被写体画像Ｇ１〜Ｇ３を奥行き画像４０に含めることができる。なお、奥行き画像４０に複数の被写体画像が含まれる場合には、すべての被写体画像について同時に回転してもよく、入力部１３により被写体画像の指定を受け付け、指定された被写体画像のみ回転するようにしてもよい。

合成部９は、複数の立体画像を合成して合成画像を生成する。なお、合成部９が行う処理については後述する。

ファイル生成部１０は、画像Ｌ１，Ｒ１の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体画像の画像ファイルＦ０を生成する。この画像ファイルＦ０には、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたヘッダが付加される。図９は画像ファイルＦ０のファイルフォーマットを示す図である。図９に示すように画像ファイルＦ０には、画像Ｌ１の付帯情報Ｈ１、画像Ｌ１の画像データ（画像データについても参照符号Ｌ１を用いるものとする）、画像Ｒ１の付帯情報Ｈ２、および画像Ｒ１の画像データ（画像データについても参照符号Ｒ１を用いるものとする）が格納されてなる。また、図示はしないが、第１および第２の画像Ｇ１，Ｇ２についての付帯情報および画像データの前後には、データの開始位置および終了位置を表す情報が含まれる。

図１０は付帯情報の詳細な内容を示す図である。図１０に示すように付帯情報Ｈ１，Ｈ２には画像Ｌ１，Ｒ１の撮影日、基線長、輻輳角、含まれる被写体の位置座標および奥行き情報が含まれる。なお、位置座標および奥行き情報は、被写体毎に付帯情報に含まれる。図１０においては２つの被写体Ａ，Ｂの位置座標および奥行き情報が含まれている。ここで、被写体の位置座標としては、被写体領域の重心または顔領域の中心等の座標を用いることができる。

メディア制御部１１は、メモリカード等のメディア１２にアクセスして画像ファイルＦ０の書き込みと読み込みの制御を行う。

制御部１５は、ＣＰＵ１５Ａ、装置１が各種処理を行う際の作業領域となるＲＡＭ１５Ｂ、並びに装置１の動作プログラムおよび各種定数等を記憶したＲＯＭ１５Ｃを備えてなり、装置１の各部の動作を制御する。

次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において奥行き画像の生成時に行われる処理を示すフローチャートである。ユーザが撮影部２Ａ，２Ｂを用いて被写体を撮影して画像Ｌ１，Ｒ１が取得されることにより制御部１５が処理を開始し、立体画像生成部５が画像Ｌ１，Ｒ１から立体画像を生成する（ステップＳＴ１）。そして、被写体抽出部６が、画像Ｌ１，Ｒ１から被写体領域を抽出し（ステップＳＴ２）、奥行き情報取得部７が被写体領域Ａ１〜Ａ３毎に奥行き情報Ｄ１〜Ｄ３を取得する（ステップＳＴ３）。さらに奥行き画像生成部８が奥行き画像を生成し（ステップＳＴ４）、制御部１５が奥行き画像を表示部１４に表示する（ステップＳＴ５）。なお、立体画像の生成の処理と、奥行き画像の表示の処理とを並列に行ってもよく、奥行き画像を生成してから立体画像を生成するようにしてもよい。また、立体画像を生成することなく、奥行き画像のみを生成してもよい。

続いて、制御部１５は、入力部１３から被写体画像の回転指示があったか否かを判定し（ステップＳＴ６）、ステップＳＴ６が肯定されると、回転表示制御部１６が、奥行き画像に含まれる被写体画像を垂直軸に関して回転する（ステップＳＴ７）。なお、ステップＳＴ６が否定されるとステップＳＴ８に進む。そして、制御部１５は入力部１３から終了指示がなされたか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、ステップＳＴ６に戻る。ステップＳＴ８が肯定されると処理を終了する。

このように、本実施形態においては、立体画像に含まれる被写体の立体画像の奥行き方向における距離を表す奥行き情報を取得し、被写体画像Ｇ１〜Ｇ３を距離に応じて配置して奥行き画像を生成するようにしたものである。このため、奥行き画像を表示部１４に表示することにより、奥行き画像を見たユーザは、立体画像に含まれる被写体の奥行き方向の距離を容易に認識することができる。

また、奥行き画像の水平方向に奥行き方向を設定し、奥行き画像の左端からの被写体画像の位置までの距離と、被写体の奥行き方向における距離とを対応づけて奥行き画像を生成することにより、立体画像における被写体の奥行き方向における位置の確認をより容易に行うことができる。

また、奥行き画像において、被写体画像を垂直軸に関して回転することにより、奥行き画像を表示した際に、板状の被写体画像が水平方向に垂直な軸に対して回転して見えるようにすることができる。したがって、奥行き画像において、被写体画像に立体感を付与することができる。

次いで、本実施形態における立体画像の合成について説明する。図１２は合成時に行われる処理を示すフローチャートである。なお、ここでは２つの立体画像から１つの合成画像を生成する場合の処理について説明する。入力部１３から合成する２つの立体画像を表示する指示が行われることにより制御部１５が処理を開始し、２つの立体画像を表示部１４に表示する（ステップＳＴ２１）。図１３は合成に使用する２つの立体画像を示す図である。図１３に示すように２つの立体画像５１には二人の人物の被写体領域Ａ１１，Ａ１２が、立体画像５２には一人の人物の被写体領域Ａ１３が含まれ、それぞれ図１３の立体画像５１，５２の下方に示すように背景Ｂ０を基準として、図１３に示すような立体感を有するものとなっている。

入力部１３から２つの立体画像についての奥行き画像の生成の指示がなされると、制御部１５が図１１に示すフローチャートの処理を行って奥行き画像を生成し（ステップＳＴ２２）、奥行き画像を表示部１４に表示する（ステップＳＴ２３）。図１４は２つの立体画像５１，５２の奥行き画像を示す図である。

ここで、上述した２つの立体画像５１，５２を使用して、立体画像５２に含まれる被写体領域Ａ１３を立体画像５１に合成することを考える。この場合、被写体領域Ａ１３をどの程度立体感を持たせればよいか、すなわち、立体画像５１の生成に使用する２つの画像に被写体領域Ａ１３をそれぞれ合成する際にどの程度の視差を持たせればよいかについて、立体画像５１，５２を見るのみでは分かりにくい。

このため、図１４に示すように、立体画像５１，５２の奥行き画像５３，５４をそれぞれ生成して表示部１４に表示することにより、立体画像５１，５２における被写体画像Ｇ１１〜Ｇ１３の奥行き方向の位置関係を容易に確認することができる。したがって、奥行き画像５３，５４により表される被写体画像Ｇ１１〜Ｇ１３の位置関係に基づいて、立体画像５２に含まれる被写体領域Ａ１３の立体画像５１における奥行き方向における合成位置を、図１５に示すように容易に指定することができる。

制御部１５は、奥行き画像５３，５４を用いての合成位置の指示がなされたか否かを判定し（ステップＳＴ２４）、ステップＳＴ２４が否定されるとステップＳＴ２３に戻る。ステップＳＴ２４が肯定されると、合成部９が立体画像５１，５２を合成して合成画像を生成し（ステップＳＴ２５）、制御部１５が表示部１４に合成画像を表示し（ステップＳＴ２６）、処理を終了する。

なお、合成部９は、指示された合成位置における立体感が得られるような視差を付与して、立体画像５１を生成する２つの画像のそれぞれに被写体領域Ａ１３を合成することにより合成画像を生成する。これにより、図１６に示すように、被写体の奥行き方向における距離関係を誤ることがなく、正しい奥行き感を持った合成画像５６を生成することができる。

なお、上記実施形態においては、奥行き画像上の水平方向を立体画像の奥行き方向に設定しているが、これに限定されるものではなく、奥行き画像上の垂直方向あるいはあらかじめ定めた方向を奥行き方向に設定してもよい。

また、上記実施形態においては、奥行き画像における被写体画像を垂直軸に関して回転しているが、被写体画像を何ら回転することなく奥行き画像に含めてもよいことはもちろんである。

また、上記実施形態においては、図１７に示すように、立体画像６０と奥行き画像６１とを同時に表示部１４に表示するようにしてもよい。なお、図１７においては立体画像６０は立体感を表すことができないため、２次元画像で示している。これにより、立体画像６０において立体感を確認しつつ、奥行き画像６１により立体画像６０に含まれる被写体の奥行き方向における位置を確認することができる。

また、上記実施形態においては、被写体抽出部６において人物を被写体領域として抽出しているが、人物の顔のみを被写体領域として抽出してもよい。また、人物以外の木、草、川、道路および建物等の構造物を被写体領域として抽出するようにしてもよい。

また、上記実施形態においては、奥行き情報取得部７において、ステレオマッチングの手法を用いて画像Ｌ１，Ｒ１の対応点を求めて、撮影装置１から被写体までの距離を算出して被写体領域の奥行き情報を生成しているが、他の方式により奥行き情報を生成してもよい。例えば、複眼撮影装置１に、被写体に向けて出射した近赤外線等の測距光が被写体により反射して戻ってくるまでの時間を計測することにより、複眼撮影装置１から被写体までの距離を測定する、ＴＯＦ（Time Of Flight）方式のカメラを複眼撮影装置１に設け、ＴＯＦ方式のカメラを用いて撮影を行うことにより、複眼撮影装置１から被写体までの距離を算出して被写体領域の奥行き情報を生成してもよい。また、撮影する画像の焦点位置を検出し、その焦点位置に基づいて被写体までの距離を算出して奥行き情報を取得するようにしてもよい。

また、立体画像およびあらかじめ作成した立体画像に含まれる被写体の距離を表す距離画像をメディア１２に記録しておき、メディア１２から距離画像を読み出すことにより、奥行き情報を取得するようにしてもよい。なお、距離画像とは、立体画像の各画素について算出した距離を、各画素の画素値とする画像である。

また、上記実施形態においては、本発明による画像表示装置を撮影部２Ａ，２Ｂを備えた複眼撮影装置１に適用しているが、本発明による画像表示装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が入力され、上記実施形態と同様に奥行き画像が生成され、表示される。

以上、本発明の実施形態に係る複眼撮影装置１について説明したが、コンピュータを、上記の立体画像生成部５、被写体抽出部６、奥行き情報取得部７、奥行き画像生成部８および合成部９に対応する手段として機能させ、図１１，１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

１ 複眼撮影装置
２Ａ，２Ｂ 撮影部
３ 撮影制御部
４ 画像処理部
５ 立体画像生成部
６ 被写体抽出部
７ 奥行き情報取得部
８ 奥行き画像生成部
９ 合成部
１０ ファイル生成部
１１ メディア制御部
１２ メディア
１３ 入力部
１４ 表示部
１５ 制御部
１６ 回転表示制御部

Claims (7)

1. 異なる視点において取得した複数の画像から生成された立体視を行うための立体画像を取得する立体画像取得手段と、
   前記立体画像に含まれる少なくとも１つの被写体の、該立体画像の奥行き方向における距離を表す奥行き情報を取得する奥行き情報取得手段と、
   前記奥行き方向における基準位置からの前記被写体画像の位置までの距離と、前記被写体の前記奥行き方向における距離とを対応づけて前記被写体画像を配置して、奥行き画像を生成する奥行き画像生成手段と、
   前記奥行き画像に配置された前記被写体画像を、前記奥行き方向と直交する軸に関して回転可能に表示制御する回転表示制御手段と、
   該被写体画像が回転可能に表示制御された前記奥行き画像を表示する表示手段とを備えたことを特徴とする画像表示装置。
2. 前記立体画像に含まれる所定被写体を抽出する被写体抽出手段をさらに備え、
   前記奥行き情報取得手段は、前記所定被写体の奥行き情報を取得する手段であり、
   前記奥行き画像生成手段は、前記所定被写体を表す２次元の被写体画像を含む前記奥行き画像を生成する手段であることを特徴とする請求項１記載の画像表示装置。
3. 前記表示手段は、前記奥行き画像とともに前記立体画像を表示する手段であることを特徴とする請求項１または２記載の画像表示装置。
4. 異なる視点において取得した複数の画像から生成された立体視を行うための立体画像を取得し、
   前記立体画像に含まれる少なくとも１つの被写体の、該立体画像の奥行き方向における距離を表す奥行き情報を取得し、
   前記奥行き方向における基準位置からの前記被写体画像の位置までの距離と、前記被写体の前記奥行き方向における距離とを対応づけて前記被写体画像を配置して、奥行き画像を生成し、
   前記奥行き画像に配置された前記被写体画像を、前記奥行き方向と直交する軸に関して回転可能に表示制御し、
   該被写体画像が回転可能に表示制御された前記奥行き画像を表示することを特徴とする画像表示方法。
5. 前記立体画像に含まれる所定被写体を抽出し、
   前記所定被写体についての前記奥行き情報を取得し、
   前記所定被写体を表す２次元の被写体画像を含む前記奥行き画像を生成することを特徴とする請求項４記載の画像表示方法。
6. 前記奥行き画像とともに前記立体画像を表示することを特徴とする請求項４または５記載の画像表示方法。
7. 異なる視点において取得した複数の画像から生成された立体視を行うための立体画像を取得する手順と、
   前記立体画像に含まれる少なくとも１つの被写体の、該立体画像の奥行き方向における距離を表す奥行き情報を取得する手順と、
   前記奥行き方向における基準位置からの前記被写体画像の位置までの距離と、前記被写体の前記奥行き方向における距離とを対応づけて前記被写体画像を配置して、奥行き画像を生成する手順と、
   前記奥行き画像に配置された前記被写体画像を、前記奥行き方向と直交する軸に関して回転可能に表示制御する手順と、
   該被写体画像が回転可能に表示制御された前記奥行き画像を表示する手順とを有することを特徴とする画像表示方法をコンピュータに実行させるためのプログラム。

Images