JP2010268097A - ３次元表示装置及び３次元表示方法 - Google Patents

Abstract

【課題】３次元表示装置及び３次元表示方法並びにプログラムにおいて、３次元表示された３次元画像の端部における不自然な見え方を解消する。
【解決手段】視差を有する複数の画像Ｇ１，Ｇ２に基づいた３次元画像の３次元表示時に、適切に立体視される主画像ＭＬ，ＭＲの左右両端部及び／又は上下両端部の画像に対応する複数の画像Ｇ１，Ｇ２間の視差量を取得し、複数の画像Ｇ１，Ｇ２の各々の周縁部に所定のフレーム画像ＦＬ，ＦＲを配設し、取得した視差量に基づいて、複数の画像Ｇ１，Ｇ２のうちの少なくとも１つの画像のフレーム画像ＦＬ，ＦＲを修正してフレーム画像ＦＬ，ＦＲを立体視可能にする。
【選択図】図９

Description

本発明は、複数の画像を立体視可能なように３次元表示する３次元表示装置および方法並びに３次元表示方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより行うことができる。

具体的には、裸眼平衡法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。

また、上述したような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用の３次元画像を生成し、生成した３次元画像を３次元表示モニタに３次元表示することができる。

ところで、３次元表示するための複数の画像は被写体を異なる視点から撮影することにより取得されるため、その左右の端部において、他の画像には存在しない領域が存在することとなる。例えば、図１８に示すような２つの画像Ｇ１，Ｇ２を用いて３次元表示を行う場合、画像Ｇ１における領域Ａ５１は画像Ｇ２には存在せず、画像Ｇ２における領域Ａ５２は画像Ｇ１には存在しない。このような画像を３次元表示した場合において、画像の端部にいる人物が、表示面から手前側に飛び出して見えるような位置にあるとしても、人物の一部が画像Ｇ２には存在しないことから、３次元画像の左端部において人物の立体感が突然なくなって人物の左半分が２次元表示されるため、３次元画像の見え方がその端部において非常に不自然なものとなる。

このため、手前側に飛び出して立体視される物体について、一方の画像についてはすべての情報があるものの、他方の画像については情報が欠落しているために３次元表示できない場合には、一方の画像についてマスク等を用いてその物体の情報を欠落させることにより、３次元表示を行う手法が提案されている（特許文献１）。また、複数のオブジェクトを含む画像を３次元表示した際に、オブジェクトの立体感を変更する手法が提案されている（特許文献２）。

特開平８−６５７１５号公報 特開２００５−６５１６２号公報

しかしながら、特許文献１に記載された手法においては、物体が３次元表示できなくなる状態を解消できるものの、特定の物体のみを対象としているため、その物体の後や手前に存在する物体についてはやはり立体感が突然なくなってしまう。このため、３次元画像が表示面から手前側に飛び出して見えるような立体感を有する場合、画像を見た観察者は、３次元画像が非常に不自然に見えることとなる。また特許文献２に記載された手法においては、オブジェクト全体を引っ込めるように立体感を変更した場合に、全体の立体感が低下してしまう虞がある。

本発明は上記事情に鑑みてなされたものであり、３次元表示された３次元画像の端部における不自然な見え方を解消することができる３次元表示装置及び３次元表示方法並びにプログラムを提供することを目的とするものである。

本発明の第１の３次元表示装置は、視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段と、
前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得する視差量取得手段と、
前記複数の画像の各々の周縁部に所定のフレーム画像を配設するフレーム画像配設手段と、
前記視差量取得手段により取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像の前記フレーム画像を修正して前記フレーム画像を立体視可能にするフレーム画像立体視制御手段とを備えてなることを特徴とするものである。

また本発明の第２の３次元表示装置は、視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段と、
前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得する視差量取得手段と、
前記複数の画像の各々の周縁部に配置する所定のフレーム画像を生成するフレーム画像生成手段と、
前記視差量取得手段により取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像に配置する前記フレーム画像を修正して前記フレーム画像を立体視可能にするフレーム画像立体視制御手段と、
前記複数の画像の各々の主画像と前記フレーム画像とを合成するフレーム画像合成手段とを備えてなることを特徴とするものである。

なお本発明において「３次元表示される３次元画像」は、実際に３次元形状を有する画像ではなく、観察者が立体的に見ることができる画像のことをいう。また本発明において「複数の画像の各々の周縁部」は、主画像の外側領域をいうが、主画像の領域を含んでいても良い。また本発明において「適切に立体視される主画像」は、他の画像には存在しない領域が存在する画像を３次元表示したときに突然立体感がなくなる画像を除いた領域をいう。

また本発明のよる３次元表示装置においては、前記フレーム画像立体視制御手段が、前記主画像の左右両端部及び／又は上下両端部における最大視差量と、前記フレーム画像における前記主画像との境界領域の視差量とが一致するように前記フレーム画像の修正を制御するものであってもよい。

また本発明による３次元表示装置においては、前記フレーム画像立体視制御手段が、前記フレーム画像における視差量が外縁部側からに主画像側向けて徐々に大きくなるように前記フレーム画像の修正を制御するものであってもよい。

また本発明による３次元表示装置においては、前記フレーム画像立体視制御手段が、前記フレーム画像における視差量が前記視差量取得手段により取得した視差量の最大値よりも大きい値となるように前記フレーム画像の修正を制御するものであってもよい。
本発明による第１の３次元表示方法は、視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段を備えてなる３次元表示装置における３次元表示方法において、
前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得し、
前記複数の画像の各々の周縁部に所定のフレーム画像を配設し、
前記取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像の前記フレーム画像を修正して前記フレーム画像を立体視可能にすることを特徴とするものである。

また本発明による第２の３次元表示方法は、視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段を備えてなる３次元表示装置における３次元表示方法において、
前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得し、
前記複数の画像の各々の周縁部に配置する所定のフレーム画像を生成し、
前記取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像に配置する前記フレーム画像を修正して前記フレーム画像を立体視可能にし、
前記複数の画像の各々の主画像と前記フレーム画像とを合成することを特徴とするものである。

なお本発明による３次元表示方法においては、前記主画像の左右両端部及び／又は上下両端部における最大視差量と、前記フレーム画像における前記主画像との境界領域の視差量とが一致するように前記フレーム画像の修正を制御してもよい。

また本発明による３次元表示方法においては、前記フレーム画像における視差量が外縁部側からに主画像側向けて徐々に大きくなるように前記フレーム画像の修正を制御してもよい。

また本発明による３次元表示方法においては、前記フレーム画像における視差量が前記取得した視差量の最大値よりも大きい値となるように前記フレーム画像の修正を制御してもよい。

なお本発明による３次元表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、視差を有する複数の画像の各々の周縁部に、前記複数の画像に基づいて３次元表示された３次元画像のうち適切に立体視される主画像の左右両端部及び／又は上下両端部の視差量に基づいて立体視可能にされたフレーム画像を配設するので、複数の画像の周囲において互いに見えない領域が存在する場合であっても、その領域にフレーム画像が表示されることにより立体感が突然なくなることがなくなるため、３次元画像の端部における不自然な見え方を解消することができる。

本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図 撮影部の構成を示す図 第１及び第２の画像を３次元表示した場合の立体感を示す図 第１及び第２の画像の周囲にフレーム画像を配設した状態を示す図 主画像の右端部の対応点の検索を説明するための図 対応点間の視差を第２の画像とともに示す図 主画像の左端部の対応点の検索を説明するための図 対応点間の視差を第１の画像とともに示す図 フレーム画像の立体感の制御を説明する図 水平方向における３次元表示を説明する図 垂直方向における３次元表示を説明する図 修正される前のフレーム画像の一例を示す図 修正後の第１の画像のフレーム画像及び第２の画像のフレーム画像の一例を示す図 上端フレームの修正を説明する図 第１の実施形態において行われる処理を示すフローチャート 本発明の第２の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図 第１及び第２の画像にそれぞれ合成するフレーム画像の一例を示す図 第２の実施形態において行われる処理を示すフローチャート ３次元表示するための複数の画像を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。また、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるものとする。

図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。

フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。

ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。

絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部を有する。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。

ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。より具体的には、プレ画像を複数のＡＦ領域に分割し、各ＡＦ領域内の画像に対してハイパスフィルタによるフィルタリング処理を施して、ＡＦ領域毎に高周波成分の評価値であるＡＦ評価値を算出し、最も評価が高い、すなわちフィルタによる出力値が最も高いＡＦ領域を合焦領域として検出する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１及び第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１及び第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１及び第２の画像Ｇ１，Ｇ２の本画像から生成された３次元画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１及び第２の画像Ｇ１，Ｇ２の画像データおよび３次元画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、撮影部２１Ａ，２１Ｂの基線長および輻輳角、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。また、後述するように視差量取得部３０によって取得された視差量の情報や、フレーム画像配設部３１によって設定される端部領域の範囲の情報等も記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１及び第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１及び第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、第１及び第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、モニタ２０の３次元表示方式に合わせた３次元処理を行って、第１及び第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示する。

ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１及び第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１及び第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１及び第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

なお、モニタ２０は３次元表示方式に応じた加工がなされている。例えば、３次元表示方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

また表示制御部２８は、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１及び第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。

なお、表示モードが３次元表示に切り替えられた場合には、後述するように第１及び第２の画像Ｇ１，Ｇ２の双方が表示に用いられ、２次元表示に切り替えられた場合は第１及び第２の画像Ｇ１，Ｇ２のいずれか一方が表示に用いられる。本実施形態においては、第１の画像Ｇ１を２次元表示に用いるものとする。
ＣＰＵ３３は、レリーズボタン等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。

データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

ここで図３に第１及び第２の画像Ｇ１，Ｇ２を３次元表示した場合の立体感を示す図を示す。なお、ここでは、スキャンバックライト方式により第１及び第２の画像Ｇ１，Ｇ２を交互に表示する３次元表示を行うものとして説明する。また、３次元画像は画像の全体において、モニタ２０の表示面２０Ａから手前側に飛び出して見えるような立体感を有するものとする。図３に示すように、第１及び第２の画像Ｇ１，Ｇ２を３次元表示することにより、３次元画像はモニタ２０の表示面２０Ａから手前側に飛び出すように立体視することができる。しかしながら、第１及び第２の画像Ｇ１，Ｇ２は被写体を異なる視点から撮影することにより取得されるため、上記図１８に示すように、第１及び第２の画像Ｇ１，Ｇ２の端部に、双方に共通しない領域Ａ５１，Ａ５２が含まれることとなる。このため、３次元画像上においては、左目で見える範囲ＨＬと右目で見える範囲ＨＲとが異なるものとなり、その結果、３次元画像上において、左目でのみしか視認できない部分ＢＬおよび右目のみでしか視認できない部分ＢＲが現れることとなる。

このように３次元画像上において、左目でのみしか視認できない部分ＢＬおよび右目のみでしか視認できない部分ＢＲが現れると、部分ＢＬ，ＢＲに隣接する立体視可能な部分が手前側に飛び出して立体視できる場合、その境界において立体感が突然なくなるため、３次元画像が非常に不自然に見えることとなる。

そこで本実施形態においては、３次元表示された３次元画像の端部における不自然な見え方を解消するために、視差量取得部３０、フレーム画像配設部３１、フレーム画像立体視制御部３２を備えるものとする。ここで図４に第１及び第２の画像Ｇ１，Ｇ２の周縁部にフレーム画像を配設した状態を示す図、図５に主画像の右端部の対応点の検索を説明するための図を示す。なお、第１及び第２の画像Ｇ１，Ｇ２は、図４に示すように山を背景として二人の人物Ｐ１，Ｐ２を含み、山と人物Ｐ１，Ｐ２との間に建物を含む画像とする。

視差量取得部３０は、第１及び第２の画像Ｇ１，Ｇ２において、第１及び第２の画像Ｇ１，Ｇ２に基づいた３次元画像がモニタ２０に表示されるときに、モニタ２０の表示面２０Ａよりも手前側に立体視される画像のうち適切に立体視される画像つまり図３において部分ＢＬ，ＢＲを除く部分ＢＭに対応する画像（以下、主画像という）中の左右両端部の画像に対応する画像間の視差量を取得するものである。図４において、第１の画像Ｇ１の主画像は主画像ＭＬ、第２の画像Ｇ２の主画像は主画像ＭＲである。なお視差量の取得方法については後で詳細に説明する。

フレーム画像配設部３１は、第１の画像Ｇ１と第２の画像Ｇ２の各々の周縁部に所定のフレーム画像ＦＬ，ＦＲを配設する。フレーム画像ＦＬ，ＦＲは、図４に示す如く、フレーム画像ＦＬは、右端フレームＦＬ１、左端フレームＦＬ２、上端フレームＦＬ３および下端フレームＦＬ４の４つの台形のフレームからなり、フレーム画像ＦＲは、右端フレームＦＲ１、左端フレームＦＲ２、上端フレームＦＲ３および下端フレームＦＲ４の４つの台形のフレームからなる。フレーム画像ＦＬ，ＦＲは図４に示すように、第１及び第２の画像Ｇ１，Ｇ２の各々の周縁部の元の画像の換わりに、第１及び第２の画像Ｇ１，Ｇ２に合成されたものであり、上記元の画像とは異なる画像で形成されている。本実施形態ではフレーム画像ＦＬ，ＦＲは、水平方向に所定間隔を有して垂直方向に延びる複数の線、いわゆる縦じま形状の画像とする（図９参照）。なお縦じまの太さは任意に設定することができる。またフレーム画像ＦＬ，ＦＲの画像としては、横じま形状ではなく、視差のある方向（水平方向）にテクスチャ（輝度の変化）があるものが好ましい。

また右端フレームＦＬ１，ＦＲ１及び左端フレームＦＬ２，ＦＲ２の水平方向の幅をａ、下端フレームＦＬ３，ＦＲ３及び上端フレームＦＬ４，ＦＲ４の垂直方向の幅をｂとし、各端部フレームの幅ａ，ｂの情報は内部メモリ２７に記憶される。なおａ，ｂの値は予め定められた数値を使用するものとし、数値は例えば撮影者が入力部３４を操作することによって任意に設定することができる。

視差量取得部３０は、図５に示す如く、第１及び第２の画像Ｇ１，Ｇ２のうち第１の画像Ｇ１を基準画像に設定し、第１の画像Ｇ１の主画像ＭＬにおける右端部の領域において、ｙ方向に並ぶ画素列４０（斜線で示す）を設定し、画素列４０の各画素について第２の画像Ｇ２との対応点を検索する。ここで、撮影部２１Ａ，２１Ｂの垂直方向の位置は同一であるため、視差量取得部３０は、右端部の領域の各画素について、画素列４０の各画素を含む所定サイズのブロックを設定し、ブロックをｘ方向にのみ移動しながら相関値を算出するブロックマッチングを行い、最も大きい相関となる相関値を得た第２の画像Ｇ２上の画素を、対象の画素の対応点として検索する。

これにより、図５に示すように第２の画像Ｇ２において、画素列４０の各画素の対応点が検索される。ここで、第２の画像Ｇ２において検索された対応点から見た第１の画像Ｇ１の画素列４０における画素は、第２の画像Ｇ２の対応点から見た対応点となる。したがって、以降の説明においては、第１の画像Ｇ１の画素列の各画素を対応点と称することがあるものとする。なお、図５および以降の説明においては、説明のために実際の画素よりも対応点および画素列の各画素を拡大して示している。そして視差量取得部３０は検索された対応点間の視差量を算出し、算出した視差量のうち最も大きい値の最大視差量Ｄ１の情報を内部メモリ２７に記憶する。

なお本実施形態においては、第１及び第２の画像Ｇ１，Ｇ２において、共通の位置（画像の左上隅の位置）を原点とし、水平方向をｘ方向、垂直方向をｙ方向とする座標系を設定しているものとする。このような座標系を設定した場合において、第１及び第２の画像Ｇ１，Ｇ２上の対応点間のｘ方向における位置の差が対応点間の視差であり、視差が大きいほど立体感が大きくなる。ここで図６に対応点間の視差を第２の画像Ｇ２とともに示す図を示す。図６に示すように、人物Ｐ１に対応する対応点間の視差は大きく、視差は正の値となっている。また、画素列４０における山や建物の部分は、第２の画像Ｇ２の主画像ＭＲの画角から外れており、第２の画像Ｇ２の主画像ＭＲには含まれないことから、対応点は検索されていない。

次に図７に主画像の左端部の対応点の検索を説明するための図、図８に対応点間の視差を第１の画像Ｇ１とともに示す図を示す。視差量取得部３０は、図７に示す如く、第１及び第２の画像Ｇ１，Ｇ２のうち第２の画像Ｇ２を基準画像に設定し、第２の画像Ｇ２の主画像ＭＲにおける左端部の領域において、ｙ方向に並ぶ画素列４１（斜線で示す）を設定し、画素列４１の各画素について第１の画像Ｇ１との対応点を検索する。そして視差量取得部３０は検索された対応点間の視差量を算出し、算出した視差量のうち最も大きい値の最大視差量Ｄ２の情報を内部メモリ２７に記憶する。

なお対応点の検索方法としては上述した第１の画像Ｇ１の右端部と同様であるため、詳細な説明は省略する。本実施形態では、図７に示す如く、第１の画像Ｇ１の主画像ＭＬ上に存在する人物Ｐ１が、第２の画像Ｇ２の主画像ＭＲ上に存在する人物Ｐ１よりも映っている範囲が少ない、つまり第２の画像Ｇ２の主画像ＭＲ上に存在する人物Ｐ１の左半身が第１の画像Ｇ１の主画像ＭＬ上に存在していないため、主画像ＭＬ，ＭＲの右端部の対応点を検索する場合には第１の画像Ｇ１を基準画像に設定し、主画像ＭＬ，ＭＲの左端部の対応点を検索する場合にも同様の理由で第２の画像Ｇ２を基準画像に設定する。

図８に示すように、人物Ｐ２に対応する対応点間の視差は正の値ではあるが上述した人物Ｐ１に対応する対応点間の視差よりも小さい。つまり人物Ｐ２は人物Ｐ１よりも撮影部２１Ａ，２１Ｂから離れたところに位置している。また、画素列４１における山の部分は、第１の画像Ｇ１の画角から外れており、第１の画像Ｇ１には含まれないことから、対応点は検索されていない。

次にフレーム画像立体視制御部３２について以下説明する。フレーム画像立体視制御部３２は視差量取得部３０により取得されて内部メモリ２７に記憶された視差量に基づいて、第１，第２の画像Ｇ１，Ｇ２のうちの少なくとも一方の画像のフレーム画像ＦＬ，ＦＲを修正して、フレーム画像ＦＬ，ＦＲを立体視可能にするものである。ここで図９にフレーム画像ＦＬ，ＦＲの立体感の制御を説明する図、図１０Ａに水平方向における３次元表示を説明する図、図１０Ｂに垂直方向における３次元表示を説明する図を示す。

フレーム画像立体視制御部３２は、内部メモリ２７に記憶された視差量Ｄ１，Ｄ２のうち大きい値の視差量、つまり本実施形態では視差量Ｄ１を選択して、この視差量Ｄ１が正の値であるか否かを判別し、正の値である場合に第１，第２の画像Ｇ１，Ｇ２のうちの少なくとも一方の画像のフレーム画像ＦＬ，ＦＲを修正する。視差量Ｄ１が正の値である場合には、第１及び第２の画像Ｇ１，Ｇ２を３次元表示したときに、モニタ２０の表示面２０Ａよりも手前側に立体視される部分が含まれることになり、負の値である場合には、モニタ２０の表示面２０Ａよりも手前側に立体視される部分がなく表示面２０Ａよりも奥側つまり表示面２０Ａよりも凹んだ位置に立体視される部分が含まれることになる。

本実施形態では、第１の画像Ｇ１の左端フレームＦＬ２と第２の画像Ｇ２の右端フレームＦＲ１をそれぞれｘ方向に視差量Ｄ１となるように拡大して各画像Ｇ１，Ｇ２に上書きするように修正することにより、主画像ＭＬ，ＭＲの左右端部の最大視差量Ｄ１と左端フレームＦＬ２，ＦＲ２間及び右端フレームＦＬ１，ＦＲ１間の最大視差量Ｄ１を一致させるので、第１，第２の画像Ｇ１，Ｇ２に基づく３次元画像をモニタ２０に表示したときに主画像ＭＬ，ＭＲに対応する３次元画像の立体感とフレームＦＬ，ＦＲに対応する３次元画像の立体感とが一致する、すなわち飛び出し量が同じになる。なおフレーム画像の修正方法については後で詳細に説明する。

フレーム画像立体視制御部３２によりフレーム画像ＦＬ，ＦＲが修正された後の第１及び第２の画像Ｇ１，Ｇ２の主画像ＭＬ，ＭＲに基づいた３次元画像は水平方向では、図１０Ａに示す如く、主画像の右端部の点Ｋ１が最大視差量Ｄ１となった対応点に対応する点であり、この点Ｋ１が表示面２０Ａより最も手前側に位置して見える点となる。そしてフレーム画像がこの点Ｋ１と同じ飛び出し量で３次元表示されることにより、フレーム画像を配設する前の画像に存在していた左目及び右目のそれぞれのみに視認される部分がなくなり、左右端部における不自然な見え方を解消することができる。

また垂直方向では、図１０Ｂに示す如く、フレーム画像を配設する前は、上図に示す如く全域では３次元画像の立体視ができているが上下の端部で３次元画像が切断されてしまっていて、上述したようにフレーム画像を配設することにより、下図に示す如く、切断されてしまう上下の端部の位置にフレームが表示されるので上下の端部における不自然な見え方を解消することができる。

なお本実施形態では、第１及び第２の画像Ｇ１，Ｇ２における左右端部の視差量のうちの最大視差量からフレーム画像の視差量を決定したが、本発明はこれに限られるものではなく、左右端部及び上下端部の視差量のうちの最大視差量から決定してもよい。なお上下端部における最大視差量の取得方法は、上述した左右端部における最大視差量の取得方法と同様であるため説明は省略する。

また本実施形態では画像ＭＬ，ＭＲの左右端部の最大視差量と左端フレームＦＬ２，ＦＲ２間及び右端フレームＦＬ１，ＦＲ１間の最大視差量とを同じ値にしたが、本発明はこれに限られるものではなく、左端フレームＦＬ２，ＦＲ２間及び右端フレームＦＬ１，ＦＲ１間の最大視差量が画像ＭＬ，ＭＲの左右端部の最大視差量よりも大きな値にしてもよい。このように大きな値にすることにより、第１，第２の画像Ｇ１，Ｇ２に基づく３次元画像をモニタ２０に表示したときに主画像ＭＬ，ＭＲに対応する３次元画像の立体感よりもフレームＦＬ，ＦＲに対応する３次元画像の立体感のほうがより強くなる、すなわち飛び出し量が多くなる。

次にフレーム画像立体視制御部３２によるフレーム画像の修正方法について以下説明する。図１１は修正される前のフレーム画像の一例を示す図、図１２は修正後の第１の画像Ｇ１のフレーム画像ＦＬ及び第２の画像Ｇ２のフレーム画像ＦＲの一例を示す図、図１３は上端フレームＦＬ４の修正を説明する図である。

図１１に示すように修正される前のフレーム画像すなわちフレーム画像配設部３１により第１及び第２の画像Ｇ１，Ｇ２にそれぞれ配設されるフレーム画像ＦＬ，ＦＲにおいて、左右端フレームの内側間の幅を幅Ｗｉｎ、外側間の幅を幅Ｗｏｕｔとし、上下端フレームの内側間の幅を幅Ｈｉｎ、外側間の幅を幅Ｈｏｕｔとすると、左右端フレームＦＬ１，ＦＬ２，ＦＲ１，ＦＲ２の水平方向の幅ａはａ＝（Ｗｏｕｔ−Ｗｉｎ）／２、上下端フレームＦＬ３，ＦＬ４，ＦＲ３，ＦＲ４の垂直方向の幅ｂはｂ＝（Ｈｏｕｔ−Ｈｉｎ）／２で表すことができる。なお幅Ｈｉｎ及び幅Ｈｏｕｔの図示は省略する。

そして図１２に示すように、先ず第２の画像Ｇ２の右端フレームＦＲ１の修正は視差量取得部３０が取得した最大視差量をＤｍａxとしたときに、右端フレームＦＲ１の水平方向の幅はａであることから、フレーム画像立体視制御部３２は右端フレームＦＲ１を水平方向に（ａ＋Ｄｍａｘ）／ａ倍に拡大するように修正して第２の画像Ｇに上書きする。また第１の画像Ｇ１の左端フレームＦＬ２についても上述した第２の画像Ｇ２の右端フレームＦＲ１と同様にして（ａ＋Ｄｍａｘ）／ａ倍に拡大するように修正して第１の画像Ｇ１に上書きする。本実施形態では第１の画像Ｇ１の右端フレームＦＬ１及び第２の画像Ｇ２の左端フレームＦＲ２については修正を行わずにそのまま使用する。

このようにフレーム画像立体視制御部３２によって修正を行うことにより、第２の画像Ｇ２における右端フレームＦＲ１中の模様（本実施形態では縦じま）は、右端に近づくほど第１の画像Ｇ１における右端フレームＦＬ１の模様（本実施形態では縦じま）との視差が小さくなり、右端においては視差が０となる。同様に第１の画像Ｇ１における左端フレームＦＬ２中の模様（本実施形態では縦じま）は、左端に近づくほど第２の画像Ｇ２における左端フレームＦＲ２の模様（本実施形態では縦じま）との視差が小さくなり、左端においては視差が０となる。

このため、図１０Ａに示すように、フレーム表示によって左目及び右目のそれぞれのみに視認される部分がなくなると共に、左右の端部に向かうにつれて徐々にフレーム画像の立体感が小さくなる。すなわちフレーム画像は、モニタ２０の表示面２０Ａから３次元表示される主画像との境界に向かって徐々に立体感が強くなる、つまり飛び出すように形成される。

そして第１の画像Ｇ１の左端フレームＦＬ２及び第２の画像Ｇ２の右端フレームＦＲ１を上述したように修正すると共に第１の画像Ｇ１の上下端フレームＦＬ３，ＦＬ４及び第２の画像Ｇ２の上下端フレームＦＲ３，ＦＲ４の修正を行う。以下に第１の画像Ｇ１の上端フレームＦＬ４の修正について説明する。
図１３の最上図に示すように、第１の画像Ｇ１の左端フレームＦＬ２を修正する前は、このフレームＦＬ２の水平方向の幅はａ、上端フレームＦＬ４の垂直方向の幅はｂであり、図１３の次の図に示すように、上端フレームＦＬ４の左端及び右端の斜め方向に延びる辺の水平方向の長さはａ、垂直方向の長さはｂとなっている。

上述したように視差量取得部３０が取得した最大視差量がＤｍａxのときには、図１３の次の図に示すように、上端フレームＦＬ４の下端辺をＤｍａx／２だけ右方向にずらすと共に縦じまも下端がＤｍａx／２だけ右方向にずれた斜線になるように修正する。そして図１３の最下図に示すように、第１の画像Ｇ１の左端フレームＦＬ２を修正した後は、このフレームの水平方向の幅はａ＋Ｄｍａｘであるため、上端フレームＦＬ４の上記斜線になるように修正した縦じまをそのままの形状に保ちつつ上端フレームＦＬ４の左端の斜め方向に延びる辺の水平方向の幅がａ＋Ｄｍａｘに、右端の斜め方向に延びる辺の水平方向の幅がａになるようにそれぞれ上端フレームＦＬ４の形状を修正する。なお下端フレームＦＬ３についても上記と同様にして修正を行い、修正したフレーム画像を第１の画像Ｇ１に上書きする。

また第２の画像Ｇ２についても同様にして修正を行うが、第２の画像Ｇ２については、上端フレームＦＲ３の下端辺をＤｍａx／２だけ左方向にずらすと共に縦じまも下端がＤｍａx／２だけ左方向にずれた斜線になるように修正し、修正したフレーム画像を第２の画像Ｇ２に上書きする。

このようにフレーム画像立体視制御部３２によって修正を行うことにより、第１の画像Ｇ１及び第２の画像Ｇ２における上端フレームＦＬ４，ＦＲ４中の模様（本実施形態では縦じま）は、上端に近づくほど上端フレームＦＬ４と上端フレームＦＲ４との間の視差が小さくなり、上端においては視差が０となる。同様に下端フレームＦＬ３，ＦＲ３中の模様（本実施形態では縦じま）は、下端に近づくほど下端フレームＦＬ３と下端フレームＦＲ３との間の視差が小さくなり、下端においては視差が０となる。

このため、図１０Ｂに示すように、フレーム画像は上下の端部で切断される部分がなくなると共に、上下の外縁部に向かうにつれて徐々にフレーム画像の立体感が小さくなる。すなわちフレーム画像は、モニタ２０の表示面２０Ａから３次元表示される主画像との境界に向かって徐々に立体感が強くなる、つまり飛び出すように形成される。

なお本実施形態では上述したように、フレーム画像の形状をフレーム画像の外縁端部をモニタ２０の表示面２０Ａと同じ飛び出し量にし、フレーム画像の内側端部を主画像の左右端部と同じ飛び出し量にして、上記内側端部から外縁端部に向けて徐々に立体感がなくなる、つまり飛び出し量が小さくなる形状としたが、本発明はこれに限られるものではなく、例えば任意のカーブ形状を有する立体フレームなども公知のＣＧ作成手法を用いることにより作成することができる。本実施形態の３次元表示装置を適用した複眼カメラ１は以上のように構成されている。

次に上記複眼カメラ１によって行われる３次元表示方法について以下説明する。図１４は第１の実施形態の３次元表示装置における３次元表示方法の一連の処理を示すフローチャートである。なお３次元表示される画像はスルー画像であっても記録メディア２９に記録された画像であってもよい。

複眼カメラ１は、図１４に示す如く、先ずＣＰＵ３３が撮影者により撮影されたスルー画像または記録メディア２９に記録された画像の表示の指示がなされたか否かを判別し（ステップＳＴ１）、表示指示がなされている場合（ステップＳＴ１；ＹＥＳ）には、フレーム画像配設部３１が第１の画像Ｇ１及び第２の画像Ｇ２において主画像を除いたフレーム画像を配設する端部領域を設定する（ステップＳＴ２）。

次に視差量取得部３０が、第１の画像Ｇ１及び第２の画像Ｇ２において主画像の左右端部において各々の画像間の対応点を検索し（ステップＳＴ３）、検索した対応点の視差量を取得する（ステップＳＴ４）。そしてフレーム画像配設部３１が第１の画像Ｇ１及び第２の画像Ｇ２において各々の周縁部に所定のフレーム画像を配設する（ステップＳＴ５）。

そして視差量取得部３０が第１の画像Ｇ１及び第２の画像Ｇ２基づいてモニタ２０に３次元表示される主画像の左右端部において、モニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在するか否かを判別する（ステップＳＴ６）。なお視差量取得部３０が取得した視差量の最大値が正の値のときに、モニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在するものとする。

ステップＳＴ６にてモニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在する場合（ステップＳＴ６；ＹＥＳ）には、フレーム画像立体視制御部３２が取得された視差量に基づいて、上述したようにしてフレーム画像を修正し（ステップＳＴ７）、表示制御部２８がフレーム画像を修正した第１の画像Ｇ１及び第２の画像Ｇ２をモニタ２０の立体方式に合わせて３次元処理を行って（ステップＳＴ８）、モニタ２０に３次元表示する（ステップＳＴ９）。これによりモニタ２０の観察者は、適切に立体視できる主画像の外側領域に、この主画像の左右端部と同じ飛び出し量のフレーム画像を立体視することができるので、３次元画像の端部における不自然な見え方を解消することができる。

一方、ステップＳＴ６にてモニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在しない場合（ステップＳＴ６；ＮＯ）には、フレーム画像配設部３１によって配設されたフレーム画像を修正せずに、処理をステップＳＴ８へ移行して、フレーム画像を修正していない第１の画像Ｇ１及び第２の画像Ｇ２をモニタ２０の立体方式に合わせて３次元処理を行って（ステップＳＴ８）、モニタ２０に３次元表示する（ステップＳＴ９）。このときモニタ２０に表示されるフレーム画像は立体視することができない２次元画像となる。以上のようにして複眼カメラ１による３次元表示が行われる。

なお本実施形態では、フレーム配設部３１が配設するフレーム画像すなわちフレーム画像立体視制御部３２による修正前のフレーム画像を立体視できない２次元画像としたが、本発明はこれに限られるものではなく、例えば予め定められた一定の視差量を持つ第１の画像Ｇ１及び第２の画像Ｇ２のフレーム画像を上記修正前のフレーム画像としてもよい。この場合ステップＳＴ６にてモニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在するか否かの判別は、視差量取得部３０が取得した最大視差量が、上記予め定められた視差量よりも大きいか否かで判別するものとし、大きい場合にモニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在すると判別する。

このように、上記第１の実施形態においては、第１及び第２の画像Ｇ１，Ｇ２の３次元表示時に、３次元表示された３次元画像のうち適切に立体視される主画像の左右両端部の飛び出し量と同じ飛び出し量を有するフレーム画像を３次元画像の周縁部に表示するので、第１及び第２の画像Ｇ１，Ｇ２の周囲において互いに見えない領域が存在する場合であっても、その領域にフレーム画像が表示されることにより立体感が突然なくなることがなくなるため、３次元画像の端部における不自然な見え方を解消することができる。

次いで、本発明の第２の実施形態について説明する。図１５は本発明の第２の実施形態による３次元表示装置を適用した複眼カメラ１−２の内部構成を示す概略ブロック図、図１６は第１及び第２の画像Ｇ１，Ｇ２にそれぞれ合成するフレーム画像ＦＬ，ＦＲの一例を示す図である。なお図１５に示す本実施形態の複眼カメラ１−２において図１に示す第１の実施形態の複眼カメラ１と同様の箇所は同符号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。

本実施形態の複眼カメラ１−２は、図１５に示す如く、上述した第１の複眼カメラ１−２のフレーム画像配設部３１を備えておらず、フレーム画像生成部４０及びフレーム画像合成部４１を備えている。

フレーム画像生成部４０は、第１の画像Ｇ１と第２の画像Ｇ２の周縁部にそれぞれ配置するためのフレーム画像ＦＬ，ＦＲを生成する。そして本実施形態のフレーム画像立体視制御部３２’はこのフレーム画像ＦＬ，ＦＲを視差量取得部３０により取得した視差量に基づいて修正し、図１６に示すフレーム画像ＦＬ，ＦＲを生成する。なおこのフレーム画像ＦＬ，ＦＲの形状及びフレーム画像ＦＬ，ＦＲの修正方法については上述した実施形態のフレーム画像ＦＬ，ＦＲと同様であるため説明は省略する。またフレーム画像合成部４１は、第１の画像Ｇ１とフレーム画像ＦＬ、第２の画像Ｇ２とフレーム画像ＦＲをそれぞれ合成するものである。本実施形態の複眼カメラ１−２は以上のように構成されている。

次に上記複眼カメラ１−２によって行われる３次元表示方法について以下説明する。図１７は第２の実施形態の複眼カメラ１−２における３次元表示方法の一連の処理を示すフ
ローチャートである。なお図１７のフローチャートにおいて図１４に示すフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
複眼カメラ１−２は、図１７に示す如く、ステップＳＴ４にて視差量取得部３０が視差量を取得すると（ステップＳＴ４）、フレーム画像生成部４０がフレーム画像ＦＬ，ＦＲを生成する（ステップＳＴ１１）。

そして次にステップＳＴ６にてモニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在する場合（ステップＳＴ６；ＹＥＳ）には、フレーム画像立体視制御部３２’が取得された視差量に基づいて上記生成されたフレーム画像を修正して図１６に示すフレーム画像ＦＬ，ＦＲを生成した後に（ステップＳＴ７）、モニタ２０の表示面２０Ａよりも手前側に立体視される部分が存在しない場合（ステップＳＴ６；ＮＯ）には、上記生成されたフレーム画像を修正せずに、フレーム画像合成部４１が第１及び第２の画像Ｇ１，Ｇ２の主画像ＭＬ，ＭＲとフレーム画像ＦＬ，ＦＲをそれぞれ合成して図９に示す合成画像を生成する（ステップＳＴ１２）。以上のようにして複眼カメラ１−２による３次元表示が行われる。

このように、上記第２の実施形態においては、上記第１の実施形態と同様に第１及び第２の画像Ｇ１，Ｇ２の３次元表示時に、３次元表示された３次元画像のうち適切に立体視される主画像の左右両端部の飛び出し量と同じ飛び出し量を有するフレーム画像を３次元画像の周縁部に表示するので、第１及び第２の画像Ｇ１，Ｇ２の周囲において互いに見えない領域が存在する場合であっても、その領域にフレーム画像が表示されることにより立体感が突然なくなることがなくなるため、３次元画像の端部における不自然な見え方を解消することができる。

なお、上記第１および第２の実施形態においては、第１の画像Ｇ１及び第２の画像Ｇ２のどちらか一方のみの左右端フレームを修正して視差量を変更するようにしているが、第１の画像Ｇ１と第２の画像Ｇ２の両方の左右端フレームを修正して視差量を変更してもよい。

また、上記第１および第２の実施形態においては、第１及び第２の画像Ｇ１，Ｇ２の端部における視差が０となるようにフレーム画像を修正しているが、必ずしも０とする必要はなく、第１及び第２の画像Ｇ１，Ｇ２の端部が、モニタ２０の表示面に近い立体感を有する程度の視差となるようにフレーム画像を修正するようにしてもよい。

また、上記第１および第２の実施形態においては、複眼カメラ１に２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。

また、上記第１および第２の実施形態においては、本発明による３次元表示装置を複眼カメラ１に適用しているが、撮影部２１Ａ，２１Ｂを備えずに３次元表示装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が３次元表示装置に入力され、上記実施形態と同様に３次元表示処理が行われる。

以上、本発明の実施形態について説明したが、コンピュータを、上記の３次元表示処理に対応する手段として機能させ、図１４，図１７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

１，１−２ 複眼カメラ
２０ モニタ
２１Ａ，２１Ｂ 撮影部
２２ 撮影制御部
２８ 表示制御部（表示手段）
３０ 視差量取得部（視差量取得手段）
３１ フレーム画像配設部（フレーム画像配設手段）
３２，３２’ フレーム画像立体視制御部（フレーム画像立体視制御手段）
４０ フレーム画像生成部（フレーム画像生成手段）
４１ フレーム画像合成部（フレーム画像合成手段）

Claims (15)

1. 視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段と、
   前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得する視差量取得手段と、
   前記複数の画像の各々の周縁部に所定のフレーム画像を配設するフレーム画像配設手段と、
   前記視差量取得手段により取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像の前記フレーム画像を修正して前記フレーム画像を立体視可能にするフレーム画像立体視制御手段とを備えてなることを特徴とする３次元表示装置。
2. 視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段と、
   前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得する視差量取得手段と、
   前記複数の画像の各々の周縁部に配置する所定のフレーム画像を生成するフレーム画像生成手段と、
   前記視差量取得手段により取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像に配置する前記フレーム画像を修正して前記フレーム画像を立体視可能にするフレーム画像立体視制御手段と、
   前記複数の画像の各々の主画像と前記フレーム画像とを合成するフレーム画像合成手段とを備えてなることを特徴とする３次元表示装置。
3. 前記フレーム画像立体視制御手段が、前記主画像の左右両端部及び／又は上下両端部における最大視差量と、前記フレーム画像における前記主画像との境界領域の視差量とが一致するように前記フレーム画像の修正を制御するものであることを特徴とする請求項１又は２に記載の３次元表示装置。
4. 前記フレーム画像立体視制御手段が、前記フレーム画像における視差量が外縁部側からに主画像側向けて徐々に大きくなるように前記フレーム画像の修正を制御するものであることを特徴とする請求項１〜３いずれか１項に記載の３次元表示装置。
5. 前記フレーム画像立体視制御手段が、前記フレーム画像における視差量が前記視差量取得手段により取得した視差量の最大値よりも大きい値となるように前記フレーム画像の修正を制御するものであることを特徴とする請求項１〜４いずれか１項に記載の３次元表示装置。
6. 視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段を備えてなる３次元表示装置における３次元表示方法において、
   前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得し、
   前記複数の画像の各々の周縁部に所定のフレーム画像を配設し、
   前記取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像の前記フレーム画像を修正して前記フレーム画像を立体視可能にすることを特徴とする３次元表示方法。
7. 視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段を備えてなる３次元表示装置における３次元表示方法において、
   前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得し、
   前記複数の画像の各々の周縁部に配置する所定のフレーム画像を生成し、
   前記取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像に配置する前記フレーム画像を修正して前記フレーム画像を立体視可能にし、
   前記複数の画像の各々の主画像と前記フレーム画像とを合成することを特徴とする３次元表示方法。
8. 前記主画像の左右両端部及び／又は上下両端部における最大視差量と、前記フレーム画像における前記主画像との境界領域の視差量とが一致するように前記フレーム画像の修正を制御することを特徴とする請求項６又は７に記載の３次元表示方法。
9. 前記フレーム画像における視差量が外縁部側からに主画像側向けて徐々に大きくなるように前記フレーム画像の修正を制御することを特徴とする請求項６〜８いずれか１項に記載の３次元表示方法。
10. 前記フレーム画像における視差量が前記取得した視差量の最大値よりも大きい値となるように前記フレーム画像の修正を制御することを特徴とする請求項６〜９いずれか１項に記載の３次元表示方法。
11. 視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段を備えてなる３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムにおいて、
    前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得し、
    前記複数の画像の各々の周縁部に所定のフレーム画像を配設し、
    前記取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像の前記フレーム画像を修正して前記フレーム画像を立体視可能にすることをコンピュータに実行させることを特徴とするプログラム。
12. 視差を有する複数の画像に基づいて３次元画像の３次元表示を行う表示手段を備えてなる３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムにおいて、
    前記３次元表示時に、適切に立体視される主画像の左右両端部及び／又は上下両端部の画像に対応する前記複数の画像間の視差量を取得し、
    前記複数の画像の各々の周縁部に配置する所定のフレーム画像を生成し、
    前記取得した視差量に基づいて、前記複数の画像のうちの少なくとも１つの画像に配置する前記フレーム画像を修正して前記フレーム画像を立体視可能にし、
    前記複数の画像の各々の主画像と前記フレーム画像とを合成することをコンピュータに実行させることを特徴とするプログラム。
13. 前記主画像の左右両端部及び／又は上下両端部における最大視差量と、前記フレーム画像における前記主画像との境界領域の視差量とが一致するように前記フレーム画像の修正を制御することをコンピュータに実行させることを特徴とする請求項１１又は１２に記載のプログラム。
14. 前記フレーム画像における視差量が外縁部側からに主画像側向けて徐々に大きくなるように前記フレーム画像の修正を制御することをコンピュータに実行させることを特徴とする請求項１１〜１３いずれか１項に記載のプログラム。
15. 前記フレーム画像における視差量が前記取得した視差量の最大値よりも大きい値となるように前記フレーム画像の修正を制御することをコンピュータに実行させることを特徴とする請求項１１〜１４いずれか１項に記載のプログラム。

Images