JP2011211386A - 複眼撮影装置及びプログラム - Google Patents

Abstract

【課題】簡易な構成で、立体視表示のための画像を撮影することができるようにする。
【解決手段】被写体との距離が近い場合、レリーズボタンが全押し操作されると（１２０）、一方の撮影部により左画像を取得する（１２２）。左画像に対して半透明処理を行い（１２４）、左画像と右画像との間における視点の最適な移動距離を算出する（１２６）。半透明処理された左画像と算出された最適な移動距離とを、液晶モニタのスルー画像上に重畳させて表示させ（１２８）、現在のスルー画像と取得した左画像とについて、被写体領域の相関係数と背景領域の相関係数とを算出する（１３０）。算出された被写体領域の相関係数が、第１閾値以上であり、かつ、背景領域の相関係数が、第２閾値以下であるか否かを判定し（１３２）、閾値判定が肯定されると、一方の撮影部により右画像を取得する（１３４）。
【選択図】図５

Description

本発明は、複眼撮影装置及びプログラムに係り、特に立体視表示するための画像を撮影する複眼撮影装置及びプログラムに関する。

従来より、雲台とレールを用いることにより、３Ｄ画像を作成する立体画像撮影補助装置が知られている（特許文献１）。この立体画像撮影補助装置では、レールの中心から左右対称に雲台を動かすことにより、安定した撮影を行うことを可能としている。

また、被写体に対し、焦点距離をずらした状態で複数回撮影を行う立体画像撮影方法が知られている（特許文献２）。この立体画像撮影方法では、最長の焦点距離画像以外の画像を透明部材に印刷し、焦点距離が近いものから一定間隔を保持することで立体画像を観察している。

特開２００４−２３６１５６号公報 特開２００２−３４１４７３号公報

しかしながら、上記の特許文献１に記載の技術では、撮影のために特別な装置が必要であり、立体視表示のための画像を簡易に撮影することができない、という問題がある。

また、特許文献２の技術では、印刷を行わなければ立体視表示を行うことができない、という問題がある。

本発明は、上記問題を解決するためになされたもので、簡易な構成で、立体視表示のための画像を撮影することができる複眼撮影装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の複眼撮影装置は、異なる複数の視点から複数の画像を撮影する撮影手段と、前記複数の視点のうちの１つの視点から立体視表示のための１枚目の画像を撮影するように前記撮影手段を制御する第１撮影制御手段と、前記１枚目の画像における被写体との距離を計測する距離計測手段と、前記距離計測手段によって計測された被写体との距離に基づいて、前記１枚目の画像と、前記１つの視点であって、かつ、前記１枚目の画像とは異なる視点から撮影する２枚目の画像とに基づいて立体視表示するための前記１枚目の画像と前記２枚目の画像との間の前記視点の移動距離を算出する移動距離算出手段と、前記２枚目の画像の撮影を案内する案内情報として、前記移動距離算出手段によって算出された前記視点の移動距離を、画像を表示する表示手段によって表示されるスルー画像上に表示するように制御する表示制御手段と、を含んで構成されている。

本発明のプログラムは、コンピュータを、異なる複数の視点から複数の画像を撮影する撮影手段を、前記複数の視点のうちの１つの視点から立体視表示のための１枚目の画像を撮影するように制御する第１撮影制御手段、前記１枚目の画像における被写体との距離を計測する距離計測手段、前記距離計測手段によって計測された被写体との距離に基づいて、前記１枚目の画像と、前記１つの視点であって、かつ、前記１枚目の画像とは異なる視点から撮影する２枚目の画像とに基づいて立体視表示するための前記１枚目の画像と前記２枚目の画像との間の前記視点の移動距離を算出する移動距離算出手段、及び前記２枚目の画像の撮影を案内する案内情報として、前記移動距離算出手段によって算出された前記視点の移動距離を、画像を表示する表示手段によって表示されるスルー画像上に表示するように制御する表示制御手段として機能させるためのプログラムである。

本発明によれば、第１撮影制御手段によって、複数の視点のうちの１つの視点から立体視表示のための１枚目の画像を撮影するように撮影手段を制御する。そして、距離計測手段によって、１枚目の画像における被写体との距離を計測し、移動距離算出手段によって、距離計測手段によって計測された被写体との距離に基づいて、１枚目の画像と、１つの視点であって、かつ、１枚目の画像とは異なる視点から撮影する２枚目の画像とに基づいて立体視表示するための１枚目の画像と２枚目の画像との間の視点の移動距離を算出する。

そして、表示制御手段によって、２枚目の画像の撮影を案内する案内情報として、移動距離算出手段によって算出された視点の移動距離を、表示手段によって表示されるスルー画像上に表示するように制御する。

このように、２枚目の撮影を案内する案内情報として、１枚目の画像と２枚目の画像との間の最適な移動距離をスルー画像上に表示することにより、簡易な構成で、立体視表示のための画像を撮影することができる。

本発明に係る表示制御手段は、案内情報として、半透明処理された１枚目の画像を更にスルー画像上に表示するように制御することができる。これによって、１枚目の画像からの移動距離をユーザが把握することができる。

本発明に係る複眼撮影装置は、１枚目の画像と現在のスルー画像とに基づいて、１枚目の画像における視点と現在の前記視点との移動距離を算出する現在移動距離算出手段を更に含み、表示制御手段は、案内情報として、現在移動距離算出手段によって算出された現在の移動距離及び移動距離算出手段によって算出された視点の移動距離、又は視点の移動距離と現在の移動距離との差分を、スルー画像上に表示するように制御するようにすることができる。これによって、１枚目の画像と２枚目の画像との間の最適な移動距離と現在の移動距離との差を、ユーザが把握することができる。

本発明に係る複眼撮影装置は、１枚目の画像における被写体部分と、スルー画像における被写体部分との相関情報を算出し、１枚目の画像における被写体部分とは異なる背景部分と、スルー画像における背景部分との相関情報を算出する相関情報算出手段と、相関情報算出手段によって算出された被写体部分の相関情報が、第１閾値以上であって、かつ、背景部分の相関情報が、第２閾値以下であるときに、２枚目の画像を撮影するように撮影手段を制御する第２撮影制御手段とを更に含むようにすることができる。これによって、自動的に２枚目の撮影を行うことができる。

また、上記の第２撮影制御手段を含む本発明の複眼撮影装置は、１枚目の画像における水平方向を判定する水平方向判定手段を更に含み、相関情報算出手段は、水平方向判定手段によって判定された水平方向における相関情報を算出するようにすることができる。このように、水平方向の相関情報を用いることで、立体視表示の立体感を損なわずに、２枚目の撮影を行うための条件を緩和することができる。

上記の表示手段は、１枚目の画像及び２枚目の画像を立体視表示するようにすることができる。

本発明に係る複眼撮影装置は、複数の画像の被写体までの距離情報を計測する距離計測手段と、計測された距離情報が、閾値以上であった場合には、撮影手段によって複数の視点から複数の画像を撮影させる第３撮影制御手段とを更に含み、第１撮影制御手段は、計測された距離情報が、閾値未満であった場合に、１枚目の画像を撮影するように撮影手段を制御し、表示制御手段は、１枚目の画像が撮影された場合に、案内情報を、表示手段によって表示されるスルー画像上に表示するように制御することができる。これによって、被写体までの距離に応じて、複眼による撮影を行うか、単眼による２枚の撮影を行うかを切り替えることができる。

また、上記の表示手段は、撮影手段によって撮影された複数の画像、又は１枚目の画像及び２枚目の画像を立体視表示するようにすることができる。

以上説明したように、本発明によれば、２枚目の撮影を案内する案内情報をスルー画像上に表示することにより、簡易な構成で、立体視表示のための画像を撮影することができる、という効果が得られる。

本実施の形態の複眼デジタルカメラの正面側斜視図である。 本実施の形態の複眼デジタルカメラの背面側斜視図である。 本実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。 （Ａ）カメラを右に動かした場合の背景領域の相関係数の算出対象部分を示す図、及び（Ｂ）カメラを左に動かした場合の背景領域の相関係数の算出対象部分を示す図である。 第１の実施の形態における立体視用画像撮影処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における立体視用画像撮影処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における立体視用画像撮影処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の複眼撮影装置を複眼デジタルカメラに適用した場合について説明する。

図１は、第１の実施の形態の複眼デジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラの１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。

図３は、複眼デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、入力部３６、及びＣＰＵ３７を備えている。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。

撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ、２１Ｂが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａ、２１Ｂに出力する。ＡＦ処理部は、被写体領域を合焦領域として、レンズの焦点位置を決定するだけでなく、後述する処理のために、当該被写体領域とは異なる背景領域を合焦領域として、レンズの焦点位置を決定する。なお、被写体領域及び背景領域は、従来既知の画像認識処理によって特定される。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ、２１Ｂに出力する。

また、撮影制御部２２は、レリーズボタン２の全押し操作により、後述する複眼モードでは、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行い、後述する単眼モードでは、撮影部２１Ａに対して左画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行う。

画像処理部２３は、撮影部２１Ａ、２１Ｂより取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。

フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。

内部メモリ２７は、複眼デジタルカメラ１において設定される各種定数、及びＣＰＵ３７が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ７に表示させたりする。また、表示制御部２８は、スルー画像を液晶モニタ７に表示させる。

また、複眼デジタルカメラ１は、３次元処理部３０、距離測定部３１、視差調整部３２、移動量計算部３３、半透明処理部３４、及び整合性判定部３５を備える。

３次元処理部３０は、左画像及び右画像をモニタ７に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。例えば、左画像及び右画像に対して特徴点を求め、特徴点の対応付けを行い、視差量の調整を行うことによって、立体視用画像を生成する。

距離測定部３１は、撮影制御部２２のＡＦ処理部により得られる被写体領域のレンズ焦点位置に基づいて、被写体までの距離を測定すると共に、背景領域のレンズ焦点位置に基づいて、背景までの距離を測定する。

視差調整部３２は、視差として、左画像及び右画像の双方に含まれる被写体の左画像と右画像との横方向における画素位置の相違を算出し、算出された視差に基づいて、位置が対応するように左画像及び右画像を重ね合わせる視差調整処理を行う。

移動量計算部３３は、距離測定部３１により測定された被写体までの距離と、背景までの距離とに基づいて、単眼モードで撮影されるときの左画像の視点と右画像の視点との、立体視表示のために最適な移動距離を計算する。なお、最適な移動距離の計算方法として、従来既知の方法を用いればよく、このとき、人間の目の間隔、モニタ７の観察距離、モニタ７の実寸幅、撮影部２１Ａ、２１Ｂの間隔、撮影部２１Ａ、２１Ｂのレンズの視野角を予め求めておき、パラメータとして用いて、最適な移動距離を計算するようすればよい。

半透明処理部３４は、単眼モードで撮影された左画像に対して、半透明処理を行う。

整合性判定部３５は、単眼モードで撮影された左画像とスルー画像とに対して微分処理（例えば、ラプラシアン処理）を行い、微分処理された左画像の被写体領域とスルー画像の被写体領域の相関係数を算出すると共に、左画像の背景領域とスルー画像の背景領域の相関係数を算出する。なお、背景領域の相関係数を算出するときの算出対象部分について、図４（Ａ）に示すように、１回目の撮影後、カメラを右に動かした場合には、１枚目の撮影画の左端の部分を、算出対象部分とし、図４（Ｂ）に示すように、１回目の撮影後、カメラを左に動かした場合には、１枚目の撮影画の右端の部分を、算出対象部分とする。カメラを右及び左のどちらに動かしたか否かは、被写体領域が、左右どちらに動いているかによって判断すればよい。

また、整合性判定部３５は、算出した被写体領域の相関係数が、第１閾値以上であり、かつ、算出した背景領域の相関係数が、第２閾値以下である場合に、撮影制御部２２に対して、右画像の撮影を指示する。これによって、撮影制御部２２は、撮影部２１Ａに対して右画像の本画像を取得させる本撮影の指示を行う。

なお、整合性判定部３５は、相関情報算出手段の一例である。

次に、図５を参照して、第１の実施の形態の複眼デジタルカメラ１における立体視用画像撮影処理ルーチンについて説明する。

ステップ１００で、レリーズボタン２が半押しされたか否かを判定する。ユーザによってレリーズボタン２が半押し操作された場合には、ステップ１０２へ進む。このとき、撮影制御部２２のＡＦ処理部によって、レンズの焦点位置が決定されると共に、ＡＥ処理部によって、絞り値とシャッタ速度とが決定される。

ステップ１０２では、ＡＦ処理部により決定された被写体領域のレンズの焦点位置及び背景領域のレンズの焦点位置を取得し、被写体までの距離及び背景までの距離を計測する。

そして、ステップ１０４において、上記ステップ１０２で測定された被写体までの距離が、閾値以上であるか否かを判定する。なお、上記の閾値については、視差調整が可能な右画像及び左画像における被写体の距離を実験的又は統計的に求めておき、求められた距離に基づいて、閾値を設定しておけばよい。上記ステップ１０４で、被写体までの距離が閾値以上である場合には、撮影部２１Ａ、２１Ｂで左画像及び右画像を同時に撮影する複眼モードで、立体視用の画像を撮影可能であると判断し、ステップ１０６において、撮影部２１Ａ、２１Ｂが取得したプレ画像から、視差を算出して、重ね合わせ処理を行う。重ね合わせ処理が完了すると、ステップ１０８において、処理完了を示すメッセージをモニタ７に表示させる。これによって、ユーザは、撮影可能な状態になったことを知ることができる。

そして、ステップ１１０において、レリーズボタン２が全押しされたか否かを判定する。ユーザによってレリーズボタン２が全押し操作された場合には、ステップ１１２へ進む。

ステップ１１２では、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａ、２１Ｂで撮影された左画像及び右画像を取得する。そして、ステップ１１４において、左画像及び右画像に基づいて、立体視用画像を生成して、記録メディア２９に格納させる。

そして、ステップ１１６において、撮影を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、次の撮影に備えるが、一方、撮影を終了する場合には、立体視用画像撮影処理ルーチンを終了する。

上記ステップ１０４で、被写体までの距離が閾値未満であると判定された場合には、被写体との距離が近く、複眼モードでは立体視用の画像を撮影できないと判断し、ステップ１１８において、複眼モードでは立体視用画像の撮影が不可能であり、一方の撮影部による２回撮りを行う単眼モードで撮影を行うことを示す警告メッセージを、液晶モニタ７に表示させる。

そして、ステップ１２０において、レリーズボタン２が全押しされたか否かを判定する。ユーザによってレリーズボタン２が全押し操作された場合には、ステップ１２２へ進む。

ステップ１２２では、撮影部２１Ａに対して左画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａで撮影された左画像を取得する。次のステップ１２４では、上記ステップ１２２で取得した左画像に対して半透明処理を行う。ステップ１２６では、上記ステップ１０２で取得した被写体までの距離及び背景までの距離に基づいて、左画像と右画像との間における視点の最適な移動距離を算出する。

そして、ステップ１２８において、半透明処理された左画像と算出された最適な移動距離とを、液晶モニタ７のスルー画像上に重畳させて表示させる。次のステップ１３０では、撮影部２１Ａから現在のスルー画像を取得し、現在のスルー画像と上記ステップ１２２で取得した左画像との各々に対して微分処理を行った上で、被写体領域の相関係数と背景領域の相関係数とを算出する。

ステップ１３２では、上記ステップ１３０で算出された被写体領域の相関係数が、第１閾値以上であり、かつ、背景領域の相関係数が、第２閾値以下であるか否かを判定する。上記の閾値判定が否定される場合には、上記ステップ１３０へ戻るが、上記の閾値判定が肯定されると、ステップ１３４において、撮影部２１Ａに対して右画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａで撮影された右画像を取得し、ステップ１１４へ移行する。

以上説明したように、第１の実施の形態の複眼デジタルカメラによれば、２枚目の右画像の撮影を案内する案内情報として、半透明処理された１枚目の右画像をスルー画像上に表示することにより、簡易な構成で、立体視表示のための画像を撮影できるようにアシストすることができる。また、立体視表示のための、右画像と左画像との間の視点の最適な移動距離をガイドとして表示することにより、立体視表示のための画像の撮影をアシストすることができる。

また、複眼カメラで、被写体との距離が近い状態で、立体視用画像の撮影を行うと、視差量の調整ができず、立体視表示できない画像が生成される。そこで、被写体との距離が近い場合に、２枚撮りによる撮影画像に基づいて立体視用画像を生成する単眼モードに切り替えることで、立体視用画像の撮影を可能とする。また、２枚目の右画像の撮影ポイントまでの移動をアシストすることで、立体視用画像の撮影に不慣れな人でも失敗なく撮影することが可能となる。

なお、上記第１の実施の形態では、複眼カメラに本発明を適用した場合を例に説明したが、これに限定されるものではなく、単眼カメラに本発明を適用してもよい。この場合には、上記図５の立体視用画像撮影処理ルーチンにおいて、上記ステップ１０４の判定を行わずに、ステップ１２０〜ステップ１３４の単眼モードの処理のみを行うようにすればよい。

次に、第２の実施の形態について説明する。第２の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。

第２の実施の形態では、単眼モードにおいて、最適な移動量と共に、現在の移動量との差分を表示している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る複眼デジタルカメラでは、移動量計算部３３によって、単眼モードで撮影されるときの左画像の視点と、右画像の視点との最適な移動距離を計算すると共に、左画像を撮影したときの視点と現在の視点との移動距離を以下のように計算する。

まず、左画像の背景領域とスルー画像の背景領域との各々に対して、Ｘ方向（水平方向）の微分処理を行う。なお、画像の縦方向及び横方向の何れの方向が水平方向であるかは、従来既知の手法により、検出すればよい。

そして、微分処理された左画像の背景領域とスルー画像の背景領域との各々から、特徴点を算出する。次に、左画像の背景領域とスルー画像の背景領域との特徴点が一致するときの画像の移動量を計算する。計算された画像の移動量と、距離測定部３１により測定された背景までの距離とに基づいて、三角測量の原理に従って、左画像を撮影したときの視点と現在の視点との移動距離を計算する。

また、移動量計算部３３は、最適な移動距離と現在の移動距離との差分を計算して、表示制御部２８に出力する。表示制御部２８は、液晶モニタ７のスルー画像上に重畳させて、移動距離の差分を表示させる。

なお、移動量計算部３３は、移動距離算出手段及び現在移動距離算出手段の一例である。

図６を参照して、第２の実施の形態の複眼デジタルカメラにおける立体視用画像撮影処理ルーチンについて説明する。なお、第１の実施の形態の立体視用画像撮影処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００で、レリーズボタン２が半押しされたか否かを判定し、ステップ１０２で、被写体までの距離及び背景までの距離を計測する。そして、ステップ１０４において、測定された被写体までの距離が、閾値以上であるか否かを判定し、被写体までの距離が閾値以上である場合には、ステップ１０６において、撮影部２１Ａ、２１Ｂが取得したプレ画像の重ね合わせ処理を行う。重ね合わせ処理が完了すると、ステップ１０８において、処理完了を示すメッセージをモニタ７に表示させる。

そして、ステップ１１０において、レリーズボタン２が全押しされたか否かを判定し、ステップ１１２で、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａ、２１Ｂで撮影された左画像及び右画像を取得する。そして、ステップ１１４において、左画像及び右画像に基づいて、立体視用画像を生成して、記録メディア２９に格納させる。

そして、ステップ１１６において、撮影を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、次の撮影に備えるが、一方、撮影を終了する場合には、立体視用画像撮影処理ルーチンを終了する。

上記ステップ１０４で、被写体までの距離が閾値未満であると判定された場合には、ステップ１１８において、単眼モードで撮影を行うことを示す警告メッセージを液晶モニタ７に表示させる。

そして、ステップ１２０において、レリーズボタン２が全押しされたか否かを判定し、ステップ１２２で、撮影部２１Ａに対して左画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａで撮影された左画像を取得する。次のステップ１２４では、取得した左画像に対して半透明処理を行う。ステップ１２６では、左画像と右画像との間の視点の最適な移動距離を算出する。そして、ステップ１２８において、半透明処理された左画像と最適な移動距離を、液晶モニタ７のスルー画像上に重畳させて表示させる。

次のステップ２００では、撮影部２１Ａから現在のスルー画像を取得し、上記ステップ１２２で取得した左画像と、現在のスルー画像とに基づいて、現在の移動距離を算出し、上記ステップ１２８で算出した最適な移動距離との差分を算出する。

そして、ステップ２０２において、上記ステップ２００で算出した最適な移動距離との差分を、液晶モニタ７のスルー画像上に重畳させて表示させる。

次のステップ１３０では、被写体領域の相関係数と背景領域の相関係数とを算出し、ステップ１３２において、算出された被写体領域の相関係数が、第１閾値以上であり、かつ、背景領域の相関係数が、第２閾値以下であるか否かを判定する。上記の閾値判定が否定される場合には、上記ステップ２００へ戻るが、上記の閾値判定が肯定されると、ステップ１３４において、撮影部２１Ａに対して右画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａで撮影された右画像を取得し、ステップ１１４へ移行する。

以上説明したように、第２の実施の形態の複眼デジタルカメラによれば、２枚目の右画像の撮影を案内する案内情報として、立体視表示のための、右画像と左画像との間の視点の最適な移動距離と、現在の移動距離との差分を表示することにより、立体視表示のための画像の撮影をアシストすることができる。

また、２枚目の右画像の最適な撮影ポイントに対し、１枚目の左画像の撮影の視点からどれだけ移動しているかを表示してアシストすることで、撮影の失敗を防ぐことができる。

なお、上記の第２の実施の形態では、最適な移動距離との差分を表示する場合を例に説明したが、これに限定されるものではなく、現在の移動距離と、最適な移動距離とをそれぞれスルー画像上に重畳して表示するようにしてもよい。

また、上記第２の実施の形態では、複眼カメラに本発明を適用した場合を例に説明したが、これに限定されるものではなく、単眼カメラに本発明を適用してもよい。この場合には、上記図６の立体視用画像撮影処理ルーチンにおいて、上記ステップ１０４の判定を行わずに、ステップ１２０〜ステップ１３４の単眼モードの処理のみを行うようにすればよい。

次に、第３の実施の形態について説明する。第３の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して説明を省略する。

第３の実施の形態では、単眼モードにおいて、水平方向におけるスルー画像との相関係数を算出して閾値判定を行い、右画像の撮影を行っている点が、第１の実施の形態と異なっている。

第３の実施の形態に係る複眼デジタルカメラでは、整合性判定部３５によって、左画像を撮影したときのカメラの水平方向、すなわち、左画像の縦方向及び横方向の何れの方向が、水平方向であるかを判定する。なお、画像上の縦方向及び横方向の何れの方向が水平方向であるかは、従来既知の手法により、判定すればよい。

また、整合性判定部３５は、単眼モードで撮影された左画像とスルー画像とに対して、Ｘ方向（水平方向）の１次微分処理（あるいは２次微分処理）を行い、微分処理された左画像の被写体領域とスルー画像の被写体領域の相関係数を算出すると共に、左画像の背景領域とスルー画像の背景領域の相関係数を算出する。これによって、被写体領域及び背景領域の各々について、左画像とスルー画像との間における水平方向の相関係数が算出される。

また、整合性判定部３５は、算出した被写体領域の相関係数が、第１閾値以上であり、かつ、算出した背景領域の相関係数が、第２閾値以下である場合に、撮影制御部２２に対して、右画像の撮影を指示する。これによって、撮影制御部２２は、撮影部２１Ａに対して右画像の本画像を取得させる本撮影の指示を行う。

なお、整合性判定部３５は、相関情報算出手段及び水平方向判定手段の一例である。

図７を参照して、第３の実施の形態の複眼デジタルカメラにおける立体視用画像撮影処理ルーチンについて説明する。なお、第１の実施の形態の立体視用画像撮影処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００で、レリーズボタン２が半押しされたか否かを判定し、ステップ１０２で、被写体までの距離及び背景までの距離を計測する。そして、ステップ１０４において、測定された被写体までの距離が、閾値以上であるか否かを判定し、被写体までの距離が閾値以上である場合には、ステップ１０６において、撮影部２１Ａ、２１Ｂが取得したプレ画像の重ね合わせ処理を行う。重ね合わせ処理が完了すると、ステップ１０８において、処理完了を示すメッセージをモニタ７に表示させる。

そして、ステップ１１０において、レリーズボタン２が全押しされたか否かを判定し、ステップ１１２で、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａ、２１Ｂで撮影された左画像及び右画像を取得する。そして、ステップ１１４において、左画像及び右画像に基づいて、立体視用画像を生成して、記録メディア２９に格納させる。

そして、ステップ１１６において、撮影を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、次の撮影に備えるが、一方、撮影を終了する場合には、立体視用画像撮影処理ルーチンを終了する。

上記ステップ１０４で、被写体までの距離が閾値未満であると判定された場合には、ステップ１１８において、単眼モードで撮影を行うことを示す警告メッセージを液晶モニタ７に表示させる。

そして、ステップ１２０において、レリーズボタン２が全押しされたか否かを判定し、ステップ１２２で、撮影部２１Ａに対して左画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａで撮影された左画像を取得する。次のステップ３００では、上記ステップ１２２で左画像を撮影したときのカメラの水平方向を検出して、左画像の縦方向及び横方向の何れが水平方向であるかを判定する。

そして、ステップ１２４では、取得した左画像に対して半透明処理を行う。ステップ１２６では、左画像と右画像との間の視点の最適な移動距離を算出する。そして、ステップ１２８において、半透明処理された左画像と最適な移動距離を、液晶モニタ７のスルー画像上に重畳させて表示させる。

次のステップ３０２では、撮影部２１Ａから現在のスルー画像を取得し、現在のスルー画像と上記ステップ１２２で取得した左画像とに対して、上記ステップ３００で判定された水平方向となる方向に微分処理を行った上で、被写体領域の相関係数と背景領域の相関係数とを算出する。そして、ステップ１３２において、算出された被写体領域の相関係数が、第１閾値以上であり、かつ、背景領域の相関係数が、第２閾値以下であるか否かを判定する。上記の閾値判定が否定される場合には、上記ステップ１３２へ戻るが、上記の閾値判定が肯定されると、ステップ１３４において、撮影部２１Ａに対して右画像の本画像を取得させる本撮影の指示を行い、撮影部２１Ａで撮影された右画像を取得し、ステップ１１４へ移行する。

以上説明したように、第３の実施の形態の複眼デジタルカメラによれば、水平方向の相関係数を用いて閾値判定を行うようにして、２枚目の右画像の自動撮影を行うための条件を緩めることで、２枚目の右画像の撮影のためのシャッタがおりにくく、２枚目の右画像の撮影ができない、という状況が発生することを防ぐことができる。また、垂直方向より水平方向の特徴（相関係数）を重視することで、立体感を損なわないで、立体視表示のための撮影を行うことができる。

なお、上記第３の実施の形態では、複眼カメラに本発明を適用した場合を例に説明したが、これに限定されるものではなく、単眼カメラに本発明を適用してもよい。この場合には、上記図７の立体視用画像撮影処理ルーチンにおいて、上記ステップ１０４の判定を行わずに、ステップ１２０〜ステップ１３４の単眼モードの処理のみを行うようにすればよい。

また、上述した、単眼モードにおける水平方向の相関係数を用いた閾値判定による右画像の撮影方法を、上記第２の実施の形態に適用してもよい。

また、上記の第１の実施の形態〜第３の実施の形態では、ＡＦ処理部により決定された合焦位置から、被写体領域及び背景領域までの距離を計測する場合を例に説明したが、これに限定されるものではなく、撮影部２１Ａ、２１Ｂから得られる画像のステレオマッチングにより、被写体領域及び背景領域までの距離を計測するようにしてもよい。また、背景領域までの距離については、予め定められた値を用いてもよい。

また、単眼モードで、左画像を１枚目の画像とし、右画像を２枚目の画像とした場合を例に説明したが、右画像を１枚目の画像とし、左画像を２枚目の画像としてもよい。また、３枚以上の画像を取得して立体視表示用の画像を生成するように構成してもよい。この場合には、３枚目以降の画像を撮影するときに、２枚目の画像と同様の案内情報を、スルー画像上に表示して、撮影をアシストすればよい。

また、上記第１〜第３の実施の形態の立体視用画像撮影処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。

１ 複眼デジタルカメラ
２ レリーズボタン
７ 液晶モニタ
２１Ａ、２１Ｂ 撮影部
２２ 撮影制御部
２８ 表示制御部
３０ ３次元処理部
３１ 距離測定部
３２ 視差調整部
３３ 移動量計算部
３４ 半透明処理部
３５ 整合性判定部

Claims (9)

1. 異なる複数の視点から複数の画像を撮影する撮影手段と、
   前記複数の視点のうちの１つの視点から立体視表示のための１枚目の画像を撮影するように前記撮影手段を制御する第１撮影制御手段と、
   前記１枚目の画像における被写体との距離を計測する距離計測手段と、
   前記距離計測手段によって計測された被写体との距離に基づいて、前記１枚目の画像と、前記１つの視点であって、かつ、前記１枚目の画像とは異なる視点から撮影する２枚目の画像とに基づいて立体視表示するための前記１枚目の画像と前記２枚目の画像との間の前記視点の移動距離を算出する移動距離算出手段と、
   前記２枚目の画像の撮影を案内する案内情報として、前記移動距離算出手段によって算出された前記視点の移動距離を、画像を表示する表示手段によって表示されるスルー画像上に表示するように制御する表示制御手段と、
   を含む複眼撮影装置。
2. 前記表示制御手段は、前記案内情報として、半透明処理された前記１枚目の画像を更に前記スルー画像上に表示するように制御する請求項１記載の複眼撮影装置。
3. 前記１枚目の画像と現在のスルー画像とに基づいて、前記１枚目の画像における前記視点と現在の前記視点との移動距離を算出する現在移動距離算出手段を更に含み、
   前記表示制御手段は、前記案内情報として、前記現在移動距離算出手段によって算出された現在の移動距離及び前記移動距離算出手段によって算出された前記視点の移動距離、又は前記視点の移動距離と前記現在の移動距離との差分を、前記スルー画像上に表示するように制御する請求項１又は２記載の複眼撮影装置。
4. 前記１枚目の画像における被写体部分と、前記スルー画像における被写体部分との相関情報を算出し、前記１枚目の画像における前記被写体部分とは異なる背景部分と、前記スルー画像における前記背景部分との相関情報を算出する相関情報算出手段と、
   前記相関情報算出手段によって算出された前記被写体部分の相関情報が、第１閾値以上であって、かつ、前記背景部分の相関情報が、第２閾値以下であるときに、２枚目の画像を撮影するように前記撮影手段を制御する第２撮影制御手段とを更に含む請求項１〜請求項３の何れか１項記載の複眼撮影装置。
5. 前記１枚目の画像における水平方向を判定する水平方向判定手段を更に含み、
   前記相関情報算出手段は、前記水平方向判定手段によって判定された前記水平方向における前記相関情報を算出する請求項４記載の複眼撮影装置。
6. 前記表示手段は、前記１枚目の画像及び前記２枚目の画像を立体視表示する請求項１〜請求項５の何れか１項記載の複眼撮影装置。
7. 前記複数の画像の被写体までの距離情報を計測する距離計測手段と、
   前記計測された距離情報が、閾値以上であった場合には、前記撮影手段によって前記複数の視点から前記複数の画像を撮影させる第３撮影制御手段とを更に含み、
   前記第１撮影制御手段は、前記計測された距離情報が、閾値未満であった場合に、前記１枚目の画像を撮影するように前記撮影手段を制御し、
   前記表示制御手段は、前記１枚目の画像が撮影された場合に、前記案内情報を、前記表示手段によって表示されるスルー画像上に表示するように制御する請求項１〜請求項６の何れか１項記載の複眼撮影装置。
8. 前記表示手段は、前記撮影手段によって撮影された前記複数の画像、又は前記１枚目の画像及び前記２枚目の画像を立体視表示する請求項７記載の複眼撮影装置。
9. コンピュータを、
   異なる複数の視点から複数の画像を撮影する撮影手段を、前記複数の視点のうちの１つの視点から立体視表示のための１枚目の画像を撮影するように制御する第１撮影制御手段、
   前記１枚目の画像における被写体との距離を計測する距離計測手段、
   前記距離計測手段によって計測された被写体との距離に基づいて、前記１枚目の画像と、前記１つの視点であって、かつ、前記１枚目の画像とは異なる視点から撮影する２枚目の画像とに基づいて立体視表示するための前記１枚目の画像と前記２枚目の画像との間の前記視点の移動距離を算出する移動距離算出手段、及び
   前記２枚目の画像の撮影を案内する案内情報として、前記移動距離算出手段によって算出された前記視点の移動距離を、画像を表示する表示手段によって表示されるスルー画像上に表示するように制御する表示制御手段
   として機能させるためのプログラム。

Images