JP2012216939A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段（Ｓ１０１）と、複数の視点から代表視点を決定する第１決定手段と、代表視点の複数の画像から基準画像を決定する第２決定手段（Ｓ１０３）と、代表視点以外の視点の複数の画像において、代表視点の基準画像と最も類似度の高い画像を代表視点以外の視点毎に基準画像として選択する選択手段（Ｓ１０７）と、視点毎に、各々選択された基準画像をベースに複数の画像の合成処理を行う合成手段（Ｓ１０９、Ｓ１１１）と、を備えた。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、立体撮影によって得られた画像に対して画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、小型電子機器の発展に伴って、立体画像を撮影する機能を備えた撮影装置が開発されるようになってきた。例えば特許文献１には、単眼式の小型の撮像装置で簡単に立体画像を得ることができる撮影装置が記載されている。この撮影装置は、立体撮影モードに設定されると、レリーズボタンを半押しされている間、一定時間間隔で連続して本撮影を行い、連写した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された２枚組みの画像を抽出し、抽出した２枚組の画像の中から、最も滑らかにパンニングがされている２枚組みの画像を、最も立体視画像に適した２枚組みの画像として抽出し、さらにパンニング方向を検出し、最も立体視画像に適した２枚組みの画像のそれぞれを左目側画像と右目側画像に振り分けて記録するものである。

特開２００９−１０３９８０号公報

特許文献１に開示されているような撮像系を１つしかもたないカメラにおいて、複数フレームの多重合成処理、所謂マルチフレーム合成処理を行う際は、多重化によるブレやボケを最小にするため、フレーム間差分が最も少ない時系列で中央に位置するフレームを基準フレームとして前後のフレームを基準フレームに合わせて変形等させてから合成処理を行う。一方、複数の撮像系を持つ立体カメラにおいては、複数の撮像系を完全に同時に動作させることはできないため、例えば左視点、右視点から同時に撮影した場合であっても、撮像系間の時系列中央画像には露光タイミングに若干のずれが発生する。そのため、各撮像系の基準フレームの被写体に時間的なずれが発生し、立体視したときに視認し難いなどの欠点が生じる可能性がある。この欠点は、動体の撮影を行った場合に特に問題になる。

本発明は、このような課題を解決するためになされたものであり、その目的は、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することにある。

上記目的を達成するために、請求項１に記載の画像処理装置は、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、前記複数の視点から代表視点を決定する第１決定手段と、前記代表視点の前記複数の画像から基準画像を決定する第２決定手段と、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段と、を備えている。

請求項１に記載の画像処理装置によれば、取得手段により、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像が取得され、第１決定手段により、前記複数の視点から代表視点が決定され、第２決定手段により、前記代表視点の前記複数の画像から基準画像が決定される。また、選択手段により、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像が前記代表視点以外の視点毎に基準画像として選択され、合成手段により、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理が行われる。これにより、請求項１に記載の画像処理装置では、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

なお、本発明は、請求項２に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対して露光タイミングが最も近い画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、露光タイミングが最も近い画像を選択するという簡易な処理により、良好な立体画像を得ることができる。

また、本発明は、請求項３に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点数が最大の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、対応点数が最大の画像を選択するという簡易な処理により、良好な立体画像を得ることができる。

また、本発明は、請求項４に記載の発明のように、前記各々異なる複数の視点から連続的に撮影された複数の画像の各々から主要被写体を抽出する抽出手段を更に備え、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する前記抽出手段により抽出された主要被写体の対応点数が最大の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。

また、本発明は、請求項５に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する視差のずれ量が最小の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。

また、本発明は、請求項６に記載の発明のように、前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像を選択するようにしてもよい。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。

一方、上記目的を達成するために、請求項７に記載の画像処理方法は、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得ステップと、前記複数の視点から代表視点を決定する第１決定ステップと、前記代表視点の前記複数の画像から基準画像を決定する第２決定ステップと、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択ステップと、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成ステップと、を行うものである。

従って、請求項７に記載の画像処理方法によれば、請求項１に記載の発明と同様に作用するので、請求項１に記載の発明と同様に、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

一方、上記目的を達成するために、請求項８に記載のプログラムは、コンピュータを、各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、前記複数の視点から代表視点を決定する第１決定手段と、前記代表視点の前記複数の画像から基準画像を決定する第２決定手段と、前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段として機能させるためのものである。

従って、請求項８に記載のプログラムによれば、コンピュータを請求項１に記載の発明と同様に作用させることができるので、請求項１に記載の発明と同様に、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

本発明によれば、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる、という効果が得られる。

実施形態に係る複眼デジタルカメラを示す斜視図であり、（Ａ）は正面斜視図であり、（Ｂ）は背面斜視図である。 実施形態に係る複眼デジタルカメラの電気系の要部構成を示す概略ブロック図である。 （Ａ）は、単眼デジタルカメラによるマルチフレーム合成処理の説明に供する図であり、（Ｂ）は、実施形態に係る複眼デジタルカメラによるマルチフレーム合成処理の説明に供する図である。 第１実施形態に係る複眼デジタルカメラによる第１撮影処理の説明に供する図である。 第１実施形態に係る第１撮影処理プログラムの処理の流れを示すフローチャートである。 第２実施形態に係る複眼デジタルカメラによる第２撮影処理の説明に供する図である。 第２実施形態に係る第２撮影処理プログラムの処理の流れを示すフローチャートである。 第３実施形態に係る複眼デジタルカメラによる第３撮影処理の説明に供する図である。 第３実施形態に係る第３撮影処理プログラムの処理の流れを示すフローチャートである。 第４実施形態に係る複眼デジタルカメラによる第４撮影処理の説明に供する図である。 第４実施形態に係る第４撮影処理プログラムの処理の流れを示すフローチャートである。 第５実施形態に係る複眼デジタルカメラによる第５撮影処理の説明に供する図である。 第５実施形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施形態では、本発明を複眼デジタルカメラに適用した場合について説明する。

図１は、本実施形態に係る複眼デジタルカメラ１の構成を示す斜視図であり、（Ａ）は正面斜視図であり、（Ｂ）は背面斜視図である。図１に示すように、複眼デジタルカメラ１は筐体１０を備えていて、筐体１０の内部にＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）などの各種電子部品が収納されている。筐体１０の上面にはレリーズボタン１１が備えられていて、ユーザがこのレリーズボタン１１を押下することにより複眼デジタルカメラ１に撮影などの指示を入力することができる。

また、筐体１０の上面には電源ボタン１２が備えられていて、ユーザがこの電源ボタン１２を押下することにより、複眼デジタルカメラ１の電源のオン／オフ状態を切り替える指示を入力することができる。さらに、筐体１０の上面にはズームレバー１３が備えられていて、ユーザがこのズームレバー１３を操作することにより、撮影時にズーム機能の画角や倍率の変更の指示を入力することができる。

一方、図１（Ａ）に示すように、筐体１０の正面にはフラッシュ１４が備えられていて、撮影時に周囲を照明することができる。また、筐体１０の正面には複数のレンズ１５Ａ、１５Ｂが備えられていて、これらのレンズ１５Ａ、１５Ｂに入射した光が当該レンズ１５Ａ、１５Ｂを通過して内部に入力される。

また、図１（Ｂ）に示すように、筐体１０の背面には、液晶ディスプレイ１６が備えられていて、撮影画像や設定事項などが表示される。また、筐体１０の背面には、各種操作ボタン１７が備えられていて、ユーザが各種操作ボタン１７を操作することにより各種設定事項の設定の指示を入力することができる。

図２は、複眼デジタルカメラ１の電気系の要部構成を示す概略ブロック図である。図２に示すように、複眼デジタルカメラ１は、主制御部２０、左用撮影部２１Ａ、右用撮影部２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸張処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、三次元処理部３０、及び視差マップ生成部３１を備えている。

主制御部２０は、ＣＰＵやＲＡＭを備えていて、電源ボタン１２や各種操作ボタン１７などを介したユーザ操作に従って、複眼デジタルカメラ１を総括的に制御する。また、主制御部２０は、後述する第１撮影処理プログラム乃至第５撮影処理プログラムを実行する。

左用撮影部２１Ａは、ＣＣＤやＣＭＯＳで構成された撮像素子を有し、レンズ１５Ａに入射した光を受光して電気信号に変換して画像を再構成する。同様に、右用撮影部２１Ｂは、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成された撮像素子を有し、レンズ１５Ｂに入射した光を受光して電気信号に変換して画像を再構成する。左用撮影部２１Ａ及び右用撮影部２１Ｂは、被写体を見込む輻輳角を持って予め定められた基線長となる位置に配置されている。なお、輻輳角、基線長の情報は内部メモリ２７に記憶されている。

撮影制御部２２は、ＡＦ（Automatic Focusing）処理部（図示せず）及びＡＥ（Automatic Exposure）処理部（図示せず）を備えている。ＡＦ処理部は、ユーザによるレリーズボタン１１の半押し操作などにより左用撮影部２１Ａ、右用撮影部２１Ｂによって取得されたプレ画像（撮影前にレンズ１５Ａ、１５Ｂから入射されている画像）に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、左用撮影部２１Ａ、右用撮影部２１Ｂに合焦領域や焦点位置を示すデータを出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、左用撮影部２１Ａ、右用撮影部２１Ｂにシャッタ速度や絞り値を示すデータを出力する。

また、撮影制御部２２は、ユーザによるレリーズボタン１１の全押し操作により左用撮影部２１Ａに対して左画像、右用撮影部２１Ｂに対して右画像の本画像を取得する本撮影を行うように指示を出す。なお、レリーズボタン１１が操作される前は、撮影制御部２２は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を左用撮影部２１Ａ、右用撮影部２１Ｂに対して行っている。

画像処理部２３は、左用撮影部２１Ａ、右用撮影部２１Ｂがそれぞれ取得した各々の画像のデジタル画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正などの様々な画像処理を施す。

圧縮／伸張処理部２４は、画像処理部２３によって処理が施された画像を表す画像データに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行い、左用撮影部２１Ａが取得した画像の画像データを左画像とし、右用撮影部２１Ｂが取得した画像のデジタル画像データを右画像とした立体視用の立体画像ファイルを生成する。この立体視用の立体画像ファイルは、左画像及び右画像の画像データを含んでいるとともに、Ｅｘｉｆフォーマットなどに基づいて、基線長、輻輳角、及び撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。

フレームメモリ２５は、左用撮影部２１Ａ、右用撮影部２１Ｂがそれぞれ取得した画像の画像データに対して、前述の画像処理部２３が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。

メディア制御部２６は、複眼デジタルカメラ１に記録メディア２６Ａなどの各種記録メディアが電気接続された際に、この記録メディア２６Ａの記憶領域に対して画像ファイルなどのデータの読み書きの制御を行う。

内部メモリ２７は、複眼デジタルカメラ１において設定される各種設定事項、及び主制御部２０が実行するプログラムやプログラムの処理に使用されるデータを記憶する。この内部メモリ２７は、後述する第１撮影処理プログラム乃至第５撮影処理プログラムを記憶している。

表示制御部２８は、主制御部２０または撮影制御部２２による制御に基づいて、撮影時においてフレームメモリ２５に格納された各々の画像から立体視用画像を生成して液晶ディスプレイ１６に表示させたり、記録メディア２６Ａに記憶されている立体画像ファイルから立体視用画像を生成して液晶ディスプレイ１６に表示させたりする。

三次元処理部３０は、主制御部２０または撮影制御部２２による制御に基づいて、表示制御部２８が画像の立体視表示を行う際に、立体視用の画像データに含まれる左画像及び右画像の画像データにそれぞれ三次元処理を行って立体視用の画像を生成する。

視差マップ生成部３１は、主制御部２０または撮影制御部２２による制御に基づいて、左画像と右画像との相互の視差マップを生成する。ここで、視差は、左画像及び右画像の双方に含まれる被写体の左画像と右画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用の画像に含まれる被写体の立体感を適切なものとすることができる。

ところで、本実施形態に係る複眼デジタルカメラ１は、ノイズの低減、撮影感度の向上、撮影画像のダイナミックレンジの拡大といった撮影画像の画質を向上させることを目的として、左用撮影部２１Ａ及び右用撮影部２１Ｂの各々の視点からそれぞれ連続的に撮影された複数（本実施の形態では、５枚）の画像のうちの視点（撮影系）毎に予め定められた基準画像をそれぞれ基準として、各々の視点から撮影された複数の画像をそれぞれ視点毎に合成するマルチフレーム合成機能を備えている。

以下、本実施形態に係るマルチフレーム合成機能について説明する。従来、単眼デジタルカメラにおいてマルチフレーム合成処理が行われている。図３（Ａ）は、単眼デジタルカメラによるマルチフレーム合成処理の説明に供する図である。図３（Ａ）に示すように、単眼デジタルカメラは、撮影系において、複数（本実施形態では、５枚）の画像Ｆ１乃至Ｆ５を連続して取得し、それらの複数の画像Ｆ１乃至Ｆ５からなる画像群４０を多重合成するマルチフレーム合成処理を行う。多重合成する際には、他の画像に対する変化量が少ない画像、例えば画像群４０に含まれる画像Ｆ１乃至Ｆ５を露光時刻順に並べた際に中央に位置する画像Ｆ３を基準画像ＦＢとして、画像Ｆ３に対して他の画像Ｆ１、Ｆ２、Ｆ４、Ｆ５を合成する。

一方、本実施形態に係る複眼デジタルカメラ１は、左撮影部２１Ａにより連続して撮影された複数の画像、右撮影部２１Ｂにより連続して撮影された複数の画像の各々に対してマルチフレーム合成処理を施した上で、これらの画像を用いて立体視用の画像データを生成する。図３（Ｂ）は、本実施形態に係る複眼デジタルカメラ１によるマルチフレーム合成処理の説明に供する図である。図３（Ｂ）に示すように、複眼デジタルカメラ１は、立体視用の画像を撮影する際に、左撮影部２１Ａにより左目で見た画像に相当する左画像を撮影し、右撮影部２１Ｂにより右目で見た画像に相当する右画像を撮影し、撮影された左画像と右画像との水平方向におけるずれ（視差）を用いて、立体視用の画像データを生成する。

そして、複眼デジタルカメラ１は、立体視用の画像データを生成する際、左撮影部２１Ａ、右撮影部２１Ｂの各々の撮影系毎に、非同期の状態で連続的に複数回撮影することで得られる複数の画像からなる左画像群４０Ｌ、右画像群４０Ｒに対してそれぞれ別個にマルチフレーム合成処理を行って、立体視用の画像データとして内部メモリ２７に記憶する。なお、上記「非同期の状態で」の語句は、「完全に同期した状態で撮影する場合を除く」ことを意味しており、同期させて撮影しようとしたが実際には同期できていない場合も含んでいる。

ここで、立体視用の画像データを生成する場合には、左画像群４０Ｌに含まれる画像Ｌ１乃至Ｌ５を露光時刻順に並べた際に中央に位置する画像Ｌ３と、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５を露光時刻順に並べた際に中央に位置する画像Ｒ３をそれぞれ基準画像ＬＢ、ＲＢとするより、他の条件で選択された画像をそれぞれ基準画像ＬＢ、ＲＢとした方がより立体的な立体画像の画像データを生成できる場合も考えられる。このような場合には、後述する第１実施形態乃至第５実施形態のように、他の条件に基づいて基準画像ＬＢ、ＲＢを選択することが望ましい。

なお、以上のように視点毎に多重合成を行う際には、露光タイミングにおける複眼デジタルカメラ１の微小な位置ずれ等により各画像に含まれる被写体の状態の微小な差異を鑑み、基準画像ＬＢ、ＲＢと合成する各画像に含まれる被写体の状態を、基準画像ＬＢ、ＲＢに含まれる、対応する被写体の状態に近づけるための画像処理を施す。この際の画像処理としては、基準画像に合成する画像全体の平行移動、回転または拡大といった画像全体に対する画像処理の他、基準画像に合成する画像を予め定められた複数の領域に分割し、分割領域毎に、基準画像とのステレオ・マッチングを行うことによって得られる同一対応点同士の位置を一致させるように画像を変形等する画像処理が含まれる。

ここで、本実施形態に係る複眼デジタルカメラ１では、ユーザによって各種操作ボタン１７を介してマルチフレーム合成機能を動作させることが設定された場合のみ、以上のような左画像および右画像の多重合成が行われて、各画像が立体画像を示す画像として記録メディア２６Ａに記録される。

また、本実施形態に係る複眼デジタルカメラ１は、始めに左撮影系２１Ａを代表視点と決定して、左撮影系２１Ａにより得られた左画像群４０Ｌから左画像の基準画像ＬＢを決定した後に、代表視点以外の視点である右撮影系２１Ｂにより得られた右画像群４０Ｒから、左画像の基準画像ＬＢと最も類似度が高い画像を右画像の基準画像ＲＢとして選択する。

〔第１実施形態〕
以下、図面を参照して、本発明の第１実施形態について詳細に説明する。

第１実施形態に係る複眼デジタルカメラ１は、立体視用の撮影を行った後に、相互に露光タイミングが最も近い左画像及び右画像をそれぞれ左画像の基準画像ＬＢ及び右画像の基準画像ＲＢとして選択する。そのためには、複眼デジタルカメラ１は、左画像群４０Ｌに含まれる複数の画像Ｌ１乃至Ｌ５のうちのいずれかを左画像の基準画像ＬＢとして選択し、右画像群４０Ｒに含まれる複数の画像Ｒ１乃至Ｒ５から、左画像の基準画像ＬＢに露光タイミングが最も近い画像を左画像の基準画像ＬＢに最も類似度が高い画像であると判断して右画像の基準画像ＲＢとして選択すれば良い。そして、複眼デジタルカメラ１は、左画像群４０Ｌ、右画像群４０Ｒのそれぞれにおいて、選択された基準画像ＬＢ、ＲＢに他の画像を合成させるようにしてマルチフレーム合成処理を行う。

すなわち、複眼デジタルカメラ１の左用撮影部２１Ａ及び右用撮影部２１Ｂを用いて、それぞれ独立させて複数の撮影画像を連続して取得する場合、各々の撮影処理を同期させるように制御して撮影処理を行ったとしても、各撮影部に設けられた撮影素子が別のものであるためフォーカスタイミングなどがずれてしまう結果、各撮影部で露光タイミングなどにずれが生じてしまい、露光順が同一の画像を基準画像ＬＢ、ＲＢとして選択しても露光タイミングが若干ずれてしまっている可能性がある。このような場合には、交互に露光タイミングが最も近い画像を基準画像ＬＢ、ＲＢとして選択することが望ましい。

そこで、本実施形態に係る複眼デジタルカメラ１では、相互に露光タイミングが最も近い画像をそれぞれ左画像の基準画像ＬＢ、右画像の基準画像ＲＢとして、左画像群４０Ｌ、右画像群４０Ｒにおいてそれぞれマルチフレーム合成処理を行うことにより、立体視用の画像データを生成する。

図４は、第１実施形態に係る複眼デジタルカメラ１における基準画像の選択方法の説明に供する図である。図４に示すように、左画像群４０Ｌに含まれる複数の画像Ｌ１乃至Ｌ５のうち、露光時刻順に並べた際に中央に位置する画像Ｌ３を左画像の基準画像ＬＢとした場合に、右画像群４０Ｒに含まれる複数の画像Ｒ１乃至Ｒ５のうち、左画像の基準画像ＬＢに対して露光時刻が最も近い画像Ｒ２が左画像の基準画像ＬＢに最も類似度が高い画像であると判断されて、右画像の基準画像ＲＢとして選択される。

次に、本実施形態に係る複眼デジタルカメラ１の作用を、図５を参照しつつ説明する。なお、図５は、レリーズボタン１１が半押し操作を経て全押し操作に移行したタイミングで複眼デジタルカメラ１の主制御部２０により実行される第１撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７に予め記憶されている。

まず、主制御部２０は、左撮影部２１Ａ及び右撮影部２１Ｂの双方で並行して撮影を行うように制御する（Ｓ１０１）。この際、一例として図４に示すように、左撮影部２１Ａにより左画像群４０Ｌとして５枚の画像Ｌ１乃至Ｌ５を連続して撮影するように制御する。一方、右撮影部２１Ｂによっても同様に右画像群４０Ｒとして５枚の画像Ｒ１乃至Ｒ５を連続して撮影するように制御する。

次に、主制御部２０は、左画像群４０Ｌから左画像の基準画像ＬＢを選択する（Ｓ１０３）。前述したように、マルチフレーム合成を行う際には、撮影順の時系列に並んだ複数の画像のうち、露光時刻順に並べた際に中央に位置する画像を基準画像として合成処理を行うことが望ましい。よって、本実施形態に係る複眼デジタルカメラ１では、左画像群４０Ｌに含まれる５つの画像Ｌ１乃至Ｌ５のうちの露光時刻が中央に位置する画像Ｌ３を基準画像ＬＢとして選択する。

次に、主制御部２０は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々について、ステップＳ１０３にて選択された左画像群４０Ｌの基準画像ＬＢに対する露光時刻の差を導出する（Ｓ１０５）。図４に示すように、例えば左画像群４０Ｌの画像Ｌ１の露光時刻を計時開始時刻として、左画像群４０Ｒの画像Ｌ３が０．０１４秒、右画像群４０Ｒの画像Ｒ１が０．００４秒、画像Ｒ２が０．０１１秒、画像Ｒ３が０．０１８秒、画像Ｒ４が０．０２５秒、画像Ｒ５が０．０３２秒である場合、露光時刻の差はそれぞれ０．０１秒、０．００３秒、０．００４秒、０．０１１秒、０．０１８秒と導出される。

次に、主制御部２０は、右画像群４０Ｒから右画像の基準画像ＲＢを選択する（Ｓ１０７）。各画像群の露光時刻が図４に示すものである場合、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち、左画像の基準画像Ｌ３に対する露光時刻の差が最も小さい画像、すなわち左画像群４０Ｌの画像Ｌ３の露光時刻に最も近い画像は画像Ｒ２であるため、本実施形態に係る複眼デジタルカメラ１では、画像Ｒ２を右画像群４０Ｒの基準画像ＲＢとして選択する。

次に、主制御部２０は、左画像群４０Ｌに含まれる画像Ｌ１乃至Ｌ５の各々について、ステップＳ１０３にて選択された画像を基準画像ＬＢとして左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５についてマルチフレーム合成を行う（Ｓ１０９）。この際、主制御部２０は、画像Ｌ１、Ｌ２、Ｌ４、Ｌ５について基準画像ＬＢである画像Ｌ３に対する対応点を、画像Ｌ１、Ｌ２、Ｌ４、Ｌ５の各々と基準画像ＬＢとの間でステレオ・マッチングを行うことにより抽出して、各々の対応点が重なるように画像Ｌ１、Ｌ２、Ｌ４、Ｌ５を変形させる等して基準画像ＬＢである画像Ｌ３に重ね合わせる。

次に、主制御部２０は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々についても同様に、ステップＳ１０７にて選択された画像を基準画像ＲＢとして右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についてマルチフレーム合成を行う（Ｓ１１１）。この際、ステップＳ１０９と同様に、主制御部２０は、画像Ｒ１、Ｒ３乃至Ｒ５について基準画像ＲＢである画像Ｒ２に対する対応点を、画像Ｒ１、Ｒ３乃至Ｒ５の各々と基準画像ＲＢとの間でステレオ・マッチングを行うことにより抽出して、各々の対応点が重なるように画像Ｒ１、Ｒ３乃至Ｒ５を変形させる等して基準画像ＲＢである画像Ｒ２に重ね合わせる。

次に、主制御部２０は、ステップＳ１０９にてマルチフレーム合成された画像を示す画像データ、およびステップＳ１１１にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ２７に記憶して（Ｓ１１３）、第１撮影処理プログラムを終了する。

このように、第１実施形態に係る複眼デジタルカメラ１では、各々異なる複数の撮影系（視点）毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点（左撮影系２１Ａ）が決定されるととともに、代表視点の複数の画像（左画像群４０Ｌ）から基準画像（左画像の基準画像ＬＢ）が決定される。また、第１実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の複数の画像（右画像群４０Ｒ）において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像（右画像の基準画像ＲＢ）として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

ここで、本第１実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）より得られた複数の画像（画像群４０Ｒ）から、代表視点の基準画像と最も類似度の高い画像として、露光タイミングが最も近い画像を選択する。これにより、露光タイミングが最も近い画像を選択するという簡易な処理により、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

なお、本第１実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１について説明したが、撮影部の数はこれに限定されず、３つ以上の撮像部を有する３眼以上の複眼デジタルカメラであっても良い。この場合にも、本第１実施形態における処理と同様に、１つの撮影部により得られた画像における予め定められた基準画像に対して最も露光タイミングが近い画像が、残りの撮影部により得られた画像からそれぞれ基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第１実施形態として、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第１実施形態における処理と同様に、１つのカメラにより得られた画像における予め定められた基準画像に対して最も露光タイミングが近い画像が、残りのカメラにより得られた画像から基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第１実施形態では、左撮影系２１Ａを代表視点と決定した上で、代表視点により得られた左画像群４０Ｌにおいて露光時刻が中央に位置する画像を基準画像ＬＢとして選択する例について説明したが、これに限定されず、右撮影系２１Ｂを代表視点とした上で、代表視点により得られた右画像群４０Ｒにおいて露光時刻順に並べた際に中央に位置する画像を基準画像ＲＢとして選択して、左画像群４０Ｌから基準画像ＲＢに露光タイミングが最も近い画像を左画像の基準画像ＬＢとして選択しても良い。

〔第２実施形態〕
次に、本発明の第２実施形態について説明する。

第２実施形態に係る複眼デジタルカメラ１は、左右各々の画像間の対応点を抽出してその個数（対応点数）を導出し、導出された対応点数によってマルチフレーム合成処理の際の基準画像ＬＢ、ＲＢを選択するものである。

画像間の対応点は、画像中の特徴点のうち複数の画像間にて対応付けられた特徴点である。複数の画像間での対応を求める対応点探索はオプティカルフローやステレオ画像間のマッチングなどに必要な処理であり、この処理の一般的な手法に例えばテンプレートマッチングがある。テンプレートマッチングは画像中の点の類似度を各点の近傍内の画素−テンプレート-によって評価する手法である。

図６は、第２実施形態に係る複眼デジタルカメラ１における基準画像の選択方法の説明に供する図である。図６に示すように、左画像群４０Ｌに含まれる複数の画像Ｌ１乃至Ｌ５のうち画像Ｌ３を左画像の基準画像ＬＢとした場合に、右画像群４０Ｒに含まれる複数の画像Ｒ１乃至Ｒ５のうち、左画像の基準画像ＬＢに対して対応点数が最も多い画像Ｒ２が左画像の基準画像ＬＢに最も類似度が高い画像であると判断されて、右画像の基準画像ＲＢとして選択される。

次に、本第２実施形態に係る複眼デジタルカメラ１の作用を図7を参照しつつ説明する。なお、図７は、レリーズボタン１１が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ１の主制御部２０により実行される第２撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７に予め記憶されている。

まず、主制御部２０は、ステップＳ１０１と同様に、左撮影部２１Ａ、右撮影部２１Ｂの双方で並行して撮影を行うように制御する（Ｓ２０１）。また主制御部２０は、ステップＳ１０３と同様に、左画像群４０Ｌから左画像の基準画像ＬＢを選択する（Ｓ２０３）。本実施形態に係る複眼デジタルカメラ１では、左画像群４０Ｌに含まれる５つの画像Ｌ１乃至Ｌ５のうちの露光時刻順に並べた際に中央に位置する画像Ｌ３が基準画像ＬＢとして選択される。

主制御部２０は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々について、ステップＳ２０３にて選択された左画像群４０Ｌの基準画像ＬＢに対する対応点数を導出する（Ｓ２０５）。図６に示すように、例えば左画像群４０Ｌの画像Ｌ３に対して、右画像群４０Ｒの画像Ｒ１の対応点数が１５００ピクセル、画像Ｒ２が１６００ピクセル、画像Ｒ３が１５５０ピクセル、画像Ｒ４が１４００ピクセル、画像Ｒ５が１３００ピクセルと導出される。

次に、主制御部２０は、右画像群４０Ｒから右画像の基準画像ＲＢを選択する（Ｓ２０７）。図６に示すように、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち、左画像の基準画像ＬＢである画像Ｌ３に対する対応点数が最大の画像が画像Ｒ２であるため、本実施形態に係る複眼デジタルカメラ１では、画像Ｒ２が右画像の基準画像ＲＢとして選択される。

主制御部２０は、ステップＳ１０９と同様に、左画像群４０Ｌに含まれる画像Ｌ１乃至Ｌ５の各々について、ステップＳ２０３にて選択された画像を基準画像ＬＢとして左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５についてマルチフレーム合成を行う（Ｓ２０９）。また主制御部２０は、右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についても同様に、ステップＳ２０７にて選択された画像を基準画像ＲＢとして右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についてマルチフレーム合成を行う（Ｓ２１１）。

主制御部２０は、ステップＳ２０９にてマルチフレーム合成された画像を示す画像データ、及びステップＳ２１１にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ２７に記憶して（Ｓ２１３）、第２撮影処理プログラムを終了する。

このようにして第２実施形態に係る複眼デジタルカメラ１は、各々異なる複数の撮影系（視点）毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点（左撮影系２１Ａ）が決定されるととともに、代表視点の複数の画像（左画像群４０Ｌ）から基準画像（左画像の基準画像ＬＢ）が決定される。また、第１実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の複数の画像（右画像群４０Ｒ）において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像（右画像の基準画像ＲＢ）として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

ここで、本第２実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の右画像群４０Ｒから、代表視点（左撮影系２１Ａ）の基準画像（左画像の基準画像ＬＢ）と最も類似度の高い画像として、代表視点の基準画像に対する対応点数が最大の画像が選択される。これにより、対応点数が最大の画像を選択するという簡易な処理により、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

なお、本第２実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１について説明したが、撮影部の数はこれに限定されず、３つ以上の撮像部を有する３眼以上の複眼デジタルカメラであっても良い。この場合にも、本第１実施形態における処理と同様に、１つの撮影部により得られた画像における予め定められた基準画像に対する対応点数が最大の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第２実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第１実施形態における処理と同様に、１つのカメラにより得られた画像における予め定められた基準画像に対する対応点数が最大の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、基準画像ＬＢ、ＲＢを選択する際に、所定の閾値を設けて選択範囲を限定しても良い。すなわち、本実施形態ではステップＳ２０７において右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５から右画像の基準画像ＲＢを選択する例について説明したが、これに限定されず、ステップＳ２０７において右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち中央の画像Ｒ３から所定枚数の範囲から右画像の基準画像ＲＢを選択しても良い。（例えば所定枚数を１枚とした場合には、選択範囲が画像Ｒ２乃至Ｒ４の範囲となり、画像Ｒ２乃至Ｒ４から基準画像ＲＢが選択される。）

〔第３実施形態〕
以下、本発明の第３実施形態について説明する。

第３実施形態に係る複眼デジタルカメラ１は、オートクロスポイント調整を行った際に視差マップを生成して視差が所定値以下になる画素数によりマルチフレーム合成処理の際の基準画像ＬＢ、ＲＢを選択するものである。

オートクロスポイント調整は、主要被写体が視差０になるように行われる左右画像位置の調整である。例えば、第３実施形態に係る複眼デジタルカメラ１は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々について、左画像の基準画像ＬＢに対してオートクロスポイント調整を行った上で、図８に示すようなヒストグラムを作成する。ヒストグラムの横軸は、ピクセルで表した場合の画像Ｌ３に対する視差を示し、縦軸は、画素の個数を表している。そして、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち、視差０を基準として所定範囲内、例えば画像幅の±３％以内の画素の個数が最大となる画像、すなわち視差のずれ量が最小の画像が左画像の基準画像ＬＢに最も類似度が高い画像であると判断されて、右画像の基準画像ＲＢとして選択される。これにより、視差０を基準として所定範囲内の画素の個数が最大の画像、すなわち主要被写体のずれが最も小さい画像が基準画像として選択される。

なお、上記所定値を画像幅の±３％以下とした場合には、例えば画像Ｒ１乃至Ｒ５の幅がそれぞれ６４０ピクセルであるとき、−１９ピクセル乃至＋１９ピクセルの範囲の視差値が最も多い右画像が選択される。また、クロスポイントを設定する際には、ユーザが手動で行ってもよい。

以下、本第３実施形態に係る複眼デジタルカメラ１の作用を図９を参照しつつ説明する。なお、図９は、レリーズボタン１１が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ１の主制御部２０により実行される第３撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７に予め記憶されている。

まず、主制御部２０は、ステップＳ１０１と同様に、左撮影部２１Ａ及び右撮影部２１Ｂの双方で並行して撮影処理を行う（Ｓ３０１）。また主制御部２０は、ステップＳ１０３と同様に、左画像群４０Ｌから左画像の基準画像ＬＢを選択する（Ｓ３０３）。本実施形態に係る複眼デジタルカメラ１では、左画像群４０Ｌに含まれる５つの画像Ｌ１乃至Ｌ５のうちの露光時刻順に並べた際に中央に位置する画像Ｌ３が基準画像ＬＢとして選択される。

主制御部２０は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々について、ステップＳ３０３にて選択された左画像群４０Ｌの基準画像ＬＢに対して自動クロスポイント調整を行う（Ｓ３０５）。

主制御部２０は、ステップＳ３０５にて自動クロスポイント調整された右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５について、ステップＳ３０３にて選択された左画像群４０Ｌの基準画像ＬＢに対する視差が画像幅の±３％以下になる画素数を導出してヒストグラム化する（Ｓ３０７）。

主制御部２０は、右画像群４０Ｒから右画像の基準画像ＲＢを選択する（Ｓ３０９）。図８に示すように、ステップＳ３０３にて選択された左画像群４０Ｌの基準画像ＬＢである画像Ｌ３に対する視差が画像幅の±３％以下になる画素数が最大の画像が画像Ｒ２であるため、本実施形態に係る複眼デジタルカメラ１では、画像Ｒ２が右画像の基準画像ＲＢとして選択される。

主制御部２０は、ステップＳ１０９と同様に、左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５について、ステップＳ３０３にて選択された画像を基準画像ＬＢとして左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５についてマルチフレーム合成を行う（Ｓ３１１）。また主制御部２０は、右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についても同様に、ステップＳ３０９にて選択された画像を基準画像ＲＢとして右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についてマルチフレーム合成を行う（Ｓ３１３）。

主制御部２０は、ステップＳ３１１にてマルチフレーム合成された画像を示す画像データ、及びステップＳ３１３にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ２７に記憶して（Ｓ３１５）、第３撮影処理プログラムを終了する。

このようにして第３実施形態に係る複眼デジタルカメラ１は、各々異なる複数の撮影系（視点）毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点（左撮影系２１Ａ）が決定されるととともに、代表視点の複数の画像（左画像群４０Ｌ）から基準画像（左画像の基準画像ＬＢ）が決定される。また、第１実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の複数の画像（右画像群４０Ｒ）において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像（右画像の基準画像ＲＢ）として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

ここで、本第３実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）より得られた複数の画像（画像群４０Ｒ）から、代表視点（左撮影系２１Ａ）の基準画像（左画像の基準画像ＬＢ）と最も類似度の高い画像として、代表視点の基準画像に対する視差のずれ量が最小の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。

なお、本第３実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１について説明したが、撮影部の数はこれに限定されず、３つ以上の撮像部を有する３眼以上の複眼デジタルカメラであっても良い。この場合にも、本第１実施形態における処理と同様に、１つの撮影部により得られた画像における予め定められた基準画像に対する視差のずれ量が最小の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第３実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第１実施形態における処理と同様に、１つのカメラにより得られた画像における予め定められた基準画像に対する視差のずれ量が最小の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第３実施形態では、視差が画像幅の±３％以下の範囲に最大の画像を基準画像として選択される例を示したが、判定に使用される視差の範囲は±３％以下の範囲に限定されず、視差の大きさのばらつきによって適宜設定されれば良い。

〔第４実施形態〕
以下、本発明の第４実施形態について説明する。

第４実施形態の複眼デジタルカメラ１は、各画像から主要被写体を抽出したうえで各々の画像間の主要被写体の対応点を抽出することによってマルチフレーム合成処理の際の基準画像ＬＢ、ＲＢを選択するものである。なお、主要被写体を抽出する方法は、例えば輝度の変化により抽出する方法や、周波数や画素値の変化により輪郭を抽出する方法など、任意である。

図１０は、第４実施形態に係る複眼デジタルカメラ１における基準画像の選択方法の説明に供する図である。図１０に示すように、左画像群４０Ｌに含まれる複数の画像Ｌ１乃至Ｌ５のうち画像Ｌ３を左画像の基準画像ＬＢとした場合に、右画像群４０Ｒに含まれる複数の画像Ｒ１乃至Ｒ５のうち、左画像の基準画像ＬＢに対して主要被写体に含まれる対応点数が最も多い画像Ｒ２が左画像の基準画像ＬＢに最も類似度が高い画像であると判断されて、右画像の基準画像ＲＢとして選択される。

以下、本第４実施形態に係る複眼デジタルカメラ１の作用を図１１を参照しつつ説明する。なお、図１１は、レリーズボタン１１が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ１の主制御部２０により実行される第４撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７に予め記憶されている。

まず、主制御部２０は、ステップＳ１０１と同様に、左撮影部２１Ａ及び右撮影部２１Ｂの双方で並行して撮影処理を行う（Ｓ４０１）。また主制御部２０は、ステップＳ１０３と同様に、左画像群４０Ｌから左画像の基準画像ＬＢを選択する（Ｓ４０３）。本実施形態に係る複眼デジタルカメラ１では、左画像群４０Ｌに含まれる５つの画像Ｌ１乃至Ｌ５のうち、露光時刻順に並べた際に中央に位置する画像Ｌ３が基準画像ＬＢとして選択される。

主制御部２０は、左撮影系４０Ｌの基準画像ＬＢと、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々において、主要被写体を抽出する（Ｓ４０５）。

主制御部２０は、右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５について、ステップＳ４０３にて選択された左画像群４０Ｌの基準画像ＬＢに対する主要被写体の対応点数を導出する（Ｓ４０７）。図１０に示すように、例えば左画像の基準画像ＬＢである画像Ｌ３に対して、右画像群４０Ｒの画像Ｒ１の対応点数が４５０ピクセル、画像Ｒ２が５５０ピクセル、画像Ｒ３が５００ピクセル、画像Ｒ４が３９０ピクセル、画像Ｒ５が３３０ピクセルと導出される。

主制御部２０は、右画像群４０Ｒから右画像の基準画像ＲＢを選択する（Ｓ４０９）。図１０に示すように、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち、左画像の基準画像ＬＢである画像Ｌ３に対する主要被写体の対応点数が最大の画像が画像Ｒ２であるため、本実施形態に係る複眼デジタルカメラ１では、画像Ｒ２が右画像の基準画像ＲＢとして選択される。

主制御部２０は、ステップＳ１０９と同様に、左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５について、ステップＳ４０３にて選択された画像を基準画像ＬＢとして左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５についてマルチフレーム合成を行う（Ｓ４１１）。また主制御部２０は、右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についても同様に、ステップＳ４０９にて選択された画像を基準画像ＲＢとして右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についてマルチフレーム合成を行う（Ｓ４１３）。

主制御部２０は、ステップＳ４１１にてマルチフレーム合成された画像を示す画像データ、及びステップＳ４１３にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ２７に記憶して（Ｓ４１５）、第４撮影処理プログラムを終了する。

このようにして第４実施形態に係る複眼デジタルカメラ１は、各々異なる複数の撮影系（視点）毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点（左撮影系２１Ａ）が決定されるととともに、代表視点の複数の画像（左画像群４０Ｌ）から基準画像（左画像の基準画像ＬＢ）が決定される。また、第１実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の複数の画像（右画像群４０Ｒ）において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像（右画像の基準画像ＲＢ）として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

ここで、本第４実施形態に係る複眼デジタルカメラ１では、複数の視点から連続的に撮影された複数の画像の各々から主要被写体が抽出されるとともに、代表視点以外の視点（右撮影系２１Ｂ）より得られた複数の画像（画像群４０Ｒ）から、代表視点（左撮影系２１Ａ）の基準画像（左画像の基準画像ＬＢ）と最も類似度の高い画像として、代表視点の基準画像に対する主要被写体の対応点数が最大の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。

なお、本第４実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１について説明したが、撮影部の数はこれに限定されず、３つ以上の撮像部を有する３眼以上の複眼デジタルカメラであっても良い。この場合にも、本第１実施形態における処理と同様に、１つの撮影部により得られた画像における予め定められた基準画像に対する主要被写体の対応点数が最大の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第４実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第１実施形態における処理と同様に、１つのカメラにより得られた画像における予め定められた基準画像に対する主要被写体の対応点数が最大の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

〔第５実施形態〕
以下、本発明の第５実施形態について説明する。

第５実施形態に係る複眼デジタルカメラ１は、各々の画像間における対応点のずれにおいて垂直方向のずれ量の平均値を導出することによってマルチフレーム合成処理の際の基準画像ＬＢ、ＲＢを選択するものである。なお、ここで言う垂直方向は、画像平面上において、各撮影系間（各視点間）において視差が生じる方向である視差方向に対する垂直方向である。

図１２は、第５実施形態に係る複眼デジタルカメラ１における基準画像の選択方法の説明に供する図である。図１２の各々のグラフにおいて、横軸がずれの垂直ベクトルの大きさを示し、縦軸が個数（画素数）を示している。図１２に示すように、左画像群４０Ｌに含まれる複数の画像Ｌ１乃至Ｌ５のうち画像Ｌ３を左画像の基準画像ＬＢとした場合に、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち、左画像の基準画像ＬＢに対する対応点のずれの垂直方向のずれ量の平均値が最小になる画像、すなわち左画像の基準画像ＬＢに対する垂直方向のずれが最も小さい画像である画像Ｒ２が左画像の基準画像ＬＢに最も類似度が高い画像であると判断されて、右画像の基準画像ＲＢとして選択される。

以下、本第５実施形態に係る複眼デジタルカメラ１の作用を図１３を参照しつつ説明する。なお、図１３は、レリーズボタン１１が半押し状態を経て全押し状態に移行したタイミングで複眼デジタルカメラ１の主制御部２０により実行される第５撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは内部メモリ２７に予め記憶されている。

まず、主制御部２０は、ステップＳ１０１と同様に、左撮影部２１Ａ及び右撮影部２１Ｂの双方で並行して撮影処理を行う（Ｓ５０１）。また主制御部２０は、ステップＳ１０３と同様に、左画像群４０Ｌから左画像の基準画像ＬＢを選択する（Ｓ５０３）。本実施形態に係る複眼デジタルカメラ１では、左画像群４０Ｌに含まれる５つの画像Ｌ１乃至Ｌ５のうち、露光時刻順に並べた際に中央に位置する画像Ｌ３が基準画像ＬＢとして選択される。

主制御部２０は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々について、ステップＳ５０３にて選択された左画像群４０Ｌの基準画像ＬＢに対する対応点の垂直ベクトルを導出する（Ｓ５０５）。

主制御部２０は、右画像群４０Ｒから右画像の基準画像ＲＢを選択する（Ｓ５０７）。ステップＳ５０５にて導出されたずれの垂直ベクトルについて、大きさの平均値を導出し、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５のうち、左画像の基準画像Ｌ３に対する対応点のずれの垂直ベクトルの大きさの平均値が最小のものが画像Ｒ２であるため、本実施形態に係る複眼デジタルカメラ１では、画像Ｒ２が右画像の基準画像ＲＢとして選択される。

主制御部２０は、ステップＳ１０９と同様に、左画像群４０Ｌに含まれる画像Ｌ１乃至Ｌ５の各々について、ステップＳ５０３にて選択された画像を基準画像ＬＢとして左画像群４０Ｌに含まれる各々の画像Ｌ１乃至Ｌ５についてマルチフレーム合成を行う（Ｓ５０９）。また主制御部２０は、右画像群４０Ｒに含まれる画像Ｒ１乃至Ｒ５の各々についても同様に、ステップＳ５０７にて選択された画像を基準画像ＲＢとして右画像群４０Ｒに含まれる各々の画像Ｒ１乃至Ｒ５についてマルチフレーム合成を行う（Ｓ５１１）。

主制御部２０は、ステップＳ５０９にてマルチフレーム合成された画像を示す画像データ、及びステップＳ５１１にてマルチフレーム合成された画像を示す画像データを立体視用の画像データとして内部メモリ２７に記憶して（Ｓ５１３）、第５撮影処理プログラムを終了する。

このようにして第５実施形態に係る複眼デジタルカメラ１は、各々異なる複数の撮影系（視点）毎に非同期の状態で連続的に複数回撮影することで得られる複数の視点毎の複数の画像が取得され、複数の視点から代表視点（左撮影系２１Ａ）が決定されるととともに、代表視点の複数の画像（左画像群４０Ｌ）から基準画像（左画像の基準画像ＬＢ）が決定される。また、第１実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の複数の画像（右画像群４０Ｒ）において、代表視点の基準画像と最も類似度の高い画像が代表視点以外の視点の各々毎に基準画像（右画像の基準画像ＲＢ）として選択され、複数の視点の各々毎に、各々選択された基準画像をベースに複数の画像の合成処理が行われる。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、良好な立体画像を得ることができる。

ここで、本第５実施形態に係る複眼デジタルカメラ１では、代表視点以外の視点（右撮影系２１Ｂ）の複数の画像（画像群４０Ｒ）から、代表視点（左撮影系２１Ａ）の基準画像（左画像の基準画像ＬＢ）と最も類似度の高い画像として、代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が選択される。これにより、立体撮影によって得られた画像に対してマルチフレーム合成を行う際に、より高いレベルで、良好な立体画像を得ることができる。

なお、本第５実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１について説明したが、撮影部の数はこれに限定されず、３つ以上の撮像部を有する３眼以上の複眼デジタルカメラであっても良い。この場合にも、本第１実施形態における処理と同様に、１つの撮影部により得られた画像における予め定められた基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が、残りの撮影部により得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第５実施形態では、２つの撮影部２１Ａ、２１Ｂを備えた複眼デジタルカメラ１を使用する場合について説明したが、この場合に限定されず、複数台のカメラを用いて立体画像を撮影する場合にも、本発明の手法を適用することができる。この場合にも、本第１実施形態における処理と同様に、１つのカメラにより得られた画像における予め定められた基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像が、残りのカメラにより得られた画像において基準画像として選択されて、マルチフレーム合成処理が行われる。

また、本第５実施形態では、左撮影系４０Ｌの基準画像ＬＢに対する対応点の垂直方向のずれ量の平均値が最小となる画像を基準画像とする例について説明したが、これに限定されず、例えば、左撮影系４０Ｌの基準画像ＬＢに対する対応点の垂直方向のずれ量の最大値が最小となる画像を基準画像としても良く、あるいは、左撮影系４０Ｌの基準画像ＬＢに対する対応点の垂直方向のずれ量の最頻値が最小となる画像を基準画像としても良い。

また、第１実施形態乃至第５実施形態において、各々の撮影系２１Ａ、２１Ｂにおいてそれぞれ５枚の画像を連続的に撮影してマルチフレーム合成処理を行う例について説明したが、これに限定されず、状況に応じて任意の枚数の画像を連続的に撮影してマルチフレーム合成処理に用いると良い。

また、第１実施形態乃至第５実施形態において、各々の撮影系２１Ａ、２１Ｂにおいてそれぞれ奇数回撮影する場合について説明したが、これに限定されず、偶数回撮影するようにしても良い。偶数回撮影する場合には、露光時刻順に並べた際に中央に位置する画像が１に定まらないので、撮影回数の１／２番目に位置する画像または（撮影回数の１／２＋１）番目に位置する画像のいずれか一方を中央の画像として選択すると良い。

１…複眼デジタルカメラ，１０…筐体，１１…レリーズボタン，１２…電源ボタン，１３…ズームレバー，１４…フラッシュ，１５Ａ、１５Ｂ…レンズ，１６…液晶ディスプレイ，１７…各種操作ボタン，２０…主制御部，２１Ａ…左用撮影部，２１Ｂ…右用撮影部，２２…撮影制御部，２３…画像処理部，２４…圧縮／伸張処理部，２５…フレームメモリ，２６…メディア制御部，２６Ａ…記録メディア，２７…内部メモリ，２８…表示制御部，３０…三次元処理部，３１…視差マップ生成部，４０…画像群，４０Ｌ…左画像群，４０Ｒ…右画像群，Ｆ１乃至Ｆ５…画像群に含まれる画像，Ｌ１乃至Ｒ１…左画像群に含まれる画像，Ｒ１乃至Ｒ５…右画像群に含まれる画像，ＦＢ…基準画像，ＬＢ…左画像群の基準画像，ＲＢ…右画像群の基準画像。

Claims (8)

1. 各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、
   前記複数の視点から代表視点を決定する第１決定手段と、
   前記代表視点の前記複数の画像から基準画像を決定する第２決定手段と、
   前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、
   前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段と、
   を備えた画像処理装置。
2. 前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対して露光タイミングが最も近い画像を選択する
   請求項１記載の画像処理装置。
3. 前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点数が最大の画像を選択する
   請求項１記載の画像処理装置。
4. 前記各々異なる複数の視点から連続的に撮影された複数の画像の各々から主要被写体を抽出する抽出手段を更に備え、
   前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する前記抽出手段により抽出された主要被写体の対応点数が最大の画像を選択する
   請求項３記載の画像処理装置。
5. 前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する視差のずれ量が最小の画像を選択する
   請求項１記載の画像処理装置。
6. 前記選択手段は、前記代表視点の基準画像と最も類似度の高い画像として、当該代表視点の基準画像に対する対応点の垂直方向におけるずれのずれ量の平均値が最小の画像を選択する
   請求項５記載の画像処理装置。
7. 各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得ステップと、
   前記複数の視点から代表視点を決定する第１決定ステップと、
   前記代表視点の前記複数の画像から基準画像を決定する第２決定ステップと、
   前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択ステップと、
   前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成ステップと、
   を行う画像処理方法。
8. コンピュータを、
   各々異なる複数の視点毎に非同期の状態で連続的に複数回撮影することで得られる前記視点毎の複数の画像を取得する取得手段と、
   前記複数の視点から代表視点を決定する第１決定手段と、
   前記代表視点の前記複数の画像から基準画像を決定する第２決定手段と、
   前記代表視点以外の視点の前記複数の画像において、前記代表視点の基準画像と最も類似度の高い画像を前記代表視点以外の視点毎に基準画像として選択する選択手段と、
   前記複数の視点毎に、各々選択された基準画像をベースに前記複数の画像の合成処理を行う合成手段
   として機能させるためのプログラム。