JP2010041586A - 撮像装置 - Google Patents

Abstract

【課題】遮蔽物が静止状態であっても、遮蔽物を除去した画像データを生成すること。
【解決手段】表示効果部１５によって、メモリ５に格納した１枚目の撮影画像、例えば視点Ａの画像データと、メモリ５に更新格納しているこれから撮影しようとしている１枚目とは視点の異なる２枚目の画像の候補画像データ、例えば視点Ｂの画像データとを半透明に重なった状態で表示デバイス１７に表示し、レリーズボタン１８が押されると、遮蔽物除去画像生成部１は、メモリ５に格納された視点Ａの画像データと撮影してメモリ５に格納した２枚目の画像データである視点Ｂの画像データとに基づいて、遮蔽物を除去した遮蔽物除去画像データを生成する。
【選択図】図４

Description

本発明は、撮像装置に関し、特に、当該撮像装置と主要被写体との間に位置する遮蔽物を除去した画像データを生成可能な撮像装置に関する。

撮像装置を用いて様々なシーンで撮影を行うとき、当該撮像装置と主要被写体との間に遮蔽物が存在していることがある。このような場合、各シーンの撮影時に、主要被写体が遮蔽物に隠れてしまい所望の画像を得ることができないことがある。

これに対して特許文献１は、人や車両等の運動している遮蔽物であれば、この遮蔽物の運動視差から背景画像を抽出して遮蔽物を除去する手法を提案する。この特許文献１は、異なる時刻に撮影された複数の画像データを各画素毎に比較し、所定時間変化を検出しなかった画素を背景画像として抽出し、かつかかる処理を監視区域内の全ての画素について行うことにより遮蔽物を除去した背景のみの画像データを生成することを開示する。

このような手法を用いれば、主要被写体の前方に遮蔽物が存在している場合であっても、遮蔽物を除去した画像データを得ることができる。
特開２００１−４３４５８号公報

しかしながら、特許文献１の手法による遮蔽物の除去は、遮蔽物に動きがあることを前提としている。このため、遮蔽物が静止状態にある場合には遮蔽物を除去することができない。

本発明は、かかる事情を鑑みてなされたものであり、遮蔽物が静止状態であっても、遮蔽物を除去した画像データを生成できる撮像装置を提供することを目的とする。

本発明の主要な局面に係る撮像装置は、遮蔽物に遮蔽された主要被写体を複数の視点から撮影する少なくとも１つの撮像手段と、少なくとも１つの撮像手段の撮影により取得される視点の異なる複数の画像データを重ね合わせた表示用画像データを生成する表示用画像生成手段と、視点の異なる複数の画像データに基づいて遮蔽物を除去した遮蔽物除去画像データを生成する遮蔽物除去画像生成手段とを具備する。

本発明の主要な局面に係る撮像装置は、遮蔽物に遮蔽された主要被写体を複数の視点から撮影する少なくとも１つの撮像手段と、少なくとも１つの撮像手段に撮影指示を通知する撮影指示手段と、撮影指示手段により撮影指示が通知される前に、少なくとも１つの撮像手段の撮影により取得される視点の異なる複数の画像データを重ね合わせた表示用画像データを生成する表示用画像生成手段と、表示用画像生成手段で生成された表示用画像データをリアルタイムに更新して表示する表示手段と、撮影指示手段により撮影指示が通知されると、視点の異なる複数の画像データに基づいて遮蔽物を除去した遮蔽物除去画像データを生成する遮蔽物除去画像生成手段と、遮蔽物除去画像生成手段で生成された遮蔽物除去画像データを記録する記録部とを具備する。

本発明は、遮蔽物が静止状態であっても、遮蔽物を除去した画像データを生成できる撮像装置を提供できる。

以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置に適用される遮蔽物除去画像生成部１の構成図を示す。この遮蔽物除去画像生成部１は、視点の異なる複数の画像データに基づいて遮蔽物を除去した画像データを生成するもので、視差検出部２と、遮蔽領域抽出部３と、遮蔽領域変換部４とを有する。なお、遮蔽物除去画像生成部１のこれら視差検出部２、遮蔽領域抽出部３及び遮蔽領域変換部４は、メモリ５に接続されている。

視差検出部２は、視点の異なる複数の画像データ間、例えば視点Ａの画像データＤａと視点Ｂの画像データＤｂとの視差情報Ｄｐを取得する。遮蔽領域抽出部３は、視差検出部２により取得した視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。遮蔽領域変換部４は、遮蔽領域抽出部３により抽出した遮蔽領域情報Ｄｃに基づいて画像データＤａ及び画像データＤｂに対し処理を行って遮蔽領域部分を除去した遮蔽物除去画像データＤｒを生成する。メモリ５は、ＤＲＡＭ等により成り、画像データＤａや画像データＤｂ、視差検出部２により取得された視差情報Ｄｐ、遮蔽領域抽出部３により抽出された遮蔽領域情報Ｄｃ、遮蔽領域変換部４により変換された遮蔽物除去画像データＤｒ等のデータを一時的に格納する。

次に、遮蔽物除去画像生成部１により互いに異なる視点の複数枚の画像データ、例えば図２（ａ）に示す視点Ａの画像データＤａと同図（ｂ）視点Ｂの画像データＤｂとに基づいて複数の遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する際のデータの流れについて説明する。
図２（ａ）、（ｂ）に示す視点Ａ、Ｂの各画像データＤａ、Ｄｂには、複数の遮蔽物６が主要被写体７の前方に写り込んだ画像データとなっている。この例は、互いに並行でかつ上下方向に複数等間隔に配置された複数の遮蔽物６が主要被写体７と該遮蔽物除去画像生成部１を適用した撮像装置との間に設けられた状態で撮像を行った場合を示している。この遮蔽物６は、例えば柵である。なお、同図（ａ）、（ｂ）に示す遮蔽物６は、一例であって、互いに平行である必要は無く、等間隔に配置されている必要も無く、さらに複数である必要もなく、例えば１本でもよい。又、遮蔽物６は、例えば金網のように互いに交差する複数本の細線のようなものであってもよい。

視点Ａに対して視点Ｂは、その視点位置を異ならしたもので、例えば視点Ａの位置から左右方向（この例では左方向）に移動した位置である。すなわち、視点Ｂは、この例では視点Ａから複数の遮蔽物６の配置方向（上下方向）に対して垂直方向（左右方向）に移動した位置である。視点Ａと視点Ｂとは、例えば遮蔽物６の形状に応じて撮像装置の位置をそのままにして、その撮像装置の配置角度を変えることにより得てもよい。

なお、複数の遮蔽物６は、上下方向に配置されるに限らず、左右方向又は傾斜方向に配置されるものもある。このような場合、視点Ｂは、視点Ａから複数の遮蔽物６の配置方向（左右方向又は傾斜方向）に対して垂直方向に移動した位置に配置されることが望ましい。

視差検出部２は、メモリ５から視点Ａの画像データＤａと視点Ｂの画像データＤｂとを取得し、これら画像データＤａと画像データＤｂとの画像間の視差を検出する。具体的に視差検出部２は、例えば、公知のブロックマッチング演算を用いて画像データＤａと画像データＤｂとの間の視差を検出する。視差検出部２は、ブロックマッチング演算を実施した結果、例えば、図２（ａ）に示すＡ−１領域と同図（ｂ）に示すＢ−１領域とが対応していることを検出すると、これらＡ−１領域の座標とＢ−１領域の座標との差分を求め、この座標の差分を視差として出力する。又、視差検出部２は、ブロックマッチング演算を実施した結果、例えば、図２（ａ）に示すＡ−２領域と同図（ｂ）に示すＢ−２領域とにおいても上記同様に、これらＡ−２領域とＢ−２領域とが対応していることを検出すると、これらＡ−２領域の座標とＢ−２領域の座標との差分を求め、この座標の差分を視差として出力する。

しかるに、視差検出部２は、視点の異なる２つの画像データ間、例えば各画像データＤａ、Ｄｂの対応関係すなわち相関を求め、これら画像データＤａ、Ｄｂ間で対応する各領域毎の座標の差分を視差として求め、この視差情報Ｄｐをメモリ５に格納する。なお、視差情報Ｄｐは、各画像データＤａ、Ｄｂの全画素に対して求めることも可能であるが、演算時間短縮の為、画素数を減らして算出することも可能である。

次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域を抽出する。具体的に遮蔽領域抽出部３は、例えば、２つの画像データＤａ、Ｄｂにおいて、視差の大きい画素には遮蔽物を示す領域として例えば「０」を割り当て、視差の小さい画素には主要被写体７を示すものとして例えば「１」を割り当てるような二値化を行い、この二値化の結果を遮蔽領域情報Ｄｃとしてメモリ５に格納する。

ここで、二値化の閾値は、ユーザが任意に設定できるようにしてもよいし、２つの画像データＤａ、Ｄｂ等の画面全体の視差分布から自動的に求められるようにしてもよい。なお、図２（ａ）、（ｂ）に示す例では、Ａ−１領域とＢ−１領域との間は、視差（座標の差分）が大きく、Ａ−２領域とＢ−２領域との間は、視差（座標の差分）が小さい。これにより、遮蔽領域抽出部３は、Ａ−１領域を遮蔽物６と認識し、Ａ−２領域を主要被写体７と認識する。

次に、遮蔽領域変換部４は、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとに基づいて遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。
具体的に遮蔽領域変換部４は、先ず、遮蔽領域情報Ｄｃに基づいて視点Ａの画像データＤａを主要被写体７の領域と遮蔽物６の領域とに分割する。次に、遮蔽領域変換部４は、主要被写体７の領域と遮蔽物６の領域とに対してそれぞれ異なる処理を施して合成する。これら異なる処理は、例えば、主要被写体７の領域と判断された部分に対して視点Ａの画像データを用い、遮蔽物６の領域と判断された部分に対して視点Ｂの画像データを用いて合成する。これにより、視点Ａの画像データ中で遮蔽物６によって遮蔽されて見えなかった部分を、視点Ｂの画像データにより補うことが可能となる。しかるに、遮蔽領域変換部４は、視点Ａの画像データ中で遮蔽物６によって遮蔽されて見えなかった部分を視点Ｂの画像データにより補うような遮蔽領域の変換処理を行い、この遮蔽領域の変換処理を行った画像データを遮蔽物除去画像データＤｒとしてメモリ５に格納する。図３は遮蔽物除去画像データＤｒの一例を示す。

このような遮蔽物除去画像生成部１であれば、視点の異なる複数の画像データ間、例えば視点Ａからの撮影により取得された画像データＤａと視点Ｂからの撮影により取得された画像データＤｂとの視差情報Ｄｐを取得し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出し、この遮蔽領域情報Ｄｃに基づいて処理を行って遮蔽領域部分を除去した遮蔽物除去画像データＤｒに変換する。これにより、異なる視点の複数の画像データに基づいて遮蔽物６を除去した遮蔽物除去画像データＤｒを得ることができる。例えば、遮蔽物除去画像生成部１に図２（ａ）、（ｂ）に示すような異なる視点の複数の画像データＤａ、Ｄｂを入力すれば、図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを得ることができる。

次に、遮蔽物除去画像生成部１を適用した撮像装置の全体について説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。
図４は上記図１に示す遮蔽物除去画像生成部１を適用した撮像装置の構成図を示す。この撮像装置には、レンズや絞り等の光学系１０が備えられている。この光学系１０を通った主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、固体撮像素子（ＣＣＤ）又はＣＭＯＳイメージセンサ等から成り、入射した光像を画像データに変換する。なお、光学系１０及び撮像素子１１から成る撮像手段として単眼カメラを用いることが可能である。

画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行う。この画像処理部１２は、メモリ５に接続されている。この画像処理部１２は、画像処理して取得した画像データ、例えば上記視点Ａからの撮影により取得された画像データＤａと上記視点Ｂからの撮影により取得された画像データＤｂとをメモリ５に格納する。

メモリ５には、遮蔽物除去画像生成部１が接続されると共に、記憶部１４と、表示効果部１５とが接続されている。遮蔽物除去画像生成部１は、上記同様に、視差検出部２と、遮蔽領域抽出部３と、遮蔽領域変換部４とを有する。
記憶部１４は、記録画像データとして例えば視点Ａからの撮影により取得された画像データＤａや、視点Ｂからの撮影により取得された画像データＤｂ、遮蔽物を除去した遮蔽物除去画像データＤｒ等の記録すべき記録画像データを格納する。この記憶部１４は、例えば、ＸＤカードやＳＤカード、ＣＦカード等に代表される記録メディアカードである。
表示効果部１５は、複数の画像データが互いに透過状態となる表示用画像データ、例えば視点Ａからの撮影により取得された画像データＤａと視点Ｂからの撮影により取得された画像データＤｂとを重ね合わせて互いに透過状態となる表示用画像データとしての半透明画像データを生成する。この表示効果部１５には、表示制御部１６が接続されている。なお、後述するように、ライブビュー画像の表示を行う場合には、表示効果部１５は、メモリ５からの画像データＤａをそのまま表示制御部１６へ出力する。
表示制御部１６には、例えば薄膜トランジスタ（ＴＦＴ）液晶ディスプレイ等の表示デバイス１７が接続されている。この表示制御部１６は、表示デバイス１７のタイミングに従って、例えば表示効果部１５により生成された表示用画像データとしての半透明画像データ又は表示効果部１５からそのまま出力されてきたメモリ５からの画像データを表示デバイス１７に出力する。

制御部１３には、レリーズボタン１８が接続されている。レリーズボタン１８は、ユーザによって押し操作されたときのレリーズタイミングを制御部１３に通知する。この制御部１３は、レリーズボタン１８が押し操作されたことを検出すると共に、撮像装置全体の動作を例えばコントロールする。なお、制御部１３は、撮像装置全体の動作をコントロールするので、図４中に光学系１０や撮像素子１１、画像処理部１２、遮蔽物除去画像生成部１、記憶部１４、表示効果部１５、表示制御部１６、表示デバイス１７との間に矢印を付すべきであるが、図面が煩雑化することから省略する。

次に、上記の如く構成された撮像装置の動作について図５に示す撮像動作フローチャートに従って説明する。
例えば図示しないメニューボタン操作に応じたメニュー選択等のユーザの所定の操作より遮蔽物除去モードが選択されると、制御部１３は、ステップＳ５０１において、例えば図２（ａ）に示すような視点Ａにおける主要被写体７を含むライブビュー画像の表示デバイス１７への表示を実行させる。すなわち、光学系１０を通った主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、入射した光像を画像データに変換する。画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データ、例えば上記視点Ａの画像データＤａをメモリ５に格納する。

表示制御部１６は、メモリ５から所定のタイミングで画像データＤａを取得し、表示デバイス１７に送る。これにより、表示デバイス１７には、視点Ａからの主要被写体７を含む画像が表示される。この表示デバイス１７に表示される視点Ａからの主要被写体７を含む画像は、後述するように主要被写体７を含む状況をリアルタイムに表示するライブビュー画像になる。なお、表示効果部１５は、本ステップＳ５０１において、メモリ５からの画像データＤａをそのまま表示制御部１６へ出力するものとする。

表示デバイス１７への視点Ａからの主要被写体７を含む画像の表示がステップＳ５０１において完了すると、制御部１３は、ステップＳ５０２に移り、視点Ａの画像データＤａの撮影指示待ちの状態になる。すなわち、制御部１３は、当該ステップＳ５０２において、ユーザによってレリーズボタン１８が押印されたか否かを判断する。この判断の結果、ユーザによるレリーズボタン１８の押印を検出すると、制御部１３は、ステップＳ５０３に移り、撮像装置の各部に視点Ａの画像データＤａの撮影及びその記録を実行させる。

すなわち、光学系１０を通った視点Ａの主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、入射した光像を画像データに変換する。画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データ、例えば視点Ａの画像データＤａとしてメモリ５に格納する。又、視点Ａの画像データＤａは、記憶部１４にも格納される。なお、視点Ａの画像データＤａは、例えばＪＰＥＧ等の静止画圧縮処理を施した後に記憶部１４に格納してもよい。

一方、所定時間内にレリーズボタン１８の押印を検出しなければ、制御部１３は、ステップＳ５０１に戻る。これにより、新たに撮像素子１１に入射された視点Ａの主要被写体７を含む光像の画像データＤａは、上記同様に、画像処理部１２により画像処理され、メモリ５などを経由して表示デバイス１７に表示更新される。しかるに、レリーズボタン１８の押印を検出しなければ、制御部１３は、各ステップＳ５０１、Ｓ５０２を繰り返すことで、撮像素子１１は視点Ａの主要被写体７を含む光像の撮影を行い続け、かつ表示デバイス１７は視点Ａの主要被写体７を含む光像の画像データＤａの更新を行い続ける。これにより、表示デバイス１７には、視点Ａの主要被写体７を含む状況がリアルタイムに表示される。このとき、撮像素子１１により撮影される画像は、視点Ａにおけるライブビュー画像、若しくは視点Ａの候補画像と呼ぶ。

視点Ａの画像データＤａの撮影及び記録が終了すると、ユーザは、好適には、視点Ａとは異なる視点Ｂで撮影を行うように撮像装置の位置や主要被写体７に対する撮影方向を変更する。

次に、制御部１３は、ステップＳ５０４において、視点Ａの画像データＤａと視点Ｂのライブビュー画像とを互いに半透明な画像状態として重ね合わせ、次のステップＳ５０５において、重ね合わせた結果を表示デバイス１７に表示させる。

すなわち、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、入射した光像を画像データに変換する。画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データを、例えば視点Ｂの主要被写体７を含む画像データＤｂとしてメモリ５に格納する。ここで、上記ステップＳ５０３において視点Ａの画像データＤａをメモリ５及び記憶部１４に格納及び記憶した後は、メモリ５における視点Ａの画像データＤａが上書きされることがないように、視点Ｂの画像データＤｂは別の記憶エリアに格納する。なお、視点Ｂからの主要被写体７を含む画像データＤｂは、視点Ｂの候補画像データと呼ぶ。このとき、撮像素子１１は、視点Ｂの主要被写体７を含む光像の撮影を行い続けるので、メモリ５に格納される視点Ｂからの主要被写体７を含む視点Ｂの候補画像データＤｂは、リアルタイムに更新される視点Ｂにおけるライブビュー画像データとなる。

このように視点Ｂにおけるライブビュー画像データを取得しているとき、表示効果部１５は、ステップＳ５０４において、視点Ａの画像データＤａと、視点Ｂのライブビュー画像データとを互いに半透明で重ね合わせた半透明の画像データを生成する。この半透明画像データを生成する手法は、例えば、式（１）に示すようなアルファ・ブレンディング法を一般的に良く用いる。このアルファ・ブレンディング法は、係数αの値を変えることで、２つの画像データ、例えば視点Ａの画像データＤａと視点Ｂのライブビュー画像との混ぜ合わせ比率を調整することができる。

本実施の形態において、視点Ａの画像データを（Ｒ１，Ｇ１，Ｂ１）とし、視点Ｂのライブビュー画像を（Ｒ２，Ｇ２，Ｂ２）とし、取得する半透明画像を（Ｒ’，Ｇ’，Ｂ’）とし、混ぜ合わせ比率をαとして、下記の式（１）に代入することで、半透明画像データを生成することが可能となる。なお、色空間をＲＧＢではなく、ＹＣｂＣｒで表現する場合は、下記の式（２）を用いて半透明画像データ（Ｙ’，Ｃｂ’，Ｃｒ’）を生成しても同様の効果を得ることができるが、本撮像装置は、色空間の表現方法に限定されるものではなく、適宜変形可能である。

Ｒ’＝Ｒ１×（１−α）＋Ｒ２×α
Ｇ’＝Ｇ１×（１−α）＋Ｇ２×α
Ｂ’＝Ｂ１×（１−α）＋Ｂ２×α
但し、（０≦α≦１） …（１）
Ｙ’＝Ｙ１×（１−α）＋Ｙ２×α
Ｃｂ’＝Ｃｂ１×（１−α）＋Ｃｂ２×α
Ｃｒ’＝Ｃｒ１×（１−α）＋Ｃｒ２×α
但し、（０≦α≦１） …（２）
又、視点Ａの画像データと視点Ｂのライブビュー画像データとを半透明処理する前に、視点Ａの画像データ又は視点Ｂのライブビュー画像データのうちいずれか一方にモノクローム処理やセピア処理を施し、この後に、半透明処理を行ってもよい。この場合、単に半透明処理を行う場合と比較して、ユーザは、どちらが視点Ａの画像データで、どちらが視点Ｂのライブビュー画像データであるのかを認識しやすいという利点がある。

半透明画像データの生成処理が終了すると、制御部１３は、ステップＳ５０５において、表示制御部１６によって半透明画像データを表示デバイス１７に表示させる。これにより、表示デバイス１７には、視点Ａの画像データＤａと、視点Ｂのライブビュー画像データとを互いに半透明で重ね合わせた半透明画像データが表示される。

この表示デバイス１７への半透明画像データの表示が終了すると、制御部１３は、ステップＳ５０６に移り、視点Ｂの画像データの撮影指示待ち状態になる。
ここで、視点Ｂの画像データを撮影するためのレリーズボタン１８が所定時間内に押印されなければ、制御部１３は、ステップＳ５０４〜Ｓ５０６の動作を各部に繰り返し実行させ、視点Ａの画像データＤａと視点Ｂのライブビュー画像とを半透明で重ね合わせた半透明画像データを表示デバイス１７に表示し続ける。このとき、視点Ｂのライブビュー画像（視点Ｂの候補画像）は、時間の経過と共に変化するので、半透明画像データも更新し続けることになる。
しかるに、既に撮影済の視点Ａの画像データＤａと視点Ｂのライブビュー画像とが半透明で重なった状態で表示デバイス１７に更新され表示続けられるので、ユーザは、視点Ａの画像データＤａを見ながら視点Ｂのライブビュー画像を見ることにより、視点Ｂの画像の構図を決定することが可能になる。これにより、最適な視点Ｂの画像の構図を決定した状態で、視点Ｂの画像の撮影を実行することが可能になる。ここで、最適な視点Ｂの画像の構図とは、視点Ａの画像データＤａと視点Ｂのライブビュー画像との間において、主要被写体７のずれが少なく、かつ遮蔽物６が重ならないような構図である。つまり、主要被写体７の視差を小さくし、遮蔽物６の視差を大きくするような構図である。

最適な視点Ｂの画像の構図が決定したときに、レリーズボタン１８が押印されると、制御部１３は、ステップＳ５０７〜Ｓ５０９を実行し、例えば上記図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成するための制御を行う。すなわち、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、入射した光像を画像データに変換する。画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データ、例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。

次に、視差検出部２は、ステップＳ５０７において、メモリ５から視点Ａの画像データＤａと視点Ｂの画像データＤｂとを取得し、これら画像データＤａと画像データＤｂとの画像間の相関を求め、これら画像データＤａ、Ｄｂ間で対応する各領域毎の座標の差分を視差として求め、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域を抽出する。具体的に遮蔽領域抽出部３は、例えば、２つの画像データＤａ、Ｄｂにおいて、視差の大きい画素に遮蔽物を示す領域として例えば「０」を割り当て、視差の小さい画素に主要被写体７を示すものとして例えば「１」を割り当てるような二値化を行い、この二値化の結果を遮蔽領域情報Ｄｃとしてメモリ５に格納する。

次に、遮蔽領域変換部４は、ステップＳ５０８において、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。
この後、遮蔽領域変換部４は、ステップＳ５０９において、遮蔽物除去画像データＤｒを記憶部１４に格納する。このとき、記憶部１４に格納する前に、遮蔽物除去画像データＤｒを例えばＪＰＥＧ等の画像圧縮を施して記憶部１４に格納してもよい。

このように上記第１の実施の形態によれば、視点の異なる複数の画像データ間、例えば視点Ａからの撮影により取得された画像データＤａと視点Ｂからの撮影により取得された画像データＤｂとの視差情報Ｄｐを取得し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出し、この遮蔽領域情報Ｄｃに基づいて処理を行って遮蔽領域部分を除去した遮蔽物除去画像データＤｒに変換する。これにより、視点の異なる複数の画像データに基づいて遮蔽物６を除去した遮蔽物除去画像データＤｒを生成することが可能になる。特に、遮蔽物６が静止状態であっても当該遮蔽物６を除去することが可能である。

視差の大きさの違いを利用して遮蔽物６を除去するので、ユーザが２枚の画像を撮影する際に、好適には、主要被写体７の視差を小さくし、遮蔽物６の視差を大きくするように画像の構図を決定すれば、遮蔽物６を確実に除去したより良い遮蔽物除去画像データＤｒを得ることができる。

特に、１枚目に撮影した画像、例えば視点Ａの画像データＤａと、これから撮影しようとしている２枚目の画像、例えば視点Ｂの候補画像データとが半透明に重なった状態で表示デバイス１７に表示されるので、ユーザは、視点Ａの画像データＤａと視点Ｂの候補画像データとの重なりを見ることにより視差を確認しながら２枚目の画像の構図を決定することが可能になる。これにより、ユーザにとって使い勝手の良い撮像装置を提供することが可能となる。

なお、上記図５に示す撮像動作フローチャートを用いた説明では、説明を簡略化する為に各処理をステップ毎に区切り、ステップの処理が終了してから次のステップに移行するように説明したが、実際には、例えば時間的に連続する前後の各ステップで同時に処理を実行することも可能である。例えば、視点Ａの画像データＤａと視点Ｂのライブビュー画像とを半透明で重ね合わせるステップＳ５０４と、重ね合わせた結果を表示デバイス１７に表示するステップＳ５０５とは、ステップＳ５０４の完了後にステップＳ５０５を実行するように説明したが、実際には、ステップＳ５０４とステップＳ５０５とは、ステップＳ５０４において視点Ａの画像データＤａと視点Ｂのライブビュー画像との重ね合せの処理が終了した各画素から順次ステップＳ５０５に移って重ね合わせた結果の各画素を表示デバイス１７に表示してもよい。これによりステップＳ５０４とステップＳ５０５とは、略同時に実行することが可能である。

又、重ね合わせた結果を表示デバイス１７に表示するステップＳ５０５と視点Ｂの画像の撮影待ちを行うステップＳ５０６とに関しても必ずしも重ね合わせた結果の表示が終了してからレリーズボタン１８の検出を実施する必要はなく、同時に実行することが可能である。ステップＳ５０５における重ね合わせた結果の表示中に、ステップＳ５０６のレリーズボタン１８の押し操作の検出を行った場合は、直ちにステップＳ５０７の処理を実行することで、レリーズタイムラグを短縮することも可能である。

上記実施の形態は、視点の異なる２つの画像データに基づいて遮蔽物除去処理を行う例について説明したが、これに限らず、複数の画像データ、例えば３つの画像データに基づいて遮蔽物除去処理を行うことも可能である。この場合、先ず、視点の異なる１枚目と２枚目との２つの画像データに基づいて第１の遮蔽物除去画像データを生成する。次に、第１の遮蔽物除去画像データとライブビュー画像データとを重ね合わせて半透明の表示を行う。次に、３枚目の撮影を実施して３枚目の画像データを取得する。次に、最初の第１の遮蔽物除去画像データと３枚目の画像データとに基づいて遮蔽物除去処理を行って最終的な第２の遮蔽物除去画像データを生成する。

又、遮蔽物除去画像データの生成は、次の通りでもよい。先ず、１枚目の画像データと２枚目のライブビュー画像とを重ね合わせて表示デバイス１７に半透明な状態で表示する。次に、２枚目の画像の撮影を行ってその画像データを取得する。次に、１枚目の画像データと３枚目のライブビュー画像とを重ね合わせて表示デバイス１７に半透明な状態で表示する。次に、３枚目の画像の撮影を行う。最後に、１枚目と２枚目と３枚目の各画像データに基づいて遮蔽物除去処理を行って最終的な遮蔽物除去画像データを生成することも可能である。なお、４枚以上の画像データを使った場合でも遮蔽物除去画像データを生成することが可能なことは言うまでもない。

次に、上記第１の実施の形態の変形例について説明する。なお、撮像装置の構成は、図４に示す構成と同一であるので、当該図４を援用して説明する。又、上記図５に示す撮像動作フローチャートと同一ステップには同一ステップの符号を付してその詳しい説明は省略する。
図６は撮像動作フローチャートを示す。この撮像動作フローチャートは、例えば視点Ａの画像データが予め記憶部１４に格納されている状態で、障害物除去モードに移行した場合を示す。
記憶部１４には、予め記録画像データとして例えば視点Ａで撮影された画像データＤａが記憶されている。
ユーザの所定の操作より遮蔽物除去モードが選択されると、画像処理部１２は、ステップＳ６０１において、制御部１３の制御により記憶部１４から記録画像データとして例えば視点Ａで撮影された画像データＤａを取得し、メモリ５に視点Ａの画像データとして展開する。このとき、展開する画像データは、最後に撮影されて記憶部１４に記録された記録画像データであっても良いし、ユーザが任意の記録画像データを選択できるようにしても構わない。
次に、上記同様に、表示効果部１５は、上記ステップＳ５０４において、視点Ａの画像データＤａと、視点Ｂのライブビュー画像とを重ね合わせて互いに半透明の画像データを生成する。

次に、表示制御部１６は、ステップＳ５０５において、半透明画像データを表示デバイス１７に表示する。この表示デバイス１７への半透明画像データの表示が終了すると、制御部１３は、ステップＳ５０６に移り、視点Ｂの画像データの撮影指示待ち状態になる。
次に、制御部１３は、ステップＳ５０６において、レリーズボタン１８が押印されたことを検出すると、上記同様に、ステップＳ５０７〜Ｓ５０９を実行し、例えば上記図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成するための制御を行う。すなわち、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１によって画像データに変換され、画像処理部１２は、撮像素子１１から出力された画像データに対して画像処理を行って例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。

次に、視差検出部２は、ステップＳ５０７において、メモリ５から視点Ａの画像データＤａと視点Ｂの画像データＤｂとを取得し、これら画像データＤａと画像データＤｂとの画像間の相関を求め、これら画像データＤａ、Ｄｂ間で対応する各領域毎の座標の差分を視差として求め、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。
次に、遮蔽領域変換部４は、ステップＳ５０８において、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。
この後、遮蔽領域変換部４は、ステップＳ５０９において、遮蔽物除去画像データＤｒを記憶部１４に格納する。

このように上記変形例によれば、既に撮影が行われて記憶部１４に格納されている例えば視点Ａの画像データＤａを読み出し、この視点Ａの画像データＤａと例えば視点Ｂやその他の新たな視点からの撮影により取得された画像データＤｂとの視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出し、この遮蔽領域情報Ｄｃに基づいて遮蔽物除去画像データＤｒを生成する。これにより、既に撮影が行われて記憶部１４に格納されている例えば視点Ａの画像データＤａに対しても新たな視点から撮影を行って取得された画像データを追加で撮影することでも遮蔽物６を除去した遮蔽物除去画像データＤｒを生成できる。

この場合も、上記同様に、表示効果部１５によって視点Ａの画像データＤａと新たな視点から撮影を行おうとしているときのライブビュー画像とを用いて半透明の画像データを生成して表示デバイス１７に表示するので、ユーザは、視差を確認しながら２枚目の画像の構図を決定することが可能であり、ユーザにとって使い勝手の良いものとなる。

このように例えば視点Ａの画像データＤａに対しても新たな視点から撮影を行って取得された画像データを追加で撮影する場合、視点Ａの画像データＤａを撮影するときの１枚目の撮影条件と、追加で撮影するときの２枚目の撮影条件とを同一にすることが望ましい。ここでの撮影条件は、例えば絞り、ＩＳＯ感度、シャッタ速度、ホワイトバランスゲイン値、ズーム位置、フォーカス位置、フラッシュの有無等、撮像装置により使用される撮影パラメータを示す。例えば、１枚目の撮影画像を記録するときに例えば記録画像の一部にヘッダ情報として当該撮影条件を記録することが可能であり、２枚目の撮影を行う前に、ヘッダ情報を解析することで、１枚目の撮影条件を取得することが可能になる。これにより、撮影条件を合わせた撮影が可能となる。室内での撮影のように照明により発生するフリッカの影響を受ける環境下では、被写体の明るさそのものが変化するので、フリッカを検出した場合は、敢えて撮影条件を合わせないことも可能である。

次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図４に示す部分と同一部分には、同一符号を付してその詳しい説明は省略する。又、上記図５に示す撮像動作フローチャートと同一ステップには同一ステップの符号を付してその詳しい説明は省略する。
図７は遮蔽物除去画像生成部１を適用した撮像装置の構成図を示す。本装置は、上記第１の実施の形態の装置から表示効果部１５を除いている。なお、表示効果部１５は、上記第１の実施の形態の装置から除かずに、オン（ＯＮ）−オフ（ＯＦＦ）の切り替えを可能とし、オフ状態にしておいてもよい。
図８は撮像動作フローチャートを示す。この撮像動作フローチャートは、上記図５に示す撮像動作フローチャートから各ステップＳ５０４、Ｓ５０５、Ｓ５０６を除き、かつ各ステップＳ７０１〜Ｓ７０４を追加している。

次に、上記の如く構成された撮像装置の動作について図８に示す撮像動作フローチャートに従って説明する。
ユーザの所定の操作より遮蔽物除去モードが選択されると、制御部１３は、上記同様に、ステップＳ５０１において、例えば図２（ａ）に示すような視点Ａにおける主要被写体７を含むライブビュー画像を表示デバイス１７に表示させる制御を行う。
次に、制御部１３は、ステップＳ５０２に移り、ユーザによってレリーズボタン１８が押印されたか否かを判断する、視点Ａの画像データＤａの撮影指示待ちの状態になる。この判断の結果、ユーザによるレリーズボタン１８の押印を検出すると、制御部１３は、ステップＳ５０３に移り、各部に視点Ａの画像データＤａの撮影及びその記録を実行させる。すなわち、光学系１０を通った視点Ａの主要被写体７を含む光像は、撮像素子１１に入射する。画像処理部１２は、撮像素子１１から出力された画像データを入力して画像処理を行い、この画像処理して取得した画像データ、例えば視点Ａの画像データＤａとして例えばメモリ５に格納する。視点Ａの画像データＤａは、例えばＪＰＥＧ等の静止画圧縮処理を施した後にメモリ５又は記憶部１４に格納する。

次に、ユーザは、好適には、視点Ａとは異なる視点Ｂで撮影を行うように撮像装置の位置や主要被写体７に対する撮影方向を変更する。このとき、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、入射した光像を画像データに変換する。画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データ、例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。このとき、撮像素子１１は、視点Ｂの主要被写体７を含む光像の撮影を行い続けるので、メモリ５に格納される視点Ｂからの主要被写体７を含む視点Ｂの候補画像データＤｂは、リアルタイムに更新される視点Ｂにおけるライブビュー画像データとなる。

視差検出部２は、ステップＳ７０１において、メモリ５から視点Ａの画像データＤａと視点Ｂのライブビュー画像とを取得し、これら視点Ａの画像データＤａと視点Ｂのライブビュー画像との画像間の視差を検出し、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、ステップＳ７０２において、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。
次に、遮蔽領域変換部４は、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂのライブビュー画像とを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂのライブビュー画像とに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。この遮蔽物除去画像データＤｒは、例えばメモリ５に格納される。
次に、表示制御部１６は、ステップＳ７０３において、メモリ５から遮蔽物除去画像データＤｒを読み出し、この遮蔽物除去画像データＤｒを表示デバイス１７に表示する。
次に、制御部１３は、ステップＳ７０４において、レリーズボタン１８が押印されたか否かを検出する。所定時間内にレリーズボタン１８の押印が検出されなければ、制御部１３は、上記各ステップＳ７０１〜Ｓ７０４の実行を繰り返す。

このとき、視点Ｂのライブビュー画像（視点Ｂの候補画像）は、時間の経過と共に変化するので、遮蔽物６を除去した遮蔽物除去画像データＤｒは、リアルタイムで更新されながら表示デバイス１７に連続して表示される。しかるに、視点Ｂのライブビュー画像を用いて視点Ａの画像データから遮蔽物６を除去した画像が表示デバイス１７上で更新され続けて表示される。

これにより、ユーザは、レリーズボタン１８を押印する前に、表示デバイス１７に連続して表示される遮蔽物６を除去した遮蔽物除去画像データＤｒを見ることにより遮蔽物除去効果を確認することができる。そして、当該効果を確認した上で、主要被写体を含む画像の最適な構図を決定し、視点Ｂの画像データの撮影を実行することが可能になる。

次に、制御部１３は、ステップＳ７０４において、レリーズボタン１８が押印されたことを検出すると、上記同様に、ステップＳ５０７〜Ｓ５０９を実行し、例えば上記図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成するための制御を行う。すなわち、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１によって画像データに変換され、画像処理部１２は、撮像素子１１から出力された画像データに対して画像処理を行って例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。

次に、視差検出部２は、ステップＳ５０７において、メモリ５から視点Ａの画像データＤａと視点Ｂの画像データＤｂとを取得し、これら画像データＤａと画像データＤｂとの画像間の相関を求め、これら画像データＤａ、Ｄｂ間で対応する各領域毎の座標の差分を視差として求め、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。
次に、遮蔽領域変換部４は、ステップＳ５０８において、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。
この後、遮蔽領域変換部４は、ステップＳ５０９において、遮蔽物除去画像データＤｒを記憶部１４に格納する。

このように上記第２の実施の形態によれば、視点Ａの画像データＤａと視点Ｂのライブビュー画像とに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成し、この遮蔽物除去画像データＤｒを表示デバイス１７に表示する。これにより、ユーザは、レリーズボタン１８を押印する前に、表示デバイス１７に表示される遮蔽物６を除去した遮蔽物除去画像データＤｒを見ることによって遮蔽物除去の効果を確認することができる。そして、当該効果を確認した上で、主要被写体を含む画像の最適な構図を決定し、視点Ｂの画像データの撮影を実行することが可能になる。しかるに、ユーザにとって使い勝手の良いものとなる。

なお、上記第２の実施の形態では、制御部１３は、ステップＳ７０４において、レリーズボタン１８が押印されたことを検出すると、次のステップＳ５０７において、視点Ａの画像データＤａと視点Ｂの画像データＤｂとの相関を求め、遮蔽物６を認識し、次のステップＳ５０８において、視点Ａの画像データにおける遮蔽物６による遮蔽部分を視点Ｂの画像データＤｂを用いて補正して遮蔽物６を除去した遮蔽物除去画像データＤｒを生成し、ステップＳ５０９において、遮蔽物除去画像データＤｒを記憶部１４に格納するように各部を制御しているが、これに限らず、レリーズボタン１８が押印されたことを検出すると、ステップＳ７０２において例えばメモリ５に格納され表示デバイス１７に表示されている遮蔽物６を除去した遮蔽物除去画像データＤｒを、そのまま直ちに記憶部１４に格納するように各部を制御してもよい。

次に、本発明の第３の実施の形態について図面を参照して説明する。なお、撮像装置の構成は、図４に示す構成と同一であるので、当該図４を援用して説明する。又、上記図５及び図８に示す撮像動作フローチャートと同一ステップには同一ステップの符号を付してその詳しい説明は省略する。
表示効果部１５は、上記第１の実施形態では、表示用の半透明画像を生成していたが、本実施の形態では、遮蔽領域を強調表示するものとなる。
図９は撮像動作フローチャートを示す。この撮像動作フローチャートは、上記図８に示す撮像動作フローチャートから各ステップＳ７０２、Ｓ７０３を除き、かつ各ステップＳ８０２、Ｓ８０３を追加している。

次に、上記の如く構成された撮像装置の動作について図９に示す撮像動作フローチャートに従って説明する。
ユーザの所定の操作より遮蔽物除去モードが選択されると、制御部１３は、上記同様に、ステップＳ５０１において、例えば図２（ａ）に示すような視点Ａにおける主要被写体７を含むライブビュー画像を表示デバイス１７に表示させる制御を実行する。
次に、制御部１３は、ステップＳ５０２に移り、ユーザによってレリーズボタン１８が押印されたか否かを判断する。すなわち、視点Ａの画像データＤａの撮影指示待ちの状態になる。この判断の結果、ユーザによるレリーズボタン１８の押印を検出すると、制御部１３は、ステップＳ５０３に移り、各部に視点Ａの画像データＤａの撮影及びその記録を実行させる。すなわち、光学系１０を通った視点Ａの主要被写体７を含む光像は、撮像素子１１に入射する。画像処理部１２は、撮像素子１１から出力された画像データを入力して画像処理を行い、この画像処理して取得した画像データ、例えば視点Ａの画像データＤａとして例えばメモリ５に格納する。

次に、ユーザは、好適には、視点Ａとは異なる視点Ｂで撮影を行うように撮像装置の位置や主要被写体７に対する撮影方向を変更する。このとき、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１に入射する。この撮像素子１１は、入射した光像を画像データに変換する。画像処理部１２は、撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データ、例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。このとき、撮像素子１１は、視点Ｂの主要被写体７を含む光像の撮影を行い続けるので、メモリ５に格納される視点Ｂからの主要被写体７を含む視点Ｂの候補画像データＤｂは、リアルタイムに更新される視点Ｂにおけるライブビュー画像データとなる。

次に、視差検出部２は、ステップＳ７０１において、メモリ５から視点Ａの画像データＤａと視点Ｂのライブビュー画像とを取得し、これら視点Ａの画像データＤａと視点Ｂのライブビュー画像との画像間の視差を検出し、この視差情報Ｄｐをメモリ５に格納する。次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。

次に、表示効果部１５は、ステップＳ８０２において、遮蔽領域抽出部３により抽出した遮蔽領域情報Ｄｃに基づいて遮蔽領域に対して表示効果を施した画像、例えば遮蔽領域を強調した画像データを生成する。ここで、表示効果の方法としては、例えば、遮蔽物６として認識された領域を、特定色に置き換えて表示する、又は特定色の表示のオン・オフを所定の周期で繰り返すことにより点滅表示してもよい。この場合、好ましくは、特定色の表示は、例えば赤色等の目立つ色であることが良い。また、特定色の種類を変更設定できるようにしてもよい。特定色の表示のオン・オフの点滅周期も変更設定できるようにしても良い。これにより、遮蔽物６を強調表示することが可能となる。

一方、必ずしも遮蔽物６として認識された領域のみに処理を施す必要はなく、遮蔽物６以外の領域に処理を施すことも可能である。例えば、遮蔽物６以外の領域に例えばモノクローム・セピア処理を施すことで、遮蔽物６をより強調して表示することも可能である。

なお、表示効果部１５は、視点Ｂのライブビュー画像に対して表示効果を施す例について説明したが、これに限らず、例えば視点Ａの画像データＤａに対して表示効果を施しても良い。この場合、表示効果部１５は、視点Ａの画像データＤａと遮蔽領域情報Ｄｃとをメモリ５から取得し、視点Ａの画像データＤａのうち遮蔽領域と判断された領域に対して表示効果を施すことも可能である。
次に、表示制御部１６は、ステップＳ８０３において、例えば遮蔽領域を強調した画像データを表示デバイス１７に表示する。

次に、制御部１３は、ステップＳ７０４において、レリーズボタン１８が押印されたか否かを検出する。レリーズボタン１８の押印が検出されなければ、制御部１３は、上記各ステップＳ７０１、Ｓ８０２、Ｓ８０３、Ｓ７０４の動作を各部に繰り返し実行させる。このとき、視点Ｂのライブビュー画像（視点Ｂの候補画像）は、時間の経過と共に変化するので、例えば遮蔽領域を強調した画像データがリアルタイムで更新されながら表示デバイス１７に連続して表示される。

しかるに、例えば遮蔽領域を強調した画像データが表示デバイス１７上で更新され続けて表示される。これにより、ユーザは、レリーズボタン１８を押印する前に、例えば遮蔽領域を強調した画像データを見ることにより遮蔽物６が認識されているか否かを確認することができる。そして、遮蔽物６が認識されていることを確認した上で、主要被写体を含む画像の最適な構図を決定し、視点Ｂの画像データの撮影を実行することが可能になる。

次に、制御部１３は、ステップＳ７０４においてレリーズボタン１８が押印されたことを検出すると、上記同様に、ステップＳ５０７〜Ｓ５０９を実行し、例えば上記図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成するための制御を行う。すなわち、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１によって画像データに変換され、画像処理部１２は、撮像素子１１から出力された画像データに対して画像処理を行って例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。

次に、視差検出部２は、ステップＳ５０７において、メモリ５から視点Ａの画像データＤａと視点Ｂの画像データＤｂとを取得し、これら画像データＤａと画像データＤｂとの画像間の相関を求め、これら画像データＤａ、Ｄｂ間で対応する各領域毎の座標の差分を視差として求め、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域を抽出する。
次に、遮蔽領域変換部４は、ステップＳ５０８において、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。
この後、遮蔽領域変換部４は、ステップＳ５０９において、遮蔽物除去画像データＤｒを記憶部１４に格納する。

このように上記第３の実施の形態によれば、表示効果部１５によって遮蔽領域に対して表示効果を施した画像、例えば遮蔽領域を強調した画像データを生成する。これにより、ユーザは、２枚目の画像を撮影するためにレリーズボタン１８を押印する前に、遮蔽物６が正しく認識されたかを確認することが可能である。そして、ユーザは、予め遮蔽物６が正しく認識されたかを確認した状態で撮影を行うことができるので、ユーザにとって使い勝手が良くなる。

なお、上記第３の実施の形態では、表示効果部１５により遮蔽領域の強調等の表示効果の処理を施しているが、遮蔽領域の強調等の表示効果の処理は、例えば遮蔽領域変換部４に持たせてもよい。遮蔽領域変換部４は、主要被写体領域と遮蔽領域部分とにそれぞれ異なる処理を施して合成するので、当該遮蔽領域変換部４に多少の機能の変更を加えることで、表示効果処理を行うことも可能となる。

次に、本発明の第４の実施の形態について図面を参照して説明する。なお、撮像装置の構成は、図４に示す構成と同一であるので、当該図４を援用して説明する。又、上記図５及び図８に示す撮像動作フローチャートと同一ステップには同一ステップの符号を付してその詳しい説明は省略する。
図１０は撮像動作フローチャートを示す。この撮像動作フローチャートにおいて、各ステップＳ５０１〜Ｓ５０５、Ｓ５０７〜Ｓ５０９は、上記図５に示す当該各ステップと同一であり、各ステップＳ７０１〜Ｓ７０３は、上記図８に示す当該各ステップと同一であり、ステップＳ９０１は、本実施の形態において追加したステップで、レリーズボタン１８の押印の状況、すなわち全押し又は半押しを検出する。全押しは、レリーズボタン１８が強く押された状態であり、半押しは、レリーズボタン１８が弱く押された状態である。一般的にも半押しで焦点調節を行い、全押しで撮影を行う撮像装置が良く知られている。

次に、上記の如く構成された撮像装置の動作について図１０に示す撮像動作フローチャートに従って説明する。
ユーザの所定の操作より遮蔽物除去モードが選択されると、制御部１３は、上記同様に、ステップＳ５０１において、例えば図２（ａ）に示すような視点Ａにおける主要被写体７を含むライブビュー画像を表示デバイス１７に表示させる制御を実行する。
次に、制御部１３は、ステップＳ５０２において、ユーザの操作によってレリーズボタン１８が押印（この場合は全押し）されたか否かを判断する。すなわち、視点Ａの画像の撮影指示待ちの状態になる。ユーザの操作によりレリーズボタン１８が押印されると、制御部１３は、ステップＳ５０３に移り、各部に視点Ａの画像データＤａの撮影及びその記録を実行させる。

次に、視点Ａの画像データＤａの撮影及び記録が終了すると、ユーザは、好適には、視点Ａとは異なる視点Ｂで撮影を行うように撮像装置の位置や主要被写体７に対する撮影方向を変更する。
次に、制御部１３は、ステップＳ５０４において、視点Ａの画像データＤａと視点Ｂのライブビュー画像とを互いに半透明な画像状態として重ね合わせ、次のステップＳ５０５において、当該重ね合わせた結果を表示デバイス１７に表示させる。

次に、制御部１３は、ステップＳ９０１において、レリーズボタン１８の押印の状況、すなわち全押し又は半押しのいずれか一方がなされた状況であるかを判断する。なお、レリーズボタン１８が押されて無い状態が所定時間続いていれば、制御部１３は、上記各ステップＳ５０４〜Ｓ５０５、Ｓ９０１の動作を各部に繰り返し実行させる。

レリーズボタン１８の押印状況の判断の結果、レリーズボタン１８が全押しされると、制御部１３は、ステップＳ５０７〜Ｓ５０９を実行し、例えば上記図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成するための制御を行う。すなわち、光学系１０を通った視点Ｂの主要被写体７を含む光像は、撮像素子１１によって画像データに変換され、画像処理部１２は、撮像素子１１から出力された画像データに対して画像処理を行って例えば視点Ｂの画像データＤｂとしてメモリ５に格納する。

次に、視差検出部２は、ステップＳ５０７において、メモリ５から視点Ａの画像データＤａと視点Ｂの画像データＤｂとを取得し、これら画像データＤａと画像データＤｂとの画像間の相関を求め、これら画像データＤａ、Ｄｂ間で対応する各領域毎の座標の差分を視差として求め、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。
次に、遮蔽領域変換部４は、ステップＳ５０８において、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂの画像データＤｂとに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。
この後、遮蔽領域変換部４は、ステップＳ５０９において、遮蔽物除去画像データＤｒを記憶部１４に格納する。

一方、レリーズボタン１８の押印状況の判断の結果、レリーズボタン１８が半押しされると、視差検出部２は、ステップＳ７０１において、メモリ５から視点Ａの画像データＤａと視点Ｂのライブビュー画像とを取得し、これら視点Ａの画像データＤａと視点Ｂのライブビュー画像との画像間の視差を検出し、この視差情報Ｄｐをメモリ５に格納する。
次に、遮蔽領域抽出部３は、ステップＳ７０２において、メモリ５から視差情報Ｄｐを読み出し、この視差情報Ｄｐに基づいて遮蔽領域情報Ｄｃを抽出する。
次に、遮蔽領域変換部４は、メモリ５から遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂのライブビュー画像とを読み出し、これら遮蔽領域情報Ｄｃと視点Ａの画像データＤａと視点Ｂのライブビュー画像とに基づいて例えば図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する。この遮蔽物除去画像データＤｒは、例えばメモリ５に格納される。
次に、表示制御部１６は、ステップＳ７０３において、メモリ５から遮蔽物除去画像データＤｒを読み出し、この遮蔽物除去画像データＤｒを表示デバイス１７に表示する。
再び、制御部１３は、ステップＳ９０１において、レリーズボタン１８の押印の状況、すなわち全押し又は半押しのいずれか一方がなされた状況であるかを判断する。なお、レリーズボタン１８が半押しの状態が続いていれば、制御部１３は、上記各ステップＳ７０１〜Ｓ７０３を繰り返し実行させる。
レリーズボタン１８が全押しされると、制御部１３は、上記同様に、各ステップＳ５０７〜ステップＳ５０９を実行し、例えば上記図３に示すような遮蔽物６を除去した遮蔽物除去画像データＤｒを生成するための制御を行う。

このように上記第４の実施の形態によれば、１枚目の視点Ａの画像データと、これから撮影しようとしている視点Ｂのライブビュー画像とに基づいて当該視点Ａの画像データと視点Ｂのライブビュー画像とを半透明状態で重ね合わせて表示デバイス１７に表示し、レリーズボタン１８を半押しすると、遮蔽物６を除去した遮蔽物除去画像データＤｒを表示デバイス１７に表示する。これにより、ユーザは、レリーズボタン１８を押す前に、主要被写体を含む画像の最適な構図を決定でき、レリーズボタン１８を半押しすることにより遮蔽物６の除去効果を確認でき、その後にレリーズボタン１８を全押しすることにより撮影を行うことが可能となる。

なお、本実施の形態は、上記第１と上記第２の実施形態とを組み合わせたものであるが、上記第１と上記第３の実施形態とを組み合わせることも可能である。この場合、上記図１０に示す各ステップＳ７０２〜Ｓ７０３を、上記各ステップＳ８０２〜Ｓ８０３に変更することで実現することができる。又、３種類以上の表示効果を組み合わせることも可能である。

次に、上記第４の実施の形態の変形例について説明する。なお、撮像装置の構成は、図４に示す構成と同一であるので、当該図４を援用して説明する。又、上記図１０に示す撮像動作フローチャートと同一ステップには同一ステップの符号を付してその詳しい説明は省略する。
上記第４の実施の形態は、視点Ａの画像データと視点Ｂのライブビュー画像とを用いていたが、本変形例では、視点Ａの画像データを縮小した縮小画像データと視点Ｂのライブビュー画像を縮小した縮小ライブビュー画像とを用いる。視点Ａの画像データと視点Ｂのライブビュー画像との各縮小は、例えば各画素の間引き処理により行う。

図１１は撮像動作フローチャートを示す。この撮像動作フローチャートにおいて、各ステップＳ１００１〜Ｓ１００８は、本変形例で追加したステップである。

次に、上記の如く構成された撮像装置の動作について図１０に示す撮像動作フローチャートに従って説明する。
ユーザの所定の操作より遮蔽物除去モードが選択されると、制御部１３は、上記同様に、ステップＳ５０１において、例えば図２（ａ）に示すような視点Ａにおける主要被写体７を含むライブビュー画像を表示デバイス１７に表示させる。
次に、制御部１３は、ステップＳ５０２において、ユーザの操作によってレリーズボタン１８が押印（この場合は全押し）されたか否かを判断する。すなわち、視点Ａの画像の撮影待ちの状態になる。ユーザの操作によりレリーズボタン１８が押印されると、制御部１３は、ステップＳ５０３に移り、各部に視点Ａの画像データＤａの撮影及びその記録を実行させる。

次に、画像処理部１２は、ステップＳ１００１において、メモリ５に格納された上記視点Ａの画像データＤａを縮小して縮小画像データを生成し、この縮小画像データをメモリ５に格納する。この画像処理部１２は、メモリ５から読み出した視点Ａの画像データＤａに対して例えば公知のニアレストネイバー、バイリニア、バイキューピック等の方法によって縮小処理を実施することが可能である。

次に、ユーザは、視点Ａとは異なる視点Ｂで撮影を行うように撮像装置の位置や主要被写体７に対する撮影方向を変更する。画像処理部１２は、ステップＳ１００２において、上記同様に、例えば図２（ｂ）に示すような視点Ｂのライブビュー画像を生成する。そして、画像処理部１２は、視点Ｂのライブビュー画像を縮小して視点Ｂの縮小ライブビュー画像データを生成し、この縮小ライブビュー画像データをメモリ５に格納する。この画像処理部１２は、上記同様に、例えば公知のニアレストネイバー、バイリニア、バイキューピック等の方法によって視点Ｂの画像データＤｂの縮小処理を実施することが可能である。
なお、画像処理部１２は、その内部を縮小画像と非縮小画像とを同時に処理できる構成にすれば、上記ステップＳ５０３と上記ステップＳ１００１とを同時に実行することが可能である。
又、視点Ａの画像データを記録する際、公知のサムネイル画像やスクリーンネイル画像のように本画像とは別の縮小画像も併せて記録する場合がある。この場合、視点Ａの画像データのサイズと、他のサムネイル画像やスクリーンネイル画像のような記録に関わる縮小画像のサイズとを同じサイズにすれば、画像処理部１２における演算量を削減することができる。

次に、ステップＳ１００３に移り、表示効果部１５に、視点Ａの縮小画像データと視点Ｂの縮小ライブビュー画像データとを互いに半透明な画像状態として重ね合わせて互いに半透明の画像データを生成させる。
次に、表示制御部１６は、ステップＳ１００４において、上記生成された半透明画像データを表示デバイス１７に表示する。

次に、制御部１３は、ステップＳ９０１において、レリーズボタン１８の押印の状況、すなわち全押し又は半押しのいずれか一方がなされた状況であるかを判断する。なお、レリーズボタン１８が押されて無い状態が所定時間続いていれば、制御部１３は、上記各ステップＳ１００２〜Ｓ１００４、Ｓ９０１を繰り返す。

一方、レリーズボタン１８が半押しされると、制御部１３は、ステップＳ１００５に移り、上記同様に、例えば図２（ｂ）に示すような視点Ｂのライブビュー画像を連続して生成するための制御を行う。そして、画像処理部１２は、視点Ｂのライブビュー画像を縮小して視点Ｂの縮小ライブビュー画像データを生成し、この縮小ライブビュー画像データをメモリ５に格納する。

次に、視差検出部２は、ステップＳ１００６において、視点Ａの縮小画像データと視点Ｂの縮小ライブビュー画像データとの相関を求めて遮蔽物６を認識する。
次に、遮蔽領域抽出部３は、ステップＳ１００７において、視点Ａの縮小画像データにおける遮蔽物６による遮蔽部分を視点Ｂの縮小ライブビュー画像データを用いて補正する。すなわち、当該補正により遮蔽物６を除去した縮小遮蔽物除去画像データＤｒをリアルタイムに連続して更新して生成する。この更新された縮小遮蔽物除去画像データＤｒは、例えばメモリ５に格納される。
次に、表示制御部１６は、ステップＳ１００８において、メモリ５から縮小遮蔽物除去画像データＤｒを読み出し、この縮小遮蔽物除去画像データＤｒをリアルタイムに更新しながら表示デバイス１７に表示する。

再び、制御部１３は、ステップＳ９０１において、レリーズボタン１８の押印の状況、すなわち全押し又は半押しのいずれか一方がなされた状況であるかを判断する。なお、レリーズボタン１８が半押しの状態が続いていれば、制御部１３は、上記各ステップＳ１００５〜Ｓ１００８を繰り返す。
レリーズボタン１８が全押しされると、制御部１３は、上記同様に、各ステップＳ５０７〜ステップＳ５０９を実行し、遮蔽物除去画像データＤｒを記憶部１４に格納させる。

このように上記第４の実施の形態の変形例によれば、視点Ａの画像データＤａを縮小して縮小画像データを生成し、視点Ｂのライブビュー画像を縮小して視点Ｂの縮小ライブビュー画像データを生成し、これら視点Ａの縮小画像データと視点Ｂの縮小ライブビュー画像データとを互いに半透明な画像状態として重ね合わせて表示デバイス１７に表示し、この状態で、レリーズボタン１８が半押しされると、視点Ａの縮小画像データと視点Ｂの縮小ライブビュー画像データとの相関を求めて遮蔽物６を認識し、視点Ａの縮小画像データにおける遮蔽物６による遮蔽部分を視点Ｂの縮小ライブビュー画像データを用いて補正して遮蔽物６を除去した縮小遮蔽物除去画像データＤｒをリアルタイムに連続して更新して生成する。これにより、縮小処理を施さない場合と比べて演算量を減らすことが可能となる。従って、表示のリアルタイム性を損なわず、消費電力を削減可能な撮像装置を提供することが可能となる。

なお、上記変形例の撮像動作フローチャートでは、視点Ａの縮小画像データと視点Ｂの縮小ライブビュー画像データとを互いに半透明な画像状態として重ね合わせて表示する上記各ステップＳ１００３、Ｓ１００６〜Ｓ１００７において縮小画像データを用いているが、遮蔽物６を除去した遮蔽物除去画像データＤｒを生成する上記各ステップＳ５０７〜Ｓ５０８においては縮小画像データでなく等倍の画像データを用いている。これにより、遮蔽物除去画像データＤｒ等の記録画像の画質を保ったままで、演算量を削減することが可能である。

遮蔽物除去画像データＤｒ等の記録画像を生成する各ステップＳ５０７〜Ｓ５０８においても、縮小画像を用いることも可能である。例えば、遮蔽物６を認識するステップＳ５０７に縮小画像データを用い、かつ遮蔽物６の領域を補正するステップＳ５０８において等倍の画像データを用いる。これによっても、さらに演算量を削減することも可能である。

又、以上の説明においては、縮小画像データは、画像処理部１２で生成する例を示したが、撮像素子１１の駆動方法を制御することにより、公知の画素加算読み出しやライン間引き読み出しを行うことで、縮小画像データを生成することも可能である。

次に、本発明の第５の実施の形態について図面を参照して説明する。なお、図４と同一部分には同一符号を付してその詳しい説明は省略する。
図１２は撮像装置の構成図を示す。本装置は、上記第１の実施の形態に、第２の撮像系２００として第２の光学系２０、第２の撮像素子２１、第２の画像処理部２２を追加したものである。なお、光学系１０、撮像素子１１、画像処理部１２は、第１の撮像系１００とし、以下それぞれ第１の光学系１０、第１の撮像素子１１、第１の画像処理部１２と称する。

このような構成であれば、第１の撮像系１００において、第１の光学系１０を通った主要被写体７を含む光像は、第１の撮像素子１１に入射する。この第１の撮像素子１１は、入射した光像を画像データに変換する。第１の画像処理部１２は、第１の撮像素子１１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データを、例えば上記視点Ａの画像データＤａとしてメモリ５に格納する。

一方、第２の撮像系２００において、第２の光学系２０を通った主要被写体７を含む光像は、第２の撮像素子２１に入射する。この第２の撮像素子２１は、入射した光像を画像データに変換する。第２の画像処理部２２は、第２の撮像素子２１から出力された画像データを入力し、この画像データに対して例えばノイズ除去や画像フォーマット変換等の画像処理を行い、この画像処理して取得した画像データを、例えば上記視点Ｂの画像データＤｂとしてメモリ５に格納する。

このように上記第５の実施の形態によれば、第１の撮像系１００と第２の撮像系２００との２系統の撮像系を設けたので、撮像装置を視点Ａの位置から視点Ｂの位置に移動することなく、例えば視点Ａと視点Ｂとの複数の視点の画像データを取得することができる。

そして、上記第１乃至第４の実施の形態と同様に、撮影前に半透明表示や遮蔽物除去画像の表示や遮蔽物強調表示等を行った上で、撮影を行い、遮蔽物除去画像を得ることが可能である。

ここでは、複眼カメラの例として、二眼カメラの例を示したが、三眼カメラや四眼カメラであっても適用可能なことは言うまでもない。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る撮像装置の第１の実施の形態に適用される遮蔽物除去画像生成部の構成図。 同遮蔽物除去画像生成部により用いる各視点の画像データの一例を示す図。 同遮蔽物除去画像生成部により取得された遮蔽物を除去した遮蔽物除去画像データの一例を示す図。 同遮蔽物除去画像生成部を適用した撮像装置の第１の実施の形態を示す全体構成図。 同装置における撮像動作フローチャート。 本発明に係る撮像装置の第１の実施の形態の変形例を説明するための撮像動作フローチャート。 本発明に係る撮像装置の第２の実施の形態を示す全体構成図。 同装置における撮像動作フローチャート。 本発明に係る撮像装置の第３の実施の形態における撮像動作フローチャート。 本発明に係る撮像装置の第４の実施の形態における撮像動作フローチャート。 本発明に係る撮像装置の第４の実施の形態の変形例における撮像動作フローチャート。 本発明に係る撮像装置の第５の実施の形態を示す全体構成図。

符号の説明

１：遮蔽物除去画像生成部、２：視差検出部、３：遮蔽領域抽出部、４：遮蔽領域変換部、５：メモリ、６：遮蔽物、７：主要被写体、１０：（第１の）光学系、１１：（第１の）撮像素子、１２：（第１の）画像処理部、１３：制御部、１４：記憶部、１５：表示効果部、１６：表示制御部、１７：表示デバイス、１８：レリーズボタン、１００：第１の撮像系、２００：第２の撮像系、２０：第２の光学系、２１：第２の撮像素子、２２：第２の画像処理部。

Claims (16)

1. 遮蔽物に遮蔽された主要被写体を複数の視点から撮影する少なくとも１つの撮像手段と、
   前記少なくとも１つの撮像手段の撮影により取得される前記視点の異なる複数の画像データを重ね合わせた表示用画像データを生成する表示用画像生成手段と、
   前記視点の異なる前記複数の画像データに基づいて前記遮蔽物を除去した遮蔽物除去画像データを生成する遮蔽物除去画像生成手段と、
   を具備することを特徴とする撮像装置。
2. 遮蔽物に遮蔽された主要被写体を複数の視点から撮影する少なくとも１つの撮像手段と、
   前記少なくとも１つの撮像手段に撮影指示を通知する撮影指示手段と、
   前記撮影指示手段により前記撮影指示が通知される前に、前記少なくとも１つの撮像手段の撮影により取得される前記視点の異なる複数の画像データを重ね合わせた表示用画像データを生成する表示用画像生成手段と、
   前記表示用画像生成手段で生成された前記表示用画像データをリアルタイムに更新して表示する表示手段と、
   前記撮影指示手段により撮影指示が通知されると、前記視点の異なる前記複数の画像データに基づいて前記遮蔽物を除去した遮蔽物除去画像データを生成する遮蔽物除去画像生成手段と、
   前記遮蔽物除去画像生成手段で生成された前記遮蔽物除去画像データを記録する記録部と、
   を具備することを特徴とする撮像装置。
3. 前記表示用画像生成手段は、前記視点の異なる前記複数の画像データを重畳して当該複数の画像データが互いに透過状態となる前記表示用画像データを生成することを特徴とする請求項１又は２記載の撮像装置。
4. 前記表示用画像生成手段は、前記複数の視点のうち第１の視点からの撮影により取得された第１の視点の画像データと第２の視点からリアルタイムな撮影により取得される第２の視点の撮影候補画像データとに基づいて前記表示用画像データを生成し、
   前記遮蔽物除去画像生成手段は、前記第１の視点の画像データと前記第２の視点の撮影候補画像データとに基づいて前記遮蔽物除去画像データを生成する、
   ことを特徴とする請求項１又は２記載の撮像装置。
5. 前記第１の視点の画像データを予め格納するメモリを有し、
   前記表示用画像生成手段は、前記メモリから前記第１の視点の画像データを読み出し、前記第１の視点の画像データと第２の視点からリアルタイムな撮影により取得される第２の視点の撮影候補画像データとに基づいて前記表示用画像データを生成する、
   ことを特徴とする請求項１又は２記載の撮像装置。
6. 前記遮蔽物除去画像生成手段は、前記視点の異なる前記複数の画像データに基づいて前記遮蔽物により遮蔽される領域を抽出し、当該抽出した遮蔽領域を除去した前記遮蔽物除去画像データを生成することを特徴とする請求項１又は２記載の撮像装置。
7. 前記遮蔽物除去画像生成手段は、前記視点の異なる前記複数の画像データに基づいて前記遮蔽物により遮蔽される領域を抽出し、
   前記表示用画像生成手段は、前記遮蔽物除去画像生成手段により抽出された遮蔽領域に対して強調表示処理を施して前記遮蔽物除去画像データを生成することを特徴とする請求項１又は２記載の撮像装置。
8. 前記表示用画像生成手段は、前記遮蔽領域に対する前記強調表示処理として特定色に置き換える、前記特定色を点滅表示する、又はモノクローム・セピア処理を含む特定の処理を施すことを特徴とする請求項７記載の撮像装置。
9. 前記撮影指示を通知する前に撮影準備指示を通知する撮影準備指示手段を有し、
   前記表示用画像生成手段は、前記撮影準備指示手段から前記撮影準備指示が通知される前後においてそれぞれ異なる前記各表示用画像データの生成に変更する、
   ことを特徴とする請求項１又は２記載の撮像装置。
10. 前記撮影指示手段は、レリーズボタンを有し、当該レリーズボタンに対する全押しにより前記撮影指示を通知し、半押しにより前記撮影準備指示を通知することを特徴とする請求項２又は９記載の撮像装置。
11. 前記表示用画像生成手段は、前記撮影準備指示が通知される前に、前記視点の異なる前記複数の画像データを重畳して当該複数の画像データが互いに透過状態となる前記表示用画像データを生成し、
    前記遮蔽物除去画像生成手段は、前記撮影準備指示が通知された後に、前記視点の異なる前記複数の画像データに基づいて前記遮蔽物により遮蔽される領域を抽出し、当該抽出した遮蔽領域を除去した前記遮蔽物除去画像データを生成する、
    ことを特徴とする請求項９記載の撮像装置。
12. 前記視点の異なる複数の画像データの画素数を減少する画像処理手段を有し、
    前記表示用画像生成手段は、前記画像処理手段により前記画素数の減少した前記複数の画像データを重ね合わせて前記表示用画像データを生成することを特徴とする請求項１又は２記載の撮像装置。
13. 前記視点の異なる複数の画像データの画素数を減少する画像処理部を有し、
    前記表示用画像生成手段は、前記撮影準備指示が通知される前に、前記画像処理手段により前記画素数の減少した前記複数の画像データを重畳して当該複数の画像データが互いに透過状態となる前記表示用画像データを生成し、
    前記遮蔽物除去画像生成手段は、前記撮影準備指示が通知された後に、前記画素数を減少した画像データに基づいて前記遮蔽物により遮蔽される領域を抽出し、当該抽出した遮蔽領域を除去した前記遮蔽物除去画像データを生成する、
    ことを特徴とする請求項９記載の撮像装置。
14. 前記遮蔽物除去画像生成手段は、前記複数の画像データとの画像間の視差の情報を検出する視差検出部と、
    前記視差検出部により検出された前記視差情報に基づいて前記複数の画像データのうちいずれか１つの画像データ中における前記遮蔽物により遮蔽された遮蔽領域を抽出する遮蔽領域抽出部と、
    前記遮蔽領域抽出部により抽出された前記遮蔽領域の情報と前記複数の画像データとに基づいて前記遮蔽物を除去した前記遮蔽物除去画像データを生成する遮蔽領域変換部と、
    を有することを特徴とする請求項１又は２記載の撮像装置。
15. 第１の視点からの撮影により第１の視点の画像データを取得する第１の光学系と、
    第２の視点からの撮影により第２の視点の画像データを取得する第２の光学系と、
    を有し、
    前記表示用画像生成手段は、前記第１の光学系により取得された前記第１の視点の画像データと前記第２の光学系により取得された前記第２の視点の画像データとを重ね合わせた前記表示用画像データを生成する、
    ことを特徴とする請求項１又は２記載の撮像装置。
16. 前記第２の視点は、前記第１の視点から前記遮蔽物の配置方向に対して垂直方向に移動した位置になることを特徴とする請求項４記載の撮像装置。

Images