JP2008281385A - 画像処理装置 - Google Patents

Abstract

【課題】遮蔽物が静止状態であっても遮蔽物を除去可能な画像処理装置を提供すること。
【解決手段】距離計測部３００によって得られた距離画像に対し、被写体検出部４００において撮影時の焦点距離情報から遮蔽物の距離を示す閾値情報を設定し、この閾値に基づいて被写体検出部４００において、基準画像を遮蔽物を含む画像と遮蔽物を含まない画像とに分離する。これら分離した画像において、遮蔽物が存在する画像に対しては遮蔽物を除去する画像処理を画像生成部５００において行う。
【選択図】 図１

Description

本発明は、画像処理装置に関し、特に主要被写体の前方に位置する遮蔽物を除去した画像を生成可能な画像処理装置に関する。

さまざまなシーンで撮影を行うとき、撮像装置と主要被写体との間に遮蔽物が存在していると、撮影時に、主要被写体が遮蔽物に隠れて所望の画像を得ることができないことがある。

これに対し、人や車両等が遮蔽物であれば、その運動視差から背景画像を抽出して遮蔽物を除去する手法が例えば特許文献１において提案されている。この特許文献１の手法では、異なる時刻に撮影された複数の画像を画素毎に比較し、所定時間、変化が検出されなかった画素を背景画像として抽出する。このような処理を監視区域内の全ての画素について行うことにより、遮蔽物が除去された背景のみの画像を生成している。
特開２００１−４３４５８号公報

ここで、特許文献１の手法における遮蔽物の除去は、遮蔽物の運動視差を前提とした手法である。したがって、遮蔽物が静止状態にあって運動視差を得ることができない場合には遮蔽物を除去することができない。

本発明は、かかる事情に鑑みてなされたものであり、遮蔽物が静止状態であっても遮蔽物を除去可能な画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像処理装置は、異なる視点位置で撮像装置により撮影された複数の画像に基づき画素毎に被写体までの距離を計測する距離計測手段と、前記撮像装置が有する光学系の焦点距離を含む所定のパラメータに基づいて、前記撮像装置と主要被写体との間に存在する遮蔽物と前記撮像装置との間の距離を示す閾値情報を設定する閾値設定手段と、前記距離計測手段で計測された距離を前記閾値情報と比較して、前記遮蔽物の画像を除去した画像を生成する画像生成手段とを具備することを特徴とする。

本発明によれば、遮蔽物が静止状態であっても遮蔽物を除去可能な画像処理装置を提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。図１の撮像装置は、撮像部１００及び２００と、距離計測部３００と、被写体検出部４００と、画像生成部５００と、一時記憶部６００と、表示部７００と、記憶部８００と、設定部９００とを有している。

撮像部１００及び２００は、それぞれ、異なる視点位置で被写体を撮像して視点位置毎の複数フレームの画像信号を取得することを目的としたステレオカメラである。撮像部１００は、光学系１０１と、撮像素子１０２と、記憶部１０３とを有し、撮像部２００は、光学系２０１と、撮像素子２０２と、記憶部２０３とを有している。光学系１０１及び２０１は、それぞれ、被写体からの光束を集光して対応する撮像素子に結像させる。撮像素子１０２及び２０２は、それぞれ、光学系１０１及び２０１によって結像されて得られた被写体の像をアナログ電気信号に変換し、更にこのアナログ電気信号をデジタル信号（画像信号）に変換した後で、対応する記憶部に記憶させる。記憶部１０３及び２０３は、それぞれ、撮像素子１０２及び２０２で得られた画像信号を一時記憶する。

距離計測部３００は、撮像部１００及び２００でそれぞれ得られたＮフレーム（Ｎ≧２）の画像信号を用いて、画素単位で被写体までの距離情報を取得する。なお、ここでの被写体とは、主要被写体と背景被写体（主要被写体以外の被写体）の何れも含むものである。以後、距離計測部３００によって画素単位で得られる距離情報の集合を距離画像と称する。

閾値設定手段としての機能を有する被写体検出部４００は、光学系の焦点距離情報から着目被写体が存在する領域を検出するための閾値情報を設定し、この設定した閾値情報と距離計測部３００によって得られた距離画像とを用いて、着目被写体が存在する領域を検出する。ここで、着目被写体とは、詳細は後述する遮蔽物の除去処理において重きがおかれる被写体のことを言うものとする。画像生成部５００は、被写体検出部４００によって抽出された着目被写体の有無を示す領域情報に基づいて所定の画像処理を行う。

なお、距離計測部３００、被写体検出部４００、画像生成部５００の詳細な動作については後で詳しく説明する。

一時記憶部６００は、距離計測部３００、被写体検出部４００、画像生成部５００でそれぞれ処理されるデータを一時記憶する。表示部７００は、各種の画像を表示する。記憶部８００は、画像生成部５００で処理された画像を記憶する。設定部９００は、撮影者が各種の設定を行うための操作部である。

ここで、図１に示す撮像装置は、撮像部を２個備える２眼ステレオカメラの構成であるが、撮像部の数は２個に限定されるものではない。例えば、撮像部を３個以上備える構成や１個以上の撮像部により視点位置を変更しながら撮影を複数回実行する構成等を用いるようにしても良い。

また、図１は、撮像装置の構成であるが、本実施形態は、図２に示すような、画像処理プログラムが実装された処理装置にも適用可能である。図２に示す処理装置は、基本的な構成は図１と同様であるが、撮像部１００及び２００の代わりに、画像入力部１００ａが設けられている点が異なっている。この図２に示す画像入力部１００ａは、異なる視点位置で撮像されて得られた複数フレームの画像信号を取得することを目的とした画像入力部である。この画像入力部１００ａは、複数フレームの画像信号が既に格納されている任意の記憶媒体から構成される。なお、画像入力部１００ａとして、記憶媒体が出力機能を兼備する構成を用いても良いし、記憶部８００の機能の一部に画像入力部１００ａの機能を持たせるようにしても良い。

続いて、図１又は図２の構成における、距離計測から画像生成までの一連の動作について説明する。なお、以後の説明において、撮像部１００、２００と画像入力部１００ａとをまとめて画像入力部と称する。

図３は、距離計測部３００における基本的な動作の流れについて示すフローチャートである。
画像入力部からＮフレームの画像が距離計測部３００に入力されると、距離計測部３００は、Ｎフレームの画像から距離情報を取得する領域を設定する（ステップＳ３０１）。この距離情報取得領域は、例えば撮影者による設定部９００の操作によって設定されるものであっても良いし、距離計測部３００において自動的に設定されるものであっても良い。

距離情報取得領域の設定の後、距離計測部３００は、距離情報取得領域内で、Ｎフレームの画像間の対応点を、例えば画像間の相関量を演算する画像相関法によって算出し、対応点の相関パラメータを一時記憶部６００に記憶させる（ステップＳ３０２）。その後、距離計測部３００は、対応点の相関パラメータに基づいて、画素毎に被写体までの距離情報を算出し（ステップＳ３０３）、これによって得られた距離画像を一時記憶部６００に記憶させる（ステップＳ３０４）。

図４は、被写体検出部４００における基本的な動作の流れについて示すフローチャートである。
まず、被写体検出部４００は、撮影時における焦点距離情報等のパラメータに基づいて距離画像の閾値情報を算出し、設定する（ステップＳ４０１）。ここで、焦点距離情報は撮影時の光学系（光学系１０１及び２０１。以下、単に光学系と称する）の焦点距離情報となる。ただし、撮影前にデジタルズームがなされた場合には、撮影時の光学系の焦点距離情報をデジタルズームの際の変倍率に従って変更する。

閾値情報の設定を受けて、被写体検出部４００は、一時記憶部６００に記憶されている距離画像を読み出して、距離画像の各画素の距離情報を閾値情報に従って二値化する（ステップＳ４０２）。各画素の距離情報を閾値情報で二値化した後、被写体検出部４００は、画素毎の二値情報を一時記憶部６００に記憶させる（ステップＳ４０３）。

図５は、画像生成部５００における基本的な動作の流れについて示すフローチャートである。
まず、画像生成部５００は、一時記憶部６００に記憶されている、被写体検出部４００によって得られた二値情報と画像入力部によって得られた画像とを読み出し、読み出した画像を二値情報に基づいて２つの領域に分離する（ステップＳ５０１）。その後、画像生成部５００は、分離した２つの領域のうち、着目被写体が存在する領域に対して処理αを行い（ステップＳ５０２）、着目被写体が存在しない領域に処理αとは異なる処理βを行う（ステップＳ５０３）。

そして、個々の領域に対応した画像処理が完了した後、画像生成部５００は、個別に処理した画像を統合して１つの画像とし（ステップＳ５０４）、統合後の画像を表示部７００に表示させたり、記憶部８００に記憶させたりといった出力処理を行う（ステップＳ５０５）。

続いて、第１の実施形態の撮像装置の動作について更に説明する。ここで、以下に説明する例においては、画像入力部において取得される画像が、図６（ａ）及び図６（ｂ）に示す２フレームの画像である。ここでは、図６（ａ）の画像が距離画像算出のための画像相関法を実行する際の基準側の画像（基準画像）であり、図６（ｂ）の画像が画像相関法を実行する際の参照側の画像（参照画像）であるとする。

更に、本例において、図６（ａ）及び図６（ｂ）は共に、人物１１が主要被写体であり、人物１１の前方に存在する柵１２が主要被写体の遮蔽物であるという前提に基づいている。そして、基準画像（図６（ａ））と参照画像（図６（ｂ））とを用いて距離画像を算出し、算出した距離画像に基づいて遮蔽物を着目被写体とした被写体検出を行い、基準画像を着目被写体である遮蔽物が存在する領域と存在しない領域とに分離した後に、それぞれの領域に対して異なる画像処理（処理α、処理β）を行うものである。

まず、距離計測部３００において距離情報を取得する。この処理に先立って撮影者は、設定部９００を用いて、基準画像と参照画像を選択し、更に基準画像における距離情報取得領域を設定する。例えば、距離情報取得領域は、図６（ａ）に示す基準画像の全領域とする。この設定操作を受けて、距離計測部３００は、距離情報取得領域内で基準画像と参照画像との相関を求め、求めた相関量から基準画像の距離情報取得領域内における画素毎の被写体距離を算出し、距離画像として一時記憶部６００に記憶させる。このようにして、基準画像の距離情報取得領域内での画素位置（ＸＹ座標）と被写体距離の対応情報が一時記憶部６００に記憶される。

続いて、被写体検出部４００において着目被写体の検出を行う。この処理に先立って撮影者は、設定部９００を用いて柵１２と同じかそれより少し遠くの距離を閾値情報としてみなすように閾値のマージンを設定する。この後、撮像部によるＡＦ制御が行われ、例えば最至近の被写体（ここでは柵１２）付近に合焦されるように光学系のピント位置が調整される。この後、被写体検出部４００は、閾値のマージンと撮影時における撮像部の光学系の焦点距離とから、合焦している被写体（ここでは柵１２）までの距離を算出し、この距離を閾値情報として設定する。即ち、閾値情報は、焦点距離の逆数に光学系の特性に応じた所定の係数を乗じた値として与えられる。

これらの設定操作を受けて、被写体検出部４００は、距離画像と閾値情報に基づいて距離の閾値情報取得領域内にある各画素の被写体距離が所定の距離範囲内にあるかを各画素の距離情報と閾値情報との大小比較より判定する。そして、その判定結果を二値化し、着目被写体（この場合は遮蔽物）の有無を示す二値情報を一時記憶部６００に記憶させる。ここで、閾値情報は、遮蔽物（柵１２）と等しいかそれより少し遠くの距離に設定されているので、被写体距離が閾値以下の場合には主要被写体である人物１１の前に着目被写体である柵１２が存在していることになる。

続いて、画像生成部５００において画像生成処理を行う。この処理において、画像生成部５００は、まず被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つの領域に分離する。上述したように、二値情報は、主要被写体である人物１１の前に遮蔽物である柵１２が存在しているか否かを示す情報である。したがって、この二値情報に基づいて分離した場合、分離後の基準画像は図７（ａ）に示す柵１２及びその前方に存在する被写体を含む画像と、図７（ｂ）に示す柵１２よりも後方に存在する被写体を含む画像とになる。基準画像を分離した後、画像生成部５００は、図７（ａ）に示す着目被写体（柵１２）が存在する遮蔽領域に対して処理αを行う。この例では、処理αとして遮蔽領域内の柵１２の画像信号を欠陥画素とみなし、その欠陥画素の画像信号を同一フレームの周辺の画像信号から補間して求める。これに対し、処理βとして遮蔽物の除去に関する処理は何も行わない。画像処理が完了した後、画像生成部５００は、図７（ａ）の画像と図７（ｂ）の画像とを二値情報に基づいて統合する。即ち、被写体距離が閾値情報以下の画素は図７（ａ）の画像信号を用い、被写体距離が閾値情報を越える画素は図７（ｂ）の画像信号を用いる。画像生成部５００は、このような統合によって図８のようにして得られる画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。

以上説明したように、第１の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、人物１１の撮影の邪魔となっていた、静止している遮蔽物（柵１２）を除去すると共に、除去部分の画像を他の画像信号から補間して、図８のような画像を生成することができる。また、閾値情報の設定等の所定の設定を予め済ませて撮影時に必要な操作を簡素化することで、従来通りの操作での撮影が可能である。これによって、遮蔽物が存在する場面においても、スポーツシーンのような主要被写体を撮影し、遮蔽物を除去した画像を提供することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、装置の構成については第１の実施形態と同様のものを適用することができるが、各ブロックの処理が異なっている。なお、第２の実施形態においては、距離計測部３００、被写体検出部４００、及び画像生成部５００の動作について特に説明する。

以下、第２の実施形態の動作について説明する。まず、距離計測部３００において距離情報を取得する。この処理に先立って撮影者は、設定部９００を用いて、基準画像と参照画像を選択し、これら画像をデジタルズームによって拡大又は縮小するための変倍率を設定する。この操作を受けて距離計測部３００は、基準画像における距離情報取得領域を設定する。例えば、距離情報取得領域は、基準画像から、光学中心基準（光学系の光軸位置に対応する画像内の位置）を中心とし設定部９００によって設定された拡大率に応じて縦横を拡大又は縮小した領域を抽出することにより設定される。距離計測部３００は、距離情報取得領域内で基準画像と参照画像との相関を求め、求めた相関量から基準画像の距離情報取得領域内における画素毎の被写体距離を算出し、距離画像として一時記憶部６００に記憶させる。このようにして、基準画像の距離情報取得領域内での画素位置（ＸＹ座標）と被写体距離の対応情報が一時記憶部６００に記憶される。

続いて、被写体検出部４００において着目被写体の検出を行う。この処理に先立って撮影者は、設定部９００を用いて柵１２と同じかそれより少し遠くの距離を閾値情報としてみなすように閾値のマージンを設定する。この操作を受けて被写体検出部４００は、閾値のマージンと光学系の焦点距離とデジタルズームの変倍率とから柵１２までの距離を算出して距離の閾値情報を設定する。なお、第２の実施形態では、デジタルズームによる変倍を前提としているため、柵１２までの距離を算出するために用いられる焦点距離情報は光学系の焦点距離情報に変倍率を乗じた値を用いる。また、前回設定された焦点距離情報（変倍率を乗じた後のもの）と閾値のマージンを記憶させておき、デジタルズーム操作がなされない場合には、前回設定された焦点距離情報及び閾値のマージンを閾値情報の算出に用いるようにしても良い。これらの設定操作を受けて、被写体検出部４００は、距離画像と閾値情報に基づいて距離の閾値情報取得領域内にある各画素の被写体距離が所定の距離範囲内にあるかを各画素の距離情報と閾値情報との大小比較より判定する。そして、その判定結果を二値化し、着目被写体（この場合は遮蔽物）の有無を示す二値情報を一時記憶部６００に記憶させる。ここで、閾値情報は、遮蔽物（柵１２）と等しいかそれより少し遠くの距離に設定されているので、被写体距離が閾値以下の場合には主要被写体である人物１１の前に着目被写体である柵１２が存在していることになる。

続いて、画像生成部５００において画像生成処理を行う。この処理において、画像生成部５００は、まず被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つの領域に分離する。上述したように、二値情報は、主要被写体である人物１１の前に遮蔽物である柵１２が存在しているか否かを示す情報である。したがって、この二値情報に基づいて分離した場合、分離後の基準画像は柵１２及びその前方に存在する被写体を含む画像と、柵１２よりも後方に存在する被写体を含む画像とになる。基準画像を分離した後、画像生成部５００は、着目被写体（柵１２）が存在する遮蔽領域に対して処理αを行う。この例では、処理αとして遮蔽領域内の柵１２の画像信号を欠陥画素とみなし、その欠陥画素の画像信号を同一フレームの周辺の画像信号から補間して求める。これに対し、処理βとして遮蔽物の除去に関する処理は何も行わない。画像処理が完了した後、画像生成部５００は、被写体距離が閾値情報以下の画像と被写体距離が閾値情報を超える画像とを二値情報に基づいて統合し、統合後に図８のようにして得られる画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。

以上説明したように、第２の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、人物１１の撮影の邪魔となっていた柵１２を除去すると共に、除去した部分の画像信号を他の画像信号から補間して図８のような画像を生成することができる点においては、第１の実施形態と同様の効果を得ることができる。さらに、第２の実施形態では、遮蔽物である柵１２を除去した画像を生成する前にデジタルズームを行った場合でも閾値情報が自動的に設定される。そして、デジタルズームによって画像の拡大又は縮小を行うことで、光学ズームのようなズームレンズの駆動が必要なく、短時間で連続して撮影を行うことも可能である。また、出力時の画角が光学ズーム時と同等である場合に、本手法を用いると、より広角に撮像できるため、遮蔽物が近すぎて合焦できないシーンにおける撮影や広角撮影による主要被写体の追尾を容易に行うことができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、装置の構成については第１の実施形態と同様のものを適用することができる。なお、第３の実施形態においては、距離計測部３００における距離計測から被写体検出部４００における被写体検出までの処理については第１の実施形態と同様であるので説明を省略する。

以下、第３の実施形態の動作について説明する。画像生成部５００においては画像生成処理を行う。この処理において、画像生成部５００は、被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つの領域に分離する。上述したように、二値情報は、主要被写体である人物１１の前に遮蔽物である柵１２が存在しているか否かを示す情報である。したがって、この二値情報に基づいて分離した場合、分離後の基準画像は図７（ａ）に示す柵１２及びその前方に存在する被写体を含む画像と、図７（ｂ）に示す柵１２よりも後方に存在する被写体を含む画像とになる。基準画像を分離した後、画像生成部５００は、図７（ａ）に示す着目被写体（柵１２）が存在する遮蔽領域に対して処理αを行う。この例では、処理αとして遮蔽領域内の柵１２の画像信号を欠陥画素とみなし、その欠陥画素の画像信号を同一フレームの周辺の画像信号から補間して求める。これに対し、処理βとして遮蔽物の除去に関する処理は何も行わない。画像処理が完了した後、画像生成部５００は、図７（ａ）の画像と図７（ｂ）の画像とを二値情報に基づいて統合する。即ち、被写体距離が閾値情報以下の画素は図７（ａ）の画像信号を用い、被写体距離が閾値情報を越える画素は図７（ｂ）の画像信号を用いる。画像生成部５００は、このような統合によって図８のようにして得られる画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。また、画像の拡大や縮小が必要な場合には、再統合した後の画像を画像生成部５００によるデジタルズームによって拡大又は縮小して所望のサイズの画像を得る。

以上説明したように、第３の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、人物１１の撮影の邪魔となっていた柵１２を除去すると共に、除去部分を、その周辺部の画像信号から補間して、図８のような画像を生成することができる点においては第１の実施形態と同様の効果を得ることができる。また、第３の実施形態では画像の拡大又は縮小をデジタルズームによって行うことで、光学ズームのような光学系の駆動が必要なく、短時間で連続して撮影を行うことも可能である。また、出力時の画角が光学ズーム時と同等である場合に、本手法を用いると、より広角に撮像できるため、遮蔽物が近すぎて合焦できないシーンにおける撮影や広角撮影による主要被写体の追尾を容易に行うことができる。さらに、第３の実施形態では、デジタルズームを画像の再統合後に行うことで、画像を再統合するまでの処理動作を基準画像の距離情報取得領域で抽出した少量の画像信号を用いて行うことができ、第２の実施形態に比べて画像を記憶するための記憶領域の節約及び画像生成処理の高速化を図ることができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。第４の実施形態は、装置の構成については第１の実施形態と同様のものを適用することができる。ただし、第４の実施形態の撮像部が有する光学系はズームレンズを含むものである。なお、第４の実施形態においては、距離計測部３００及び被写体検出部４００の動作について特に説明する。

以下、第４の実施形態の動作について説明する。まず、距離計測部３００において距離情報を取得する。この処理に先立って撮影者は、設定部９００を用いて、基準画像と参照画像を選択する。さらに、ズームレンズの位置を設定する光学ズームの操作を行う。この操作を受けて距離計測部３００は、基準画像における距離情報取得領域を設定する。例えば、距離情報取得領域は、図６（ａ）に示す基準画像の全領域とする。この設定操作を受けて、距離計測部３００は、距離情報取得領域内で基準画像と参照画像との相関を求め、求めた相関量から基準画像の距離情報取得領域内における画素毎の被写体距離を算出し、距離画像として一時記憶部６００に記憶させる。このようにして、基準画像の距離情報取得領域内での画素位置（ＸＹ座標）と被写体距離の対応情報が一時記憶部６００に記憶される。

続いて、被写体検出部４００において着目被写体の検出を行う。この処理に先立って撮影者は、設定部９００を用いて柵１２と同じかそれより少し遠くの距離を閾値情報としてみなすように閾値のマージンを設定する。この操作を受けて被写体検出部４００は、閾値のマージンと撮影時における撮像部の光学系の焦点距離とから柵１２までの距離を算出して距離の閾値情報を設定する。ここで、前回設定された焦点距離情報及び閾値のマージンを記憶させておき、光学ズーム操作がなされない場合には、前回設定された焦点距離情報及び閾値のマージンを閾値情報の算出に用いるようにしても良い。これにより、撮影毎に閾値情報を設定する必要がなくなる。これらの設定操作を受けて、被写体検出部４００は、距離画像と閾値情報に基づいて距離の閾値情報取得領域内にある各画素の被写体距離が所定の距離範囲内にあるかを各画素の距離情報と閾値情報との大小比較より判定する。そして、その判定結果を二値化し、着目被写体（この場合は遮蔽物）の有無を示す二値情報を一時記憶部６００に記憶させる。ここで、閾値情報は、遮蔽物（柵１２）と等しいかそれより少し遠くの距離に設定されているので、被写体距離が閾値以下の場合には主要被写体である人物１１の前に着目被写体である柵１２が存在していることになる。

以上説明したように、第４の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、人物１１の撮影の邪魔となっていた遮蔽物（柵１２）を除去すると共に、除去部分の画像を他の画像信号から補間して、図８のような画像を生成することができる。また、第４の実施形態では、光学ズームによって画像の拡大又は縮小を行うことにより、デジタルズームによる拡大又は縮小よりも高精細な画像を生成することができる。

［第５の実施形態］
次に本発明の第５の実施形態について説明する。第５の実施形態は、画像生成部５００における画像生成が行われた後の処理である。

まず、柵１２を除去した画像を生成する前に、撮影者は、設定部９００の操作によって、柵１２を除去した画像が生成された後の画像の出力モードの切り替えを行う。この出力モードは、例えば図８に示す遮蔽物である柵１２を除去した画像と図６（ａ）に示す柵１２を除去する前の基準画像とのどちらか一方を記憶部８００に記憶させるモードと、両方の画像を記憶させるモードとする。

出力モードの設定がなされた後、第１〜第４の実施形態と同様にして、画像取得から画像生成までの一連の処理が行われる。その後、第５の実施形態においては、撮影者によって設定された出力モードに従って図８の画像と図６（ａ）の画像の一方或いは両方が記憶部８００に記憶される。

以上説明したように、第５の実施形態によれば、遮蔽物である柵１２の除去前後の画像の両方を記憶部８００に記憶させるか或いは一方のみを記憶部８００に記憶させるかを選択可能とすることで、例えば撮影者は、柵１２の除去前後の画像を見比べて、画像の仕上がり状態が満足する出来にあるかどうかを判断した後に、撮影者が好ましいと感じるほうの画像を選択することができる。

［第６の実施形態］
次に本発明の第６の実施形態について説明する。第６の実施形態も第５の実施形態と同様に、画像生成部５００における画像生成が行われた後の処理である。

まず、柵１２を除去した画像を生成する前に、撮影者は、設定部９００の操作によって、柵１２を除去した画像が生成された後の画像の出力モードの切り替えを行う。この出力モードは、例えば図８に示す遮蔽物である柵１２を除去した画像と図６（ａ）に示す柵１２を除去する前の基準画像とのどちらか一方を表示部７００に表示させるモードと、両方の画像を表示させるモードとする。

出力モードの設定がなされた後、第１〜第４の実施形態と同様にして、画像取得から画像生成までの一連の処理が行われる。その後、第６の実施形態においては、次に、撮影者によって設定された出力モードに従って図８の画像と図６（ａ）の画像の一方或いは両方が表示部７００に表示される。撮影者は、表示部７００に表示された画像を確認し、設定部９００によって一方の画像を選択する。これを受けて、選択された画像が記憶部８００に記憶される。

以上説明したように、第６の実施形態によれば、遮蔽物である柵１２の除去前後の画像の両方を表示部７００に表示させるか或いは一方のみを表示部７００に表示させるかを選択可能とすることで、例えば撮影者は、柵１２の除去前後の画像を見比べて、画像の仕上がり状態が満足する出来にあるかどうかを判断した後に、撮影者が好ましいと感じるほうの画像を選択することができる。また、設定部９００による選択がなされる前は画像が記憶されないので、柵１２の除去前後の画像を２枚とも記憶させる必要がなく、記憶部８００の容量を節約することが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。 第１の実施形態に係る画像処理装置を備えた処理装置の構成を示す図である。 距離計測部の処理について示すフローチャートである。 被写体検出部の処理について示すフローチャートである。 画像生成部の処理について示すフローチャートである。 異なる視点位置で撮影される画像の例を示す図である。 二値情報によって分離される画像について示す図である。 画像生成部において得られる画像の例を示す図である。

符号の説明

１００，２００…撮像部、１００ａ…画像入力部、３００…距離計測部、４００…被写体検出部、５００…画像生成部、６００…一時記憶部、７００…表示部、８００…記憶部、９００…設定部

Claims (6)

1. 異なる視点位置で撮像装置により撮影された複数の画像に基づき画素毎に被写体までの距離を計測する距離計測手段と、
   前記撮像装置が有する光学系の焦点距離を含む所定のパラメータに基づいて、前記撮像装置と主要被写体との間に存在する遮蔽物と前記撮像装置との間の距離を示す閾値情報を設定する閾値設定手段と、
   前記距離計測手段で計測された距離を前記閾値情報と比較して、前記遮蔽物の画像を除去した画像を生成する画像生成手段と、
   を具備することを特徴とする画像処理装置。
2. 前記画像生成手段における前記遮蔽物の画像を除去した画像の生成に先立って、前記複数の画像の少なくとも何れかを電気的に拡大する画像拡大手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段において生成された前記遮蔽物の画像を除去した画像を電気的に拡大する画像拡大手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像生成手段における画像の生成に先立って、前記撮像装置により撮影される複数の画像を光学的に倍率変更する拡大縮小手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
5. 前記遮蔽物の画像を除去した後の画像と前記遮蔽物の画像を除去する前の画像の両方を記録する記録手段を更に具備することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
6. 前記遮蔽物の画像を除去した後の画像と前記遮蔽物の画像を除去する前の画像の両方を表示する表示手段と、
   前記表示された画像の何れかを選択するための選択手段と、
   前記選択された画像を記録する記録手段と、
   を更に具備することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。

Images