JP2008117305A - 画像処理装置 - Google Patents

Abstract

【課題】遮蔽物が静止状態であっても遮蔽物を除去可能な画像処理装置を提供すること。
【解決手段】距離計測部３００により得られた距離画像に対し、着目被写体である遮蔽物と同じかそれよりも少し遠い距離に閾値情報を設定して、この閾値に基づいて被写体検出部４００において、基準画像を遮蔽物のみの画像と遮蔽物以外の画像とに分離する。これら分離した画像に対し、画像生成部５００において異なる処理を行う。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に主要被写体の前方に位置する遮蔽物を除去した画像を生成可能な画像処理装置に関する。

さまざまなシーンで撮影を行うとき、撮像装置と主要被写体との間に遮蔽物が存在していると、撮影時に、主要被写体が遮蔽物に隠れて所望の画像を得ることができないことがある。

これに対し、人や車両等が遮蔽物であれば、その運動視差から背景画像を抽出して遮蔽物を除去する手法が例えば特許文献１において提案されている。この特許文献１の手法では、異なる時刻に撮影された複数の画像を画素毎に比較し、所定時間、変化が検出されなかった画素を背景画像として抽出する。このような処理を監視区域内の全ての画素について行うことにより、遮蔽物が除去された背景のみの画像を生成している。
特開２００１−４３４５８号公報

ここで、特許文献１の手法における遮蔽物の除去は、遮蔽物の運動視差を前提とした手法である。したがって、遮蔽物が静止状態にあって運動視差を得ることができない場合には遮蔽物を除去することができない。

本発明は、かかる事情に鑑みてなされたものであり、遮蔽物が静止状態であっても遮蔽物を除去可能な画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像処理装置は、異なる視点位置で撮影された複数の画像に基づき画素毎に被写体までの距離を計測する距離計測手段と、遮蔽物が存在するとする前記距離の範囲を設定する設定手段と前記距離計測手段からの出力に基づき前記距離の範囲に含まれる遮蔽領域に係る第１の画像信号を前記第１の画像信号とは異なる第２の画像信号に置き換える画像処理を実行する画像生成手段とを具備することを特徴とする。

この第１の態様によれば、距離情報に基づいて高精度に遮蔽領域を識別し、遮蔽領域の情報に従って、遮蔽領域に係る第１の画像信号を第２の画像信号に置き換えることができる。

本発明によれば、遮蔽物が静止状態であっても遮蔽物を除去可能な画像処理装置を提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。図１の撮像装置は、画像入力部としての撮像部１００及び２００と、距離計測部３００と、被写体検出部４００と、画像生成部５００と、一時記憶部６００と、表示部７００と、記憶部８００と、設定部９００とによって構成されている。

撮像部１００及び２００は、それぞれ、異なる視点位置で被写体を撮像して視点位置毎の複数フレームの画像信号を取得することを目的とした複眼ステレオカメラである。撮像部１００は、光学系１０１と、撮像素子１０２と、記憶部１０３とから構成され、撮像部２００は、光学系２０１と、撮像素子２０２と、記憶部２０３とから構成されている。光学系１０１及び２０１は、それぞれ、被写体からの光束を集光して対応する撮像素子に結像させる。撮像素子１０２及び２０２は、それぞれ、光学系１０１及び２０１によって結像されて得られた被写体の像をアナログ電気信号に変換し、更にこのアナログ電気信号をデジタル信号（画像信号）に変換した後で、対応する記憶部に記憶させる。記憶部１０３及び２０３は、それぞれ、撮像素子１０２及び２０２で得られた画像信号を一時記憶する。

距離計測部３００は、撮像部１００及び２００でそれぞれ得られたＮフレーム（Ｎ≧２）の画像信号を用いて、画素単位で被写体までの距離情報を取得する。なお、ここでの被写体とは、主要被写体と背景被写体（主要被写体以外の被写体）の何れも含むものである。以後、距離計測部３００によって画素単位で得られる距離情報の集合を距離画像と称する。

被写体検出部４００は、距離計測部３００によって得られた距離画像を用いて、着目被写体が存在する領域を検出する。ここで、着目被写体とは、詳細は後述する遮蔽物の除去処理において重きがおかれる被写体のことを言うものとする。画像生成部５００は、被写体検出部４００によって抽出された着目被写体の有無を示す領域情報に基づいて所定の画像処理を行う。

なお、距離計測部３００、被写体検出部４００、画像生成部５００の詳細な動作については後で詳しく説明する。

一時記憶部６００は、距離計測部３００、被写体検出部４００、画像生成部５００でそれぞれ処理されるデータを一時記憶する。表示部７００は、各種の画像を表示する。記憶部８００は、画像生成部５００で処理された画像を記憶する。設定部９００は、撮影者が各種の設定を行うための操作部である。

ここで、図１に示す撮像装置は、撮像部を２個備える２眼ステレオカメラの構成であるが、撮像部の数は２個に限定されるものではない。例えば、撮像部を３個以上備える構成や１個以上の撮像部により視点位置を変更しながら撮影を複数回実行する構成等を用いるようにしても良い。

また、図１は、撮像装置の構成であるが、本実施形態は、図２に示すような、画像処理プログラムが実装された処理装置にも適用可能である。図２に示す処理装置は、基本的な構成は図１と同様であるが、撮像部１００及び２００の代わりに、画像入力部１００ａが設けられている点が異なっている。この図２に示す画像入力部１００ａは、異なる視点位置で撮像されて得られた複数フレームの画像信号を取得することを目的とした画像入力部である。この画像入力部１００ａは、複数フレームの画像信号が既に格納されている任意の記憶媒体から構成される。なお、画像入力部１００ａとして、記憶媒体が出力機能を兼備する構成を用いても良いし、記憶部８００の機能の一部に画像入力部１００ａの機能を持たせるようにしても良い。

続いて、図１又は図２の構成における、距離計測から画像生成までの一連の動作について説明する。なお、以後の説明において、撮像部１００、２００と画像入力部１００ａとをまとめて画像入力部と称する。

図３は、距離計測部３００における基本的な動作の流れについて示すフローチャートである。
画像入力部からＮフレームの画像が距離計測部３００に入力されると、距離計測部３００は、Ｎフレームの画像から距離情報を取得する領域を設定する（ステップＳ３０１）。この距離情報取得領域は、例えば撮影者による設定部９００の操作によって設定されるものであっても良いし、距離計測部３００において自動的に設定されるものであっても良い。

距離情報取得領域の設定の後、距離計測部３００は、距離情報取得領域内で、Ｎフレームの画像間の対応点を、例えば画像間の相関量を演算する画像相関法によって算出し、対応点の相関パラメータを一時記憶部６００に記憶させる（ステップＳ３０２）。その後、距離計測部３００は、対応点の相関パラメータに基づいて、画素毎に被写体までの距離情報を算出し（ステップＳ３０３）、これによって得られた距離画像を一時記憶部６００に記憶させる（ステップＳ３０４）。

図４は、被写体検出部４００における基本的な動作の流れについて示すフローチャートである。
まず、被写体検出部４００は、撮影者によって設定される距離画像の閾値情報を設定する（ステップＳ４０１）。この閾値情報は、例えば撮影者による設定部９００の操作によって設定されるものである。

閾値情報の設定を受けて、被写体検出部４００は、一時記憶部６００に記憶されている距離画像を読み出して、距離画像の各画素の距離情報を閾値情報に従って二値化する（ステップＳ４０２）。各画素の距離情報を閾値情報で二値化した後、被写体検出部４００は、画素毎の二値情報を一時記憶部６００に記憶させる（ステップＳ４０３）。

図５は、画像生成部５００における基本的な動作の流れについて示すフローチャートである。
まず、画像生成部５００は、一時記憶部６００に記憶されている、被写体検出部４００によって得られた二値情報と画像入力部によって得られた画像とを読み出し、読み出した画像を二値情報に基づいて２つの領域に分離する（ステップＳ５０１）。その後、画像生成部５００は、分離した２つの領域のうち、着目被写体が存在する領域に対して処理αを行い（ステップＳ５０２）、着目被写体が存在しない領域に処理αとは異なる処理βを行う（ステップＳ５０３）。

そして、個々の領域に対応した画像処理が完了した後、画像生成部５００は、個別に処理した画像を統合して１つの画像とし（ステップＳ５０４）、統合後の画像を表示部７００に表示させたり、記憶部８００に記憶させたりといった出力処理を行う（ステップＳ５０５）。

続いて、第１の実施形態の撮像装置の動作について更に説明する。ここで、以下に説明する例においては、画像入力部において取得される画像が、図６（ａ）及び図６（ｂ）に示す２フレームの画像である。ここでは、図６（ａ）の画像が距離画像算出のための画像相関法を実行する際の基準側の画像（基準画像）であり、図６（ｂ）の画像が画像相関法を実行する際の参照側の画像（参照画像）であるとする。

更に、本例において、図６（ａ）及び図６（ｂ）は共に、人物１１が主要被写体であり、人物１１の前方に存在する柵１２が主要被写体の遮蔽物であるという前提に基づいている。そして、基準画像（図６（ａ））と参照画像（図６（ｂ））とを用いて距離画像を算出し、算出した距離画像に基づいて遮蔽物を着目被写体とした被写体検出を行い、基準画像を着目被写体である遮蔽物が存在する領域と存在しない領域とに分離した後に、それぞれの領域に対して異なる画像処理（処理α、処理β）を行うものである。

まず、距離計測部３００において距離情報を取得する。この処理に先立って撮影者は、設定部９００を用いて、基準画像と参照画像を選択し、更に基準画像における距離情報取得領域を設定する。例えば、距離情報取得領域は、図６（ａ）に示す基準画像の全領域とする。この設定操作を受けて、距離計測部３００は、距離情報取得領域内で基準画像と参照画像との相関を求め、求めた相関量から基準画像の距離情報取得領域内における画素毎の被写体距離を算出し、距離画像として一時記憶部６００に記憶させる。このようにして、基準画像の距離情報取得領域内での画素位置（ＸＹ座標）と被写体距離の対応情報が一時記憶部６００に記憶される。

続いて、被写体検出部４００において着目被写体の検出を行う。この処理に先立って撮影者は、設定部９００を用いて柵１２と同じかそれより少し遠くの距離を閾値情報として設定する。この設定操作を受けて被写体検出部４００は、距離画像と閾値情報に基づいて距離情報取得領域内の各画素の被写体距離が所定の距離範囲内にあるかを各画素の距離情報と閾値情報との大小比較より判定する。そして、その判定結果を二値化し、着目被写体（遮蔽物）の有無を示す二値情報を一時記憶部６００に記憶させる。ここで、閾値情報は、柵１２と等しいかそれより少し遠くの距離に設定されているので、被写体距離が閾値以下の場合には主要被写体である人物１１の前に着目被写体である柵１２が存在していることになる。

続いて、画像生成部５００において画像生成処理を行う。この処理において、画像生成部５００は、まず被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つに分離する。上述したように、二値情報は、主要被写体である人物１１の前に遮蔽物である柵１２が存在しているか否かを示す情報である。したがって、この二値情報に基づいて分離した場合、分離後の基準画像は図７（ａ）に示す柵１２のみの画像と、図７（ｂ）に示す柵１２を除く画像とになる。基準画像を分離した後、画像生成部５００は、図７（ａ）に示す着目被写体（柵１２）が存在する遮蔽領域に対して処理αを行う。この例では、処理αとして遮蔽領域内の柵１２の画像信号（第１の画像信号）を特定色の画像信号（第２の画像信号）に置換する処理を行う。一方、図７（ｂ）に示す着目被写体が存在しない領域に対しては処理βとして遮蔽物の除去に関する処理は何も行わない。画像処理が完了した後、画像生成部５００は、図７（ａ）の画像と図７（ｂ）の画像とを二値情報に基づいて統合し、統合後に図８（ａ）のようにして得られる画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。

以上説明したように、第１の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、撮影の邪魔となっていた遮蔽物（柵１２）を目立たないように編集し、図８（ａ）のような画像を生成することができる。この際、閾値情報を設定し、主要被写体よりも近くに存在する被写体を遮蔽物であると識別するので、運動視差が得られなくとも遮蔽物を識別することができ、着目被写体である遮蔽物を含む画像と含まない画像とを分離してそれぞれの画像に対して個別の画像処理を行うことによって所望の画像を生成することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、装置の構成については第１の実施形態と同様のものを適用することができるが、画像生成部５００における処理が異なっている。また、第２の実施形態では、画像入力部において取得される画像が、図６（ａ）、図６（ｂ）、及び図６（ｃ）に示す３フレームの画像である。これらは異なる３つの視点位置でそれぞれ取得される画像である。

更に、第２の実施形態においても、図６（ａ）〜図６（ｃ）は人物１１を主要被写体とし、人物１１の前方に存在する柵１２が主要被写体の遮蔽物であるとの前提に基づいている。そして、基準画像（図６（ａ））と参照画像（図６（ｂ））を用いて距離画像を算出し、算出した距離画像に基づいて遮蔽物を着目被写体とした被写体検出を行い、基準画像を遮蔽物が存在する領域と存在しない領域とに分割した後に、基準画像を除いた参照画像（図６（ｂ）、図６（ｃ））を用いて、それぞれの領域に対して所定の画像処理（処理α、処理β）を行うものである。

以下、第２の実施形態の動作について説明する。まず、距離計測部３００において距離情報を取得する。この処理に先立って撮影者は、設定部９００を用いて、基準画像と参照画像を選択し、更に基準画像における距離情報取得領域を設定する。例えば、距離情報取得領域は、第１の実施形態と同様に、図６（ａ）に示す基準画像の全領域とする。この設定操作を受けて、距離計測部３００は、基準画像の距離情報取得領域内における画素毎の被写体距離を算出し、距離画像として一時記憶部６００に記憶させる。このようにして、基準画像の距離情報取得領域内での画素位置（ＸＹ座標）と被写体距離の対応情報が一時記憶部６００に記憶される。

続いて、被写体検出部４００において遮蔽物（柵１２）を着目被写体とした被写体検出を行う。この処理は、第１の実施形態と同様の処理を行い、被写体検出部４００は、画素毎に着目被写体の有無を示した二値情報を一時記憶部６００に記憶させる。

続いて、画像生成部５００において画像生成処理を行う。この処理において、画像生成部５００は、まず被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つに分離する。この分離後の画像は図７（ａ）に示す画像と、図７（ｂ）に示す画像とになる。ここで、図９に示す視点位置から撮影を行う場合、柵１２を除去することができたとしても柵１２の先が死角であるため、柵１２の先の被写体の情報を基準画像のみで得ることは非常に困難である。したがって、第１の実施形態では、柵１２の部分を特定色に置き換えるようにしている。

これに対し、第２の実施形態では、距離計測部３００を用いて、図６（ａ）の基準画像において柵１２によって死角となる点の相関パラメータを図６（ｂ）の画像と図６（ｃ）の画像とにおける画像相関から算出する。続いて、画像生成部５００は、処理αとして、距離計測部３００において算出した相関パラメータに基づいて、遮蔽領域内の柵１２の画像信号を、図６（ｂ）または図６（ｃ）から得られる柵１２の背後の画像信号と置換する。一方、処理βとしては、第１の実施形態と同様に何も処理を行わない。画像処理が完了した後、画像生成部５００は、置換処理を行った図７（ｂ）の画像と図７（ａ）の画像とを統合し、これにより図８（ｂ）のようにして得られる画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。もし、遮蔽領域の画像情報が不足し、一度に柵１２の画像を除去できない場合は、参照画像を更に追加して上記処理を繰り返すことで段階的に柵１２の画像信号を除去すれば良い。

以上説明したように、第２の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、人物１１の撮影の邪魔となっていた柵１２を除去すると共に、除去した部分の背後の位置に相当する画像信号を他の視点位置から得られる画像信号と置換して、図８（ａ）よりも自然な図８（ｂ）のような画像を生成することができる。このように、第２の実施形態では、着目被写体である柵１２が存在する画素の画像信号を、他の画像フレームの画像信号で補い、所望の画像を生成することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、装置の構成については第１の実施形態と同様のものを適用することができる。なお、第３の実施形態においては、画像及び距離情報の取得については第１の実施形態と同様であるので説明を省略する。

以下、第３の実施形態の動作について説明する。まず、被写体検出部４００において遮蔽物を着目被写体とした被写体検出を行う。この処理に先立って撮影者は、設定部９００を用いて、柵１２より少し遠くの距離を閾値情報として設定する。これを受けて被写体検出部４００は、距離画像と閾値情報に基づいて距離情報取得領域（全画素）内の各画素が所定の距離範囲内にあるかどうかを大小比較により判定する。そして、この判定結果を画素単位で二値化し、着目被写体の有無を示す二値情報を一時記憶部６００に記憶させる。

続いて、画像生成部５００において画像生成処理を行う。まず、画像生成部５００は、被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つに分離する。この場合の分離後の画像は図７（ａ）、図７（ｂ）のようになる。ここで、第２の実施形態でも述べたように、図９に示す視点位置から撮影を行う場合、柵１２の画像信号を除去することができたとしても、柵１２の先は死角であるため、その先に存在する被写体の情報を基準画像のみから取得することは非常に困難である。更に、第２の実施形態のように、他フレームの画像信号からも十分な情報を得ることができない場合も考えられる。そこで、第３の実施形態において、画像生成部５００は、処理αとして、遮蔽物（柵１２）が存在する領域を欠陥画素とみなし、その欠陥画素の画像信号を同一フレームの周辺の画像信号から補間して求める。これに対し、処理βは、第１の実施形態と同様に、何も処理を行わない。画像処理が完了した後、画像生成部５００は、補間処理を行って得られた図８（ｂ）のような画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。

以上説明したように、第３の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、人物１１の撮影の邪魔となっていた柵１２を除去すると共に、除去部分を、その周辺部の画像信号から補間して、図８（ｂ）のような画像を生成することができる。このように、着目被写体である柵１２が存在する画素の画像信号を、同一フレーム内の画像信号で補い、撮影枚数が少ない環境下でも所望の画像を生成することができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。第４の実施形態は、装置の構成については第１の実施形態と同様のものを適用することができる。また、第４の実施形態において、被写体検出の前段の画像及び距離情報の取得は上述した各実施形態と同様であるので説明を省略する。

以下、第４の実施形態の動作について説明する。被写体検出部４００における着目被写体の検出に先立って、撮影者は設定部９００を用いて、柵１２より少し遠くの被写体距離を閾値情報として設定する。これを受けて被写体検出部４００は、距離画像と閾値情報とに基づいて距離情報取得領域内の各画素の画像信号が所定の距離範囲内にあるかどうかを大小比較により判定する。そして、この判定結果を二値化し、着目被写体の有無を示す二値情報を一時記憶部６００に記憶させる。

続いて、画像生成部５００において画像生成処理を行う。まず、画像生成部５００は、被写体検出部４００によって得られた二値情報に基づいて、基準画像を２つに分離する。この場合、分離後の画像は図７（ａ）、図７（ｂ）のようになる。そして、画像生成部５００は、図７（ａ）に示す着目被写体である柵１２のみの画像に対しては処理αとして平坦化処理を行い、図７（ｂ）に示す着目被写体以外の画像に対しては処理βとして鮮鋭化処理を行う。画像処理が完了した後、画像生成部５００は、二値情報に基づいて平坦化処理を行った図７（ａ）の画像と先鋭化処理を行った図７（ｂ）の画像とを統合し、統合後に得られる画像を、例えば表示部７００に表示させたり、記憶部８００に記憶させたりすることで外部に出力する。

このように、平坦化処理により、遮蔽物である柵１２の画像をぼかし、且つ主要被写体である人物１１を鮮鋭化することで、人物１１をより際立たせるような特殊なフィルタ処理を行うことができる。また、被写体距離が遠くなるほど、像の大きさが小さくなる特性を考慮し、近距離にある被写体を大きなブロック、遠距離にある被写体を小さなブロックで、距離情報に応じてブロックサイズを可変させるような適応的な二次元フィルタ処理を行うことも可能である。もし、遮蔽領域の画像情報が不足し、一度に柵１２の画像信号を除去できない場合は、参照画像を追加して上記処理を繰り返すことで段階的に柵１２の画像信号を除去すれば良い。

以上説明したように、第４の実施形態によれば、距離計測部３００における距離計測から画像生成部５００における画像生成までの一連の動作により、二値情報に基づいて画像を分離し、分離した画像に対して異なる画像処理を行った後で、両画像を統合することで、分離した画像に対してそれぞれ独立して画像処理を行うことができる。また、この際に、異なる被写体が、互いの異なる画像処理の影響を受けることがない。

［第５の実施形態］
次に本発明の第５の実施形態について説明する。第５の実施形態は、画像入力部が、図１に示したような、異なる視点位置で撮像した複数フレームの画像信号を取得する複眼ステレオカメラである。そして、光学系１０１、２０１によって撮像素子１０２、２０２に結像した被写体の像はデジタルの画像信号に変換された後、記憶部１０３、２０３にそれぞれ記憶される。ここで、第５の実施形態においては、撮像部１００、２００は、デジタル画像信号を縮小してから出力することが可能な機能を有していることに特徴がある。この縮小は、例えば画素間引きによって行うようにしても良いし、画素混合によって行うようにしても良い。また、撮像部１００、２００の外部に縮小画像の生成部を設けるようにしても良い。

ここで、第１の実施形態と同様に、撮像部の数は２個に限定されるものではない。例えば、撮像部を３個以上備える構成や１個以上の撮像部により視点位置を変更しながら撮影を複数回実行する構成等を用いるようにしても良い。

以下、第５の実施形態の動作について説明する。まず、撮像部１００、２００により、異なる視点位置で撮像した２枚の画像（図６（ａ）、図６（ｂ））を取得する。この際、撮影者による設定部９００の操作によって、縮小画像モードに設定されていた場合には、撮像部１００、２００は取得した画像を縮小した後で、一時記憶部６００に記憶させる。

以後は、縮小画像を用いて、上述第１〜第４の実施形態で説明したような、距離計測、被写体検出、及び画像生成を行う。そして、画像の統合後、画像生成部５００は、縮小画像から生成した統合後の推定画像を表示部７００に簡易表示させる。

以上説明したように、第５の実施形態によれば、縮小画像から統合後の画像を生成することで、データ量や演算負荷を低減して処理を高速化することができる。更に、撮像素子における間引き処理や画素混合処理されて連続出力される画像信号を用いた場合には、リアルタイムに画像を表示させることができる。これにより、撮影前に状態を確認した後に本撮影を行うことも可能となる。

なお、表示部７００に表示させる情報は、縮小画像から生成される推定画像の他に、一連の処理中に生成される入力画像、距離情報（距離画像）、及び着目被写体の検出状態等を表示させるようにしても良い。これらを表示させることにより、撮影者は、中間状態を確認しながら設定の最適化をおこなうことができる。

［第６の実施形態］
次に本発明の第６の実施形態について説明する。第６の実施形態は、画像生成部５００における画像生成が行われた後の処理である。

まず、上述した第１の実施形態と同様にして、画像取得から画像生成までの一連の処理を行う。次に、画像生成後に得られる画像を記憶部８００に記憶させる前に、例えば画像生成部５００においてこの画像の縮小画像を生成し、生成した画像を表示部７００に簡易表示する。

以上説明したように、第６の実施形態によれば、画像生成後に得られる画像を簡易表示させることで実際に画像データを保存する前に、生成後の画像を確認することができる。これにより、撮影者は、記憶部８００の記憶領域の容量を気にせずに満足がいくまで何度でも撮影をやり直すことができる。また、第６の実施形態では、第５の実施形態とは異なり、表示の直前までの処理を通常サイズの画像で行うため、画像生成後の解像度の低下を抑え、生成結果を詳細に確認することが可能である。

［第７の実施形態］
次に本発明の第７の実施形態について説明する。第７の実施形態は被写体検出方法の変形例である。なお、第７の実施形態においては、画像の取得については第１の実施形態と同様であるので説明を省略する。

以下、第７の実施形態の動作について説明する。まず、距離情報を取得する。この処理に先立って撮影者は、まず、設定部９００を用いて、基準画像と参照画像を選択し、更に基準画像における距離情報取得領域を設定する。例えば、距離情報取得領域としては、図６（ａ）に示す基準画像の全領域とする。この設定操作を受けて、距離計測部３００は、距離情報取得領域内で基準画像と参照画像との相関を求め、求めた相関量から基準画像の距離情報取得領域内における画素毎の被写体距離を算出し、距離画像として一時記憶部６００に記憶させる。このようにして、基準画像の距離情報取得領域内での画素位置（ＸＹ座標）と被写体距離の対応情報が一時記憶部６００に記憶される。

次に、距離計測部３００は、表示部７００に、距離の出現頻度分布を示す距離ヒストグラムを表示させる。即ち、距離計測部３００は、まず一時記憶部６００に記憶させた距離画像を取得し、距離画像の各画素の距離情報を距離毎に累積し、被写体距離の度数分布を算出する。そして度数分布よりヒストグラムを作成し、表示部７００に表示させる。図１０に表示部７００に表示される距離ヒストグラムを示す。

次に、撮影者は、設定部９００を用いて閾値情報の設定を行う。この閾値情報の設定においては、例えば図１０のようにして表示された距離ヒストグラムにおいて、撮影者が設定部９００を操作することにより、ポインタ７０１を移動させて着目被写体が含まれる所定の距離範囲７０２を設定する。ここで、図１０の例は、上述した各実施形態とは異なり、主要被写体である人物１１を指定することにより、人物１１よりも近くに存在する被写体を遮蔽物であるとして、画像生成部５００においてその位置の画像信号を除去させたり他の画像と置換させたりする。勿論、遮蔽物である柵１２を直接指定する形態でも良い。また、図１０の例では、１つの距離範囲のみを設定可能な例を示しているが、複数の距離範囲を同時に指定できるようにしても良い。

通常、目視情報から被写体距離の閾値情報を推定することは困難であるが、第７の実施形態では、距離ヒストグラムを視認可能に表示することにより、撮影者は、被写体が存在する位置を確認でき、その確認結果を元に距離の閾値情報を最適化して被写体検出条件の高精度化を図ることができる。また、図１０のようなポインタ７０１を指定することにより範囲を指定するインタフェースを用いれば、簡易な操作で閾値情報を設定することができる。

［第８の実施形態］
次に本発明の第８の実施形態について説明する。第８の実施形態は被写体検出方法の別の変形例である。なお、第８の実施形態においては、画像及び距離情報の取得については第１の実施形態と同様であるので説明を省略する。

以下、第８の実施形態の動作について説明する。まず、画像及び距離情報の取得後、撮像部１００、２００によって得られた画像を図１１に示すようにして表示部７００に表示させる。次に、撮影者は、設定部９００を用いて、着目被写体を表示部７００上で確認しながら、ポインタ７０３により着目被写体（ここでは第７の実施形態と同様に人物１１が着目被写体である）の位置座標の設定を行う。この操作を受けて、距離計測部３００は、ポインタ７０３の位置座標における被写体距離を取得する。そして、この被写体距離を閾値情報に設定する。

通常、目視情報から被写体距離の閾値情報を推定することは困難であるが、第８の実施形態では、実際に撮影された画像から、着目被写体が存在する位置を確認し、その情報を元に距離情報の閾値を設定することで、被写体検出条件の高精度化を図ることができる。また、図１１のようなポインタ７０３を指定することにより着目被写体を指定するインタフェースを用いれば、簡易な操作で着目被写体を指定することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。 第１の実施形態に係る画像処理装置を備えた処理装置の構成を示す図である。 距離計測部の処理について示すフローチャートである。 被写体検出部の処理について示すフローチャートである。 画像生成部の処理について示すフローチャートである。 異なる視点位置で撮影される画像の例を示す図である。 二値情報によって分離される画像について示す図である。 画像生成部において得られる画像の例を示す図である。 視点位置の俯瞰イメージ図である。 距離ヒストグラムによる閾値情報の設定について説明するための図である。 座標情報による閾値情報の設定について説明するための図である。

符号の説明

１００，２００…撮像部、１００ａ…画像入力部、３００…距離計測部、４００…被写体検出部、５００…画像生成部、６００…一時記憶部、７００…表示部、８００…記憶部、９００…設定部

Claims (8)

1. 異なる視点位置で撮影された複数の画像に基づき画素毎に被写体までの距離を計測する距離計測手段と、
   遮蔽物が存在するとする前記距離の範囲を設定する設定手段と、
   前記距離計測手段からの出力に基づき前記距離の範囲に含まれる遮蔽領域に係る第１の画像信号を前記第１の画像信号とは異なる第２の画像信号に置き換える画像処理を実行する画像生成手段と、
   を具備することを特徴とする画像処理装置。
2. 前記画像生成手段は、前記第２の画像信号として、前記遮蔽領域に対応する背景領域を有する画像の前記背景領域に係る画像信号を用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、前記第２の画像信号として、前記遮蔽領域の周辺の画像信号により補間されて得られる画像信号を用いることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像生成手段は、
   前記遮蔽領域に係る画像処理を実行する第１の画像処理部と、
   前記遮蔽領域に係る画像処理と並列して、前記遮蔽領域とは異なる領域に対して前記遮蔽領域に係る画像処理と異なる画像処理を実行する第２の画像処理部と、
   前記第１の画像処理部からの出力と前記第２の画像処理部からの出力とを統合する画像統合部と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像生成手段における画像処理に先立って、前記画像を縮小する画像縮小手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
6. 前記画像生成手段から出力される画像を縮小する画像縮小手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
7. 前記距離計測手段により計測された距離の出現頻度分布を表示する表示手段を更に具備し、
   前記設定手段は、前記表示手段に表示された出現頻度分布に基づき前記距離の範囲を設定することを特徴とする請求項１に記載の画像処理装置。
8. 前記画像を表示する表示手段を更に具備し、
   前記設定手段は、
   前記表示手段に表示された画像に基づき前記距離の範囲を設定する位置を入力するための入力部と、
   前記入力された位置に対応する距離の範囲を前記距離計測手段からの出力に基づき設定する設定部と、
   を含むことを特徴とする請求項１に記載の画像処理装置。

Images