JP2014067142A - 画像処理装置、画像処理方法、撮像装置、および撮像方法 - Google Patents

Abstract

【課題】背景よりも移動体の方が長い時間写っている画素においても、背景のデータを出力するデータとして選択することによって、移動体などの動体を除去することができる画像処理装置、画像処理方法、撮像装置、および撮像方法を提供する。
【解決手段】各入力画像において同一の位置に配置され、背景と動体とのいずれも写った混在画素の周辺に配置されている画素である複数の周辺画素の内、主として背景像が写った可能性が高い背景画素の画素データを要素として生成した度数分布に基づいて、それぞれの入力画像に対応した複数の混在画素の画素データの中から、１つの混在画素の画素データを、動体除去画像において混在画素と同一の位置に配置される画素の画素データとして選択する出力データ選択部と、度数分布の生成に用いる周辺画素の範囲である参照範囲を、入力画像が撮影されたときの撮影パラメータに基づいて決定する参照範囲決定部と、を備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、撮像装置、および撮像方法に関する。

従来から、複数の画像に含まれる同一の座標に位置する画素のデータ（以下、「画素データ」という）の中で、他の多くの画像の画素データから大きく外れた画素データを除去することによって、複数の画像から１枚の画像を生成する動体除去という機能がある。動体除去とは、静止画用カメラ（以下、「カメラ」という）で建物などの被写体を撮影した際に、カメラと被写体の間を横切る通行人や車両などの不要な移動体を除去した所望の画像を生成する機能である。

動体除去では、移動体がカメラの前を横切るような場合には、連続して撮影した複数の画像の同一の位置に移動体が写っている枚数は少なく、多くの画像には背景が写っているという考えに基づいて、連続撮影した複数の画像から、その撮影時間中に動いた被写体を除去した画像を生成する。より具体的には、複数の画像の同一の位置に写っている回数が少ない移動体の画素データを、同じ位置に写っている回数が多い背景の画素データに置き換えることによって、移動体を除去した背景のみの画像を生成する。

例えば、特許文献１に、移動体を消去した静止画像を生成する静止画生成装置が示されている。特許文献１で開示された静止画生成装置は、入力された動画像をフレーム毎に複数記憶して保持する記憶手段と、該記憶手段に記憶された複数の各フレームにおける同一位置の画素の画素データを比較する比較手段と、該比較手段の比較結果により最も出現頻度の高いデータを検出する検出手段と、該検出手段により検出された最も出現頻度の高いデータを選択して出力する選択手段とから構成されている。

この構成によって、特許文献１で開示された静止画像生成装置では、記憶手段に保持された各フレームの同一位置の画素データに対してヒストグラムを作成し、最も出現頻度の高い画素データを同一位置の画素の出力データとして選択して出力する。これにより、特許文献１で開示された静止画像生成装置では、不所望な移動体を含む数秒間の動画像から、移動体部分のデータを背景データに置換して、所望の静止画を生成している。

特開平９−１４９３６４号公報

しかしながら、動画像において、移動体が背景よりも長い時間写っている画素では、背景データの出現頻度が高くならない。このような場合、特許文献１で開示された静止画像生成装置のように、各フレームの同一位置の画素データに対するヒストグラムを単純に作成して背景データを選択する方法では、背景が写っているデータを正しく選択することができず、移動体などの動体の除去を正しく行うことができない。その結果、不要な移動体を除去した所望の静止画の生成に失敗しまう、という問題になる。

本発明は、上記の課題認識に基づいてなされたものであり、背景よりも移動体の方が長い時間写っている画素においても、背景のデータを出力するデータとして選択することによって、移動体などの動体を除去することができる画像処理装置、画像処理方法、撮像装置、および撮像方法を提供することを目的としている。

上記の課題を解決するため、本発明の画像処理装置は、入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成する画像処理装置であって、それぞれの前記入力画像において同一の位置に配置され、背景と動体とのいずれも写った、現在処理する対象の画素である混在画素の周辺に配置されている画素である複数の周辺画素の内、主として背景像が写った可能性が高い画素である背景画素の画素データを要素として生成した度数分布に基づいて、それぞれの前記入力画像に対応した複数の前記混在画素の画素データの中から、１つの前記混在画素の画素データを、前記動体除去画像において前記混在画素と同一の位置に配置される画素の画素データとして選択する出力データ選択部と、前記度数分布を生成するために用いる前記周辺画素の範囲である参照範囲を、前記入力画像が撮影されたときの撮影パラメータに基づいて決定する参照範囲決定部と、を備えることを特徴とする。

また、本発明の前記撮影パラメータは、前記入力画像が撮影されたときの焦点距離、および前記入力画像に含まれる少なくとも１つの被写体までの距離を表す被写体距離であり、前記参照範囲決定部は、前記焦点距離が短いほど小さくなり、同じ前記焦点距離においては、前記被写体距離が長いほど小さくなるような前記周辺画素の範囲を、前記参照範囲として決定する、ことを特徴とする。

また、本発明の前記被写体距離は、前記入力画像における複数の特定の位置に含まれる被写体までの距離を表す複数の被写体距離であり、前記参照範囲決定部は、前記焦点距離とそれぞれの前記被写体距離とに基づいて、前記入力画像における複数の特定の位置のそれぞれに対応した複数の前記参照範囲を決定する、ことを特徴とする。

また、本発明の前記出力データ選択部は、複数の前記混在画素の画素データの中から、前記度数分布の度数が１以上の階級の画素データと同じ値であって、最も度数が大きい階級の画素データと同じ値の画素データを、前記動体除去画像の画素データとして選択する、ことを特徴とする。

また、本発明の前記出力データ選択部は、前記度数分布の度数が最も大きい階級から順に、該階級の画素データと複数の前記混在画素の画素データとを比較し、該比較している画素データと同じ値の画素データの内、撮影時刻が最も早い前記入力画像における前記混在画素の画素データを、前記動体除去画像の画素データとして選択する、ことを特徴とする。

また、本発明の前記画素データは、前記入力画像内の各位置に配置された画素において、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータである、ことを特徴とする。

また、本発明の前記画素データは、前記入力画像内の各位置に配置された画素において、該入力画像を取得する際に用いられた撮像素子から出力された信号に応じた値のデータである、ことを特徴とする。

また、本発明の撮像装置は、被写体を撮影する撮像装置であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、前記撮像部から出力された複数枚の前記画像を記録する記録部と、前記記録部に記録された画像が同じ画角に補正されて入力画像として複数入力され、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成する、上記のいずれかの発明の画像処理装置と、を備えることを特徴とする。

また、本発明の画像処理方法は、入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成する画像処理方法であって、それぞれの前記入力画像において同一の位置に配置され、背景と動体とのいずれも写った、現在処理する対象の画素である混在画素の周辺に配置されている画素である複数の周辺画素の内、主として背景像が写った可能性が高い画素である背景画素の画素データを要素として生成した度数分布に基づいて、それぞれの前記入力画像に対応した複数の前記混在画素の画素データの中から、１つの前記混在画素の画素データを、前記動体除去画像において前記混在画素と同一の位置に配置される画素の画素データとして選択する出力データ選択ステップと、前記度数分布を生成するために用いる前記周辺画素の範囲である参照範囲を、前記入力画像が撮影されたときの撮影パラメータに基づいて決定する参照範囲決定ステップと、を含むことを特徴とする。

また、本発明の撮像方法は、被写体を撮影する撮像装置による撮像方法であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、記録部に、前記撮像部から出力された複数枚の前記画像を記録させる記録ステップと、上記のいずれかの発明の画像処理装置に、前記記録部に記録された画像を同じ画角に補正して入力画像として複数入力し、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成させる画像処理ステップと、を含むことを特徴とする。

本発明によれば、背景よりも移動体の方が長い時間写っている画素においても、背景のデータを出力するデータとして選択することによって、移動体などの動体を除去することができるという効果が得られる。

本発明の第１の実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。 本第１の実施形態における画像処理装置を適用した撮像装置の動体除去画像生成処理における出力データ選択フェーズの処理の手順を示したフローチャートである。 本第１の実施形態における画像処理装置を適用した撮像装置において撮影した画像の一例を示した図である。 本第１の実施形態における画像処理装置を適用した撮像装置において撮影した画像内で同一の座標位置に配置されている画素の画素データをまとめた表である。 本第１の実施形態における画像処理装置において予め定められた参照範囲最適化テーブルの一例を示した表である。 本第１の実施形態における画像処理装置において生成した参照範囲内に含まれる画素データの周辺画素ヒストグラムの一例を示した図である。 本第１の実施形態における画像処理装置を適用した撮像装置において撮影した画像の別の一例を示した図である。 本第１の実施形態における画像処理装置において生成した参照範囲内に含まれる画素データの周辺画素ヒストグラムの一例を示した図である。 本第１の実施形態における画像処理装置を適用した情報処理装置の概略構成を示したブロック図である。 本発明の第２の実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。 本第２の実施形態における画像処理装置を適用した撮像装置において撮影した画像の一例を示した図である。 本第２の実施形態における画像処理装置を適用した情報処理装置の概略構成を示したブロック図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、例えば、デジタルスチルカメラなどの撮像装置に、本第１の実施形態の画像処理装置を適用した場合の一例について説明する。図１は、本第１の実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、入力部１１と、撮像部１２と、記録部１３と、画像処理部１４と、制御部１５と、参照範囲決定部１６と、出力データ選択部１７と、を備えている。なお、図１に示した撮像装置１０においては、画像処理部１４と、参照範囲決定部１６と、出力データ選択部１７との構成によって、本第１の実施形態の画像処理装置を構成している。

入力部１１は、撮像装置１０に対する指示を入力するために、撮像装置１０の使用者（ユーザ）によって操作されるボタンやスイッチなどを備えたユーザインタフェースである。入力部１１は、撮像装置１０が動作するモードの変更を指示するためのスイッチ（以下、「モード変更スイッチ」という）と、撮像装置１０による撮像の開始を指示するためのスイッチ（以下、「撮像開始指示スイッチ」という）を備えている。

制御部１５は、撮像装置１０内の各構成要素をそれぞれ制御することによって、撮像装置１０全体の制御を行う。また、制御部１５は、撮像装置１０が動作するモードの変更や、撮像装置１０による撮像から、不要な移動体を除去した出力画像（以下、「動体除去画像」という）を生成するまでの動体除去画像生成処理のシーケンスを制御する。

撮像部１２は、結像用のレンズと画像データを生成する撮像素子を備え、制御部１５からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を撮影する。撮像部１２は、ユーザが入力部１１の撮像開始指示スイッチを操作することによってユーザから指示された１回の撮像指示に応じて、連続したＮ枚の画像を撮影し、撮影したＮ枚の画像データを記録部１３に出力する。さらに、撮像部１２は、撮像指示が入力されたときのレンズの焦点距離の情報と、合焦レンズの位置に基づいて、例えば、レンズ内で算出した合焦位置にある被写体までの距離（以下、「主要被写体距離」という）の情報とを、撮影パラメータとして、撮影したＮ枚のそれぞれの画像データと共に記録部１３に出力する。なお、撮像部１２が記録部１３に出力するＮ枚の画像データは、撮影する画角の位置が合うように補正されている、すなわち、全ての画像データ内で同一の座標位置に配置されているそれぞれの画素の座標位置は、被写体の光学像の同じ場所を露光したときの位置となっている画像データである。

記録部１３は、制御部１５からの制御に応じて、撮像部１２から入力された画像データ、焦点距離の情報、および主要被写体距離の情報を一時的に記録する、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。記録部１３は、本第１の実施形態の画像処理装置において動体除去処理に使用する枚数分の画像データや処理に必要な焦点距離の情報および主要被写体距離の情報、動体除去画像生成処理の各処理（シーケンス）において用いる各種のデータを記録する。記録部１３に記録されたそれぞれのデータは、制御部１５からの制御に応じて、撮像装置１０内の各構成要素に出力される。

出力データ選択部１７は、制御部１５からの制御に応じて記録部１３から入力された全ての画像データ（以下、「入力画像」という）のそれぞれの画素毎に動体除去処理を行って、入力画像内に含まれる動体を除去した動体除去画像を生成するための各画素の画素データ（以下、「出力データ」という）を順次選択する。すなわち、出力データ選択部１７は、動体除去処理によって、例えば、建物などの固定の被写体（以下、「固定物」という）の前を横切る通行人や車両などの不要な移動体の画素データを動体の画素データとして除去した出力データを順次選択する。出力データ選択部１７によって選択された出力データによって生成される動体除去後の動体除去画像は、背景のみが写された画像データと同等の画像データである。

出力データ選択部１７による動体除去処理では、動体除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている画素の画素データの中から、動体除去画像において現在処理している画素の座標位置と同一の座標位置に配置される出力データを選択する。このとき、出力データ選択部１７は、現在処理している画素の座標位置の周辺に配置されている画素の画素データを参照して、現在処理している画素に対応する出力データを選択する場合もある。そして、出力データ選択部１７は、入力画像のそれぞれの画素に対する動体除去処理を、入力画像の画素数と同じ回数繰り返すことによって、動体除去画像における全ての画素の出力データを選択し、選択した出力データを記録部１３に出力する。なお、出力データ選択部１７における動体除去処理に関する詳細な説明は、後述する。

参照範囲決定部１６は、制御部１５からの制御に応じて記録部１３から入力された焦点距離の情報および主要被写体距離の情報に基づいて、出力データ選択部１７が動体除去処理を行う際に参照する、現在処理している画素の座標位置の周辺に配置されている画素の範囲（以下、「参照範囲」という）を決定する。なお、参照範囲は、現在処理している画素の座標位置を中心とした矩形の領域である。

参照範囲決定部１６による参照範囲の決定においては、焦点距離が短いほど画素の範囲が小さくなるような範囲を参照範囲にする。また、参照範囲決定部１６は、同じ焦点距離においては、主要被写体距離が長い、すなわち、主要被写体が遠くにあるほど画素の範囲が小さくなるような範囲を参照範囲にする。これにより、焦点距離や被写体距離によって変わる被写体像の大きさに合わせた、適切な範囲を参照範囲に決定することができる。このことにより、現在処理している画素の座標位置から大きく離れた座標位置に配置されている画素が参照範囲内に含まれてしまうことによって、背景である画素を正しく選択することができないという問題を回避することができる。なお、参照範囲決定部１６における参照範囲の決定処理に関する詳細な説明は、後述する。

画像処理部１４は、制御部１５からの制御に応じて、出力データ選択部１７によって動体除去処理された出力データを用いて、動体除去画像を生成する。その後、生成した動体除去画像に対して、予め定められた種々の画像処理（現像）を行って、撮像装置１０内の対応する構成要素（不図示）に出力する。例えば、画像処理部１４は、動体除去画像を表示するための画像処理を行って生成した表示用の動体除去画像を、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置を備えた不図示の表示部に表示させる。また、例えば、画像処理部１４は、動体除去画像を記録するための画像フォーマット（例えば、ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に変換する画像処理を行って生成した記録用の動体除去画像を、例えば、メモリカードなどの不図示の画像記録媒体に記録させる。

このように、撮像装置１０では、本第１の実施形態の画像処理装置が、記録部１３から入力された全ての入力画像において、同一の座標位置に配置されているそれぞれの画素の画素データの中から、対応する出力データを順次選択して記録部１３に出力し、画像処理部１４が動体除去画像を生成する。

ここで、本第１の実施形態の画像処理装置、出力データ選択部１７の動作について、さらに詳しく説明する。上述したように、本第１の実施形態の画像処理装置は、記録部１３から入力された動体除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている画素の画素データの中から、動体除去画像において同一の座標位置に配置される出力データを選択する。

以下の説明においては、それぞれの入力画像において同一の座標位置に配置された、現在動体除去処理を行っている対象の画素を、「注目画素」といい、動体除去処理を行って生成する動体除去画像において注目画素と同一の座標位置に配置される画素を、「動体除去画素」という。また、現在処理している注目画素の座標位置の周辺に配置されている画素を、「周辺画素」という。

なお、注目画素の画素データは、撮像部１２内の撮像素子が露光した光量に応じた画像信号に基づいたデータ（例えば、ＲＡＷデータ）である。この注目画素の画素データは、上述した画像信号に基づいたデータを画像処理することによって得られる、画像の輝度を表す輝度情報のデータや、画像の色を表す色情報のデータであってもよい。以下の説明においては、画像信号に基づいたデータ、あるいは輝度情報のデータと色情報のデータのいずれか一方または両方のデータを区別せず、単に「画素データ」として説明する。

出力データ選択部１７は、記録部１３から入力された連続して撮影されたＮ枚の入力画像において、同一の座標位置に配置されているＮ個の注目画素の画素データに対して度数分布（以下、「分類用ヒストグラム」という）を生成する。例えば、入力画像のある注目画素に対応した分類用ヒストグラムを生成する場合、出力データ選択部１７は、１枚目〜Ｎ枚目の入力画像において同一の座標位置に配置されているそれぞれの注目画素の画素データが同じ値である個数を、それぞれの画素データ毎にカウントすることによって分類用ヒストグラムを生成する。

そして、出力データ選択部１７は、生成した分類用ヒストグラムにおける画素データのカウント値（以下、「度数」という）と、予め定めた度数の閾値（以下、「度数閾値」という）とを比較することによって、分類用ヒストグラムを生成した注目画素を、主として背景像が写った可能性が高い注目画素（以下、「背景画素」という）、または背景と動体とのいずれも写った注目画素（以下、「混在画素」という）のいずれか一方に分類する。より具体的には、分類用ヒストグラムにおいて最も大きい度数（以下、「最大度数」という）が度数閾値以上である場合に、この分類用ヒストグラムを生成した注目画素を背景画素に分類し、最大度数が度数閾値よりも小さい場合に、この分類用ヒストグラムを生成した注目画素を混在画素に分類する。

出力データ選択部１７は、入力画像に含まれるそれぞれの画素を順次注目画素として処理することによって、入力画像に含まれる全ての画素に対して、上述した背景画素または混在画素への分類を行う。そして、出力データ選択部１７は、分類用ヒストグラムによって分類した背景画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして、記録部１３に出力する。

一方、出力データ選択部１７は、分類用ヒストグラムによって分類した混在画素では、当該混在画素の周辺に配置されている背景画素に基づいて、動体除去画像において対応する動体除去画素の出力データを選択する。より具体的には、出力データ選択部１７は、参照範囲決定部１６によって決定された参照範囲内に含まれる周辺画素の内、背景画素の画素データに対して度数分布（以下、「周辺画素ヒストグラム」という）を生成する。例えば、現在処理している混在画素に対応した周辺画素ヒストグラムを生成する場合、出力データ選択部１７は、現在処理している混在画素に対応した参照範囲内に配置されているそれぞれの背景画素において、画素データが同じ値である個数を、それぞれの画素データ毎にカウントすることによって周辺画素ヒストグラムを生成する。そして、出力データ選択部１７は、周辺画素ヒストグラムにおいて度数の大きい画素データから順に、現在処理しているＮ個の混在画素の画素データと比較することによって、周辺画素ヒストグラムにおける画素データと同じ値である１つの混在画素の画素データを選択し、選択した１つの混在画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして、記録部１３に出力する。

なお、本第１の実施形態では、出力データ選択部１７において、分類用ヒストグラムや周辺画素ヒストグラムを生成する際に、階級が幅を持たず、１つの画素データの値と１対１に対応している場合を示しているが、分類用ヒストグラムや周辺画素ヒストグラムを生成する際には、階級に予め定めた幅をもたせて生成することが望ましい。これにより、画素データの値の僅かな違いによって別の階級となり、ヒストグラムの度数が全体的に小さくなることによって、ヒストグラムにおける度数の判断を誤ってしまうことを回避することができる。この場合、例えば、分類用ヒストグラムにおいて最大度数の階級に含まれる背景画素の画素データの内、最も早く撮影された入力画像における背景画素の画素データを、対応した動体除去画素の出力データとして出力する。

なお、出力データ選択部１７が注目画素を背景画素または混在画素に分類する方法は、上述した一例のように、分類用ヒストグラムを生成して背景画素または混在画素に分類する方法に限定されるものではなく、他の方法によって、記録部１３から入力された複数の入力画像の各注目画素を背景画素または混在画素に分類する構成にすることもできる。

このように、出力データ選択部１７は、記録部１３から入力された全ての入力画像において、同一の座標位置に配置されているそれぞれの注目画素の画素データ、および参照範囲内に含まれる周辺画素の中の背景画素の画素データに基づいて動体除去処理を順次行い、動体除去画素の出力データを記録部１３に出力する。

次に、撮像装置１０における動体除去画像生成処理について説明する。撮像装置１０では、動体除去画像生成処理を、以下のようなフェーズに分けて、それぞれの処理を実行する。

（モード設定フェーズ）：ユーザが入力部１１のモード変更スイッチを押下して動体除去画像を生成するモードに変更することによって、制御部１５は、撮像装置１０の動作モードを動体除去画像生成モードに移行させ、動体除去画像生成処理を開始する。そして、ユーザが、撮像部１２の結像用のレンズの焦点を主要被写体に合わせた後、入力部１１の撮像開始指示スイッチを押下すると、撮像部１２は、一定の間隔をおきながら連続したＮ枚の画像を撮影し、撮影したＮ枚の画像データを記録部１３に保存する。さらに、撮像部１２は、撮影開始時の焦点距離の情報と主要被写体距離の情報とを、記録部１３に保存する。そして、制御部１５は、撮像装置１０による動体除去画像生成処理を、画素分類フェーズに移行させる。

（画素分類フェーズ）：撮像装置１０が画素分類フェーズに移行すると、出力データ選択部１７は、記録部１３から入力されたＮ枚の入力画像において同一の座標位置に配置されているＮ個の注目画素の画素データに対して分類用ヒストグラムを生成する。そして、出力データ選択部１７は、生成した分類用ヒストグラムの結果から、注目画素を背景画素または混在画素に分類する。なお、注目画素を背景画素または混在画素に分類するための度数閾値は、例えば、Ｎ個の注目画素の８割などに予め設定することが考えられるが、以下の説明においては、度数閾値＝Ｎとし、Ｎ個の注目画素の画素データの全てが分類用ヒストグラムの１つの階級に属する場合に背景画素と判断し、分類用ヒストグラムの複数の階級に分かれている場合に混在画素と判断するものとして説明する。

出力データ選択部１７は、入力画像に含まれる全ての画素に対して、背景画素または混在画素への分類を順次行う。なお、出力データ選択部１７が画素分類フェーズによって分類した情報、すなわち、入力画像に含まれるそれぞれの画素が背景画素であるか、または混在画素であるかを表す情報を、記録部１３に一時的に保存してもよい。

そして、入力画像に含まれる全ての画素に対する背景画素または混在画素への分類が完了すると、制御部１５は、撮像装置１０による動体除去画像生成処理を、出力データ選択フェーズに移行させる。

（出力データ選択フェーズ）：撮像装置１０が出力データ選択フェーズに移行すると、出力データ選択部１７は、画素分類フェーズにおいて分類された背景画素の画素データの内、１つの背景画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。なお、出力データ選択部１７によって出力データとして選択される背景画素の画素データは、Ｎ個の背景画素の画素データの内、撮影時刻が最も早い入力画像における背景画素の画素データである。

また、出力データ選択部１７は、画素分類フェーズにおいて分類された混在画素の画素データの中から、１つの混在画素の画素データを、参照範囲決定部１６によって決定された参照範囲内に含まれる、画素分類フェーズにおいて分類された背景画素の画素データに基づいて選択する。混在画素の画素データの選択においては、まず、参照範囲決定部１６が、撮影開始時の焦点距離の情報と主要被写体距離の情報とを、記録部１３から取得し、取得した焦点距離の情報と主要被写体距離の情報とに基づいて、参照範囲を決定する。その後、出力データ選択部１７は、参照範囲内に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成し、生成した周辺画素ヒストグラムにおいて度数の大きい階級の出力データから順に、Ｎ個の混在画素の画素データと比較して、１つの混在画素の画素データを選択する。

より具体的には、最初に、周辺画素ヒストグラムにおいて最大度数の階級の出力データと同じ値である混在画素の数を計数（カウント）する。そして、カウント値が１以上である、すなわち、最大度数の階級の出力データと同じ値である混在画素がある場合には、その混在画素の内、撮影時刻が最も早い入力画像における混在画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。なお、カウント値が１である、すなわち、最大度数の階級の出力データと同じ値である混在画素が１つである場合には、その混在画素の画素データを出力データとして選択する。また、最大度数の階級の出力データと同じ値である混在画素の数のカウント値が１よりも小さい、すなわち、カウント値が０であり、最大度数の階級の出力データと同じ値である混在画素がない場合には、周辺画素ヒストグラムにおいて次に度数の大きい階級の出力データと同じ値である混在画素の数をカウントする。そして、同様に、カウント値が１以上であれば、その混在画素の内、撮影時刻が最も早い入力画像における混在画素の画素データを出力データとして選択し、カウント値が０である場合には、同様に、周辺画素ヒストグラムにおいてその次に度数の大きい階級の出力データと同じ値である混在画素の数をカウントする。このようにして、周辺画素ヒストグラムにおいて度数の大きい階級の出力データから順に、同じ値である混在画素を検出し、検出した１つの混在画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。

出力データ選択部１７は、入力画像に含まれる全ての画素に対して、動体除去画像において対応する動体除去画素の出力データの選択を順次行い、選択した出力データを記録部１３に保存する。そして、入力画像に含まれる全ての画素に対する出力データの選択が完了すると、制御部１５は、撮像装置１０による動体除去画像生成処理を、動体除去画像生成フェーズに移行させる。

（動体除去画像生成フェーズ）：撮像装置１０が動体除去画像生成フェーズに移行すると、画像処理部１４は、出力データ選択部１７によって選択された出力データを用いて、１枚の画像を形成し、記録部１３に保存する。これより、動体除去画像が生成される。

なお、上述した撮像装置１０の動体除去画像生成処理の説明においては、分類用ヒストグラムや周辺画素ヒストグラムを、それぞれ画素分類フェーズや出力データ選択フェーズで生成する際に、階級が幅を持たず、１つの画素データの値と１対１に対応しているものとして説明した。しかし、上述したように、分類用ヒストグラムや周辺画素ヒストグラムを生成する際には、階級に予め定めた幅をもたせて生成してもよい。この場合、階級の下限値から上限値の間の値の画素データは、同一階級のデータとしてカウントされる。

次に、撮像装置１０の動体除去画像生成処理における出力データ選択フェーズの処理の手順について説明する。動体除去画像生成処理における出力データ選択フェーズの処理では、参照範囲決定部１６による参照範囲の決定と、出力データ選択部１７による混在画素の画素データからの１つの出力データの選択とを行う。図２は、本第１の実施形態における画像処理装置を適用した撮像装置１０の動体除去画像生成処理における出力データ選択フェーズの処理の手順を示したフローチャートである。また、図３〜図６は、本第１の実施形態における画像処理装置を適用した撮像装置１０におけるそれぞれの処理の具体例を説明する図である。図２に示した出力データ選択フェーズの処理の説明においては、適宜、図３〜図６に示した撮像装置１０におけるそれぞれの処理の具体例を参照して、３枚（フレーム）の入力画像から、不要な移動体の画素データを動体として除去した出力データを選択する場合を説明する。

まず、動体除去画像生成処理に用いる入力画像について説明する。図３は、本第１の実施形態における画像処理装置を適用した撮像装置１０において撮影した画像の一例を示した図である。図３に示した画像は、樹木の前を自動車が通過しているシーンを撮像部１２が連続して撮影した画像である。以下の説明においては、図３に示した画像に含まれる自動車を不要な移動体として除去した動体除去画像を生成するときに、図３に示した画像内で同一の座標位置Ａに配置されている画素を注目画素として、それぞれの画素データから出力データを選択する場合について説明する。なお、入力画像のそれぞれの画素データは、色情報のデータであるものとし、自動車の色は「青色」であるものとする。

図３を見てわかるように、撮像部１２が撮影したそれぞれの時刻の画像において、同一の座標位置Ａに配置されている注目画素の画素データは、不要な移動体である青色の自動車のデータが２枚（撮影時刻ｔ＝０および撮影時刻ｔ＝１）と、背景である樹木の幹（茶色）のデータが１枚（撮影時刻ｔ＝２）である。このため、それぞれの注目画素は、動体除去画像生成処理の画素分類フェーズにおいて混在画素（以下、「混在画素Ａ」という）に分類される。この状態を図４にまとめて示す。図４は、本第１の実施形態における画像処理装置を適用した撮像装置１０において撮影した画像内で同一の座標位置Ａに配置されている画素（混在画素Ａ）の画素データをまとめた表である。

従って、撮像装置１０による動体除去画像生成処理が出力データ選択フェーズに移行すると、出力データ選択部１７は、混在画素Ａの画素データ、すなわち、動体除去画像において座標位置Ａに対応する動体除去画素の出力データの選択処理を開始する。動体除去画像において座標位置Ａに対応する動体除去画素の出力データの選択処理が開始されると、ステップＳ１０において、出力データ選択部１７は、参照範囲決定部１６によって決定された参照範囲（図３に示した参照範囲Ｂ）内に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成する。

ここで、参照範囲決定部１６によって決定される参照範囲について説明する。本第１の実施形態における画像処理装置では、焦点距離と主要被写体距離とに基づいた参照範囲最適化テーブルが予め定められ、参照範囲決定部１６に保持されている。図５は、本第１の実施形態における画像処理装置において予め定められた参照範囲最適化テーブルの一例を示した表である。図５に示したように、参照範囲最適化テーブルは、焦点距離と主要被写体距離とに基づいて決定される参照範囲の画素数が示されている。この参照範囲の画素数は、上述したように、焦点距離が短いほど画素の範囲が小さくなり、同じ焦点距離においては、主要被写体距離が長いほど画素の範囲が小さくなるような範囲の画素数である。

参照範囲の画素数を決定する際に参照範囲決定部１６は、撮影開始時の焦点距離の情報と主要被写体距離の情報とを記録部１３から取得する。そして、参照範囲決定部１６は、取得した焦点距離の情報と主要被写体距離の情報とに基づいて、参照範囲の画素数を決定する。ここでは、参照範囲決定部１６が記録部１３から取得した焦点距離が７０ｍｍで、主要被写体距離が５ｍであるものとする。従って、参照範囲決定部１６は、保持している参照範囲最適化決定テーブル（図５）から、２０×２０画素の範囲を、参照範囲Ｂに決定する。

出力データ選択部１７は、参照範囲Ｂ内に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成する。図６は、本第１の実施形態における画像処理装置において生成した、参照範囲Ｂ内に含まれる画素データの周辺画素ヒストグラムの一例を示した図である。図６には、図３に示した３枚の画像の全てにおいて移動体である自動車が含まれない背景画素が、参照範囲Ｂ内に１８０画素存在していたものとして生成した周辺画素ヒストグラムの一例を示している。図６に示した周辺画素ヒストグラムにおいて、度数が１以上である階級が、青色（空の色）および茶色（樹木の幹の色）の２つの階級であることから、参照範囲Ｂ内の背景には、青色（空）または茶色（樹木の幹）のいずれかの背景像が写っていることがわかる。

続いて、ステップＳ２０において、出力データ選択部１７は、混在画素Ａの画素データを検索する階級の順位として設定する度数順位Ｍを初期化する。ここでは、生成した周辺画素ヒストグラムにおいて最も度数が大きい階級、すなわち、１番度数が大きい出力データを検索するものとして、度数順位Ｍ＝１に初期化する。

続いて、ステップＳ３０において、出力データ選択部１７は、３個の混在画素Ａの画素データの中に、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａがあるか否かを判定する。図６に示した周辺画素ヒストグラムにおいては、最も度数が大きい階級である茶色（樹木の幹の色）と同じ値の画素データが、いずれかの混在画素Ａに存在するか否かを判定する。なお、ステップＳ３０における判定は、上述したように、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａの数を計数（カウント）したときのカウント値に基づいて行う。

ステップＳ３０による判定の結果、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａがない場合には、ステップＳ４０において、出力データ選択部１７は、度数順位Ｍを、生成した周辺画素ヒストグラムにおいて次に度数の大きい階級を検索するための値にする。すなわち、度数順位Ｍに「１」を加算して、度数順位Ｍ＝２にする。これにより、度数順位Ｍは、生成した周辺画素ヒストグラムにおいて２番目に度数が大きい出力データを検索するための値（度数順位Ｍ＝２）になる。そして、ステップＳ３０に戻って、３個の混在画素Ａの画素データの中に、度数順位Ｍの階級の出力データと同じ値の画素データである混在画素Ａがあるか否かの判定を再度行う。図６に示した周辺画素ヒストグラムにおいては、次に度数が大きい階級である青色（空の色）と同じ値の画素データが、３個の混在画素Ａの画素データの中にあるか否かの判定を再度行うことになる。

一方、ステップＳ３０による判定の結果、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａがある場合には、すなわち、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａのカウント値が１以上である場合には、ステップＳ５０に進む。

そして、出力データ選択部１７は、ステップＳ５０において、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａの内、撮影時刻が最も早い入力画像における混在画素Ａの画素データを、動体除去画像において座標位置Ａに対応する動体除去画素の出力データとして選択する。

図３〜図６に示した具体例では、図６に示した周辺画素ヒストグラムにおいて最も度数が大きい階級である茶色（樹木の幹の色）と同じ値の画素データが、撮影時刻ｔ＝２の混在画素Ａの画素データとして存在する（図４参照）。従って、ステップＳ３０による判定において、度数順位Ｍ＝１の階級の出力データと同じ値である混在画素Ａがあると判定され、ステップＳ５０において、撮影時刻ｔ＝２の混在画素Ａの画素データ（茶色（樹木の幹の色））が、動体除去画像において座標位置Ａに対応する動体除去画素の出力データとして選択される。

このように、出力データ選択部１７は、参照範囲決定部１６によって決定された参照範囲Ｂ内に含まれる背景画素の出力データに基づいて、画素分類フェーズにおいて分類された混在画素Ａの画素データの中から、１つの混在画素Ａの画素データを、出力データとして選択する。このとき、出力データとして選択される混在画素Ａの画素データは、画素分類フェーズで生成した分類用ヒストグラムにおいて最も度数が大きい混合画素Ａの画素データであるとは限らない。このように、出力データ選択部１７では、参照範囲Ｂ内に含まれる背景画素の出力データに基づいて、背景像が写っている可能性が高い混在画素Ａの画素データを、出力データとして選択することができる。

そして、出力データ選択部１７は、出力データとして選択した混在画素Ａの画素データを記録部１３に保存し、動体除去画像生成フェーズにおいて画像処理部１４が、記録部１３に保存された出力データを用いて動体除去画像を生成する。このようにして、撮像装置１０では、図３に示した画像から、１枚の動体除去画像を生成することができる。

ここで、撮像装置１０の動体除去画像生成処理における出力データ選択フェーズの処理の別の具体例について説明する。図７および図８は、本第１の実施形態における画像処理装置を適用した撮像装置１０におけるそれぞれの処理の別の具体例を説明する図である。なお、以下の説明においては、上述した撮像装置１０の動体除去画像生成処理における出力データ選択フェーズの処理と同様に、３枚（フレーム）の入力画像から、不要な移動体の画素データを動体として除去した出力データを選択する場合を説明する。

図７は、本第１の実施形態における画像処理装置を適用した撮像装置において撮影した画像の別の一例を示した図である。図７に示した画像は、図３に示した画像と同様に、樹木の前を自動車が通過しているシーンを撮像部１２が連続して撮影した画像である。ただし、図７に示した画像は、図３に示した画像よりも焦点距離が短い場合の画像である。なお、以下の説明においても、入力画像のそれぞれの画素データは、色情報のデータであるものとし、自動車の色は「青色」であるものとする。

図７を見てわかるように、撮像部１２が撮影したそれぞれの時刻の画像において、同一の座標位置Ｃに配置されている注目画素の画素データは、不要な移動体である青色の自動車のデータが２枚（撮影時刻ｔ＝０および撮影時刻ｔ＝１）と、背景である樹木の幹（茶色）のデータが１枚（撮影時刻ｔ＝２）である。このため、それぞれの注目画素も、動体除去画像生成処理の画素分類フェーズにおいて混在画素（以下、「混在画素Ｃ」という）に分類され、この状態をまとめて表で表すと、図４に示した表と同様になる。

なお、図７に示した画像において参照範囲決定部１６が決定する参照範囲Ｄは、図３に示した画像よりも焦点距離が短いため、図３に示した参照範囲Ｂよりも小さい範囲になる。ここでは、参照範囲決定部１６が記録部１３から取得した焦点距離が５０ｍｍで、主要被写体距離が５ｍであるものとする。従って、参照範囲決定部１６は、保持している参照範囲最適化決定テーブル（図５）から、１０×１０画素の範囲を、参照範囲Ｄに決定する。

出力データ選択部１７は、参照範囲Ｄ内に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成する。図８は、本第１の実施形態における画像処理装置において生成した、参照範囲Ｄ内に含まれる画素データの周辺画素ヒストグラムの一例を示した図である。図８には、図７に示した３枚の画像の全てにおいて移動体である自動車が含まれない背景画素が、参照範囲Ｄ内に４５画素存在していたものとして生成した周辺画素ヒストグラムの一例を示している。図８に示した周辺画素ヒストグラムにおいても、度数が１以上である階級が、青色（空の色）および茶色（樹木の幹の色）の２つの階級であることから、参照範囲Ｄ内の背景には、青色（空）または茶色（樹木の幹）のいずれかの背景像が写っていることがわかる。

出力データ選択部１７は、図２に示したステップＳ２０以降と同様に、周辺画素ヒストグラムにおいて度数の大きい画素データから順に、階級の出力データが同じ値である混在画素Ｃを検索し、検索された混在画素Ｃの画素データの中から、撮影時刻が最も早い入力画像における混在画素Ｃの画素データを、動体除去画像において座標位置Ｃに対応する動体除去画素の出力データとして選択する。

図７および図８に示した別の具体例では、図８に示した周辺画素ヒストグラムにおいて最も度数が大きい階級である茶色（樹木の幹の色）と同じ値である撮影時刻ｔ＝２の混在画素Ｃの画素データが、動体除去画像において座標位置Ｃに対応する動体除去画素の出力データとして選択される。このように、出力データ選択部１７では、参照範囲Ｄ内に含まれる背景画素の出力データに基づいて、背景像が写っている可能性が高い混在画素Ｃの画素データを、出力データとして選択する。これにより、撮像装置１０では、図７に示した画像からも、１枚の動体除去画像を生成することができる。

上記に述べたように、本第１の実施形態における画像処理装置を適用した撮像装置１０では、撮像部１２が連続して撮影したＮ枚の入力画像において同一の座標位置に配置されているＮ個の注目画素の画素データの中から、１つの注目画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。このとき、本第１の実施形態における画像処理装置では、Ｎ個の注目画素の画素データに対して分類用ヒストグラムを生成し、分類用ヒストグラムの度数が高い場合には、この注目画素を背景画素とし、背景画素の画素データを動体除去画素の出力データとして選択する。また、分類用ヒストグラムの度数が低い場合には、この注目画素を混在画素とし、被写体像の大きさに応じて決定された参照範囲内の背景画素の出力データに基づいて、いずれか１つの混在画素の画素データを動体除去画素の出力データとして選択する。これにより、本第１の実施形態における画像処理装置では、背景よりも移動体の方が長い時間写っているため、従来では不要な移動体の画素データが動体除去画像を形成するための出力データとして選択されてしまう場合でも、背景の画素の画素データを正しく選択できる確率を向上させることができる。このことにより、本第１の実施形態における画像処理装置を適用した撮像装置１０では、入力画像の同一の位置に写っている移動体を除去し、入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像（動体除去画像）を生成することができる。

なお、本第１の実施形態における画像処理装置を適用した撮像装置１０では、参照範囲決定部１６が決定した参照範囲の大きさを表す情報を、画像データに対応付けて記録部１３に出力する構成にすることもできる。この場合、出力データ選択部１７は、記録部１３に保存されている参照範囲の大きさを表す情報を取得し、取得した参照範囲の大きさを表す情報に基づいて、参照範囲内に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成して、１つの混在画素の画素データを選択する。

また、上記の説明では、本第１の実施形態の画像処理装置を、撮像装置に適用した場合について説明したが、本第１の実施形態の画像処理装置を適用することができる装置は、図１に示したような、撮像装置に限定されるものではない。ここで、本第１の実施形態の画像処理装置を適用した別の構成について説明する。

図９は、本第１の実施形態における画像処理装置を適用した情報処理装置の概略構成を示したブロック図である。図９に示した情報処理装置２０は、入力部１１と、記録部１３と、画像処理部１４と、制御部１５と、参照範囲決定部１６と、出力データ選択部１７と、を備えている。なお、図９に示した情報処理装置２０においては、画像処理部１４と、参照範囲決定部１６と、出力データ選択部１７との構成によって、本第１の実施形態の画像処理装置を構成している。

図９に示した情報処理装置２０は、図１に示した撮像装置１０から撮像部１２が削除された構成である。従って、情報処理装置２０のそれぞれの構成要素に関する詳細な説明は、省略する。

情報処理装置２０においても、連続して撮影されたＮ枚の画像データと、画像データに対応した撮影時の焦点距離の情報および主要被写体距離の情報とが記録部１３に保存されている場合には、図１に示した撮像装置１０と同様に、不要な移動体を除去した動体除去画像を生成することができる。

＜第２の実施形態＞
次に、第２の実施形態の画像処理装置について説明する。なお、以下の説明においても、第１の実施形態と同様に、例えば、デジタルスチルカメラなどの撮像装置に、本第２の実施形態の画像処理装置を適用した場合の一例について説明する。図１０は、本第２の実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。図１０に示した撮像装置３０は、入力部１１と、撮像部１２と、記録部１３と、画像処理部１４と、制御部１５と、参照範囲決定部１６と、出力データ選択部１７と、被写体距離測定部３８と、を備えている。なお、図１０に示した撮像装置３０においては、画像処理部１４と、参照範囲決定部１６と、出力データ選択部１７と、被写体距離測定部３８との構成によって、本第２の実施形態の画像処理装置を構成している。

本第２の実施形態の画像処理装置を適用した撮像装置３０は、第１の実施形態の画像処理装置を適用した撮像装置１０の構成要素に、被写体距離測定部３８が追加された構成である。なお、撮像装置３０における入力部１１と、記録部１３と、画像処理部１４と、制御部１５とは、撮像装置１０の構成要素と同様の機能の構成要素である。また、撮像装置３０における撮像部１２と、参照範囲決定部１６と、出力データ選択部１７とは、撮像装置１０の構成要素とほぼ同様の機能の構成要素である。従って、以下の説明においては、撮像装置１０と同様またはほぼ同様の機能の構成要素には、同一の符号を付与して詳細な説明は省略し、撮像装置１０と異なる構成要素および異なる機能について説明する。

撮像部１２は、撮像装置１０に備えた撮像部１２の機能に加えて、結像用のレンズによって集光した被写体の光を、被写体距離測定部３８に出力する機能を備えている。ただし、撮像装置３０に備えた撮像部１２では、撮像装置１０に備えた撮像部１２において行っていた主要被写体距離の情報の記録部１３への出力は行わない。なお、撮像装置３０に備えた撮像部１２が記録部１３に出力するＮ枚の画像データも、撮影する画角の位置が合うように補正されている、すなわち、全ての画像データ内で同一の座標位置に配置されているそれぞれの画素の座標位置は、被写体の光学像の同じ場所を露光したときの位置となっている画像データである。

被写体距離測定部３８は、位相差センサを備え、撮像部１２から入力された被写体の光を使用し、撮像部１２による撮像で、特定の画素に撮像される被写体までの距離を測定する。本第２の実施形態では、被写体距離測定部３８が被写体までの距離の測定を行う座標位置に対応した特定の画素（以下、「測距情報保有画素」という）が、離散的に複数配置されている。そして、被写体距離測定部３８は、測距情報保有画素に対応したそれぞれの座標位置において測定した被写体までの複数の距離（以下、「測距被写体距離」という）の情報を、記録部１３に出力する。

参照範囲決定部１６は、撮像装置１０に備えた参照範囲決定部１６と同様に、出力データ選択部１７が動体除去処理を行う際に参照する参照範囲を決定する。ただし、撮像装置３０に備えた参照範囲決定部１６では、記録部１３から入力された焦点距離の情報および測距被写体距離の情報に基づいて、参照範囲を決定する。なお、参照範囲の決定は、撮像装置１０に備えた参照範囲決定部１６と同様に、焦点距離とそれぞれの測距被写体距離とに対応した参照範囲最適化テーブルを用いて行うが、被写体距離測定部３８が複数の測距情報保有画素に対応した座標位置において複数の測距被写体距離を測定するため、参照範囲決定部１６は、それぞれの測距情報保有画素に対応した座標位置における複数の参照範囲を決定する。なお、参照範囲決定部１６における参照範囲の決定処理に関する詳細な説明は、後述する。

出力データ選択部１７は、撮像装置１０に備えた出力データ選択部１７と同様に、記録部１３から入力された全ての入力画像のそれぞれの画素毎に動体除去処理を行って、動体除去画像において対応する動体除去画素の出力データを順次選択する。出力データ選択部１７による動体除去処理では、撮像装置１０に備えた出力データ選択部１７と同様に、参照範囲決定部１６によって決定された参照範囲内に含まれる背景画素の出力データに基づいて選択する場合もある。ただし、参照範囲決定部１６は、複数の参照範囲を決定するため、出力データ選択部１７は、現在処理している注目画素の座標位置に対応する１つの参照範囲を参照して、動体除去処理を行う。そして、出力データ選択部１７は、撮像装置１０に備えた出力データ選択部１７と同様に、入力画像のそれぞれの画素に対する動体除去処理を、入力画像の画素数と同じ回数繰り返すことによって、動体除去画像における全ての画素の出力データを選択して記録部１３に出力する。なお、出力データ選択部１７における動体除去処理に関する詳細な説明は、後述する。

このように、撮像装置３０でも、本第２の実施形態の画像処理装置が、記録部１３から入力された全ての入力画像において、同一の座標位置に配置されているそれぞれの注目画素の画素データ、および参照範囲内に含まれる周辺画素の中の背景画素の出力データに基づいて動体除去処理を順次行って、対応する動体除去画素の出力データを順次記録部１３に出力し、画像処理部１４が動体除去画像を生成する。

次に、撮像装置３０における動体除去画像生成処理について説明する。撮像装置３０では、撮像装置１０と同様に、動体除去画像生成処理を、モード設定フェーズ、画素分類フェーズ、出力データ選択フェーズ、および動体除去画像生成フェーズに分けて、それぞれの処理を実行する。

（モード設定フェーズ）：ユーザが入力部１１のモード変更スイッチを押下して動体除去画像を生成するモードに変更することによって、制御部１５は、撮像装置３０の動作モードを動体除去画像生成モードに移行させ、動体除去画像生成処理を開始する。そして、ユーザが、撮像部１２の結像用のレンズの焦点を主要被写体に合わせた後、入力部１１の撮像開始指示スイッチを押下すると、撮像部１２は、一定の間隔をおきながら連続したＮ枚の画像を撮影し、撮影したＮ枚の画像データを記録部１３に保存する。さらに、撮像部１２は、撮影開始時の焦点距離の情報を、記録部１３に保存する。

また、ユーザが入力部１１の撮像開始指示スイッチを押下したとき、被写体距離測定部３８は、撮像部１２が連続したそれぞれの画像を撮影するタイミングに合わせて、撮像部１２から入力された被写体の光を使用して、測距情報保有画素に対応した座標位置における被写体までの距離を測定する。そして、被写体距離測定部３８は、撮像部１２がＮ枚の画像の撮影を完了したとき、複数の測距情報保有画素に対応した座標位置において測定した被写体までの複数の測距被写体距離の情報を、それぞれの測距情報保有画素で１つずつ、記録部１３に保存する。より具体的には、被写体距離測定部３８は、それぞれの測距情報保有画素に対応した座標位置において、撮像部１２が撮影する画像の枚数と同じ回数だけ測距被写体距離を測定する、すなわち、同じ測距情報保有画素に対応した座標位置において、Ｎ個の測距被写体距離を取得する。そこで、被写体距離測定部３８は、同じ測距情報保有画素に対応した座標位置において測定したＮ個の測距被写体距離の中で、最も被写体までの距離が短い測距被写体距離を、その測距情報保有画素に対応した座標位置における測距被写体距離の情報として、記録部１３に保存する。そして、制御部１５は、撮像装置３０による動体除去画像生成処理を、画素分類フェーズに移行させる。

（画素分類フェーズ）：撮像装置３０が画素分類フェーズに移行すると、撮像装置１０における画素分類フェーズと同様に、出力データ選択部１７は、記録部１３から入力されたＮ枚の入力画像において同一の座標位置に配置されているＮ個の注目画素の画素データに対して分類用ヒストグラムを生成し、生成した分類用ヒストグラムの結果から、注目画素を背景画素または混在画素に分類する。そして、入力画像に含まれる全ての画素に対する背景画素または混在画素への分類が完了すると、制御部１５は、撮像装置３０による動体除去画像生成処理を、出力データ選択フェーズに移行させる。

（出力データ選択フェーズ）：撮像装置３０が出力データ選択フェーズに移行すると、撮像装置１０における出力データ選択フェーズと同様に、出力データ選択部１７は、画素分類フェーズにおいて分類された背景画素の画素データの内、１つの背景画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。なお、出力データ選択部１７によって出力データとして選択される背景画素の画素データは、Ｎ個の背景画素の画素データの内、撮影時刻が最も早い入力画像における背景画素の画素データである。

また、出力データ選択部１７は、撮像装置１０における出力データ選択フェーズと同様に、画素分類フェーズにおいて分類された混在画素の画素データの中から、１つの混在画素の画素データを、参照範囲決定部１６によって決定された参照範囲内に含まれる、画素分類フェーズにおいて分類された背景画素の画素データに基づいて選択する。混在画素の画素データの選択においては、撮像装置１０における出力データ選択フェーズと同様に、まず、参照範囲決定部１６が、参照範囲を決定する。ただし、撮像装置１０では、参照範囲決定部１６が、撮影開始時の焦点距離の情報と主要被写体距離の情報とに基づいて、全ての混在画素に対して同じ画素数の範囲を参照範囲として決定していたが、撮像装置３０では、参照範囲決定部１６が、撮影開始時の焦点距離の情報と、それぞれの測距情報保有画素に対応した座標位置における測距被写体距離の情報とに基づいて、それぞれの混在画素に対応した画素数の範囲を参照範囲として決定する。

より具体的には、参照範囲決定部１６は、ある混在画素に対応した参照範囲を決定する際に、その混在画素の座標位置に最も近い座標位置の測距情報保有画素における測距被写体距離の情報を、その混在画素における測距被写体距離の情報とする。そして、参照範囲決定部１６は、撮影開始時の焦点距離の情報と、その測距被写体距離の情報とを、記録部１３から取得し、取得した焦点距離の情報と測距被写体距離の情報とに基づいて、参照範囲を決定する。このようにして、参照範囲決定部１６は、それぞれの混在画素に対応した参照範囲を決定する。

その後、撮像装置１０における出力データ選択フェーズと同様に、出力データ選択部１７は、それぞれの混在画素に対応した参照範囲内に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成する。そして、撮像装置１０における出力データ選択フェーズと同様に、出力データ選択部１７は、生成した周辺画素ヒストグラムにおいて度数の大きい階級の出力データから順に、Ｎ個の混在画素の画素データと比較して、１つの混在画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。

出力データ選択部１７は、入力画像に含まれる全ての画素に対して、動体除去画像において対応する動体除去画素の出力データの選択を順次行い、選択した出力データを記録部１３に保存する。そして、入力画像に含まれる全ての画素に対する出力データの選択が完了すると、制御部１５は、撮像装置３０による動体除去画像生成処理を、動体除去画像生成フェーズに移行させる。

（動体除去画像生成フェーズ）：撮像装置３０が動体除去画像生成フェーズに移行すると、撮像装置１０における動体除去画像生成フェーズと同様に、画像処理部１４は、出力データ選択部１７によって選択された出力データを用いて、１枚の動体除去画像を形成し、記録部１３に保存する。

なお、上述した撮像装置３０の動体除去画像生成処理においても、撮像装置１０の動体除去画像生成処理と同様に、分類用ヒストグラムや周辺画素ヒストグラムを生成する際には、階級に予め定めた幅をもたせて生成してもよい。この場合、階級の下限値から上限値の間の値の画素データは、同一階級のデータとしてカウントされる。

次に、撮像装置３０の動体除去画像生成処理における出力データ選択フェーズの処理の具体例について説明する。なお、撮像装置３０の動体除去画像生成処理における出力データ選択フェーズの処理の手順は、図２に示した撮像装置１０の動体除去画像生成処理における出力データ選択フェーズの処理のフローチャートにおいて参照範囲が異なるのみであり、同様に考えることができるため、詳細な説明は省略する。

図１１は、本第２の実施形態における画像処理装置を適用した撮像装置３０において撮影した画像の一例を示した図である。図１１に示した画像は、樹木の前を自動車が通過しているシーンを撮像部１２が連続して撮影した画像の中の１枚の画像である。撮像装置３０の動体除去画像生成処理における出力データ選択フェーズの処理では、上述したように、それぞれの混在画素に対応した参照範囲を決定する。図１１に示した画像には、座標位置Ｅに配置されている混在画素（以下、「混在画素Ｅ」という）に対応した参照範囲Ｆと、座標位置Ｇに配置されている混在画素（以下、「混在画素Ｇ」という）に対応した参照範囲Ｈとを同時に表している。

参照範囲決定部１６による参照範囲の決定では、上述したように、焦点距離と測距被写体距離とに対応した参照範囲最適化テーブルを用いる。ここでは、参照範囲決定部１６は、図５に示した参照範囲最適化テーブルを保持しているものとする。

このとき、参照範囲決定部１６が記録部１３から取得した焦点距離が９０ｍｍで、混在画素Ｅに対応した測距被写体距離が３ｍであり、混在画素Ｇに対応した測距被写体距離が１０ｍであるものとする。これにより、参照範囲決定部１６は、保持している参照範囲最適化決定テーブル（図５）から、３０×３０画素の範囲を混在画素Ｅに対応した参照範囲Ｆに決定し、２０×２０画素の範囲を混在画素Ｇに対応した参照範囲Ｈに決定する。

このように、参照範囲決定部１６は、測距被写体距離に合わせた、適切な画素の範囲を参照範囲に決定する。すなわち、図１１を見てわかるように、同じ焦点距離においては、測距被写体距離が長いほど（被写体が遠くにあるほど）画素の範囲が小さくなるような範囲を参照範囲にする。

そして、出力データ選択部１７は、決定したそれぞれの参照範囲（参照範囲Ｆおよび参照範囲Ｈ）に含まれる背景画素の出力データに対して周辺画素ヒストグラムを生成し、それぞれの参照範囲内に含まれる背景画素の出力データに基づいて、背景像が写っている可能性が高いそれぞれの混在画素（混在画素Ｅおよび混在画素Ｇ）の画素データを、出力データとしてそれぞれ選択する。

上記に述べたように、本第２の実施形態における画像処理装置を適用した撮像装置３０でも、第１の実施形態における画像処理装置を適用した撮像装置１０と同様に、撮像部１２が連続して撮影したＮ枚の入力画像において同一の座標位置に配置されているＮ個の注目画素の画素データの中から、１つの注目画素の画素データを、動体除去画像において対応する動体除去画素の出力データとして選択する。このとき、本第２の実施形態における画像処理装置では、第１の実施形態における画像処理装置と同様に、Ｎ個の注目画素の画素データに対して分類用ヒストグラムを生成し、分類用ヒストグラムの度数が高い場合には、この注目画素を背景画素とし、背景画素の画素データを動体除去画素の出力データとして選択する。また、本第２の実施形態における画像処理装置では、被写体距離測定部３８が、複数の測距情報保有画素に対応したそれぞれの座標位置において、測距被写体距離を測定する。そして、分類用ヒストグラムの度数が低い場合には、撮影開始時の焦点距離の情報と、測定したそれぞれの測距被写体距離の情報とに基づいて、それぞれの混在画素に対応した参照範囲を決定し、参照範囲内の背景画素の出力データに基づいて、いずれか１つの混在画素の画素データを動体除去画素の出力データとして選択する。これにより、本第２の実施形態における画像処理装置では、画像内に複数の移動体が写っており、それぞれの移動体までの測距被写体距離が一様ではないシーンにおいても、それぞれの測距被写体距離に合った適切な参照範囲から、背景の画素の画素データを正しく選択できる確率を向上させることができる。このことにより、本第２の実施形態における画像処理装置を適用した撮像装置３０でも、入力画像の同一の位置に写っている移動体を除去し、入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像（動体除去画像）を生成することができる。

なお、本第２の実施形態における画像処理装置を適用した撮像装置３０では、被写体距離測定部３８が測定を行う座標位置に対応した複数の測距情報保有画素が、撮像部１２によって撮影される画像内に離散的に配置されている場合について説明したが、被写体距離測距部３８による測定は、上述したように離散的な座標位置に対して行われる場合に限らない。例えば、被写体距離測定部３８が、撮像部１２に備えた撮像素子の全てに対応する座標位置について、被写体までの距離を測定することができるセンサを備え、撮像素子の全画素に対応する測距被写体距離の情報を、それぞれの画素毎に記録部１３に出力する構成にすることもできる。この場合には、測距情報保有画素が画像内に離散的に配置されているときには、混在画素の座標位置に最も近い座標位置に配置された測距情報保有画素における測距被写体距離の情報を、その混在画素における測距被写体距離の情報としていたのに対し、混在画素の座標位置における測距被写体距離の情報を、その混在画素における測距被写体距離の情報とすることができる。これにより、混在画素に最も適した画素の範囲を参照範囲に決定することができる。

また、上記の説明でも、本第２の実施形態の画像処理装置を、撮像装置に適用した場合について説明したが、本第２の実施形態の画像処理装置を適用することができる装置は、図１０に示したような、撮像装置に限定されるものではない。ここで、本第２の実施形態の画像処理装置を適用した別の構成について説明する。

図１２は、本第２の実施形態における画像処理装置を適用した情報処理装置の概略構成を示したブロック図である。図１２に示した情報処理装置４０は、入力部１１と、記録部１３と、画像処理部１４と、制御部１５と、参照範囲決定部１６と、出力データ選択部１７と、被写体距離測定部３８と、を備えている。なお、図１２に示した情報処理装置４０においては、画像処理部１４と、参照範囲決定部１６と、出力データ選択部１７と、被写体距離測定部３８との構成によって、本第２の実施形態の画像処理装置を構成している。

図１２に示した情報処理装置４０は、図１０に示した撮像装置３０から撮像部１２が削除された構成である。従って、情報処理装置４０のそれぞれの構成要素に関する詳細な説明は、省略する。

情報処理装置４０においても、連続して撮影されたＮ枚の画像データと、画像データに対応した撮影時の焦点距離の情報と、画像データ内の特定の座標位置における複数の測距被写体距離の情報とが記録部１３に保存されている場合には、図１０に示した撮像装置３０と同様に、不要な移動体を除去した動体除去画像を生成することができる。

上記に述べたように、本発明を実施するための形態によれば、複数枚の入力画像において同一の座標位置に配置されている画素（本実施形態における「注目画素」）の画素データに基づいて、この注目画素を、主として背景像が写った可能性が高い注目画素（本実施形態における「背景画素」）、または背景と動体とのいずれも写った注目画素（本実施形態における「混在画素」）のいずれか一方に分類する。そして、本発明を実施するための形態では、背景画素の画素データを、動体除去画像において注目画素と同一の座標位置に配置されている動体除去画素の画素データ（本実施形態における「出力データ」）として出力し、いずれか１つの混在画素の画素データを、混在画素の周辺に配置された背景画素の出力データに基づいて選択して、動体除去画素の出力データとして出力する。このとき、本発明を実施するための形態では、いずれか１つの混在画素の画素データを選択するために参照する、混在画素の周辺に配置された背景画素の範囲（本実施形態における「参照範囲」）を、入力画像を撮影したときの焦点距離および被写体距離に基づいて決定する。これにより、本発明を実施するための形態では、入力画像に写っている同じ被写体を背景として選択する際に、焦点距離や被写体距離によって変わる被写体像の大きさに合わせた、適切な範囲の参照範囲を決定することができる。

また、本発明を実施するための形態によれば、参照範囲内に含まれる周辺画素の中の背景画素の出力データに基づいて、いずれか１つの混在画素の画素データを動体除去画素の出力データとして選択する。これにより、本発明を実施するための形態では、参照範囲内に写っている背景の画素として不適切な画素を含めずに、背景の画素の画素データを正しく選択できる確率を向上させることができる。このことにより、本発明を実施するための形態では、入力画像の同一の位置に写っている移動体を除去し、入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像（動体除去画像）を生成するための各画素の出力データを、より精度よく選択して出力することができる。

また、本発明を実施するための形態によれば、常に参照範囲内に含まれる注目画素の出力データに基づいて動体除去の処理を行うのではなく、一旦それぞれの注目画素を背景画素または混在画素のいずれか一方に分類して、背景画素は、動体除去画素の出力データとして出力し、混在画素についてのみ出力データ選択フェーズの処理を実行する。このため、動体除去処理の処理速度の低下を少なくすることができる。

なお、本実施形態においては、出力データ選択部１７が、注目画素の画素データのヒストグラム（分類用ヒストグラム）を生成することによって、それぞれの注目画素を背景画素または混在画素のいずれか一方に分類する場合について説明した。しかし、注目画素を背景画素または混在画素のいずれか一方に分類する方法は、本実施形態に限定されるものではなく、他の方法によって注目画素を背景画素または混在画素のいずれか一方に分類する構成であってもよい。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０，３０・・・撮像装置
１１・・・入力部
１２・・・撮像部
１３・・・記録部
１４・・・画像処理部（画像処理装置）
１５・・・制御部
１６・・・参照範囲決定部（画像処理装置）
１７・・・出力データ選択部（画像処理装置）
３８・・・被写体距離測定部（画像処理装置）
２０，４０・・・情報処理装置

Claims (10)

1. 入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成する画像処理装置であって、
   それぞれの前記入力画像において同一の位置に配置され、背景と動体とのいずれも写った、現在処理する対象の画素である混在画素の周辺に配置されている画素である複数の周辺画素の内、主として背景像が写った可能性が高い画素である背景画素の画素データを要素として生成した度数分布に基づいて、それぞれの前記入力画像に対応した複数の前記混在画素の画素データの中から、１つの前記混在画素の画素データを、前記動体除去画像において前記混在画素と同一の位置に配置される画素の画素データとして選択する出力データ選択部と、
   前記度数分布を生成するために用いる前記周辺画素の範囲である参照範囲を、前記入力画像が撮影されたときの撮影パラメータに基づいて決定する参照範囲決定部と、
   を備えることを特徴とする画像処理装置。
2. 前記撮影パラメータは、
   前記入力画像が撮影されたときの焦点距離、および前記入力画像に含まれる少なくとも１つの被写体までの距離を表す被写体距離であり、
   前記参照範囲決定部は、
   前記焦点距離が短いほど小さくなり、同じ前記焦点距離においては、前記被写体距離が長いほど小さくなるような前記周辺画素の範囲を、前記参照範囲として決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体距離は、
   前記入力画像における複数の特定の位置に含まれる被写体までの距離を表す複数の被写体距離であり、
   前記参照範囲決定部は、
   前記焦点距離とそれぞれの前記被写体距離とに基づいて、前記入力画像における複数の特定の位置のそれぞれに対応した複数の前記参照範囲を決定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記出力データ選択部は、
   複数の前記混在画素の画素データの中から、前記度数分布の度数が１以上の階級の画素データと同じ値であって、最も度数が大きい階級の画素データと同じ値の画素データを、前記動体除去画像の画素データとして選択する、
   ことを特徴とする請求項１から請求項３のいずれか１つの項に記載の画像処理装置。
5. 前記出力データ選択部は、
   前記度数分布の度数が最も大きい階級から順に、該階級の画素データと複数の前記混在画素の画素データとを比較し、該比較している画素データと同じ値の画素データの内、撮影時刻が最も早い前記入力画像における前記混在画素の画素データを、前記動体除去画像の画素データとして選択する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画素データは、
   前記入力画像内の各位置に配置された画素において、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータである、
   ことを特徴とする請求項１から請求項５のいずれか１つの項に記載の画像処理装置。
7. 前記画素データは、
   前記入力画像内の各位置に配置された画素において、該入力画像を取得する際に用いられた撮像素子から出力された信号に応じた値のデータである、
   ことを特徴とする請求項１から請求項５のいずれか１つの項に記載の画像処理装置。
8. 被写体を撮影する撮像装置であって、
   入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、
   前記撮像部から出力された複数枚の前記画像を記録する記録部と、
   前記記録部に記録された画像が同じ画角に補正されて入力画像として複数入力され、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成する、請求項１から請求項７のいずれか１つの項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
9. 入力された同じ画角の複数の入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成する画像処理方法であって、
   それぞれの前記入力画像において同一の位置に配置され、背景と動体とのいずれも写った、現在処理する対象の画素である混在画素の周辺に配置されている画素である複数の周辺画素の内、主として背景像が写った可能性が高い画素である背景画素の画素データを要素として生成した度数分布に基づいて、それぞれの前記入力画像に対応した複数の前記混在画素の画素データの中から、１つの前記混在画素の画素データを、前記動体除去画像において前記混在画素と同一の位置に配置される画素の画素データとして選択する出力データ選択ステップと、
   前記度数分布を生成するために用いる前記周辺画素の範囲である参照範囲を、前記入力画像が撮影されたときの撮影パラメータに基づいて決定する参照範囲決定ステップと、
   を含むことを特徴とする画像処理方法。
10. 被写体を撮影する撮像装置による撮像方法であって、
    入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、
    記録部に、前記撮像部から出力された複数枚の前記画像を記録させる記録ステップと、
    請求項１から請求項７のいずれか１つの項に記載の画像処理装置に、前記記録部に記録された画像を同じ画角に補正して入力画像として複数入力し、該入力された複数の前記入力画像から、動体を除去した背景のみが含まれる動体除去画像を生成させる画像処理ステップと、
    を含むことを特徴とする撮像方法。

Images