JP2016146601A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】被写体の距離を考慮することによって画像中の静止被写体と移動被写体とを精度よく判別することが可能な画像処理装置およびその制御方法を提供する。
【解決手段】距離情報を用いて、画像の領域をグループ化する。グループごとに、他の画像に対する動きを検出し、動きの大きさを、特定の距離に基づいて正規化する。そして、大きさが正規化された動きに基づいて、グループごとに、静止被写体の領域か移動被写体の領域かを判定する。
【選択図】図１

Description

本発明は画像処理装置およびその制御方法に関し、特には複数の画像を合成するための技術に関する。

撮影範囲の重複した複数の画像を位置合わせして合成することにより、ノイズを低減した画像を取得したり、ダイナミックレンジを拡大した画像を取得したりする技術が知られている。このような画像合成技術において、合成する画像を幾何変換して基準画像と位置合わせする方法が知られており、アフィン変換や射影変換が代表的な幾何変換として用いられている。

幾何変換を規定する係数（幾何変換係数）は、合成する画像と基準画像の両方に含まれる被写体の動きの方向と大きさを表す複数の動きベクトルから算出することができる。画像間での被写体の移動は、手持ち撮影時のように撮影位置および／または撮影方向の変化によって画像全体に生じるものと、被写体自体が背景に対して移動することで生じるものに大別できる。そして、前者の移動を表す動きベクトルをグローバル動きベクトル、後者の移動を表す動きベクトルを動体の動きベクトルと呼ぶ。

画像間で静止被写体を位置合わせするためには、グローバル動きベクトルのみで算出された幾何変換係数を用いる必要がある。また、移動被写体を位置合わせするためには、被写体毎に動体の動きベクトルから算出された幾何変換係数を用いる必要がある。

特許文献１には、グローバルな動きベクトルと、画像を複数のブロックに分割してブロックごとに算出したローカル動きベクトルとの一致度から、各ブロックが背景か移動被写体なのか判定し、位置合わせに用いる動きベクトルを決定する方法が開示されている。

特許文献２には、複数のテンプレートの各々について得られる動きベクトルの頻度分布を算出し、最大頻度の動きベクトルをグローバル動きベクトルと判定する方法が開示されている。

特開２０１２−１４２８２８号公報 特開２００６−９４５６０号公報

カメラの動きによる撮像画像内の被写体の移動量は被写体距離によって異なり、近い被写体ほど画像内での移動量は大きくなる。しかしながら、特許文献１や特許文献２では、グローバル動きベクトルの算出に被写体距離を考慮していないため、近距離の静止被写体に関する動きベクトルを移動被写体の動きベクトルと誤判定する可能性があった。

また、移動被写体が画像内で占める面積が大きいと動体の動きベクトルが支配的になるため、数の多い動体の動きベクトルがグローバル動きベクトルとして誤判定される可能性もあった。

本発明はこのような従来技術の課題に鑑み、被写体の距離を考慮することによって画像中の静止被写体と移動被写体とを精度よく判別することが可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、距離情報を用いて、画像の領域をグループ化するグループ化手段と、グループごとに、他の画像に対する動きを検出する検出手段と、動きの大きさを、特定の距離に基づいて正規化する正規化手段と、大きさが正規化された動きに基づいて、グループごとに、静止被写体の領域か移動被写体の領域かを判定する判定手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、被写体の距離を考慮することによって画像中の静止被写体と移動被写体とを精度よく判別することが可能な画像処理装置およびその制御方法を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 図１の撮像部２０５の構成例を示す図 図１の距離情報算出部２１０の動作を説明するための図 第１の実施形態に係る位置合わせ処理を説明するためのフローチャート 第１の実施形態に係る位置合わせ処理を説明するためのフローチャート 第１の実施形態を説明するための撮影シーンを示す図 第１の実施形態におけるグループ化処理を説明するための図 実施形態における動きベクトルの算出処理を説明するための図 第１の実施形態における代表動きベクトルと正規化代表動きベクトルの例を示す図 実施形態における推定グローバル動きベクトルの生成処理を説明するための図 実施形態における動き判定処理を説明するための図 実施形態における再判定処理を説明するためのフローチャート 実施形態における再判定処理を説明するための図 実施形態における、他の幾何変換係数から幾何変換係数を算出する方法の例を説明するための図 第２の実施形態を説明するための撮影シーンを示す図 第２の実施形態に係る位置合わせ処理の動作を説明するためのフローチャート 第２の実施形態における１段目のグループ化処理を説明するための図 第２の実施形態における２段目のグループ化処理を説明するための図 第２の実施形態における代表動きベクトルの例を示す図 第２の実施形態における正規化代表動きベクトルの例を示す図

●（第１の実施形態）
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、ここでは被写体の距離情報を取得可能な画像処理装置の一例としての、撮像素子の各画素が複数の光電変換領域を有し、１度の撮影（露光）で複数の視差画像を取得可能な構成を有するデジタルカメラに本発明を適用した例を説明する。しかしながら、多眼カメラを用いるなど、他の方法で視差画像を取得してもよい。また、被写体の距離情報が取得できれば、必ずしも視差画像を用いなくてもよい。

さらに、本発明において撮像機能や被写体の距離情報を生成する機能は必須でない。例えば、画像データと、この画像データが表す画像中の被写体の距離情報とが対応付けて記憶された記憶装置から、合成を行う複数の画像データと、対応する被写体の距離情報とを取得する構成であってよい。距離情報は例えば距離画像、奥行き画像、デプスマップなどと呼ばれる形式の情報であってよい。

図１は、本実施形態に係るデジタルカメラ２００の機能構成例を示すブロック図である。
システム制御部２０１は例えばＣＰＵであり、デジタルカメラ２００が備える各ブロックの制御プログラムをＲＯＭ２０２より読み出し、ＲＡＭ２０３に展開して実行することにより各ブロックの動作を制御し、デジタルカメラ２００の各種機能を実現する。

ＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ２００が備える各ブロックの制御プログラムに加え、各ブロックの動作に必要なパラメータや、ＧＵＩデータ等を記憶する。また、射出瞳距離などのレンズ情報もＲＯＭ２０２が記憶する。

ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、制御プログラムがロードされるほか、システム制御部２０１のワークエリアや、各ブロックから出力されたデータの一時的な記憶領域などとしても用いられる。

光学系２０４は、絞りおよびフォーカスレンズを含み、撮像部２０５に被写体像を形成する。撮像部２０５（撮像手段）は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系２０４により形成された被写体像を、各画素で光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部２０６に出力する。

上述の通り、本実施形態のデジタルカメラ２００は、複数の視差画像を一度の撮影（露光）で取得することができる。このようなカメラとしてはステレオカメラの様な多眼カメラを代表としてさまざまなものが知られているが、本実施形態では、撮像部２０５（撮像素子）が受光面上に光学系２０４の射出瞳を分割するマイクロレンズアレイ（以下、ＭＬＡ）を備えている。そして、このような撮像素子で得られる複数の視差画像の位相差を検出することで、被写体の距離情報（奥行き情報）を得ることができる。また、視差画像を加算することで、通常の撮像画像も得ることができる。

Ａ／Ｄ変換部２０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データを出力する。デジタル画像データは、例えばシステム制御部２０１がＲＡＭ２０３に記憶する。

画像処理部２０７（画像処理手段）は、ＲＡＭ２０３に記憶されている画像データに、ガンマ補正処理、ホワイトバランス調整処理や、色補間処理等の画像処理を適用する。なお、画像処理部２０７は、視差画像データを加算して通常画像を生成したり、必要に応じて画像データの符号化処理や復号処理も行ったりする。

記録媒体２０８は例えば着脱可能なメモリカード等であり、画像処理部２０７で処理された画像データやＡ／Ｄ変換部２０６が出力する画像データなどが、予め定められた形式の画像ファイルとして記録される。

バス２０９は、各ブロックを、制御信号やデータを互いに通信可能に接続する。
距離情報算出部２１０（第４の算出手段）は画像処理部２０７で処理された視差画像データを読み込み、画像の各画素についての距離情報を算出する。距離情報算出部２１０の動作の詳細については後述する。

変換係数算出部２１１は、基準画像データと、基準画像データに合成する画像データ（被合成画像データ）と、被合成画像データに対応する距離情報を取得する。そして、変換係数算出部２１１（グループ化手段）は、距離情報を用いて被合成画像内の被写体領域を抽出し、被写体領域をグループ化する。あるいは、変換係数算出部２１１は、被合成画像の領域を、距離範囲ごとのグループに分類する。変換係数算出部２１１（第１の算出手段）は、被写体グループごとに動きベクトルを算出し、被写体グループの被写体領域（被写体グループ領域）を基準画像に位置合わせするための幾何変換係数を、動きベクトルに基づいて算出する。

変換係数算出部２１１（第３の算出手段）はさらに、後述する変換係数判定部２１２が出力する判定情報を所得し、判定情報からグローバルな動きと判定された被写体グループ領域の動きベクトルのみを用い、画像全体に対する幾何変換係数を算出する。

変換係数判定部２１２（生成手段）は変換係数算出部２１１が算出した幾何変換係数を用いて、被写体グループごとに代表動きベクトルを生成する。そして、変換係数判定部２１２（正規化手段および推定手段）は、代表動きベクトルを特定の距離によって正規化し、被写体距離に依存しない動きに変換してから、基準画像と被合成画像のグローバルな動きを表す動きベクトルを推定する。そして、変換係数判定部２１２（判定手段）は、被写体グループ領域の動きがグローバルな動き（静止被写体）か、個別の動き（移動被写体）かを判定し、判定結果を表す判定情報を被写体グループごとに出力する。変換係数算出部２１１と、変換係数判定部２１２は、グループごとに、他の画像に対する動きを検出する検出手段を構成する。

幾何変換部２１３（変換手段）は被合成画像データと、被写体グループごとの幾何変換係数とを取得し、被合成画像内の各グループに属する被写体領域を対応する幾何変換係数に基づいて変換し、基準画像に位置合わせされた被合成画像のデータを生成する。
もしくは幾何変換部２１３は、被合成画像データと、被合成画像全体に対する幾何変換係数とを取得し、被合成画像を幾何変換係数に基づいて変換し、基準画像に位置合わせされた被合成画像のデータを生成する。
幾何変換部２１３（合成手段）はさらに、生成した被合成画像のデータを基準画像のデータに合成する処理を行ってもよい。

次に、本実施形態における被写体の距離情報の生成方法について説明する。まず、撮像部２０５の構成例について、図２（ａ）〜図２（ｄ）を用いて説明する。図２（ａ）は撮像部２０５をデジタルカメラ２００の正面および側方から見た状態を模式的に示している。撮像部２０５が有する画素群１４３の受光面上にはＭＬＡ１４１が形成され、画素群１４３を構成する各画素は、図２（ｂ）および（ｃ）に示すように、一つのマイクロレンズ１４２と二つのフォトダイオード（光電変換領域）１４３ａ，１４３ｂで構成される。以下、フォトダイオード１４３ａをＡ像用フォトダイオード（Ａピクセル）、フォトダイオード１４３ｂをＢ像用フォトダイオード（Ｂピクセル）と呼ぶ。

図２（ｄ）は光学系２０４の射出瞳１４４を概念的に示しており、Ａ像瞳１４５ａとＡピクセル１４３ａ、Ｂ像瞳１４５ｂとＢピクセル１４３ｂは、それぞれマイクロレンズ１４２により共役の関係を有する。従って、撮像部２０５の各画素は瞳分割機能を有し、Ａピクセル１４３ａには射出瞳１４４の右半分のＡ像瞳１４５ａを通過した光束が、Ｂピクセル１４３ｂには射出瞳１４４の左半分のＢ像瞳１４５ｂを通過した光束が入射する。従って、Ａピクセル群からなる画像と、Ｂピクセル群からなる画像は視差画像である。

複数の画素について、Ａピクセル群から構成される像信号をＡ像、Ｂピクセル群から構成される像信号をＢ像とし、Ａ像とＢ像のずれ量を検出することにより、光学系２０４のデフォーカス量とデフォーカス方向を検出することができる。従って、撮像部２０５の出力する信号から位相差検出方式の自動焦点検出（ＡＦ）を実現することができる。

図２（ｅ）〜（ｇ）は位相差検出方式の焦点検出の原理を模式的に示している。図２（ｅ）の状態は被写体よりも前にピントが合っている様子を、図２（ｆ）は被写体にピントが合っている様子を、図２（ｇ）は被写体よりも後ろにピントが合っている様子をそれぞれ表している。１４７ａおよび１４７ｂは撮像部２０５に設定された焦点検出領域内の画素群から得られるＡ像およびＢ像をそれぞれ模式的に表したものである。図２（ｆ）の場合はＡ像１４７ａとＢ像１４７ｂのずれがなく、被写体に対して合焦している。図２（ｅ）の場合はＡ像１４７ａが中心に対して左側に、Ｂ像１４７ｂが中心に対して右側に離れており、図２（ｇ）の場合はＡ像１４７ａが中心に対して右側に、Ｂ像１４７ｂが中心に対して左側に離れている。このＡ像、Ｂ像のズレ量（デフォーカス量）と中心からのズレ方向、光学系２０４の焦点距離、撮像部２０５とフォーカスレンズとの距離から、被写体の距離情報を得ることができる。

次に、図３を用いて、距離情報算出部２１０が行う距離情報の算出方法について説明する。図３は被写体距離の算出方法を模式的に表している。Ａ像１５１ａとＢ像１５１ｂが得られているとすると、光学系２０４の焦点距離および、フォーカスレンズと撮像部２０５との距離情報から、実線のように光束が屈折されることがわかる。従って、ピントの合う被写体は１５２ａの位置にあることがわかる。同様にして、Ａ像１５１ａに対してＢ像１５１ｃが得られた場合には位置１５２ｂ、Ｂ像１５１ｄが得られた場合には位置１５２ｃにピントの合う被写体があることがわかる。以上のように、各画素において、その画素を含むＡ像信号と、対応するＢ像信号との相対位置から、その画素位置における被写体の距離情報を算出することができる。

例えば図３においてＡ像１５１ａとＢ像１５１ｄが得られている場合、像のずれ量の半分に相当する中間点の画素１５４から被写体位置１５２ｃまでの距離１５３を、画素１５４における被写体の距離情報として記憶する。このようにして、各画素について、被写体の距離情報を保持することが可能である。距離情報は、奥行き画像または距離画像として記憶してもよい。

次に、図４Ａおよび図４Ｂに示すフローチャートを用いて、本実施形態における被合成画像の位置合わせ処理の全体について説明する。複数の画像のうち基準画像を除く各画像に対して順次以下の位置合わせ処理が適用される。ここでは、合成を行う複数の画像が連写などによって予め取得されているものとする。

Ｓ１５００
システム制御部２０１は、被合成画像を構成する視差画像を用い、距離情報算出部２１０によって上述した方法で距離情報を算出し、例えばＲＡＭ２０３に保存する。なお、これも上述したが、距離情報の算出処理は必須でなく、予め算出された距離情報を取得する場合にはＳ１５００は省略可能である。

システム制御部２０１は、Ｓ１５０１〜Ｓ１５１２において変換係数算出部２１１および変換係数判定部２１２を用い、位置合わせを行うための幾何変換係数の算出および、静止被写体と移動被写体の判定を行う。
Ｓ１５０１
変換係数算出部２１１は、距離情報に基づいて被合成画像内の被写体をグループ化する。グループ化の具体例を、図５および図６を用いて説明する。
図５（ａ）は撮影シーンの一例を示す図であり、デジタルカメラ２００に近い順に静止被写体Ａ １００、静止被写体Ｂ １０１、移動被写体ａ １０４、静止被写体Ｃ １０２、静止被写体Ｄ １０３が存在する。なお、背景部分についても１つ以上の被写体として取り扱ってよいが、以下の説明では省略する。

図６（ａ）は、図５（ａ）の撮影シーンに含まれる被写体と、デジタルカメラ２００からの距離を模式的に表している。また、図６（ｂ）は、被合成画像について算出した画素ごとの距離情報のヒストグラムであり、被写体距離を示す横軸の縮尺は図６（ａ）と対応している。

本実施形態において変換係数算出部２１１は、被合成画像の距離情報の頻度分布（ヒストグラム）において、極大となる頻度を含む、予め定めた閾値以上の頻度が連続する距離情報のまとまりを１つの被写体グループとして、被写体をグループ化する。グループの境界は極小となる頻度か、閾値未満となる頻度の境界として定めることができるが、近接した距離に存在する２つの被写体グループを１つの被写体グループにまとめてもよい。これらの方法により、画像中の被写体領域は、同じ距離範囲に含まれる領域が同じグループに属するようにグループ化される。

図５〜図６の例では、静止被写体Ａ １００，静止被写体Ｂ １０１，静止被写体Ｄ １０３がそれぞれ独立した被写体グループＡ，Ｂ，Ｄにグループ化され、近接している移動被写体ａ １０４と静止被写体Ｃ １０２が１つの被写体グループＣにグループ化されている。
図５（ｂ）は、グループ化の結果を被合成画像の領域として示している。被写体グループＡ〜Ｄはそれぞれ被写体グループ領域５００〜５０３に相当する。

変換係数算出部２１１は、グループ化の結果として、各被写体グループの代表距離（例えば頻度が最も高い距離情報）と、各被写体グループに対応する画像領域（被写体グループ領域）を表す情報（例えば座標情報）とを、例えばＲＡＭ２０３に保存する。

Ｓ１５０２
次に変換係数算出部２１１は、各被写体グループ領域について動きベクトルを算出する。本実施形態において変換係数算出部２１１は、テンプレートマッチングに基づいて動きベクトルを算出する。

動きベクトルの算出方法について図７を用いて説明する。図７（ａ）および（ｂ）は被合成画像と基準画像における被写体Ａ １００の領域（被写体グループ領域５００）をそれぞれクローズアップしたものである。
変換係数算出部２１１は、被合成画像における被写体グループ領域５００に、ｎ×ｎ画素の矩形領域をターゲット領域６００として設定する。ターゲット領域６００の中心座標が動きベクトルの始点座標となる。

次に変換係数算出部２１１は、基準画像における被写体グループ領域５００に、探索領域６０１を設定する。探索領域６０１は、ターゲット領域６００に対応する領域を含み、かつターゲット領域６００よりも広い範囲である。そして、変換係数算出部２１１は、探索領域６０１内でターゲット領域６００と輝度や色差などで一致度が最も高い領域の中心の座標を動きベクトルの終点座標とする。テンプレートマッチングを用いた動きベクトルの検出については公知であるため、これ以上の詳細については説明を省略する。変換係数算出部２１１は、個々の被写体領域について複数箇所にターゲット領域を設定し、ターゲット領域ごとに動きベクトルを検出する。設定するターゲット領域の大きさ、位置および数については、予め条件を設定しておくことができるが、被写体領域内に満遍なく設定されるような条件とする。

図７（ｃ）は、図５（ｂ）に示した被合成画像に、被写体グループ領域５００〜５０３について算出された動きベクトル７００〜７０３を模式的に示した図である。
被写体グループＡに対応する被写体グループ領域５００で算出された複数の動きベクトル７００のそれぞれは、長さで移動量を、矢印の方向で移動方向を示している。他の被写体グループＢ〜Ｄについても同様に、複数の動きベクトル７０１〜７０３を示している。

Ｓ１５０３
変換係数算出部２１１は、まず最初の被写体グループ（ｉ＝０番目）を選択する。説明のためグループＡは０番目、グループＢは１番目のように、グループのアルファベット順（あるいは距離の近い順）に番号が割り当てられるものとする。

Ｓ１５０４
変換係数算出部２１１は、ｉ番目の被写体グループの領域について算出されている動きベクトルの数が第１の所定値以上か判定し、第１の所定値以上ならＳ１５０５に、第１の所定値未満ならＳ１５０８に、処理を進める。ここで第１の所定値は、被写体グループ領域についての幾何変換係数を算出するに必要な数であり、幾何変換を射影変換で行う場合には４となる。アフィン変換など他の方法を用いる場合には方法に応じた数とする。

Ｓ１５０５
変換係数算出部２１１は、ｉ番目の被写体グループの領域について算出されている動きベクトルを用いて、その被写体グループ領域に対する幾何変換係数を算出する。
幾何変換係数が射影変換係数である場合の算出方法について説明する。射影変換は以下の式１で表すことができる。

ここで（ｘ０，ｙ０）は動きベクトルの始点の座標であり、（ｘ，ｙ）は動きベクトルの終点の座標、ａ〜ｉは射影変換係数である。なお、本実施形態では光学系２０４の光軸と撮像部２０５との交点を原点（０，０）とした直交座標系とするが、他の予め定めた位置（例えば左上隅）を原点としてもよい。

式（１）は以下の式（２）および式（３）のように変換することができる。

変換係数算出部２１１は、ｉ番目の被写体グループ領域について算出された個々の動きベクトルについて、始点及び終点の座標（ｘ，ｙ）、（ｘ０，ｙ０）をそれぞれ式（２）、式（３）に代入する。変換係数算出部２１１は、これにより得られる９変数の方程式を解くことで幾何変換係数を算出し、例えばＲＡＭ２０３に保存する。

Ｓ１５０６
変換係数判定部２１２は、変換係数算出部２１１がＳ１５０５で算出した幾何変換係数を用いて基準点の座標変換を行い、変換前の座標を始点、変換後の座標を終点とする動きベクトルを作成する。この動きベクトルを、ｉ番目の被写体グループ領域の代表動きベクトルと呼ぶ。なお、本実施形態では基準点を座標原点（０，０）とする。図８（ａ）〜（ｄ）に、被写体グループ領域５００〜５０３（被写体グループＡ〜Ｄ）について得られた代表動きベクトル８００〜８０３を示している。

Ｓ１５０７
変換係数判定部２１２は、ｉ番目の被写体グループ領域の代表動きベクトルを、特定の被写体グループの距離情報に基づいて正規化し、正規化代表動きベクトルを生成する。特定の距離情報で正規化することにより、静止被写体のみで構成された被写体グループの正規化代表動きベクトルの大きさは、被写体距離によらず同等な大きさを示すようになる。

正規化代表動きベクトルの生成方法について説明する。
まず、変換係数判定部２１２は、正規化を行う光軸方向の距離を決定する。本実施形態ではデジタルカメラ２００からの被写体グループＡの距離（被写体グループＡの代表距離）を、正規化距離とする。
正規化距離をＤＡ（図６（ｂ））、正規化を行いたい被写体グループの代表距離をＤとすると、以下の式（４）によって、正規化を行いたい被写体グループの代表動きベクトルの大きさを正規化する。
｜正規化代表動きベクトル｜=｜代表動きベクトル｜×Ｄ/ＤＡ ・・・式（４）

図８（ｅ）〜（ｈ）は、図８（ａ）〜（ｄ）に示した各被写体グループの代表動きベクトル８００〜８０３の正規化代表動きベクトル８０４〜８０７を示している。ここでは、被写体グループＡの距離で正規化しているため、図８（ｅ）に示す被写体グループＡの正規化代表動きベクトル８０４は、正規化前の代表動きベクトル８００と等しい。なお、図８（ｅ）〜（ｈ）における８０８〜８１１は、正規化領域動きベクトル８０４〜８０７がｘ軸となす角（動きの方向）である。

変換係数判定部２１２は、算出した正規化代表動きベクトルの情報を、被写体グループの番号（ｉ）と関連付けて例えばＲＡＭ２０３に保存し、処理をＳ１５０９へ進める。

Ｓ１５０８
Ｓ１５０４で、算出されている動きベクトルの数が第１の所定値よりも少ないと判定された場合、変換係数算出部２１１は、変換係数のない被写体グループを特定する情報として例えば被写体グループの番号ｉをＲＡＭ２０３に保存し、処理をＳ１５０９へ進める。

Ｓ１５０９
システム制御部２０１は、全ての被写体グループ領域について正規化代表動きベクトルの算出もしくはグループ番号の保存を行ったか判定し、未処理の被写体グループ領域があればＳ１５１０へ、未処理の被写体グループ領域がなければＳ１５１１へ処理を進める。

Ｓ１５１０
システム制御部２０１は、グループ番号ｉをインクリメントして処理をＳ１５０４へ戻す。

Ｓ１５１１
変換係数判定部２１２は、算出した正規化代表動きベクトルから、基準画像と被合成画像の撮影位置の変化量および変化方向に関する推定グローバル動きベクトルを生成する。ここでは、幾何変換係数が算出された被写体グループ領域のみを処理対象とする。
まず変換係数判定部２１２は、正規化代表動きベクトルについて、大きさと方向に関するヒストグラムを作成する。ここでは、方向をｘ軸と正規化代表動きベクトルとがなす角８０８〜８１１（図８（ｅ）〜（ｈ））で表すものとする。

図９（ａ），（ｂ）に、正規化代表動きベクトルの大きさと角度のヒストグラムの例を示す。そして、変換係数判定部２１２は、頻度が最も高い大きさ９００、方向９０１を有するベクトルを、推定グローバル動きベクトルとする。推定グローバル動きベクトルを図９（ｃ）に示す。推定グローバル動きベクトル１０００は、正規化代表動きベクトルの最頻値の大きさ９００と角度９０１を有する。

Ｓ１５１２
次に変換係数判定部２１２は、被写体グループ領域ごとに、グローバルな動き（静止被写体）なのか、個別な動き（移動被写体）なのかを判定する。ここでも、幾何変換係数が算出された被写体グループ領域のみを処理対象とする。

この判定処理の詳細について、図１０のフローチャートを用いて説明する。
Ｓ１６００
変換係数判定部２１２は、最初の被写体グループ領域（ｉ＝０）の正規化代表動きベクトルを選択する。

Ｓ１６０１
変換係数判定部２１２は、正規化代表動きベクトルの大きさと推定グローバル動きベクトルの大きさの差分絶対値を算出し、差分絶対値が第２の所定値未満か否か判定する。変換係数判定部２１２は、差分絶対値が第２の所定値未満の場合はＳ１６０２へ、第２の所定値以上の場合はＳ１６０４へ処理を進める。例えば第２の所定値は１［画素］とする。

Ｓ１６０２
変換係数判定部２１２は、正規化代表動きベクトルの方向（角度）と推定グローバル動きベクトルの方向（角度）の差分絶対値を算出し、差分絶対値が第３の所定値未満か否か判定する。変換係数判定部２１２は、差分絶対値が第３の所定値未満の場合はＳ１６０３へ、第２の所定値以上の場合はＳ１６０４へ処理を進める。例えば第３の所定値は１［度］とする。

Ｓ１６０３
変換係数判定部２１２は、処理対象の被写体グループ領域がグローバルな動きをしている（静止被写体）と判定し、処理をＳ１６０５へ進める。

Ｓ１６０４
変換係数判定部２１２は、処理対象の被写体グループ領域がグローバルな動きをしていない（移動被写体）と判定し、処理をＳ１６０５へ進める。

Ｓ１６０５
システム制御部２０１は、全ての（幾何変換係数が算出された）被写体グループ領域について判定処理を行なったか判定し、未処理の被写体グループ領域があればＳ１６０６へ処理を進める。未処理の被写体グループ領域がなければシステム制御部２０１は、個々の被写体グループ領域についての判定結果を表す情報を例えばＲＡＭ２０３に保存し、判定処理を終了してＳ１５１３（図４Ｂ）へ処理を進める。

Ｓ１６０６
システム制御部２０１は、グループ番号ｉをインクリメントして処理をＳ１６０１へ戻す。

Ｓ１５１３
システム制御部２０１は、Ｓ１５１２の判定処理において、グローバルな動きではない（移動被写体）と判定された被写体グループ領域について、グループ分けの精度を上げて再判定を行うか否か判定する。

静止被写体の領域と移動被写体の領域の両方を含んだ被写体グループ領域は、Ｓ１５１２の判定処理でグローバルな動きでないと判定される可能性が高い。そのため、グローバルな動きではない（移動被写体）と判定された被写体グループ領域が複数の被写体領域を含んでいると考えられる場合には、個々の被写体領域に再グループ化して再判定処理を行う。

システム制御部２０１は、グローバルな動きではない（移動被写体）と判定された被写体グループ領域に対応する距離情報のヒストグラムが、離散的な距離に高頻度を有している場合に、複数の被写体領域が含まれるものと判定し、再判定処理を行うと決定する。より具体的には、システム制御部２０１は、被写体グループ領域の距離情報のヒストグラムが、頻度の極大値を複数有する場合に、複数の被写体領域が含まれるものと判定する。なお、この判定方法は例示であり、例えば被写体グループ領域の距離情報に該当する画素の画像内における分布（座標）に基づいて、複数の被写体領域が含まれるか否かを判定してもよい。

再判定を行うと決定した被写体グループ領域が存在する場合、システム制御部２０１は処理をＳ１５１４へ進める。また、再判定を行うと決定した被写体グループ領域が存在しないか、全ての被写体グループ領域がグローバルな動きと判定されている場合、システム制御部２０１は処理をＳ１５１５へ進める。

Ｓ１５１４
システム制御部２０１は、変換係数算出部２１１および変換係数判定部２１２によって再判定処理を行う。再判定処理の詳細について、図１１のフローチャートを用いて説明する。

Ｓ２３００
変換係数算出部２１１は、再判定処理を行うと決定された被写体グループ領域を複数のグループに再グループ化する。
例えば変換係数算出部２１１は、対応する距離情報のヒストグラムにおいて、離散的に頻度の高い距離を代表距離とする複数の被写体グループ領域を生成する。あるいは、処理対象の被写体グループ領域が、Ｓ１５０１において複数の被写体グループをまとめたものである場合には、Ｓ１５０１における被写体グループの検出結果を用いてもよい。

例えば、距離情報のヒストグラムを、頻度が予め定めた閾値以上である極大値に対応する距離を代表距離とした複数の距離範囲に分割することで、再グループ化することができる。
図７〜図８の例では、被写体グループＣ（被写体グループ領域５０２）の正規化代表動きベクトルが推定グローバルベクトルと大きさ、方向において大きく異なる。そのため、Ｓ１５１２の判定処理では、被写体グループ領域５０２はグローバルな動きでないと判定される。

被写体グループ領域５０２に対応する距離情報のヒストグラム（図６（ｂ））には、移動被写体ａ １０４に対応する部分と、静止被写体Ｃ １０２に対応する部分が含まれている。そのため、変換係数算出部２１１は、被写体グループ領域５０２に対応する距離情報のヒストグラムをそれぞれの被写体に対応する被写体グループＣＡ，ＣＢに再グループ化する。

再グループ化の結果を図１２（ａ）に示す。移動被写体ａ １０４は被写体グループＣＡとして、静止被写体Ｃ １０２は被写体グループＣＢとして再グループ化される。その結果、被写体グループ領域５０２は、２つの被写体グループ領域１１００、１１０１に分かれる。
以後、変換係数算出部２１１および変換係数判定部２１２は、個々の被写体グループ領域について、図４ＡのＳ１５０３〜Ｓ１５１０，図４ＢのＳ１５１２と同じ処理を行い、処理をＳ１５１５へ進める。推定グローバルベクトルは既に算出されているため、再判定処理ではＳ１５１１に相当する処理は行わない。

図１２（ｂ），（ｃ）は被写体グループ領域１１００、１１０１（被写体グループＣＡ、ＣＢ）の代表動きベクトル１２００，１２０１を、図１２（ｄ），（ｅ）は正規化代表動きベクトル１２０２，１２０３をそれぞれ示している。また、１２０３，１２０４は正規化領域動きベクトル１２０２，１２０３がｘ軸となす角である。

Ｓ１５１５
システム制御部２０１は、幾何変換係数が算出されていない被写体グループ領域があるか判定し、ある場合はＳ１５１６へ、ない場合はＳ１５１８へ処理を進める。

Ｓ１５１６
システム制御部２０１は、幾何変換係数が算出されていない被写体グループ領域に対する幾何変換係数を変換係数算出部２１１によって生成する。本実施形態で変換係数算出部２１１は、算出済みの幾何変換係数から、被写体グループ領域の距離の関係に基づいて、幾何変換係数が算出されていない被写体グループ領域に対する幾何変換係数を生成する。

まず変換係数算出部２１１は、幾何変換係数が算出された被写体グループ領域のうち、グローバルな動きと判定されたものを２つ以上選択する。ここでは２つ選択するものとし、代表距離がデジタルカメラ２００から近い順に被写体グループ領域１、被写体グループ領域２とし、それぞれの幾何変換係数をＰｉ，Ｐｊとする。

図１３（ａ）は、幾何変換係数が算出されていない被写体グループ領域、被写体グループ領域１、被写体グループ領域２の距離関係と、幾何変換係数の関係例を模式的に示す。変換係数算出部２１１は、幾何変換係数Ｐｉ １３０１，Ｐｊ １３０２を取得する。
次に変換係数算出部２１１は、被写体グループ領域１と被写体グループ領域２の代表距離の差Δｄｉｓｔ １３０３と、対応する幾何変換係数の差分Δｐａｒａｍ １３０４を算出する。

変換係数算出部２１１は、幾何変換係数が算出できなかった被写体グループ領域の代表距離と、選択した被写体グループ領域のうち、デジタルカメラ２００に最も近いものの代表距離との差ｄｉｓｔ １３０５を算出する。
そして、変換係数算出部２１１は、幾何変換係数が算出されていない被写体グループ領域の幾何変換係数Ｐ １３００を、以下の式（５）によって算出する。
Ｐ＝Ｐｉ＋ｄｉｓｔ×Δｐａｒａｍ／Δｄｉｓｔ ・・・式（５）
なお、式（５）による算出は、式（１）に示した幾何変換係数ａ〜ｉの各々について行う。

ここでは、幾何変換係数が算出できなかった被写体グループ領域よりデジタルカメラ２００に近い、幾何変換係数が算出された被写体グループ領域を２つ選択した場合について例示した。しかし、幾何変換係数が算出できなかった被写体グループ領域より近いものと遠いものを１つずつ選択した場合や、遠いものを２つ選択した場合も、同様にして算出することができる。

Ｓ１５１７
変換係数判定部２１２は、Ｓ１５１６で幾何変換係数を算出した被写体グループ領域がグローバルな動きなのか判定する。基本的な判定方法は図１０を用いて説明した動きの判定処理と同様であるが、大きさおよび方向（角度）を比較するベクトルが異なる。

具体的な方法について図１３（ｂ）を用いて説明する。図１３（ｂ）は、Ｓ１５１６で幾何変換係数を算出した被写体グループ領域１４００と、算出されている動きベクトル１４０２を示している。なお、ここでは１つの動きベクトル１４０２しか示していないが、他の動きベクトルが算出されていてもよい。

変換係数判定部２１２は、算出されている１つの動きベクトル（ここでは動きベクトル１４０２とする）の始点１４０１を基準点として、Ｓ１５１６で算出した幾何変換係数を用いてＳ１５０６と同様にして動きベクトル１４０５を算出する。ここでは、幾何変換係数により、始点１４０１、終点１４０４の動きベクトル１４０５が算出されたものとする。

次に変換係数判定部２１２は、動きベクトル１４０２と、動きベクトル１４０５について、Ｓ１６０１〜Ｓ１６０４と同様に大きさと方向（角度）の差を判定する。具体的には、変換係数判定部２１２は、大きさの差分絶対値が第４の所定値未満で、かつ方向（角度）の差分絶対値が第５の所定値未満であれば、被写体グループ領域１４００がグローバルな動きをしている（静止被写体）と判定する。一方、いずれかの条件を満たさなければ、変換係数判定部２１２は、被写体グループ領域１４００が個別な動きをしている（移動被写体）と判定する。例えば第４の所定値を１［画素］、第５の所定値を１［度］とする。

Ｓ１５１６で幾何変換係数を算出した全ての被写体グループ領域について判定処理が行われたら、システム制御部２０１は個々の被写体グループ領域についての判定結果を表す情報を例えばＲＡＭ２０３に保存し、処理をＳ１５１８へ進める。

Ｓ１５１８
システム制御部２０１は、被合成画像に対して幾何変換部２１３で幾何変換処理を適用し、基準画像へ位置合わせされた画像を生成する。幾何変換処理は以下の方法のいずれかであってよい。
（第１の方法）
被合成画像の被写体グループ領域ごとに、それぞれに対して算出された幾何変換係数を用いて幾何変換処理を適用する。
（第２の方法）
被合成画像の被写体グループ領域のうち、グローバルな動きをしていると判定されたものについて得られている動きベクトルから１つの幾何変換係数を算出し、被合成画像全体に適用する。なお、この場合、Ｓ１５０５と同様にして、変換係数算出部２１１で幾何変換係数を求めることができる。

第１の方法は被写体領域ごとの幾何変換係数を用いるため、位置合わせの精度は第２の方法より高いが、被写体領域ごとに幾何変換係数を切り替え、変換を行う必要があるため処理負荷および処理時間の点で第２の方法より不利である。
第２の方法は、１回の変換処理で済むため、処理負荷および処理時間の点で第１の方法より有利であるが、位置合わせの精度は第１の方法より低くなる。特に、移動被写体の位置合わせの精度低下が大きくなる可能性がある。

これらの方法のどちらを用いるかは、画像処理装置の性能や利用可能なリソース、処理負荷などに応じて適宜決定すれば良く、動的に切り替えて用いてもよい。

本実施形態では距離情報を用いて正規化した動きベクトルを用いて画像間の全体的な動きを推定し、各被写体領域がグローバルな動きをしている（静止被写体）かグローバルな動きをしていない（移動被写体）かを判定する。そのため、被写体距離に応じた画像中の移動量の差や、画像中に占める移動被写体の影響を抑制し、静止被写体か否かを精度良く判定でき、グローバル動きベクトルの推定精度が向上する。そのため、位置合わせの精度を向上させることができる。

●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態における被写体グループの複数に跨るような大きな奥行きを有する静止被写体が存在し、また同一距離に静止被写体と移動被写体が存在するシーンにおける位置合わせ処理に関する。位置合わせ処理の内容以外は第１の実施形態と同様で良いため、本実施形態もデジタルカメラ２００の構成を用いて説明する。

図１４は本実施形態における撮影シーンの一例を模式的に示す図であり、図５（ａ）に示したシーンに移動被写体ｂ １７００と移動被写体ｃ １７０１とが加わっている。移動被写体ｂ １７００は静止被写体Ａ １００およびＢ １０１の距離範囲に跨がる奥行きを有し、移動被写体ｃ １７０１は静止被写体Ｄ １０３と同じ距離に存在する。なお、背景部分についても１つ以上の被写体として取り扱ってよいが、以下の説明では省略する。

次に、本実施形態における位置合わせ処理について、図１５のフローチャートを用いて説明する。なお、図１５において第１の実施形態と同様の処理を行う工程には図４Ａ、図４Ｂと同じ参照数字を付し、説明は省略する。

Ｓ２４００
変換係数算出部２１１は、距離情報に基づいて被合成画像内の被写体をグループ化する。本実施形態においては２段階のグループ化を行うが、この工程で行うグループ化は基本的にＳ１５０１におけるグループ化と同様である。
図１６は、図６と同様に、図１４の撮影シーンに含まれる被写体の、デジタルカメラ２００からの距離と、被合成画像の距離情報の頻度分布とを模式的に表している。
変換係数算出部２１１は、被合成画像の距離情報の頻度分布（ヒストグラム）において、極大となる頻度を含む、予め定めた閾値以上の頻度が連続する距離情報のまとまりを１つの被写体グループとして、被写体をグループ化する。

被写体グループＣは、第１の実施形態と同一である。被写体グループＤは、新たに移動被写体ｃ １７０１を含んでいる。一方、奥行きの大きな移動被写体ｂ １７００が加わったことにより、静止被写体Ａ １００、Ｂ １０１に対応する距離情報の区切りが明確で無くなり、被写体グループＡ，Ｂは一連の頻度分布の極小値を境界としてグループ化されている。

Ｓ２４０１
次に変換係数算出部２１１は、本実施形態に特徴的な２段階目のグループ化を行う。具体的には変換係数算出部２１１は、各被写体グループに対応する画像中の領域に基づいてグループ化する。

例えば、変換係数算出部２１１（グループ化手段）は、各被写体グループに対応する距離情報から画素座標を特定し、被写体グループに対応する閉領域を抽出する。閉領域の抽出は、例えば動的輪郭モデル（Ｓｎａｋｅ法）など公知の手法を用いることができる。抽出した閉領域のうち、隣接している、もしくは間隔が閾値以内の領域はまとめて１つの被写体グループとする。

図１７は、Ｓ２４０１におけるグループ化の結果を模式的に示している。Ｓ２４００でグループ化された被写体グループＡ〜Ｄの各々は、Ｓ２４０１でさらに２つの被写体グループにグループ化されている。具体的には、被写体グループＡは、静止被写体Ａ １００に対応する被写体グループＡＡと、移動被写体ｂ １７００の近距離側の一部に対応する被写体グループＡＢとに再グループ化されている。２０００，２００１は対応する被写体グループ領域である。

同様に、被写体グループＢは、静止被写体Ｂ １０１に対応する被写体グループＢＡと、移動被写体ｂ １７００の遠距離側の一部に対応する被写体グループＢＢとに再グループ化されている。２００２，２００３は対応する被写体グループ領域である。

被写体グループＣは、移動被写体ａ １０４に対応する被写体グループＣＡと、静止被写体Ｃ １０１に対応する被写体グループＣＢとに再グループ化されている。２００４，２００５は対応する被写体グループ領域である。
被写体グループＤは、静止被写体Ｄ １０３に対応する被写体グループＤＡと、移動被写体ｃ １７０１に対応する被写体グループＤＢとに再グループ化されている。２００６，２００７は対応する被写体グループ領域である。

次に、変換係数判定部２１２は、被写体グループＡＡ〜ＤＢについて第１の実施形態と同様にして正規化動きベクトルを算出する。

Ｓ２４０２
変換係数判定部２１２は、まず最初の被写体グループ（ｉ＝０番目）を選択する。説明のためグループＡＡは０番目、グループＡＢは１番目のように、グループのアルファベット順（あるいは距離の近い順）に番号が割り当てられるものとする。

Ｓ２４０３
変換係数判定部２１２は、Ｓ１５０５で変換係数算出部２１１が算出した幾何変換係数を用いて基準点の座標変換を行い、変換前の座標を始点、変換後の座標を終点とする動きベクトルを作成する。処理の内容はＳ１５０６と同一である。この動きベクトルを、ｉ番目の被写体グループ領域の代表動きベクトルと呼ぶ。なお、本実施形態では基準点を座標原点（０，０）とする。図１８（ａ）〜（ｈ）に、被写体グループＡＡ〜ＤＢの領域について算出した代表動きベクトル２１００〜２１０７を示している。

Ｓ２４０４
変換係数判定部２１２は、ｉ番目の被写体グループ領域の代表動きベクトルを、特定の被写体グループの距離情報に基づいて正規化し、正規化代表動きベクトルを生成する。処理の内容はＳ１５０７と同一である。本実施形態では、デジタルカメラ２００からの被写体グループＡＡの距離（被写体グループＡＡの代表距離）を正規化距離ＤＡとし、Ｓ１５０７と同様にする。

図１９（ａ）〜（ｈ）は、図１８（ａ）〜（ｈ）に示した各被写体グループの代表動きベクトル２１００〜２１０７の正規化代表動きベクトル２２００〜２２０７を示している。ここでは、被写体グループＡＡの距離で正規化しているため、図１８（ａ）に示す被写体グループＡＡの正規化代表動きベクトル２２００は、正規化前の代表動きベクトル２１００と等しい。なお、図１９（ａ）〜（ｈ）における２２０８〜２２１５は、正規化領域動きベクトル２２００〜２２０７がｘ軸となす角（動きの方向）である。

Ｓ２４０５
変換係数判定部２１２は、算出した正規化代表動きベクトルから、基準画像と被合成画像の撮影位置の変化量および変化方向に関する推定グローバル動きベクトルを生成する。ここでは、幾何変換係数が算出された被写体グループ領域のみを処理対象とする。処理の内容はＳ１５１１と同一であるため、詳細の説明は省略する。
Ｓ１５１２の判定処理以下は第１実施形態と同一の処理であるため説明を省略する。

以上説明したように、本実施形態によれば、距離情報の頻度分布に基づいて被写体をグループ化した後、各グループを、対応する画像領域に基づいてさらにグループ化する。そのため、奥行きの大きな被写体が存在する場合や、同一距離に静止被写体と移動被写体が存在するようなシーンであっても、静止被写体か否かを精度良く判定でき、グローバル動きベクトルの推定精度が向上する。そのため、位置合わせの精度を向上させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００…デジタルカメラ、２０１…システム制御部、２０４…光学系、２０５…撮像部、２０６…変換部、２０７…画像処理部、２０８…記録媒体、２０９…バス、２１０…距離情報算出部、２１１…変換係数算出部、２１２…変換係数判定部、２１３…幾何変換部

Claims (15)

1. 距離情報を用いて、画像の領域をグループ化するグループ化手段と、
   前記グループごとに、他の画像に対する動きを検出する検出手段と、
   前記動きの大きさを、特定の距離に基づいて正規化する正規化手段と、
   前記大きさが正規化された動きに基づいて、前記グループごとに、静止被写体の領域か移動被写体の領域かを判定する判定手段と、
   を有することを特徴とする画像処理装置。
2. 前記検出手段が、
   前記グループごとに、前記他の画像に位置合わせするための変換係数を算出する第１の算出手段と、
   前記変換係数を用いて、前記グループごとに、前記動きを表す代表動きベクトルを生成する生成手段と、
   を有し、
   前記正規化手段が、前記代表動きベクトルの大きさを、前記特定の距離とグループに対応する距離との比で正規化することにより、前記動きの大きさを正規化する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記検出手段が、前記グループごとに前記動きを表す動きベクトルを検出し、
   前記第１の算出手段は、
   検出された前記動きベクトルの数が予め定められた定めた所定値未満であるグループに対しては前記変換係数を算出せず、
   検出された前記動きベクトルの数が予め定められた定めた所定値以上であるグループに対しては前記動きベクトルに基づいて前記変換係数を算出する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. さらに、前記第１の算出手段によって前記変換係数が算出されなかったグループについて、前記第１の算出手段によって算出された他のグループについての前記変換係数を用いて算出する第２の算出手段を有することを特徴とする請求項３記載の画像処理装置。
5. 前記グループごとに前記変換係数を適用し、前記他の画像に位置合わせされた画像を生成する変換手段と、
   前記他の画像に位置合わせされた画像を前記他の画像に合成する合成手段と、
   をさらに有することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記判定手段により静止被写体の領域と判定されたグループについて前記検出手段が検出した前記動きベクトルに基づいて、前記画像の全体を前記他の画像に位置合わせするための変換係数を算出する第３の算出手段と、
   前記画像の全体に前記変換係数を適用し、前記他の画像に位置合わせされた画像を生成する変換手段と、
   前記他の画像に位置合わせされた画像を前記他の画像に合成する合成手段と、
   をさらに有することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
7. 前記判定手段が、
   前記グループごとの前記大きさが正規化された動きに基づいて、前記他の画像に対する前記画像の全体の動きを推定する推定手段を有し、
   前記大きさが正規化された動きと、前記全体の動きとの差が所定値未満であるグループを静止被写体の領域と判定し、前記大きさが正規化された動きと、前記全体の動きとの差が所定値以上であるグループを移動被写体の領域と判定する、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記推定手段は、前記グループごとの前記大きさが正規化された動きの大きさおよび方向の頻度に基づいて、前記画像の全体の動きを推定することを特徴とする請求項７記載の画像処理装置。
9. 前記グループ化手段は、同じ距離範囲に含まれる領域が同じグループに属するように前記グループ化を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記グループ化手段は、前記距離情報の頻度分布に基づいて前記グループ化を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記グループ化手段は、前記グループ化された領域を、閉領域ごとにさらにグループ化することを特徴とする請求項１０に記載の画像処理装置。
12. 前記距離情報が、前記画像の画素ごとの距離を表す情報であることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 視差画像を取得可能な撮像手段と、
    前記視差画像から前記距離情報を生成する第４の算出手段と、
    前記視差画像から前記画像を生成する画像処理手段と、
    請求項１から１２のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
14. グループ化手段が、距離情報を用いて、画像の領域をグループ化するグループ化工程と、
    検出手段が、前記グループごとに、他の画像に対する動きを検出する検出工程と、
    正規化手段が、前記動きの大きさを、特定の距離に基づいて正規化する正規化工程と、
    判定手段が、前記大きさが正規化された動きに基づいて、前記グループごとに、静止被写体の領域か移動被写体の領域かを判定する判定工程と、
    を有することを特徴とする画像処理装置の制御方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images