JP2006293661A - 変化領域抽出方法およびこの方法のプログラム - Google Patents

Abstract

【課題】２枚の画像の変化領域を、自動的に、かつ高い確度で抽出する。
【解決手段】設定部３には画像１上での動きとして検知すべき見かけの規定移動量が予め設定される。移動類似度マップ作成ステップＳ１は、画像１に撮影された物体が規定移動量を移動した場合の移動類似度を、各点における最大値と最小値のペアの値とした移動類似度マップ４を作成する。画像類似度マップ計算ステップＳ２は、画像１，２の対応する各点の類似度を、ステップＳ１の計算と同じ処理方法で求め、画像類似度マップ５を作成する。移動有無判定ステップＳ３は、画像の各点において、ステップＳ２にて得られた画像類似度が、ステップＳ１にて得られた最大値と最小値を閾値として該閾値のどの範囲にあるかにより、類似しているか、または類似していないか、または特定不能かの３つのカテゴリに分類する。
【選択図】 図１

Description

本発明は、監視カメラ、画像符号化のステップ等において画像内の変化を検知する際に、元々の画像内のパターンに従って変化有無を判定する変化領域抽出方法および変化領域抽出プログラムを提供するものであり、特に、画像内で検知したいパターンの移動量を予め規定した上で、２枚の画像間において、画像の各点を変化有、変化無および変化有無判定不可能の３種類に判別し、信頼性の高い領域抽出を得るものである。

従来の２枚の画像間の変化の有無を判断する方法では、画像間の類似度を計算し、予め設定する閾値を用いた閾値処理によって変化したかを判断する（例えば、特許文献１、特許文献２参照）。

多くの場合、２枚の画像の画素値の２乗和を閾値処理し、大きい場合は変化ありと判断する。また、類似度計算に相関値を利用する場合は、２枚共に画像に特徴が存在しない点では、別のパラメータを設定して変化がなかったと判断するなど、画像毎に閾値を設定し、変化した領域のみを判断する２値化処理が行われる。
特開平５−９４５３６号公報 特開平１１−１２０３４９号公報

そもそも、２枚の画像を比較することを考えると、画像の特性によっては変化有無を判定できない場合が原理的に存在する。つまり、閾値処理して変化の有無を判断すること自体に限界がある。画像の特徴とは独立にパラメータ設定を行うと、正確な変化抽出は不可能である。画像毎にユーザーが設定・調整すれば、ある程度の改善が見込まれる場合もあるが、原理的に見落としのリスク、過抽出などの問題も残る。

本発明の目的は、上記の課題を解決した変化領域抽出方法およびこの方法のプログラムを提供することにある。

本発明は、撮影された画像の局所的な特徴を積極的に利用して、対象の移動の有無を判断する。この際、画像の局所的な特徴量を利用して定量的に決定した閾値を利用して処理を行う。特に原理的に移動の判断が不可能な領域も特定し、変化あり、変化なし、判定不能という第３のカテゴリを設けることで、結果の信頼性を向上させる。

これにより、２枚の画像を比較して変化の有無を判断する際、変化した、変化していないという２種類の判断ではなく、変化有無判定不能も加えた３種類の判断が可能となり、確度の高い変化領域抽出を実現する。

また、これまでは特定不能と判断されることがなかったため、精度の高い移動領域推定は実現不可能であった。しかし、本発明の結果を利用すれば別の画像処理を利用することによって、特定不能の領域と変化あり、変化なしの領域の位置関係を解析し、特定不能な領域と判断された領域について、変化有無を判断することも可能とする。

さらに、ユーザー等が画像に応じて閾値となるパラメータを設定するのではなく、変化を検知したい画像上の移動量のみを予め与えることができるようにする。これによって、その他のパラメータは一切不要となる使いやすい変化領域抽出を実現する。

以上のことから、本発明は、以下の方法、およびプログラムを特徴とする。

（１）２枚の同じサイズの画像を比較して、変化した領域と変化しない領域を抽出する変化領域抽出方法であって、
予め画像上での動きとして検知すべき見かけの規定移動量が予め設定され、１枚目の画像に撮影された物体が上記規定移動量を移動した場合の移動類似度を、各点における最大値（最良値）と最小値（最悪値）のペアの値として得る移動類似度マップ作成ステップと、
上記２枚の画像の対応する各点の類似度を、上記移動類似度の計算と同じ処理方法で求める画像類似度マップ計算ステップと、
画像の各点において、上記画像類似度マップ計算ステップにて得られた画像類似度が、上記移動類似度マップ作成ステップにて得られた最大値と最小値を閾値として該閾値のどの範囲にあるかにより、類似しているか、または類似していないか、または特定不能かの３つのカテゴリに分類する移動有無判定ステップと、
を有することを特徴とする変化領域抽出方法。

（２）上記（１）において、上記移動類似度マップ作成ステップは、画像の各点を含む小領域を設定し、小領域の中心点を中心に上記規定移動量だけずらしながら移動類似度を求めることを特徴とする変化領域抽出方法。

（３）上記（１）において、上記類似度は、
画像の高周波成分をカットした後に画像のグラジエントを計算し、この後に画像間の相関値を演算するステップと、
各点において画像の高周波成分をカットした後の２回微分（Ｈｅｓｓｉａｎ：２×２行列）を計算して得られる２つの固有値と固有ベクトルを計算して類似度マップを求めるステップと、
を有して求めることを特徴とする変化領域抽出方法。

（４）上記（３）において、類似度計算における高周波成分のカットパラメータを上記規定移動量に応じて変更することを特徴とする変化領域抽出方法。

（５）上記（１）〜（４）の一部又は全部の処理機能をコンピュータで実行可能に構成したことを特徴とする変化領域抽出方法のプログラム。

以上のとおり、本発明によれば、予め判定したい移動量を定めておくことによって、２枚の画像を比較する際にパターンの移動が規定移動量より大きいか、小さいか、または画像の特徴によっては判定不能という３種類に、画像の各点を分類する。このため、ユーザー等が与える解釈が難しいパラメータの設定がないため、自動的に、かつ確度の高い変化抽出ができる。

また、変化を判定不能な領域では、矛盾のない範囲で近傍の変化有無判定済みの結果を採用することで、確度の高い領域分割ができる。

図１を用いて、請求項１等に相当する変化領域抽出方法の手順を説明する。同図において、１、２は変化領域抽出対象とする画像である。３は規定移動量設定部、４は画像１の移動類似度マップ、５は画像１と画像２から計算される画像類似度マップ、６は３値画像記憶部であり、これらが設定および記憶する情報はコンピュータの記憶装置（メモリ、ハードディスクなど）に領域確保される。

Ｓ１は移動類似度マップ作成ステップ、Ｓ２は画像類似度マップ計算ステップ、Ｓ３は移動有無判定ステップであり、これらはプログラムで記載されたソフトウェア構成でコンピュータに搭載され、それらの順次実行を可能にしておく。

画像１および画像２は、予め与えられる分解能（画素数）が同じ画像である。設定部３で設定される規定移動量は、画素を単位とした長さであり、抽出したい物体の移動量として事前に準備する。これは、ユーザーや設定者が与えても良いし、プログラムとして固定しても構わない。例えば、２ドット以上の移動がある場合に「移動あり」と判断するなど、予め検知したい移動量として規定しておく。

移動類似度マップ作成ステップＳ１は、画像１の各点のパターンが規定移動量の範囲の近傍の点に移動した場合に、画像の類似度がどう変化するかをマップデータとして得る。この結果は、各点における最大値、最小値の２つのペアの値として、移動類似度マップ４に蓄積される。

画像類似度計算マップＳ２は、画像１と画像２の２枚の画像を利用して同位置の各点での類似度を計算する。ここでの類似度計算方法は、移動類似度マップ作成ステップＳ１と一致する処理方法とする。その結果は、画像類似度マップ５に蓄積される。

移動有無判定ステップＳ３は、移動類似度マップ４と画像類似度マップ５を比較して、各点が変化したか、変化していないか、または変化の判定不能かを判断する。類似度が高い場合には変化なし、類似度が低い場合は変化ありと判断する。このときの判定基準に移動類似度マップ４の蓄積される最大値、最小値の２つのペアの値が利用される。

３値画像記憶部６は、移動有無判定ステップＳ３で判定された結果として、画像の各点が３つのカテゴリに分類されたものを格納する。１つは移動量が規定量以下、つまり変化がなかったと判定された点である。次が移動量が規定の移動量以上と判定された点である。その他は、移動有無を判定不能な領域である。

以上のステップのうち、移動類似度マップ作成ステップＳ１の具体的な実現方法を詳しく説明する。なお、移動類似度マップ作成ステップＳ１は、類似度の計算方法に依存するため、常に画像類似度マップ計算ステップＳ２における類似度計算方法と同一のものとする。

移動類似度マップ作成ステップＳ１では、撮影された物体が移動したと判定しようとする移動量範囲が設定される設定部３の規定移動量を利用する。以下、この値をｄで表す。ここでの規定移動量ｄは、実際のシーン内の移動量ではなく、画像内の画素を単位とした長さである。この値は整数である必要はないが、正の値とする。またゼロは、画像のノイズの影響があるため基本的には指定しないこととする。

移動類似度マップ４の作成方法の第１の例を説明する。この方法は請求項２等に相当する。

まず、画像をｇ（ｘ，ｙ）と表現する。このうち、画像上の１点（ｘ，ｙ）を選ぶ。この点を中心に小領域を設定する。小領域の大きさは規定しないが、類似度を計算可能な３×３以上であることが条件である。この小領域の中心点（ｘ，ｙ）を中心に、該小領域を規定移動量ｄに一致する量を移動させて、相関値を計算する。当然、元の画像に一致する位置（中心点）では類似度は最大（例えば相関値では１、差分２乗和等ではゼロ）となっている。規定移動量ｄ分だけ移動させると中心位置がずれ、画像は一致しないので、普通、類似度は低下（相関値では１以下の値、差分２乗和ではゼロ以上の値）になる。

このようにして、規定移動量ｄ（すなわち中心点を中心とした等距離の位置）に限定して、全ての点において類似度を計算する。そして、類似度の最良値Ｍ（ｘ，ｙ）と最悪値ｍ（ｘ，ｙ）を計算する。このように、各点毎に最良値、最悪値の２つの値を計算したものを、移動類似度マップとする。したがって、移動類似度マップ４には、各点毎に２つの値を持って格納される。これを、例えばＴ（ｘ，ｙ）＝（ｍ（ｘ，ｙ），Ｍ（ｘ，ｙ））と表現する。

図２は、中心点を中心に類似度を計算した場合の結果の例を３種類示したものであり、明るい点ほど類似度が高いことを示す。小領域の特徴によって、類似度低下の様子は異なることが反映された例である。Ａは、多少のずれに対しても大きく類似度が低下する例である。これは一般に特徴点と言われる点で見られる。Ｂは、ずれによる類似度の低下が少ない例である。これは、中心点の特徴が顕著でない場合などにみられる。Ｃは、ずれの方向によって類似度低下の程度が大きく異なる例である。これは、例えば中心点が縦長の特徴を持っている場合に起きる。このため横方向の移動では類似度低下が大きく、上下方向では類似度低下は少ない。

これらの例の場合、Ａでは最良値Ｍ（ｘ，ｙ）と最悪値ｍ（ｘ，ｙ）はいずれも小さい値、Ｂではいずれも大きな値、そしてＣでは最良値Ｍ（ｘ，ｙ）と最悪値ｍ（ｘ，ｙ）の差が大きくなる（類似するほど類似度が高い、とした場合）。

なお、以上の議論に実際の画像に重畳されるノイズの議論を加えても良い。具体的には、小領域をずらして類似度を計算する際に、画像に予め想定ノイズを加えておき、同様の計算をする方法が考えられる。また、ノイズが類似度へ与える量を想定して、予め最悪値ｍ（ｘ，ｙ）を予め定める数値分小さく、また最良値Ｍ（ｘ，ｙ）を予め定める数値（前記と同じである必要はない）分大きく規定することも可能である。

次に、移動類似度マップの作成方法の第２の例を述べる。この方法は、請求項３等に相当するものである。この請求項３等では、類似度計算方法を固定する。その方法は、画像に対して前処理として平滑化とグラジエント計算を行い、その後、画像間の相関値演算をするものである。ここで、平滑化の度合いは１つのパラメータで決定できる。例えばσをパラメータとするガウス関数による畳み込み処理が利用できる。以下、類似度計算方法を説明する。

２枚の画像をｇ₁（ｘ，ｙ）、ｇ₂（ｘ，ｙ）で示す。この場合、σをパラメータとするガウス関数▽Ｇσによる畳み込み処理とグラジエント計算の結果は、▽Ｇσ＊ｇ₁（ｘ，ｙ）となる。▽Ｇσ＊ｇ₁（ｘ，ｙ）と▽Ｇσ＊ｇ₂（ｘ，ｙ）の小領域内での相関値が以下の式に従って計算され、この相関値が画像間の類似度となる。

次に、移動類似度マップの計算のため、Ｈｅｓｓｉａｎ画像の高周波成分をカットした後の２回微分（Ｈｅｓｓｉａｎ：２×２行列）の同じ領域での積分値を以下の式で計算する。

このＨｅｓｓｉａｎ（Ｈ）は元々が対称行列であるので、２つの固有値（λ₁、λ₂）が計算できる（λ₁＝λ₂の可能もあるが、２つの直交する固有ベクトルは存在するので、２つの固有ベクトルと記す）。実際は、下記の式で計算できる。

ここで、ｔｒＨはＨのトレース（行列の対角和）、ｄｅｔＨは行列式である。

次に、ｉ＝１，２について、以下の計算をする。

この２つの値のうち、大きい方を類似度の最良値Ｍ（ｘ，ｙ）、小さい方が最悪値ｍ（ｘ，ｙ）として、移動類似度マップＴとする。ここでｄは、上記のとおり規定移動量である。

さらに、上記例と同様に、実際の画像に重畳されるノイズを想定しても良い。但しこの場合は小領域を実際に動かして類似度を計算することは行わないため、ノイズ量を想定した式を用いる。具体的には、Ｎ₁およびＮ₂をノイズ量を示す固定値とし、下記の式で表現される値のうち大きい方を最良値Ｍ（ｘ，ｙ）、小さい方を最悪値ｍ（ｘ，ｙ）とする。

以上は、処理を小領域内で行うとしたが、実際には領域の大きさは自由である。さらに例えば、領域を大きくして中心部分の重みを増して計算を行う方法が考えられる。また、｜▽Ｇσ＊ｇ₁（ｘ，ｙ）｜≠０であれば、小領域を１点と考えて処理することも可能である。

ここで、σの大きさはｄとは独立に、自由に設定可能である。しかし、σが固定された状態でｄだけを大きく設定し、例えば最悪値ｍ（ｘ，ｙ）が−１より小さくなると意味がなくなる（相関値は常に−１より大きいため）。その場合は、画像の平滑化が進むにつれ、λ_iがσに依存して小さくなることを利用して、σを大きくする方法が考えられる。例えば、σを規定移動量ｄと同じ値やｄの２倍など、定数倍の値を選ぶ方法、またはｄの２乗などにすることが考えられる（請求項４等に相当する）。これらにおける結果と効果は、決め方により変わるが、その方法は規定しない。

なお、σが大きい場合は、予め画像を一定値で縮小し、σ、ｄ、それぞれを同じ比率で縮小しても同じ効果が得られる。例えば、画像を１／σに縮小、ｄ、σを１／σとすることができる。

次に、画像類似度マップ計算ステップＳ２では、移動類似度マップ作成ステップＳ１で利用した類似度計算方法と同じ方法を用いて、画像１、２（ｇ₁（ｘ，ｙ）、ｇ₂（ｘ，ｙ））の類似度を計算する。この値を画像類似度マップＲ（ｘ，ｙ）と記すことにする。

移動有無判定ステップＳ３では、移動類似度マップＴと画像類似度マップＲに従って、移動有無または判定不能を判断する。具体的には、例えば、相関値のように類似度の値Ｒ（ｘ，ｙ）は類似するほど大きな値を示すとする。Ｃ（ｘ，ｙ）を３値画像とすると、以下の式で定義できる。なお、Ｃ（ｘ，ｙ）＝１，０，−１の数値には意味はなく、単に分類するための値である。

この例ではＣ（ｘ，ｙ）＝１なら動きがｄ以下、−１なら動きが検知された、０なら判定不能という意味に解釈する。この結果が３値画像記憶部６に記憶される。最良値Ｍ（ｘ，ｙ）と最悪値ｍ（ｘ，ｙ）の大きさは、その点の特徴に依存する。

例えば、画像のパターンが小さな点「・」のような場合、どの方向に変化しても類似度は大きく低下する。一方、パターンのエッジ部分では、エッジの垂直方向では類似度低下が大きく、エッジの方向では類似度低下は少ない。特徴的でない点は、どの方向に移動しても類似度低下は少ない。移動類似度マップは、このような特徴を予め計算しておくことになる。最良値Ｍ（ｘ，ｙ）−最悪値ｍ（ｘ，ｙ）が小さな点では判定不能となる確率は低く、最良値Ｍ（ｘ，ｙ）が大きな点では確率が高くなる。

なお、本発明では、画像１、２の２枚を処理する場合で説明した。これらの画像は時間が近いが異なる時系列画像（動画後の２フレーム）でも良い。また、規定移動量ｄを非常に小さくしたい場合には、規定移動量ｄを大きくし、同時にその比率分だけ時間間隔を広げて、同様の処理を行っても良い。画像１を過去の背景画像、画像２を現在の画像のように時間的に離れた画像であっても良い。また、新たに第３の画像を用意して、画像２と第３の画像において同様の処理を行って、確度を高めることも可能である。

結果として得られる３値画像は、変化の有無を単なる閾値処理により判定しているのではないため、変化領域とこれに連続する判定不能領域を集めて変化領域とすることも、用途に応じて可能である。

なお、本発明は、図１に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータで実行可能にすることができる。

本発明の実施形態を示す変化領域抽出方法の手順図。 実施形態における、中心点を中心に類似度を計算した場合の類似度マップの例。

符号の説明

１ 画像
２ 画像
３ 規定移動量設定部
４ 移動類似度マップ
５ 画像類似度マップ
６ ３値画像記憶部
Ｓ１ 移動類似度マップ作成ステップ
Ｓ２ 画像類似度マップ計算ステップ
Ｓ３ 移動有無判定ステップ

Claims (5)

1. ２枚の同じサイズの画像を比較して、変化した領域と変化しない領域を抽出する変化領域抽出方法であって、
   予め画像上での動きとして検知すべき見かけの規定移動量が予め設定され、１枚目の画像に撮影された物体が上記規定移動量を移動した場合の移動類似度を、各点における最大値（最良値）と最小値（最悪値）のペアの値として得る移動類似度マップ作成ステップと、
   上記２枚の画像の対応する各点の類似度を、上記移動類似度の計算と同じ処理方法で求める画像類似度マップ計算ステップと、
   画像の各点において、上記画像類似度マップ計算ステップにて得られた画像類似度が、上記移動類似度マップ作成ステップにて得られた最大値と最小値を閾値として該閾値のどの範囲にあるかにより、類似しているか、または類似していないか、または特定不能かの３つのカテゴリに分類する移動有無判定ステップと、
   を有することを特徴とする変化領域抽出方法。
2. 請求項１において、上記移動類似度マップ作成ステップは、画像の各点を含む小領域を設定し、小領域の中心点を中心に上記規定移動量だけずらしながら移動類似度を求めることを特徴とする変化領域抽出方法。
3. 請求項１において、上記類似度は、
   画像の高周波成分をカットした後に画像のグラジエントを計算し、この後に画像間の相関値を演算するステップと、
   各点において画像の高周波成分をカットした後の２回微分（Ｈｅｓｓｉａｎ：２×２行列）を計算して得られる２つの固有値と固有ベクトルを計算して類似度マップを求めるステップと、
   を有して求めることを特徴とする変化領域抽出方法。
4. 請求項３において、類似度計算における高周波成分のカットパラメータを上記規定移動量に応じて変更することを特徴とする変化領域抽出方法。
5. 請求項１〜４の一部又は全部の処理機能をコンピュータで実行可能に構成したことを特徴とする変化領域抽出方法のプログラム。