JP2006053692A - 動画像における画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することのできる画像処理を実現する。
【解決手段】 本発明の画像処理装置１０は、撮像装置２０によって撮影された動画像中の物体の動きベクトルを、局所相関演算法を用いて検出するものである。この画像処理装置には、背景領域検出部１１、動きベクトル検出部１３、動領域ラベリング部１２を有する動画像処理部が備えられている。この画像処理装置１０では、撮像装置１０から送られた画像データを複数の局所領域に分割し、この局所領域におけるエッジ情報および／または色彩情報を用いて動きベクトルを検出するという画像処理を行う。これによって、照明の強度変化が激しい環境下においても、物体の動きを精度良く追跡することができる。
【選択図】 図１

Description

本発明は、動画像から物体の動きを解析（ないし追跡）するための画像処理方法および画像処理システムに関するものである。

時間的に連続する画像（動画像）から物体の動きを解析して、自動追跡を行うなどの処理は動画像解析の最も重要な処理の一つであり、ＩＴＳや自動監視システムなどの技術に用いられている。動画像中から物体を検出するためには画像間の何らかの特徴量を利用して照合する必要があり、その特徴量として形状情報、色彩情報、輝度情報などが挙げられる。形状情報を特徴量に用いた追跡手法では、主に物体の輪郭、大きさ、形状の情報から物体の追跡を行う。

形状情報を用いた最も単純な追跡手法として、追跡対象のオブジェクト領域を１つのテンプレートとしてテンプレートマッチングを行う方法が挙げられる。この方法は実装が簡単であるが物体を大局的に見ているため、物体の大きさが変化したり回転したりする場合には追跡精度が落ちる。また、対象物体表面の傾きによって、局所的な部分に強く光の反射が起こり、局所的に色が変化する場合には、追跡ができなくなる。そのため、輝度情報、色彩情報を用いて物体の局所領域情報から物体を推定する手法が提案されている。ここで言う局所領域とは、ある大きさを持った領域のことである。

その有力な手法として、アクティブ探索法、オプティカルフロー推定法（非特許文献１，２参照）が挙げられる。

アクティブ探索法は局所領域の色彩情報を用いて、画像中の物体を検出する手法である。アクティブ探索法では、まず、参照画像の色ヒストグラムを生成する。そして、画像中の局所領域の色ヒストグラムと一致する部分を探索する。この手法は物体が大小、変形したりしても、精度良く追跡することができるが、参照画像を更新しない場合、時間が経つにつれて追跡精度が低下する。特に、物体が回転して、見え方が変わった場合には追跡が困難となる。

また、参照画像と同じような物体が存在した場合にも追跡が困難となる。一方、オプティカルフロー推定手法は、局所領域の輝度情報を用いて動画像中の動き（フロー）を知る手法である。この手法は、フレーム間の情報を用いているため、上記に示したアクティブ探索法での問題点が見られない。

オプティカルフロー推定手法には大きく分けて２種類の手法がある。一つは勾配法を用いた手法、もう一つは局所相関演算法を用いた手法である。勾配法は画像の時空間微分の拘束方程式による条件から移動ベクトルを推定する手法である。この手法では、計算量が少ないという利点がある。しかし、雑音に弱く、輝度値が急激に変化するところでの誤差が大きいという欠点がある。さらに、拘束方程式だけでは移動ベクトルの解が求まらないため、隣接する移動ベクトルが似ているなどの条件を付け加える必要がある。そのため、通常は密に移動ベクトルを求める際に用いられている。

一方、局所相関演算法は、画像中のブロック領域をテンプレートとし、次フレームの画像を探索してテンプレートブロックとの相関値を最大にするブロックを対応点とする手法である。この手法は、輝度値が急激に変化するところでも誤差が少なく、雑音にも強いという利点がある。
「ロボットビジョン −機械は世界をどう視るか−」、発行日：１９９３年２月２５日、著者：Berthold K. P. Horn 、訳者：NTTヒューマンインタフェース研究所プロジェクトRVT、発行者：朝倉邦造、305-328頁 「コンピュータビジョン 技術評論と将来展望」、発行日：１９９８年６月１５日、編者：松山隆司、久野義徳、井宮淳、発行者：松下要、発行所：株式会社 新技術コミュニケーションズ、著者：NTTデータ通信（株）、武川直樹、宮島耕治、138-148頁

しかしながら、上述の局所相関演算法は、探索に膨大な計算量が必要となること、ブロックが大きいと並進以外の拡大・縮小・回転などの運動に弱いこと、はずれ値（誤差モデルからはほとんど生じる可能性がないような大きな誤差）が生じることなどの欠点がある。計算量の理由より、近年までは処理量の少ない勾配法がよく用いられてきたが、勾配法で求めた動きベクトルはノイズに弱く不安定であり、実用に用いることは容易ではない。しかし、近年のハードウェア技術の向上により、処理量の問題は解決できる。

よって、局所相関演算法の方が実用的な手法と考えられる。このような、局所領域の情報から対象物体を追跡する手法では、局所的な情報を得ることにより、局所的に色輝度が変化している部分のみを追跡することができる。また、局所領域を用いることで輝度情報、色彩情報に現れやすいノイズを軽減することができる。

そこで、本願では光源からの光の情報と画像のノイズの影響を考慮に入れた局所相関演算法を用いて動物体を追跡する方法を提供する。しかし、一般にオプティカルフロー推定法は、フレーム間の対応点の輝度値が等しいと仮定してオプティカルフロー推定を行うために、照明環境の変化によって起こる陰影、光の強度変化などによって、フレーム間の対応点の輝度値が変化すると、フローの推定精度が著しく低下するという問題点がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することのできる画像処理装置および画像処理方法を提供することにある。

本願発明者は、上記の問題点をふまえ、局所相関演算から得られた局所領域の相関値分布から動きベクトルを求める手法について検討した。その結果、照明の強度変化によっておこるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防ぐため、濃淡画像から得られるエッジ情報、照明の強度変化に強い特徴量である色彩情報を用いた局所相関演算が有効であることを見出し、本発明を完成させるに至った。なお、ここで言う色彩情報とは、照明の影響を受けない物体の本来持つ色の情報のことである。

すなわち、本発明にかかる画像処理装置は、撮像装置によって撮影された動画像中の物体の動きベクトルを、局所相関演算法を用いて検出する画像処理装置であって、画像中のエッジ情報、または、画像中の色彩情報の少なくとも一つを用いて動きベクトルを検出する動画像処理部を備えることを特徴とするものである。

本発明の画像処理装置は、局所相関演算法を用いて動画像中の現フレームと次フレームとの間の動物体（動いている物体）の動きベクトルを検出するものである。局所相関演算法では、画像を複数の局所領域に分割して、局所領域の画像情報から検出対象となる動物体の動きベクトルを検出するため、局所的に色、輝度が変化している部分のみを追跡することができる。また、局所領域を用いることで輝度情報、色彩情報に現れやすいノイズを軽減することができる。

しかし、従来の局所相関演算法を用いた動きベクトルの検出は、フレーム間で対応している各各局所領域の輝度値が等しいと仮定して実施される。そのため、照明環境の変化によって起こる陰影、光の強度変化などによって、フレーム間で対応する各局所領域の輝度地が変化すると、動きベクトルの検出精度が著しく低下するという問題点がある。

この問題を解決するために、本願発明の画像処理装置においては、動きベクトルの検出に、濃淡画像から得られるエッジ情報および／または照明の強度変化に強い特徴量である色彩情報を用いている。なお、ここで言う色彩情報とは、照明の影響を受けない物体が本体持つ色の情報のことである。

これによって、照明の強度変化によって起こるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防止することができる。そのため、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することができる。

本発明の画像処理装置において、上記動画像処理部では、エッジ情報と色彩情報の両方を用いて動きベクトルを検出することが好ましい。

上記の構成によれば、無彩色となる部分や、輝度値が最小値あるいは最大値に近い場所においては、エッジ情報を用いた局所相関演算を行い、局所領域内全体が単色で色のみが変化した場合には、色彩情報を用いた局所相関演算を行うというに、それぞれの弱点を補完し合うことによって、動きベクトルの誤検出を防止することができる。これによって、物体の動きをより正確に検出することができる。

本発明の画像処理装置において、上記動画像処理部は、上記撮像装置から送られた画像データを複数の局所領域に分割する局所領域分割手段と、各局所領域におけるエッジ情報および／または色彩情報を抽出する画像情報抽出手段と、上記エッジ情報および／または色彩情報を用いて局所相関演算を行い、動画像中の現フレームにおける所定の局所領域に対応する次フレームの局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出する動きベクトル検出手段と、を備えるものであってもよい。

上記の構成によれば、画像情報抽出手段が局所領域におけるエッジ情報および／または色彩情報を抽出し、動きベクトル検出手段がこれらの画像情報をそれぞれ単独で、あるいは、両方を組み合わせて用いて動きベクトルを検出することができる。これによって、照明の強度変化によって起こるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防止することができる。そのため、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することができる。

本発明の画像処理装置は、動画像中の現フレームにおける所定の局所領域と、次フレームの上記所定の局所領域およびその周辺の局所領域との間において、上記エッジ情報および／または上記色彩情報の各局所領域間の差分を求め、この差分から背景領域を検出する背景領域検出手段をさらに備え、上記動きベクトル検出手段では、背景領域検出手段で背景領域と検出された部分以外の領域に含まれる局所領域について、局所相関演算を行うことが好ましい。

上記の構成によれば、動物体が存在すると推定される背景領域以外の部分に含まれる局所領域についてのみ局所相関演算を行えばよいため、動きベクトル検出手段における演算量を減らすことができる。

本発明の画像処理装置において、上記動きベクトル検出手段では、上記色彩情報から色ヒストグラムを作成し、現フレームの局所領域における色ヒストグラムと、次フレームの局所領域における色ヒストグラムとの類似度を求め、上記類似度を用いて、上記所定の局所領域に対応する局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出することが好ましい。

色ヒストグラムを作成すれば、同じ輝度平面上において異なる色を検出することができる。よって照明の強度変化に左右されずに動物体を追跡することができ、動物体をより正確に検出することができる。

本発明の画像処理装置において、上記動きベクトル検出手段では、上記エッジ情報から得られるエッジの強さを示す濃淡画像を用いた局所相関演算を行って動きベクトルを検出してもよい。

上記の構成によれば、色彩情報によって検出することのできない物体の動きを検出することができる。例えば、白い壁の前を白いシャツを着た人物が移動する場合、色彩情報では検出精度が悪いが、エッジの強さを示す濃淡画像を用いれば、精度良く検出できるか能性がある。すなわち、色彩情報が顕著でない環境における物体追跡精度を向上させるという効果を得ることができる。

また、上記画像情報抽出手段において、上記色彩情報の抽出はマンセル表色系を用いて行われることが好ましい。

マンセル表色系は、Ｌ^＊ａ^＊ｂ^＊、Ｌ^＊ｕ^＊ｖ^＊表色系に比べ、非常に精度の良い均等色空間を生成することができる。したがって、上記の構成によれば、色彩情報を精度良く抽出することができる。

また、上記画像情報抽出手段において、上記エッジ情報の抽出はSobelフィルタを用いて行われることが好ましい。Sobelフィルタを用いることによって、正確なエッジ情報を抽出することができる。

本発明にかかる画像処理方法は、局所相関演算法を用いて、動画像中の物体の動きベクトルを検出する画像処理方法であって、上記局所相関演算法では、画像中のエッジ情報、または、画像中の色彩情報の少なくとも一つを用いて動きベクトルを検出することを特徴とするものである。

本発明の画像処理方法は、局所相関演算法を用いて動画像中の現フレームと次フレームとの間の動物体（動いている物体）の動きベクトルを検出するというものである。従来の局所相関演算法を用いた動きベクトルの検出は、フレーム間で対応している各各局所領域の輝度値が等しいと仮定して実施される。そのため、照明環境の変化によって起こる陰影、光の強度変化などによって、フレーム間で対応する各局所領域の輝度地が変化すると、動きベクトルの検出精度が著しく低下するという問題点がある。

この問題を解決するために、本願発明の画像処理方法においては、動きベクトルの検出に、濃淡画像から得られるエッジ情報および／または照明の強度変化に強い特徴量である色彩情報を用いている。なお、ここで言う色彩情報とは、照明の影響を受けない物体が本体持つ色の情報のことである。

これによって、照明の強度変化によって起こるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防止することができる。そのため、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することができる。

本発明の画像処理方法において、上記局所相関演算法では、画像中のエッジ情報および画像中の色彩情報の両方を用いて動きベクトルを検出することが好ましい。

本発明の画像処理方法においては、エッジ情報または色彩情報単独でも、従来の画像処理と比較して良好な効果を得ることができる。しかし、エッジ情報と色彩情報の両方を組み合わせて画像処理を行えば（実施の形態では組み合わせた場合について記載）、互いに検出しにくい場合を補い合うため、より効果的である。

また、本発明の画像処理方法は、画像を局所領域に分割する工程と、各局所領域におけるエッジ情報および／または色彩情報を抽出する画像情報抽出工程と、上記エッジ情報および／または色彩情報を用いて局所相関演算を行い、動画像中の現フレームにおける所定の局所領域に対応する次フレームの局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出する工程と、を含むものであってもよい。

上記の画像処理方法によれば、画像情報抽出工程で、局所領域におけるエッジ情報および／または色彩情報を抽出し、動きベクトル検出工程において、これらの画像情報をそれぞれ単独で、あるいは、両方を組み合わせて用いて動きベクトルを検出することができる。これによって、照明の強度変化によって起こるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防止することができる。そのため、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することができる。

なお、上記画像形成装置における上記各手段を、本発明の画像処理プログラムによりコンピュータ上で実行させることができる。さらに、上記画像処理プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記画像処理プログラムを実行させることができる。

つまり、本発明にかかる画像処理プログラムは、上述の何れかの画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるためのものである。また、本発明の記録媒体は、上記の画像処理プログラムが記録されたコンピュータ読取り可能な記録媒体である。

本発明にかかる画像処理装置は、以上のように、画像中のエッジ情報、または、画像中の色彩情報の少なくとも一つを用いて動きベクトルを検出する動画像処理部を備えている。

上記の構成によれば、照明の強度変化によって起こるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防止することができる。そのため、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することができるという効果を奏する。

本発明にかかる画像処理方法は、以上のように、局所相関演算法を用いて、動画像中の物体の動きベクトルを検出するものであって、局所相関演算法では、画像中のエッジ情報、または、画像中の色彩情報の少なくとも一つを用いて動きベクトルを検出するというものである。

この画像処理方法によれば、照明の強度変化によって起こるグラデーション領域での動きベクトルの誤検出、輝度の変化がない部分での動きベクトルの未検出などを防止することができる。そのため、動画像中において、照明の強度が変化した場合にも物体の動きを正確に検出することができるという効果を奏する。

以下、本発明の一実施形態について説明するが、本発明はこの記載に限定されるものではない。

本実施の形態では、ＩＴＳや自動監視システムなどに備えられ、動画像中における動物体の動きを追跡する画像処理装置について説明する。

図１には、本実施の形態にかかる画像処理装置の内部構成を示す。図１は、画像処理装置内部に存在する種々の構成のうち、特に、動画像中の動物体の追跡を行うための動画像処理部の内部構成を示すものである。本実施の形態にかかる画像処理装置１０は、図１に示すように、ＣＣＤカメラなどのような一般的な撮像装置２０、一般的な表示装置２０と接続されている。本実施の形態では、画像処理装置２０と表示装置３０とが別体となった構成であるが、本発明はこれに限定されることなく、表示装置と画像処理装置が一体型となった構成であってもよい。

撮像装置２０によって撮影された画像データは、画像処理装置１０に送られ、動物体追跡のための画像処理が施される。このような画像処理が施された画像データは、表示装置３０に送られる。表示装置３０に送られた画像データは、画面上に映し出されるが、このとき、画面上における動物体領域は、例えば、四角の枠で囲んだ状態で示される。このように、本実施の形態にかかる画像処理装置１０によって画像処理の施された画像データにおいては、動物体が認識された状態となっている。

なお、本実施の形態にかかる画像処理装置１０は、撮像装置２０によって得られた画像データを表示装置に映し出すための通常の画像処理を行う機能も有している。このような通常の画像処理は図示しない画像処理部で実施される。この画像処理部の構成については、従来から一般に使用されているものを採用することができる。

続いて、画像処理装置１０のより具体的な内部構成を説明する。本実施の形態にかかる画像処理装置１０には、局所相関演算法を用いて動画像中の物体の動きベクトルを検出するための動画像処理部が設けられている。この動画像処理部では、画像中のエッジ情報、および、画像中の色彩情報を動きベクトルの検出のためのパラメーターとして用いている。

動画像処理部には、背景領域検出部１１、動きベクトル検出部１３、動領域ラベリング部１２が備えられている。

背景領域検出部１１は、各フレームの画像データを複数の局所領域に分割して、画像中のエッジ情報および色彩情報を抽出した後、現フレームと次フレーム間における各局所領域の差分を算出することによって、背景領域を検出するというものである。

この背景領域検出部１１には、撮像装置２０から送られた画像データを複数の局所領域に分割する局所領域分割部（局所領域分割部）１、各局所領域におけるエッジ情報を抽出するエッジ情報抽出部（画像情報抽出手段）２、各局所領域における色彩情報を抽出する色彩情報抽出部（画像情報抽出手段）３、動画像中の現フレームにおける参照ブロック（所定の局所領域）と、次フレームの注目ブロック（上記所定の局所領域およびその周辺の局所領域）との間において、上記エッジ情報および上記色彩情報の各局所領域間の差分を求め、この差分から背景領域を検出する差分算出・背景領域検出部（背景領域検出手段）４が設けられている。

エッジ情報抽出部２では、例えば、Sobelフィルタを用いてエッジ情報の抽出が行われる。色彩情報抽出部３では、例えば、マンセル表色系を用いて色彩情報の抽出が行われる。

動きベクトル検出部（動きベクトル検出手段）１２は、上記のエッジ情報および／または色彩情報を用いて局所相関演算を行い、次フレームの注目ブロックの中から、動画像中の現フレームにおける参照ブロック（所定の局所領域）に対応するブロックを求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出するものである。

ここで、注目ブロックとは、次フレームにおいて、現フレームの参照ブロック（所定の局所領域）に対応する所定の局所領域、および、その周辺の局所領域のうちの何れかの局所領域のことを意味する。なお、上記周辺の局所領域とは、具体的には、参照ブロックを中心として（−１０〜１０ブロック）×（−１０〜１０ブロック）の範囲に存在する局所領域のことである。つまり、参照ブロックを中心として縦横それぞれ２０ブロックの範囲内に存在する局所領域が探索範囲となる。それゆえ、この探索範囲内には、２００×２００[ｐｉｘｅｌ]の画素が存在する。

動きベクトル検出部１２には、動きベクトル検知ブロック内の動きベクトル検出部５、移動ブロック内の動きベクトル検出部６、動物体領域検出部７が設けられている。

動きベクトル検知ブロック内の動きベクトル検出部５は、比較的小さなブロック（例えば、１０×１０[ｐｉｘｅｌ]）を動きベクトル検知ブロックとし、この領域で局所相関演算を行い、動いている領域を検出するというものである。

移動ブロック内の動きベクトル検出部６は、上記動きベクトル検知ブロックを複数組み合わせた比較的大きなブロックを移動ブロックとし、この領域内で局所相関演算を行い、動物体の動いている方向を検出するというものである。

動物体領域検出部７は、上記動きベクトル検知ブロック内の動きベクトル検出部５、および、上記移動ブロック内の動きベクトル検出部６によって得られた動きベクトルに基づいて、画像中の動物体領域を検出するものである。なお、本実施の形態では、この動物体領域検出部７に動領域ラベリング１３によって動領域がラベリングされた画像データも送られ、このラベリングされた画像データと動きベクトルとを用いて、より精度の高い動物体領域の検出が行われる。

動領域ラベリング部１３は、差分算出・背景領域検出部４において背景領域に分類された領域以外の領域を動物体領域としてラベリングするものである。

次に、画像処理装置１０で行われる画像処理方法について説明する。

本実施の形態にかかる画像処理方法は、局所相関演算法を用いて、動画像中の物体の動きベクトルを検出するものである。この画像処理方法における動きベクトルの検出工程では、エッジ情報抽出部２で抽出されたエッジ情報、および、色彩情報抽出部３で抽出された色彩情報を用いて局所相関演算を行い、動画像中の現フレームにおける参照ブロック（所定の局所領域）に対応する次フレームのブロック（局所領域）を求め、これら２つのブロック間の移動量と移動方向とを動きベクトルとして検出する。

局所相関演算法とは、分割された局所領域（ブロック）内の対応する画素（ピクセル）間で差分（引き算）を行い、それらの差の総和Ｄ（ｕ，ｖ）を求める方法である。この総和は、図１０において右方向にｕ画素、下方向にｖ画素移動して求めた差分の総和を示している。すなわち、Ｄ（ｕ，ｖ）をあらかじめ決めた探索範囲内全てに対して求める。

色彩情報を用いて動きベクトルを検出する場合には、総和Ｄ（ｕ，ｖ）は、下記式（１）

によって求められる。

例えば、探索範囲が（−１０≦ｕ≦１０，−１０≦ｖ≦１０）の範囲内ならば、Ｄ（ｕ，ｖ）は１００個決まる。この１００個算出される総和のうち、Ｄ（ｕ，ｖ）の値が最小となる移動ベクトル（ｕ，ｖ）がブロックの動きベクトルである。動きベクトルの算出方法については、後述の〔２〕において詳細に説明する。

上記探索範囲は、任意に決定すればよいが、演算量や検出精度を考慮すると、参照ブロック（現フレームにおける所定の局所領域）を中心として、（−１０〜１０ブロック）×（−１０〜１０ブロック）のような範囲に設定することが好ましい。

本実施の形態では、色彩情報を用いて動きベクトルを検出する場合には、動きベクトル検出部１２では、上記色彩情報から色ヒストグラムを作成し、現フレームのブロックにおける色ヒストグラムと、次フレームのブロックにおける色ヒストグラムとの類似度を求め、上記類似度を用いて、上記所定の局所領域に対応する局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出するという処理が行われる。

このように、色ヒストグラムを作成すれば、同じ輝度平面上において異なる色を検出することができる。よって照明の強度変化に左右されずに動物体を追跡することができ、動物体をより正確に検出することができる。

また、エッジ情報を用いて動きベクトルを検出する場合には、動きベクトル検出部１２では、上記エッジ情報から得られるエッジの強さを示す濃淡画像を用いた局所相関演算を行って動きベクトルを検出するという処理が行われる。

このような処理を行うことによって、色彩情報とエッジ情報を用いた照明の強度変化に頑健な動物体追跡が可能となる。

以下に、本実施の形態にかかる画像処理の流れを、図２を用いて説明する。

先ず、撮像装置２０から、現フレームの画像データ、および、次フレームの画像データがそれぞれ局所領域分割部１に送られ、局所領域分割工程が実施される（Ｓ１１）。次に、各局所領域に分割された画像データは、エッジ情報抽出部２あるいは色彩情報抽出部３に送られ、それぞれの局所領域について画像情報の抽出が行われる（エッジ情報・色彩情報抽出工程：Ｓ１２）。

次に、エッジ情報・色彩情報の抽出が行われた画像データは、差分算出・背景領域検出部４に送られ、ここで、背景領域検出工程が実施される（Ｓ１３）。この工程で、局所領域は背景領域であるか否かの検出が行われ、背景領域でない（Ｓ１３でＮｏ）と認識された局所領域の画像データについては、動きベクトル検出部１２および動領域ラベリング部１３に送られ、動きベクトル検出部１２では、動きベクトル検出工程が実施される（Ｓ１４）。また、動領域ラベリング部１３では、動領域のラベリングが実施される（ラベリング工程：Ｓ１５）。なお、背景領域である（Ｓ１３でＹｅｓ）と認識された局所領域の画像データについては、Ｓ１６の動物体領域検出処理にそのまま利用される。

そして、動きベクトルの検出、および、動領域のラベリングが行われた画像データは、動物体領域検出部７において、動物体領域検出のための処理が施され、これによって、動物体の追跡が実行される。

上記の画像処理は、一定の時間間隔で現フレームおよび次フレームの画像データが撮像装置２０より送信されることによって、繰り返し実施される。

以上のように、本実施の形態にかかる画像処理方法は、画像中のエッジ情報および色彩情報を用いて局所相関演算を行い、動きベクトルの検出を行っている。それゆえ、照明の強度変化が激しい環境下においても、物体の動きを精度良く追跡することができる。

なお、本実施の形態にかかる画像処理では、画像中のエッジ情報および色彩情報の両方を組み合わせて、動きベクトルの検出を行うものであるが、本発明はこれに限定されるものではない。つまり、画像中のエッジ情報あるいは色彩情報の何れか一方のみを用いて動きベクトルの検出を行うという画像処理の形態についても本発明の範囲内に含まれる。

また、本実施の形態にかかる画像処理装置１０には、背景領域と動物体領域を含むそれ以外の領域とを識別するための差分算出・背景領域検出部（背景領域検出手段）４、および、この差分算出・背景領域検出部４で背景領域以外の領域と判定された局所領域にラベリングを行う動領域ラベリング部１３が設けられている。しかしながら、本発明は必ずしもこの構成を含む必要はない。つまり、本発明の画像処理装置には、局所領域分割部１、画像情報抽出部（エッジ情報抽出部２および／または色彩情報抽出部３）、動きベクトル検出部１２という３つ構成要素が含まれていれば、照明の強度変化の激しい環境下においても、動物体領域を精度良く検出することができる。

但し、差分算出・背景領域検出部（背景領域検出手段）４がさらに設けられていることによって、動きベクトル検出手段における演算量を減らすことができる。また、動領域ラベリング部１３が設けられていることによって、動きベクトル検出部１２における動物体領域の検出をより精度良く行うことができる。

また、本実施の形態の画像処理装置に接続されている撮像装置が、当該画像処理装置によって追跡される物体の動きに連動して、撮影対象領域をある程度移動させることができるような機能を有していれば、より広範囲にわたって物体の動きを監視することができる。

なお、上記実施形態の画像処理装置の各部や各処理工程は、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の画像処理装置の各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。

この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。

また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。

また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。

また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。

さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。

以下、本発明の画像処理について、従来技術を踏まえた上でより詳細に説明する。

〔１〕照明の強度変化に左右されない色彩情報の抽出方法について
１．１表色系
色を定量的に表示することを表色といい、表色のための一連の規定と定義からなる体系を表色系という。表色系は大きく分類すると混色系と顕色系の２つに分類することができる。

１．１．１混色系
混色系とは、色光の三原色の混色や回転混色の方法で混色の割合より色を表す表色系である。混色系にはＲＧＢ表色系およびＸＹＺ表色系が挙げられる。

ＲＧＢ表色系は、ＣＩＥ表色系の一つであり、Ｒ，Ｇ，Ｂの３刺激値の混色によって表した表色系である。任意の色刺激Ｑを３種類の原刺激［Ｒ］、［Ｇ］、[Ｂ]の適当な混色で等色にした場合、色刺激Ｑは次式（２）で表される。

Ｑ＝Ｒ_Ｑ［Ｒ］＋Ｇ_Ｑ［Ｇ］＋Ｂ_Ｑ［Ｂ］ …（２）
ＲＧＢ表色系では、この原刺激として、７００．０［ｎｍ］、５４６．１［ｎｍ］、４３５．８［ｎｍ］の単色光を用いている。また、原刺激の割合を表す量Ｒ_Ｑ、Ｇ_Ｑ、Ｂ_Ｑを３刺激値と呼ぶ。この３刺激値は、色刺激と等色にするために必要な原刺激の量である。そして、３刺激値の単位は、等エネルギー白色Ｅ（Ｅ＝Ｒ_Ｅ［Ｒ］＋Ｇ_Ｅ［Ｇ］＋Ｂ_Ｅ［Ｂ］）等色にした時に、それらの３刺激値が等しくなるように定められている。つまり、次式（３）
Ｒ_Ｅ＝Ｇ_Ｅ＝Ｂ_Ｅ …（３）
となる。したがって、このように決められた３刺激値の単位は輝度ともエネルギーとも一致しない。

上記のようにに定義されるＲＧＢ表色系には以下の（１）〜（３）ような欠点がある。

（１）負の３刺激値が存在する
ＲＧＢ表色系は３種類の色光の混色により色を実現している。このため、負の刺激値が存在することは、負の量を混合することを意味する。つまり、この表色系では全ての色を表すことが不可能である。

（２）色度図における色の分布に偏りがある
ＲＧＢ色空間で輝度が０の面である無輝面は、Ｒ＋４．５９０７θ＋Ｏ．０６０１Ｂ＝０で定義されている。つまり、Ｒ＋Ｇ＋Ｂ＝０で定義されている色度図と等輝度面が一致しない。このため、色度図上に色の分布の偏りができてしまう。

（３）輝度を３刺激値の総和で表している
輝度を表す属性値は、色を表す属性値と同様独立した属性値である。しかし、ＲＧＢ表色系は、３属性値の線形和で表しているため、輝度の属性値の独立性がない。

また、ＸＹＺ表色系は、ＲＧＢ表色系の欠点を修正するために考案された表色系である。つまり、ＲＧＢ表色系の問題点の一つである負の３刺激値の存在をなくすために、ＲＧＢ表色系とは異なる原刺激の組み合わせを持つ。さらに、輝度は３刺激値の線形和ではなく、３刺激値のＹの値だけで表される。

ＲＧＢ表色系からＸＹＺ表色系への変換式を下記式（４）に示す。

１．１．２顕色系
顕色系とは、色の三属性を視覚的に等歩度間隔（均等な間隔）になるように配列した表色系である。顕色系にはマンセル表色系、ＣＩＥ1976(L^*a^*b^*)表色系、ＣＩＥ1976(L^*u^*v^*)表色系が挙げられる。

マンセル表色系は、顕色系の代表的な表色系である。そして、物体表面の知覚式が色知覚に基づいている心理的な色の属性である、明るさ、色相、飽和度からなる。この明るさの属性値を明度と呼び、尺度目盛をＶ（Ｖａｌｕｅ）で表す。同様に飽和度の属性値をクロマと呼び、その尺度目盛をＣ（Ｃｈｒｏｍａ）で表す。そして、色相の属性値はそのまま色相と呼び、尺度目盛をＨ（Ｈｕｅ）で表す。

この３属性値のうちのクロマは、物体色の中に含まれる色みの量を表す尺度である。これに対して彩度は、色の鮮やかさを表す。よって、彩度は色みの量と明度との比と定義される。つまり、彩度は図３のように、色みの量が同じでも明度の値が増大すると彩度の値はどんどん小さくなる。しかし、クロマは図４のように、明度が変化しても値は変化しない。この明度、色相、クロマからなるマンセル色空間は、図４のような円筒座標系を用いて表示し、色相を円周方向、クロマをその円周の放射状方向にとり、明度を上下方向にとる。

ＲＧＢ表色系からマンセル表色系への近似的変換方法には、ＣＩＥ1976(L^*a^*b^*)色空間を用いる変換色がある。しかし、この変換方法は変換精度が充分でない。そこで、より精度の高い数学的変換方法ＭＴＭ法が提案されている。以下にＭＴＭ法を用いたＨＶＣ変換方法を示す。

感覚Levelにおける刺激量Ｘ_ｃ、Ｙ、Ｚ_ｃ、と、知覚Levelにおける刺激量ｈ_１、ｈ_２、ｈ_３を以下のように定義する。

Ｘ_ｃ＝１．０２０Ｘ
Ｚ_ｃ＝０．８４７Ｚ
ｈ_１＝１１．６Ｘ_ｃ ^１／３−１１．６Ｙ^１／３
ｈ_２＝１１．６Ｚ_ｃ ^１／３−１１．６Ｙ^１／３
ｈ_３＝１１．６Ｙ^１／３−１．６
さらに、新たな座標軸、Ｓ_１、Ｓ_２、Ｍ_３を以下のように導く。

Ｍ_１＝ｈ_１
Ｍ_２＝０．４ｈ_２
Ｍ_３＝０．２３ｈ_３
Ｓ_１＝｛８．８８＋０．９６６cos（θ）｝・Ｍ_１
Ｓ_２＝｛８．０２５＋２．５５８sin（θ）｝・Ｍ_２
但し、θ＝tan^−１（Ｍ_２／Ｍ_１）
この座標軸上で、次式（５）の推定量Ｈ、Ｃ、Ｖが定義される。

また、ＣＩＥ1976(L^*a^*b^*)表色系は、ＣＩＥＬＡＢ表色系やL^*a^*b^*表色系と呼ばれているＣＩＥ表色系の１つである。そして、この表色系により作られる色空間は、ＣＩＥＬＡＢ色空間と呼ばれることもある。ここでは表色系をL^*a^*b^*色空間、L^*が明度の属性値を表し、a^*b^*が色相、彩度といった知覚の属性値からなる平面を表す３次元直行座標系の色空間である。

さらに、L^*a^*b^*表色系は空間中の任意の２つの色刺激間の距離が知覚的に等しい差となっているため、均等色空間とよばれている。以下の式（６）に、L^*a^*b^*変換式を示す。

ＣＩＥ1976(L^*u^*v^*)表色系は、ＣＩＥ1976(L^*a^*b^*)表色系と同じＣＩＥの表色系であり、その色空間は３次元直交座標系である。この表色系により作られる色空間はＣＩＥＬＵＶ色空間と呼ばれる。この表色系もL^*a^*b^*表色系同様、均等色空間を構成する表色系である。一般に、カメラから得られた画像データを圧縮してモニターなどに送るときによく用いられる色空間である。

１．１．３表色系の選択
混色系は、網膜の錘状細胞の応答を記述するには有効な表色系であるが、大脳の応答である四角形の応答を記述する表色系ではない。すなわち、スムージングなどの画像変換や画像強調のような一般に前処理と呼ばれる処理には、混色系を用いて処理を行うことに妥当性がある。しかし、物体認識や画像認識などのような処理の場合は、人間の視覚特性に沿っている顕色系を用いる方が適している。顕色系の中でも、ＭＴＭ法から得られるマンセル表色系はL^*a^*b^*、L^*u^*v^*表色系に比べて、非常に精度の良い均等色空間を生成することができる。したがって本節では、色彩情報の抽出にマンセル表色系を用いることにする。但し、色補正などの前処理では、混色系を用いる。

１．２色彩情報の抽出
１．２．１照明条件に対する色彩情報の変化
上記１．１．３節で色の表現には、ＭＴＭ表色系を用いると述べた。しかし、一般に色空間には、色彩情報に加えて明度情報が含まれている。このため、画像中の色が、処理対象となる画像の入力時の照明条件に左右されてしまう。

図７、８、９は、ＭＴＭ法を用いて得られたＨＶＣ色空間での単色の彩度変化を示したグラフである。明度の属性値が完全に独立ならば、明度の値の変化を空間中で表した場合、図５にあるように他の属性値に左右されずに、明度軸Ｖに平行な分布になる。しかし、実際は図７、８、９が示すように、明度の属性値の変化に伴い、飽和度の属性値も変化している。すなわち、明度軸に垂直な方向にデータを写像して色彩情報を抽出することは明度に独立した色彩情報を抽出したことにならない。

そこで、色空間から飽和度の属性値の変化を考慮に入れた色彩情報の抽出を行う手法を確立する必要がある。以下に、その手法について述べる。

上記１．２．２彩度変化を考慮に入れた色彩情報の変換
上記１．２．１では、明度情報が変化すると、それに応じて彩度に相当する属性値が変化することを示した。よって、色空間中から色彩情報を抽出するための空間から平面への写像を行う際に、彩度変化を考慮に入れた写像を行う必要がある。すなわち、色空間中における明度が変化した時の彩度の変化の割合を導かなければならない。以下にＭＴＭ色空間における彩度変化の割合の導出方法について述べる。

ここで、図６は、ＭＴＭ法ＨＶＣ色空間での単一色の変化を示したグラフである。ＨＶＣ色空間では図６に示すように、明度がある一定値Ｖａ以下であれば明度が大きくなるのに比例して彩度の値が大きくなる。そして、一定値Ｖａを超えると逆に彩度の値が小さくなる。よって、白色の点から飽和度が最大となる点、飽和度が最大となる点から黒色の点までの彩度の変化を回帰直線で表すことができるため、明度情報の変化に対する彩度の変化をその直線の傾きとして表すことができる。

そこで、画像から得られた明度をＶ、明度の最大値をＶmaxとして、明度が変化しても、彩度の値が明度Ｖ’（０＜Ｖ’＜Ｖａ）時の値（Ｃ’）となるように、次式で彩度Ｃを再定義する。
（１）Ｖ≦Ｖａの場合
明度Ｖ’となる時のＳ_１Ｓ_２平面へ、彩度Ｃの値を写像する。明度Ｖ’の時の彩度をＣ’とすると、
Ｃ’＝Ｃ・（Ｖ’＋０．３６８）／（Ｖ＋０．３６８） …（７）
（２）Ｖ＞Ｖａの場合
まず、明度Ｖａとなる時のＳ_１Ｓ_２平面へ、彩度Ｃを写像する。明度Ｖａの時の彩度をＣａとすると、
Ｃａ＝Ｃ・（Ｖmax−Ｖａ）／（Ｖmax−Ｖ） …（８）
そして、明度Ｖ’となる時のＳ_１Ｓ_２平面へ、Ｃａの値を写像する。明度Ｖ’の時の彩度をＣ’とすると、
Ｃ’＝Ｃａ・（Ｖ’＋0.368）／（Ｖａ＋0.368）
＝Ｃ・(V’＋0.368)・(Vmax−Va)/(Vａ＋0.368)・(Vmax−V) …（９）
上式（７）、（９）より再定義されたＳ_１’、Ｓ_２’は、下記式（１０）のようになる。

〔２〕局所相関演算法を用いた動きベクトルの検出
映像中の動き検知・対象物体の追跡では、画像中の対応点を見つけ、画像上の見かけの動きを抽出することによって、検知・追跡を行う。この画像上の見かけの動きをオプティカルフローと呼ぶ。オプティカルフローを用いた追跡では、輝度値の情報を元に、連続する複数のフレーム間で、現フレームのある部分（所定の局所領域）が次フレーム中のどの部分に対応するかを決定する。

ここでは、オプティカルフロー推定手法の１つである局所相関演算法を用いて動きベクトルを求める方法について述べる。

２．１従来の局所相関演算法と動きベクトル検出の問題点
２．１．１局所相関演算法
局所相関演算法は、画像中のある大きさの領域をテンプレートのブロック（局所領域）とし、次フレームの画像中を全探索し、現フレームの参照ブロック（所定の局所領域）と次フレームの注目ブロックとの差分評価関数Ｄの値を最小とする点を対応点（対応する局所領域）とする手法である（図１０参照）。

ここで、Ｉ_ｃ（ｉ,ｊ）は、それぞれ現フレームと次フレームでＮ×Ｍのブロック領域内の点（ｉ,ｊ）での明度を表している。また、相関値Ｄの２次元配列は参照ブロック領域内の相関値の分布図となる。局所相関演算法を用いた手法は、輝度値が急激に変化する所でも動きベクトルの誤差が少なく雑音にも強いが、全探索を行うので計算時間が膨大となる。

２．１．２問題点
オプティカルフロー推定手法は、フレーム間の対応点の輝度値が等しいと仮定してオプティカルフロー推定を行う。そのため、以下のような問題が発生する。
１．輝度勾配が平坦な場所ではオプティカルフローが求めることができない。
２．輝度勾配が一方向だけにしか存在しない場合では、一意に動きベクトルを決定できない。
３．輝度パターンに周期性がある場合、フレーム間のサンプリング間隔が大きいと、対応するパターンを超えてしまう場合がある。
４．物体の境界などで生じる動きが不連続である領域には誤差が生じる。
５．同じ輝度値である異なる色の判断が行えない。

このような問題が発生するため、対応点を探索することにおいて、ロバストでないと考えられる。特に、上記１、２の問題は、単色かつ光の当たり方が同じ領域でのオプティカルフローの検出中に顕著に表れる。そのような部分では、前フレームと次フレームで輝度値が近似している部分が多すぎて、どの部分が一致している部分なのか判別するのが非常に難しくなる。そのため、単色かつ光の当たり方が同じ領域では乱雑な動きベクトル（ロバストでない動きベクトル）が現れやすい。また、上記３の問題より、照明条件の変化によって、フレーム間の対応点の輝度値が変化すると、動きベクトルの推定精度が著しく低下する。

上記の問題より、従来の局所相関演算手法によって差分評価関数の値を最小とする点を対応点とする手法では動きを検出することは難しい。この問題点を解決する手法について次節２．３、２．４節で述べる。また、上記３、５の問題点から輝度値のみの情報を用いて対象物体の動きベクトルを検出することは難しい。そこで、照明環境の変化に強く、輝度の値によって変化しない特徴量である色彩特徴を用いた追跡を次節２．５で述べる。

２．２動き検知
局所相関演算で動きの有無を検知するためには、動きベクトルの大きさが０より大きい時に動きがあるとみなせばよい。しかし、図１１に示すように、参照領域内に直線パターンを強く含む部分や濃淡変化がほとんどない部分では、相関値の分布図が図１２、１３のようになるため、正確な動きベクトルを求めることができない。そのため、最小相関位置から動きベクトルを求めると、動きのない場所でも動きがあると誤認識してしまうことがある。これを避けるために、最小相関値がある閾値以上であれば動きありと判断する方法が考えられる。しかし、この方法では、局所画像内に直線パターンを含む場合、局所画像内の輝度が大きく変化する場合において、図１２や図１３のような相関値の分布図になるため、対象の正確な動きを検知することが難しい。

そこで、本節では、局所画像内の相関値の分布図の中心の相関値Ｄ_０と、最小の相関値Ｄminを比較することにより、上記の２つの問題を解決する。下記の条件のうち、２の場合であればブロック中心からＤminの座標までの動きベクトルを引く。そして、動きベクトルが検出されたブロックを動きが検知されたブロックと見なす。
・ Ｄ_０−Ｄmin＜Ｖであれば動きベクトルの検出を行わない。
・ ‖Ｄ_０−Ｄmin‖≧Ｖであれば動きベクトルの検出を行う。

２．３動きベクトル検出のための閾値の考察
局所相関演算を用いて動きベクトルを検出するためには、適切な閾値を設定する必要がある。前節で説明した手法も例外なく適切な閾値Ｖが必要となる。本節では適切な閾値を得る方法について考える。前節の手法では、最小相関値とブロック中心の相関値の差が大きいか小さいかで動きベクトル検出の有無を行う。これは、動きベクトルが検出されない場合は最小相関値とブロック中心の相関値が等しいと考えているからである。

この時、画像データにノイズが載らなければ、相関値の差が限りなく０に近づいても正確な動きベクトルを検出することができる。つまり、閾値Ｖとはノイズの大きさとなる。

以下、図１４、１５に閾値を同じにした時の、従来の局所相関演算と節で示した局所相関演算を用いて検出された動きベクトルの検出画像を示す。図中に示す細かい白線が動きベクトルである。

２．４エッジ情報を用いた動きベクトルの検出
照度変化が激しい局所領域では、静止領域であっても輝度の相関値の分布形状が変化しやすい。特に、単色領域では照度の変化によってグラデーションがかったりするため、動きの有無を検知したときに、図１６のように静止領域を動きありと誤検知してしまう。これを避けるために画像中のエッジ情報を抽出することで、相関値の分布形状の変化を抑える。エッジを検出することにより、照度変化によってグラデーションがかるような領域を平坦な領域と見なすことができる。なお、エッジの抽出にはSobelフィルタを用いる。Sobelフィルタについては、参考文献：「画像処理と認識」、安居院 猛、長尾 智晴著、昭晃堂、１９９２年１１月、33-37頁：に記載されている。

以下にSobelフィルタを用いたエッジ検出方法を示す。位置（ｘ，ｙ）の画素値をＹ（ｘ，ｙ）とした時の、各画素でのエッジの強さをＥ（ｘ，ｙ）とすると、
ｄｘ＝（−１）×ｆ（ｘ−１，ｙ−１）＋ｆ（ｘ＋１，ｙ−１）
＋（−２）×ｆ（ｘ−１，ｙ）＋２×ｆ（ｘ＋１，ｙ）
＋（−１）×ｆ（ｘ−１，ｙ＋１）＋ｆ（ｘ＋１，ｙ＋１） …（１２）
ｄｙ＝（−１）×ｆ（ｘ−１，ｙ−１）＋ｆ（ｘ−１，ｙ＋１）
＋（−２）×ｆ（ｘ，ｙ−１）＋２×ｆ（ｘ，ｙ＋１）
＋（−１）×ｆ（ｘ＋１，ｙ−１）＋ｆ（ｘ＋１，ｙ＋１） …（１３）

図１６、１７に、動物体が動作する領域で２秒間の間に照度が約９８０[ｌｘ]〜１９９［ｌｘ］まで変化する時のフレームでの濃淡画像を用いた局所相関演算とエッジの強さを示した濃淡画像を用いた局所相関演算での動きベクトルの検出結果を示す。

図１６は、照度変化の激しい環境下で、本実施の形態の２．３節で説明する局所相関演算法を用いて動きベクトルを検出した結果を示す模式図である。図１７は、照度変化の激しい環境下で、本実施の形態の２．４節で説明するエッジ情報を用いて動きベクトルを検出した結果を示す模式図である。

２．５色彩情報を用いた動きベクトルの検出
輝度情報を用いた局所相関演算では、同じ輝度平面上の異なる色が存在する場所で動きベクトルを検出することができない。特に、局所領域内（ブロック領域）全体が単色で色のみが変化した場合には、照度が変化したのか、対象物体がブロック領域内に現れたのかの判断が行えない。後者の問題点は、特にブロック領域が小さい場合に現れやすい。このような問題点を解決するために、濃淡画像のエッジが得られなかった部分で色彩情報を用いた局所相関演算を行う。色彩情報には、上記１．２．２節で説明したＳ_１、Ｓ_２を用いる。なお、前述の問題点を踏まえて、２通りの場合に分けて相関演算を行う。

（１）ブロック領域が小さい場合の検出
上述したように、ブロック領域が小さい場合には、現フレームと次フレームで同一の場所にあるブロック領域内が単色となりやすく、動きベクトルを検出することができない。そこで、後述の〔３〕で示す動き検知ブロック領域（小さいブロック領域）では、動きがあるかないかを現フレームと次フレームの注目ブロックの色ヒストグラムを比べることにより判断する。色ヒストグラムとは、局所領域内に各色の画素がいくつ存在するかを数えたものである。

その方法として、まず現フレーム（ｆ）の参照ブロックと次フレームの注目ブロック（ｆ＋１）の色ヒストグラムＨ_ｃ（Ｓ_１，Ｓ_２）、Ｈ_ｒ（Ｓ_１，Ｓ_２）を生成する。なお、Ｈ_ｃ（Ｓ_１，Ｓ_２）、Ｈ_ｒ（Ｓ_１，Ｓ_２）は、色空間Ｓ_１Ｓ_２平面での２次元のヒストグラムである（図１８参照）。そして、現フレームと次フレームのブロック領域（Ｎ×Ｍ）での類似度Ｒを次式（１５）のように計算する。

この式（１５）によって得られた類似度Ｒの値から最も近いブロックを決定し、それを参照ブロック（所定の局所領域）に対応する次フレームのブロック（局所領域）とする。そして、これら２つのブロック間の移動量と移動方向が動きベクトルとして得られる。

（２）ブロック領域が大きい場合の検出
ブロック領域が大きい場合には、複数の色でブロック領域内が構成されていることが多いため、局所相関演算を用いて動きベクトルの検出を行う。なお、ここでいう大きなブロック領域は〔３〕で示す移動ブロック領域とする。以下の式（１）を用いて動きベクトルの検出を行う。

但し、無彩色となる部分、輝度値が最小値、最大値に近い場所（図２１の円筒部分）においては、色彩情報の情報量が少なくなるため、輝度値を用いた局所相関演算を行う。図１９、２０に、背景領域と動物体領域にほとんど輝度情報の差がない動画像を用いて、動きベクトルを検出した結果を示す。なお、図１９は輝度情報を用いた局所相関演算、図２０は色彩情報を用いた局所相関演算での動きベクトルの検出結果である。

〔３〕局所領域の最適化による対象物体領域の検出
局所相関演算を用いた追跡ではフローが検出される局所領域（ブロック）の大きさにより、追跡の精度が大きく異なる。そこで、ここではブロックの大きさを最適化する方法について考える。また、対象物体領域内でフローが検出されなかった場合の対象物体領域の検出方法について述べる。図２２には、対象物体領域検出の流れを示す。

以下に、図２２に示す対象物体領域検出の流れについて説明する。

図２２に示すように、対象物体領域検出の流れは、以下の、処理ステップ１〜５にわけられる。
１．ブロック差分による背景領域の検出：ブロック領域（１０×１０［ｐｉｘｅｌ］）単位で背景差分を行い、背景領域を検出する。
２．動き検知ブロックの検出動き検知ブロック（１０×１０［ｐｉｘｅ１］）領域で局所相関演算を行い、動いている領域を検出する。
３．移動ブロック内でのフロー検出：動きが検知されたブロックが存在する移動ブロック領域内で局所相関演算を行い、動物体の動いている方向のフローを検出する。
４．背景領域以外のラベリング：上記処理ステップ１で得られた背景領域以外のラベリングを行う。
５．対象物体領域の検出：移動ブロック内でフローが検出された領域とラベリングされた領域から対象物体領域の検出を行う。

上記２、３の処理ステップについては３．１節で、上記１、４の処理ステップについては３．２節で、上記処理５のステップについては３．３節で説明する。

３．１ブロックの最適化
局所相関演算を用いて対象物体を追跡する際には、動きベクトルが検出される局所領域（ブロック）を適切な大きさに設定する必要がある。もし、対象物体がブロックの大きさ以上の動きを行った場合には正常な動きベクトルを検出することができない。

そこで、本節では、図２３に示すように、ごく小さいブロック（１０×１０［ｐｉｘｅｌ］）を、動きを検知するブロック（動き検知ブロック）とし、動き検知ブロックを複数組み合わせたブロックを、動きベクトルを求めるブロック（移動ブロック）とし、さらに局所相関演算法を用いて動領域部分のフロー検出を行う。なお、移動ブロックの大きさは物体における単位フレームあたりの移動距離ｕ[ｐｉｘｅｌ]×ｖ［ｐｉｘｅｌ］とする。動き検知ブロックで動きベクトルが検出されたブロックが存在した場合に、移動ブロック内で動きベクトルの検出を行う。なお、計算時間を短縮するため、移動ブロックの大きさを１０×１０［ｐｉｘｅｌ］と見なして、動きベクトルを求める。

３．２背景領域の検出
局所相関演算で求められた領域は動領域であるため、対象物体が停止した場合には対象物体領域を検出することができない。また、対象物体の動き方によっては部分的にフローが検出されず、対象物体領域を正確に検出することができない。そこで、次の方法を用いて背景領域を検出し、対象物体領域を検出する。

３．２．１ブロック差分による背景領域の検出
対象物体領域を検出するために、背景差分を用いて背景領域部分の検出を行う。しかし、通常の背景差分では画素の比較によって大局的に対象物体領域の検出を行うため、ノイズの影響を受けやすい。そこで、背景画像と現フレーム画像を格子状のブロックに分け、そのブロック領域の比較を行うことにより背景差分を行う。また、照明からの光の強さの変化が激しい映像では１枚の背景画像だけでは対象物体領域を検出することは困難であるため、明るい時に撮影された画像と暗い時に撮影された２枚の背景画像から現フレームでの背景画像を生成し、対象物体領域を検出することを考える。なお、局所領域の大きさは動き検知ブロックの大きさとする。

・背景画像の生成
時間と共に変化する背景領域画像を生成するため、本節では明るい時に撮影された画像と暗い時に撮影された画像から現フレームでの背景画像を生成し、対象物体領域を検出する。

まず、撮影された２種類の背景画像の（ｉ，ｊ）位置での画素値をそれぞれＰ_Ｂ１（ｉ，ｊ）、Ｐ_Ｂ２（ｉ，ｊ）、現フレームでの画素値をＰ（ｉ，ｊ）として、各ブロック領域（ｘ，ｙ）位置での平均値を求める。

そして、以下の式（１９）で、現フレームでの背景画像Ｐ_Ｂ（ｉ，ｊ）を生成する。

なお、図２４には、差分ブロック領域の大きさを示す。

・輝度情報を用いた差分
背景画像の参照ブロックと現フレームの注目ブロックとの輝度の相関値（差分評価関数）を局所相関演算を用いて検出する。相関値の分布にばらつきがない場合には、その参照ブロック位置を背景領域と見なす。

・色彩情報を用いた差分
輝度情報を用いた差分では、同じ輝度平面上で異なる色を検出することができないため、さらに色彩情報を用いた差分を行う。色彩情報には、上記４．２．２で説明したＳ_１、Ｓ_２を用い、以下の式（２０）を用いて差分を行う。

上記式（２０）において、Ｓ_１ｒ、Ｓ_２ｒを現フレーム（次フレーム）での彩度値、Ｓ_１ｓ、Ｓ_２ｓを前フレーム（現フレーム）での彩度値とする。

３．２．２背景領域以外のラベリング
背景領域以外の部分のラベリングを行い、背景領域を除く。ラベリングを行うにはいくつかの手法があるが、ここでは後述の〔４〕で行う実験に適したラベリングを行う。画像をＭ×Ｎのブロックに分割した時のブロック位置（ｘ，ｙ）の背景以外の領域の検出フラグをＳ（ｘ，ｙ）とし、背景領域の時はＳ（ｘ，ｙ）＝０、それ以外の時のＳ（ｘ，ｙ）＝１とする。

画像左上のブロック位置を（０，０）、右下のブロック位置を（Ｍ−１，Ｎ−１）として、ｘ＝０からｘの値を増やして、連続で

となる動きベクトル検出ブロックに同じラベルを付ける。例えば、図２５の網掛けの部分（塗りつぶされている部分）に動きベクトルが検出されていたとすると、ｘ軸方向に隣りあうＬ_ｘ＞０なので、網掛けの領域を１つのラベリング領域とする。

３．３対象物体領域の検出
対象物体領域を検出する際には、対象物体が動いている場合と静止している場合の２通りを場合分けして、対象物体領域を検出する。

（１）対象物体が動いている場合
対象物体が動いている場合には動きベクトルを検出することができるため、動きベクトルと重なっているラベリング領域を対象体領域とみなす。

（２）対象物体が静止している場合
対象物体の動きが停止した場合には、前フレームの対象物体領域と重なっているラベリング領域を対象物体領域とみなす。

〔４〕動物体の追跡
本節では、局所相関演算を用いた複数の動物体の追跡手法について述べる。図２６には複数の物体追跡の流れを示す。

図２６に示すように、対象物体領域検出の流れは、以下の、処理ステップ１〜６にわけられる。処理ステップ１〜４については、図２２に示す処理ステップ１〜４と同じであるため、その説明を省略する。

処理ステップ５：フロー検出部分のラベリング領域の検出、および、処理ステップ６：対象物体領域の検出について、以下に詳しく説明する。

４．１追跡の流れ
まず背景差分を行うことにより背景領域の検出を行う。その際、１［ｐｉｘｅｌ］毎に差分を行うのではなく、局所領域を１つの単位として背景差分を行う。次に、オプティカルフロー推定法の１つである局所相関演算法を用いることにより、局所的に輝度、色変化の起こりやすい映像中の動領域部分を求める。その際、フローの精度を上げるため、本手法では各ブロックの相関値の分布からフローの検出を行う。同時に、背景領域以外の部分のラベリングを行う。そして、フロー検出付近のラベリング領域を動物体の領域とする。最後に、ラベリング領域、動物体の領域と前フレームで得られた対象物体領域部分を比較することによって、対象物体領域を検出する。

４．２複数対象物体の検出
ここで、対象物体領域、ラベリング領域、予測対象物体領域を下記のように定義する。
対象物体領域：対象物体の存在している領域。対象物体が重なった場合には、重なっている対象物体全ての領域を１つの領域と見なす。
ラベリング領域：上記３．２．２でラベリングを行った領域。
予測対象物体領域：フロー検出部分のラベリング領域（上記３．３で検出された領域）。

４．２．１ラベリング領域の結合
１つの対象物体領域に複数現れるラベリング領域を１つの領域にまとめるため、前フレームで得られた１つの対象物体領域と重なっているラベリング領域を１つに結合する。こうして得られた領域を予備対象物体領域として下記の処理を行う。

対象物体が静止したときにはフローの検出が行えない。そのような場合には、前フレーム中に存在していた対象物体領域付近に現フレームでの予備対象物体領域が存在しない。そのため、前フレーム中に存在していた予備対象物体領域付近のラベリング領域を現フレームの対象物体領域とする。

対象物体が重なった場合には、現フレームの予備対象物体領域に前フレーム中に存在していた対象物体領域が２つ以上存在している。そのため、予備対象物体領域を結合して現フレームの対象物体領域とする。

前フレーム中に存在していなかった対象物体領域付近に現フレームでの予備対象物体領域が出現した場合、対象物体がその領域に存在しない。そのため、予備対象物体領域をノイズとして削除する。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施例を以下に示す。

［１］実験環境（図２７参照）
室内の蛍光ライト４１に照らされた場所で複数の人物が行き来する動画像を用いて複数人物の追跡を行った。なお、蛍光ライト４１には光度の変化を行うことができるサンスターの「ＦＬ（蛍光灯）ライト」を用いた。動画像を写すために用いたカメラ（撮像装置）４２は、ソニー株式会社製の非圧縮デジタルＣＣＤカメラ「ＤＦＷ−Ｖ３００」である。なお、使用したカメラの解像度は６４０×４８０、フレームレートは１５［ｆｒａｍｅ／ｓｅｃ］とする。なお、カメラ４２から得られた画像データは、本実施の形態にかかる画像処理装置１０、あるいは、従来の画像処理装置を用いて動物体を追跡するための画像処理を施した後、図示しない表示装置において確認した。

さらに撮影条件として、以下の条件を加える。
（１）人物とカメラの間に動作する物体がないこと
（２）背景画像が動作しないこと
以上の撮影条件を加えた上で、約２秒間の間に照度計測点Ｂで照度の強さが約２６３［ｌｘ］〜４６［ｌｘ］、４６［ｌｘ］〜２６３［ｌｘ］へと変化する照明条件の元で撮影された動画像中の人物の追跡を行う。なお、追跡処理を行ったマシンのＣＰＵは「Ｉｎｔｅｌ（Ｒ）Ｐｅｎｔｉｕｍ（登録商標）（Ｒ）４」、動作周波数は２・５３Ｇ［ｂｙｔｅ］、メモリ容量は１Ｇ［ｂｙｔｅ］である。なお、図２７において、斜線で示す領域は対象物体移動領域Ａである。

［２］動き検知ブロックの検出結果および評価
以下４つの手法を用いて動き検知ブロックを求める。このうち、動きありと判断されたブロックを表示した実験結果画像を図２８〜４３に示す。
１．従来の動きベクトル検出手法
２．局所領域の輝度値の相関値の分布から動きベクトルを検出した手法
３．一局所領域のエッジの強さの相関値の分布から動きベクトルを検出した手法
４．局所領域の色彩情報の相関値の分布から動きベクトルを検出した手法
図２８〜３１は、約２秒間の間に照度計測点で照度の強さが約２６３[ｌｘ]〜４６［ｌｘ］へと変化する照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像である。図３２〜３５は、約２秒間の間に照度計測点で照度の強さが約４６［１ｘ］〜２６３［ｌｘ］へと変化する照明に照らされた領域の撮影画像動き検知ブロックを表示した画像である。図３６〜３９は、照度計測点で照度の強さが約２６［ｌｘ］の照明に照らされた領域の撮影画像動き検知ブロックを表示した画像である。図４０〜４３は、照度計測点で照度の強さが約２６３［ｌｘ］の照明に照らされた領域の撮影画像動き検知ブロックを表示した画像である。

実験結果画像より、１の手法に比べ、２、３の手法では、特に直線パターンを含む領域での動きベクトル検出精度の向上が著しいことがわかる。さらに、１、２の手法に比べ、３の手法では、画像中の照度が極端に変化する静止領域の動きベクトルをほとんど検出していない。これは、エッジを抽出することで、照度の変化によってグラデーションがかかりやすい領域を同一平面と見なすことができたためと考えられる。ただ、一部３の手法で静止領域を検出してしまうことがあるが、これは照明からの光によって静止領域からの反射光が強く現れている部分でおこることがわかる。このような場合には、照度が強くなるまたは弱くなることで、エッジ領域が出現、消失したためだと考えられる。

４の手法では、動領域においても動きベクトルを検出しないことが多々ある、輝度の低くなる領域で精度の良い動きベクトルを検出することができないという問題点が挙げられた。原因として、画像のノイズの影響を強く受けて、色彩情報を正確に抽出することができなかったためだと考えられる。

画像全体で・動き検知ブロック（１０×１０［ｐｉｘｅｌ］）を検出した時の平均処理速度［ｓ／ｆｒａｍｅ］を表１に示す。動き検知ブロックの平均処理速度は表１より、１、２については、ほぼ同じ速度、３については、画像のエッジを抽出する分だけ処理速度が少し遅くなった。４についてはＲＧＢ表色系の画像データをＨＶＣ表色系の画像データヘと変換する分だけ処理速度が遅くなった。

以上より、局所領域のエッジ情報の相関値分布から動きベクトルを検出する手法は、処理時問、精度ともに良好であると言える。そこで、図２６の処理ステップ２、３では、局所領域のエッジ情報の相関値分布から動きベクトルを検出する手法を用いて追跡を行った。その結果を以下に示す。

［３］追跡結果および評価
図２６の処理ステップ２、３で、局所領域のエッジ情報の相関値の分布から動きベクトルを検出して、動物体を追跡した２０フレーム毎の結果画像を図４４〜６５に示す。なお、白線で囲まれた領域を追跡結果領域とする。結果画像より、全フレームで対象物体領域をほぼ誤りなく白線で囲んでいることがわかる。よって、照明の強度変化が激しいフレームにおいても精度よく追跡を行うことができた。

なお、今回の実験では、色彩情報を用いて動きベクトルを検出するという手法は、エッジ情報を用いて動きベクトルを検出する手法に比べて検出精度が低いという結果が得られた。しかしながら、従来の手法と比較すると、検出精度は良好であるため、本発明の範囲に含まれる。そして、エッジ情報による動ベクトルの検出では良好な結果が得られないと考えられる、局所領域内（ブロック領域）全体が単色で色のみが変化した場合には、色彩情報を用いた局所相関演算を行うことが望ましい。

本発明によれば、照明変化の激しい環境下において、動画像中の物体の追跡を精度良く行うことができる。そのため、本発明は、動物体の自動追跡を行うシステム、例えば、ＩＴＳ、自動監視システムなどに有効に利用することができる。

本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置における画像処理の流れを示すフローチャートである。 マンセル表色系における彩度の変化を示す模式図である。 マンセル表色系におけるクロマの変化を示す模式図である。 明度の値を空間中で表したグラフである。 ＭＴＭ法ＨＶＣ色空間での単一色の変化を示したグラフである。 ＭＴＭ法を用いて得られたＨＶ色空間での単色（赤）の彩度変化を示したグラフである。 ＭＴＭ法を用いて得られたＨＶ色空間での単色（緑）の彩度変化を示したグラフである。 ＭＴＭ法を用いて得られたＨＶ色空間での単色（青）の彩度変化を示したグラフである。 局所相関演算による動き追跡の様子を示す模式図である。 直線パターンと濃淡変化の少ない領域を含む画像の一例を示す図である。 図１１に示す画像における直線パターンを含む局所領域の相関値の分布図である。 図１１に示す画像における濃淡変化の少ない局所領域の相関値の分布図である。 従来の局所相関演算法を用いて動きベクトルを検出した結果を示す図である。 本実施の形態で説明する局所相関演算法を用いて動きベクトルを検出した結果を示す図である。 照度変化の激しい環境下で、本実施の形態で説明する局所相関演算法を用いて動きベクトルを検出した結果を示す図である。 照度変化の激しい環境下で、本実施の形態で説明するエッジ情報を用いて動きベクトルを検出した結果を示す図である。 本実施の形態で説明する色ヒストグラムのマッチングの概要を示す模式図である。 背景領域と動物体領域にほとんど輝度情報の差がない動画像について、本実施の形態で説明する局所相関演算法を用いて動きベクトルを検出した結果を示す図である。 背景領域と動物体領域にほとんど輝度情報の差がない動画像について、色彩情報を用いた局所相関演算法を用いて動きベクトルを検出した結果を示す図である。 図３に示すマンセル表色系において、無彩色となる部分、および、輝度値が最小値あるいは最大値に近い場所を円筒形状で示す模式図である。 本実施の形態で説明する対象物体（動物体）領域検出の流れを示す模式図である。 本実施の形態で説明する動き検知ブロックと移動ブロックを示す模式図である。 本実施の形態で説明する差分ブロック領域の大きさを示す模式図である。 本実施の形態で説明するラベリング領域を示す模式図である。 本実施の形態で説明する複数の動物体の追跡の流れを示す模式図である。 本実施例における実験環境の様子を示す模式図である。 図２７に示す照度計測点での照度の強さが極端に弱くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（１の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に弱くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（２の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に弱くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（３の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に弱くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（４の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に強くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（１の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に強くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（２の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に強くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（３の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが極端に強くなっていく照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（４の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（１の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（２の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（３の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（４の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６３[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（１の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６３[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（２の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６３[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（３の手法を採用）を示す図である。 図２７に示す照度計測点での照度の強さが約２６３[ｌｘ]の照明に照らされた領域の撮影画像に動き検知ブロックを表示した画像（４の手法を採用）を示す図である。 本実施例に示す動物体追跡実験における２０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における４０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における６０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における８０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における１００フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における１２０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における１４０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における１６０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における１８０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における２００フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における２２０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における２４０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における２６０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における２８０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における３００フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における３２０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における３４０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における３６０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における３８０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における４００フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における４２０フレーム目の結果画像を示す図である。 本実施例に示す動物体追跡実験における４４０フレーム目の結果画像を示す図である。

符号の説明

１ 局所領域分割部（局所領域分割手段）
２ エッジ情報抽出部（画像情報抽出手段）
３ 色彩情報抽出部（画像情報抽出手段）
４ 差分算出・背景領域検出部（背景領域検出手段）
５ 動き検知ブロック内の動きベクトル検出部（動きベクトル検出手段）
６ 移動ブロック内の動きベクトル検出部（動きベクトル検出手段）
７ 動物体領域検出部（動きベクトル検出手段）
１０ 画像処理装置
１１ 背景領域検出部（画像情報抽出手段、背景領域検出手段）
１２ 動きベクトル検出部（動きベクトル検出手段）
１３ 動領域ラベリング部
２０ 撮像装置
３０ 表示装置

Claims (13)

1. 撮像装置によって撮影された動画像中の物体の動きベクトルを、局所相関演算法を用いて検出する画像処理装置であって、
   画像中のエッジ情報、または、画像中の色彩情報の少なくとも一つを用いて動きベクトルを検出する動画像処理部を備えることを特徴とする画像処理装置。
2. 上記動画像処理部では、エッジ情報と色彩情報の両方を用いて動きベクトルを検出することを特徴とする請求項１に記載の画像処理装置。
3. 上記動画像処理部は、
   上記撮像装置から送られた画像データを複数の局所領域に分割する局所領域分割手段と、
   各局所領域におけるエッジ情報および／または色彩情報を抽出する画像情報抽出手段と、
   上記エッジ情報および／または色彩情報を用いて局所相関演算を行い、動画像中の現フレームにおける所定の局所領域に対応する次フレームの局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出する動きベクトル検出手段と、
   を備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 動画像中の現フレームにおける所定の局所領域と、次フレームの上記所定の局所領域およびその周辺の局所領域との間において、上記エッジ情報および／または上記色彩情報の各局所領域間の差分を求め、この差分から背景領域を検出する背景領域検出手段をさらに備え、
   上記動きベクトル検出手段では、背景領域検出手段で背景領域と検出された部分以外の領域に含まれる局所領域について、局所相関演算を行うことを特徴とする請求項３に記載の画像処理装置。
5. 上記動きベクトル検出手段では、上記色彩情報から色ヒストグラムを作成し、現フレームの局所領域における色ヒストグラムと、次フレームの局所領域における色ヒストグラムとの類似度を求め、上記類似度を用いて、上記所定の局所領域に対応する局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出することを特徴とする請求項３または４に記載の画像処理装置。
6. 上記動きベクトル検出手段では、上記エッジ情報から得られるエッジの強さを示す濃淡画像を用いた局所相関演算を行って動きベクトルを検出することを特徴とする請求項３〜５の何れか１項に記載の画像処理装置。
7. 上記画像情報抽出手段において、上記色彩情報の抽出はマンセル表色系を用いて行われることを特徴とする請求項３〜６の何れか１項に記載の画像処理装置。
8. 上記画像情報抽出手段において、上記エッジ情報の抽出はSobelフィルタを用いて行われることを特徴とする請求項３〜７の何れか１項に記載の画像処理装置。
9. 局所相関演算法を用いて、動画像中の物体の動きベクトルを検出する画像処理方法であって、
   上記局所相関演算法では、画像中のエッジ情報、または、画像中の色彩情報の少なくとも一つを用いて動きベクトルを検出することを特徴とする画像処理方法。
10. 上記局所相関演算法では、画像中のエッジ情報および画像中の色彩情報の両方を用いて動きベクトルを検出することを特徴とする請求項９に記載の画像処理方法。
11. 上記画像処理方法は、
    画像を局所領域に分割する工程と、
    各局所領域におけるエッジ情報および／または色彩情報を抽出する画像情報抽出工程と、
    上記エッジ情報および／または色彩情報を用いて局所相関演算を行い、動画像中の現フレームにおける所定の局所領域に対応する次フレームの局所領域を求め、これら２つの局所領域の移動量と移動方向とを動きベクトルとして検出する工程と、
    を含むことを特徴とする請求項９または１０に記載の画像処理方法。
12. 請求項１〜８の何れか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
13. 請求項１２に記載の画像処理プログラムが記録されたコンピュータ読取り可能な記録媒体。
    

Images