JP2007156771A - 画像検知追跡装置、画像検知追跡方法および画像検知追跡プログラム - Google Patents

Abstract

【課題】取り込み画像から対象物を正確に検知するとともに連続的に追尾できる画像検知追跡装置を提供すること。
【解決手段】本発明は、動画像を取り込む画像入力部１０と、取り込んだ画像の各フレームにおける動領域を検知し、検知結果を数値として出力する動領域存在度算出部２１と、取り込んだ画像の各フレームにおける検知対象のパターンを検知し、検知結果を数値として出力するパターン検知存在度算出部２２と、取り込んだ各フレーム毎の画像について検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡存在度算出部２３と、動領域存在度算出部２１、パターン検知存在度算出部２２、パターン追跡存在度算出部２３から各々出力された数値を合成する存在度合成部３０と、合成された数値に基づき検出対象のパターンのフレーム内での位置を順次算出するパターンウインドウ制御部４０とを備える画像検知追跡装置である。
【選択図】図２

Description

本発明は、取り込んだ画像の中から特定の対象（例えば、人物）を検知し、追跡する画像検知追跡装置、画像検知追跡方法および画像検知追跡プログラムに関する。

画像中の物体を検知し追跡するシステムは、従来から広く用いられている。特に、カメラから得られる画像をいわゆるテンプレートマッチング処理を行って対象を抽出し、自動追尾する方法が良く知られている。

例えば、特許文献１に記載される「画像監視装置」は、連続して画像を取り込み可能でかつ変位可能なカメラと、画像を処理して移動物体を発見する画像処理部と、移動物体の移動に応じてカメラを変位させるカメラ制御手段とを有する画像監視装置であって、画像処理部は、連続する画像の前フレームの画像における移動物体を含む画像領域をテンプレートとして記憶するテンプレート設定手段と、現フレームの画像中でテンプレートと類似する画像領域を探索し、テンプレートに代わる新たなテンプレートとして更新記憶するテンプレート探索手段と、連続する画像間で差分処理を行うことにより、移動物体を抽出する画像差分抽出手段と、テンプレート探索手段の探索結果と、画像差分抽出手段の差分結果の信頼度を評価して、その信頼度に応じてカメラの追尾モードをテンプレート探索手段の結果を用いる第１の追尾モード、画像差分抽出手段の結果を用いる第２の追尾モード、その両方の結果を用いる第３の追尾モードのいずれとするかを選択する追尾モード選択手段と、選択した追尾モードに応じて追尾点を決定する追尾点決定手段とを備えるものである。

要約すると、逐次テンプレート更新して移動物体を追跡するが、テンプレートの信頼度が低下してきている場合には、画像差分（動領域）の信頼度を評価して、追尾方法を変更すると言うものである。

テンプレートの逐次更新の手法としては、この他、特許文献２に記載の「物体追跡方法および物体追跡装置」が挙げられる。また、特許文献３に記載の「動物体抽出装置」も同様に動物体のみを検知対象とする技術として挙げられる。

一方、特許文献４に記載の「自動追尾装置および自動追尾方法」は、テンプレート設定部で画像入力部から入力された画像中の物体領域をテンプレート画像として登録し、テンプレートマッチング部で相関演算により新たな入力画像の中から登録済みのテンプレート画像との相関が高い領域を探索し、見掛け形状変化検出部でテンプレートマッチング処理において追跡中の物体の見掛けの形状変化を検出する。そして、テンプレート保持制御部で、見掛け形状変化検出部からの検出結果に応じて、追跡物体の見掛けの形状が大きく変化した場合に、テンプレート画像の保持数上限や、テンプレートの更新頻度を変更するものである。

特許第３６４４６６８号明細書 特開２００１−６０２６９号公報 特許第３２８８０８６号明細書 特開２００５−２３６５０８号公報

しかしながら、特許文献１〜３に記載の技術では、あくまで最初にテンプレートを動領域から得て、それから追跡を始めるために、物体が静止している場合には検知が不能であり、また、長期に止まっている場合にも追跡が途切れてしまうという問題がある。また、特許文献４に記載の技術のように、形状の変化を捉え、そのときに対応的にテンプレートの枚数を増やすだけでは、先に述べたような静止している物体の検知には対応することができない。

このように、物体（ここでは主に人）を検知するためのアルゴリズムの開発はさまざまに行われているが、一つの検知アルゴリズムで確実な検知を行うことは実現されておらず、検知精度を向上するためにトラッキングアルゴリズムの併用も行われているが、それでも十分な検知率を得ることはできない。

本発明は、そのような問題に鑑み、成されたものである。すなわち、本発明は、動画像を取り込み、各フレーム毎の画像を得る画像入力部と、画像入力部で取り込んだ画像における動領域を検知し、各フレーム内の所定領域毎に検知結果を数値として出力する動領域算出部と、画像入力部で取り込んだ画像における検知対象のパターンを検知し、各フレーム内の所定領域毎に検知結果を数値として出力するパターン検知算出部と、画像入力部で取り込んだ各フレーム毎の画像についてパターン算出部で検知した検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡算出部と、動領域算出部、パターン検知算出部、パターン追跡算出部から各々出力された数値を合成する存在度合成部と、存在度合成部で合成された数値に基づき検出対象のパターンのフレーム内での位置をパターンウインドウとしてフレーム毎に順次算出するパターンウインドウ制御部とを備える画像検知追跡装置である。

このような本発明では、取り込んだ動画像のフレーム毎に、動領域の検知、対象パターンの検知、対象パターンの追跡を行い、各々について数値を出力している。また、これらの数値を合成することで、フレーム内に検知対象のパターンが存在する度合いを求め、総合的に対象パターンの位置を把握することから、取り込んだ動画像の中から目的の対象を精度良く検知、追跡することができるようになる。

また、本発明は、動画像を取り込み、各フレーム毎の画像をメモリに格納する画像取り込み工程と、画像取り込み工程で取り込んだ画像における動領域を検知し、各フレーム内の所定領域毎に検知結果を数値として出力する動領域検知工程と、画像取り込み工程で取り込んだ画像における検知対象のパターンを検知し、各フレーム内の所定領域毎に検知結果を数値として出力するパターン検知工程と、画像取り込み工程で取り込んだ各フレーム毎の画像についてパターン検知工程で検知した検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡工程と、動領域検知工程、パターン検知工程、パターン追跡工程で各々出力された数値を合成する存在度合成工程と、存在度合成工程で合成された数値に基づき検出対象のパターンのフレーム内での位置をフレーム毎に順次算出するパターンウインドウ制御工程とを備える画像検知追跡方法である。

このような本発明では、動体検知、動体追尾、動領域検知を数値化して合成することにより総合的な判断を行うことができるため、物体検知追跡精度を向上させることができる。これにより、対象物が存在する位置の信頼度合いに基づきトラッキング処理を行うことで、検知した対象物が静止している状態でも動いている状態でも安定的に物体を追跡することが可能となる。

また、本発明は、動画像を取り込み、各フレーム毎の画像をメモリに格納する画像取り込みステップと、画像取り込みステップで取り込んだ画像における動領域を検知し、各フレーム内の所定領域毎に検知結果を数値として出力する動領域検知ステップと、画像取り込みステップで取り込んだ画像における検知対象のパターンを検知し、各フレーム内の所定領域毎に検知結果を数値として出力するパターン検知ステップと、画像取り込みステップで取り込んだ各フレーム毎の画像についてパターン検知ステップで検知した検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡ステップと、動領域検知ステップ、パターン検知ステップ、パターン追跡ステップで各々出力された数値を合成する存在度合成ステップと、存在度合成ステップで合成された数値に基づき検出対象のパターンのフレーム内での位置をフレーム毎に順次算出するパターンウインドウ制御ステップとをコンピュータによって実行する画像検知追跡プログラムである。

このような本発明では、コンピュータによる演算処理によって、取り込み画像から対象物の動体検知、動体追尾、動領域検知を行い、これらによって得られる数値を合成することで取り込み画像の中から対象物を精度良く検知、追尾してフレーム内での対象物の位置を正確に把握する処理を行うことが可能となる。

上記のような本発明によれば、講義や講演の撮影を行う場合に、必ずプレゼンターが画像内に映っているような画像を自動的に作成することが可能となる。また、パン・チルト機能を持つカメラで、常にカメラ内に対象者が入っているようにカメラを制御することが可能になる。また、さらに、ハイビジョンなどの高解像度映像を固定カメラで撮影した場合に、画像の一部を切り出し、常に対象者が画面内に入っているような映像作り出すようなことが可能になる。

以下、本発明の実施の形態を図に基づき説明する。すなわち、本発明は、動画像内の物体の位置検知追跡手段を有する画像検知追跡装置、画像検知追跡方法および画像検知追跡プログラムに関するものである。したがって、本発明は、画像中の対象物体を検知し、中断なく安定して追跡することを目的とし、物体検知機能を備え、静止している状態でも対象とする物体を捕らえることができる点に特徴がある。以下の説明では、人を対象物体として説明するが、人以外の対象物であっても適用可能である。

図１は、本実施形態を説明する概略図である。画像内の人物（対象者Ｔ）に対して追跡ウインドウＷ１を定め、常に追跡ウインドウＷ１内に対象者Ｔがおさまるように追跡ウインドウＷ１の移動量の算出を行う。追跡ウインドウＷ１内で多少の人物の動きがあった場合でも、急激にその動きに合わせるのではなく、安定して追跡ウインドウＷ１内に収めることができるようになっている。

ここで、追跡ウインドウＷ１とは、取り込んだ画像Ｇのフレーム間において移動のあった領域（動領域）を中心としてこれを含む一定領域のウインドウであり、この追跡ウインドウＷ１内で検知対象を検出した後は検知した対象を含むパターンウインドウＷ２を含むよう設定されるものである。

このような追跡ウインドウＷ１を用いることで、例えば、パン・チルト機能を持つカメラを、追跡ウインドウＷ１の移動量をもとに、常にカメラ内に対象者Ｔが入っているように制御することや、ハイビジョンなどの高解像度映像を固定カメラで撮影しておき、追跡ウインドウＷ１内の画像をスタンダードの映像として切り出すことで、常に対象者Ｔが画面内に入っている映像を作り出すことが可能となる。

もちろん、追跡ウインドウＷ１内では、パターン検知・追跡を行いパターンウインドウＷ２の移動量の算出も行っており、より正確に対象者Ｔの位置のみを求めることも可能である。

図２は本実施形態に係る画像検知追跡装置の処理ブロック図である。ここで、動画像はフレームごとに画像がシーケンシャルに入力され、フレームごとに以下に記されている各種の処理が行われることとする。

画像入力部１０では、動画像のフレーム画像を得る。動領域存在算出部２１では、得られたフレーム画像間の差分を利用して動領域を算出し、算出された動領域から、対象となるパターンの存在度Aを算出する。パターン検知存在度算出部２２では、パターン認識処理により、対象となるパターンを画像内から算出し、算出されたパターン位置から、対象となるパターンの存在度Bを算出する。

パターン追跡存在度算出部２３では、パターンの追跡を行い、対象となるパターンの存在度Cを算出する。ここで、存在度とは、フレーム内に検知対象となる画像のパターンが存在する可能性を示す数値であり、動領域存在度算出部２１やパターン検知存在度算出部２２、パターン追跡存在度算出部２３の各々で独自の画像処理によって演算される数値である。

存在度合成部３０は、それまでに算出された対象となるパターンの存在度の合成を行い、合成パターン存在度を算出する。パターンウインドウ制御部４０では、算出された合成パターン存在度からパターンウインドウの移動量を算出する。

追跡ウインドウ制御部５０では、パターンウインドウ制御部４０で得られたパターンの移動量に基づき、追跡ウインドウの移動量を算出する。追跡ウインドウの移動量が得られることで、画像内の対象物体の位置が得られる。

なお、パターン検知存在度算出部２２部では、前フレームにおける追跡ウインドウの制御結果を元に、パターン検知を行う領域を追跡ウインドウ内のみに絞る。パターン追跡存在度算出部２３では、前フレームの追跡運動の制御結果、およびパターンウインドウの制御結果、追跡処理を行う。さらに、現フレームの動領域から得られた存在度Aにもとづき処理の打ち切りを判定する。

追跡ウインドウ制御部５０では、追跡ウインドウ内にパターン検知、パターン追跡からパターンの存在が算出されない場合には、動領域から得られた存在度Aにもとづき、追跡ウインドウの制御を行う。

このような構成から成る本実施形態の画像検知追跡装置では、取り込んだ画像から一旦動領域を検出すると、その動領域を含む追跡ウインドウＷ１内で人のパターン検知を行い、人を検知するとそのパターンを追跡することになるため、一旦検出した人のパターンが静止していても連続的な検出を行うことが可能となる。また、動領域の検出、パターンの検出、パターンの追跡検出の各々について対象物が存在する可能性を数値化し、これらを所定の重み付けで合成しているため、この重み付けを最適化することで検出対象のパターンや背景に応じた検出精度の向上、すなわち誤検出の確実な防止を図ることが可能となる。

図３は、本実施形態に係る画像検知追跡方法の流れを説明するフローチャートである。なお、この画像検知追跡方法の各処理は、コンピュータによるプログラム処理で実現してもよい。

図３に示す処理は、動画像の各フレームがシーケンシャルに入力されてくることを前提としたもので、１フレーム分の処理を表している。以下の説明で図３に示されない符号は図２を参照するものとする。

先ず、ステップＳ１に示す“画像取り込み”として、画像入力部１０で、現フレームの画像を取り込む。

次いで、ステップＳ２に示す“動領域検知”として、動領域存在度算出部２１で動領域の検知を行う。図２に示す動領域存在度算出部２１では、例えば、フレーム間差分を用いて、動領域を求める。図４にフレーム間差分の概略図を示す。現在の時刻ｔにおける入力画像と時刻ｔ−１における入力画像の輝度差分画像を算出する。図４（ａ）は時刻ｔの画像を、図４（ｂ）は時刻ｔ−１の画像を表す。図４（ａ）には、簡単のため、ｔ−１の画像における対象者を投影してある。時刻ｔと時刻ｔ−１の画像の差分をもとめると、図４（ｃ）のような動領域が求まる。この動領域の算出は、フレーム間差分に限らず、背景差分など他の手段を用いてもよい。

次に、ステップＳ３に示す“動領域結果から存在度Aを算出”では、動領域存在算出部２１で算出された動領域に基づき対象となるパターンの存在度を求める。ある画素に注目した場合、周囲に動領域が多く存在する画素が存在する場合に、対象となる物体がそばに存在する可能性が高くなると考えられる。そこで、注目の画素の近傍（例えば、n×n領域）における動領域となっている画素数を存在度Aとする。この場合、単純に動領域となる画素数を足したものでも良いし、ガウスフィルタ処理を行っても良い。

次に、ステップＳ４に示す“追跡ウインドウ内パターン検知”では、追跡ウインドウ内に検知対象とするパターンが存在するか否かを求める。これは、パターン検知存在度算出部２２において、入力画像内の追跡ウインドウにパターン検知処理を行い、対象物体を検知することにより行う。例えば、特願２００５−１４２２２６における、学習器を用いた人の頭および肩部のΩ型の特徴を利用した人検知器を利用して人の検知手法を用いる。

すなわち、図５（ａ）に示すように、追跡ウインドウＷ１内で人型検知器Ｐをラスタスキャンすることにより、追跡ウインドウＷ１内の対象パターンの位置検知を行う。パターンが検知された場合、ステップＳ５に示す“パターン検知結果から存在度Bを算出”を行う。一般に人型検知を行う場合、その結果として、図５（ｂ）のように、もっとも高い確率を示すパターン位置を出力することが多い。

今回は、存在度Bとして追跡ウインドウＷ１内の各領域における対象パターンの存在信頼度を求める。つまり、最も高い確率を示すパターンを求めるために、追跡ウインドウＷ１内での各地点における存在信頼度が算出されるので、それを本発明ではパターンの存在確度を示す数値（存在度B）とする。

次に、ステップＳ６に示す“追跡ウインドウ内パターン追跡１”では、前フレーム処理終了時に追跡ウインドウ内に対象とするパターンがあったか否かをチェックする。ここでパターン追跡が行われている場合、ステップＳ７に示す“追跡結果から存在度Cを算出１”において、トラッキング処理により存在度Cを算出し、その後、ステップＳ８に示す“パターン追跡テンプレート更新”においてパターン追跡テンプレートの更新を行う。さらに、ステップＳ９に示す処理として、その存在度Cとこれまでに算出した存在度A,Bを存在度合成部３０において合成する。

パターン追跡が行われていない場合、ステップＳ１０に示す“パターン追跡テンプレート作成”においてパターン追跡テンプレートの新規作成を行う。その後、ステップＳ１１に示す“存在度A,Bの合成”において、存在度Aおよび存在度Bを存在度合成部３０において合成する。

パターン追跡は、パターン検知がトリガーとなり、パターン検知でパターンが検出されたときに追跡が開始される。

追跡ウインドウ内で検知対象とするパターンが検知されない場合は、ステップＳ１２に示す“追跡ウインドウ内パターン追跡２”において、前フレーム処理終了時に追跡ウインドウ内に対象とするパターンがあったか否かをチェックする。

パターン追跡が行われている場合、ステップＳ１３に示す“追跡結果から存在度Cを算出２”において、トラッキング処理により存在度Cを算出し、その後、パターン追跡テンプレートの更新を行う。そして、ステップＳ１４に示す“存在度A,Cの合成”において、存在度Aおよび存在度Cを存在度合成部３０において合成する。パターン追跡が行われていない場合は後述する。

ここでは、パターンの追跡手法として、例えば、Mean-Shiftを使用する。Mean-Shift アルゴリズムは、ある関数ｆ（ｘ）の初期値周辺の歩く間における傾きにより、ｆ（ｘ）の値が大きくなる方向へ区間中心の移動を繰り返すことで、初期値周辺においてｆ（ｘ）が極大となる点を求める方法である。

パターンウインドウ内の特徴として、Ｒ，Ｇ，Ｂそれぞれの１次カラーヒストグラムを用いる。前記“パターン追跡テンプレート作成”および“パターン追跡テンプレート更新”内で行われるのはこの処理である。

図６に示すように、初期パターンウインドウ内のピクセルＸ_i（i＝１，…，ｎ）の特徴は、Ｒ，Ｇ，Ｂそれぞれの正規化ヒストグラムとして得られる。

現フレームでのカラーヒストグラムと追跡用のテンプレートの特徴量を現したものが数１（テンプレート）、数２（現フレーム）である。

ここで、ｂ_R（Ｘ_i），ｂ_G（Ｘ_i），ｂ_B（Ｘ_i）ははそれぞれＸにおける各Ｒ，Ｇ，Ｂでの輝度、δ_KはKroneckerのデルタ関数である。

数３に示すように、得られたカラーヒストグラムから、現在のウインドウ中心Ｘの周囲ピクセルＸ_iのＲ，Ｇ，Ｂにおける重みＷ_iを計算する。

各ピクセルの重みは数４に示すように、ピクセルの持つＲ，Ｇ，Ｂ値より求められた重みの総和となる。

重みは、Ｒ，Ｇ，Ｂのそれぞれにおける輝度ごとに求められる。この処理を追跡枠内で行うのが、“追跡結果から存在度Cを算出”における存在度Cが数５に示すＰ_C（i）にあたる。

ｍ、ｄはどちらも正規化された色ヒストグラムであるため、初期ウインドウと現在のウインドウ位置周辺における{ EMBED Equation.3 , }の割合を表す。よって、初期ウインドウ内において多く存在し、現在のウインドウ位置周辺において少ない色が大きな重みを持つことになる。

通常のパターン追尾（いわゆるテンプレートの逐次更新）の手法であれば、この存在度Cを元に現フレームの物体位置を予測することになるが、本手法では、合成された存在度を使用する。

存在度合成部における存在度の合成は、たとえば、各存在度の重み付け加算で算出される。追跡ウインドウ内の各画素ごとに、数６のように算出する。

ここで、Ｐ（i）は合成存在度を、Ｐ_A（i），Ｐ_B（i），Ｐ_C（i）は各存在度Ａ，Ｂ，Ｃを、Ｗ_A，Ｗ_B，Ｗ_Cは各重みをiは画像の位置を表す。

次に、存在度合成部３０において合成された存在度を用いて、ステップＳ１５に示す“合成存在度からパターンウインドウの移動量算出”においてパターンウインドウの位置の算出を行う。

Mean-Shiftにより移動量（Mean-Shift Vector）Δxは数７のように求める。

ここで、Ｘ_i（i＝１，…，ｎ）はウインドウ中心Ｘの周辺ピクセルで、Ｐ（i）はＸ_iにおける存在度を表す。つまり、求められたウインドウ位置周辺の重み分布を元にウインドウを移動させる。この処理は繰り返し処理で行われる。この処理がパターンウインドウ制御部４０で行っている算出された合成存在度を利用した“合成存在度からパターンウインドウの移動量算出”（ステップＳ１５）でのパターンウインドウの位置算出にあたる。

次に、ステップＳ１６に示す“パターンウインドウの位置から追跡ウインドウ枠の移動量算出”では、追跡ウインドウ制御部５０において、追跡ウインドウ内のパターンウインドウの位置によってパターンウインドウの移動量の算出を行う。

ここで、追跡ウインドウ内には、図７に示すような二つの枠が設けられている。ヒステリシス内枠Ｈ１とヒステリシス外枠Ｈ２である。追跡ウインドウＷ１内に、有効なパターンウインドウＷ２が検知された場合、例えば、その重心がヒステリシス内枠Ｈ１内に初めて入るまでは、パターンウインドウＷ２の位置決定後、追跡ウインドウＷ１をパターンウインドウＷ２がヒステリシス内枠Ｈ１内に入るように緩やかに移動させる。この移動は必ずしも1フレーム内に完了するものではない。

一度パターンウインドウＷ２が追跡ウインドウＷ１のヒステリシス内枠Ｈ１内に入れば、その後は、パターンウインドウＷ２が追跡ウインドウＷ１内で動いていても、追跡ウインドウＷ１は固定のままである。ただし、例えば、パターンウインドウＷ２の重心がヒステリシス外枠Ｈ２を越えた場合は、ヒステリシス内枠Ｈ１内にパターンウインドウＷ２が入るように追跡ウインドウＷ１を動かす。これにより、追跡対象が俊敏に移動しても、その移動に対して急激にフレームが移動してしまうことを防止できるようになる。

次に、ステップＳ１７に示す“パターン追跡存続”においてパターン追跡を続行するか否かを判定する。追跡を続行しない場合には、ステップＳ１８に示す“パターン追跡停止”において、パターン追跡停止処理を行う。

ここで、追跡続行の判定には、存在度Cを使用する。すなわち、数８に示すようにパターン追跡に伴い求められた存在度Cの各ピクセルにおける値Ｐ_C（x,y）がある閾値ｔｈ以下になった場合に、追跡を打ち切る。もしくは、長時間Tthフレーム以上、パターン検知がなされないままトラッキングを続けている場合にも打ち切られる。

また、動領域から求められた存在度A、Bを併用することにより、早期に打ち切りを決定することが可能になる。例えば、本来実際のパターンを得たいのに、パターン検知における誤検知をきっかけに、背景のある一部にパターンウインドウが張り付いてしまったような場合を想定すると、パターン追跡によって得られたパターン位置の周辺で動領域を示す存在度Aが閾値よりも低く、また存在度Bの値も閾値よりも低い場合に、パターンの誤検知であったとして、トラッキングの打ち切りを行う。

ステップＳ１２に示す“追跡ウインドウ内パターン追跡２”で、パターン追跡が行われていない場合は、パターンウインドウは有効ではないと判断し、そこまでで求まっている存在度Aに基づき、ステップＳ１９に示す“存在度Aから追跡ウインドウの移動量算出”で、追跡ウインドウの移動位置を算出する。図８に存在度Aからの追跡ウインドウ移動の概略図を示す。

計算手段としては、前記合成存在度からパターンウインドウの移動量算出と同様であるが、ここではパターンウインドウではなく、直接追跡ウインドウの移動量を算出する。

上記のような処理を行うことで、入力動画像より画像中の対象物体（対象者）を正確に検知し、検知した後は中断なく連続して安定した追跡を行うことが可能となる。特に、取り込んだ画像の中から目的のパターン（人や物体、動物、自動車等）だけを確実に検出し、これを追跡できるため、例えば、監視カメラの映像に写った人物だけを検出して、これを追跡するようカメラアングルを移動させたり、講義の映像を取り込んで画像に写っている講師を的確に捕らえてフレーム内に収まるようカメラアングルを移動させるといった検出追跡を実現することが可能となる。

本実施形態を説明する概略図である。 本実施形態に係る画像検知追跡装置の処理ブロック図である。 本実施形態に係る画像検知追跡方法の流れを説明するフローチャートである。 フレーム間差分を説明する概略図である。 パターン検知の例を説明する概略図である。 カラーヒストグラムを説明する概略図である。 ヒステリシス枠を説明する概略図である。 存在度Aからの追跡ウインドウ移動を説明する概略図である。

符号の説明

１０…画像入力部、２１…動領域存在度算出部、２２…パターン検知存在度算出部、２３…パターン追跡存在度算出部、３０…存在度合成部、４０…パターンウインドウ制御部、５０…追跡ウインドウ制御部

Claims (9)

1. 動画像を取り込み、各フレーム毎の画像を得る画像入力部と、
   前記画像入力部で取り込んだ画像における動領域を検知し、各フレーム内の所定領域毎に検知結果を数値として出力する動領域算出部と、
   前記画像入力部で取り込んだ画像における検知対象のパターンを検知し、各フレーム内の所定領域毎に検知結果を数値として出力するパターン検知算出部と、
   前記画像入力部で取り込んだ各フレーム毎の画像について前記パターン算出部で検知した検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡算出部と、
   前記動領域算出部、前記パターン検知算出部、前記パターン追跡算出部から各々出力された数値を合成する存在度合成部と、
   前記存在度合成部で合成された数値に基づき検出対象のパターンのフレーム内での位置をパターンウインドウとしてフレーム毎に順次算出するパターンウインドウ制御部と
   を備えることを特徴とする画像検知追跡装置。
2. 前記存在度合成部は、前記動領域算出部、前記パターン検知算出部、前記パターン追跡算出部から各々出力された数値に対して所定の重み付けをして合成を行う
   ことを特徴とする請求項１記載の画像検知追跡装置。
3. 前記パターンウインドウ制御部で算出したパターンウインドウの位置に応じてそのパターンウインドウを含む領域を追跡ウインドウとして算出する追跡ウインドウ制御部を備えており、
   前記追跡ウインドウ制御部で算出した追跡ウインドウ内に設定されているヒステリシス枠と前記パターンウインドウとの位置関係によって前記追跡ウインドウの位置を移動させる
   ことを特徴とする請求項１記載の画像検知追跡装置。
4. 動画像を取り込み、各フレーム毎の画像をメモリに格納する画像取り込み工程と、
   前記画像取り込み工程で取り込んだ画像における動領域を検知し、各フレーム内の所定領域毎に検知結果を数値として出力する動領域検知工程と、
   前記画像取り込み工程で取り込んだ画像における検知対象のパターンを検知し、各フレーム内の所定領域毎に検知結果を数値として出力するパターン検知工程と、
   前記画像取り込み工程で取り込んだ各フレーム毎の画像について前記パターン検知工程で検知した検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡工程と、
   前記動領域検知工程、前記パターン検知工程、前記パターン追跡工程で各々出力された数値を合成する存在度合成工程と、
   前記存在度合成工程で合成された数値に基づき検出対象のパターンのフレーム内での位置をフレーム毎に順次算出するパターンウインドウ制御工程と
   を備えることを特徴とする画像検知追跡方法。
5. 前記存在度合成工程は、前記動領域検知工程、前記パターン検知工程、前記パターン追跡工程から各々出力された数値に対して所定の重み付けをして合成を行う
   ことを特徴とする請求項４記載の画像検知追跡方法。
6. 前記パターンウインドウ制御工程で算出したパターンウインドウの位置に応じてそのパターンウインドウを含む領域を追跡ウインドウとして算出する追跡ウインドウ制御工程を備えており、
   前記追跡ウインドウ制御工程で算出した追跡ウインドウ内に設定されているヒステリシス枠と前記パターンウインドウとの位置関係によって前記追跡ウインドウの位置を移動させる
   ことを特徴とする請求項４記載の画像検知追跡方法。
7. 動画像を取り込み、各フレーム毎の画像をメモリに格納する画像取り込みステップと、
   前記画像取り込みステップで取り込んだ画像における動領域を検知し、各フレーム内の所定領域毎に検知結果を数値として出力する動領域検知ステップと、
   前記画像取り込みステップで取り込んだ画像における検知対象のパターンを検知し、各フレーム内の所定領域毎に検知結果を数値として出力するパターン検知ステップと、
   前記画像取り込みステップで取り込んだ各フレーム毎の画像について前記パターン検知ステップで検知した検知対象のパターンを追跡し、その追跡結果を数値として出力するパターン追跡ステップと、
   前記動領域検知ステップ、前記パターン検知ステップ、前記パターン追跡ステップで各々出力された数値を合成する存在度合成ステップと、
   前記存在度合成ステップで合成された数値に基づき検出対象のパターンのフレーム内での位置をフレーム毎に順次算出するパターンウインドウ制御ステップと
   をコンピュータによって実行することを特徴とする画像検知追跡プログラム。
8. 前記存在度合成ステップは、前記動領域検知ステップ、前記パターン検知ステップ、前記パターン追跡ステップから各々出力された数値に対して所定の重み付けをして合成を行う
   ことを特徴とする請求項７記載の画像検知追跡プログラム。
9. 前記パターンウインドウ制御ステップで算出したパターンウインドウの位置に応じてそのパターンウインドウを含む領域を追跡ウインドウとして算出する追跡ウインドウ制御ステップを備えており、
   前記追跡ウインドウ制御ステップで算出した追跡ウインドウ内に設定されているヒステリシス枠と前記パターンウインドウとの位置関係によって前記追跡ウインドウの位置を移動させる
   ことを特徴とする請求項７記載の画像検知追跡プログラム。
   

Images