JP2015127910A - 色変化検出装置、色変化検出方法及び色変化検出プログラム - Google Patents

Abstract

【課題】人物などの対象物の色の変化を検出することができる色変化検出装置を提供する。【解決手段】色変化検出装置１は、対象者２００を撮像した映像データ１０２を取得する映像取得部１１と、取得した映像データ１０２に基づく映像に含まれる対象者２００の色情報を含む基準データ１０１を生成する基準データ生成部１２ａと、対象者２００に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、対象物２００が停止状態であるか否かを判定する動体検知部１２ｂと、対象物２００が停止状態であると判定された領域における動体検知画素数が閾値以上となった場合に、基準データ１０１に含まれる対象物２００の色情報を更新する色変化検出部１３と、を備える。これにより、簡易に着替え等による色変化を検出することができる。【選択図】図１

Description

本発明は、色変化検出装置、色変化検出方法及び色変化検出プログラムに関し、より具体的には、映像データに基づいて対象物の色変化を検出する色変化検出装置、色変化検出方法及び色変化検出プログラムに関する。

撮像装置により人物などの対象物を撮像し、撮像した映像データを用いて対象物を自動的に追尾する技術が知られている。

従来技術では、対象物の基準となる色情報を予め記憶しておき、この色情報に基づいて映像データの中から対象物を検出することで、追尾を行っている。このような従来技術では、照度の影響などにより対象物の色が変化すると、対象物を検出することができず、追尾に失敗する恐れがある。

そこで、例えば、特許文献１では、対象物の色が変化したことを画面に表示することで、正しく追尾が行われていることを、監視者が確認できるようにしている。

特開２０１０−２２６６４４号公報

しかし、特許文献１のように、対象物の色の変化を画面に表示した場合でも、自動的に追尾を行うことは困難である。

このように、従来技術では、人物などの対象物の色の変化に対応して自動で追尾することができないという問題がある。

そこで、本発明は、対象物を撮像した映像データを取得する映像取得部と、前記取得した映像データに基づく映像に含まれる前記対象物の色情報を含む基準データを生成する基準データ生成部と、前記対象物に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、前記対象物が停止状態であるか否かを判定する動体検知部と、前記対象物が停止状態であると判定された領域における前記動体検知画素数が閾値以上となった場合に、前記基準データに含まれる前記対象物の色情報を更新する色変化検出部と、を備える色変化検出装置を提供する。

また、本発明は、対象物を撮像した映像データを取得し、前記取得した映像データに基づく映像に含まれる前記対象物の色情報を含む基準データを生成し、前記対象物に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、前記対象物が停止状態であるか否かを判定し、前記対象物が停止状態であると判定された領域における前記動体検知画素数が閾値以上となった場合に、前記基準データに含まれる前記対象物の色情報を更新する、色変化検出方法を提供する。

また、本発明は、対象物を撮像した映像データを取得し、前記取得した映像データに基づく映像に含まれる前記対象物の色情報を含む基準データを生成し、前記対象物に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、前記対象物が停止状態であるか否かを判定し、前記対象物が停止状態であると判定された領域における前記動体検知画素数が閾値以上となった場合に、前記基準データに含まれる前記対象物の色情報を更新する、色変化検出処理をコンピュータに実行させるための色変化検出プログラムを提供する。

本発明によれば、人物などの対象物の急激な色の変化に対応して自動で追尾を行うことができる。

実施の形態１に係る追尾装置の構成を示す構成図である。 実施の形態１に係る追尾装置の動作の概要を説明するための説明図である。 実施の形態１に係る追尾装置の動作の概要を説明するためのグラフである。 実施の形態１に係る追尾装置の動作を示すフローチャートである。 実施の形態１に係る追尾装置の動作を示すフローチャートである。 実施の形態２に係る追尾装置の動作の概要を説明するための説明図である。 実施の形態２に係る追尾装置の動作の概要を説明するためのグラフである。 実施の形態２に係る追尾装置の動作の概要を説明するための説明図である。 実施の形態２に係る追尾装置の動作の概要を説明するためのグラフである。 実施の形態２に係る追尾装置の動作を示すフローチャートである。 実施の形態２に係る追尾装置の動作を示すフローチャートである。 実施の形態３に係る追尾装置の動作の概要を説明するための説明図である。 実施の形態３に係る追尾装置の動作の概要を説明するための説明図である。 実施の形態３に係る追尾装置の動作を示すフローチャートである。 実施の形態３に係る追尾装置の動作を示すフローチャートである。 追尾方法の基本技術を示す図である。 追尾方法の基本技術を示す図である。 追尾方法の基本技術を示す図である。

まずは、対象物の色の変化に対応して自動的に追尾を行う基本技術について、図１３、図１４及び図１５を用いて説明する。

図１３では、映像データ９００のフレームごとに対象者９０１を検出するため、基準データ記憶部９１０に対象者９０１の特徴を示す色情報の基準データ９１１を記憶する。そして、この基準データ９１１を定期的に更新することで、照度の影響などにより対象者９０１の色が変化した場合でも、対象者９０１の追尾を可能としている。

図１４では、図１３と同様に、基準データ記憶部９１０に色情報の基準データ９１１を記憶しておき、さらに、映像データ９００のフレームにおける対象者９０１の位置の明度情報（照度情報）を取得する。そして、この明度情報に応じて対象者９０１の色の変化を予測し、基準データ９１１の色情報の明度を変更する。図１４の例では、映像データ９００の明度情報により、基準データ９１１の明度を１０％濃くしたデータに変換し、さらに、基準データ９１１の明度を３０％濃くしたデータに変換している。これにより、撮影場所により対象者９０１の色が変化した場合でも、対象者９０１の追尾を可能としている。

しかしながら、図１３や図１４のような技術においても追尾に失敗する場合がある。

すなわち、図１３や図１４と同様に、対象者９０１の色情報の基準データ９１１に基づいて対象者９０１を追尾している場合に、例えば対象者９０１が服を着替えてしまうと、急激な色の変化に対応できないため、追尾が失敗してしまう。例えば、図１５に示すように、追尾中に対象者９０１が服を着替えると、対象者９０１の色が急に変化する。このため、基準データ９１１の更新が間に合わないことから、同一人物であると認識できず、追尾が失敗してしまう。

そこで、人物などの対象物の色の変化に対応して自動で追尾することができないという問題を解決するために、以下、実施の形態を説明する。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。本実施の形態では、対象物である対象者が歩行中などのように動いている場合に、対象者の着替え等による急激な色変化を検出する例について説明する。

図１は、本実施の形態に係る追尾装置１０の構成を示している。追尾装置１０は、対象物である対象者２００の色変化を検出するとともに追尾を行う装置である。図１に示すように、追尾装置１０は、映像取得部１１、対象物検出部１２、色変化検出部１３、追尾処理部１４、記憶部１００を備えている。例えば、映像取得部１１、対象物検出部１２、色変化検出部１３が、対象者２００の色の変化（例えば着替えなど）を検出する色変化検出装置１を構成している。

なお、後述する本実施の形態に係る動作が実現できれば、その他の機能ブロックで構成してもよい。図１の追尾装置（色変化検出装置を含む）における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。追尾装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶部１００に後述する本実施の形態に係る動作を行うためのプログラムを格納し、追尾装置の各機能を、記憶部１００に格納されたプログラムをＣＰＵで実行することにより実現してもよい。

記憶部１００は、追尾装置１０の色変化検出処理及び追尾処理に必要な情報を記憶する。例えば、記憶部１００は、対象者２００の色情報の基準である基準データ１０１、対象者２００を撮像した映像データ１０２、映像データ１０２の背景である背景データ１０３、映像データ１０２の前景である前景データ１０４、映像データ１０２の中の対象者候補を評価する評価データ１０５などを記憶する。

また、本実施の形態では、対象者２００の部位の色の変化を検出するため、部位ごとの色情報である部位色情報データ１０６、部位ごとの色情報の変化を示す色変化データ１０７を記憶部１００に記憶する。

映像取得部１１は、撮像装置であるカメラ２０から、対象物である対象者２００を撮像した映像データ１０２を取得し、取得した映像データ１０２を対象物検出部１２へ出力し、もしくは、記憶部１００に記憶する。

対象物検出部１２は、基準データ生成部１２ａと動体検知部１２ｂを含む。基準データ生成部１２ａは、ユーザが追尾対象者である対象者２００を選択することで対象者２００の色成分や対象者２００の輪郭の形状を示す形状データを含む基準データ１０１を生成する。動体検知部１２ｂは、映像データ１０２から背景データ１０３を生成して、生成した背景データ１０３を記憶部１００に記憶する。この背景データ１０３とは、例えば映像データ１０２から動いている部分を含まない背景のみを撮影したデータである。また、動体検知部１２ｂは、映像データ１０２及び背景データ１０３に対し動体検知を行って前景データ１０４を生成し、生成した前景データ１０４を記憶部１００に記憶する。この前景データ１０４とは、例えば映像データ１０２から動いている部分を抽出したデータである。

色変化検出部１３は、基準データ生成部１２ａが検出した対象者２００の色情報に基づいて、対象者２００の色が変化したか否かを検出する。本実施の形態では、対象者の部位ごとの色、例えば、胴体部の色に基づいて、対象者２００の着替え等による色の変化を検出する。また、色変化検出部１３は、対象者２００の色が変化したことを検出した場合、記憶部１００の基準データ１０１の色情報を更新する。

追尾処理部１４は、形状データを用いたパターンマッチングや顔認識等の公知の技術を用いて、記憶部１００の基準データ１０１に基づいて、映像データ１０２から対象者２００を認識し、対象者２００を自動的に追尾する。特に、追尾処理部１４は、対象者２００の着替え等による色の変化に応じて更新された基準データ１０１により、色が変化した対象者２００を追尾する。

図２及び図３を用いて、本実施の形態に係る追尾装置１０の動作の概要について説明する。図２に示すように、映像取得部１１は、背景のみを撮影した映像データ１０２ａを取得すると、動体検知部１２ｂは、この映像データ１０２ａを背景データ１０３ａとする。

この背景データ１０３ａをもとに、動体検知部１２ｂは動体検知を行う。映像データ１０２ｂのように画面（フレーム）内に対象者２００が入ってくると、動体検知部１２ｂは、背景データ１０３ａをもとに、映像データ１０２ｂから動いている部分を抽出し、動いている部分を示す前景データ１０４ａを生成する。

動体検知部１２ｂは、映像データ１０２ｃから、前景データ１０４ｂをもとにして対象者２００を検知し、対象者２００を囲む格子枠１１０ａを生成する。

対象者２００が歩行中のように、動体検知による前景データ数（動きが検出された画素の数である動体検知画素数）に変化が現れない場合でも、対象者２００の着替え等による色の変化を検出するため、図２のように対象者２００の部位ごとのエリアの色情報を取得する。すなわち、動体検知部１２ｂは、格子枠１１０ａの中の対象者２００の部位の形状を輝度勾配のエッジなどを使用することで認識し、認識した部位ごとの色情報を部位色情報データ１０６とする。この例では、対象者２００の頭部２０１、胴体部２０２、脚部２０３の色情報を部位色情報データ１０６とする。

その部位ごとの部位色情報データ１０６を、動体検知で取得できた前景データに対して、画素の比較を行い、色変化データ１０７を作成する。格子枠１１０ａの中の対象者２００の部位ごとに色情報の比較を行うことで、対象者用の背景データを生成し色変化データ１０７ａとする。

しかし、対象者２００が映像データ１０２ｃのように歩行し、例えば映像データ１０２ｄのように服を着替えた場合、対象者２００が動いているため、動体検知だけでは着替えによる色の変化なのか否かを判別できない。例えば、他人とすれ違った際に色が変化した場合は他人を追尾している可能性がある。このため、前景データ１０４ｃの格子枠１１０ａをもとに、対象者２００の頭部２０１、胴体部２０２、脚部２０３の各部位の色の変化点を抽出して色変化データ１０７ｂを生成し、色変化データ１０７ｂで示される変化点の数により着替えによる色変化を判定する。

図３のように、例えば対象者２００が着替えを行うと、色が変化した画素の数である色変化画素数が急増する。このため、色変化画素数の閾値を比較し、色変化画素数が閾値よりも多い場合に、対象者２００が着替えによる色の変化を検出する。図３は、人物の胴体部の色変化画素数を示しており、人物が上着を着替えると、胴体部のみの色が大きく変化し、色変化画素数が急激に増加する。このため、胴体部の色変化画素数が急激に増加した場合に、上着を着替えたことにより色が変化したと判断する。

図４Ａ及び図４Ｂのフローチャートを用いて、本実施の形態に係る追尾装置１０の詳細な動作例について説明する。

図４Ａ及び図４Ｂに示すように、まず、映像取得部１１は、カメラ２０から映像データ１０２を取得する（Ｓ１０１）。動体検知部１２ｂは、映像取得部１１が取得した映像データ１０２をもとに背景データ１０３を作成する（Ｓ１０２）。既に映像データ１０２が作成されている場合、動体検知部１２ｂは、過去の映像データ１０２を背景データ１０３としてもよい。また、動体検知部１２ｂは、予め事前に背景データ１０３を作成しておいてもよい。

続いて、動体検知部１２ｂは、Ｓ１０２で生成した背景データ１０３を使用して動体検知を行うことで、映像データ１０２から動きがあるエリアを抽出し、前景データ１０４を取得する（Ｓ１０３）。

続いて、基準データ生成部１２ａは、ユーザが追尾対象者である対象者２００を選択したかどうかを確認する（Ｓ１０４）。例えば、追尾装置１０を操作するユーザは、マウスやキーボードなどのユーザインタフェースを使用して、表示装置に表示される映像データ１０２の中から追尾を行う対象者２００を選択する。

Ｓ１０４において、対象者２００が選択された場合、基準データ生成部１２ａは、対象者２００の基準データ１０１を生成する（Ｓ１０５）。すなわち、基準データ生成部１２ａは、前景データ１０４の成分から対象者２００の色成分や形状データを抽出し、その情報から対象者２００を判別する基準となるヒストグラムを生成し、このヒストグラムを基準データ１０１とする。基準データ生成部１２ａは、生成した基準データ１０１を記憶部１００に保存する。

Ｓ１０５に続いて、基準データ生成部１２ａは、前景データ１０４を利用し、対象者２００の部位ごとの色成分を取得し、部位毎に割り当てられている部位色情報データ１０６を生成する（Ｓ１０６）。生成した部位色情報データ１０６は、記憶部１００に保存されて、後述のＳ１１６のように、対象者候補の部位ごとに比較されて色変化データ１０７を作成するために使用する。

Ｓ１０４において、対象者２００が選択されない場合、もしくは、Ｓ１０６で部位色情報データ１０６を生成した後、基準データ生成部１２ａは、対象者２００の基準データ１０１の有無を判定する（Ｓ１０７）。Ｓ１０７において、対象者２００の基準データ１０１が記憶部１００に無い場合、Ｓ１０１に戻り、対象者２００が選択されて基準データ１０１が生成されるまで、Ｓ１０１以降の処理を繰り返す。

Ｓ１０７において、対象者２００の基準データ１０１が記憶部１００に有る場合、動体検知部１２ｂは、前景データ１０４の集合（動体検知）または対象者検知（人物検知）によって、対象者２００が存在すると推定される対象者候補エリア１１０を抽出できるかどうか判定する（Ｓ１０８）。Ｓ１０８において、対象者候補エリア１１０を抽出できない場合、Ｓ１０１に戻り、対象者候補エリア１１０を抽出できるまで、Ｓ１０１以降の処理を繰り返す。

Ｓ１０９において、対象者候補エリア１１０を抽出した場合、動体検知部１２ｂは、抽出した対象者候補エリア１１０の数だけループし、次のＳ１１０及びＳ１１１を繰り返す。Ｓ１１０では、動体検知部１２ｂは、対象者候補エリア１１０のデータとＳ１０５で生成した色情報・形状ヒストグラムである基準データ１０１を使用して類似度を測定し、測定した類似度（評価値）を評価データ１０５とする。Ｓ１１１では、Ｓ１１０で求めた評価データ１０５を対象者候補エリア１１０の数だけ保存する。Ｓ１１０及びＳ１１１を繰り返し、対象者候補エリア１１０の数の評価データ１０５を取得した場合、ループを終了する（Ｓ１１２）。

続いて、動体検知部１２ｂは、Ｓ１１１で保存された評価データ１０５の中で、類似度の高い評価データ１０５の対象者候補エリア１１０を選択する（Ｓ１１３）。例えば、動体検知部１２ｂは、評価データ１０５と過去の映像データにおける対象者の位置情報を使って、対象者候補エリア１１０を選択してもよい。動体検知部１２ｂは、閾値以上の評価データ１０５の中で、最も評価値が大きいデータを選択する。例えば、１〜０で評価値を割り当てる場合、１が最も類似度が高い設定値なら１に近い評価値のデータを選択する。

続いて、動体検知部１２ｂは、選択した対象者候補エリア１１０が対象者２００のエリアであることを示す候補者用の格子枠１１０ａを生成する（Ｓ１１４）。

続いて、色変化検出部１３は、対象者２００の胴体部について、過去に取得した部位色情報データ１０６と比較する（Ｓ１１５）。色変化検出部１３は、この比較により、ピクセル毎の差分を算出し、算出した差分が閾値以上となるピクセルは色が変化したと判断し、この色の変化を示す色変化データ１０７を生成する（Ｓ１１６）。

続いて、色変化検出部１３は、Ｓ１１６で生成した色変化データ１０７を解析し（Ｓ１１７）、色変化データ１０７の数が多いかどうか判定する（Ｓ１１８）。例えば、色変化検出部１３は、所定の閾値よりも色変化データ１０７の数が多い場合に、色変化データ１０７の数が急激に増加したことを判断する。

Ｓ１１８において、色変化データ１０７の数が所定の閾値以下の場合、色変化検出部１３は、対象者２００の着替え等による色の変化はないと判断し、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。Ｓ１１８において、色変化データ１０７の数が所定の閾値よりも多い場合、色変化検出部１３は、色変化データ１０７の多い胴体部の部位のみを判定し、対応する基準データ１０１の色情報を更新し（Ｓ１１９）、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。この基準データ１０１に基づいて、追尾処理部１４が対象者２００の追尾を行い、この追跡処理を停止するまで、Ｓ１０１以降の処理が繰り返される。

以上のように、本実施の形態では、対象者の急激な色の変化を検出するようにした。これにより、例えば対象者が服を途中で着替えた場合でも、追尾処理を継続して行う事ができる。また、対象者の行動分析処理などをすることなく色変化を判定できるため、簡易に検出することができる。

さらに、本実施の形態では、対象者の部位ごとの色の変化を検出するため、対象者が歩行中など動いている場合でも、対象者の色情報の更新を行うことができる。

（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、対象物である対象者が停止している場合に、対象者の着替え等による色変化を検出する例について説明する。なお、本実施の形態に係る追尾装置１０の構成は、実施の形態１と同様であるため説明を省略する。

図５〜図８を用いて、本実施の形態に係る追尾装置１０の動作の概要について説明する。図５に示すように、対象者２００のいない映像データ１０２ａをまず背景データ１０３ａとして記憶し、対象者２００が動いた部分のみを抽出する動体検知処理を使用する。実施の形態１と同様に、映像データ１０２ｂに対象者２００が入ってくると、背景データ１０３ａをもとに、映像データ１０２ｂから動いている部分を抽出し、前景データ１０４ａを生成する。

この動体検知処理では、背景データ１０３ａを更新／学習する事で、新たに画面内に撮影された対象者も停止している状態であれば、動体として検知している場所が背景として扱われていくように処理する。映像データ１０２ｅのように対象者２００が停止すると、更新処理及び学習により背景データ１０３ｂを再生成する。

そうすると、背景データ１０３ｂに停止している対象者２００が取り込まれ、前景データ１０４ｄが背景として同化されるため、対象者の動体検知部分のエリアが少なくなる。つまり、前景データ１０４ｄの格子枠１１０ａ内の動体検知画素数が所定の閾値よりも減少する。このエリアもしくは動体検知画素数の減少に基づき、対象者２００が停止している事を判定する。たとえば、対象者２００のエリアの動体検知画素数が図６のように減少し、所定の閾値以下に収束した場合、対象者２００が停止していることを検出する。対象者２００の停止を検出した場合に、対象オブジェクトの状態を停止状態に切り換える。

ここでいう停止状態とは、完全な停止ではなく、手や頭など多少の動きはあるものとする。

図７に示すように、動体検知により対象者２００の停止を判定しているため、例えば対象者２００が停止して服を着替えるなどの動作を行った場合、停止していた物体エリアの動体検知画素である前景データが激しく変化する。映像データ１０２ｄで対象者２００が服を着替えると、前景データ１０４ｅでは、色の変わった部分のみが大幅に変化するため、格子枠１１０ａの動体検知画素数が急増する。例えば、図８のグラフのように、動体検知画素数は、対象者２００の停止により減少した後、対象者２００の着替え等による色の変化により増加するように変化していく。このように、対象者２００が停止状態であると判定されたエリアにおける動体検知画素数の変化に基づき、対象者２００の着替え等による色変化を検出する。すなわち、格子枠１１０ａ内の動体検出エリアの動体検知画素数を取得し、動体検知画素数が所定の閾値以下に収束した後、急激に増えた場合に着替えや色変わりが発生した可能性を検出する。例えば、動体検知画素数が所定の閾値よりも増加した場合、対象者２００の色が変化したと判定する。

図９Ａ及び図９Ｂのフローチャートを用いて、本実施の形態に係る追尾装置１０の詳細な動作例について説明する。なお、実施の形態１と同様のステップには、図２Ａ及び図２Ｂと同じ符号が付されている。

まず、実施の形態１と同様に、映像データ１０２の取得（Ｓ１０１）、背景データ１０３の生成（Ｓ１０２）、前景データ１０４の取得（Ｓ１０３）、対象者２００の選択の確認（Ｓ１０４）の後、対象者２００の基準データ１０１の生成（Ｓ１０５）、または、対象者２００の基準データ１０１の有無を判定する（Ｓ１０７）。なお、部位ごとの色情報データの生成（Ｓ１０６）は不要である。

Ｓ１０７において、対象者２００の基準データ１０１が記憶部１００に有る場合、動体検知部１２ｂは、対象者２００が停止状態かどうか確認する（Ｓ２０１）。映像データ１０２の過去のフレームの結果、すなわち、後述のＳ２０４において対象者２００が停止状態と判定されたかどうかを確認する。

Ｓ２０１において、対象者２００が停止状態ではない場合、Ｓ１０８以降で対象者２００の停止検出を行う。まず、実施の形態１と同様に、対象者候補エリア１１０を抽出し（Ｓ１０８）、評価データ１０５の生成及び保存を、対象者候補エリア１１０の数だけ繰り返す（Ｓ１０９〜Ｓ１１２）。

続いて、動体検知部１２ｂは、Ｓ１１１で保存した評価データ１０５に閾値以上のデータが含まれているか確認する（Ｓ２０２）。Ｓ２０２において、閾値以上の評価データ１０５が無い場合、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。

Ｓ２０２において、閾値以上の評価データ１０５が１個以上ある場合、実施の形態１と同様に、対象者候補エリア１１０を選択し（Ｓ１１３）、候補者用の格子枠１１０ａを生成する（Ｓ１１４）。

続いて、動体検知部１２ｂは、格子枠１１０ａのエリア内の前景データ数である動体検知画素数と対象者の位置情報を保持する（Ｓ２０３）。続いて、動体検知部１２ｂは、過去の動体検知画素数を使い、動体検知画素数が減少し所定の閾値以下に収束しているかを判定する（Ｓ２０４）。

Ｓ２０４において、動体検知画素数が所定の閾値以下に収束していない場合、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。Ｓ２０４において、動体検知画素数が所定の閾値以下に収束している場合、対象者２００が停止していると判断し、対象者２００の状態を停止状態に更新した後（Ｓ２０５）、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。

一方、Ｓ２０１において、対象者２００が停止状態である場合、Ｓ２０６以降で色変化の検出を行う。まず、色変化検出部１３は、過去の映像データと比較して前景データ数である動体検知画素数が急激に増加したかどうか判定する（Ｓ２０６）。例えば、色変化検出部１３は、動体検知画素数が所定の閾値よりも増加した場合に、動体検知画素数が急増したと判定する。

Ｓ２０６において、動体検知画素数が急激に増加していない場合、色変化検出部１３は、対象者２００の着替え等による色の変化はないと判断し、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。Ｓ２０６において、動体検知画素数が急激に増加した場合、色変化検出部１３は、基準データ１０１の色情報とのマッチングがとれるかどうか確認する（Ｓ２０７）。

Ｓ２０７において、マッチングがとれて色情報に変化がない場合、色変化検出部１３は、対象者２００の着替え等による色の変化はないと判断し、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。Ｓ２０７において、マッチングがとれず色情報に変化あった場合、色変化検出部１３は、対象者２００の着替え等により色が変化したと判断し、基準データ１０１の色情報を更新し（Ｓ２０８）、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。

以上のように、本実施の形態では、対象者の色に基づいて、対象者の着替え等の色変化を検出する他の例として、対象者が停止した後、対象者の色が大きく変化した場合に検出するようにした。これにより、実施の形態１と同様に、例えば対象者が着替えた場合でも、追尾処理を行うことができ、簡易に着替え等による色変化を検出することができる。

また、動体検知画素数が減少した場合に対象者の停止を検出し、その後、動体検知画素数が急増した場合に対象者の着替え等の色変化を検出することにより、部位の色情報などを用いずに動体検知処理のみで検出することができる。そのため、対象者以外の、停止して色が変わる物体などの追尾が可能となる。

（実施の形態３）
以下、図面を参照して実施の形態３について説明する。本実施の形態は、実施の形態２に加えて、さらに映像データにおいて複数の対象者が重なった場合に、対象者の着替え等による色変化を検出する例である。なお、本実施の形態に係る追尾装置１０の構成は、実施の形態１及び２と同様であるため説明を省略する。また、ここでは、実施の形態２に対し、オクルージョン（重なり）対策を適用する例について説明するが、実施の形態１にも同様に適用することができる。

図１０及び図１１を用いて、本実施の形態に係る追尾装置１０の動作の概要について説明する。実施の形態２のように着替え等による色変化を検出する場合に、オクルージョン（重なり）などによる影響を防ぐために、対象者２００の停止エリア１１１を設定し、停止エリア１１１への侵入物体個数、その物体の色情報などから最終的に対象物が着替えもしくは色変えをしたのかを判定する。

図１０に示すように、動体検知部１２ｂは、動体検知もしくは人物検知を行って、対象者２００（第１の対象物）を検出し、さらに停止エリア１１１へ侵入する侵入者２１０（第２の対象物）を検出する。例えば、動体検知により、前景データ１０４ｄで格子枠１１０ａの対象者２００が停止したと判定すると、格子枠１１０ａを広げて停止エリア１１１を設定する。そして、前景データ１０４ｆのように、動体検知により、停止エリア１１１に侵入者２１０が侵入したことを検出する。例えば、停止エリア１１１と動体検知した侵入者２１０との重なりにより、侵入者２１０の侵入を判定する。

また、人物検知の場合も同様に、人物検知により、映像データ１０２ｅで格子枠１１０ａの対象者２００が停止したと判定すると、格子枠１１０ａを広げて停止エリア１１１を設定する。そして、映像データ１０２ｆのように、人物検知により、停止エリア１１１に侵入者２１０が侵入したことを検出する。例えば、停止エリア１１１と人物検知した侵入者２１０の対象者検出エリア１１２との重なりにより、侵入者２１０の侵入を判定する。

さらに、図１１に示すように、映像データ１０２ｆにおいて、対象者２００の停止エリア１１１内のマッチングデータ１１８を生成し、停止エリア１１１に侵入した侵入者２１０の画像データの特徴を示す特徴データ１１９を抽出する。

そして、映像データ１０２ｇのように、対象者２００と侵入者２１０とが重なると、前景データ１０４では、侵入者２１０により色が変化するため、動体検知画素数（動体検知リア数）が急激に増える。このため、実施の形態２のように動体検知画素数の増加により色の変化を検出すると、侵入者２１０の重なりも着替え等による色変化であると誤って判断する恐れがある。

そこで、本実施の形態では、停止エリア１１１に侵入した侵入者２１０の特徴データ１１９を抽出しておき、この特徴データ１１９を用いて、対象者２００の着替え等による色の変化を検出する。対象者２００の色情報データが侵入者２１０と類似していることと、人物検出を使って停止エリア１１１の推定人物数と差分を使って、着替えや色変化が起こったとは判定しないようにする。例えば、対象者２００の停止エリア１１１と侵入者２１０が重なっている場合、対象者２００の着替え等による色の変化はないと判断する。

図１２Ａ及び図１２Ｂのフローチャートを用いて、本実施の形態に係る追尾装置１０の詳細な動作例について説明する。なお、実施の形態１及び２と同様のステップには、図４Ａ及び図４Ｂ、図９Ａ及び図９Ｂと同じ符号が付されている。

まず、実施の形態２と同様に、Ｓ１０１〜Ｓ１０５、Ｓ１０７、Ｓ２０１の処理を行い、Ｓ２０１で対象者２００が停止状態ではない場合、Ｓ１０９〜Ｓ１１２、Ｓ２０２、Ｓ１１３〜Ｓ１１４、Ｓ２０３〜Ｓ２０４の処理を行い、格子枠１１０ａの動体検知画素数が所定の閾値以下に収束しているか判定する。

Ｓ２０４において、前景データ数が所定の閾値以下に収束している場合、対象者２００は停止したと判断し、対象者２００を示す格子枠１１０ａとは別に幅を広げた停止エリア１１１を作成する（Ｓ３０１）。続いて、対象者２００の状態を停止状態に更新し（Ｓ２０５）、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。

一方、Ｓ２０１において、対象者２００が停止状態である場合、停止エリア１１１内の対象者候補エリア１１０を取得する（Ｓ３０２）。すなわち、停止エリア１１１内で対象者２００と侵入者２１０が重なった場合でも２人とカウントする為、停止エリア１１１内の動体検知画素数を取得し、停止エリア１１１内での対象者候補エリア１１０を、過去の映像データにおける停止エリア１１１の各対象者候補エリア１１０の移動軌跡をふまえ記憶する。

続いて、停止エリア１１１内に２つ以上の対象者候補エリア１１０があるかどうか判定する（Ｓ３０３）。Ｓ３０３において、停止エリア１１１内に２つ以上の対象者候補エリア１１０がある場合、対象者と侵入者が重なっていると判断し、対象者２００の基準データ１０１の更新は行わず、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。

Ｓ３０３において、停止エリア１１１内に対象者候補エリア１１０が１つの場合、動体検知画素数が急激に増加したかどうか判定し（Ｓ２０６）、動体検知画素数が急激に増加した場合、基準データ１０１の色情報とのマッチングがとれるかどうか判定する（Ｓ２０７）。Ｓ２０７において、色情報とのマッチングがとれない場合、対象者２００の着替え等により色が変化したと判断し、基準データ１０１の色情報を更新し（Ｓ２０８）、Ｓ１０１に戻り、Ｓ１０１以降の処理を繰り返す。

以上のように、本実施の形態では、実施の形態２に加えて、対象者が停止した停止エリア内に侵入者が侵入した場合、侵入者の色情報や形状情報を記憶することにより、対象者と侵入者の重なりを検出する。そして、対象者と侵入者が重なっている場合は、対象者の着替え等により色は変化していないと判断するようにした。これにより、オクルージョンによる誤検出を防ぐことができ、この誤検出による追尾の失敗を防ぐことができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 色変化検出装置
１０ 追尾装置
１１ 映像取得部
１２ 対象物検出部
１２ａ 基準データ生成部
１２ｂ 動体検知部
１３ 色変化検出部
１４ 追尾処理部
２０ カメラ
１００ 記憶部
１０１ 基準データ
１０２ 映像データ
１０３ 背景データ
１０４ 前景データ
１０５ 評価データ
１０６ 部位色情報データ
１０７ 色変化データ
１１０ 対象者候補エリア
１１０ａ 格子枠
１１１ 停止エリア
１１２ 対象者検出エリア
１１８ マッチングデータ
１１９ 特徴データ
２００ 対象者
２０１ 頭部
２０２ 胴体部
２０３ 脚部
２１０ 侵入者

Claims (5)

1. 対象物を撮像した映像データを取得する映像取得部と、
   前記取得した映像データに基づく映像に含まれる前記対象物の色情報を含む基準データを生成する基準データ生成部と、
   前記対象物に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、前記対象物が停止状態であるか否かを判定する動体検知部と、
   前記対象物が停止状態であると判定された領域における前記動体検知画素数が閾値以上となった場合に、前記基準データに含まれる前記対象物の色情報を更新する色変化検出部と、
   を備える色変化検出装置。
2. 前記動体検知部は、前記動体検知画素数が所定の閾値よりも少ない場合、前記対象物が停止状態であると判定し、
   前記色変化検出部は、停止状態から前記動体検知画素数が閾値よりも増加したときに、前記対象物の色情報を更新する、
   請求項１に記載の色変化検出装置。
3. 前記基準データ生成部は、前記対象物として第１の対象物と第２の対象物の基準データを生成し、
   前記色変化検出部は、前記第１の対象物を含む領域と前記第２の対象物が重なっている場合、前記対象物の色情報は更新しない、
   請求項１又は２に記載の色変化検出装置。
4. 対象物を撮像した映像データを取得し、
   前記取得した映像データに基づく映像に含まれる前記対象物の色情報を含む基準データを生成し、
   前記対象物に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、前記対象物が停止状態であるか否かを判定し、
   前記対象物が停止状態であると判定された領域における前記動体検知画素数が閾値以上となった場合に、前記基準データに含まれる前記対象物の色情報を更新する、
   色変化検出方法。
5. 対象物を撮像した映像データを取得し、
   前記取得した映像データに基づく映像に含まれる前記対象物の色情報を含む基準データを生成し、
   前記対象物に対応する画素の内の動きが検出された画素の数である動体検知画素数に基づき、前記対象物が停止状態であるか否かを判定し、
   前記対象物が停止状態であると判定された領域における前記動体検知画素数が閾値以上となった場合に、前記基準データに含まれる前記対象物の色情報を更新する、
   色変化検出処理をコンピュータに実行させるための色変化検出プログラム。