JP2010039788A - 画像処理装置及びその方法並びに画像処理プログラム - Google Patents

Abstract

【課題】ロバストでかつ高速な追跡を可能とする画像処理装置及びその方法並びに画像処理プログラムを提供すること。
【解決手段】画像処理装置１００は、予め生成されたＮ個の特徴抽出部１５１を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部１５２と、前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部１２０と、前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、Ｎ個の特徴抽出部１５１を用いた場合よりも大きくなるように、Ｎ個の特徴抽出部１５１の中からＭ個の特徴抽出部を選択する特徴選択部１３０と、特徴選択部１３０で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部１４０と、を備える。
【選択図】図１

Description

本発明は、画像処理装置及びその方法並びに画像処理プログラムに係り、特に、対象物体の追跡の高速化とロバスト性の向上が可能な画像処理装置及びその方法並びに画像処理プログラムに関する。

従来の画像処理装置は、入力画像における対象物体とその背景とを分離する識別器を更新しながら用いることにより、対象物体やその背景の経時的変化に対応しながら対象物体の追跡を行っている（特許文献１及び非特許文献１を参照）。この場合、識別器の更新時に行う学習において新たに特徴抽出部を生成する。そのため、例えば、人物が一瞬だけ手を挙げた場合などのように、一時的に対象物体が変化した場合などでは、特徴抽出部によって抽出される特徴量が必ずしも対象物体とその背景との分離に有効ではなく、追跡に失敗する恐れがあった。
特開２００６−２０９７５５号公報（第１１頁、図１） Ｌ．Ｌｕ ａｎｄ Ｇ．Ｄ．Ｈａｇｅｒ，"Ａ Ｎｏｎｐａｒａｍｅｔｒｉｃ Ｔｒｅａｔｍｅｎｔ ｆｏｒ Ｌｏｃａｔｉｏｎ／Ｓｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ，" Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００７

上述したように、従来技術では、新たに生成された特徴抽出部によって抽出される特徴量が必ずしも対象物体とその背景との分離に有効ではないため、追跡に失敗する恐れがあるという問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、ロバストでかつ高速な追跡を可能とする画像処理装置及びその方法並びに画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部と、前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部と、前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する特徴選択部と、前記特徴選択部で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部と、を備えることを特徴とする。

本発明によれば、ロバストでかつ高速な追跡が可能となる。

以下、本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第1の実施形態に係る画像処理装置１００を示すブロック図である。画像処理装置１００は、取得部１１０と、対象検出部１２０と、特徴選択部１３０と、対象追跡部１４０と、記憶部１５０と、制御部１６０と、を備える。取得部１１０は、画像を入力する画像入力装置に接続され、画像入力装置から入力画像を取得する。対象検出部１２０は、後述する対象物体らしさを表す信頼度を用いて、入力画像に含まれる対象物体を検出する。特徴選択部１３０は、後述する対象物体とその背景との信頼度の分離度が、Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する。対象追跡部１４０は、選択されたＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部によって抽出されたＭ個の特徴量を用いて、対象物体を追跡する。

図２に示すように、記憶部１５０は、Ｎ個の特徴抽出部１５１と、対象物体を識別するための識別器で構成された識別部１５２と、を記憶している。Ｎ個の特徴抽出部１５１は、識別器の学習によって予め生成されている。識別部１５２は、Ｎ個の特徴抽出部１５１によって抽出されたＮ個の特徴量を用いて、対象物体らしさを表す信頼度を算出する。なお、Ｎ個の特徴抽出部１５１は記憶部１５０に記憶されてもよいし、画像処理装置１００の外部の記憶部に記憶されてもよい。制御部１６０は、画像処理装置１００の各部を制御する。対象物体は、特定の物体に限定されず、人物、動物、物などの様々な物体を含む。

特徴選択部１３０は、対象検出部１２０の検出結果又は対象追跡部１４０の追跡結果に基づいて、抽出されたＮ個の特徴量を１つのグループとして複数のグループの特徴量を生成することができる。特徴選択部１３０は、生成した複数のグループの特徴量に基づいて、Ｎ個の特徴抽出部の中から対象物体とその背景とで信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することができる。

取得部１１０で取得された画像列は、対象検出部１２０又は対象追跡部１４０に入力される。画像処理装置１００は、対象検出部１２０の検出結果又は対象追跡部１４０の追跡結果を、対象検出部１３０又は対象追跡部１４０から出力する。対象検出部１２０、対象追跡部１４０及び特徴選択部１３０は、記憶部１５０とそれぞれ接続されている。対象検出部１２０は、対象物体の検出結果を対象追跡部１４０及び特徴選択部１３０に対しても出力する。対象追跡部１４０は、対象物体の追跡結果を対象検出部１２０及び特徴選択部１３０に対しても出力する。特徴選択部１３０は、特徴選択結果を対象追跡部１４０に出力する。

図３を参照して、本発明の第１の実施形態に係る画像処理装置の動作について説明する。なお、図３は、本発明の第１の実施形態に係る画像処理装置の動作を示すフローチャートである。

ステップＳ３１０では、制御部１６０は、取得部１１０で取得した画像列を記憶部１５０に記憶させる。

ステップＳ３２０では、制御部１６０は、現在のモードが追跡モードであるか否かを判定する。例えば、制御部１６０は、前の画像で対象物体の検出又は追跡に成功しており、ステップＳ３５０による特徴選択がなされている場合に、追跡モードであると判定する。制御部１６０は、追跡モードであると判定した場合（ステップＳ３２０で「Ｙｅｓ」）、ステップＳ３４０に進み、追跡モードでないと判定した場合（ステップＳ３２０で「Ｎｏ」）、ステップＳ３３０に進む。

ステップＳ３３０では、対象検出部１２０は、記憶部１５０に記憶されたＮ個の特徴抽出部１５１（ｇ_１，ｇ_２，…，ｇ_Ｎ）によって抽出されるＮ個の特徴量を用いて対象物体の検出を行う。具体的には、入力画像の各位置で対象物体らしさを表す信頼度を計算し、この信頼度がピークをとる位置を対象物体の位置とする。このとき、信頼度ｃ_Dは、抽出されたＮ個の特徴量ｘ_１，ｘ_２，…，ｘ_Ｎから数式１に基づいて算出することができる。ただし、ｘ_ｉは特徴抽出部ｇ_ｉによって抽出された特徴量を表す。

関数ｆ_Ｄは、例えば、Ｎ個の特徴抽出部を生成するために予め学習した対象物体とその背景とを分離する識別器である。従って、関数ｆ_Ｄは非線形なものでもよいが、単純には数式２のように線形関数を用いる。なお、「背景」とは、画像中における対象物体を除く領域をいうものとする。実際には入力画像の各位置に対して、その位置を含んだ領域を設定し、その設定した領域から特徴量を抽出して識別を行うことで、その位置が対象物体であるか否かを識別する。従って、対象物体とその背景との境界付近の位置では、設定した領域が対象物体と背景とを含むことになるが、このような領域では、対象物体の占める割合がある一定以上の場合に、対象物体と識別する。

数式２を満たすような識別器は、例えば、よく知られたＡｄａＢｏｏｓｔを用いた学習によって実現できる。このとき、ｇ_ｉはｉ番目の弱識別器、ｘ_ｉはｉ番目の弱識別器の出力、ａｉはｉ番目の弱識別器に対する重みにそれぞれ対応する。

ステップＳ３３１では、制御部１６０は、対象物体の検出が成功したか否かを判定する。例えば、制御部１６０は、信頼度のピーク値がある閾値よりも小さい場合には、検出は失敗したと判定する。制御部１６０は、ステップＳ３３１で、対象物体の検出に失敗したと判定した場合には（ステップＳ３３１で「Ｎｏ」）、ステップＳ３２０に戻り、対象物体の検出に成功したと判定した場合には（ステップＳ３３１で「Ｙｅｓ」）、ステップＳ３５０に進む。

ステップＳ３４０では、対象追跡部１４０は、特徴選択部１３０で選択されているＭ個の特徴抽出部によって抽出されるＭ個の特徴量を用いて対象物体を追跡する。具体的には、入力画像の各位置で対象物体らしさを表す信頼度を計算し、この信頼度がピークをとる位置を追跡すべき対象物体の位置とする。ただし、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとする。信頼度Ｃ_Tは、抽出されたＭ個の第１の特徴量ｘ_σ１，ｘ_σ２，…，ｘ_σＭから数式３に基づいて算出することができる。ただし、σ_１，σ_２，…，σ_Ｍ∈｛１，２，…，Ｎ｝かつｉ≠ｊのときσ_ｉ≠σ_ｊである。ｘ_σｉは特徴抽出部ｇ_σｉによって抽出された特徴量を表す。

関数ｆ_Ｔは、例えば、対象物体の検出時に用いた関数ｆ_Ｄの入力をＭ個の特徴量に制限したものである。ｆ_Ｄが数式２のような線形関数の場合、ｆ_Ｔは数式４のように表される。

単純には、ｂ_ｉ＝ａ_σｉ（ｉ＝１，２，…，Ｍ）である。信頼度ｃ_Ｔは、Ｍ個の第１の特徴量ｘ_σ１，ｘ_σ２，…，ｘ_σＭと、既に検出又は追跡処理を完了した画像における対象物体から抽出されたＭ個の第２の特徴量ｙ_σ１，ｙ_σ２，…，ｙ_σＭとの類似度により算出される。例えば、数式５のようにＭ個の第１の特徴量で構成される第１のベクトルと、Ｍ個の第２の特徴量で構成される第２のベクトルとの内積によって算出してもよい。ただし、ｙ_σｉは特徴抽出部ｇ_σｉによって抽出された特徴量を表す。

また、数式５の積の部分が正の値をとるものだけを考慮した数式６を用いてもよい。

また、数式５の積の部分の符号にのみ着目した数式７を用いてもよい。

ここで、関数ｈ（ｘ）は数式６で用いたものと同じである。数式７は、Ｍ個の特徴抽出部によって抽出される特徴量のうち、前の画像の対象物体位置と入力画像の現在調べている位置とで、符号が一致する特徴量の割合を示している。

ステップＳ３４１では、制御部１６０は、対象物体の追跡に成功したか否かを判定する。制御部１６０は、対象物体の追跡に成功したと判定した場合には（ステップＳ３４１で「Ｙｅｓ」）、ステップＳ３５０に進み、対象物体の追跡に失敗したと判定した場合には（ステップＳ３４１で「Ｎｏ」）、ステップＳ３３０に進む。

ステップＳ３５０では、特徴選択部１３０は、対象物体やその背景の外観の変化に適応するために、対象物体とその背景とで対象物体らしさを表す信頼度ｃ_Ｄの分離度が大きくなるように、Ｎ個の特徴抽出部からＭ個の特徴抽出部を選択する。ただし、ｃ_Ｄの算出において、選択されていないＮ−Ｍ個の特徴抽出部の出力は０として扱う。特徴選択方法は、ｃ_Ｄの算出方法が数式２であるとすると、Ｎ個の特徴抽出部によって対象物体の位置から１つのグループとしての特徴量ｙ_１，ｙ_２，…，ｙ_Ｎ（ただし、ｙ_ｉはｇ_ｉによって抽出された特徴量を表す）を抽出し、ａ_ｉ＊ｙ_ｉが大きい順にＭ個選ぶ。Ｎ個の特徴量をそのまま用いるかわりに、既に処理した複数枚の対象物体を含む画像毎に対象物体位置からそれぞれ抽出された他のグループとしてのＮ個の特徴量も考慮して各特徴抽出部ｇ_ｉによって抽出される特徴量の平均値Ｍｙ_ｉを算出し、ａ_ｉ＊Ｍｙ_ｉが大きい順にＭ個選んでもよいし、分散などの高次統計量を組み込んでもよい。例えば、特徴抽出部ｇ_ｉによって抽出される特徴量の標準偏差をｓｙ_ｉとしたときに、ａ_ｉ＊（ｙ_ｉ−ｓｙ_ｉ）又はａ_ｉ＊（Ｍｙ_ｉ−ｓｙ_ｉ）の大きい順にＭ個選ぶ。また、Ｎ個の特徴抽出部を用いて対象物体の周辺の領域から抽出されたＮ個の特徴量ｚ_１，ｚ_２，…，ｚ_Ｎ（ただし、ｚ_ｉは特徴抽出部ｇ_ｉによって抽出された特徴量を表す）を用いてａ_ｉ＊（ｙ_ｉ−ｚ_ｉ）が大きい順にＭ個選んでもよい。この背景から抽出された特徴量ｚ_ｉに関してもｙ_ｉと同様に、値をそのまま用いるかわりに、対象物体の周辺の領域の複数位置から抽出された特徴量や、既に処理した複数枚の画像における対象物体を含まない背景位置から抽出された特徴量の平均値Ｍｚ_１，Ｍｚ_２，…，Ｍｚ_Ｎを用いてａ_ｉ＊（ｙ_ｉ−Ｍｚ_ｉ）又はａ_ｉ＊（Ｍｙ_ｉ−Ｍｚ_ｉ）の大きい順にＭ個選んでもよいし、平均値だけでなく、特徴量の標準偏差ｓｚ_１，ｓｚ_２，…，ｓｚ_Ｎなどの高次統計量を組み込んでもよい。例えば、ａ_ｉ＊（Ｍｙ_ｉ−ｓｙ_ｉ−Ｍｚ_ｉ−ｓｚ_ｉ）の大きい順にＭ個選ぶといった具合である。また、ｚ_ｉを抽出する周辺の領域の選び方は、例えば、対象物体位置の上下左右の４領域を選んでもよいし、さらにｃ_Ｄ又はｃ_Ｔが大きい領域を選んでもよい。ｃ_Ｄの大きい領域は対象物体として誤検出しやすい領域、ｃ_Ｔの大きい領域は対象物体として誤追跡しやすい領域であり、この領域を選ぶことによって、この領域におけるｃ_Ｔと対象物体位置におけるｃ_Ｔとの差が大きくなり、ｃ_Ｔのピークが鋭敏になることが期待される。また、例えば、前述したａ_ｉ＊ｙ_ｉにおいて大きい順にＭ個選択するかわりに、設定した閾値を超えたａ_ｉ＊ｙ_ｉに対応する特徴抽出部だけを選択してもよいし、さらに、最低限選択する特徴抽出部の数をＭとすることで、設定した閾値を超えるａ_ｉ＊ｙ_ｉがＭ個に満たない場合には、大きい順にＭ個選択するようにしてもよい。

また、入力画像からダウンサンプリングなどにより低解像画像を作成することで、複数の解像度の画像を入力とすることができる。このとき、対象検出部１２０及び対象追跡部１４０は、複数の解像度の画像に対して検出又は追跡を行う。対象物体の検出は、それぞれの解像度の画像でのｃ_Ｄのピークのうち、最大となる解像度の画像における位置を対象物体の位置とする。対象物体の追跡も同様に、それぞれの解像度の画像でのｃ_Ｔのピークのうち、最大となる解像度の画像における位置を対象物体の位置とする。特徴選択部１３０におけるサンプルの生成方法は、基本的には上述した通りであるが、対象物体の周辺の領域は、ｃ_Ｄ又はｃ_Ｔのピークが最大値となった解像度と同じ解像度だけでなく、異なる解像度の画像上にも存在することが異なる。従って、特徴選択に用いるサンプルは複数の解像度の画像から生成される。

このように、本実施形態に係る画像処理装置によれば、予め生成されたＮ個の特徴抽出部から対象物体とその背景とで対象物体らしさを表す信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することで、対象物体やその背景の外観の変化に対応しつつ、高速な追跡が可能となる。

（第２の実施形態）
本実施形態では、対象物体の追跡ステップにおいて、対象物体らしさを表す信頼度ｃ_Ｔのピークが複数ある場合、すなわち対象物体の位置の候補が複数ある場合について、対象物体の候補位置の検証処理を導入する。

本発明の第２の実施形態に係る画像処理装置のブロック図は、第1の実施形態に係る画像処理装置のブロック図である図１と同じであるので、説明は省略する。また、本発明の第２の実施形態に係る画像処理装置の動作は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである図３と概略的には同じである。しかしながら、対象物体の追跡ステップＳ３４０、Ｓ３４１が異なるので、この追跡ステップに関するフローチャートを図４を参照しながら説明する。

ステップＳ４０１では、現在のモードが追跡モードかどうかを判定するステップＳ３２０において、追跡モードであると判定された場合（ステップＳ３２０で「Ｙｅｓ」）、対象追跡部１４０は、数式３に示した対象物体らしさを表す信頼度ｃ_Ｔを、例えば、数式４、数式５、数式６及び数式７の何れか１つを用いて各画像上の位置で算出する。

ステップＳ４０２では、対象追跡部１４０は、ステップＳ４０１で算出した信頼度ｃ_Ｔのピークを取得する。

ステップＳ４０３では、対象追跡部１４０は、ステップＳ４０２で取得したピークの値がある閾値よりも小さい場合には、そのピークを除去する。

ステップＳ４０４では、制御部１６０は、残ったピークの数が０であるか否かを判定する。制御部１６０は、残ったピークの数が０であると判定した場合には（ステップＳ４０４で「Ｙｅｓ」）、追跡失敗となり、対象物体を検出し直すステップＳ３３０へ進む。制御部１６０は、残ったピークの数が０でない、すなわち１以上であると判定した場合には（ステップＳ４０４で「Ｎｏ」）、ステップＳ４０５へ進む。

ステップＳ４０５では、制御部１６０は、残ったピークの位置それぞれに対して、ピークの位置が対象物体の位置である、という仮説の検証を行う。仮説の検証は、ピーク位置における対象物体らしさを表す信頼度ｃ_Ｖを算出し、この信頼度がある閾値以上の場合に採択し、閾値以下の場合に棄却とすることで行う。制御部１６０は、全ての仮説が棄却された場合には、追跡失敗となり、対象物体を検出し直すステップＳ３３０へ進む。制御部１６０は、採択された仮説が複数ある場合には、ｃ_Ｖが最も大きい仮説のピーク位置を最終的な対象物体の位置として、特徴選択のステップＳ３５０へ進む。

仮説の検証で用いる対象物体らしさを表す信頼度ｃ_Ｖは、ｃ_Ｔを算出する手段とは別の手段によって算出される。最も単純にはｃ_Ｖとしてｃ_Ｄを用いることができる。これにより、対象物体らしくない位置の仮説を棄却することが可能となる。また、ｃ_Ｖとして、記憶部１５０で保持している特徴抽出部とは異なる、より高次の特徴抽出部を用いた識別器の出力を用いてもよい。一般に、高次の特徴抽出部は計算コストが大きいが、ｃ_Ｖの一枚の入力画像あたりの算出回数は、ｃ_Ｄ、ｃ_Ｔと比べて少ないため、装置全体の処理時間にはそれほど影響しない点に注意する。高次の特徴抽出部としては、例えば、Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５にあるようなエッジに基づく特徴を用いてもよい。また、ｃ_Ｖとして、前の入力画像における対象物体位置と現在の入力画像における仮説位置との類似度を用いてもよい。この類似度は、それぞれの位置を囲む２つの領域間の画素値の正規化相関でもよいし、画素値の分布の類似度でもよい。画素値の分布の類似度は、例えば、バタチャリヤ係数に基づくものでもよいし、２つの画素値ヒストグラムの共通部分の和でもよい。

このように、第２の実施形態に係る画像処理装置によれば、対象物体の追跡処理において検証処理を導入することによって、よりロバストな追跡が可能となる。

（第３の実施形態）
ここでは、対象物体が入力画像中に複数個ある場合について説明する。

本発明の第３の実施形態に係る画像処理装置のブロック図及び動作を示すフローチャートは、第１の実施形態に係る画像処理装置のブロック図（図１）及び動作を示すフローチャート（図３）と同様である。以下、図３のフローチャートを参照しながら説明する。

ステップＳ３１０では、制御部１６０は、画像入力部から入力された画像の画像列を記憶部に記憶させる。

ステップＳ３２０では、制御部１６０は、現在のモードが追跡モードであるか否かを判定する。例えば、制御部１６０は、前の画像で対象物体の検出又は追跡に成功しており、ステップＳ３５０によって特徴選択がなされた対象物体が１つ以上存在する場合に、追跡モードであると判定する。ただし、最後に対象物体の検出ステップＳ３３０を行ってから一定の枚数の画像を処理している場合は、現在のモードは追跡モードでないとする。

ステップＳ３３０では、対象検出部１２０は、記憶部１５０のＮ個の特徴抽出部ｇ_１，ｇ_２，…，ｇ_Ｎによって抽出されるＮ個の特徴量を用いて対象物体の検出を行う。具体的には、入力画像の各位置で対象物体らしさを表す信頼度ｃ_Ｄを計算し、この信頼度がピークをとる位置を全て取得し、それぞれ対象物体の位置とする。

ステップＳ３３１では、制御部１６０は、対象物体の検出が成功したか否かを判定する。例えば、制御部１６０は、得られた信頼度のピーク値の全てがある閾値よりも小さい場合には、検出は失敗したと判定する。このとき、信頼度ｃ_Dは、例えば、数式２によって算出される。制御部１６０は、ステップＳ３３１で、対象物体の検出に失敗したと判定した場合には（ステップＳ３３１で「Ｎｏ」）、ステップＳ３２０に戻り、次の画像を処理する。制御部１６０は、ステップＳ３３１で、対象物体の検出に成功したと判定した場合には（ステップＳ３３１で「Ｙｅｓ」）、ステップＳ３５０に進む。

ステップＳ３４０では、対象追跡部１４０は、各々の対象物体について、特徴選択部１３０で各々の対象物体毎に選択されているＭ個の特徴抽出部によって抽出されるＭ個の特徴量を用いて追跡を行う。具体的には、各々の対象物体に対して、入力画像の各位置で対象物体らしさを表す信頼度ｃ_Ｔを計算し、この信頼度がピークをとる位置を対象物体の位置とする。

ステップＳ３４１では、制御部１６０は、対象物体の追跡に成功したか否かを判定する。制御部１６０は、全ての対象物体について、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとする（ステップＳ３４１で「Ｎｏ」）。また、１つ以上の対象物体について、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとしてもよい（ステップＳ３４１で「Ｎｏ」）。このとき、信頼度ｃ_Ｔは、例えば、数式４に基づいて算出することができる。制御部１６０は、対象物体の追跡に成功したと判定した場合には（ステップＳ３４１で「Ｙｅｓ」）、ステップＳ３５０に進み、対象物体の追跡に失敗したと判定した場合には（ステップＳ３４１で「Ｎｏ」）、ステップＳ３３０に進む。

ステップＳ３５０では、特徴選択部１３０は、特徴選択部１３０の各々の対象物体やその背景の外観の変化に適応するために、各々の対象物体とその背景とで対象物体らしさを表す信頼度ｃ_Ｄの分離度が大きくなるように、各々の対象物体毎にＮ個の特徴抽出部からＭ個の特徴抽出部を選択する。ｃ_Ｄの算出方法については、本発明の第1の実施形態において説明済みであるので省略する。

このように、第３の実施形態に係る画像処理装置によれば、対象物体が複数存在する場合においても、従来よりも高速かつロバストな追跡が可能となる。

（変形例）
対象物体らしさを表す信頼度ｃ_Tの算出手段である数式５、数式６及び数式７を計算する前に、各特徴抽出部ｇ_σｉの出力から、ある値θ_σｉを減算してもよい。これは、数式５、数式６及び数式７のｘ_σｉ、ｙ_σｉをそれぞれｘ_σｉ−θ_σｉ、ｙ_σｉ−θ_σｉに置き換えることを意味する。θ_σｉは、例えば、上述した特徴選択時に用いたｙ_σｉの平均値Ｍｙ_σｉでもよいし、又はｚ_σｉの平均値Ｍｚ_σｉでもよいし、又はｙ_σｉとｚ_σｉの両方を含めた平均値でもよい。また、平均値の代わりに中間値を用いてもよい。又は、各特徴抽出部ｇ_ｉの出力毎に、ｙ_σｉとｚ_σｉ（特徴選択時に生成したサンプルが複数個ある場合は、ｙ_σｉもｚ_σｉも複数個存在する）を分離する識別器を学習し、その学習結果を用いてもよい。識別器は、例えば、ｌ＝ｕｘ−ｖ（ｌはカテゴリラベル、ｘは学習サンプルのとる値（すなわち、ｙ_σｉ又はｚ_σｉ）、ｕ、ｖは学習によって定まる定数）の形で表現される線形識別器を用いる。ｙ_σｉのカテゴリラベルを１、ｚ_σｉのカテゴリラベルを−１として学習する。学習結果として得られるｕが０でないときは、ｖ／ｕをθ_ｉとして用い、０であるときはθ_ｉ＝０とする。線形識別器の学習は、線形判別分析を用いてもよいし、線形のサポートベクターマシンを用いてもよいし、線形識別器が学習できるものであれば何でもよい。

なお、本発明は、上記の実施形態に限定されず、その要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記の実施形態に開示されている複数の構成要素の適当な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、本実施形態の画像処理装置の各部の処理ステップは、コンピュータに記憶または伝送されたコンピュータ読み取り可能な画像処理プログラムによって、コンピュータに実行させることができる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態に係る記憶部の構成を示すブロック図である。 本発明の第１の実施形態の動作を示すフローチャートを示す図である。 本発明の第２の実施形態における対象物体の追跡処理の動作を示すフローチャートを示す図である。

符号の説明

１００ 画像処理装置
１２０ 対象検出部
１３０ 特徴選択部
１４０ 対象追跡部
１５１ 特徴抽出部
１５２ 識別部

Claims (15)

1. 予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部と、
   前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部と、
   前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する特徴選択部と、
   前記特徴選択部で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部と、
   を備えることを特徴とする画像処理装置。
2. 前記対象追跡部は、抽出された前記Ｍ個の特徴量に基づいて前記信頼度を算出し、算出した信頼度に基づいて前記対象物体を追跡することを特徴とする請求項１に記載の画像処理装置。
3. 前記対象追跡部は、入力画像から抽出されたＭ個の第１の特徴量で構成される第１のベクトルと、前記対象検出部による検出又は前記対象追跡部による追跡が完了した入力画像における前記対象物体の位置から抽出されたＭ個の第２の特徴量で構成される第２のベクトルと、の類似度により前記信頼度を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記類似度は、前記第１のベクトルの各成分の符号と、対応する前記第２のベクトルの各成分の符号とが一致した割合で算出されることを特徴とする請求項３に記載の画像処理装置。
5. 入力画像の各位置で前記信頼度を算出し、前記信頼度がピークをとる位置を前記対象物体の位置と判定する制御部を備えることを特徴とする請求項２に記載の画像処理装置。
6. 前記制御部は、前記信頼度のピーク値がある閾値よりも小さい場合には、前記対象物体の検出に失敗したと判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記制御部は、入力画像の各位置で前記信頼度を算出し、前記信頼度がピークをとる位置を追跡すべき前記対象物体の位置と判定することを特徴とする請求項５に記載の画像処理装置。
8. 前記制御部は、前記信頼度のピーク値がある閾値よりも小さい場合には、前記対象物体の追跡に失敗したと判定し、前記対象検出部により前記対象物体を検出し直すことを特徴とする請求項７に記載の画像処理装置。
9. 前記特徴選択部は、
   前記対象検出部の検出結果又は前記対象追跡部の追跡結果に基づいて、前記抽出されたＮ個の特徴量を１つのグループとして複数のグループの特徴量を生成し、生成した複数のグループの特徴量に基づいて、前記Ｎ個の特徴抽出部の中から前記対象物体とその背景とで前記信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することを特徴とする請求項１に記載の画像処理装置。
10. 前記特徴選択部は、
    前記検出された又は追跡された対象物体の周辺の領域から、前記Ｎ個の特徴量を１つのグループとして複数のグループの特徴量を生成すると共に、前記対象物体の周辺の領域から前記Ｎ個の特徴量を１つのグループとして複数のグループの特徴量を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記特徴選択部は、
    前記対象物体と前記周辺の領域とで前記信頼度の分離度が大きくなるように前記Ｎ個の特徴抽出部の中からＭ個の特徴抽出部を選択することを特徴とする請求項１０に記載の画像処理装置。
12. 前記特徴選択部は、
    前記対象物体の検出又は追跡を完了した１枚以上の画像において生成された前記複数のグループの特徴量及び前記複数のグループの特徴量の画像上の位置を履歴として保持することを特徴とする請求項９に記載の画像処理装置。
13. 前記特徴選択部は、
    前記履歴に基づいて、前記対象物体とその背景とで前記分離度が大きくなるように前記Ｎ個の特徴抽出部の中からＭ個の特徴抽出部を選択することを特徴とする請求項１２に記載の画像処理装置。
14. 予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する工程と、
    前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する工程と、
    前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する工程と、
    前記選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する工程と、
    を含むことを特徴とする画像処理方法。
15. コンピュータに、
    予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する工程と、
    前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する工程と、
    前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する工程と、
    前記選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する工程と、
    を実行させるための画像処理プログラム。

Images