JP2009265732A

JP2009265732A - 画像処理装置及びその方法

Info

Publication number: JP2009265732A
Application number: JP2008111145A
Authority: JP
Inventors: Tsukasa Ike; 司池; Kyoichi Okamoto; 恭一岡本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-04-22
Filing date: 2008-04-22
Publication date: 2009-11-12
Anticipated expiration: 2028-04-22
Also published as: JP5166102B2; US20090262981A1; US8135172B2

Abstract

【課題】画像上での外見の変化が大きい場合でも、高い位置精度で対象オブジェクトを追跡できる画像処理装置を提供する。
【解決手段】オブジェクト領域推定部３は、オブジェクト情報記憶部２に記憶されたオブジェクト情報に基づき、画像入力部１より入力される入力画像上でオブジェクトが存在する推定オブジェクト領域を推定し、類似度分布生成部４は、推定オブジェクト領域とその周辺領域について識別器によって類似度分布を求め、オブジェクト情報決定部５は、類似度分布に基づきオブジェクト領域座標、テンプレート画像を求め、オブジェクト情報記憶部２に記憶する。
【選択図】図１

Description

本発明は、撮像装置を用いて撮影した時系列画像より、画像上における外見が時間の経過により変化するオブジェクトを検出して追跡する画像処理装置及びその方法に関する。

ＣＭＯＳカメラ等で撮影した時系列画像を用いて、移動するオブジェクトを追跡する技術が数多く提案されている。

オブジェクトの追跡では、時系列画像中のある画像においてオブジェクトが存在する領域（以下、「オブジェクト領域」という）について、次の画像における対応するオブジェクト領域を正確に求めることが重要となる。前記対応するオブジェクト領域を求める最も一般的な方法の一つとして、テンプレートマッチングが挙げられる。

テンプレートマッチングでは、ある画像において検出されたオブジェクト領域内の画像、または、これに所定の加工を施したものをテンプレート画像として保存しておき、後続画像において、例えばＳＡＤ等の所定の方法によってテンプレート画像と最も類似した領域を算出し、これをオブジェクト領域として決定する。

撮像画像上において、追跡対象オブジェクトの外見に変化がない場合、後続画像の画像にテンプレート画像と完全に一致する領域が存在するため、本方法によって実際にオブジェクトが存在する領域を正確に算出できる。しかしながら、一般にはオブジェクトの回転、形状変化、及び撮像装置からの距離変化などの要因により撮影画像上でのオブジェクトの外見は徐々に変化するため、算出されるオブジェクト領域は必ずしも実際にオブジェクトが存在する領域と一致しない。したがって、テンプレートマッチングによってオブジェクト領域を正確に算出するためには、テンプレート画像と処理対象画像上での追跡対象オブジェクトの外見との差を小さくすることが重要となる。

一般に、テンプレート画像保存時から時間が経過するにしたがってテンプレート画像とオブジェクト領域内の画像の差は大きくなることから、テンプレート画像保存の時刻と処理対象画像の撮影時刻の差は小さくすることが望ましい。そこで、処理対象画像上で検出されたオブジェクト領域内の画像によって、テンプレート画像を更新することが考えられる。しかしながら、撮影画像上でのオブジェクトの外見変化により生じるオブジェクト領域の誤差が累積することにより、テンプレート画像として保存される領域と実際にオブジェクトが存在する領域にずれが生じる問題がある。

そこで、非特許文献１では、オブジェクト追跡開始時におけるオブジェクト領域内の画像を初期テンプレート画像として保存しておき、テンプレート画像更新時に初期テンプレート画像を用いたテンプレートマッチングの結果を利用してテンプレート画像を検証し、テンプレート画像を修正することにより、テンプレート画像として保存される領域のずれを抑えている。

一方、近年では特許文献１に代表されるように、オブジェクトの個体差、オブジェクトの背景、照明条件等に変化があっても安定してオブジェクトを検出するオブジェクト検出装置が多数開示されている。ある画像においてこれらのオブジェクト検出装置を用いてオブジェクトを検出し、次の画像ではオブジェクト検出位置、及びオブジェクトの移動速度などを考慮した一定範囲を検出することにより、オブジェクトの画像上の外見に変化が生じた場合でも、それがオブジェクト検出装置の検出対象範囲内であればオブジェクトを追跡できる。
I.Matthews, et.al,「The Template Update Problem,」IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.26, No.6, June 2004. 米国特許出願公開第２００２／０１０２０２４号

しかしながら、非特許文献１で開示された技術においては、テンプレート画像として保存された画像が実際に追跡対象オブジェクトであるかを検証するために追跡開始時の画像を用いているため、撮影画像上でのオブジェクトの外見が追跡開始時と大きくかけ離れる場合には、テンプレート画像の検証を適切に行うことができず、オブジェクトの追跡が困難になるという問題点がある。

また、前記オブジェクト検出装置によるトラッキングでは、追跡対象オブジェクトの外見の変化がオブジェクト検出装置の検出範囲内であれば追跡できるものの、検出される領域はオブジェクトの外見や背景、照明条件などによって変動が大きく、オブジェクト領域の検出位置精度はテンプレートマッチングと比較して低くなるという問題点がある。

そこで本発明は、上記問題点に鑑みなされたもので、画像上での外見の変化が大きい場合でも、高い位置精度で対象オブジェクトを追跡できる画像処理装置及びその方法を提供することを目的とする。

本発明は、時系列画像の各画像に写ったオブジェクトを追跡する画像処理装置において、前記時系列画像を入力する画像入力部と、前記時系列画像中の入力画像より過去の画像である過去画像中における前記オブジェクトが写った前記オブジェクト領域の位置を示すオブジェクト領域座標と、前記オブジェクトをテンプレートマッチングによって認識するためのテンプレート画像とを含むオブジェクト情報を記憶する記憶部と、前記入力画像に対して、前記オブジェクト情報の前記オブジェクト領域座標と前記テンプレート画像を用いて前記テンプレートマッチングを行い、前記オブジェクトが存在する領域である推定オブジェクト領域を推定する推定部と、前記推定オブジェクト領域及び前記推定オブジェクト領域の複数の周辺領域のそれぞれについて、少なくとも１個の識別器を用いて、前記オブジェクトが写っている確率を示す類似度を算出する類似度生成部と、前記各類似度からなる類似度分布の中で、前記類似度が閾値より大きい分布範囲に基いて、前記入力画像中の前記オブジェクト領域と前記オブジェクト領域座標を決定すると共に、前記オブジェクト領域内の部分画像よりテンプレート画像を生成する決定部と、前記入力画像における前記オブジェクト領域座標と前記テンプレート画像とを、前記過去画像における前記オブジェクト領域座標と前記テンプレート画像に代えて更新する更新部と、を備える画像処理装置である。

本発明によれば、オブジェクトの画像上での外見の変化が大きい場合でも、高い位置精度で追跡できる。

以下、本発明の一実施形態のオブジェクト追跡装置である画像処理装置について図面に基づいて説明する。

（第１の実施形態）
以下、第１の実施形態にかかる画像処理装置について、図１〜図４に基づいて説明する。

（１）画像処理装置の構成
図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。

図１に示すように、画像処理装置は、画像入力部１、オブジェクト情報記憶部２、オブジェクト領域推定部３、類似度分布生成部４、オブジェクト情報決定部５から構成される。

画像入力部１は、例えばＣＭＯＳビデオカメラなどの撮像装置を用いて、追跡対象となるオブジェクトが写っている時系列画像（動画像）を撮像し、これをオブジェクト領域推定部３に供給する。本実施形態においては、オブジェクトとして人間の手を追跡対象とする。

オブジェクト情報記憶部２は、時系列画像の過去の画像において得られたオブジェクト情報を記憶し、これをオブジェクト領域推定部３に供給する。

オブジェクト領域推定部３は、オブジェクト情報記憶部２に記憶されたオブジェクト情報に基づき、画像入力部１より入力される入力画像上でオブジェクトが存在する領域を推定し、推定オブジェクト領域として出力する。

類似度分布生成部４は、推定オブジェクト領域、及び、その周辺の複数の周辺領域について、予め定義した基準に基づきオブジェクトであるか否かを識別する手段である識別器によって、推定オブジェクト領域と各周辺領域内の画像を識別し、これらの識別結果、及び、そのオブジェクトらしさを示す類似度を類似度分布として出力する。

オブジェクト情報決定部５は、類似度分布に基づきオブジェクト領域座標を決定して出力する。また、オブジェクト領域内の画像をテンプレート画像として取得し、オブジェクト領域座標と共にオブジェクト情報としてオブジェクト情報記憶部２に記憶する。

なお、各部１〜５の機能は、コンピュータに格納されたプログラムによっても実現できる。

（２）オブジェクト情報記憶部２
オブジェクト情報記憶部２で記憶されているオブジェクト情報は、例えば、時系列画像の過去の画像において得られた手が写ったオブジェクト領域の座標、オブジェクト領域内の画像データ、及び、フレーム番号等の時刻情報などによって構成される。

画像データは、グレースケール画像であってもカラー画像であってもよい。また、オブジェクト領域内の画像に対して、例えばエッジ強調処理等の画像処理を施したものであってもよい。このオブジェクト領域内の画像データが、テンプレート画像として使用される。

本実施形態では、オブジェクト情報の取得に成功した最も新しい単一フレームのオブジェクト情報が記憶されているものとするが、これに限定されるものではなく、例えば、過去の複数フレームのオブジェクト情報が記憶されていてもよい。

（３）オブジェクト領域推定部３
オブジェクト領域推定部３における手が写ったオブジェクト領域の推定について、図２を用いて説明する。オブジェクト領域推定部３は、探索範囲設定部３１とテンプレートマッチング部３２と推定オブジェクト領域決定部３３からなる。

（３−１）探索範囲設定部３１
探索範囲設定部３１は、オブジェクト情報記憶部２に記憶されているオブジェクト領域座標及び時刻情報より、入力画像上における探索範囲を決定する。

探索範囲は、例えば、オブジェクト情報記憶部２に記憶されているオブジェクト情報の取得時刻、オブジェクト領域の位置、サイズ、及び、追跡対象オブジェクトの最大移動速度に基づき決定する。

（３−２）テンプレートマッチング部３２
テンプレートマッチング部３２は、探索範囲設定部３１において設定された探索範囲内について探索ウィンドウを走査させ、探索ウィンドウ内の各部分画像について、テンプレートマッチングによってオブジェクト情報記憶部２に記憶されているテンプレート画像との類似度をそれぞれ算出する。テンプレートマッチングの方法としては、ＳＡＤやＳＳＤなど一般的に用いられている方法を利用できる。

（３−３）推定オブジェクト領域決定部３３
推定オブジェクト領域決定部３３は、テンプレートマッチング部３２によって算出された探索範囲内の複数の領域内の部分画像の類似度に基づき、入力画像上でオブジェクトが存在する可能性の最も高い領域を推定し、推定オブジェクト領域として決定する。

推定オブジェクト領域を決定する方法としては、単にテンプレートマッチング部３２において算出された類似度から最も類似度が高いものを選択し、対応する領域を推定オブジェクト領域としてもよい。

また、オブジェクトの移動速度から入力画像上でのオブジェクトの位置について確率分布を求め、類似度をこの確率分布で重みづけして算出してもよい。

（４）類似度分布生成部４
類似度分布生成部４におけるオブジェクトの識別について、図３を用いて説明する。類似度分布生成部４は、識別領域設定部４１と複数のオブジェクト識別部４２から構成される。

（４−１）識別領域設定部４１
識別領域設定部４１は、オブジェクト領域推定部３が出力した推定オブジェクト領域に基づき、オブジェクト識別領域を設定する。

オブジェクト識別領域の設定の一例を以下で説明する。

まず、推定オブジェクト領域を中心として、Ｘ方向及びＹ方向に位置を等間隔でずらした場所にオブジェクト識別領域を設定する。推定オブジェクト領域のサイズをｗ、オブジェクト識別領域の位置ずらし量をｄとした時に、領域をＸ方向及びＹ方向にそれぞれ｛−２ｄｗ、−ｄｗ、０、＋ｄｗ、＋２ｄｗ｝だけずらすことにより、２５か所にオブジェクト識別領域を設定する。

また、追跡対象オブジェクトの撮像装置からの距離が変化するなどの原因により、画像上でのオブジェクト領域のサイズが変化することがあるため、推定オブジェクト領域の中心位置を一定にして、領域のサイズを一定の割合で拡大及び縮小した領域についてもオブジェクト識別領域として設定する。

オブジェクト識別領域のサイズ変化率をｓとした時に、｛ｗ／ｓ、ｗ、ｓｗ｝の各サイズの領域をオブジェクト識別領域として設定する。

なお、これらのオブジェクト識別領域についても、オブジェクト識別領域のサイズを基準としてＸ方向及びＹ方向に等間隔でずらした場所にオブジェクト識別領域を設定する。

以上のようにして、推定オブジェクト領域を基準とした７５個の領域をオブジェクト識別領域として設定する。

なお、上記で説明したオブジェクト識別領域設定方法は一例であり、これに限定されるものではない。例えば、設定されるオブジェクト識別領域の位置及びサイズが推定オブジェクト領域から著しく外れない限り、領域の位置変化量が１段階や３段階、または、それ以上であってもよく、領域のサイズ変化量が２段階以上であってもよい。

また、領域の位置変化量やサイズ変化量が一定でなくてもよく、サイズ毎に位置変化量を変えてもよい。

さらに、Ｘ方向とＹ方向の位置変化量の和が所定の値以下になるようにオブジェクト識別領域を設定してもよい。

（４−２）オブジェクト識別部４２
オブジェクト識別部４２は、識別器であり、識別領域設定部４１で設定された各オブジェクト識別領域について、予め定義した基準に基づき追跡対象オブジェクトであるか否かを識別すると共に、オブジェクトらしさを類似度（オブジェクトが写っている確率を示す類似度）として出力する。すなわち、各オブジェクト識別領域の類似度を、領域毎にどのように分布しているかを示す類似度分布を出力する。

ここで用いるオブジェクト識別の方法として、オブジェクト情報記憶部２に記憶されているオブジェクト情報以外の情報に基づき識別を行う方法を用いることにより、オブジェクト情報記憶部２に保存されるテンプレートが追跡対象オブジェクトのとりうる入力画像上での外見から外れることを防ぐことができる。

このような識別方法の一例として、特開２００６−２６８８２５公報で開示されているオブジェクト検出装置で用いられる識別方法が挙げられる。

上記のオブジェクト検出装置では、多数のサンプル画像を用いた学習により、事前に検出対象オブジェクトが有する可能性の高い輝度パターンを多数選択し、識別対象領域に対して選択された各輝度パターンの評価を行うことにより、さまざまな環境下でオブジェクトを識別する。

ここで識別に用いている輝度パターンは、検出対象として与えられる入力画像の輝度パターンに依存して変わることはないので、識別対象領域内の画像の輝度バターンが同一であればテンプレートが識別結果に影響を及ぼすことはない。

一般に上記に代表されるオブジェクト識別方法では、識別対象とするオブジェクトの外見の変化の度合いを広くするにつれて識別精度は低下してしまう。これに対し、図３で示すようにオブジェクトの外見の変化の度合いに応じて複数種類のオブジェクト識別部４２を備えることにより、オブジェクトの外見の変化の度合いが大きい場合にも高い識別精度でオブジェクトを識別できる。

また、オブジェクトの識別は、識別領域設定部４１によって設定された推定オブジェクト領域近傍のごく限られた箇所に対してのみ行われるため、複数種類のオブジェクト識別部４２を用いて識別を行っても、オブジェクト検出装置のみを用いて追跡する場合と比較して、処理に要する時間は大幅に削減できる。

なお、上記はオブジェクト識別方法の一例として示したものであり、上記方法に限定されることを意味しない。例えば、入力画像から生成した輪郭画像に対して模範画像との類似性を評価する方法や、入力画像における肌色領域のパターン類似性を評価する方法などを用いることも可能である。

（５）オブジェクト情報決定部５
オブジェクト情報決定部５における処理の一例について、図４を用いて説明する。オブジェクト情報決定部５は、オブジェクト領域決定部５１とオブジェクトタイプ決定部５２とテンプレート生成部５３からなる。

（５−１）オブジェクト領域決定部５１
オブジェクト領域決定部５１は、類似度分布生成部４で生成された類似度分布に基づき、オブジェクト領域を決定する。

オブジェクト領域の決定方法としては、例えば、類似度分布生成部４によって生成された類似度分布に基づき、オブジェクト識別部４２によってオブジェクトであると判定された各領域について、類似度で重み付けして平均を算出することにより決定する。

（５−２）オブジェクトタイプ決定部５２
オブジェクトタイプ決定部５２は、類似度分布に基づき、オブジェクトタイプを決定する。ここでオブジェクトタイプとは、オブジェクトの形状を意味し、例えば、オブジェクトが手の場合には、グー、チョキ、パーなどの手の形状を意味する。

オブジェクトタイプの決定方法としては、例えば、オブジェクトタイプ毎に対応する類似度分布に基づいて、オブジェクトであると判定された領域の類似度の総和を算出し、総和が最大となったオブジェクトタイプを選択して決定する。

すなわち、オブジェクトに関して異なる複数の形状（グー、パー、チョキ）に対応して、それぞれ少なくとも１個の識別器を有している。そして、これら各識別器のそれぞれについて、推定オブジェクト領域と前記各周辺領域の類似度を累積する。次に、この累積値が最大となる識別器に対応するオブジェクトの形状の種類をオブジェクトタイプと決定する。

（５−３）テンプレート生成部５３
テンプレート生成部５３は、画像入力部１によって入力された画像から、オブジェクト領域決定部５１によって決定されたオブジェクト領域に対応する部分領域画像を切り出すことによりテンプレート画像を生成する。ここで生成されたテンプレート画像は、オブジェクト領域及びオブジェクトタイプと共にオブジェクト情報記憶部２に保存される。

なお、上記はオブジェクト情報決定部５の構成の一例を示したものであり、必ずしも上記構成に限定されるものではない。例えば、オブジェクトタイプ決定部５２を備えず、オブジェクト領域決定部５１及びテンプレート生成部５３のみを備えてもよい。

（６）効果
以上のように、本実施形態に係る画像処理装置においては、テンプレートマッチングによる追跡により、高い位置精度でオブジェクト領域を推定できると共に、推定されたオブジェクト領域のごく近傍に限定してオブジェクト検出を行ってオブジェクト領域を決定することにより、オブジェクトの外見が変化する場合にも適切にオブジェクト領域を求められると共に、オブジェクトの背景がオブジェクト検出結果へ及ぼす影響を抑えることを可能としている。

これにより、オブジェクトの外見が変化する場合にも、高い位置精度でのオブジェクト追跡が可能となる。

（７）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記実施形態では、オブジェクトとして人間の手を用いたが、これに限らず、人間、人間の顔、足、車、飛行機、乗り物、その他の移動物体に適用できる。

本発明の第１の実施形態の画像処理装置の構成例である。オブジェクト領域推定部の構成例を示すブロック図である。類似度分布生成部の構成例を示すブロック図である。オブジェクト情報決定部の構成例を示すブロック図である。

符号の説明

１画像入力部
２オブジェクト情報記憶部
３オブジェクト領域推定部
４類似度分布生成部
５オブジェクト情報決定部
６オブジェクト識別制御部
３１探索範囲設定部
３２テンプレートマッチング部
３３推定オブジェクト領域決定部
３２基準領域選択部
４１オブジェクト識別領域決定部
４２オブジェクト識別部
５１オブジェクト領域決定部
５２オブジェクトタイプ決定部
５３テンプレート生成部

Claims

時系列画像の各画像に写ったオブジェクトを追跡する画像処理装置において、
前記時系列画像を入力する画像入力部と、
前記時系列画像中の入力画像より過去の画像である過去画像中における前記オブジェクトが写った前記オブジェクト領域の位置を示すオブジェクト領域座標と、前記オブジェクトをテンプレートマッチングによって認識するためのテンプレート画像とを含むオブジェクト情報を記憶する記憶部と、
前記入力画像に対して、前記オブジェクト情報の前記オブジェクト領域座標と前記テンプレート画像を用いて前記テンプレートマッチングを行い、前記オブジェクトが存在する領域である推定オブジェクト領域を推定する推定部と、
前記推定オブジェクト領域及び前記推定オブジェクト領域の複数の周辺領域のそれぞれについて、少なくとも１個の識別器を用いて、前記オブジェクトが写っている確率を示す類似度を算出する類似度生成部と、
前記各類似度からなる類似度分布の中で、前記類似度が閾値より大きい分布範囲に基いて、前記入力画像中の前記オブジェクト領域と前記オブジェクト領域座標を決定すると共に、前記オブジェクト領域内の部分画像よりテンプレート画像を生成する決定部と、
前記入力画像における前記オブジェクト領域座標と前記テンプレート画像とを、前記過去画像における前記オブジェクト領域座標と前記テンプレート画像に代えて更新する更新部と、
を備える画像処理装置。
前記類似度生成部は、
前記周辺領域として、前記推定オブジェクト領域の位置を基準とした周辺の複数の位置において、それぞれ複数の大きさの領域を設定し、
前記推定オブジェクト領域に対する前記類似度と、前記位置及び前記大きさの異なる前記周辺領域に対して前記類似度を前記識別器によって算出する、
請求項１記載の画像処理装置。
前記決定部は、
前記類似度分布に基づき、前記推定オブジェクト領域と前記各周辺領域について、これら領域と対応する前記類似度によって重み付けして重心を算出し、
前記重心の位置を前記オブジェクト領域の位置と決定する、
請求項１記載の画像処理装置。
前記類似度生成部が、前記オブジェクトの異なる複数の形状に対応して、それぞれ少なくとも１個の前記識別器を有し、
前記各識別器のそれぞれについて、前記推定オブジェクト領域と前記各周辺領域の類似度を累積し、
前記累積値が最大となる前記識別器に対応する前記オブジェクトの形状を、前記オブジェクトのオブジェクトタイプと決定する、
請求項１記載の画像処理装置。
前記決定部は、
前記推定オブジェクト領域及び前記各周辺領域に前記オブジェクト領域が含まれないと決定した場合には、
前記推定部によって出力された前記推定オブジェクト領域と前記過去画像における前記オブジェクト情報に基づいて、前記入力画像に関する前記オブジェクト情報を決定する、
請求項１記載の画像処理装置。
時系列画像の各画像に写ったオブジェクトを追跡する画像処理装置において、
前記時系列画像を入力する画像入力ステップと、
前記時系列画像中の入力画像より過去の画像である過去画像中における前記オブジェクトが写った前記オブジェクト領域の位置を示すオブジェクト領域座標と、前記オブジェクトをテンプレートマッチングによって認識するためのテンプレート画像とを含むオブジェクト情報を記憶する記憶ステップと、
前記入力画像に対して、前記オブジェクト情報の前記オブジェクト領域座標と前記テンプレート画像を用いて前記テンプレートマッチングを行い、前記オブジェクトが存在する領域である推定オブジェクト領域を推定する推定ステップと、
前記推定オブジェクト領域及び前記推定オブジェクト領域の複数の周辺領域のそれぞれについて、少なくとも１個の識別器を用いて、前記オブジェクトが写っている確率を示す類似度を算出する類似度生成ステップと、
前記各類似度からなる類似度分布の中で、前記類似度が閾値より大きい分布範囲に基いて、前記入力画像中の前記オブジェクト領域と前記オブジェクト領域座標を決定すると共に、前記オブジェクト領域内の部分画像よりテンプレート画像を生成する決定ステップと、
前記入力画像における前記オブジェクト領域座標と前記テンプレート画像とを、前記過去画像における前記オブジェクト領域座標と前記テンプレート画像に代えて更新する更新ステップと、
を備える画像処理方法。