JP2012191354A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の遮蔽物が重なり合って見える環境であっても、安定した物体追跡を可能にすることを目的とする。
【解決手段】画像から追跡対象を検出し、追跡する情報処理装置であって、追跡対象を検出できなかった場合に追跡対象が物体によって遮蔽されたか否かを判定する判定手段と、判定手段で追跡対象が物体によって遮蔽されたと判定された場合、画像より物体の領域と、物体と重複する物体の領域と、を抽出する抽出手段と、抽出手段で抽出された領域を関連付け、関連付けた領域に基づいて、次に追跡対象が現れる領域を設定する設定手段と、を有することによって課題を解決する。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、画像における移動物体の追跡において、追跡における精度の高度化や追跡失敗時の回復方法において環境のモデルを用いる方法がある。
例えば、特許文献１によれば追跡対象が特定領域と重なった場合、特定領域の周囲を監視し、移動物体が再出現するのを待つ方法が開示されている。

特開２００６−３１１０９９号公報

しかしながら、特許文献１に開示される技術では、複数の物体が重なりあって見えるような屋内環境では一つの特定領域を特定しただけでは、その特定領域から移動物体が再度出現する可能性を限定することはできないという問題があった。

本発明はこのような問題点に鑑みなされたもので、複数の遮蔽物が重なり合って見える環境であっても、安定した物体追跡を可能にすることを目的とする。

そこで、本発明は、画像から追跡対象を検出し、追跡する情報処理装置であって、追跡対象を検出できなかった場合に追跡対象が物体によって遮蔽されたか否かを判定する判定手段と、判定手段で追跡対象が物体によって遮蔽されたと判定された場合、画像より物体の領域と、物体と重複する物体の領域と、を抽出する抽出手段と、抽出手段で抽出された領域を関連付け、関連付けた領域に基づいて、次に追跡対象が現れる領域を設定する設定手段と、を有する。

本発明によれば、複数の遮蔽物が重なり合って見える環境であっても、安定した物体追跡を可能にすることができる。

追跡装置のハードウェア構成の一例を示す図である。 実施形態１の追跡装置のソフトウェア構成の一例を示す図である。 画像の一例を示す図である。 追跡装置による処理過程の一例を示す図（その１）である。 追跡装置による処理過程の一例を示す図（その２）である。 追跡装置による処理過程の一例を示す図（その３）である。 追跡装置による処理過程の一例を示す図（その４）である。 リストの一例を示す図である。 追跡装置による処理過程の一例を示す図（その５）である。 追跡処理の一例を示すフローチャートである。 実施形態２の追跡装置のソフトウェア構成の一例を示す図である。 追跡装置による処理過程の一例を示す図（その６）である。 実施形態３の追跡装置のソフトウェア構成の一例を示す図である。 物体情報を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態に係る追跡装置は、映像監視・モニタリングに用いられるものであり、撮像手段は一般的なネットワークカメラでもよいし、追尾機能付きカメラ等も利用できる。以下に図を用いて本実施形態を示す。なお、追跡装置は、情報処理装置の一例である。
本実施形態では、複数の物体がある環境において画像を撮影し、得られた動画像から追跡対象となる人物を追跡する場合について説明する。本実施形態に係る環境を屋内とし追跡対象は人物としているが、これに限定するものではなく、他の環境における移動する物体ならば、これを用いることができる。
図１は、追跡装置のハードウェア構成の一例を示す図である。
制御装置１０は、ＣＰＵ等であって、追跡装置１００の全体を制御する。記憶装置１１は、ＲＡＭ及び/又はＲＯＭ及び/又はＨＤＤ等の記憶装置であって、例えば、画像やプログラム等を記憶する。通信装置１２は、追跡装置をネットワーク等に接続する装置である。以下で示す本実施形態では、追跡装置１００は、通信装置１２を介してネットワークカメラ等に接続されているものとする。
制御装置１０が、記憶装置１１に記憶されているプログラムに基づき処理を実行することによって、後述する追跡装置１００の機能及びフローチャートに係る処理が実現される。

後述する図３は、本実施形態が対象とする画像の一例である。追跡対象２１０は、移動方向２５０に移動していると仮定する。画像２００では、追跡対象がいる環境には、物体２２０、２３０、２４０が存在し、それぞれ異なる形状・位置にあり、それらのうちいくつかが重なって見える様子が表されている。追跡装置１００は、初期検出により追跡対象２１０を検出し、追跡対象２１０の追跡を行う。探索領域２６０は、追跡装置１００が、次の時刻における追跡対象２１０が矩形領域内の位置に移動すると予測した領域を表す。追跡装置１００は、この追跡対象２１０の予測には移動物体のダイナミクスによる予測やパーティクルフィルタ等の追跡の枠組みにおける予測を利用してもよい。
図２は、実施形態１の追跡装置１００のソフトウェア構成の一例を示す図である。
図２に示すように、追跡装置１００は、初期検出部１０１と、予測部１０２と、対象検出部１０３と、奥行き情報取得部１０４と、遮蔽判定部１０５と、遮蔽物体領域抽出部１０６と、遮蔽物体重複領域識別部１０７と、領域設定部１０８と、を含む。
初期検出部１０１は、画像から追跡対象２１０を検出するものであって、テンプレートマッチングといった一般的な物体検出手法を用いることができる。初期検出部１０１は、追跡対象２１０を検出し、追跡対象２１０の検出位置２７０を予測部１０２に出力する。

図３は、画像２００の一例を示す図である。
図３に示すように、予測部１０２は、初期検出部１０１より追跡対象２１０の検出位置２７０を受取り、次の時刻に追跡対象２１０が移動する方向（移動方向）２５０を基に移動する位置を予測し、予測位置２８０と探索領域２６０を設定する。予測部１０２は、この予測位置２８０を対象検出部１０３へ出力する。
対象検出部１０３は、予測部１０２から出力された予測位置２８０を基に、次の時刻の画像を取得し、追跡対象２１０が予測位置２８０及び探索領域２６０にあるか検出を行う。探索領域２６０内に追跡対象２１０を検出できれば、予測部１０２に処理を戻し、予測部１０２が、次々刻の追跡対象２１０の位置を予測する。検出できなければ、対象検出部１０３は、遮蔽判定部１０５に予測位置２８０を出力する。
奥行き情報取得部１０４は、画像中の各画素の奥行き情報等を取得する。奥行き情報取得部１０４は、ステレオカメラによるスパースな特徴点の奥行きを取得する方法を使って距離計測を用いてもよいし、ＴＯＦカメラといった赤外線による距離計測カメラによって、全画素ピクセルの奥行き情報を取得してもよい。本実施形態ではＴＯＦを用いた場合を例に説明する。奥行き情報取得部１０４は、遮蔽判定部１０５、遮蔽物体領域抽出部１０６、遮蔽物体重複領域識別部１０７に奥行き情報を出力することができる。

図４に示すように遮蔽判定部１０５は、対象検出部１０３の結果と、予測部１０２の結果とより、予測位置２８０に対して追跡対象２１０が遮蔽物体２２０によって遮蔽されているかどうかを判定する。本実施形態では、遮蔽判定部１０５は、奥行き情報取得部１０４の結果を基に行う例を示すが、これに限定するものではなく、特開２００６−３１１０９９号公報等に開示された奥行きを用いない方法で遮蔽判定を行ってもよい。遮蔽判定部１０５は、奥行き情報取得部１０４から予測位置２８０の画素における奥行き情報３８０を取得し、時刻ｔにおける追跡対象２１０の検出位置２７０の画素における奥行き情報３７０と比較する。
この２つの位置について、後述する式（１）に示すように検出位置２７０の画素の奥行き情報３７０が予測位置２８０の画素の奥行き情報３８０より遠い場合、遮蔽判定部１０５は、追跡対象２１０は遮蔽されていると判定する。そして、遮蔽判定部１０５は、遮蔽物体領域抽出部１０６へ予測位置２８０、及びその奥行き情報３８０を出力する。遮蔽によるものではないと判定した場合は、本実施形態では対象としないが、初期検出部１０１若しくは予測部１０２へと処理を戻し、引き続き処理を行う。
ｄｅｐｔｈｐｏｓｉｔｉｏｎ ＞ ｄｅｐｔｈｐｒｅｄｉｃｔ ・・・式（１）

図５に示すように、遮蔽物体領域抽出部１０６は、遮蔽判定部１０５の結果を基に、予測位置２８０の奥行き情報３８０にある遮蔽物体２２０の領域４２０を抽出する。遮蔽物体領域抽出部１０６は奥行き情報取得部１０４から予測位置２８０の画素の奥行き情報３８０を取得し、予測位置２８０の奥行き情報３８０の奥行き情報に対して閾値判別によって近隣ピクセルで同様の奥行きを持つ画素を抽出して物体領域４２０を生成する。同様に、遮蔽物体領域抽出部１０６は、奥行き情報を基に、画像中の他の遮蔽物体２３０、及び２４０の領域４３０、及び４４０も抽出する。本実施形態では遮蔽物体領域抽出部１０６は、奥行き情報に基づいて物体領域抽出をした例を示した。しかしながら、本実施形態はこれに限定するものではなく、遮蔽物体領域抽出部１０６は、奥行き情報を用いず、予測位置２８０の画素の輝度値・色情報や画像特徴に対して、Ｇｒａｐｈ−Ｃｕｔやｗａｔｅｒｓｈｅｄ法、ｍｅａｎ−ｓｈｉｆｔ法等のセグメンテーションアルゴリズムを適用する等して抽出してもよい。遮蔽物体領域抽出部１０６は、予測位置２８０を遮蔽する物体領域４２０及び他の物体領域４３０、４４０を遮蔽物体重複領域識別部１０７へ出力する。

図６に示すように、遮蔽物体重複領域識別部１０７は、追跡対象２１０を遮蔽している物体領域４２０と重なっている他の物体領域４３０、またその領域と重なる領域を識別する。遮蔽物体重複領域識別部１０７は、各遮蔽物体２２０、２３０、２４０の領域４２０、４３０、４４０が画像中で後述する式（２）のように領域及び境界に重なりがあり、かつ、物体領域の奥行きが後述する式（３）のようにある程度離れている場合、２つの遮蔽物体領域は重複関係にあるとする。遮蔽物体重複領域識別部１０７は、この処理を繰り返し行い、重複した遮蔽物体領域のリストを作成する。遮蔽物体の重複関係はリストに限定せず、重複関係を記述するものであればよい。例として、図７に示す環境に対して遮蔽物体を６２３とした場合、遮蔽物体重複領域識別部１０７による遮蔽物体の重複関係のリストを記述した場合、図８のようになる。遮蔽物体重複領域識別部１０７は、この重複関係リストを領域設定部１０８に出力する。
Ｒｏｂｊ１ ＡＮＤ Ｒｏｂｊ２＝１・・・式（２）
｜ｄｏｂｊｅｃｔ＿ａｒｅａ−ｄａｒｅａ｜ ＞ ｔｈｒｅｓｈｏｌｄ ・・・式（３）

領域設定部１０８は、遮蔽物体重複領域識別部１０７の出力結果を基に、追跡対象２１０が再出現する領域７９２を設定する。図９の例では領域の設定を矩形に設定しているが、本実施形態はこれに限定するものではなく、矩形には限定せず円形でも楕円でもよい。領域設定部１０８は、設定した領域７９２を初期検出部１０１若しくは予測部１０２に出力する。このことで追跡対象２１０が遮蔽物体２２０に隠蔽されたことによって、追跡ループが中断されたあと、遮蔽物体２２０や、重複遮蔽物体２３０から出現した際にも検出することが可能となる追跡装置１００を実現することができる。
以上が、本実施形態に係る追跡装置１００に関する構成部分である。これにより物体が複数あり、重なり合って見える環境でも追跡の安定化を図ることができる。

続いて、本実施形態における情報処理方法について説明する。
図１０は、追跡処理の一例を示すフローチャートである。
ステップ１において、初期検出部１０１は、撮像手段より得られた画像中に追跡対象がないか初期検出を行う。初期検出部１０１は、初期検出で追跡対象を検出できた場合、画像から追跡対象のテンプレートを作成する。初期検出部１０１は、テンプレートとして、画像情報をそのまま抽出してもよいし、追跡対象の画像特徴を使って生成してもよい。
ステップ２において、予測部１０２は、追跡対象が次のフレームにおいて出現する可能性の高い位置の予測を行う。予測方法においてはパーティクルフィルタ等の一般的な予測手法を用いることができるが、それのみには限定しない。
ステップ３において、対象検出部１０３は、ステップ２で予測された位置に対してステップ１で取得された追跡対象のテンプレートを用いて次フレームにおいて追跡対象の検出を行う。
ステップ４において、対象検出部１０３は、追跡対象を検出できたか判定を行う。対象検出部１０３は、テンプレートと画像との相関値を計算して、任意の閾値以上であれば検出と判定してもよいし、それ以外の方法で判定してもよい。対象検出部１０３は、追跡対象を検出できれば、ステップ３に戻って再度予測を行う。検出できなかった場合はステップ７に進む。
上記ステップ１から４までが追跡の枠組みになる。以下のステップ５から８までは遮蔽に対応した追跡方法について説明する。

ステップ５において、遮蔽判定部１０５は、ステップ３で予測した追跡対象の位置においてステップ４での検出に失敗した場合、検出失敗の原因が環境中にある物体によって遮蔽されたか否かを判定する。遮蔽判定部１０５は、デプスカメラ等より取得した奥行き情報を使い、検出位置の奥行きと予測位置の奥行きとが離れている場合に遮蔽と判定する。遮蔽判定部１０５は、遮蔽によるものではなく追跡対象を消失したと判定した場合は、ステップ１若しくはステップ３に戻る。遮蔽判定部１０５は、遮蔽によるものと判定した場合は、ステップ６へ進む。なお、デプスカメラにはステレオカメラの他、ＴＯＦカメラを使ってもよい。
ステップ６において、遮蔽物体領域抽出部１０６は、ステップ３で予測された位置に遮蔽物があると判定されたので、画像中での遮蔽物体の領域を抽出する。遮蔽物体領域抽出部１０６は、予測位置の奥行きの情報を使って、奥行きが近いものの画素を抜き出して領域とする。その他の方法として、遮蔽物体領域抽出部１０６は、予測位置の画像特徴を抽出してセグメンテーションをして領域を抽出してもよい。ステップ６では、遮蔽物体領域抽出部１０６は、画像中にある別の物体領域も同時に抽出する。
ステップ７において、遮蔽物体重複領域識別部１０７は、抽出された遮蔽物体の領域において、その遮蔽物体領域と重なる領域、また前記領域と重なる領域を識別し、上述したように、重複した遮蔽物体領域のリストを作成する。
ステップ８において、領域設定部１０８は、前記リストを基に追跡対象が再度出現する位置を設定する。

このように、実施形態１の処理によれば、追跡対象が遮蔽物によって隠れた場合に対して遮蔽物体の領域と重なって見える別の遮蔽物体の領域が連結され、それに応じて探索領域が設定される。これにより、追跡対象が見えないときにこれまでとは異なる移動をして、検出した遮蔽物体とは別の場所から再出現しても追跡が可能となる。

＜実施形態２＞
続いて、実施形態２について説明する。図１１は、実施形態２の追跡装置１００のソフトウェア構成の一例を示す図である。実施形態２の追跡装置１００の構成は、実施形態１の構成に加えて、時間情報記録部１０９が更に加えられている。
時間情報記録部１０９は、追跡対象が遮蔽判定されたときの時間を記録し、その記録した時間を領域設定部１０８に出力する。
領域設定部１０８は、予測位置と遮蔽物体領域と重複する遮蔽物体領域と時間情報とを基に、図１２に示すように設定領域に対して重みをつける。例えば、遮蔽判定直後の時間では、追跡対象１０１０は物体１０２１によって遮蔽されていると考えられる。そのため、追跡対象１０１０が極端な移動をしないと仮定した場合、物体９３１の裏に回り込んで出てくる場合は少し時間が必要である。そのため、領域設定部１０８は、追跡対象が遮蔽されて間が無いときは物体１０２１の周囲領域１０９３の重みを強くし、物体１０３１の周囲領域１０９２の重みを弱く設定する。
しかし、遮蔽された状態のまま時間が経過するにつれ、追跡対象１０１０は物体９９３の領域に移動することも考えられるため、追跡対象１０１０は、領域１０９３と領域１０９４とのどちらからでも出現する可能性が高くなる。そのため領域設定部１０８は、物体１０２１と物体１０３１との周囲領域に一定の重みをつけた領域１０９５を設定する。

＜実施形態３＞
続いて、実施形態３について説明する。図１３は、実施形態３の追跡装置１００のソフトウェア構成の一例を示す図である。実施形態３の追跡装置１００の構成は、実施形態１の構成に加えて、物体情報記録部１１０と物体認識部１１１とが更に加えられている。
物体情報記録部１１０は、環境中にある物体情報（例えば、図１４に示されるようなベッド１２０２、棚１２０３、テーブル１２０４、いす１２０５等の３次元形状等）が記録されている。物体認識部１１１は、奥行き情報取得部１０４と物体情報記録部１１０の情報とを基に環境中にある遮蔽物体を認識する。物体認識部１１１は、認識結果から物体情報記録部１１０に保存されている物体に関連付けられた追跡対象の行動情報を領域設定部１０８に出力する。
領域設定部１０８は、遮蔽物体重複領域識別部１０７の出力と物体認識部１１１の出力とを基に、重み付き領域を設定する。例えば、領域設定部１０８は、ベッドではその頭側の領域には重みを弱くし、側面側の領域の重みを強くする。
実施形態３の処理によれば、追跡の安定化を図ることができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

上述した各実施形態の処理によれば、画像中の複数の物体が乱雑にある環境においても移動物体の追跡を安定して行うことができる。遮蔽によって追跡が中断されても、遮蔽物体の周囲から再出現した際に高速で追跡を再開することができる。例えば、複数の物体が重なって見える環境においての人の移動を安定して追跡できる。
つまり、複数の遮蔽物が重なり合って見える環境であっても、安定した物体追跡を可能にすることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 制御装置
１００ 追跡装置

Claims (5)

1. 画像から追跡対象を検出し、追跡する情報処理装置であって、
   前記追跡対象を検出できなかった場合に前記追跡対象が物体によって遮蔽されたか否かを判定する判定手段と、
   前記判定手段で前記追跡対象が物体によって遮蔽されたと判定された場合、前記画像より前記物体の領域と、前記物体と重複する物体の領域と、を抽出する抽出手段と、
   前記抽出手段で抽出された前記領域を関連付け、関連付けた領域に基づいて、次に追跡対象が現れる領域を設定する設定手段と、
   を有する情報処理装置。
2. 前記判定手段は、前記追跡対象の検出に失敗する前の前記追跡対象の検出位置の奥行き情報と、前記追跡対象の検出に失敗した後の前記追跡対象の予測位置の奥行き情報と、を比較し、前記追跡対象の検出位置の奥行きの方が長い場合、前記追跡対象が物体によって遮蔽されたと判定する請求項１記載の情報処理装置。
3. 前記追跡対象の検出に失敗する前の前記追跡対象の検出位置の奥行き情報と、前記追跡対象の検出に失敗した後の前記追跡対象の予測位置の奥行き情報と、を取得する奥行き情報取得手段を更に有し、
   前記判定手段は、前記奥行き情報取得手段で取得された、前記検出位置の奥行き情報と、前記予測位置の奥行き情報と、を比較する請求項２記載の情報処理装置。
4. 画像から追跡対象を検出し、追跡する情報処理装置が実行する情報処理方法であって、
   前記追跡対象を検出できなかった場合に前記追跡対象が物体によって遮蔽されたか否かを判定する判定ステップと、
   前記判定ステップで前記追跡対象が物体によって遮蔽されたと判定された場合、前記画像より前記物体の領域と、前記物体と重複する物体の領域と、を抽出する抽出ステップと、
   前記抽出ステップで抽出された前記領域を関連付け、関連付けた領域に基づいて、次に追跡対象が現れる領域を設定する設定ステップと、
   を含む情報処理方法。
5. 画像から追跡対象を検出し、追跡するコンピュータに、
   前記追跡対象を検出できなかった場合に前記追跡対象が物体によって遮蔽されたか否かを判定する判定ステップと、
   前記判定ステップで前記追跡対象が物体によって遮蔽されたと判定された場合、前記画像より前記物体の領域と、前記物体と重複する物体の領域と、を抽出する抽出ステップと、
   前記抽出ステップで抽出された前記領域を関連付け、関連付けた領域に基づいて、次に追跡対象が現れる領域を設定する設定ステップと、
   を実行させるプログラム。

Images