JP2012133759A - 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 - Google Patents

Abstract

【課題】追尾対象体が追尾されている画像データの画像フレームに侵入物体が侵入したことを検出することのできる物体追尾装置を提供する。
【解決手段】追尾対象である被写体を追尾対象体として追尾する物体追尾装置は、動画像データにおける現フレームよりも前の前フレームにおいて追尾対象体の位置を示す前フレーム対象領域又は前記現フレームにおいて追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求める特徴量算出部１０４と、特徴量が第１の閾値を超えるサブ領域が存在し、かつその数が基準値に達していなければ、現フレームにおける追尾対象体が位置する領域に、追尾対象体と異なる侵入物体が侵入したと判定する侵入物判定部１０５とを有し、侵入物判定部１０５は追尾対象体の像領域に侵入物体が侵入したか否かを判定する。
【選択図】図１

Description

本発明は、動画像データにおいて、被写体などの移動物体を追尾する物体追尾装置、物体追尾方法及び物体追尾プログラムを記憶した記憶媒体に関し、特に、追尾対象である移動体（追尾対象体）を追尾する際に、追尾を誤る要因となる侵入物体を検出することにより、追尾精度を向上させることができる物体追尾装置、物体追尾方法及び物体追尾プログラムを記憶した記憶媒体に関する。

一般に、物体追尾装置は、動画像データから、追尾対象である被写体などの移動物体（追尾対象体）を検出して追尾するために用いられる。物体追尾装置において用いられる追尾手法の一例として、まず、動画像データの第１のフレームにおいて追尾対象体の特徴量を算出する。そして、第１のフレームに続く次フレーム以降の画像データにおいて、当該特徴量に最も近似する近似領域を探索し、この近似領域の位置を、当該フレームの画像データにおける追尾対象体の位置としている。

例えば、特許文献１には、追尾対象体の色を特徴量として用いて、追尾対象体の追尾を行う構成が開示されている。

また、特許文献２には、追尾対象体の特徴量に近似する近似領域を複数検出して、これら近似領域の全てについてその信頼度を算出し、その信頼度が高い近似領域の位置を追尾対象体の位置とする構成が開示されている。

特開平５−２０５０５２号公報 特開２００６−３１８３４５号公報

しかしながら、上述した従来の追尾手法では、次のような課題がある。

図１２は従来の追尾手法の課題について説明するための図である。

図１２において、いま、動画像データの第（ｎ−２）のフレーム（ｎは３以上の整数）の画像データ上の人物１２０１の胸像を追尾対象体とする。第（ｎ−２）のフレームの画像データにおいては、人物１２０１の胸像に追尾枠１２００が表示される。

第（ｎ−２）のフレームの画像データでは、追尾対象体である人物１２０１の近隣に、人物１２０１の類似人物１２０２が存在する。そして、第（ｎ−２）のフレームに続く第（ｎ−１）のフレームの画像データでは、侵入人物１２０３が登場する。

第（ｎ−１）のフレームに続く第ｎのフレームの画像データでは、侵入人物１２０３が人物１２０１の前に位置して、侵入人物１２０３が追尾対象体である人物１２０１を覆い隠している。このような状態において、代表色又は特徴量で追尾対象体である人物１２０１の追尾を行おうとすると、第ｎのフレームの画像データでは人物１２０１が侵入人物１２０３によって覆い隠されているため、追尾枠１２００は類似人物１２０２に移動してしまうことがある。それ以降は、類似人物１２０２に対する追尾が継続されてしまい、追尾対象体である人物１２０１の追尾を行うことができなくなってしまう。

このように、追尾対象体が侵入物体によって覆い隠されたことを検出できなかったために、代表色又は特徴量が類似する物体が追尾対象体の近隣に存在すると、追尾対象体とは異なる物体を追尾対象と誤認することがある。

本発明の目的は、追尾対象体が追尾されている画像データの画像フレームに侵入物体が侵入したことを検出することのできる物体追尾装置、物体追尾方法及び物体追尾プログラムを記憶した記憶媒体を提供することにある。

上記目的を達成するために、本願の請求項１記載の物体追尾装置は、複数のフレームを有する動画像データを受け、当該動画像データにおいて追尾対象である被写体を追尾対象体として追尾する物体追尾装置であって、前記動画像データにおける現フレームよりも前の前フレームにおいて前記追尾対象体の位置を示す前フレーム対象領域、または、前記現フレームにおいて前記追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求める特徴量算出手段と、前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していなければ、前記現フレームにおける前記追尾対象体が位置する領域に、前記追尾対象体と異なる侵入物体が侵入したと判定する侵入物判定手段とを有することを特徴とする。

上記目的を達成するために、本願の請求項８記載の物体追尾方法は、複数のフレームを有する動画像データを受け、当該動画像データにおいて追尾対象である被写体を追尾対象体として追尾する物体追尾方法であって、前記動画像データにおける現フレームよりも前の前フレームにおいて前記追尾対象体の位置を示す前フレーム対象領域、または、前記現フレームにおいて前記追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求め、前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していなければ、前記現フレームにおける前記追尾対象体が位置する領域に、前記追尾対象体と異なる侵入物体が侵入したと判定することを特徴とする。

上記目的を達成するために、本願の請求項９記載の記憶媒体は、複数のフレームを有する動画像データを受け、当該動画像データにおいて追尾対象である被写体を追尾対象体として追尾する物体追尾方法をコンピュータに実行させるコンピュータ実行可能なプログラムを記憶したコンピュータで読み取り可能な記憶媒体であって、前記物体追尾方法は、前記動画像データにおける現フレームよりも前の前フレームにおいて前記追尾対象体の位置を示す前フレーム対象領域、または、前記現フレームにおいて前記追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求め、前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していなければ、前記現フレームにおける前記追尾対象体が位置する領域に、前記追尾対象体と異なる侵入物体が侵入したと判定することを特徴とする。

本発明によれば、サブ領域についてその特徴量を求めて、これら特徴量に応じて、侵入物体が現フレーム領域に侵入したか否かを判定するようにしたので、画像データの画像フレームへの侵入物体の検知を行うことができる。

本発明の第１の実施の形態に係る物体追尾装置のブロック図である。 図２（Ａ）は、前フレーム対象領域データを示す図であり、図２（Ｂ）は、現フレームの画像データに設定するマッチング領域を示す図である。 図３（Ａ）は、前フレーム対象領域データにおけるサブ領域の一例を示す図であり、図３（Ｂ）は、現フレーム対象領域データにおけるサブ領域の一例を示す図である。 図１に示す特徴量算出部で算出される特徴量である動きベクトルを説明するための図である。 図５（Ａ）は前フレームのサブ領域を示す図であり、図５（Ｂ）はこの前フレームのサブ領域に対応する現フレームのサブ領域及び探索領域を示す図であり、図５（Ｃ）はマッチング領域を示す図である。 本発明の第１の実施の形態による物体追尾装置の変形例を示すブロック図である。 本発明の第２の実施の形態による物体追尾装置のブロック図である。 図７に示す特徴量算出部における評価値（特徴量）の算出を説明するための図である。 図９（Ａ）はサブ領域を示す図であり、図９（Ｂ）は現フレームの画像データに設定するマッチング領域を示す図である。 図７に示す信頼度算出部における信頼度の決定について説明するための図である。 本発明の第２の実施の形態による物体追尾装置の変形例を示すブロック図である。 従来の追尾手法の問題点について説明するための図である。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の第１の実施の形態による物体追尾装置のブロック図である。

図１の物体追尾装置には、例えば、複数のフレームを有する動画像データがフレーム毎に入力される。物体追尾装置に入力される最新のフレームの画像データを現フレームの画像データと呼び、現フレームより１つ前のフレームの画像データを前フレームの画像データと呼ぶ。

物体追尾装置は第１のメモリ部１０１と、動画像データが入力される入力端子１０２とを備えている。第１のメモリ部１０１には、前フレームの画像データにおける追尾対象体（被写体）の画像データが前フレーム対象領域データとして記憶されている。

さらに、物体追尾装置は追尾部１０３、特徴量算出部１０４、侵入物判定部１０５、およびＣＰＵ１０６を有している。追尾部１０３は、現フレームの画像データを入力端子１０２から受けるとともに、第１のメモリ部１０１から前フレーム対象領域データを読み込む。そして、追尾部１０３は前フレーム対象領域データを用いて、現フレームの画像データから、追尾対象体と推定される画像データの領域を、現フレーム対象領域データとして特定する。

追尾部１０３は、前フレーム対象領域データと現フレームの画像データとのマッチングを取ることで、現フレーム対象領域データを特定する。例えば、前フレーム対象領域データと現フレームの画像データとの間で、画素毎に差分値を計算し、その差分値の総和を用いて判定を行うことにより、現フレーム対象領域データを特定する。

図２において、図２（Ａ）は前フレーム対象領域データを示す図であり、図２（Ｂ）は現フレームの画像データに設定するマッチング領域を示す図である。

図２（Ａ）において、前フレーム対象領域データ２００の水平方向の画素数をＷ、垂直方向の画素数をＨとし、前フレーム対象領域データ２００内の各画素値をＦｓ（ｘ，ｙ）で表す。具体的には、前フレーム対象領域データ２００内の左上隅の画素値をＦｓ（０，０）で表し、右下隅の画素値をＦｓ（Ｗ−１，Ｈ−１）で表す。

図２（Ｂ）において、現フレームの画像データ２０１上に、前フレーム対象領域データ２００と同じく水平方向の画素数をＷ、垂直方向の画素数をＨとしたマッチング領域２０２を設定する。図２（Ｂ）の領域２０３の位置は、前フレームの画像データにおける前フレーム対象領域データ２００の位置を示す。この領域２０３の位置に対する、マッチング領域２０２の位置のシフト量を（ＳＸ，ＳＹ）で表す。

現フレームの画像データ２０１内の各画素値をＦ（ｘ，ｙ）とし、領域２０３の左上隅の画素値をＦ（０，０）で表し、右下隅の画素値をＦ（Ｗ−１，Ｈ−１）で表す。この領域２０３から（ＳＸ，ＳＹ）だけシフトしたマッチング領域２０２の左上隅の画素値はＦ（ＳＸ，ＳＹ）で表され、右下隅の画素値はＦ（Ｗ−１＋ＳＸ，Ｈ−１＋ＳＹ）で表される。ここで、追尾部１０３は、式（１）を用いて、前フレーム対象領域データ２００とマッチング領域２０２の画像データを重ねた際の、対応する各画素値の差の絶対値の総和である動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）を求める。

追尾部１０３は、マッチング領域２０２を移動させて、この動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）が最小となるマッチング領域２０２の位置を求め、その位置におけるマッチング領域２０２の画像データを現フレーム対象領域データとする。ただし、追尾部１０３は、動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）の最小値が予め規定された追尾判定値よりも大きい場合には、追尾対象体の検出に失敗したと判断する。

この現フレーム対象領域データは、追尾部１０３から特徴量算出部１０４に与えられる。特徴量算出部１０４は第１のメモリ部１０１から前フレーム対象領域データを読み込む。そして、特徴量算出部１０４は、前フレーム対象領域データが示す像領域に対して、複数のサブ領域を設定する。また、特徴量算出部１０４は、現フレーム対象領域データが示す像領域に対して、複数のサブ領域を設定する。そして、特徴量算出部１０４は前フレーム及び現フレームのサブ領域の各々についてその特徴量を算出する。

これらの特徴量は、特徴量算出部１０４から侵入物判定部１０５に与えられる。侵入物判定部１０５はこれらの特徴量に基づいて、後述するようにして、侵入物体が追尾対象体の像領域に重なっているか否かを判定して、判定結果をＣＰＵ１０６に与える。

図３において、図３（Ａ）は前フレーム対象領域データにおけるサブ領域の一例を示す図であり、図３（Ｂ）は現フレーム対象領域データにおけるサブ領域の一例を示す図である。

図３（Ａ）に示すように、特徴量算出部１０４は、前フレーム対象領域データ３１４の上半分、右半分、下半分、および左半分に該当する、４つの略長方形状のサブ領域３１０〜３１３を設定する。図示のように、これらサブ領域３１０〜３１３は互いに重複する部分がある。

同様にして、図３（Ｂ）に示すように、特徴量算出部１０４は、現フレーム対象領域データ３２４の上半分、右半分、下半分、および左半分に該当する、４つの略長方形状のサブ領域３２０〜３２３を設定する。図示のように、これらサブ領域３２０〜３２３は互いに重複する部分がある。前フレーム対象領域データ３１４内でのサブ領域３１０〜３１３の位置と、現フレーム対象領域データ３２４内でのサブ領域３２０〜３２３の位置は、それぞれ一致する。図３（Ｂ）に示す例では、現フレーム対象領域データ３２４の一部に侵入物体３２５が存在する。なお、サブ領域の数及びその形状は任意に設定することができる。

前述したように、特徴量算出部１０４は、これら前フレームのサブ領域３１０〜３１３及び現フレームのサブ領域３２０〜３２３の各々についてその特徴量を求める。

図４は、特徴量算出部１０４で算出される特徴量である、動きベクトルを説明するための図である。

図４において、前フレームのサブ領域３１０の動きベクトルが、上半分動きベクトル４００で示されている。また、前フレームのサブ領域３１１の動きベクトルが、右半分動きベクトル４０１で示されている。さらに、前フレームのサブ領域３１２の動きベクトルが、下半分動きベクトル４０２で示されている。そして、前フレームのサブ領域３１３の動きベクトルが、左半分動きベクトル４０３で示されている。

動きベクトルの算出手法には、種々の手法が知られているが、例えば、ここでは、次の手法が用いられる。

図５において、図５（Ａ）は前フレームのサブ領域を示す図であり、図５（Ｂ）はこの前フレームのサブ領域に対応する現フレームのサブ領域及び探索領域を示す図である。また、図５（Ｃ）はマッチング領域を示す図である。

図５（Ａ）において、前フレームのサブ領域における水平方向の画素数をＷｓｕｂ、垂直方向の画素数をＨｓｕｂとし、その画素値をＦｎ−１（ｘ，ｙ）と定義する。ここでは、上半分のサブ領域３１０を例にあげて説明する。

特徴量算出部１０４は、図５（Ｂ）に示すように、現フレームの画像データ上で、現フレームの上半分のサブ領域３２０を中心として、サブ領域３２０よりも広い探索領域５１１を設定する。特徴量算出部１０４は、図５（Ｃ）に示すように、この探索領域５１１内に、サブ領域３２０と同じく、水平方向の画素数をＷｓｕｂ、垂直方向の画素数をＨｓｕｂとしたマッチング領域５１２を設定する。サブ領域３２０の位置に対する、マッチング領域５１２の位置のシフト量を（ＳＸ，ＳＹ）で表す。

前フレームの画像データ内の各画素値をＦｎ−１（ｘ，ｙ）と定義し、現フレームの画像データ内の各画素値をＦｎ（ｘ，ｙ）と定義する。前フレーム対象領域データのサブ領域３１０の左上隅の画素値をＦｎ−１（０，０）で表し、右下隅の画素値をＦｎ−１（Ｗｓｕｂ−１，Ｈｓｕｂ−１）で表す。また、現フレーム対象領域データのサブ領域３２０の左上隅の画素値をＦｎ（０，０）で表し、右下隅の画素値をＦｎ（Ｗｓｕｂ−１，Ｈｓｕｂ−１）で表す。すると、このサブ領域３２０から（ＳＸ，ＳＹ）だけシフトしたマッチング領域５１２の左上隅の画素値はＦｎ（ＳＸ，ＳＹ）で表され、右下隅の画素値はＦｎ（Ｗｓｕｂ−１＋ＳＸ，Ｈｓｕｂ−１＋ＳＹ）で表される。ここで、特徴量算出部１０４は、式（２）を用いて、前フレームのサブ領域３１０とマッチング領域５１２の画像データを重ねた際の、対応する各画素値の差の絶対値の総和である動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）を求める。

そして、特徴量算出部１０４は、式（２）で算出される動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）が最小となるときの動きベクトルＶ（ＳＸ，ＳＹ）を、前フレームのサブ領域３１０の動きベクトル４００とする。なお、動きベクトルＶ（ＳＸ，ＳＹ）は、シフト量（ＳＸ，ＳＹ）と当該シフトの方向の組み合わせにより規定される。同様にして、特徴量算出部１０４は、図３（Ａ）に示す前フレームのサブ領域３１１〜３１３の各々について動きベクトルを求める。なお、ここでは、前フレームのサブ領域の位置を基準として現フレームの画像データ上にマッチング領域を設定し、前フレームのサブ領域の動きベクトルを求める構成とした。しかしながら、これに限られるものではなく、現フレームのサブ領域を基準として前フレームの画像データ上にマッチング領域を設定し、現フレームのサブ領域の動きベクトルを求める構成としても構わない。

現フレームのサブ領域に侵入物体が存在しない場合には、前フレームのサブ領域内の被写体とそれに対応する現フレームのサブ領域内の被写体の相関が高く、かつ、それぞれのサブ領域間での被写体の位置のズレも小さい。そのため、動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）が最小であるときの、動きベクトルＶ（ＳＸ，ＳＹ）の大きさ、即ちシフト量（ＳＸ，ＳＹ）は小さくなる。

しかしながら、いずれかの現フレームのサブ領域に侵入物体が現れた場合には、その現フレームのサブ領域に対応する前フレームのサブ領域と相関の高いサブ領域が探索領域５１１内に存在しないことになる。従って、動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）が最小となるマッチング領域の位置が、実際の追尾対象体の位置とは無関係の位置に現れやすくなり、動きベクトルＶ（ＳＸ，ＳＹ）の大きさ、即ちシフト量（ＳＸ，ＳＹ）が比較的大きな値となる可能性が高い。

特徴量算出部１０４は、前述のように、特徴量である動きベクトルを各々のサブ領域について求めて、侵入物判定部１０５に与える。侵入物判定部１０５には、所定の第１の閾値が設定されており、動きベクトルの大きさが第１の閾値を超えるいずれか１つのサブ領域があれば、侵入物判定部１０５は追尾対象体の像領域に侵入物体が入っていると判定する。

また、動きベクトルの大きさが第１の閾値を超えるサブ領域が２つあり、当該サブ領域が隣り合っている場合も、侵入物判定部１０５は追尾対象体の像領域に侵入物体が入っていると判定する。第１の閾値を超えるサブ領域が隣り合った状態とは、例えば、図４において、動きベクトル４００及び４０１の大きさがそれぞれ第１の閾値を超えた状態をいう。また、動きベクトル４０１及び４０２の大きさ、動きベクトル４０２及び４０３の大きさ、そして、動きベクトル４０３及び４００の大きさがそれぞれ第１の閾値を超えた状態も、第１の閾値を超えるサブ領域が隣り合った状態である。なお、上記の条件以外では、侵入物判定部１０５は追尾対象体の像領域に侵入物体が入っていないと判定する。

ここでは、サブ領域が４つの場合を例にあげて説明を行ったが、サブ領域の数が５以上の場合であっても同様に判定することができる。すなわち、サブ領域が５以上の場合であっても、サブ領域のいずれかの動きベクトルの大きさが第１の閾値を超えるならば、追尾対象体の像領域に侵入物体が入っていると判定する。なお、動きベクトルの大きさが第１の閾値を超えるサブ領域が複数存在するならば、それらのサブ領域が全て隣接していることを、侵入物体が入っていると判定する条件に加えることが望ましい。追尾対象体の像領域に、複数方向から別々の侵入物体が同時に入ってくるとは考えにくく、隣接していないサブ領域の動きベクトルの大きさが同時に第１の閾値を超えるときは、別の要因が生じたと考えられるためである。

また、過半数のサブ領域における動きベクトルの大きさが第１の閾値を超える場合には、追尾対象体の像領域に侵入物体が入っているのではなく、追尾部１０３による追尾が失敗したと判定する。この場合、追尾対象体の領域に侵入物体が侵入したのではなく、追尾部１０３が誤った被写体を追尾対象体として検出した可能性が高いと考えられるためである。なお、ここでは、過半数を判断の基準値として設定したが、被写体の大きさや、サブ領域の数、あるいは、被写体が動いているか否かによって、実験的に、適切な基準値を求めることが望ましい。

なお、動きベクトルの大きさと閾値を比較する代わりに、動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）の最小値が、予め規定された値以上である場合に、侵入物体が入っていると判定するように構成しても構わない。現フレームのサブ領域に侵入物が現れた場合には、前フレームのサブ領域と現フレームのサブ領域の相関が低くなるため、動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）の最小値が、比較的大きな値となる可能性が高いためである。

このようにして、侵入物判定部１０５は追尾対象体の像領域に侵入物体が入っているか否かを判定して、その判定結果をＣＰＵ１０６に通知する。ＣＰＵ１０６は、侵入物判定部１０５によって追尾対象体の像領域に侵入物体が入っていないと判定された場合には、追尾部１０３で得られた現フレーム対象領域データを用いて、第１のメモリ部１０１に記憶された前フレーム対象領域データを更新する。そして、ＣＰＵ１０６は、新たに読み込んだフレームの画像データを現フレームの画像データとして、上述の処理を繰り返す。反対に、ＣＰＵ１０６は、侵入物判定部１０５によって追尾対象体の像領域に侵入物体が入っていると判定された場合には、第１のメモリ部１０１に記憶された前フレーム対象領域データをそのまま保持する。そして、ＣＰＵ１０６は、新たに読み込んだフレームの画像データを現フレームの画像データとして、上述の処理を繰り返す。また、ＣＰＵ１０６は、追尾部１０３が追尾対象体の検出に失敗したと判断した場合には、第１のメモリ部１０１に記憶された前フレーム対象領域データを消去し、ユーザーの指示によって新たな追尾対象体が指定されるまで追尾の処理を停止する。

なお、上述した追尾対象体の追尾と侵入物体の侵入判定までの処理が行われる動作モードを、追尾動作モードと呼ぶことにする。

図６は、本発明の第１の実施の形態による物体追尾装置の変形例のブロック図である。この物体追尾装置は、追尾対象体の像領域に侵入物体が入っていると判定された場合には、追尾動作モードから探索モードに切り替えるという特徴を有している。探索モードは、侵入物体が追尾対象体の像領域からいなくなったことを確認し、追尾動作モードに復帰するためのモードである。

図６において、図１に示す構成要素と同一の構成要素については、同一の参照番号を付す。

図６を参照すると、物体追尾装置は、さらに第２のメモリ部６０７、復帰部６０８及び被写体情報更新部６０９を有している。なお、図６に示すＣＰＵは図１に示すＣＰＵ１０６とその機能が異なるので、符号６０６が付されている。

第２のメモリ部６０７には、追尾動作モードに復帰するための画像データが記憶されている。被写体情報更新部６０９は、特徴量算出部１０４から出力される特徴量に応じてその画像データを更新する。例えば、被写体情報更新部６０９は、前述の設定したサブ領域の動きベクトルの大きさが全て所定の第２の閾値以下であると、追尾部１０３で得られた現フレーム対象領域データを、新たな復帰用の画像データとして第２のメモリ部６０７に記憶する。なお、第２の閾値は第１の閾値よりも低い値とする。これは、第２の閾値を厳しくすることで、後述する探索モードで用いる被写体情報の精度を維持するためである。

ＣＰＵ６０６は、侵入物判定部１０５による判定結果によって、侵入物体が追尾対象体の領域に進入したと認識すると、追尾動作モードから探索モードに切り替える。そして、探索モードとなると、ＣＰＵ６０６は復帰部６０８を作動させる。

復帰部６０８は、追尾部１０３と同様の処理により、探索動作モードに切り替え後に新たに得られた現フレームの画像データから、第２のメモリ部６０７に記憶されている画像データと最も近似する画像データの領域を特定する。ただし、追尾部１０３が、第１のメモリ部１０１から前フレーム対象領域データを読み込むのに対して、復帰部６０８は、第２のメモリ部６０７に記憶されている復帰用の画像データを読み込む点が異なる。

復帰部６０８は、この復帰用の画像データの、元のフレームの画像データ上の位置を基準としてマッチング領域を設定し、第２のメモリ部６０７に記憶された復帰用の画像データ内の各画素値をＦｓ（ｘ，ｙ）、現フレームの画像データ内の各画素値をＦ（ｘ，ｙ）とする。そして、復帰部６０８は、上述した式（１）を用いて、第２のメモリ部６０７に記憶された復帰用の画像データと現フレームの画像データに設定したマッチング領域の画像データを重ねた際の、対応する各画素値の差の絶対値の総和である動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）を求める。

復帰部６０８は、この動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）の最小値が第３の閾値以下であるならば、そのときのマッチング領域に追尾対象体が存在すると判断し、そうでなければ、追尾対象体を検出できなかったと判断する。ＣＰＵ６０６は、復帰部６０８によって追尾対象体が特定されたと判断された場合には、復帰部６０８にて設定したマッチング領域の画像データを用いて、第１のメモリ部１０１に記憶された前フレーム対象領域データを更新して、追尾動作モードへ戻る。反対に、ＣＰＵ６０６は、復帰部６０８によって追尾対象体が特定されたと判断されなかった場合には、探索モードを継続する。

ところで、追尾対象体は、その位置だけでなく、その向きが変化する場合もある。追尾対象体が人物であるならば、ポーズが変化する場合も、表情が変化する場合もある。そのため、追尾部１０３は、追尾対象体の特定に失敗したと判断するための動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）の基準となる値を、比較的大きく設定することで、追尾対象体に上述のような変化が生じた場合であっても、追尾対象体を検出できるようにしている。

これに対し、復帰部６０８は、第３の閾値を、追尾部１０３が追尾対象体の特定に失敗したと判断するための基準となる追尾判定値よりも、小さな値に設定している。追尾対象体の領域に侵入物体が侵入している際に、復帰部６０８が追尾部１０３と同様の値を基準として、追尾対象体の特定の成否を判断してしまうと、追尾対象体に類似した別の被写体を、追尾対象体として誤って検出してしまう可能性があるためである。復帰部６０８は、追尾対象体の特定の成否の判断基準となる値を、追尾部１０３よりも厳しく設定することで、追尾対象体以外の被写体を誤って追尾する可能性を低く抑えることができる。

なお、追尾部１０３、特徴量算出部１０４及び復帰部６０８は別々の回路として説明を行ったが、これらは同種の演算を行う回路であるため、これらを１つの回路にて実現することも可能である。

このように、第１の実施の形態及びその変形例では、前フレーム対象領域データに対して複数のサブ領域を設定して、各サブ領域についてその特徴量を求めて、これら特徴量に応じて、侵入物体が現フレーム領域に侵入したか否かを判定するようにしたので、侵入物体の検知を行うことができる。

続いて、本発明の第２の実施の形態による物体追尾装置について説明する。

図７は、本発明の第２の実施の形態による物体追尾装置のブロック図である。図７の物体追尾装置は、図１に示す物体追尾装置と同一の第１のメモリ部１０１及び入力端子１０２を有する。

図示の物体追尾装置は、特徴量算出部７０３を有しており、この特徴量算出部７０３は、第１のメモリ部１０１に記憶された前フレーム対象領域データ上に複数のサブ領域を設定する。そして、特徴量算出部７０３はサブ領域毎に現フレームの画像データ上でサブ領域と最も近似している領域を探索して、この探索に用いた評価値を特徴量として出力する。

信頼度算出部７０４はサブ領域毎に得られた特徴量についてその信頼度を算出する。追尾枠決定部７０５は信頼度の高い特徴量に応じて追尾枠の位置を決定する。また、侵入物判定部７０６は信頼度の低い特徴量に応じて侵入物体の侵入判定を行う。

図８は、図７に示す特徴量算出部７０３における評価値（特徴量）の算出を説明するための図である。

特徴量算出部７０３は、特徴量を示す評価値を、後述するように、画像データ間の画素値の差の絶対値の総和によって求める。いま、前フレーム対象領域データに複数のサブ領域を設定した際、その１つのサブ領域としてサブ領域８０４があるものとする。図示の追尾枠８０１が前フレームの画像データにおける追尾枠の位置である。特徴量算出部７０３は、前フレームのサブ領域８０４を中心位置として、このサブ領域８０４よりも広い範囲の領域８０３を設定する。特徴量算出部７０３は、現フレームの画像データにおいて、この領域８０３と同じ位置、かつ、同じサイズの探索領域を設定する。そして、現フレームの画像データにおける探索領域において、前フレームのサブ領域８０４と最も近似する領域の位置を求める。サブ領域８０４と最も近似する位置を求める際には、差の絶対値の総和を求める。

図９において、図９（Ａ）はサブ領域を示す図であり、図９（Ｂ）は現フレームの画像データに設定するマッチング領域を示す図である。

図９（Ａ）において、前フレームのサブ領域８０４における水平方向の画素数をＷ、垂直方向の画素数をＨとし、そのサブ領域８０４内の各画素値をＦｎ−１（ｘ，ｙ）と定義する。

また、図９（Ｂ）において、特徴量算出部７０３は、現フレームに設定された探索領域９０１内の任意の位置に、水平方向にＷ画素、垂直方向にＨ画素のマッチング領域を設定する。このマッチング領域内の各画素値をＦ（ｘ，ｙ）と定義する。特徴量算出部７０３は、画素毎に、前フレームのサブ領域８０４とマッチング領域との画素値の差を求めて、その絶対値を上述の式（１）によって積算して評価値ＳＡＤ（ＳＸ，ＳＹ）を得る。（ＳＸ，ＳＹ）は、サブ領域８０４に対するマッチング領域のシフト量を示す。すなわち、サブ領域８０４の画素値をＦｎ−１（ｘ，ｙ）とすると、このマッチング領域の画素値はＦｎ（ｘ＋ＳＸ，ｙ＋ＳＹ）で表される。

特徴量算出部７０３は、式（１）で示す動きベクトル評価値ＳＡＤ（ＳＸ，ＳＹ）が最小となるマッチング領域の位置を求め、そのときのマッチング領域のシフト量（ＳＸ，ＳＹ）と当該シフトの方向の組み合わせで動きベクトルＶ（ＳＸ，ＳＹ）が定義される。そして、特徴量算出部７０３は、当該動きベクトル及び最小の評価値の組み合わせを特徴量として出力する。

特徴量算出部７０３は、サブ領域の数と同数の特徴量を出力する。例えば、前述の図２（Ａ）及び図２（Ｂ）に示すように、サブ領域が４つである場合には、特徴量算出部７０３は４組の特徴量を出力することになる。以下の説明においては、サブ領域が４つである場合について説明する。

信頼度算出部７０４は複数の特徴量における評価値に基づいて信頼度を決定する。

図１０は、図７に示す信頼度算出部７０４における信頼度の決定の仕方について説明するための図である。

図１０に示すように、信頼度算出部７０４は、下記の式（３）に基づいて、評価値毎に、予め規定された第１の閾値と評価値との差分を求めて、この差分を信頼度とする。
信頼度＝（第１の閾値）−（評価値） （３）
但し、ゼロ未満である場合にはゼロとする。

続いて、追尾枠決定部７０５は、特徴量算出部７０３から出力される特徴量と信頼度算出部７０４から出力された信頼度とに応じて現フレームにおける追尾枠の位置を求める。

例えば、追尾枠決定部７０５は、それぞれのサブ領域から得られた複数の動きベクトルの各々に対応する信頼度のその合計に対する比率から重み係数を求め、この重み係数を用いて複数の動きベクトルを加重平均して、追尾枠の動きベクトルを求める。そして、追尾枠決定部７０５は、前フレームにおける前フレーム対象領域データの位置から、上記の追尾枠の動きベクトル分だけ移動（シフト）させた位置を、現フレームにおける追尾枠の位置と決定する。

侵入物判定部７０６は、信頼度算出部７０４から出力される信頼度に応じて侵入物体の有無を検出する。

例えば、４つのサブ領域において、信頼度が予め規定された第２の閾値未満であるサブ領域が１つである場合には、侵入物判定部７０６は、追尾対象体を追尾する追尾枠に侵入物体が侵入したと判定する。

さらに、４つのサブ領域において、信頼度が第２の閾値未満であるサブ領域が２つで、かつ、これら２つのサブ領域が互いに隣り合う場合にも、侵入物判定部７０６は追尾対象体を追尾する追尾枠に侵入物体が侵入したと判定する。ここで、互いに隣り合う２つのサブ領域とは、例えば、図４において、動きベクトル４００及び４０１の領域、動きベクトル４０１及び４０２の領域、動きベクトル４０２及び４０３の領域、そして、動きベクトル４０３及び４００の領域である。なお、第１の実施の形態と同様に、サブ領域の数が５以上の場合であっても同様に判定することができる。また、動きベクトルの大きさが第１の閾値を超えているサブ領域の数が基準値（例えば、過半数）に達した場合には、追尾対象体とは異なる被写体に追尾枠が設定されており、追尾が失敗したと判定する。

そして、図７に示すように、追尾枠決定部７０５で決定された追尾枠を表す追尾枠情報及び侵入物判定部７０６による判定結果はＣＰＵ７０７に与えられる。ＣＰＵ７０７は、侵入物判定部７０６による判定結果に応じて、図１のＣＰＵ１０６と同様に、追尾の処理の制御を行う。

上述の追尾対象体の追尾と侵入物体の侵入判定までの処理を行う動作モードを、前述のように、追尾動作モードと呼ぶことにする。

図１１は、本発明の第２の実施の形態による物体追尾装置の変形例のブロック図である。図１１において、図７に示す物体追尾装置と同一の構成要素については同一の参照番号を付す。また、図１１において、図６に示す物体追尾装置と同一の構成要素については、同一の参照番号を付す。

図１１を参照すると、ＣＰＵ１０１０は侵入物判定部７０６によって侵入物体が侵入したと判定されると、探索モードに切り替える。この探索モードにおける処理は、図５に関連して説明したので、ここでは説明を省略する。

被写体情報更新部１００９は、信頼度算出部７０４によって求められた信頼度に応じて第２のメモリ部６０７の更新を行う。例えば、被写体情報更新部１００９は上述の信頼度が全てのサブ領域において、予め規定された第３の閾値以上であると、第２のメモリ部６０７に、追尾枠決定部７０５で得られた位置にある現フレームの追尾枠内の画像データを記憶して、第２のメモリ部６０７を更新する。なお、第３の閾値は第２の閾値よりも高い値とする。これは、第３の閾値により設定される条件を厳しくすることで、探索モードで用いる復帰用の画像データの精度を維持するためである。

なお、上述の第１及び第２の実施の形態では、侵入物体の侵入判定において用いる特徴量として、各サブ領域の動きベクトルと動きベクトル及び最小の評価値の組み合わせとをそれぞれ用いたが、動きベクトル及び動きベクトル及び最小の評価値の組み合わせ以外の特徴量を用いるようにしてもよい。

例えば、サブ領域毎の動きベクトルをメモリなどに保持し、前フレームにおいて侵入判定を行った際の動きベクトルと現フレームにおいて侵入判定を行う際の動きベクトルとの向きの角度差が、所定の閾値以上であるか否かを調べるようにしてもよい。

また、サブ領域毎に前フレームと現フレームの輝度値の差分の絶対和を求めて、画素数で正規化した当該絶対和の正規化値が所定の閾値以上であるか否かを調べるようにしてもよい。

このようにして、第２の実施の形態においても、各サブ領域について求めた特徴量に応じて、侵入物体が現フレーム領域に侵入したか否かを判定するようにしたので、侵入物体の検知を容易に行うことができ、従って、確実に追尾対象体の追尾を行うことができる。

例えば、上記の実施の形態の機能を物体追尾方法として、この物体追尾方法を、コンピュータに実行させるようにすればよい。また、上述の実施の形態の機能を有する物体追尾プログラムを、コンピュータに実行させるようにしてもよい。この際、物体追尾方法及び物体追尾プログラムは、少なくとも追尾ステップ、特徴量算出ステップ及び侵入物判定ステップを備えるか又は特徴量算出ステップ、信頼度算出ステップ、枠決定ステップ及び侵入物判定ステップを備えることになる。なお、物体追尾プログラムは、例えば、コンピュータに読み取り可能な不揮発性の記録媒体に記録される。

１０１ メモリ部
１０２ 像入力端子
１０３ 追尾部
１０４ 特徴長量算出部
１０５ 侵入物判定部
１０６ ＣＰＵ
６０８ 復帰部
６０９ 被写体情報更新部

Claims (9)

1. 複数のフレームを有する動画像データを受け、当該動画像データにおいて追尾対象である被写体を追尾対象体として追尾する物体追尾装置であって、
   前記動画像データにおける現フレームよりも前の前フレームにおいて前記追尾対象体の位置を示す前フレーム対象領域、または、前記現フレームにおいて前記追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求める特徴量算出手段と、
   前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していなければ、前記現フレームにおける前記追尾対象体が位置する領域に、前記追尾対象体と異なる侵入物体が侵入したと判定する侵入物判定手段と
   を有することを特徴とする物体追尾装置。
2. 前記現フレームにおける前記追尾対象体の位置を特定する追尾手段を更に有し、
   前記侵入物判定手段は、前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していれば、前記追尾手段が、現フレームにおける前記追尾対象体の位置の特定に失敗したと判定することを特徴とする請求項１記載の物体追尾装置。
3. 前記追尾手段にて特定された現フレームにおける前記追尾対象体の画像データを記憶するメモリと、
   前記侵入物判定手段によって前記侵入物体の侵入があったと判定されると、探索モードを実行する制御手段と、
   前記探索モードが実行されると、前記メモリに記憶された画像データを用いて、前記探索モードが実行された後に得られた現フレームから、前記追尾対象体の位置を特定する探索手段と、を更に有し、
   前記探索手段は、前記追尾手段よりも、厳しい条件を用いて前記追尾対象体の位置を特定することを特徴とする請求項２記載の物体追尾装置。
4. 前記追尾手段にてその位置が特定された現フレームにおける前記追尾対象体に対応する前記特徴量に応じて、前記メモリに記憶された画像データを更新する更新手段を更に有することを特徴とする請求項３記載の物体追尾装置。
5. 前記侵入物判定手段は、前記サブ領域毎の動きベクトルをそれぞれ求めて、該動きベクトルを前記特徴量とし、
   前記更新手段は、前記追尾手段にてその位置が特定された現フレームにおける前記追尾対象体に対応する前記サブ領域毎の前記特徴量の大きさの全てが第２の閾値以下であると、前記追尾手段にてその位置が特定された現フレームにおける前記追尾対象体の画像データを用いて、前記メモリに記憶された画像データを更新することを特徴とする請求項４記載の物体追尾装置。
6. 前記侵入物判定手段は、前記サブ領域毎の動きベクトルをそれぞれ求めて、該動きベクトルを当該サブ領域の前記特徴量とすることを特徴とする請求項１記載の物体追尾装置。
7. 前記侵入物判定手段によって、前記追尾手段が、現フレームにおける前記追尾対象体の位置の特定に失敗したと判定された場合に、前記追尾手段は前記動画像データにおける前記追尾対象体の位置の特定を停止することを特徴とする請求項２記載の物体追尾装置。
8. 複数のフレームを有する動画像データを受け、当該動画像データにおいて追尾対象である被写体を追尾対象体として追尾する物体追尾方法であって、
   前記動画像データにおける現フレームよりも前の前フレームにおいて前記追尾対象体の位置を示す前フレーム対象領域、または、前記現フレームにおいて前記追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求め、
   前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していなければ、前記現フレームにおける前記追尾対象体が位置する領域に、前記追尾対象体と異なる侵入物体が侵入したと判定することを特徴とする物体追尾方法。
9. 複数のフレームを有する動画像データを受け、当該動画像データにおいて追尾対象である被写体を追尾対象体として追尾する物体追尾方法をコンピュータに実行させるコンピュータ実行可能なプログラムを記憶したコンピュータで読み取り可能な記憶媒体であって、
   前記物体追尾方法は、
   前記動画像データにおける現フレームよりも前の前フレームにおいて前記追尾対象体の位置を示す前フレーム対象領域、または、前記現フレームにおいて前記追尾対象体の位置を示す現フレーム対象領域に、複数のサブ領域を設定し、当該サブ領域毎にその特徴量を求め、
   前記特徴量が第１の閾値を超える前記サブ領域が存在し、かつ、その数が基準値に達していなければ、前記現フレームにおける前記追尾対象体が位置する領域に、前記追尾対象体と異なる侵入物体が侵入したと判定することを特徴とする記憶媒体。

Images