JP2020071525A - 被写体追跡装置、被写体追跡方法及びプログラム - Google Patents

Abstract

【課題】動画像のフレーム画像内で被写体領域を追跡する精度を向上させることが可能である被写体追跡装置、被写体追跡方法及びプログラムを提供する。【解決手段】被写体追跡装置は、被写体領域の画像特徴量の出現頻度を画像特徴量のセグメントごと及び補助セグメントごとに表す第１ヒストグラムを生成する第１ヒストグラム生成部と、候補領域の画像特徴量の出現頻度を画像特徴量のセグメントごと及び補助セグメントごとに表す第２ヒストグラムを候補領域ごとに生成する第２ヒストグラム生成部と、第１ヒストグラムと第２ヒストグラムとをセグメントごと及び補助セグメントごとに比較し、第１ヒストグラムと第２ヒストグラムとの画像特徴量の出現頻度の差分合計値を候補領域ごとに導出する差分導出部と、差分合計値が最小である候補領域を各候補領域のうちから選択する領域選択部とを備える。補助セグメントは、セグメント間の境界を跨ぐように定められる。【選択図】図１

Description

本発明は、被写体追跡装置、被写体追跡方法及びプログラムに関する。

動画像のフレーム画像内で被写体を包含する領域（以下「被写体領域」という。）を追跡する技術分野では、画像（信号強度）の特徴量のヒストグラムに基づいて被写体領域を追跡する方法がある。以下、追跡対象である被写体領域を含むフレーム画像を「追跡対象フレーム」という。追跡対象フレームから参照されるフレーム画像を「参照フレーム」という。以下、動画像のフレーム画像の一部分の領域を「部分領域」という。以下、被写体領域又は部分領域に内包される画素信号から導出される特徴量を「画像特徴量」という。

図１０は、被写体領域におけるヒストグラムの例を示す図である。ヒストグラムは、データの出現頻度の分布状況を表す統計グラフの一種である。ヒストグラムの縦軸は、データ（画像特徴量）の出現頻度を示す。ヒストグラムの横軸は、データ（画像特徴量）の各階級を表す。以下、階級の分割区間を「セグメント」という。

参照フレーム内の被写体領域の位置及びサイズは、予め特定されている。すなわち、参照フレームにおいて、被写体領域を含む部分領域３００は予め定められている。被写体追跡装置は、部分領域３００の画像特徴量の出現数を、セグメントごとに生成する。被写体追跡装置は、部分領域３００の全てのセグメントの画像特徴量の出現頻度の総和が１になるように、各セグメントの画像特徴量の出現数を、画像特徴量の出現数の総和で除算する。これにより、被写体追跡装置は、各セグメントの画像特徴量の出現数を正規化することによって、部分領域３００の画像特徴量の出現頻度を表すヒストグラムを生成する。

被写体追跡装置は、追跡対象フレーム内で被写体領域が探索される範囲内に、例えば、部分領域４００を定める。被写体追跡装置は、部分領域４００の画像特徴量の出現頻度を表すヒストグラムを生成する。被写体追跡装置は、追跡対象フレーム内で被写体領域が探索される範囲内で、部分領域の位置及びサイズを変更する。図１０では、被写体追跡装置は、追跡対象フレーム内に部分領域５００を定める。被写体追跡装置は、部分領域５００の画像特徴量の出現頻度を表すヒストグラムを生成する。被写体追跡装置は、他の部分領域の画像特徴量の出現頻度を表すヒストグラムを更に生成してもよい。

被写体追跡装置は、参照フレームの部分領域の画像特徴量のヒストグラムと、追跡対象フレームの部分領域の画像特徴量のヒストグラムとの間の差分値を、セグメントごとに導出する。被写体追跡装置は、追跡対象フレームについて、セグメントごとの画像特徴量の出現頻度の差分値の合計（以下「差分合計値」という。）が最小となる部分領域の位置及びサイズを、その追跡対象フレームにおける被写体領域の位置及びサイズ（追跡結果）と定める。

被写体追跡装置に入力されたフレーム画像の画素値を色相、彩度及び輝度（ＨＳＶ）形式に変換し、色相及び彩度に基づいて被写体領域を追跡する方法が、被写体の照明環境の変化による追跡精度の低下を防ぐことを目的として、非特許文献１に開示されている（非特許文献１参照）。フレーム画像の全体について予め導出された画像特徴量の平均値と画像特徴量との差分に基づいて、画像の特徴点を追跡する方法が、非特許文献２に開示されている（非特許文献２参照）。

被写体の照明環境が変化しても、フレーム画像の画素勾配の方向は変わらない。被写体の照明環境の変化に対して強い画像特徴量であるＨｏＧ（Histograms of Oriented Gradients）特徴量に基づいて被写体領域を追跡する方法が、非特許文献３及び４に開示されている（非特許文献３及び４参照）。被写体追跡装置は、ＨｏＧ特徴量に基づいて被写体領域を追跡する場合、フレーム画像の画素勾配の方向に基づいてヒストグラムを生成する。

P. Perez, C. Hue, J. Vermaak, and M. Gangnet,"Color-Based Probabilistic Tracking," in Proceeding of the European Conference on Computer Vision, pp.661-675, 2002. Doi, M., Matsumoto, T., Kimachi, A., Nishi, S., & Ikoma, N. "Robust Color Objects Tracking Method Against Illumination Color Change", 2014 Joint 7th International Conference on Soft Computing and Intelligent Systems (SCIS) and IEEE 15th International Symposium on Advanced Intelligent Systems (ISIS). 718-722, 2014. Deepthi V.K.P and Mr. Mohammed Anvar P.K, "Visual Tracking Using HOG and SVM", International Journal of Advanced Engineering Research and Technology(IJAERT),Volume 4 Issue 5,2016. D. G. Lowe, "Object recognition from local scaleinvariant features", Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.

しかしながら、画像特徴量のヒストグラムにおける出現頻度をフレーム画像間で比較して被写体領域を追跡する場合、フレーム画像間で被写体の照明環境が変化すると、輝度の特徴量の出現頻度を表すヒストグラムは、ヒストグラムの全体で変化する。このため、差分合計値が大きくなるので、被写体領域の追跡精度が低下する。フレーム画像間で被写体の向きが異なっている場合、画像のエッジの向きの画像特徴量の出現頻度を表すヒストグラムは、ヒストグラムの全体で変化する。このため、差分合計値が大きくなるので、被写体領域の追跡精度が低下する。

非特許文献１に開示された方法では、カメラのオートホワイトバランスに応じて色温度が変更された場合や、色付きの光で被写体が照射された場合等、フレーム画像における色相及び彩度が変化するので、被写体領域の追跡精度が低下する。非特許文献２に開示された方法では、スポットライトの光で被写体のみが照射された場合等、フレーム画像内の一部の領域では輝度の特徴量が変化し、フレーム画像内の他の領域では輝度の特徴量が変化しないので、被写体領域の追跡精度が低下する。非特許文献３及び４に開示された方法では、ＨｏＧ特徴量として主に用いられるＳＩＦＴ（Scale-Invariant Feature Transform）がアフィン変換の影響を受けないが、フレーム画像において奥行き方向へのパースが生じて平行性が失われた場合には、被写体領域の追跡精度が低下する。

これらのように、従来の被写体追跡装置は、動画像のフレーム画像内で被写体領域を追跡する精度を向上させることができない場合があった。

上記事情に鑑み、本発明は、動画像のフレーム画像内で被写体領域を追跡する精度を向上させることが可能である被写体追跡装置、被写体追跡方法及びプログラムを提供することを目的としている。

本発明の一態様は、被写体領域の画像特徴量の出現頻度を前記画像特徴量のセグメントごと及び補助セグメントごとに表す第１ヒストグラムを生成する第１ヒストグラム生成部と、候補領域の画像の前記画像特徴量の出現頻度を前記画像特徴量の前記セグメントごと及び前記補助セグメントごとに表す第２ヒストグラムを前記候補領域ごとに生成する第２ヒストグラム生成部と、前記第１ヒストグラムと前記第２ヒストグラムとを前記セグメントごと及び前記補助セグメントごとに比較し、前記第１ヒストグラムと前記第２ヒストグラムとの前記画像特徴量の出現頻度の差分値の合計である差分合計値を前記候補領域ごとに導出する差分導出部と、前記差分合計値が最小である前記候補領域を各前記候補領域のうちから選択する領域選択部とを備え、前記補助セグメントは、前記セグメント間の境界を跨ぐように定められる、被写体追跡装置である。

本発明の一態様は、上記の被写体追跡装置であって、前記被写体領域は、第１フレーム画像の部分領域であり、前記候補領域は、第２フレーム画像の部分領域である。

本発明の一態様は、上記の被写体追跡装置であって、前記補助セグメント群は、前記被写体領域を含む領域と前記候補領域とにおける全ての前記境界を跨ぐように定められる。

本発明の一態様は、上記の被写体追跡装置であって、少なくとも１個の前記補助セグメントは、２個以上の前記境界を跨ぐように定められる。

本発明の一態様は、被写体追跡が実行する被写体追跡方法であって、被写体領域を含む領域の画像特徴量の出現頻度を前記画像特徴量のセグメントごと及び補助セグメントごとに表す第１ヒストグラムを生成するステップと、候補領域の画像の前記画像特徴量の出現頻度を前記画像特徴量の前記セグメントごと及び前記補助セグメントごとに表す第２ヒストグラムを前記候補領域ごとに生成するステップと、前記第１ヒストグラムと前記第２ヒストグラムとを前記セグメントごと及び前記補助セグメントごとに比較し、前記第１ヒストグラムと前記第２ヒストグラムとの前記画像特徴量の出現頻度の差分値の合計である差分合計値を前記候補領域ごとに導出するステップと、前記差分合計値が最小である前記候補領域を各前記候補領域のうちから選択するステップとを有し、前記補助セグメントは、前記セグメント間の境界を跨ぐように定められる、被写体追跡方法である。

本発明の一態様は、上記の被写体追跡装置としてコンピュータを機能させるためのプログラムである。

本発明により、動画像のフレーム画像内で被写体領域を追跡する精度を向上させることが可能である。

実施形態における、被写体追跡装置の構成例を示す図である。 実施形態における、プログラムを実行する被写体追跡装置の構成例を示す図である。 実施形態における、被写体追跡装置の動作例を示すフローチャートである。 ヒストグラム生成部の構成例を示す図である。 複数のセグメントに分割された画像特徴量の配列Ｂｕｆとヒストグラムとの関係の例を示す図である。 ヒストグラム生成部が実行するヒストグラムの生成処理の例を示すフローチャートである。 実施形態における、ヒストグラム生成部の構成例を示す図である。 実施形態における、複数のセグメントに分割された画像特徴量の配列Ｂｕｆとヒストグラムとの関係の例を示す図である。 実施形態における、ヒストグラム生成処理の例を示すフローチャートである。 被写体領域におけるヒストグラムの例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、被写体追跡装置１の構成例を示す図である。被写体追跡装置１は、時系列のフレーム画像（動画像）内で被写体領域を追跡する装置である。被写体追跡装置１の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、メモリに記憶されたプログラムを実行することにより実現される。

図２は、実施形態における、プログラムを実行する被写体追跡装置１の構成例を示す図である。被写体追跡装置１は、プロセッサ１０と、メモリ１１と、入力記憶部１２と、記憶装置１３と、出力記憶部１４と、インタフェース１５と、バス１６とを備える。

プロセッサ１０は、メモリ１１に記憶されているプログラムを実行する。メモリ１１は、ＲＡＭ（Random Access Memory）などの揮発性の記録媒体である。メモリ１１は、記憶装置１３から展開されたプログラムを記憶する。入力記憶部１２は、記憶部であり、被写体追跡装置に入力されたフレーム画像（以下「入力フレーム」という。）等のデータを記憶する。

記憶装置１３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）が好ましい。記憶装置１３は、ＲＡＭなどの揮発性の記録媒体を備えてもよい。記憶装置１３は、例えば、入力フレーム内で被写体領域を追跡する処理をプロセッサに実行させるためのプログラムと、入力フレーム内における１個以上の部分領域の位置及びサイズのデータベースと、追跡結果データベースとを記憶する。

出力記憶部１４は、記憶部であり、出力される追跡結果（部分領域の位置及びサイズ）等のデータを記憶する。インタフェース１５は、追跡結果を所定のネットワーク等の外部装置に出力する。バス１６は、データを伝送する。

図１に戻り、被写体追跡装置１の構成例の説明を続ける。
被写体追跡装置１は、抽出部１０１と、第１ヒストグラム生成部１０２と、位置・サイズ生成部１０３と、第２ヒストグラム生成部１０４と、差分導出部１０５と、領域選択部１０６と、出力部１０７とを備える。

これらの各機能部は、メモリ１１に記憶されたプログラムをプロセッサ１０が実行することにより実現される。なお、被写体追跡装置１の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

抽出部１０１は、時系列の複数のフレーム画像（動画像の画像信号）を取得する。抽出部１０１は、被写体領域の位置及びサイズが特定された参照フレームと、追跡対象フレームとを、入力フレームとして動画像の画像信号から抽出する。

第１ヒストグラム生成部１０２は、参照フレーム内における被写体領域の位置及びサイズの初期値を取得する。第１ヒストグラム生成部１０２は、参照フレームを入力フレームとして取得する。第１ヒストグラム生成部１０２は、部分領域の位置及びサイズの初期値に基づいて、参照フレームに部分領域を生成する。すなわち、第１ヒストグラム生成部１０２は、被写体領域の位置及びサイズの初期値に基づいて、被写体領域を含む部分領域を参照フレームから切り出す。第１ヒストグラム生成部１０２は、参照フレームにおける部分領域の画像特徴量の出現頻度を表すヒストグラムを生成する。

位置・サイズ生成部１０３は、参照フレームにおける被写体領域の位置及びサイズの初期値を取得する。以下、追跡対象フレームにおける被写体領域を含む位置及びサイズの候補を「候補領域」という。位置・サイズ生成部１０３は、追跡対象フレーム内で被写体領域が探索される範囲内に、位置及びサイズの初期値に基づいて、異なる位置及びサイズの複数の組み合わせ（位置及びサイズの候補群、すなわち候補領域群）を生成する。

第２ヒストグラム生成部１０４は、第１ヒストグラム生成部１０２のヒストグラム生成処理と同様のヒストグラム生成処理を実行する。第２ヒストグラム生成部１０４は、追跡対象フレームを抽出部１０１から取得する。第２ヒストグラム生成部１０４は、位置及びサイズの候補群を取得する。第２ヒストグラム生成部１０４は、入力された位置及びサイズの候補に基づいて導出される部分領域の各画像特徴量に応じて、追跡対象フレームの部分領域における画像特徴量のヒストグラムを生成する。このようにして、第２ヒストグラム生成部１０４は、位置及びサイズの候補の個数のヒストグラムを生成する。

差分導出部１０５は、参照フレームの画像特徴量のヒストグラムと、追跡対象フレームの画像特徴量のヒストグラムとを、位置及びサイズの候補ごとに比較する。すなわち、差分導出部１０５は、画像特徴量の出現頻度の差分値（絶対値）を、セグメントごとに導出する。差分導出部１０５は、各セグメントの画像特徴量の差分値（ヒストグラム差分群）を、部分領域ごとに合計する。このようにして、差分導出部１０５は、差分合計値を部分領域ごとに生成する。

領域選択部１０６は、追跡対象フレームの１個以上の部分領域のうちから、差分合計値が最小となる部分領域を選択する。領域選択部１０６は、選択された部分領域の位置及びサイズを、出力部１０７に出力する。

出力部１０７は、選択された部分領域の位置及びサイズを、予め指定された出力ファイル及びネットワーク等に出力する。出力部１０７は、選択された部分領域の位置及びサイズを、第１ヒストグラム生成部１０２と位置・サイズ生成部１０３とに出力する。これによって、領域選択部１０６は、第１ヒストグラム生成部１０２と位置・サイズ生成部１０３とに出力された部分領域の位置及びサイズに基づいて、次の追跡対象フレーム内でも被写体領域を追跡することができる。

図３は、実施形態における、被写体追跡装置１の動作例を示すフローチャートである。位置・サイズ生成部１０３は、位置及びサイズの初期値を、参照フレームの部分領域の位置及びサイズとして記憶する（ステップＳ１０１）。被写体追跡装置１は、抽出部１０１に入力された全ての追跡対象フレームに対して、ステップＳ１０２からステップＳ１１４までの処理を繰り返す（ステップＳ１０２）。

抽出部１０１は、参照フレーム及び追跡対象フレームを取得する（ステップＳ１０３）。第１ヒストグラム生成部１０２は、参照フレーム内の部分領域の位置及びサイズのデータを取得する（ステップＳ１０４）。第１ヒストグラム生成部１０２は、位置及びサイズの初期値に基づいて、参照フレーム内に部分領域を生成する。第１ヒストグラム生成部１０２は、参照フレームにおける部分領域の画像特徴量の出現頻度を表すヒストグラムを生成する（ステップＳ１０５）。

領域選択部１０６は、予め定められた大きな値に最小値Ｍを初期化する（ステップＳ１０６）。領域選択部１０６は、追跡対象フレーム内で被写体領域が探索される範囲に、異なる位置及びサイズの複数の組み合わせ（位置及びサイズの候補群）を生成する（ステップＳ１０７）。被写体追跡装置１は、生成された位置及びサイズの候補ごとに、ステップＳ１０８からステップＳ１１３までの処理を繰り返す（ステップＳ１０８）。

第２ヒストグラム生成部１０４は、位置及びサイズの候補に基づいて、追跡対象フレーム内に部分領域を生成する。第２ヒストグラム生成部１０４は、追跡対象フレームにおける部分領域の画像特徴量の出現頻度を表すヒストグラムを生成する（ステップＳ１０９）。差分導出部１０５は、第１ヒストグラム生成部１０２によって生成されたヒストグラムと、第２ヒストグラム生成部１０４によって生成されたヒストグラムとを比較し、差分合計値Ｓを導出する（ステップＳ１１０）。差分導出部１０５は、差分合計値Ｓと最小値Ｍとを比較する（ステップＳ１１１）。

差分合計値Ｓが最小値Ｍ以上である場合（ステップＳ１１１：ＮＯ）、差分導出部１０５は、ステップＳ１１４に処理を進める。差分合計値Ｓが最小値Ｍ未満である場合（ステップＳ１１１：ＹＥＳ）、差分導出部１０５は、最小値Ｍに差分合計値Ｓを代入する（ステップＳ１１２）。差分導出部１０５は、位置及びサイズの候補を、追跡結果を表す変数「Ｒｅｓｕｌｔ」に代入する（ステップＳ１１３）。差分導出部１０５は、次の参照フレームの位置及びサイズの初期値として、変数「Ｒｅｓｕｌｔ」を追跡結果データベースに記録する（ステップＳ１１４）。出力部１０７は、追跡結果を表す変数「Ｒｅｓｕｌｔ」を、出力ファイル等に出力する（ステップＳ１１５）。

次に、ヒストグラム生成処理について説明する。
図４は、実施形態の第１ヒストグラム生成部１０２及び第２ヒストグラム生成部１０４の比較対象として示された、ヒストグラム生成部２００の構成例を示す図である。ヒストグラム生成部２００は、特徴量変換部２０１と、セグメント分割部２０２と、出現数導出部２０３と、正規化部２０４と、ヒストグラム出力部２０５とを備える。

特徴量変換部２０１は、入力フレームの画素値を、予め定められた種類（例えば、色相、彩度、輝度）の画像特徴量に変換する。セグメント分割部２０２は、入力された位置及びサイズに基づいて導出される部分領域の画像特徴量を、所定間隔（量子化サイズ）のセグメント群に分割する。すなわち、セグメント分割部２０２は、部分領域の画像特徴量に、所定間隔のセグメント（階級）を定める。

図５は、複数のセグメントに分割された画像特徴量（階級）の配列Ｂｕｆとヒストグラムとの関係の例を示す図である。各セグメントの配列Ｂｕｆの値は、そのセグメントの画像特徴量の出現頻度を表す。画像特徴量は、例えば、画素の輝度の特徴量である。輝度は、例えば、０から２５５までの値で表現される。図５では、一例として、部分領域のセグメントの個数（配列の要素の個数）Ｎは、３２（＝量子化値「０」から量子化値「３１」まで）である。画像特徴量のオフセット値Ｏは、０である。量子化サイズ（セグメントのサイズ）Ｄは、８である。

図４に戻り、ヒストグラム生成部２００の構成例の説明を続ける。出現数導出部２０３は、部分領域の画像特徴量の出現数を、セグメントごとに導出する。正規化部２０４は、入力フレームについて、各セグメントの画像特徴量の出現数の総和を導出する。正規化部２０４は、部分領域の全てのセグメントの画像特徴量の出現頻度の総和が１になるように除算処理を実行し、各セグメントの画像特徴量の出現数を正規化する。ヒストグラム出力部２０５は、正規化された出現頻度を、セグメントごとの画像特徴量の出現頻度のヒストグラムとして、差分導出部に出力する。

図６は、実施形態のヒストグラム生成処理の比較対象として示された、ヒストグラム生成部２００が実行するヒストグラム生成処理の例を示すフローチャートである。特徴量変換部２０１は、入力フレームの画素値を、予め定められた種類の画像特徴量に変換する（ステップＳ２０１）。セグメント分割部２０２は、セグメントの個数（分割数）であるＮ個の配列Ｂｕｆ（配列Ｂｕｆ［０］からＢｕｆ［Ｎ−１］まで）を生成する。セグメント分割部２０２は、配列Ｂｕｆの各要素の値０で初期化する（ステップＳ２０２）。

ヒストグラム生成部２００は、入力された位置及びサイズの候補に基づいて導出される部分領域の各画像特徴量に対して、ステップＳ２０４の処理を繰り返す（ステップＳ２０３）。セグメント分割部２０２は、所定のオフセット値Ｏを画像特徴量に加算する。セグメント分割部２０２は、オフセットされた画像特徴量が量子化サイズＤで除算された結果を、例えば、「０」から「Ｎ−１」までの量子化値に量子化（クリッピング）することによって、オフセットされた画像特徴量の量子化値Ｘを生成する（ステップＳ２０４）。セグメント分割部２０２は、配列Ｂｕｆ［Ｘ］の値（出現数）を１増加させる（ステップＳ２０５）。

出現数導出部２０３は、配列Ｂｕｆの各要素の値の合計値Ｓ１を導出する（ステップＳ２０６）。正規化部２０４は、配列Ｂｕｆの各要素の値を合計値Ｓ１で除算する（ステップＳ２０７）。ヒストグラム出力部２０５は、入力フレームの部分領域の画像特徴量のヒストグラムとして、配列Ｂｕｆを差分導出部に出力する（ステップＳ２０８）。

図７は、実施形態における、第１ヒストグラム生成部１０２の構成例を示す図である。第１ヒストグラム生成部１０２の構成と第２ヒストグラム生成部１０４の構成とは、同じである。このため図５では、第１ヒストグラム生成部１０２の構成例を説明する。第１ヒストグラム生成部１０２は、特徴量変換部３０１と、セグメント分割部３０２と、補助セグメント分割部３０３と、出現数導出部３０４と、正規化部３０５と、ヒストグラム出力部３０６とを備える。このように、第１ヒストグラム生成部１０２は、ヒストグラム生成部２００と比較して、補助セグメント分割部３０３を更に備える。

特徴量変換部３０１は、入力フレームの画素値を、予め定められた種類の画像特徴量に変換する。セグメント分割部３０２は、入力された位置及びサイズの候補に基づいて導出される部分領域の画像特徴量（信号強度）を、所定間隔（量子化サイズ）のセグメント群に分割する。すなわち、セグメント分割部３０２は、部分領域の画像特徴量に、所定間隔のセグメント（階級）を定める。

補助セグメント分割部３０３は、入力された位置及びサイズの候補に基づいて導出される部分領域の画像特徴量を、所定間隔の補助セグメント群に分割する。すなわち、補助セグメント分割部３０３は、部分領域の画像特徴量に、所定間隔の補助階級を定める。

図８は、実施形態における、複数のセグメントに分割された画像特徴量（階級）の配列Ｂｕｆとヒストグラムとの関係の例を示す図である。各セグメントの配列Ｂｕｆの値は、そのセグメントの画像特徴量の出現頻度を表す。各補助セグメントの配列Ｂｕｆの値は、その補助セグメントの画像特徴量の出現頻度を表す。画像特徴量は、例えば、画素の色差の特徴量である。色差は、例えば、０から２５５までの値で表現される。セグメント及び補助セグメントの合計数は、Ｎ（＝２Ａ−１）個である。図８では、一例として、部分領域のセグメント及び補助セグメントの合計数（配列の要素の個数）Ｎは、６３（＝量子化値「０」から量子化値「６２」まで）である。画像特徴量のオフセット値Ｏは、０である。量子化サイズ（セグメントのサイズ）Ｄは、８である。

図８の下段には、部分領域の複数のセグメントの画像特徴量の配列Ｂｕｆ［Ｘ_ｍａｉｎ］（図８では、Ｂｕｆ［０］からＢｕｆ［３１］まで）が示されている。一例として部分領域のセグメントの個数（配列の要素の個数）「Ａ」は、３２（＝量子化値「０」から量子化値「３１」まで）である。画像特徴量のオフセット値Ｏは、０である。量子化サイズ（セグメントのサイズ）Ｄは、８である。なお、コンピュータビジョンにおける計算用ライブラリ（ＯｐｅｎＣＶ）では、８から１６までの値が量子化サイズＤとして広く用いられている。量子化サイズＤが８である場合、セグメントの個数Ａは３２（＝２５６／８）である。

図８の上段には、その部分領域の１個以上の補助セグメントの画像特徴量の配列Ｂｕｆ［Ｘ_ｓｕｂ］（図８では、Ｂｕｆ［３２］からＢｕｆ［６２］まで）が示されている。一例として部分領域の補助セグメントの個数（配列の要素の個数）「Ａ−１」は、３１（＝量子化値「３２」から量子化値「６２」まで）である。画像特徴量のオフセット値Ｏは、（−Ｄ／２）である。量子化サイズ（セグメントのサイズ）Ｄは、８である。

このように、補助セグメント群は、被写体領域と候補領域（位置及びサイズの候補）とにおける全ての境界を跨ぐように定められてもよい。少なくとも１個の補助セグメントは、２個以上の境界を跨ぐように定められてもよい。

図７に戻り、第１ヒストグラム生成部１０２の構成例の説明を続ける。補助セグメント分割部３０３は、隣り合うセグメントの少なくとも一つの境界を補助セグメントが跨ぐように、部分領域の画像特徴量を補助セグメント群に分割する。図８では、補助セグメント分割部３０３は、全てのセグメントの各境界を各補助セグメントが跨ぐように、部分領域の画像特徴量を補助セグメント群に分割する。

補助セグメント分割部３０３は、画像特徴量の特性に応じて、一部のセグメントの境界を跨ぐように、ヒストグラムに補助セグメントを定めてもよい。例えば、自然画像では色差の特徴量の中央値（例えば、０から２５５までの範囲の１２８）に偏る特性があるので、ヒストグラムにおいて色差の特徴量の偏りが大きいセグメントの境界（部分）に、補助セグメントを定めてもよい。これにより、全てのセグメントの各境界を各補助セグメントが跨ぐように補助セグメント分割部３０３が部分領域の画像特徴量を補助セグメント群に分割する場合と比較して、補助セグメント分割部３０３は、処理速度を大きく低下させることなく、追跡精度を向上させることができる。

補助セグメント分割部３０３は、より大きい量子化サイズの補助セグメントを、ヒストグラムに定めてもよい。すなわち、少なくとも１個の補助セグメントがセグメント間の２個以上の境界を跨ぐように、部分領域の画像特徴量を補助セグメント群に分割してもよい。これにより、補助セグメント分割部３０３は、画像特徴量の変化に対して安定的に追跡精度を向上させることができる。なお。補助セグメントの量子化サイズＤが所定サイズよりも大きい場合に被写体領域の画像特徴量を導出することが困難にならないように、補助セグメント分割部３０３は、部分領域の画像特徴量の特性に応じて、補助セグメントの量子化サイズを適切に定める。

出現数導出部３０４は、部分領域の画像特徴量の出現数を、セグメントごと及び補助セグメントごとに導出する。正規化部３０５は、入力フレームについて、各セグメントの特徴量の出現数の総和を導出する。正規化部３０５は、部分領域におけるセグメント及び補助セグメントの画像特徴量の出現頻度の総和が１になるように除算処理を実行し、各セグメントの画像特徴量の出現数を正規化する。ヒストグラム出力部３０６は、出現数の正規化によって生成された出現頻度を、各セグメントの画像特徴量の出現頻度を表すヒストグラムとして、差分導出部１０５に出力する。

図９は、実施形態における、ヒストグラムの生成処理の例を示すフローチャートである。特徴量変換部３０１は、入力フレームの画素値を、予め定められた種類の画像特徴量に変換する（ステップＳ３０１）。セグメント分割部３０２は、Ａ個のセグメントの画像特徴量の配列Ｂｕｆ（Ｂｕｆ［０］からＢｕｆ［Ａ−１］まで）を生成し、この配列Ｂｕｆの各要素の値を０に初期化する。補助セグメント分割部３０３は、（Ａ−１）個のセグメントの画像特徴量の配列Ｂｕｆ（Ｂｕｆ［Ａ］からＢｕｆ［Ｎ−１］まで）を生成し、この配列Ｂｕｆの各要素の値を０に初期化する（ステップＳ３０２）。

第１ヒストグラム生成部１０２及び第２ヒストグラム生成部１０４は、入力された位置及びサイズの候補に基づいて導出される部分領域の各画像特徴量に対して、ステップＳ３０３からステップＳ３０７までの処理を繰り返す（ステップＳ３０３）。セグメント分割部３０２は、所定のオフセット値Ｏ（＝０）を画像特徴量に加算する。セグメント分割部３０２は、オフセットされた画像特徴量が量子化サイズＤで除算された結果を、例えば、「０」から「Ａ−１」までの量子化値に量子化（クリッピング）することによって、オフセットされた画像特徴量の量子化値Ｘ_ｍａｉｎを生成する（ステップＳ３０４）。セグメント分割部３０２は、配列Ｂｕｆ［Ｘ_ｍａｉｎ］の値（出現数）を１増加させる（ステップＳ３０５）。

補助セグメント分割部３０３は、所定のオフセット値Ｏ（＝０−Ｄ／２）を画像特徴量に加算する。セグメント分割部３０２は、オフセットされた画像特徴量が量子化サイズＤで除算された結果を、例えば、「０」から「（Ａ−１）−１」までの量子化値に量子化（クリッピング）することによって、オフセットされた画像特徴量の量子化値Ｘ_ｓｕｂを生成する（ステップＳ３０６）。補助セグメント分割部３０３は、配列Ｂｕｆ［Ｘ_ｓｕｂ＋Ａ］の値（出現数）を１増加させる（ステップＳ３０７）。出現数導出部３０４は、配列Ｂｕｆの各要素の値の合計値Ｓ１を導出する（ステップＳ３０８）。正規化部３０５は、配列Ｂｕｆの各要素の値を合計値Ｓ１で除算する（ステップＳ３０９）。ヒストグラム出力部３０６は、入力フレームの部分領域の画像特徴量のヒストグラムとして、配列Ｂｕｆを差分導出部１０５に出力する（ステップＳ３１０）。

以上のように、実施形態の被写体追跡装置１は、第１ヒストグラム生成部１０２と、第２ヒストグラム生成部１０４と、差分導出部１０５と、領域選択部１０６とを備える。第１ヒストグラム生成部１０２は、被写体領域の画像特徴量の出現頻度を画像特徴量のセグメントごと及び補助セグメントごとに表す第１ヒストグラムを生成する。第２ヒストグラム生成部１０４は、候補領域の画像特徴量の出現頻度を画像特徴量のセグメントごと及び補助セグメントごとに表す第２ヒストグラムを候補領域ごとに生成する。差分導出部１０５は、第１ヒストグラムと第２ヒストグラムとをセグメントごと及び補助セグメントごとに比較し、第１ヒストグラムと第２ヒストグラムとの画像特徴量の出現頻度の差分値の合計である差分合計値を候補領域ごとに導出する。領域選択部１０６は、差分合計値が最小である候補領域を各候補領域のうちから選択する。補助セグメントは、セグメント間の境界を跨ぐように定められる。

例えば図８では、参照フレームと追跡対象フレームとの間で、１個のセグメントを表す配列Ｂｕｆ［０］の値が急激に変化した場合、配列Ｂｕｆ［０］の差分値が大きくなるので、各セグメントの差分合計値が大きくなる。配列Ｂｕｆ［１］の値が急激に変化した場合も同様に、各セグメントの差分合計値が大きくなる。各セグメントの差分合計値が大きい場合、被写体領域の追跡精度は低下する。これに対して、配列Ｂｕｆ［０］及び配列Ｂｕｆ［１］の境界を跨ぐように定められた１個の補助セグメントを表す配列Ｂｕｆ［３２］の値は、配列Ｂｕｆ［０］の値と配列Ｂｕｆ［１］の値との平均値である。このため、参照フレームと追跡対象フレームとの間で配列Ｂｕｆ［０］又は配列Ｂｕｆ［１］の値が急激に変化した場合でも、配列Ｂｕｆ［３２］の差分値があまり大きくならず、各補助セグメントの差分合計値は大きくならない。各補助セグメントの差分合計値が大きくならないので、各セグメントの差分合計値のみに基づいて被写体領域が追跡される場合と比較して、被写体領域の追跡精度の低下は抑制される。これによって、実施形態の被写体追跡装置１は、動画像のフレーム画像内で被写体領域を追跡する精度を向上させることが可能である。

被写体領域は、動画像の第１フレーム画像の部分領域でもよい。候補領域は、動画像の第２フレーム画像の部分領域でもよい。

入力フレーム内の画像が緩やかに変化する場合、被写体追跡装置１は、第１のセグメントごとの画像特徴量の出現頻度を表すヒストグラムと、第２のセグメントごとの画像特徴量の出現頻度を表すヒストグラムとについて、画像特徴量の出現頻度を比較する。第１のセグメントは、所定間隔で画像特徴量を区切る（分割する）階級である。第２のセグメントは、第１のセグメント間の境界を跨ぐように定められた補助セグメントである。なお、「緩やかに変化する」とは、参照フレームと追跡対象フレームとの時間差分における変化がヒストグラムに及ぼす影響が、例えば、１個のセグメント以下（例えば、１個のセグメントの半分以下）であることである。

被写体追跡装置１は、第２のセグメントに基づいて、セグメント間の差分合計値の増加を抑制することができるので、追跡精度の低下を防ぐことができる。被写体追跡装置１は、第１のセグメントに第２のセグメント（補助セグメント）を追加するだけで、追跡精度の低下を防ぐことができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、追跡対象フレームの数は、複数でもよい。被写体追跡装置１は、参照フレームの部分領域の画像特徴量のヒストグラムと、複数の追跡対象フレームの部分領域の画像特徴量のヒストグラムとの差分合計値が最小となる部分領域を検出してもよい。追跡対象フレームでは、複数の被写体領域が追跡されてもよい。入力フレームにおける領域（部分）の形状は、矩形でなくてもよく、円形等の任意の形状でもよい。

本発明は、画像処理システムに適用可能である。

１…被写体追跡装置、１０…プロセッサ、１１…メモリ、１２…入力記憶部、１３…記憶装置、１４…出力記憶部、１５…インタフェース、１６…バス、１０１…抽出部、１０２…第１ヒストグラム生成部、１０３…位置・サイズ生成部、１０４…第２ヒストグラム生成部、１０５…差分導出部、１０６…領域選択部、１０７…出力部、２００…ヒストグラム生成部、２０１…特徴量変換部、２０２…セグメント分割部、２０３…出現数導出部、２０４…正規化部、２０５…ヒストグラム出力部、３００…部分領域、３０１…特徴量変換部、３０２…セグメント分割部、３０３…補助セグメント分割部、３０４…出現数導出部、３０５…正規化部、３０６…ヒストグラム出力部、４００…部分領域、５００…部分領域

Claims (6)

1. 被写体領域の画像特徴量の出現頻度を前記画像特徴量のセグメントごと及び補助セグメントごとに表す第１ヒストグラムを生成する第１ヒストグラム生成部と、
   候補領域の画像の前記画像特徴量の出現頻度を前記画像特徴量の前記セグメントごと及び前記補助セグメントごとに表す第２ヒストグラムを前記候補領域ごとに生成する第２ヒストグラム生成部と、
   前記第１ヒストグラムと前記第２ヒストグラムとを前記セグメントごと及び前記補助セグメントごとに比較し、前記第１ヒストグラムと前記第２ヒストグラムとの前記画像特徴量の出現頻度の差分値の合計である差分合計値を前記候補領域ごとに導出する差分導出部と、
   前記差分合計値が最小である前記候補領域を各前記候補領域のうちから選択する領域選択部と
   を備え、
   前記補助セグメントは、前記セグメント間の境界を跨ぐように定められる、
   被写体追跡装置。
2. 前記被写体領域は、第１フレーム画像の部分領域であり、
   前記候補領域は、第２フレーム画像の部分領域である、
   請求項１に記載の被写体追跡装置。
3. 前記補助セグメント群は、前記被写体領域と前記候補領域とにおける全ての前記境界を跨ぐように定められる、
   請求項１又は請求項２に記載の被写体追跡装置。
4. 少なくとも１個の前記補助セグメントは、２個以上の前記境界を跨ぐように定められる、
   請求項３に記載の被写体追跡装置。
5. 被写体追跡が実行する被写体追跡方法であって、
   被写体領域の画像特徴量の出現頻度を前記画像特徴量のセグメントごと及び補助セグメントごとに表す第１ヒストグラムを生成するステップと、
   候補領域の画像の前記画像特徴量の出現頻度を前記画像特徴量の前記セグメントごと及び前記補助セグメントごとに表す第２ヒストグラムを前記候補領域ごとに生成するステップと、
   前記第１ヒストグラムと前記第２ヒストグラムとを前記セグメントごと及び前記補助セグメントごとに比較し、前記第１ヒストグラムと前記第２ヒストグラムとの前記画像特徴量の出現頻度の差分値の合計である差分合計値を前記候補領域ごとに導出するステップと、
   前記差分合計値が最小である前記候補領域を各前記候補領域のうちから選択するステップとを有し、
   前記補助セグメントは、前記セグメント間の境界を跨ぐように定められる、
   被写体追跡方法。
6. 請求項１から請求項４のいずれか一項に記載の被写体追跡装置としてコンピュータを機能させるためのプログラム。

Images