JP2017068815A - アテンション検出装置及びアテンション検出方法 - Google Patents

Abstract

【課題】動画像のアテンション検出において、実装が容易で且つ信頼性に優れた新規なアルゴリズムを提供する。【解決手段】アテンション検出装置が、動画像内の局所領域について、前記局所領域内の画像の空間的かつ時間的な変化を表す特徴量である、時空間特徴量を抽出する特徴抽出部と、ハッシュ関数を用いて、前記局所領域の時空間特徴量の値をハッシュ値に変換し、且つ、学習により予め得られた時空間特徴量の学習値が各ハッシュ値に対応するエントリとして登録されているハッシュテーブルを用いて、前記局所領域のハッシュ値に対応する学習値を選択するハッシング部と、前記局所領域の時空間特徴量の値と前記選択された学習値との間の距離に基づいて、前記距離が大きいほどアテンション度合が大きくなるように、前記局所領域のアテンション度合を決定するアテンション度合決定部と、を有する。【選択図】図１

Description

本発明は、動画像において視覚的注意（visual attention）を惹くと予測される領域を検出する技術に関する。

画像解析によって、画像のなかで人の視覚的注意を惹くと予測される領域、あるいは非正常な領域（このような領域をアテンション領域と呼ぶ。）を自動で検出する技術が知られている（例えば特許文献１参照）。この種の技術は、アテンション検出（visual attention detection）、顕著性検出（saliency detection）などと呼ばれ、コンピュータビジョンなどの分野における重要な要素技術として大きな注目を集めている。特に、動画像を対象としたアテンション検出は、例えば、監視カメラによる異常や不正の検出、車両やロボットの自動運転など、様々な分野への応用が期待されている。

アテンション検出のアルゴリズムは、一般に、モデルベースの手法と学習ベースの手法に大別される。モデルベースの手法とは、非正常と判断すべき画像特徴をモデルとして与え、そのような画像特徴をもつ領域を画像の中から検出する手法である。しかしながら、未知の非正常状態を仮定することは簡単ではなく、現実世界で発生する様々な事象に対応可能なモデルを実装することは極めて難しい。一方、学習ベースの手法は、大量の学習データを用いて、正常又は非正常と判断すべき画像特徴を学習する手法である。学習ベースの手法は、モデルや仮説が必要なく、より簡単に高精度な検出器を構築できるという利点がある。しかしながら、この手法は学習データの依存度が高いため、学習データが適切でないと検出精度が低下するという問題がある。また、適切な学習データを用いて事前学習を行った場合であっても、時間の経過とともに観察対象、状況、環境などが変化し、学習した知識が適切でなくなるケースもある。そのような場合は、現在の状況に則した新たな学習データを用意し再学習を行う必要があり、メンテナンスが面倒である。

特開２０１０−２５８９１４号公報

本発明は上記実情に鑑みなされたものであって、動画像のアテンション検出において、実装が容易で且つ信頼性に優れた新規なアルゴリズムを提供することを目的とする。

また本発明の別の目的は、動画像のアテンション検出において、対象や環境などの変化に柔軟に適応可能なアルゴリズムを提供することである。

上記目的を達成するために、本発明は以下の構成を採用する。

具体的には、本発明に係るアテンション検出装置は、動画像において視覚的注意を惹くと予測される領域を検出するためのアテンション検出装置であって、動画像内の局所領域について、前記局所領域内の画像の空間的かつ時間的な変化を表す特徴量である、時空間特徴量を抽出する特徴抽出部と、ハッシュ関数を用いて、前記局所領域の時空間特徴量の値をハッシュ値に変換し、且つ、学習により予め得られた時空間特徴量の学習値が各ハッシュ値に対応するバケットに登録されているハッシュテーブルを用いて、前記局所領域の
ハッシュ値に対応する学習値を選択するハッシング部と、前記局所領域の時空間特徴量の値と前記選択された学習値との間の距離に基づいて、前記距離が大きいほどアテンション度合が大きくなるように、前記局所領域のアテンション度合を決定するアテンション度合決定部と、を有することを特徴とする。

「時空間特徴量」は、動画像内の被写体の動き・変化を数値化した指標といえる。それゆえ、「時空間特徴量の学習値」は、被写体の動き・変化の通常の状態（正常値）を表しており、一方、「局所領域の時空間特徴量の値」は、処理対象の動画像から検出された被写体の動き・変化、つまり現在の状態を表している。したがって、「局所領域の時空間特徴量の値」と「選択された学習値」との間の距離の大きさを評価することは、被写体の動き・変化の現在の状態が通常の状態からどの程度異なるかを評価することと等価である。一般に、通常の状態と異なる動き・変化をするものは人の視覚的注意を惹きやすい傾向にある。よって、本発明のように、「局所領域の時空間特徴量の値」と「選択された学習値」との間の距離の大きさに基づきアテンション度合を決定することで、アテンション領域を精度良く検出（推定）することが可能である。

また、本発明では、時空間特徴量の学習値が各ハッシュ値に対応するバケットに登録されているハッシュテーブルを用いて、局所領域のハッシュ値に対応する学習値を選択する。これにより、全ての学習値の中から、局所領域の時空間特徴量の値と比較すべき学習値分布を、簡単かつ高速に選択することができる。

さらに、本発明によれば、従来のモデルベースの手法のように複雑なモデルを設計する必要がなく、学習によってハッシュテーブルに学習値を登録するだけでよい。したがって、アテンション検出装置の実装の容易化を図ることができる。また、ハッシュテーブルを更新するだけで、対象や環境などの変化に柔軟に適応可能である、という利点もある。

前記学習値は、前記動画像と同じ撮影対象及び同じ撮影条件で撮影された所定期間分の動画像から抽出された時空間特徴量の値であるとよい。このように学習用動画像を選ぶことにより、動画像内の被写体の動き・変化の通常の状態（正常値）を適切に学習することができる。

前記ハッシング部は、複数のハッシュテーブルを有しており、前記アテンション度合決定部は、前記複数のハッシュテーブルをそれぞれ用いて複数のアテンション度合を計算し、前記複数のアテンション度合を統合することによって最終的なアテンション度合を決定するとよい。学習値の分布の偏りやハッシュ関数の偏りなどが原因で、アテンション度合の計算結果の信頼性が低下する可能性がある。そこで、上記のように複数のハッシュテーブルを用い、複数の計算結果を統合することで、アテンション検出の信頼性を向上することができる。

前記局所領域の時空間特徴量の値を新たな学習値として前記ハッシュテーブルに登録することによって、前記ハッシュテーブルを更新するハッシュテーブル更新部をさらに有するとよい。これにより、ハッシュテーブルが現在の状態（局所領域の時空間特徴量の値）を追加学習するので、アテンション検出の信頼性をさらに向上することができる。

前記ハッシュテーブル更新部は、登録されている学習値の数が閾値より小さいバケットを削除することによって、前記ハッシュテーブルを更新することもできる。学習値の少ないバケットを用いると、アテンション度合の推定誤差が大きくなる可能性がある。それゆえ、学習値の少ないバケットを削除し、アテンション度合の計算に用いられないようにすることで、アテンション検出の信頼性及び安定性を向上することができる。

前記動画像のフレーム内の動く領域を前景領域として抽出する前景抽出部と、前記アテンション度合決定部により決定されたアテンション度合の情報と、前記前景抽出部により抽出された前景領域の情報とから、前記前景領域内のアテンション度合が均一になるよう修整したアテンションマップを生成するアテンションマップ修整部と、をさらに有するとよい。このように、前景領域（動く領域）の単位でアテンション度合を出力することで、アテンション検出の信頼性をより向上することができる。

なお、本発明は、上記構成ないし機能の少なくとも一部を有するアテンション検出装置として捉えることができる。また本発明は、上記処理の少なくとも一部を含むアテンション検出方法として捉えることができる。さらに、本発明は、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、動画像のアテンション検出において、実装が容易で且つ信頼性に優れた新規なアルゴリズムを提供することができる。また、動画像のアテンション検出において、対象や環境などの変化に柔軟に適応可能なアルゴリズムを提供することができる。

図１は第１実施形態のアテンション検出装置の機能構成を示すブロック図。 図２は入力動画像と局所画像と画像ブロックの関係を模式的に示す図。 図３はＨＯＦの概念を示す図。 図４はＬＳＨのハッシュ関数の概念を示す図。 図５Ａはハッシュテーブルの概念を示す図、図５Ｂはハッシュテーブルとハッシュ関数とエントリの関係を模式的に示す図。 図６はハッシュテーブルの学習処理のフローチャート。 図７はアテンション検出処理のフローチャート。 図８はアテンション度合の計算式を説明するための図。 図９は動画像とアテンションマップの例を示す図。 図１０は第２実施形態のアテンション検出装置の機能構成を示すブロック図。 図１１は前景領域情報によるアテンションマップの修整を説明するための図。 図１２は第３実施形態のアテンション検出装置の機能構成を示すブロック図。

本発明は、コンピュータによる画像解析によって、動画像において視覚的注意を惹くと予測される領域（アテンション領域）を自動で検出するアテンション検出アルゴリズムに関する。アテンション検出の結果であるアテンション情報は、例えば、ピクセルごと又は小領域ごとのアテンション度合の分布を表すアテンションマップ、又は、アテンションマップを所定の閾値で二値化した二値画像の形式で出力される。このようなアテンション情報は、コンピュータビジョンアプリケーション（例えば、画像の領域分割（セグメンテーション）、画像分類、シーン解釈、画像圧縮、顔認識、物体認識）の前処理など、様々な用途に好ましく利用される。

本発明に係るアテンション検出アルゴリズムの特徴の一つは、画像特徴の評価及びアテンション度合の評価に、ハッシング技術を応用した点である。ハッシングは、データの検索、暗号化、電子認証などの分野で従来から用いられている技術ではあるが、これをアテ
ンション検出に適用した例はない。

以下に、本発明に係るアテンション検出アルゴリズムの具体的な実施形態の一例を、図面を用いて説明する。ただし、以下に述べる実施形態は本発明の好適な構成例を示すものであり、本発明の範囲をその構成例に限定する趣旨のものではない。

＜第１実施形態＞
（装置構成）
図１は、本発明の第１実施形態に係るアテンション検出装置の機能構成を示すブロック図である。図１のアテンション検出装置１は、主な構成として、動画像取得部１０、画像分割部１１、特徴抽出部１２、ハッシング部１３、アテンション度合決定部１４、記憶部１５を有する。

動画像取得部１０は、検査対象となる動画像を取得する機能を有する。動画像取得部１０は、撮像装置（ビデオカメラ）から動画像データを取り込んでもよいし、記憶装置やネットワーク上のサーバなどから動画像データを読み込んでもよい。本実施形態では、監視カメラから取り込まれる３０ｆｐｓのグレースケール動画像を用いる。ただし、動画像の形式はこれに限られず、カラーの動画像を用いてもよい。取得された入力動画像は、記憶部１５に記憶される。

画像分割部１１は、入力動画像を時間方向（ｔ）と空間方向（ｘ、ｙ）に分割して、複数の画像ブロックを生成する機能を有する。ここで、画像ブロックとは、複数フレーム分の同じ空間位置の局所画像から構成される画像セットであり、キューボイド（cuboid）又は時空間画像（spatio-temporal image）とも呼ばれる。画像ブロックは、入力動画像中
のある局所領域内のある局所時間分の動画像を切り出したものといえる。本実施形態では、画像の空間的かつ時間的な変化をとらえるために、画像ブロック単位で画像特徴の抽出及び評価を行う。図２に、入力動画像２０、局所画像２１、画像ブロック２２の関係を模式的に示す。例えば、入力動画像２０が３０ｆｐｓ・ＶＧＡ（６４０ピクセル×４８０ピクセル）・１分間の動画像であり、画像ブロック２２のサイズが５ピクセル×５ピクセル×５フレームであった場合、入力動画像２０は７３７２８個の画像ブロック２２に分割されることとなる。

特徴抽出部１２は、各画像ブロック２２から時空間特徴量を抽出する機能を有する。時空間特徴量とは、画像の空間的な変化と時間的な変化の両方を表す画像特徴をいい、動画像内の被写体（人、物体など）の動きや変化を数値化した指標である。本実施形態では時空間特徴量としてＨＯＦ（Histogram of Optical Flow）を利用するが、本アルゴリズム
には、モーションベクトルなど他の時空間特徴量を用いてもよい。

図３に、ＨＯＦの概念を示す。特徴抽出部１２は、画像ブロック２２の各フレームから特徴点３０を検出し、フレーム間での特徴点３０の対応をとることで、各特徴点３０の動きを検出する。この特徴点３０の動きはオプティカルフロー（Optical Flow）３１と呼ばれる。そして、特徴抽出部１２は、各特徴点３０のオプティカルフロー３１の方向（角度）θと速さ（強度）ｖを求め、方向θ及び速さｖを横軸とするヒストグラム３２に度数をプロットする。このような操作により、画像ブロック２２から抽出された複数のオプティカルフロー３１が１つのヒストグラム３２に変換される。このヒストグラム３２がＨＯＦである。例えば、方向θを８ビン、速さｖを１０ビンに分けた場合、ＨＯＦは１８次元の特徴量ベクトルとなる。

ハッシング部１３は、ハッシュ関数を用いて時空間特徴量の値をハッシュ値に変換する機能と、ハッシュテーブルを参照してハッシュ値に対応するエントリを取得する機能とを
有する。

ハッシュ関数は、入力されたデータ（本実施形態ではＨＯＦ）を単純なビット列からなるハッシュ値へと変換する関数である。ハッシュ関数には従来より様々なものが提案されており、本アルゴリズムにはどのようなハッシュ関数を用いてもよい。以下では、ハッシュ関数としてＬＳＨ（Locality-sensitive hashing）を利用する例を説明する。ＬＳＨは、ハッシュ関数の生成に教師信号が不要である、処理が高速である、類似のデータが同じハッシュ値に変換される確率が高い、などの利点を有しており、本実施形態で扱うような動画像のリアルタイム解析には特に有効である。

図４に、ＬＳＨのハッシュ関数の概念を示す。ＬＳＨのハッシュ関数ｇ（ｘ）は、ｎ次元の特徴量空間上にランダムに配置されたｋ個の超平面ｈ_１（ｘ）〜ｈ_ｋ（ｘ）で構成される。説明の便宜から、図４にはｎ＝２、ｋ＝５の例を示す（この場合、超平面は直線となる）が、実装するプログラムでは、特徴量空間の次元数ｎは数次元から数百次元となり、超平面の数ｋは数十個から数百個となる。

特徴量の値ｘ（ｘはｎ次元ベクトル）が入力されると、ハッシング部１３は、値ｘが超平面ｈ_１（ｘ）に対し正側にあるか負側にあるかを判定し、値ｘの超平面ｈ_１（ｘ）に対する位置を１（正側）か０（負側）で符号化する。ハッシング部１３は、残りの超平面ｈ_２（ｘ）〜ｈ_ｋ（ｘ）に関しても同様の判定を行い、得られたｋ個の符号を組み合わせることで、ｋビットのハッシュ値を生成する。図４の例では、値ｘ１は、ｈ_１（ｘ）、ｈ_３（ｘ）、ｈ_４（ｘ）に対して負側にあり、ｈ_２（ｘ）、ｈ_５（ｘ）に対して正側にあるため、値ｘ１のハッシュ値は「０１００１」となる。また、値ｘ２は、ｈ_２（ｘ）、ｈ_３（ｘ）に対して負側にあり、ｈ_１（ｘ）、ｈ_４（ｘ）、ｈ_５（ｘ）に対して正側にあるため、値ｘ２のハッシュ値は「１００１１」となる。

図５Ａに、ハッシュテーブルの概念を示す。ハッシュテーブルは、複数のバケットから構成される配列データであり、各バケットには、インデックスとしてのハッシュ値とそのハッシュ値に対応するエントリとが登録されている。本実施形態では、ハッシュ値に対応するエントリとして、そのハッシュ値を与える時空間特徴量のサンプルデータが各バケットに登録される。サンプルデータは、例えば、動画像を用いた学習によって取得・蓄積されたデータである。

図５Ｂは、ハッシュテーブルとハッシュ関数とエントリの関係を模式的に示している。ハッシュ関数（超平面ｈ_１（ｘ）〜ｈ_ｋ（ｘ））によって区分けされたサブ空間がハッシュテーブルのバケットに対応し、サブ空間内にプロットされたサンプルデータがバケットに登録されるエントリに対応する。図５Ｂから分かるように、１つのバケットには２個以上のエントリを登録することも可能であるし、逆に、エントリを１つも含まないバケットも存在し得る。

アテンション度合決定部１４は、ハッシングの結果を用いて各画像ブロック２２のアテンション度合を決定し、アテンションマップを生成する機能を有する。アテンション度合決定部１４の機能の詳細については後述する。

アテンション検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。図１に示したアテンション検出装置１の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現される。ただし、アテンション検出装置１の一部又は全部の機能をＡＳＩＣやＦＰＧＡなどの回路で実現することもできる。あるいは、アテンション検出装置１の一部の機能をクラウドコンピューティングや分
散コンピューティングにより実現してもよい。

（ハッシュテーブルの学習）
図６を参照して、アテンション検出装置１が実行するハッシュテーブルの学習処理の詳細を説明する。図６は、ハッシュテーブルの学習処理のフローチャートである。この処理は、例えば、アテンション検出装置１の設置時や運用開始時などのタイミングで、新規のハッシュ関数及びハッシュテーブルを生成するために実行される。

ステップＳ６００では、動画像取得部１０が学習用動画像を取得する。学習用動画像としては、後述するアテンション検出において処理対象とする動画像と、同じ撮影対象（場所、被写体など）及び同じ撮影条件（アングル、倍率、露出、フレームレートなど）で撮影された所定期間分の動画像を用いるとよい。このように学習用動画像を選ぶことにより、動画像内の被写体の動き・変化の通常の状態（正常値）を学習できるからである。例えば、アテンション検出装置１を監視カメラによる異常検出に適用するのであれば、監視カメラで撮影された数時間から数日分の動画像を用いればよい。

ステップＳ６０１では、画像分割部１１が、学習用動画像を画像ブロックに分割する（図２参照）。ステップＳ６０２では、特徴抽出部１２が、各画像ブロックの特徴量を計算する。ここで計算された特徴量データは記憶部１５に蓄積される。なお、ステップＳ６０１及びＳ６０２の処理は、必要なフレーム数（図２の例では５フレーム）の動画像データが読み込まれるたびに、逐次実行してもよい。

以上のようにして学習用特徴量データが得られたら、ハッシュ関数及びハッシュテーブルの生成処理に移行する。本実施形態では、ハッシング処理の信頼性向上のため、同じ学習用特徴量データから複数セットのハッシュ関数及びハッシュテーブルを生成する。

まず、ハッシング部１３は、ハッシュ関数（つまり、ｋ個の超平面）をランダムに生成する（ステップＳ６０３）とともに、ハッシュテーブル用にバケット数２^ｋ個の配列を新規生成し、各バケットを初期化する（ステップＳ６０４）。続いて、ハッシング部１３は、学習用特徴量データから１つの値（学習値と呼ぶ）を取り出し、その学習値をステップＳ６０３で生成したハッシュ関数でハッシュ値に変換する（ステップＳ６０５）。そして、ハッシング部１３は、ステップＳ６０５で得られたハッシュ値に該当するバケットに、その学習値を登録する（ステップＳ６０６）。ステップＳ６０５、Ｓ６０６の処理を学習用特徴量データに含まれる全ての学習値について実行したら（ステップＳ６０７）、ハッシュテーブルの完成である。

そして、ステップＳ６０３〜Ｓ６０７の処理をＬ回繰り返すことで、Ｌセットのハッシュ関数及びハッシュテーブルが得られる。Ｌの値は、実験ないし経験によって任意に定めることができる（本実施形態ではＬ＝１０とする）。以上でハッシュテーブルの学習処理は完了である。

（アテンション検出）
図７を参照して、アテンション検出装置１が実行するアテンション検出処理の詳細を説明する。図７は、アテンション検出処理のフローチャートである。この処理は、アテンション検出装置１の運用中に連続的又は定期的に実行される。

ステップＳ７００では、動画像取得部１０が処理対象の動画像データを取得する。例えば、監視カメラから５フレーム分の動画像データが取り込まれる。ステップＳ７０１では、画像分割部１１が、動画像データを画像ブロックに分割する（図２参照）。ステップＳ７０２では、特徴抽出部１２が、各画像ブロックの特徴量を計算する。ここで計算された
特徴量のデータは記憶部１５に蓄積される。

続くステップＳ７０３〜Ｓ７０８の処理は、動画像内の各々の画像ブロックに対し順番に実行される。以後、処理対象の画像ブロックを「対象ブロック」と呼ぶ。

まず、ハッシング部１３は、ｉ番目（ｉ＝１〜Ｌ）のハッシュ関数を用いて、対象ブロックの特徴量の値をハッシュ値に変換する（ステップＳ７０３、Ｓ７０４）。続いて、ハッシング部１３は、ｉ番目のハッシュテーブルから、対象ブロックのハッシュ値に対応するバケットのエントリ（学習値）を取得する（ステップＳ７０５）。もし、ハッシュ値に対応するバケットに学習値が１つも含まれていない（空バケットと呼ぶ）場合には、空バケットの代わりに、対象ブロックの特徴量の値に最も近い学習値を含むバケット（隣接バケットと呼ぶ）のエントリを取得するとよい。ステップＳ７０５で取得された学習値を、以後、「対応学習値」と呼ぶ。対応学習値は、複数の学習値を含むことがほとんどであるが、１つの学習値のみの場合もあり得る。

次に、アテンション度合決定部１４が、対象ブロックの特徴量の値と対応学習値との間の特徴量空間上での距離に基づいて、対象ブロックのアテンション度合を求める（ステップＳ７０６）。本実施形態では、下記式により、対象ブロックのアテンション度合Ａ_ｉ（ｚ）が計算される。

ここで、ｉはハッシュテーブルの番号であり、ｉ＝１〜Ｌである。ｚは対象ブロックの特徴量の値（特徴量ベクトル）である。ｃ_ｍは対応学習値分布の中心（重心）であり、ｒ_ｍは対応学習値分布の中心（重心）と最外学習値との間の距離である（図８参照）。

適用するハッシュ関数及びハッシュテーブルを変えながら、ステップＳ７０３〜Ｓ７０６の処理を繰り返すことで、Ｌ個のアテンション度合Ａ_１（ｚ）〜Ａ_Ｌ（ｚ）が計算される（ステップＳ７０７）。最後に、アテンション度合決定部１４は、各ハッシュテーブルで得られたアテンション度合Ａ_１（ｚ）〜Ａ_Ｌ（ｚ）を統合することによって、最終的なアテンション度合Ａ（ｚ）を計算する（ステップＳ７０８）。統合方法は任意であるが、本実施形態では、下記式のような重み付け加算を用いる。

α_ｉは重みであり、実験ないし経験に基づいて適宜設定することができる。例えば、ハッシュテーブルの信頼性を評価し、信頼性の低いハッシュテーブルの重みは小さく、信頼性の高いハッシュテーブルの重みは大きく設定してもよい。ハッシュテーブルの信頼性は、例えば、各バケット内の学習値分布、バケット間の学習値分布の分離度、バケット間の学習値の数の偏りなどで評価することができる。もちろん、α_１，…，α_Ｌ＝１／Ｌのように全ての重みを等しくしてもよい。

動画像の全ての画像ブロックについてアテンション度合Ａ（ｚ）を求めたら、アテンション度合決定部１４は、アテンションマップを生成する。図９に、動画像９０とアテンシ
ョンマップ９１の一例を示す。アテンションマップ９１では、画像ブロック毎のアテンション度合がグレースケールで表されており、明るい（白色に近い）画像ブロックほどアテンション度合が高いことを示している。動画像９０には動く物体として人９２と物体（自動車）９３が写っているが、アテンションマップ９１をみると、人９２の領域のみアテンション度合が大きくなっている。例えば、高速道路の監視カメラの動画像の場合、走行する自動車が画像に写るのは通常（正常）であるが、歩いている人が写るのはおかしい（非正常）。そのような場合には、非正常な動きが検出された人９２の領域のみ、アテンション度合が大きくなる。このようなアテンションマップは、記憶部１５に保存され、又は、外部装置に出力され、物体認識や画像認識などの各種コンピュータビジョンアプリケーションに利用される。

（本実施形態の利点）
ハッシュテーブルに登録されている学習値は、被写体の動き・変化の通常の状態（正常値）を表しており、一方、対象ブロックの特徴量の値は、処理対象の動画像から検出された被写体の動き・変化、つまり現在の状態を表している。したがって、対象ブロックの特徴量の値と対応学習値との間の特徴量空間上での距離の大きさを評価することは、被写体の動き・変化の現在の状態が通常の状態からどの程度異なるかを評価することと等価である。一般に、通常の状態と異なる動き・変化をするものは人の視覚的注意を惹きやすい傾向にある。よって、本実施形態のアテンション検出アルゴリズムによれば、アテンション領域を精度良く検出（推定）することが可能である。

また、本実施形態では、時空間特徴量の学習値が各ハッシュ値に対応するバケットに登録されているハッシュテーブルを用いて、対象ブロックのハッシュ値に対応する学習値を選択する。これにより、全ての学習値の中から、対象ブロックの時空間特徴量の値と比較すべき学習値分布を、簡単かつ高速に選択することができる。

また、本実施形態によれば、従来のモデルベースの手法のように複雑なモデルを設計する必要がなく、学習によってハッシュテーブルに学習値を登録するだけでよい。したがって、アテンション検出装置の実装の容易化を図ることができる。また、ハッシュテーブルを更新するだけで、対象や環境などの変化に柔軟に適応可能である、という利点もある。さらに、本実施形態では、複数のハッシュテーブルを用い、複数の計算結果を統合して最終的なアテンション度合を求めるため、学習値の分布の偏りやハッシュ関数の偏りなどに起因する信頼性の低下を抑え、高信頼のアテンション検出を実現することができる。

＜第２実施形態＞
第１実施形態で得られるアテンションマップは画像ブロック単位のアテンション度合で構成されるため、図９に示すように、アテンション度合の分布と、動画像中の人９２や物体９３の領域とが一致しない場合がある。しかし、通常、視覚的注意は、人や物体に向けられることが多いため、画像ブロック単位でなく、人や物体の領域単位でアテンション度合を出力することが好ましい。そこで、第２実施形態では、動画像の前景領域を抽出し、その前景領域に従ってアテンションマップを修整する構成を採用する。

図１０は、本実施形態のアテンション検出装置１の機能構成を示すブロック図である。第１実施形態（図１）との違いは、前景抽出部１６及びアテンションマップ修整部１７を有する点である。その他の構成については第１実施形態のものと同じである。

前景抽出部１６は、動画像のフレーム内の「動く領域」を前景領域として抽出する機能を有する。具体的には、前景抽出部１６は、特徴抽出部１２が時空間特徴量を計算する際に求めたオプティカルフローを用い、オプティカルフローの強度（速さ）が閾値以上の領域を前景領域と判定する。オプティカルフローを流用することで、前景抽出に必要な計算
量を小さくでき、処理の高速化を図ることができる。なお、本実施形態のアルゴリズムに比べて計算量は大きくなるが、ビデオセグメンテーションやモーションクラスタリングなどの前景抽出アルゴリズムを用いてもよい。

アテンションマップ修整部１７は、前景抽出部１６で得られた前景領域情報に基づき、各々の前景領域内のアテンション度合が均一となるよう、アテンションマップを修整する機能を有する。具体的には、アテンションマップ修整部１７は、１つの前景領域に複数の画像ブロックがオーバーラップする場合、それらの画像ブロックのアテンション度合のうちの最大値を当該前景領域のアテンション度合に設定する。

図１１は、動画像９０、アテンションマップ９１、前景領域情報９４、修整後のアテンションマップ９５の例を示している。アテンション度合がスムージングされ、領域単位でアテンション度合の均一化が図られていることがわかる。このように、本実施形態によれば、前景領域（動く領域）の単位でアテンション度合を出力することができるため、アテンション検出の信頼性をより向上することができる。

＜第３実施形態＞
図１２は、本発明の第３実施形態に係るアテンション検出装置１の機能構成を示すブロック図である。第１実施形態（図１）との違いは、ハッシュテーブル更新部１８を有する点である。その他の構成については第１実施形態のものと同じである。

ハッシュテーブル更新部１８は、ハッシュテーブルのオンライン更新を行う機能を有する。ここで、「オンライン」とは「アテンション検出装置の運用中（稼働中）に」という意味である。具体的には、ハッシュテーブル更新部１８は、定期的（例えば、３０分に１回、１日に１回、１週間に１回など）に、以下に述べる「追加」と「削除」の２種類の更新操作を行う。

（追加）
追加とは、処理対象の動画像から得られた時空間特徴量の値を新たな学習値としてハッシュテーブルに登録する更新操作である。このような更新操作により、ハッシュテーブルが現在の状態を追加学習するので、アテンション検出の信頼性を向上することができる。

処理対象の動画像から得られる全ての値をハッシュテーブルに追加してもよいが、ハッシュテーブルの登録エントリ数が膨大になると、記憶容量の圧迫や処理速度の低下などの問題が生じる。したがって、全ての値を追加するのではなく、所定の条件を満たしたものだけを追加することが好ましい。

例えば、図７のステップＳ７０５では、対象ブロックのハッシュ値に対応するバケットが空バケットであった場合、空バケットの代わりに隣接バケットに含まれる学習値を用いてアテンション度合Ａ（ｚ）が計算される。このとき、アテンション度合Ａ（ｚ）が閾値ＴＨａより小さかったら（つまり、対象ブロックが正常な動きと判定されたら）、記憶部１５がこの対象ブロックの特徴量の値を一時的に保持する。このように、空バケットに属するが「正常」と判定される特徴量の値が一定数以上溜まったら、ハッシュテーブル更新部１８は、それらの特徴量の値をハッシュテーブルの空バケットに登録する。これにより、アテンション度合の計算に用いられるバケットが増えるため、ハッシングの信頼性、ひいてはアテンション検出の信頼性を向上できる。

（削除）
削除とは、登録されている学習値の数が閾値Ｔｂより小さいバケットを削除する更新操作である。「バケットを削除する」とは、バケットに登録されている学習値をすべて削除
する（空バケットにする）、という意味である。学習値の少ないバケットを用いると、アテンション度合の推定誤差が大きくなる可能性がある。それゆえ、学習値の少ないバケットを削除し、アテンション度合の計算に用いられないようにすることで、アテンション検出の信頼性及び安定性を向上することができる。

以上述べたように、本実施形態によれば、ハッシュテーブルの自動オンライン更新が実現できるため、対象や環境などの変化に柔軟に適応することができる。

＜その他＞
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。例えば、第３実施形態で述べたオンライン更新の機能を第２実施形態の装置に組み合わせてもよい。また、第３実施形態では、既存のハッシュテーブルに対し学習値の追加／削除を行うだけであったが、記憶部１５に蓄積した特徴量の値を使って新たにハッシュテーブルを生成してもよい。

１：アテンション検出装置、１０：動画像取得部、１１：画像分割部、１２：特徴抽出部、１３：ハッシング部、１４：アテンション度合決定部、１５：記憶部、１６：前景抽出部、１７：アテンションマップ修整部、１８：ハッシュテーブル更新部
２０：入力動画像、２１：局所画像、２２：画像ブロック
３０：特徴点、３１：オプティカルフロー、３２：ヒストグラム
９０：動画像、９１：アテンションマップ、９２：人、９３：物体、９４：前景領域情報、９５：アテンションマップ

Claims (7)

1. 動画像において視覚的注意を惹くと予測される領域を検出するためのアテンション検出装置であって、
   動画像内の局所領域について、前記局所領域内の画像の空間的かつ時間的な変化を表す特徴量である、時空間特徴量を抽出する特徴抽出部と、
   ハッシュ関数を用いて、前記局所領域の時空間特徴量の値をハッシュ値に変換し、且つ、学習により予め得られた時空間特徴量の学習値が各ハッシュ値に対応するバケットに登録されているハッシュテーブルを用いて、前記局所領域のハッシュ値に対応する学習値を選択するハッシング部と、
   前記局所領域の時空間特徴量の値と前記選択された学習値との間の距離に基づいて、前記距離が大きいほどアテンション度合が大きくなるように、前記局所領域のアテンション度合を決定するアテンション度合決定部と、
   を有することを特徴とするアテンション検出装置。
2. 前記学習値は、前記動画像と同じ撮影対象及び同じ撮影条件で撮影された所定期間分の動画像から抽出された時空間特徴量の値である
   ことを特徴とする請求項１に記載のアテンション検出装置。
3. 前記ハッシング部は、複数のハッシュテーブルを有しており、
   前記アテンション度合決定部は、前記複数のハッシュテーブルをそれぞれ用いて複数のアテンション度合を計算し、前記複数のアテンション度合を統合することによって最終的なアテンション度合を決定する
   ことを特徴とする請求項１又は２に記載のアテンション検出装置。
4. 前記局所領域の時空間特徴量の値を新たな学習値として前記ハッシュテーブルに登録することによって、前記ハッシュテーブルを更新するハッシュテーブル更新部をさらに有する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載のアテンション検出装置。
5. 前記ハッシュテーブル更新部は、登録されている学習値の数が閾値より小さいバケットを削除することによって、前記ハッシュテーブルを更新する
   ことを特徴とする請求項４に記載のアテンション検出装置。
6. 前記動画像のフレーム内の動く領域を前景領域として抽出する前景抽出部と、
   前記アテンション度合決定部により決定されたアテンション度合の情報と、前記前景抽出部により抽出された前景領域の情報とから、前記前景領域内のアテンション度合が均一になるよう修整したアテンションマップを生成するアテンションマップ修整部と、
   をさらに有する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載のアテンション検出装置。
7. 動画像において視覚的注意を惹くと予測される領域を検出するためのアテンション検出方法であって、
   動画像内の局所領域について、前記局所領域内の画像の空間的かつ時間的な変化を表す特徴量である、時空間特徴量を抽出するステップと、
   ハッシュ関数を用いて、前記局所領域の時空間特徴量の値をハッシュ値に変換するステップと、
   学習により予め得られた時空間特徴量の学習値が各ハッシュ値に対応するバケットに登録されているハッシュテーブルを用いて、前記局所領域のハッシュ値に対応する学習値を選択するステップと、
   前記局所領域の時空間特徴量の値と前記選択された学習値との間の距離に基づいて、前記距離が大きいほどアテンション度合が大きくなるように、前記局所領域のアテンション度合を決定するステップと、
   を有することを特徴とするアテンション検出方法。

Images