JP2010257344A - 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体 - Google Patents

視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2010257344A
JP2010257344A JP2009108468A JP2009108468A JP2010257344A JP 2010257344 A JP2010257344 A JP 2010257344A JP 2009108468 A JP2009108468 A JP 2009108468A JP 2009108468 A JP2009108468 A JP 2009108468A JP 2010257344 A JP2010257344 A JP 2010257344A
Authority
JP
Japan
Prior art keywords
line
basic attention
image
probability density
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009108468A
Other languages
English (en)
Inventor
Shogo Kimura
昭悟 木村
Hirokazu Kameoka
弘和 亀岡
Junji Yamato
淳司 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009108468A priority Critical patent/JP2010257344A/ja
Publication of JP2010257344A publication Critical patent/JP2010257344A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】正確、かつ、高速に視線位置の推定をすることができる視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体を提供する。
【解決手段】入力映像のフレームである入力画像の中で顕著な特性を持つ空間領域を表示した基礎注目度画像を算出する過程と、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した確率的基礎注目度画像を、基礎注目度画像と、前回の確率的基礎注目度画像と、逐次更新される確率的基礎注目度母数とに基づいて算出する過程と、現在の入力画像における視線位置確率密度映像のフレームである視線位置確率密度画像を、確率的基礎注目度画像と、前回の視線位置確率密度画像と、逐次更新される視線位置確率密度母数とに基づいて算出する過程と、上述の各過程によって算出される時系列の視線位置確率密度画像を視線位置確率密度映像として出力する過程と、を有する。
【選択図】図１

Description

本発明は、映像に基づいて視線位置を推定する視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体に関する。
人間は、視覚的注意と呼ばれるメカニズムにより、網膜に写る映像の中から重要と思われる情報を瞬時に判断して、効率的に情報を獲得している。これら人間の視覚特性を計算機上で模擬することで、人間と同様に重要度に応じて情報を能動的に取捨選択する人工的な視覚システムの構築が期待される。
人間の視覚特性に基づいた視覚的注意の情報を計算機上に模擬する方法として、非特許文献１及び２に記載の方法などの技術が考案されている。非特許文献１及び２で開示されている方法は、人間の視覚的注意を確率的挙動としてモデル化し、入力された映像の各時刻・各位置について、人間が視線を向ける確率を映像のみから推定する技術である。
また、視覚特性に基づく視覚的注意の計算モデルに関して、非特許文献３に記載の方法などいくつかの方法が提案されている。非特許文献３に記載されている方法では、画像・映像の各時刻・各位置について、人間にとって重要と感じられる度合を注目度として数値化し、前記注目度の大きい順に視覚的注意が向けられる（すなわち、視線が向けられる）位置が決定されることを仮定している。
また、特許文献１には、視覚的注意の情報を注目度の時間的変動を考慮して算出する具体的な方法が開示されている。
特開２００９−３６１５号公報
Derek Pang, Akisato Kimura, Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,"A stochastic model of selective visual attention with a dynamic Bayesian network," Proc. International Conference on Multimedia and Expo (ICME2008), pp.1073-1076, Hannover, Germany, June 2008. Akisato Kimura, Derek Pang, Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,"Dynamic Markov random fields for stochastic modeling of visual attention," Proc. International Conference on Pattern Recognition (ICPR2008), Mo.BT8.35, Tampa, Florida, USA, December 2008. L. Itti et al. "A model of saliency-based visual attention for rapid scene analysis," in IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 20, Number 11, pp.1254-1259,November 1998.
しかしながら、非特許文献１及び２で開示されている方法は、予めモデルのパラメータを学習しておく必要がある。また、モデルのパラメータを学習する際に用いられる映像は、一般に入力される映像とは異なっており、入力された映像の統計的性質も異なることが想定される。この映像の統計的性質の違いに対応するために、数多くの映像を入力して学習することもできるが、入力する映像の量に応じて学習に要する計算（処理）時間も増加してしまうという問題がある。
また、非特許文献１及び２で開示されている方法は、視線位置推定そのものに要する処理時間も長いという問題がある。例えば、視線位置推定の全体の処理において、映像１フレーム当たり０．８秒から１．０秒の処理時間を要する。
また、同一の映像を視聴したとしても、人によって視線が向く位置や順序が異なることが自然であり、例え同一人物であったとしても、視線が向く位置や順序が常に一定となるとは考えにくい。しかしながら、非特許文献３に記載の方法では、ある映像を視聴したときに視線が向けられる位置が前記注目度の大きい順に決定され、その位置や順序が常に一定となるため、正確な視線位置推定が難しいという問題点がある。
本発明は、上記の課題認識に基づいてなされたものであり、入力された映像に対して確率密度のサンプル表現及びその表現を用いることによって、正確、かつ、高速に視線位置の推定をすることができる視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体を提供することを目的としている。
上記の課題を解決するため、本発明の視線位置推定方法は、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定方法において、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、を有し、前記視線位置確率密度画像抽出過程は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と、を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ことを特徴とする。
また、本発明の視線位置推定方法は、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定過程、を更に有し、前記確率的基礎注目度画像抽出過程は、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定過程によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、前記視線位置確率密度映像出力過程は、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記確率的基礎注目度母数逐次推定過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、ことを特徴とする。
また、本発明の前記視線位置確率密度画像抽出過程は、更に、前記代表視線位置更新過程によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新過程から出力された視線移動状態変数集合を、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成過程、を有することを特徴とする。
また、本発明の視線位置推定方法は、ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定過程と、前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定過程によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定過程と、を更に有し、前記確率的基礎注目度画像抽出過程は、前記確率的基礎注目度母数推定過程が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、前記視線位置確率密度画像抽出過程は、前記視線位置確率密度母数推定過程が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、ことを特徴とする。
また、本発明の前記確率的基礎注目度母数推定過程は、前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出過程と、前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定過程と、前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定過程と、前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、前記確率的基礎注目度推定過程によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新過程と、前記確率的基礎注目度推定過程と、前記推定確率的基礎注目度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定過程と、を有することを特徴とする。
また、本発明の前記視線位置確率密度母数推定過程は、前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定過程と、前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定過程と、前記学習映像、前記視線位置系列、及び視線移動状態変数推定過程によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新過程と、前記視線移動状態変数推定過程と、前記推定視線位置確率密度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定過程と、を有することを特徴とする。
また、本発明の視線位置推定装置は、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置において、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、を備え、前記視線位置確率密度画像抽出部は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部と、を備え、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ことを特徴とする。
また、本発明の視線位置推定装置は、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定部、を更に備え、前記確率的基礎注目度画像抽出部は、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定部によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、前記視線位置確率密度映像出力部は、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記確率的基礎注目度母数逐次推定部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、ことを特徴とする。
また、本発明の前記視線位置確率密度画像抽出部は、更に、前記代表視線位置更新部によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新部から出力された視線移動状態変数集合を、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成部、を備えることを特徴とする。
また、本発明の視線位置推定装置は、ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定部と、前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定部によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定部と、を更に備え、前記確率的基礎注目度画像抽出部は、前記確率的基礎注目度母数推定部が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、前記視線位置確率密度画像抽出部は、前記視線位置確率密度母数推定部が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、ことを特徴とする。
また、本発明の前記確率的基礎注目度母数推定部は、前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出部と、前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定部と、前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定部と、前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、前記確率的基礎注目度推定部によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新部と、前記確率的基礎注目度推定部と、前記推定確率的基礎注目度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定部と、を備えることを特徴とする。
また、本発明の前記視線位置確率密度母数推定部は、前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定部と、前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定部と、前記学習映像、前記視線位置系列、及び視線移動状態変数推定部によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新部と、前記視線移動状態変数推定部と、前記推定視線位置確率密度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定部と、を備えることを特徴とする。
また、本発明のプログラムは、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、を実行させ、前記視線位置確率密度画像抽出ステップは、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ことを特徴とする。
また、本発明の記録媒体は、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、を実行させ、前記視線位置確率密度画像抽出ステップは、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、入力された映像に対して確率密度のサンプル表現及びその表現を用いることができる。また、複数コアを有する計算機や画像処理ハードウェアなど、並列処理を実行可能な計算機への適用が可能となる。このことによって、視線位置の推定処理を正確、かつ、高速に行うことができる。
本発明の第１の実施形態による視線位置推定装置の概略構成を示したブロック図である。 本発明の第２の実施形態による視線位置推定装置の概略構成を示したブロック図である。 従来の視線位置推定による計算時間と本発明の視線位置推定による平均計算時間との比較をしたグラフである。 従来の視線位置推定による計算時間と本発明の視線位置推定による平均計算時間との比較をしたグラフである。 従来の視線位置推定による視線位置推定の評価値と本発明の視線位置推定による視線位置推定の評価値との比較をしたグラフである。 本発明の実施形態による視線位置の推定結果の一例を示した図である。 本発明の実施形態による視線位置の推定結果の一例を示した図である。
＜第１実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態による視線位置推定装置１００の概略構成を示したブロック図である。図１において、視線位置推定装置１００は、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、視線位置確率密度映像出力部５から構成される。
視線位置推定装置１００は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θｓ（ｔ）、及び視線位置推定に必要となる第２の母数である視線位置確率密度母数Θｘ（ｔ）が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置１００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。
基礎注目度画像抽出部１は、入力された入力映像から視線位置推定を行う入力画像（フレーム）を取り出す。また、基礎注目度画像抽出部１は、取り出した入力画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像を確率的基礎注目度画像抽出部２及び確率的基礎注目度母数逐次推定部３に出力する。
基礎注目度画像抽出部１における基礎注目度画像の抽出処理は、特許文献１に記載されている基礎注目度画像抽出部１の処理と同様であるため、処理内容の詳細な説明は省略する。ただし、本実施形態では、時刻ｉの入力画像から算出する基礎注目度画像を数式（１）（以下、「基礎注目度画像￣Ｓ（ｉ）」と表す）とする。
確率的基礎注目度画像抽出部２は、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像Ｓ（ｔ）を抽出する。なお、確率的基礎注目度画像抽出部２による確率的基礎注目度画像Ｓ（ｔ）の抽出は、基礎注目度画像抽出部１から入力された基礎注目度画像￣Ｓ（ｉ）、該確率的基礎注目度画像抽出部２が算出したこれまでの確率的基礎注目度画像Ｓ（ｔ）、及び確率的基礎注目度母数Θｓ（ｔ）に基づいて行われる。
また、確率的基礎注目度画像抽出部２によって抽出される確率的基礎注目度画像Ｓ（ｔ）は、各位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の期待値である数式（２）（以下、「期待値＾ｓ（ｔ，ｙ｜ｔ）」と表す）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を保持する画像である。
また、確率的基礎注目度画像抽出部２は、抽出した確率的基礎注目度画像Ｓ（ｔ）を視線位置確率密度画像抽出部４及び確率的基礎注目度母数逐次推定部３に出力する。
なお、確率的基礎注目度画像抽出部２には、確率的基礎注目度母数逐次推定部３によって更新された確率的基礎注目度母数Θｓ（ｔ＋１）が入力される。
確率的基礎注目度画像抽出部２における確率的基礎注目度画像Ｓ（ｔ）の抽出は、非特許文献１、２に記載されている手法によって算出することができる。また、確率的基礎注目度画像抽出部２における確率的基礎注目度画像Ｓ（ｔ）の抽出方法は、特に限定されるものではないが、一例として、カルマンフィルタを用いた推定方法について述べる。
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像である数式（３）（以下、「基礎注目度画像￣Ｓ（ｔ）」と表す）の位置ｙにおける画素値である数式（４）（以下、「画素値￣ｓ（ｔ，ｙ）」と表す）、及び１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）について、下式（５）、（６）のような関係式を満たしているものとする。
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下式（７）のように与えられているものとする。
また、上式（５）、（６）において、ｐ（ａ｜ｂ）は、ｂが与えられたときのａの確率密度を示す。また、数式（８）は期待値が数式（９）で標準偏差がσである正規分布に従うｓの確率密度を示し、下式（１０）のように表される。
以降の説明においては、画素値￣ｓ（ｔ，ｙ）を位置ｙにおける基礎注目度と呼ぶこととする。また、同様に、確率的基礎注目度ｓ（ｔ，ｙ）を位置ｙにおける確率的基礎注目度と呼ぶこととする。また、特に必要な場合を除いて、位置ｙを省略するものとする。例えば、ｓ（ｔ，ｙ）をｓ（ｔ）と表す。
続いて、１時点前の確率的基礎注目度ｓ（ｔ−１）が、これまでの確率的基礎注目度画像抽出部２の処理により、下式（１１）のような確率密度を用いた表現にて抽出されているものとする。
上式（１１）において、数式（１２）は、時刻ｔ１から時刻ｔ２までの基礎注目度の系列、数式（１３）は時刻１から時刻ｔ２までの基礎注目度である数式（１４）が与えられているときの時刻ｔ１の確率的基礎注目度ｓ（ｔ１）の期待値、σｓ（ｔ１｜ｔ２）は、この時の標準偏差を示す。
このとき、確率的基礎注目度画像抽出部２は、現在の確率的基礎注目度ｓ（ｔ）の下式（１５）に示す確率密度における期待値である数式（１６）（以下、「期待値＾ｓ（ｔ｜ｔ）」と表す）及び標準偏差σｓ（ｔ｜ｔ）を、下式（１７）、（１８）のようにして更新する。
なお、上述の確率的基礎注目度画像抽出部２における期待値＾ｓ（ｔ｜ｔ）及び標準偏差σｓ（ｔ｜ｔ）の更新は、画像中の各位置で独立して実行することができる。
また、上式（６）に替えて、下式（１９）のような関係式を用いることによって、入力画像の各位置における動き成分を考慮した実施形態とすることも可能である。
上式（１９）において、Δｙ（ｔ）は時刻ｔ、位置ｙにおけるオプティカルフローであり、例えば、特許文献１に記載されている運動特徴画像抽出部１１５と同様の方法を用いる。
上記に述べたカルマンフィルタを用いた推定方法では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向で独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、動的マルコフ確率場と呼ばれる統計モデルに基づく確率的基礎注目度の記述を行い、平均場近似と呼ばれる統計解析手法により確率的基礎注目度ｓ（ｔ，ｙ）を解析的に導出する場合について述べる。
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおける画素値￣ｓ（ｔ，ｙ）、１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）、及び位置ｙの近傍Ｄ（ｙ）に含まれる各位置である数式（２０）における現在の確率的基礎注目度画像Ｓ（ｔ）の画素値である数式（２１）について、下式（２２）〜（２６）のような関係式を満たしているものとする。
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下式（２７）のように再定義されているものとする。
近傍Ｄ（ｙ）の決定方法としては、例えば、位置ｙの上下左右の４点、もしくはさらに斜め位置４点を加えた８点、などが考えられる。
続いて、上述したカルマンフィルタを用いた推定方法と同様に、１時点前の確率的基礎注目度ｓ（ｔ−１，ｙ）が、これまでの確率的基礎注目度画像抽出部２の処理により、下式（２８）のような確率密度を用いた表現にて抽出されているものとする。
上式（２８）において、数式（２９）は、時刻ｔ２までの基礎注目度画像である数式（３０）が与えられているときの時刻ｔ１・位置ｙの確率的基礎注目度ｓ（ｔ１，ｙ）の期待値、σｓ（ｔ１，ｙ｜ｔ２）は、この時の標準偏差を示す。
このとき、確率的基礎注目度画像抽出部２は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の下式（３１）に示す確率密度における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を更新することが目的となる。
また、確率的基礎注目度画像抽出部２による更新は、繰り返し計算を用いた下式（３２）〜（３７）の方法によって行われる。
上式（３２）〜（３７）において、｜Ｄ（ｙ）｜は集合Ｄ（ｙ）の要素数を示す。また、上式（３２）〜（３７）を用いた計算において、上式（３５）に示すような無限ステップの繰り返しは不可能であるため、実際には、第ｌ＋１ステップの出力である数式（３８）と第ｌステップの出力である数式（３９）との差が十分小さくなった時点で繰り返し計算を打ち切ることとする。
また、ステップに関するインデックスｌを固定したとき、上式（３４）に示す更新は、画像の各位置において独立に算出することができる。また、それ以外の更新式については、時刻ｔを固定することによって、同様に画像の各位置において独立に算出することができる。
このことによって、上述の確率的基礎注目度画像抽出部２における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）の更新は、上述したカルマンフィルタを用いた推定方法と同様に、画像中の各位置で独立して実行することができ、これらの更新処理を容易に並列化できる。
確率的基礎注目度母数逐次推定部３は、基礎注目度画像抽出部１から入力された基礎注目度画像￣Ｓ（ｉ）、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、及び事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）に基づいて、確率的基礎注目度母数Θｓ（ｔ）を逐次的に更新する。
また、確率的基礎注目度母数逐次推定部３は、更新した確率的基礎注目度母数Θｓ（ｔ＋１）を確率的基礎注目度画像抽出部２に出力する。
なお、確率的基礎注目度母数逐次推定部３は、確率的基礎注目度母数Θｓ（ｔ）を更新していない場合は、事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度母数Θｓ（ｔ＋１）として確率的基礎注目度画像抽出部２に出力する。すなわち、確率的基礎注目度画像抽出部２から確率的基礎注目度画像Ｓ（ｔ）が入力されていない初期段階では、確率的基礎注目度母数Θｓ（ｔ）の更新ができないため、入力された確率的基礎注目度母数Θｓ（ｔ）をそのまま確率的基礎注目度画像抽出部２に出力する。
確率的基礎注目度母数逐次推定部３における確率的基礎注目度母数Θｓ（ｔ＋１）の推定方法は特に限定されるものではないが、本実施形態においては、適応カルマンフィルタを用いた推定方法について述べる。
確率的基礎注目度母数逐次推定部３において、次の時刻ｔ＋１で用いられる確率的基礎注目度母数Θｓ（ｔ＋１）を、下式（４０）に示す。
確率的基礎注目度母数逐次推定部３は、既に基礎注目度画像抽出部１によって算出されている基礎注目度画像￣Ｓ（ｉ）、及び確率的基礎注目度画像抽出部２によって算出されている確率的基礎注目度画像Ｓ（ｔ）を構成する確率的基礎注目度の期待値及び標準偏差を用いて、下式（４１）〜（４８）のように計算する。
上式（４１）〜（４８）において、数式（４９）（以下、「￣σｓ１」と表す）及び数式（５０）（以下、「￣σｓ２」と表す）は基本確率的基礎注目度母数であり、予め定めておく、もしくは事前に学習によって算出しておくものである。
また、λｓ１及びλｓ２は予め定められた母数の混合比であり、これらの数値を適切に定めることで、逐次更新で獲得した母数である数式（５１），数式（５２）と、予め定めておいた母数￣σｓ１，￣σｓ２とのバランスを制御することができる。
なお、λｓ１＝λｓ２＝０とすることにより、確率的基礎注目度母数逐次推定部３による確率的基礎注目度母数Θｓ（ｔ＋１）の推定処理を行わないことと等価になる。また、Ｎｓは過去の情報を保持するバッファの時間長である。
視線位置確率密度画像抽出部４は、視線移動状態変数更新部４１、代表視線位置更新部４２、代表視線位置重み係数算出部４３、視線位置確率密度画像出力部４４、代表視線位置集合再構成部４５から構成される。
視線位置確率密度画像抽出部４は、視線位置確率密度映像を構成するフレームである視線位置確率密度画像Ｘ（ｔ）を抽出する。なお、視線位置確率密度画像抽出部４による視線位置確率密度画像Ｘ（ｔ）の抽出は、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、該視線位置確率密度画像抽出部４が抽出したこれまでの視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて行われる。
また、視線位置確率密度画像抽出部４は、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
視線移動状態変数更新部４１は、代表視線位置集合再構成部４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている視線移動の大きさを制御する確率変数である視線移動状態変数ｕ（ｔ）を更新する。
また、視線移動状態変数更新部４１は、更新した視線移動状態変数ｕ（ｔ）の集合である視線移動状態変数集合Ｕ（ｔ）を代表視線位置更新部４２及び代表視線位置集合再構成部４５に出力する。
視線移動状態変数更新部４１における視線移動状態確率変数集合Ｕ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。
まず、代表視線位置集合再構成部４５の出力の一部として、１時点前（時刻ｔ−１）の視線移動状態変数集合Ｕ（ｔ−１）が、下式（５３）のように与えられているものとする。
上式（５３）において、Ｎｕは視線移動状態変数集合の要素数、すなわち視線移動状態変数のサンプル数を示す。また、各視線移動状態変数はｍｕ通りの値（１，２，・・・，ｍｕ）のいずれかを取るものとする。
このとき、各視線移動状態変数のサンプルｕｎ（ｔ−１）から、視線位置確率密度母数Θｘ（ｔ）の１つである視線移動遷移確率行列Φ＝｛φ（ｉ，ｊ）｝（ｉ，ｊ）に基づいて、現在の視線移動状態変数のサンプルｕｎ（ｔ）をランダムに生成する。視線移動遷移確率行列はｍｕ行ｍｕ列の行列によって表現され、ｉ行ｊ列の要素φ（ｉ，ｊ）によって、状態ｊから状態ｉへ遷移する確率を表現している。よって、Φは下式（５４）に示すような性質を満たす。
すなわち、上述のようにして生成した視線移動状態変数のサンプルｕｎ（ｔ）の集合である数式（５５）が、現在の視線移動状態変数集合Ｕ（ｔ）となる。
なお、現在の視線移動状態変数集合Ｕ（ｔ）に含まれる視線移動状態変数のサンプルｕｎ（ｔ）の経験確率分布が、視線移動状態変数の生起確率の近似となっている。
別の実施形態として、視線移動状態変数更新部４１では何の処理もしないことも可能である。しかし、これは、前述の視線移動状態変数更新部４１における視線移動状態確率変数集合Ｕ（ｔ）の更新処理において、ｍｕ＝１、すなわち、視線移動状態が１通りしかないことと等価である。
代表視線位置更新部４２は、代表視線位置集合再構成部４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、視線移動状態変数更新部４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、視線移動状態変数ｕ（ｔ）によって制御される視線移動を考慮し、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている代表的な視線位置を表現する代表視線位置の集合である代表視線位置集合Ｖ（ｔ）を更新する。
また、代表視線位置更新部４２は、更新した代表視線位置集合Ｖ（ｔ）を代表視線位置重み係数算出部４３、視線位置確率密度画像出力部４４、及び代表視線位置集合再構成部４５に出力する。
代表視線位置更新部４２における代表視線位置集合Ｖ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。
まず、視線移動状態変数ｕ（ｔ）によって視線位置ｘ（ｔ）が制御されるモデルとして、以下の２通りのモデルについて述べる。
（モデル１）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率を、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下式（５６）のように与える。
上式（５６）において、γｘｉ及びσｘｉ（ｉ＝０，１，・・・，ｍｕ−１）はそれぞれ視線位置確率密度母数Θｘ（ｔ）を構成する定数、数式（５７）（以下、「確率密度Ｑ（ｘ；￣ｘ，γ，σ）」と表す）は中心が数式（５８）、最頻距離がγ、最頻距離からの標準偏差に相当する母数をσとする下式（５９）に示す確率密度関数を表す。
上式（５９）において、‖ｘ‖はベクトルｘのノルム、ＺＬは確率密度Ｑ（ｘ；￣ｘ，γ，σ）の全定義域における積分値を１にするための下式（６０）で表される正規化定数を示す。
（モデル２）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率として、ベータ分布を用いる。なお、１次元変量ｘに対するベータ分布は、定義域を数式（６１）とする下式（６２）によって定義される。
上式（６２）において、ａ，ｂはそれぞれベータ分布を特徴付ける母数を示す。また、Ｂ（ａ，ｂ）はベータ関数と呼ばれ、ベータ分布の全定義域における積分値を１にするための下式（６３）に示す正規化定数を表す。
なお、本実施形態においては、正規化定数の変量として位置ｘと、予め定められた原点ｘとの距離を用い、定義域を数式（６４）とするベータ分布である数式（６５）を用いる。
すなわち、上述のベータ分布である数式（６６）は、下式（６７）によって与えられる。
上式（６７）のように正規化されたベータ分布を用いることにより、１時点前（時刻ｔ−１）の視線位置が視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）の視線位置ｘ（ｔ）の生起確率は、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下式（６８）のように与えられる。
上式（６８）において、ａｘｉ及びｂｘｉ（ｉ＝０，１，ｍｕ−１）は、それぞれ視線位置確率密度母数Θｘ（ｔ）を構成する定数を表す。
代表視線位置更新部４２は、上述したモデルのいずれかを用いる方法によって、次に述べるように、代表視線位置集合Ｖ（ｔ）を更新する。
まず、代表視線位置集合再構成部４５の出力の一部として、１時点前（時刻ｔ−１）の代表視線位置集合Ｖ（ｔ−１）が、下式（６９）のように与えられているものとする。
上式（６９）において、Ｎｘは代表視線位置集合Ｖ（ｔ）の要素数、すなわち代表視線位置のサンプル数を示す。なお、一般的な実施形態においては、代表視線位置集合Ｖ（ｔ）の要素数Ｎｘを、視線移動状態変数集合Ｕ（ｔ）の要素数Ｎｕと同一にしておく。
また、代表視線位置更新部４２は、１時点前（時刻ｔ−１）における代表視線位置の各サンプルｘｎ（ｔ−１）から、上述したいずれかのモデルによって下式（７０）のように示す確率密度関数を用いて、現時点（時刻ｔ）における代表視線位置のサンプルｘｎ（ｔ）をランダムに生成する。
なお、上式（７０）のように示す確率密度関数を用いてランダムにサンプルを生成する方法は、サンプル生成に用いる確率密度関数が複雑である。このため、直接的な方法によってランダムなサンプルを生成することは困難である。しかし、上述のようなランダムのサンプル生成は、例えば、マルコフ連鎖モンテカルロ法に基づいたサンプル生成の方法を用いることができる。
次に、一般にＭｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓアルゴリズムと呼ばれるマルコフ連鎖モンテカルロ法に基づいたサンプル生成の詳細な方法について述べる。
まず、代表視線位置更新部４２は、代表視線位置の仮のサンプルの初期値である数式（７１）として、１時点前（時刻ｔ−１）における代表視線位置のサンプルを下式（７２）のように与える。
次に、原点対称な確率密度関数を用いて、２次元ベクトルである数式（７３）を生成し、この２次元ベクトルである数式（７４）を、第ｋ−１ステップの代表視線位置の仮のサンプルである数式（７５）に加えることによって、第ｋステップの代表視線位置の仮のサンプルである数式（７６）を下式（７７）のように生成する。
この原点対称な確率密度関数は、原点に対する対称性を満足しているのみで良く、例えば、原点を中心とする２次元正規分布、原点を中心とする各要素±δｘの範囲内の一様分布、などが考えられる。
そして、第ｋステップの仮の代表視線位置のサンプルである上述の数式（７６）の生起確率と第ｋ−１ステップの代表視線位置の仮のサンプルである上述の数式（７５）の生起確率との比である数式（７８）を下式（７９）に基づいて計算する。
最後に、数式（８０）の一様乱数である数式（８１）を発生させ、数式（８２）の場合のみ、第ｋステップの代表視線位置の仮のサンプルである上述の数式（７６）を棄却して第ｋ−１ステップの代表視線位置の仮のサンプルである上述の数式（７５）に置き換える。
その後、上述の仮のサンプルの生成ステップをあらかじめ定められた回数（Ｋｘ回）繰り返し、第Ｋｘステップの仮のサンプルである数式（８３）を下式（８４）に示すような時刻ｔの代表視線位置のサンプルとする。
上記に述べたとおり、マルコフ連鎖モンテカルロ法に基づいて、サンプルを生成する。この生成したサンプルの集合である数式（８５）が、すなわち、現時点の代表視線位置集合Ｖ（ｔ）となる。また、現時点の代表視線位置集合Ｖ（ｔ）に含まれる代表視線位置サンプルの経験確率分布が、視線位置の生起確率の近似となっている。
代表視線位置重み係数算出部４３は、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、代表視線位置更新部４２から入力された代表視線位置集合Ｖ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、各代表視線位置に関連付けられた重みである代表視線位置重み係数を算出する。
また、代表視線位置重み係数算出部４３は、算出した代表視線位置重み係数の集合である代表視線位置重み係数集合である数式（８６）を視線位置確率密度画像出力部４４及び代表視線位置集合再構成部４５に出力する。
代表視線位置重み係数算出部４３における代表視線位置重み係数集合Ｗ（ｔ）の抽出方法は特に限定されるものではないが、本実施形態においては、信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法について述べる。
代表視線位置のサンプルｘｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）に関連付けられる代表視線位置重み係数ｗｎ（ｔ）は、下式（８７）及び下式（８８）によって算出される。なお、下式（８７）及び下式（８８）は、位置ｘｎ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄｘ（ｘｎ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上となる確率を算出するものである。
なお、上式（８７）及び上式（８８）においてのみｓ＝ｓ（ｔ，ｘｎ（ｔ））の表記を用いている。また、上式（８７）及び上式（８８）において、数式（８９）は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の確率分布関数を示し、位置ｙにおける現在の確率密度ｐ（ｓ（ｔ，ｘ））に対応して、下式（９０）のように定義される。
ある位置集合Ｄｘ（ｘ）の与え方は種々の方法が考えられるが、例えば、位置ｘ以外の任意位置の集合、位置ｘ以外で基礎注目度である数式（９１）が局所的に最大となる位置ｙの集合、位置ｘ以外で確率的基礎注目度ｓ（ｔ，ｙ）の期待値である数式（９２）が局所的に最大となる位置ｙの集合、などが考えられる。
上記に述べた信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法では、サンプリングにより代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数集合Ｗ（ｔ）を抽出していたが、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出することもできる。以下、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法について述べる。
サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部４２による代表視線位置集合Ｖ（ｔ）の更新と、代表視線位置重み係数算出部４３による代表視線位置重み係数集合Ｗ（ｔ）の抽出とが同時に行われる。
まず、上述した信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法と同様に下式（９３）によって、位置ｘ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄｘ（ｘ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上になる確率を、入力画像中の各位置において算出する。
続いて、この上式（９３）によって算出した確率分布を、下式（９４）〜（９８）に示すようなＥＭアルゴリズムを用いて混合ガウス分布でモデル化する。すなわち、混合ガウス分布の各パラメータであるガウス分布の混合比πｎ（ｔ）（ｎ＝１，２，・・・，Ｍｙ）、各ガウス分布の平均ベクトルである数式（９９）、及び共分散行列Ｓｎ（ｔ）を、下式（９４）〜（９８）によるモデル化のステップをｋ＝１，２，・・・について各パラメータが収束するまで繰り返すことによって混合ガウス分布のモデルを導出する。なお、混合ガウス分布のモデル導出の際、位置ｘがどのガウス分布に所属するものであるかを表現する確率変数ｚを導入する。
下式（９４）〜（９８）において、αｎ（ｎ＝１，２，・・・，Ｍｙ）は、数式（１００）を満たすようにあらかじめ定められた定数を示す。
なお、ガウス分布の混合比πｎ（ｔ）が予め定められた定数よりも小さいガウス分布については、ガウス分布の混合比πｎ（ｔ）に対する寄与が小さいものとして除去し、最終的に残ったＮｘ個のガウス分布によって混合ガウス分布を構成する。そして、この混合ガウス分布の各平均位置である数式（９９）（ｎ＝１，２，・・・，Ｎｘ）を、現時点（時刻ｔ）の代表視線位置ｖｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）として決定する。
このことから、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置集合Ｖ（ｔ）の要素数Ｎｘは、予め与えられるものではなく、入力画像によって異なることがわかる。
一方、代表視線位置重み係数ｗｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）については、１時点前（時刻ｔ−１）の代表視線位置集合である数式（１０１）、１時点前（時刻ｔ−１）の代表視線位置重み係数集合である数式（１０２）及び上記の混合ガウス分布の混合比πｎ（ｔ）に基づいて、下式（１０３）のようにして算出する。
これはすなわち、１時点前の代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数ｗｎ（ｔ）から構成される混合ガウス分布を、上式（９４）〜（９８）によってモデル化した混合ガウス分布に、視線移動に関する確率密度ｐ（ｓ（ｔ，ｘ））を考慮して遷移させたものである。
上記に述べたとおり、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部４２及び代表視線位置重み係数算出部４３は、代表視線位置集合である数式（１０４）及び代表視線位置重み係数集合である数式（８６）を抽出し、視線位置確率密度画像出力部４４に出力する。
視線位置確率密度画像出力部４４は、代表視線位置更新部４２から入力された代表視線位置集合Ｖ（ｔ）、及び代表視線位置重み係数算出部４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置確率密度画像Ｈ（ｔ）を抽出する。
また、視線位置確率密度画像出力部４４は、抽出した代表視線位置確率密度画像Ｈ（ｔ）を代表視線位置集合再構成部４５に出力する。
視線位置確率密度画像出力部４４による代表視線位置確率密度画像Ｈ（ｔ）の算出方法は特に限定されるものではないが、本実施形態による方法について述べる。
視線位置確率密度画像出力部４４は、現時点（時刻ｔ）の代表視線位置確率密度画像Ｈ（ｔ）の位置ｘ（ｔ）における画素値を、代表視線位置集合Ｖ（ｔ）及び代表視線位置重み集合Ｗ（ｔ）に基づいて、下式（１０５）のように算出する。
上式（１０５）において、ｆ（・）は予め定められた関数であり、例えば、下式（１０６）に示すデルタ関数や、下式（１０７）に示す２次元正規分布などが考えられる。
代表視線位置集合再構成部４５は、代表視線位置更新部４２から入力された代表視線位置集合Ｖ（ｔ）、視線移動状態変数更新部４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数算出部４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）を、代表視線位置重み係数集合Ｗ（ｔ）の示す重み配分に従って再構成する。
また、代表視線位置集合再構成部４５は、代表視線位置重み係数集合Ｗ（ｔ）を再構成する。
また、代表視線位置集合再構成部４５は、再構成された代表視線位置集合Ｖ＊（ｔ）、視線移動状態変数集合Ｕ＊（ｔ）、及び代表視線位置重み係数集合Ｗ＊（ｔ）に基づいた、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
また、代表視線位置集合再構成部４５は、視線位置確率密度画像Ｘ（ｔ）を視線移動状態変数更新部４１及び代表視線位置更新部４２に出力する。
代表視線位置集合再構成部４５における代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成方法は特に限定されるものではないが、本実施形態による方法について述べる。
まず、代表視線位置重み係数ｗｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）の累積和ｃｎ（ｔ）を下式（１０８）によって算出する。なお、累積和ｃｎ（ｔ）を算出する際に必要に応じて、代表視線位置重み係数ｗｎ（ｔ）の大きい順に代表視線位置ｖｎ（ｔ）、視線移動状態変数ｕ（ｔ）及び代表視線位置重み係数ｗｎ（ｔ）の並べ替えを行う。
以降の処理のため、ｃ０（ｔ）＝０と定める。
次に、ある数κ１を数式（１０９）の範囲でランダムに定め、以降、ｎ＝２，３，・・・，Ｎｘについて、κｎを下式（１１０）のように定める。
そして、ｎ＝１，２，・・・，Ｎｘのそれぞれについて、下式（１１１）の条件を満たす整数ｎ＊を求める。
そして、新しい代表視線位置である数式（１１２）を下式（１１３）のように定める。
また、新しい視線移動状態変数である数式（１１４）を下式（１１５）のように定める。
なお、新しい代表視線位置重み係数である数式（１１６）は、全て１／Ｎｘとする。
なお、上述した代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成は、必ずしも全ての時刻において実施する必要はなく、例えば、ある一定時間間隔を置いて実施することや、全く実施しないこともできる。
また、例えば、下式（１１７）に示す代表視線位置重み係数の偏りに関する条件を満たさないときのみ実施することもできる。
上式（１１７）において、Ｎｅｆｆは数式（１１８）を満たすように予め定められた定数である。
また、代表視線位置集合再構成部４５は、上記に述べた代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成方法によって再構成した新しい代表視線位置集合である数式（１１９）、新しい視線移動状態変数集合である数式（１２０）、及び新しい代表視線位置重み係数集合である数式（１２１）に基づいて、視線位置確率密度画像出力部４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を再構成した視線位置確率密度画像Ｘ（ｔ）を、視線位置確率密度画像抽出部４の出力として視線位置確率密度映像出力部５に出力する。
なお、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成を全く実施しない場合は、視線位置確率密度画像出力部４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を視線位置確率密度画像抽出部４の出力である視線位置確率密度画像Ｘ（ｔ）として視線位置確率密度映像出力部５に出力する。
視線位置確率密度映像出力部５は、入力映像に含まれる時系列の各入力画像から、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、及び視線位置確率密度画像抽出部４の処理によって抽出される視線位置確率密度画像Ｘ（ｔ）の時系列である視線位置確率密度映像を抽出して、出力する。
上記に述べたとおり、本第１の実施形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θｓ（ｔ）を逐次更新することができる。
また、本第１の実施形態によれば、確率的基礎注目度画像抽出部２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部２による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
＜第２実施形態＞
以下、本発明の第２の実施形態の注目領域抽出方法について、図面を参照して説明する。図２は、本発明の実施形態による視線位置推定装置２００の概略構成を示したブロック図である。図２において、視線位置推定装置２００は、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、視線位置確率密度映像出力部５、確率的基礎注目度母数推定部６、視線位置確率密度母数推定部７から構成される。
視線位置推定装置２００は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θｓ（ｔ）、視線位置推定に必要となる第２の母数である視線位置確率密度母数Θｘ（ｔ）、及び視線位置推定に必要となる母数を推定するために用いる映像である学習映像が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置２００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。
なお、本第２の実施形態の視線位置推定装置２００の構成において、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、及び視線位置確率密度映像出力部５は、第１の実施形態と同様のため、説明を省略する。
ただし、確率的基礎注目度母数逐次推定部３は、後述する確率的基礎注目度母数推定部６によって出力される推定確率的基礎注目度母数θｓ，ｋ＋１を、確率的基礎注目度母数Θｓ（ｔ）として、もしくは確率的基礎注目度母数Θｓ（ｔ）に加えて、確率的基礎注目度母数Θｓ（ｔ＋１）の推定を行う。また、視線位置確率密度画像抽出部４は、後述する視線位置確率密度母数推定部７によって出力される推定視線位置確率密度母数θｘ，ｋ＋１を、視線位置確率密度母数Θｘ（ｔ）として、もしくは視線位置確率密度母数Θｘ（ｔ）に加えて、視線位置確率密度画像Ｘ（ｔ）の抽出を行う。
確率的基礎注目度母数推定部６は、学習用基礎注目度映像抽出部６１、初期推定確率的基礎注目度母数設定部６２、確率的基礎注目度推定部６３、推定確率的基礎注目度母数更新部６４、推定確率的基礎注目度母数確定部６５から構成される。
確率的基礎注目度母数推定部６は、ある与えられた映像である学習映像、もしくはそれに加えて学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列に基づいて、予め定められた基準において最適となる確率的基礎注目度母数の推定値である推定確率的基礎注目度母数θｓ，ｋ＋１を算出する。
また、確率的基礎注目度母数推定部６は、算出した推定確率的基礎注目度母数θｓ，ｋ＋１を確率的基礎注目度母数逐次推定部３に出力する。
確率的基礎注目度母数推定部６における推定確率的基礎注目度母数θｓ，ｋ＋１の算出方法は特に限定されるものではないが、本実施形態の構成による算出方法について述べる。
学習用基礎注目度映像抽出部６１は、入力された学習映像から視線位置推定に必要となる母数を推定するための学習画像（フレーム）を取り出す。また、学習用基礎注目度映像抽出部６１は、取り出した学習画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像の時系列である基礎注目度映像を抽出し、初期推定確率的基礎注目度母数設定部６２、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に出力する。
なお、学習用基礎注目度映像抽出部６１による、基礎注目度画像の抽出方法は、基礎注目度画像抽出部１に入力される入力映像を学習映像とし、各学習画像に対する基礎注目度画像の抽出処理を順次繰り返して実行した場合と同様であるため、説明を省略する。
初期推定確率的基礎注目度母数設定部６２は、推定確率的基礎注目度母数θｓ，ｋ＋１の初期値を設定し、設定した推定確率的基礎注目度母数θｓ，ｋ＋１の初期値を確率的基礎注目度推定部６３に出力する。
初期推定確率的基礎注目度母数設定部６２による初期値の決定方法は特に限定されるものではないが、本実施形態においては、推定確率的基礎注目度母数θｓ，ｋ＋１の初期値として、初期値θｓ，０＝（σｓ１，０，σｓ２，０）が与えられているとして以降の説明を行う。
確率的基礎注目度推定部６３は、学習用基礎注目度映像抽出部６１から入力された基礎注目度映像及び推定確率的基礎注目度母数更新部６４から入力された前回の推定確率的基礎注目度母数θｓ，ｋに基づいて、予め定められた基準において最適となるように推定確率的基礎注目度映像を推定する。
また、確率的基礎注目度推定部６３は、推定した推定確率的基礎注目度映像を推定確率的基礎注目度母数更新部６４及び推定確率的基礎注目度母数確定部６５に出力する。
なお、確率的基礎注目度推定部６３が出力する推定確率的基礎注目度映像は、確率的基礎注目度画像の時系列の映像である。
確率的基礎注目度推定部６３における推定確率的基礎注目度映像の抽出方法は特に限定されるものではないが、本実施形態においては、カルマンスムーサーを用いた抽出方法について述べる。
まず、学習映像ＩＬを学習画像の時系列として、また、この学習映像から抽出した基礎注目度映像である数式（１２２）を基礎注目度画像の時系列として、それぞれ下式（１２３）及び下式（１２４）のように表記する。
上式（１２３）及び上式（１２４）において、Ｔは学習映像の長さ、すなわち学習映像のフレーム数を示す。
以降の説明においては、基礎注目度画像が学習映像から抽出されたことが明らかである場合には、学習映像ＩＬの表記を省略し、第１の実施形態と類似した下式（１２５）のように表記する。
その後、基礎注目度映像である数式（１２６）（以下、「基礎注目度映像￣Ｓ」と表す）及び１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ）を用いて、下式（１２７）で示される推定確率的基礎注目度映像のフレームである数式（１２８）（以下、「フレームＳ（ｔ｜￣Ｓ；θｓ，ｋ） （ｔ＝１，２，・・・、Ｔ）」と表す）で示される推定確率的基礎注目度画像を時刻の逆順に抽出する。
続いて、１時点後（時刻ｔ＋１）の推定確率的基礎注目度画像である数式（１２９）（以下、「推定確率的基礎注目度画像Ｓ（ｔ＋１｜￣Ｓ；θｓ，ｋ）」と表す）の位置ｙにおけるピクセル値である数式（１３０）（以下、「ピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）」と表す）が、確率密度を用いて下式（１３１）のように表されることを仮定する。
上式（１３１）において、ｐ（・；θｓ，ｋ）は、母数がθｓ，ｋである確率密度関数を示す。以降の説明においては、ピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）を位置ｙにおける推定確率的基礎注目度と呼ぶこととする。また、第１の実施形態と同様に、特に必要な場合を除いて位置ｙを省略した場合、上式（１３１）は下式（１３２）のように表される。
上式（１３２）において、数式（１３３）は、時刻Ｔまで、すなわち、全ての時刻の基礎注目度が与えられているときの、１ステップ前の推定確率的基礎注目度母数θｓ，ｋを用いて算出した時刻ｔ１における推定確率的基礎注目度である数式（１３４）の期待値、σｓ，ｋ（ｔ１｜Ｔ）は、この時の標準偏差を示す。
このとき、確率的基礎注目度推定部６３は、現時点（時刻ｔ）の推定確率的基礎注目度である数式（１３５）の下式（１３６）に示す確率密度における期待値である数式（１３７）及び標準偏差σｓ，ｋ（ｔ｜Ｔ）を更新することが目的となる。
また、確率的基礎注目度推定部６３による更新は下式（１３８）及び下式（１３９）のようにして行われる。
上式（１３８）及び上式（１３９）において、数式（１４０）及びσｓ，ｋ（ｔ｜ｔ）は、確率的基礎注目度画像抽出部２と同様の処理によって算出される。
上記の述べたカルマンスムーサーを用いた抽出方法では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向に独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、確率的基礎注目度画像抽出部２による抽出方法と同様に、マルコフ確率場に基づく確率的基礎注目度の記述を行い、平均場近似により確率的基礎注目度を解析的に導出する場合について述べる。
確率的基礎注目度推定部６３は、確率的基礎注目度画像抽出部２と同様に基礎注目度映像￣Ｓ及び１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ，σｓ３，ｋ）を用いて、推定確率的基礎注目度画像のフレームＳ（ｔ｜￣Ｓ；θｓ，ｋ） （ｔ＝１，２，・・・、Ｔ）を時刻の逆順に抽出する。
まず、１時点後（時刻ｔ＋１）の推定確率的基礎注目度画像Ｓ（ｔ＋１｜￣Ｓ；θｓ，ｋ）の位置ｙにおけるピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）が、確率密度を用いて下式（１４１）のように表されていると仮定する。
上式（１４１）において、数式（１４２）は、時刻Ｔまで、すなわち、全ての時刻の基礎注目度が与えられているときの、１ステップ前の推定確率的基礎注目度母数θｓ，ｋを用いて算出した時刻ｔ１・位置ｙの推定確率的基礎注目度である数式（１４３）の期待値、σｓ，ｋ（ｔ１，ｙ｜Ｔ）は、この時の標準偏差を表す。
このとき、確率的基礎注目度推定部６３は、現時点（時刻ｔ）の推定確率的基礎注目度である数式（１４４）（以下、「推定確率的基礎注目度ｓ（ｔ，ｙ｜￣Ｓ；θｓ，ｋ）」と表す）の下式（１４５）に示す確率密度における期待値である数式（１４６）（以下、「期待値＾ｓｋ（ｔ，ｙ｜Ｔ）」と表す）及び標準偏差σｓ，ｋ（ｔ，ｙ｜Ｔ）を更新することが目的となる。
また、確率的基礎注目度推定部６３による更新は、繰り返し計算を用いた下式（１４７）〜（１５０）によって行われる。
上式（１４７）〜（１５０）において、数式（１５１）及びσｓ，ｋ（ｔ，ｙ｜ｔ）は、確率的基礎注目度画像抽出部２と同様の処理によって算出される。
上記に述べたとおり、確率的基礎注目度推定部６３は、各位置ｙにおける推定確率的基礎注目度ｓ（ｔ，ｙ｜￣Ｓ；θｓ，ｋ）の期待値＾ｓｋ（ｔ，ｙ｜Ｔ）及び標準偏差σｓ，ｋ（ｔ，ｙ｜Ｔ）を保持する画像として、推定確率的基礎注目度画像である数式（１５２）を時刻の逆順に抽出し、この推定確率的基礎注目度画像の時系列とした推定確率的基礎注目度映像である数式（１５３）（以下、「推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋ」と表す）を出力する。
また、確率的基礎注目度推定部６３は、学習映像が複数与えられている場合には、それぞれの学習映像に対して個別に推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋを抽出し、それぞれ抽出した推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋを推定確率的基礎注目度母数更新部６４に出力する。
推定確率的基礎注目度母数更新部６４は、学習用基礎注目度映像抽出部６１から入力された基礎注目度映像、及び確率的基礎注目度推定部６３から入力された推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋに基づいて、予め定められた基準において最適となるように現在の推定確率的基礎注目度母数θｓ，ｋ＋１を更新する。
また、推定確率的基礎注目度母数更新部６４は、更新した推定確率的基礎注目度母数θｓ，ｋ＋１を推定確率的基礎注目度母数確定部６５及び確率的基礎注目度推定部６３に出力する。
推定確率的基礎注目度母数更新部６４における推定確率的基礎注目度母数θｓ，ｋ＋１の更新方法は特に限定されるものではないが、本実施形態においては、ＥＭアルゴリズムを用いて導出される更新方法について述べる。
現在（第ｋ＋１ステップ）の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）は、基礎注目度映像￣Ｓ及び現在のステップにおいて上式（１２７）で示される推定確率的基礎注目度映像を用いて、下式（１５４）及び下式（１５５）のように算出される。
確率的基礎注目度推定部６３による推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋの抽出方法おいて、確率的基礎注目度の空間的な連続性を導入している場合、現在の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１，σｓ３，ｋ＋１）は下式（１５６）〜（１５８）のように算出される。
上式（１５６）〜（１５８）において、｜ＩＬ｜は学習画像ＩＬの総ピクセル数を示す。
上記に述べたとおり、推定確率的基礎注目度母数更新部６４は、現在の推定確率的基礎注目度母数θｓ，ｋ＋１を算出し、出力する。
また、推定確率的基礎注目度母数更新部６４は、学習映像が複数与えられたことによって、確率的基礎注目度推定部６３から複数の推定確率的基礎注目度映像が入力された場合には、それぞれの推定確率的基礎注目度映像に対して個別に推定確率的基礎注目度母数θｓ，ｋ＋１を更新し、最後にそれぞれ更新した推定確率的基礎注目度母数θｓ，ｋ＋１を平均して、推定確率的基礎注目度母数確定部６５に出力する。
推定確率的基礎注目度母数確定部６５は、確率的基礎注目度推定部６３による推定確率的基礎注目度映像の抽出処理、及び推定確率的基礎注目度母数更新部６４による推定確率的基礎注目度母数の更新処理によって得られた結果が、予め定められた基準を満たしたときに推定確率的基礎注目度母数θｓ，ｋ＋１を確定する。
また、推定確率的基礎注目度母数確定部６５は、確定した推定確率的基礎注目度母数θｓ，ｋ＋１を確率的基礎注目度母数推定部６の出力である推定確率的基礎注目度母数θｓ，ｋ＋１として確率的基礎注目度母数逐次推定部３及び視線位置確率密度母数推定部７に出力する。
また、推定確率的基礎注目度母数確定部６５は、確率的基礎注目度推定部６３による推定確率的基礎注目度映像の抽出処理、及び推定確率的基礎注目度母数更新部６４による推定確率的基礎注目度母数の更新処理によって得られた結果が、予め定められた基準を満たすまで繰り返し行わせる制御の機能を持つ。
推定確率的基礎注目度母数確定部６５による推定確率的基礎注目度母数の確定方法は特に限定されるものではないが、本実施形態においては、推定確率的基礎注目度母数の差分に基づいた確定方法について述べる。
推定確率的基礎注目度母数確定部６５は、現在（第ｋ＋１ステップ）の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）が、１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ）と比較して、ほぼ変化しなくなったと判断されたときに、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に対する処理の繰り返し要求を終了する。
そして、推定確率的基礎注目度母数確定部６５は、推定確率的基礎注目度母数を現在の状態θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）で確定する。
なお、推定確率的基礎注目度母数が変化している間は、ｋ←ｋ＋１として、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に処理の繰り返しを要求する。
推定確率的基礎注目度母数確定部６５による推定確率的基礎注目度母数の比較の基準は、特に限定されるものではなく、例えば、下式（１５９）〜（１６２）に示される比較基準のいずれかを採用するができる。また、推定確率的基礎注目度母数更新部６４から入力された推定確率的基礎注目度母数θｓ，ｋ＋１が、採用した比較基準を満たした場合には、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に処理の繰り返し要求を終了する。
上式（１５９）〜（１６２）において、δｓは予め定められた閾値である。
視線位置確率密度母数推定部７は、学習用確率的基礎注目度映像抽出部７０、初期推定視線位置確率密度母数設定部７１、視線移動状態変数推定部７２、推定視線位置確率密度母数更新部７３、推定視線位置確率密度母数確定部７４から構成される。
視線位置確率密度母数推定部７は、ある与えられた映像である学習映像、及び学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列、もしくはそれに加えて確率的基礎注目度母数推定部６から入力された推定確率的基礎注目度母数θｓ，ｋ＋１に基づいて、予め定められた基準において最適となる視線位置確率密度母数の推定値である推定視線位置確率密度母数θｘ，ｋ＋１を算出する。
また、視線位置確率密度母数推定部７は、算出した推定視線位置確率密度母数θｘ，ｋ＋１を視線位置確率密度画像抽出部４に出力する。
視線位置確率密度母数推定部７における推定視線位置確率密度母数θｘ，ｋ＋１の算出方法は特に限定されるものではないが、本実施形態の構成による算出方法について述べる。
学習用確率的基礎注目度映像抽出部７０は、入力された学習映像から視線位置推定に必要となる母数を推定するための学習画像（フレーム）を取り出す。また、学習用確率的基礎注目度映像抽出部７０は、取り出した学習画像の中で顕著な特性を持つ空間領域を示した画像である確率的基礎注目度画像を抽出する。そして、抽出した確率的基礎注目度画像の時系列である確率的基礎注目度映像を抽出し、初期推定視線位置確率密度母数設定部７１、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に出力する。
なお、学習用確率的基礎注目度映像抽出部７０による、確率的基礎注目度映像の抽出方法は、基礎注目度画像抽出部１に入力される入力映像を学習映像とし、各学習画像に対する基礎注目度画像の抽出処理と、確率的基礎注目度画像抽出部２による確率的基礎注目度画像の抽出処理とを、順次繰り返して実行した場合と同様であるため、説明を省略する。
なお、学習用確率的基礎注目度映像抽出部７０は、以下に説明する処理において確率的基礎注目度映像を必要とする場合にのみ実行すればよく、必要でない場合には実行しないこともできる。
初期推定視線位置確率密度母数設定部７１は、推定視線位置確率密度母数θｘ，ｋ＋１の初期値を設定し、設定した推定視線位置確率密度母数θｘ，ｋ＋１の初期値を視線移動状態変数推定部７２に出力する。
初期推定視線位置確率密度母数設定部７１による初期値の決定方法は特に限定されるものではないが、本実施形態においては、推定視線位置確率密度母数θｘ，ｋ＋１の初期値として数式（１６３）が与えられているとして以降の説明を行う。
視線移動状態変数推定部７２は、視線位置系列、学習用確率的基礎注目度映像抽出部７０から入力された確率的基礎注目度映像、及び推定視線位置確率密度母数更新部７３から入力された前回の推定視線位置確率密度母数θｘ，ｋ＋１に基づいて、予め定められた基準において最適となるように視線移動状態変数、もしくはその確率密度を推定する。
また、視線移動状態変数推定部７２は、視線移動状態変数を時系列の映像とした推定視線移動状態変数系列、もしくは確率密度を時系列の映像とした推定視線移動状態変数確率密度系列を推定視線位置確率密度母数更新部７３及び推定視線位置確率密度母数確定部７４に出力する。
視線移動状態変数推定部７２における推定視線移動状態変数系列、もしくは推定視線移動状態変数確率密度系列の推定方法は特に限定されるものではないが、本実施形態においては、推定視線移動状態変数確率密度系列を前向き後向きアルゴリズムに基づいて推定する実施形態と、推定視線移動状態変数系列をビタビアルゴリズムに基づいて推定する実施形態について述べる。
視線移動状態変数推定部７２における前向き後向きアルゴリズムに基づいた推定視線移動状態変数確率密度系列の推定は以下の通りである。
まず、ある被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）が学習映像を視聴したときの視線位置系列である数式（１６４）及び１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｘ，ｋに基づいて、前向き確率αｔ，ｋ＋１（ｎ）及び後向き確率βｔ，ｋ＋１（ｎ）を、それぞれ下式（１６５）及び下式（１６６）のように算出する。
ここで、Ｎｓは被験者の総数である。上式（１６５）及び上式（１６６）に示した前向き確率及び後向き確率は、下式（１６７）及び下式（１６８）の漸化式によって順次、時刻順もしくは時刻の逆順に算出することが可能である。
このとき、前向き確率及び後向き確率を用いて、現在のステップ（第ｋ＋１ステップ）における推定視線移動状態変数確率密度系列は下式（１６９）〜（１７１）のように表される。
また、上式（１６９）〜（１７１）に示した推定視線移動状態変数確率密度系列の各要素（下式（１７２）及び下式（１７３））である推定視線移動状態確率密度を、下式（１７４）及び下式（１７５）のように算出する。
一方、視線移動状態変数推定部７２におけるビタビアルゴリズムに基づいた推定視線移動状態変数系列の推定は以下の通りである。
まず、各被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）の視線位置系列である数式（１７６）（以下、「視線位置系列￣Ｘｎ」と表す）及び１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｓ，ｋとから算出される関数である推定視線移動状態関数である数式（１７７）を、下式（１７８）のように定義する。
このとき、視線移動状態変数推定部７２は、現時点（時刻ｔ）を時刻Ｔとした（ｔ＝Ｔとした）推定視線移動状態関数である数式（１７９）を最大化する視線移動状態変数ｕ（Ｔ）及び対応する推定視線移動状態関数に含まれる最大化を達成する視線移動状態変数の系列ｕ（１：Ｔ−１）を求めることが目的となる。
そこで、下式（１８０）及び下式（１８１）の漸化式を用いることによって、推定視線移動状態関数を最大化する視線移動状態変数を順次求める。
上式（１８０）及び上式（１８１）において、数式（１８２）は、上述の前向き後向きアルゴリズムに基づいた推定視線移動状態変数確率密度系列の推定で説明した後向き確率βｔ，ｋ＋１（ｎ）を用いて、下式（１８３）のように算出することができる。
上述の漸化式（上式（１８０）及び上式（１８１））を用いることで、推定視線移動状態関数である数式（１８４）を最大化する視線移動状態変数の系列を求め、これを現在のステップ（第ｋ＋１ステップ）の推定視線移動状態変数系列Ｕｎ，ｋ＋１＝ｕｋ＋１（１：Ｔ）とする（下式（１８５）及び下式（１８６））。
上記に述べたとおり、視線移動状態変数推定部７２は、現在のステップの推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）（ｎ＝１，２，・・・，Ｎｓ）、もしくは現在のステップの推定視線移動状態変数系列Ｕｎ，ｋ＋１を算出し、これらを推定視線位置確率密度母数更新部７３及び推定視線位置確率密度母数確定部７４に出力する。
推定視線位置確率密度母数更新部７３は、視線位置系列、学習用確率的基礎注目度映像抽出部７０から入力された確率的基礎注目度映像、及び視線移動状態変数推定部７２から入力された推定視線移動状態変数系列Ｕｎ，ｋ＋１もしくは推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）（ｎ＝１，２，・・・，Ｎｓ）に基づいて、予め定められた基準において最適となるように現在の推定視線位置確率密度母数θｘ，ｋ＋１を更新する。
また、推定視線位置確率密度母数更新部７３は、更新した推定視線位置確率密度母数θｘ，ｋ＋１を推定視線位置確率密度母数確定部７４及び視線移動状態変数推定部７２に出力する。
推定視線位置確率密度母数更新部７３における推定視線位置確率密度母数θｘ，ｋ＋１の更新方法は特に限定されるものではないが、本実施形態においては、推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）から抽出する実施形態と、推定視線移動状態変数系列Ｕｎ，ｋ＋１から抽出する実施形態について述べる。
なお、以下に説明する推定視線位置確率密度母数θｘ，ｋ＋１の更新方法は、いずれも、ＥＭアルゴリズムを用いて導出される更新方法である。
推定視線位置確率密度母数更新部７３において、推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）から推定視線位置確率密度母数θｘ，ｋ＋１を抽出する更新方法は、以下の通りである。
現在（第ｋ＋１ステップ）の推定視線位置確率密度母数である数式（１８７）は、各被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）の視線位置系列￣Ｘｎ及び対応する推定視線移動状態変数確率密度系列であり下式（１８８）及び下式（１８９）で示される推定視線移動状態変数確率密度系列を用いて、下式（１９０）〜（１９２）のように算出される。
一方、推定視線位置確率密度母数更新部７３において、推定視線移動状態変数系列Ｕｎ，ｋ＋１から推定視線位置確率密度母数θｘ，ｋ＋１を抽出する更新方法は、以下の通りである。
現在（第ｋ＋１ステップ）の推定視線位置確率密度母数である数式（１９３）は、各被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）の視線位置系列￣Ｘｎ及び推定視線移動状態変数系列Ｕｋ＋１を用いて、上述した推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）から推定視線位置確率密度母数θｘ，ｋ＋１を抽出する更新方法とほぼ同様に、下式（１９４）〜（１９６）のように算出される。
上記の通り、推定視線位置確率密度母数更新部７３は、現在のステップの推定視線位置確率密度母数θｘ，ｋ＋１を算出し、出力する。
推定視線位置確率密度母数確定部７４は、視線移動状態変数推定部７２による推定視線移動状態変数系列、もしくは推定視線移動状態変数確率密度系列の推定処理、及び推定視線位置確率密度母数更新部７３による推定視線位置確率密度母数の更新処理によって得られた結果が、予め定められた基準を満たしたときに推定視線位置確率密度母数θｘ，ｋ＋１を確定する。
また、推定視線位置確率密度母数確定部７４は、確定した推定視線位置確率密度母数θｘ，ｋ＋１を視線位置確率密度母数推定部７の出力である推定視線位置確率密度母数θｘ，ｋ＋１として視線位置確率密度画像抽出部４に出力する。
また、推定視線位置確率密度母数確定部７４は、視線移動状態変数推定部７２による推定視線移動状態変数系列、もしくは推定視線移動状態変数確率密度系列の推定処理、及び推定視線位置確率密度母数更新部７３による推定視線位置確率密度母数の更新処理によって得られた結果が、予め定められた基準を満たすまで繰り返し行わせる制御機能を持つ。
推定視線位置確率密度母数確定部７４による推定視線位置確率密度母数の確定方法は特に限定されるものではないが、本実施形態においては、推定視線位置確率密度母数の差分に基づいた確定方法について述べる。
推定視線位置確率密度母数確定部７４は、現在（第ｋ＋１ステップ）の推定視線位置確率密度母数である数式（１９７）が、１ステップ前（第ｋステップ）の推定視線位置確率密度母数数式（１９８）と比較して、ほぼ変化しなくなったと判断されたときに、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に対する処理の繰り返し要求を終了する。
そして、推定視線位置確率密度母数確定部７４は、推定視線位置確率密度母数を現在の状態θｘ，ｋ＋１で確定する。
なお、推定視線位置確率密度母数が変化している間は、ｋ←ｋ＋１として、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に処理の繰り返しを要求する。
推定視線位置確率密度母数確定部７４による推定視線位置確率密度母数の比較の基準は、特に限定されるものではなく、例えば、下式（１９９）〜（２０２）に示される比較基準のいずれかを採用するができる。また、推定視線位置確率密度母数更新部７３から入力された推定視線位置確率密度母数θｘ，ｋ＋１が、採用した比較基準を満たした場合には、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に処理の繰り返し要求を終了する。
上式（１９９）〜（２０２）において、δｘは予め定められた閾値であり、ζ１，ζ２は予め定められた定数である。
上記に述べたとおり、本第２の実施形態によれば、視線位置推定に必要となる母数を推定するための学習映像、もしくはそれに加えて学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列に基づいて、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）を推定することができる。
また、本第２の実施形態によれば、確率的基礎注目度推定部６３における推定確率的基礎注目度映像の推定を、学習映像、もしくは視線位置系列中の各位置で独立して実行することができる。その結果、確率的基礎注目度推定部６３による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
上記に述べたとおり、本発明を実施するための形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θｓ（ｔ）を逐次更新し、視線位置推定に必要となる母数を推定するための学習映像、もしくは視線位置系列に基づいて確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）を推定することができる。また、更新、もしくは推定された確率的基礎注目度母数Θｓ（ｔ＋１）を用いることによって、視線位置確率密度映像の出力を、入力映像の統計的性質に合わせることができる。
また、本発明を実施するための形態によれば、確率的基礎注目度画像抽出部２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができ、確率的基礎注目度推定部６３における期待値及び標準偏差の更新を、学習映像、もしくは視線位置系列中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部２による期待値及び標準偏差の更新処理や確率的基礎注目度推定部６３における推定確率的基礎注目度映像の推定処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
なお、本発明の第１の実施形態においては、確率的基礎注目度母数逐次推定部３を備える構成として説明、すなわち、確率的基礎注目度画像抽出部２が確率的基礎注目度画像Ｓ（ｔ）の抽出するための確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度母数逐次推定部３によって更新する構成として説明したが、確率的基礎注目度母数逐次推定部３を備えない構成とすることもできる。その場合、確率的基礎注目度母数逐次推定部３に入力されている確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度画像抽出部２に入力し、確率的基礎注目度画像抽出部２は、入力された確率的基礎注目度母数Θｓ（ｔ）に基づいて確率的基礎注目度画像Ｓ（ｔ）を抽出することによって実現することができる。
また、本発明の第２の実施形態においても、確率的基礎注目度母数逐次推定部３を備える構成として説明したが、確率的基礎注目度母数逐次推定部３を備えない構成とすることもできる。その場合、確率的基礎注目度母数逐次推定部３に入力されている確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度画像抽出部２に入力し、確率的基礎注目度画像抽出部２は、確率的基礎注目度母数推定部６から出力される推定確率的基礎注目度母数θｓ，ｋ＋１を、確率的基礎注目度母数Θｓ（ｔ）として、もしくは確率的基礎注目度母数Θｓ（ｔ）に加えて、確率的基礎注目度画像Ｓ（ｔ）を抽出することによって実現することができる。
次に、本発明を実施するための形態における動作例について説明する。図３〜図５は、視線位置推定の方法において、従来の方法と本発明の方法とを比較したグラフである。図３及び図４は、従来の視線位置推定による計算時間と本発明の視線位置推定による平均計算時間との比較をしたグラフである。また、図５は、従来の視線位置推定による視線位置推定の評価値と本発明の視線位置推定による視線位置推定の評価値との比較をしたグラフである。
図３〜図５の比較において、入力映像として、入力画像（フレーム）の大きさ水平方向：６４０×垂直方向：４８０ピクセル，入力映像の長さ３０〜９０秒の１３種類の映像を用意した。また、学習映像は入力映像と同一の映像を用いた。上記に述べた各実施形態に示した記号について、実際の数値として以下の値を用いた。
ｎφ＝４，
ｎＦ＝３，
σ＝１．２５，
ｎｌ＝８，
Ｌｃ＝｛２，３，４｝，
Ｌｓ＝｛ｃ＋３，ｃ＋４｝（ｃ∈Ｌｃ），
ｎＡ＝３２×２４＝７６８，
ε＝２５，
μ＝１．０，
ｔＩ＝１０，
α＝１／ｔＩ＝０．１，
β＝０．００２５，
ｔＴ＝８，
θ＝０．２５ｍａｘ（ｘ，ｙ）ＳＰ（ｉ）（ｘ，ｙ），
δ＝０．１，
ｍｕ＝２
本発明の効果を確認するため、従来の方法及び本発明の方法によって得られる注目度映像がどの程度人間の視覚特性を模擬できているかを比較した。
人間の視覚特性を表現する数量として、人間が実際に入力映像を見ている際の視線の位置を採用した。６名の被験者に入力映像を提示し、既存の視線測定装置を用いて各被験者の入力映像中の注視位置を逐次測定した。各被験者について、１種類の入力映像を２回提示した。これにより、各被験者・各入力映像について、注視位置の時系列が２本獲得した。この注視位置の時系列を、時刻の整合性を保ちながら入力映像の各フレーム（すなわち入力画像）に対応付けることで、各被験者・各入力画像について２通りの注視位置を獲得した。
人間の視覚特性を模擬できているかどうかの評価尺度として、被験者の注視位置における注目度を採用した。第ｊ番目の入力映像Ｉｊ（ｊ＝１，２，・・・，１３）の時刻ｔの入力画像ｉｊ（ｔ）（ｔ＝１，２，・・・，Ｔｊ）について、本発明の方法により抽出された視線位置確率密度画像Ｘ（ｔ；Ｉｊ）と、従来の方法により抽出された基礎注目度画像である数式（２０３）（以下、「基礎注目度画像￣Ｓ（ｔ；Ｉｊ）」と表す）とを比較する。
入力映像Ｉｊに対応する被験者ｎ（ｎ＝１，２，・・・，６）の視線位置系列を数式（２０４）とするとき、視線位置確率密度画像Ｘ（ｔ；Ｉｊ）の評価値ＮＳＳ（ｔ；Ｉｊ）を下式（２０５）で定めた。
上式（２０５）において、数式（２０６）及びσ（Ｘ（ｔ；Ｉｊ））は、入力映像Ｉｌから抽出した視線位置確率密度画像Ｘ（ｔ；Ｉｊ）のピクセル値ｐ（ｘ（ｔ）；Ｉｊ）における平均及び分散を表し、それぞれ下式（２０７）及び下式（２０８）で表す。
また、本実験においては被験者の数であるＮｓ＝６である。なお、基礎注目度画像￣Ｓ（ｔ；Ｉｊ）についても下式（２０９）〜（２１１）に示すような同様の評価値を用いた。
各手法の評価値ＮＳＳは、下式（２１２）に示すように、視線位置確率密度画像（もしくは基礎注目度画像）についての評価値を平均し、さらに入力映像について平均することで得ることができる。
まず、計算時間に関する従来の方法と本発明の方法との比較について説明する。なお、従来の方法として、非特許文献１に記載の方法を用いた。
図３は、従来の方法及び本発明の方法における１フレーム当たりの平均計算時間を縦軸として比較したグラフであり、図４は、各個別処理に１フレーム当たりの平均計算時間を縦軸として比較したグラフである。
また、図３及び図４は、非特許文献１に記載の方法、本発明の方法のうち代表視線位置重み係数算出部４３の処理のみを並列処理した場合、本発明の方法のうち視線移動状態変数更新部４１及び代表視線位置更新部４２を並列処理した場合、本発明の方法による並列処理を全て実行した場合をそれぞれ横軸に並べている。
図３及び図４からわかるように、視線位置推定の計算時間を入力映像に関して平均したとき、本発明の方法による視線位置推定がより高速に処理を実行できる。
なお、図４の各方法において、各個別処理（基礎注目度画像抽出部１による基礎注目度画像￣Ｓ（ｉ）の抽出処理、代表視線位置重み係数算出部４３による代表視線位置重み係数集合Ｗ（ｔ）の抽出処理、視線移動状態変数更新部４１による視線移動状態確率変数集合Ｕ（ｔ）の更新処理及び代表視線位置更新部４２による代表視線位置集合Ｖ（ｔ）の更新処理）の計算時間を合計した時間が、図３に示した各方法の計算時間である。
続いて、評価値に関する従来の方法と本発明の方法との比較について説明する。なお、従来の方法として、非特許文献１及び非特許文献３に記載の方法を用いた。
図５は、従来の方法及び本発明の方法における評価値ＮＳＳを縦軸として比較したグラフである。
また、図５は、非特許文献１に記載の方法、本発明の方法のうち代表視線位置重み係数算出部４３の処理のみを並列処理した場合、本発明の方法のうち視線移動状態変数更新部４１及び代表視線位置更新部４２を並列処理した場合、本発明の方法による並列処理を全て実行した場合、非特許文献３に記載の方法をそれぞれ横軸に並べている。なお、本発明の方法のうち視線移動状態変数更新部４１及び代表視線位置更新部４２を並列処理した場合では、視線位置確率密度画像抽出部４の処理における代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成処理を実施しない場合と実施する場合とを横軸に並べている。
図５からわかるように、本発明の方法による視線位置推定の評価値ＮＳＳは、非特許文献１に記載の従来の方法と比べて評価値が下がっている。しかし、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成処理を実施しない場合と実施する場合との比較からわかるように、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成が評価値を低下させていることがわかる。このことは、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成を実施しない場合には、少数の代表視線位置のサンプルが非常に大きな重み係数を持つことによって、視線位置の推定結果の正確性が損なわれる状況がしばしば見られることを示している。すなわち、非特許文献１に記載の方法で導かれた視線位置の推定結果が必ずしも正しくないことを示している。本発明の方法においては、視線位置の推定結果の正確性を担保したまま、非特許文献３に記載の方法と比べてより良い評価値を示しており、この結果は、本発明の方法の１つの効果を示すものである。
続いて、図６及び図７に本実施形態の視線位置推定装置１００、もしくは視線位置推定装置２００によって処理した視線位置の推定結果の一例を示す。図６及び図７では、視線位置推定の対象となる入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、算出した人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を示している。
図６及び図７に示された視線位置確率密度映像の各画像内に存在する複数の□印は、人間が視線を向ける領域を示しており、人間が視線を向ける確率が最も高い領域から順に予め定められた優先順位までを表示している。
また、最も人間が視線を向ける確率が高い領域のみで視線位置確率密度映像の各画像を比較すると、人間が視線を向ける領域の変化を確認することができる。例えば、図６では、視線位置推定の対象となる入力映像の中で、人間が視線を向けている領域が異なる領域に移動した場合を示している。また、図７では、視線位置推定の対象となる入力映像の中で変化の大きい領域に人間の視線が向けられている場合を示している。
なお、図１に示した視線位置推定装置１００や図２に示した視線位置推定装置２００の各処理ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、視線位置推定装置１００や視線位置推定装置２００に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
１・・・基礎注目度画像抽出部
２・・・確率的基礎注目度画像抽出部
３・・・確率的基礎注目度母数逐次推定部
４・・・視線位置確率密度画像抽出部
４１・・・視線移動状態変数更新部
４２・・・代表視線位置更新部
４３・・・代表視線位置重み係数算出部
４４・・・視線位置確率密度画像出力部
４５・・・代表視線位置集合再構成部
５・・・視線位置確率密度映像出力部
６・・・確率的基礎注目度母数推定部
６１・・・学習用基礎注目度映像抽出部
６２・・・初期推定確率的基礎注目度母数設定部
６３・・・確率的基礎注目度推定部
６４・・・推定確率的基礎注目度母数更新部
６５・・・推定確率的基礎注目度母数確定部
７・・・視線位置確率密度母数推定部
７０・・・学習用確率的基礎注目度映像抽出部
７１・・・初期推定視線位置確率密度母数設定部
７２・・・視線移動状態変数推定部
７３・・・推定視線位置確率密度母数更新部
７４・・・推定視線位置確率密度母数確定部
１００，２００・・・視線位置推定装置

Claims (14)

  1. ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定方法において、
    前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
    現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、
    現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、
    前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、
    を有し、
    前記視線位置確率密度画像抽出過程は、
    視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、
    視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、
    それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、
    前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と、
    を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
    ことを特徴とする視線位置推定方法。
  2. 前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定過程、
    を更に有し、
    前記確率的基礎注目度画像抽出過程は、
    前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定過程によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、
    前記視線位置確率密度映像出力過程は、
    前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記確率的基礎注目度母数逐次推定過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、
    ことを特徴とする請求項１に記載の視線位置推定方法。
  3. 前記視線位置確率密度画像抽出過程は、更に、
    前記代表視線位置更新過程によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新過程から出力された視線移動状態変数集合を、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成過程、
    を有することを特徴とする請求項１または請求項２に記載の視線位置推定方法。
  4. ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定過程と、
    前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定過程によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定過程と、
    を更に有し、
    前記確率的基礎注目度画像抽出過程は、
    前記確率的基礎注目度母数推定過程が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、
    前記視線位置確率密度画像抽出過程は、
    前記視線位置確率密度母数推定過程が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、
    ことを特徴とする請求項１から請求項３のいずれか１の項に記載の視線位置推定方法。
  5. 前記確率的基礎注目度母数推定過程は、
    前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出過程と、
    前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定過程と、
    前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定過程と、
    前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、前記確率的基礎注目度推定過程によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新過程と、
    前記確率的基礎注目度推定過程と、前記推定確率的基礎注目度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定過程と、
    を有することを特徴とする請求項４に記載の視線位置推定方法。
  6. 前記視線位置確率密度母数推定過程は、
    前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定過程と、
    前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定過程と、
    前記学習映像、前記視線位置系列、及び視線移動状態変数推定過程によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新過程と、
    前記視線移動状態変数推定過程と、前記推定視線位置確率密度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定過程と、
    を有することを特徴とする請求項４または請求項５に記載の視線位置推定方法。
  7. ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置において、
    前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、
    現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、
    現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、
    前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、
    を備え、
    前記視線位置確率密度画像抽出部は、
    視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、
    視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、
    それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、
    前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部と、
    を備え、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
    ことを特徴とする視線位置推定装置。
  8. 前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定部、
    を更に備え、
    前記確率的基礎注目度画像抽出部は、
    前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定部によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、
    前記視線位置確率密度映像出力部は、
    前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記確率的基礎注目度母数逐次推定部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、
    ことを特徴とする請求項７に記載の視線位置推定装置。
  9. 前記視線位置確率密度画像抽出部は、更に、
    前記代表視線位置更新部によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新部から出力された視線移動状態変数集合を、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成部、
    を備えることを特徴とする請求項７または請求項８に記載の視線位置推定装置。
  10. ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定部と、
    前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定部によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定部と、
    を更に備え、
    前記確率的基礎注目度画像抽出部は、
    前記確率的基礎注目度母数推定部が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、
    前記視線位置確率密度画像抽出部は、
    前記視線位置確率密度母数推定部が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、
    ことを特徴とする請求項７から請求項９のいずれか１の項に記載の視線位置推定装置。
  11. 前記確率的基礎注目度母数推定部は、
    前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出部と、
    前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定部と、
    前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定部と、
    前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、前記確率的基礎注目度推定部によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新部と、
    前記確率的基礎注目度推定部と、前記推定確率的基礎注目度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定部と、
    を備えることを特徴とする請求項１０に記載の視線位置推定装置。
  12. 前記視線位置確率密度母数推定部は、
    前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定部と、
    前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定部と、
    前記学習映像、前記視線位置系列、及び視線移動状態変数推定部によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新部と、
    前記視線移動状態変数推定部と、前記推定視線位置確率密度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定部と、
    を備えることを特徴とする請求項１０または請求項１１に記載の視線位置推定装置。
  13. ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、
    前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、
    現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、
    現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、
    前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、
    を実行させ、
    前記視線位置確率密度画像抽出ステップは、
    視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、
    視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、
    それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、
    前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、
    を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
    ことを特徴とするプログラム。
  14. ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、
    前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、
    現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、
    現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、
    前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、
    を実行させ、
    前記視線位置確率密度画像抽出ステップは、
    視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、
    視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、
    それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、
    前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、
    を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
    ためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2009108468A 2009-04-27 2009-04-27 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体 Pending JP2010257344A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009108468A JP2010257344A (ja) 2009-04-27 2009-04-27 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009108468A JP2010257344A (ja) 2009-04-27 2009-04-27 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2010257344A true JP2010257344A (ja) 2010-11-11

Family

ID=43318153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009108468A Pending JP2010257344A (ja) 2009-04-27 2009-04-27 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP2010257344A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711239A (zh) * 2018-09-11 2019-05-03 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
JP2020144626A (ja) * 2019-03-06 2020-09-10 東洋製罐グループホールディングス株式会社 異常検出システム、及び異常検出プログラム
CN111798457A (zh) * 2020-06-10 2020-10-20 上海众言网络科技有限公司 图像视觉重量确定方法、装置和图像评价方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711239A (zh) * 2018-09-11 2019-05-03 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
CN109711239B (zh) * 2018-09-11 2023-04-07 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
JP2020144626A (ja) * 2019-03-06 2020-09-10 東洋製罐グループホールディングス株式会社 異常検出システム、及び異常検出プログラム
JP7348588B2 (ja) 2019-03-06 2023-09-21 東洋製罐グループホールディングス株式会社 異常検出システム、及び異常検出プログラム
CN111798457A (zh) * 2020-06-10 2020-10-20 上海众言网络科技有限公司 图像视觉重量确定方法、装置和图像评价方法

Similar Documents

Publication Publication Date Title
JP5235770B2 (ja) 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体
US11468262B2 (en) Deep network embedding with adversarial regularization
US10600185B2 (en) Automatic liver segmentation using adversarial image-to-image network
Ostrovski et al. Autoregressive quantile networks for generative modeling
US10503978B2 (en) Spatio-temporal interaction network for learning object interactions
CN108140146B (zh) 使用绝热量子计算机的离散变分自动编码器系统和方法
Svensén et al. Robust Bayesian mixture modelling
Charles et al. Dynamic Filtering of Time-Varying Sparse Signals via $\ell _1 $ Minimization
JP6569047B1 (ja) 学習方法、コンピュータプログラム、分類器、及び生成器
CN108287904A (zh) 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
US11288851B2 (en) Signal change apparatus, method, and program
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
US20220122378A1 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN103679641A (zh) 深度图像增强方法和装置
CN109447096B (zh) 一种基于机器学习的扫视路径预测方法和装置
JP6832252B2 (ja) 超解像装置およびプログラム
JP2010257344A (ja) 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体
EP4343680A1 (en) De-noising data
US20190156182A1 (en) Data inference apparatus, data inference method and non-transitory computer readable medium
Akpabio et al. Uncertainty quantification of machine learning models: on conformal prediction
CN113077383B (zh) 一种模型训练方法及模型训练装置
JP2010257341A (ja) 適応型視線位置推定方法、適応型視線位置推定装置、プログラム、及び記録媒体
Lu et al. Generalized competitive learning of Gaussian mixture models
Xun et al. Sparse estimation of historical functional linear models with a nested group bridge approach