JP2013101524A5 - - Google Patents

Claims (18)

1. 表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段と、
   前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影手段の撮影画像から検出する領域検出手段と、
   前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得手段と、
   前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、
   を含むことを特徴とする注視位置推定システム。
2. 請求項１に記載の注視位置推定システムにおいて、
   前記ユーザが前記画面内の基準位置を見ている場合における前記目領域の面積情報及び位置情報に基づいて前記目領域の基準面積情報及び基準位置情報を取得し、かつ、前記ユーザが前記画面内の前記基準位置を見ている場合における前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報に基づいて、前記顔領域と前記所定部位領域との前記少なくとも一方の基準面積情報及び基準位置情報を取得する基準面積／位置情報取得手段を含み、
   前記注視位置推定手段は、（１）前記目領域の、前記面積情報と前記基準面積情報との差と、（２）前記目領域の、前記位置情報と前記基準位置情報との差と、（３）前記顔領域と前記所定部位領域との前記少なくとも一方の、前記面積情報と前記基準面積情報との差と、（４）前記顔領域と前記所定部位領域との前記少なくとも一方の、前記位置情報と前記基準位置情報との差と、（５）前記画面内の前記基準位置と、に基づいて、前記ユーザが注視している前記画面内の位置を推定する、
   ことを特徴とする注視位置推定システム。
3. 請求項２に記載の注視位置推定システムにおいて、
   （１）前記目領域の、前記面積情報と前記基準面積情報との差の移動平均と、（２）前記目領域の、前記位置情報と前記基準位置情報との差の移動平均と、（３）前記顔領域と前記所定部位領域との前記少なくとも一方の、前記面積情報と前記基準面積情報との差の移動平均と、（４）前記顔領域と前記所定部位領域との前記少なくとも一方の、前記位置情報と前記基準位置情報との差の移動平均と、を算出する手段を含み、
   前記注視位置推定手段は、算出された移動平均と、前記画面内の前記基準位置と、に基づいて、前記ユーザが注視している前記画面内の位置を推定する、
   ことを特徴とする注視位置推定システム。
4. 請求項１乃至３のいずれかに記載の注視位置推定システムにおいて、
   前記領域検出手段によるいずれかの領域の検出が失敗したか否かを判定する手段と、
   前記領域検出手段によるいずれかの領域の検出が失敗した場合に、前記注視位置推定手段による推定の実行を抑止する手段と、
   を含むことを特徴とする注視位置推定システム。
5. 請求項１乃至４のいずれかに記載の注視位置推定システムにおいて、
   前記ユーザが注視していると前記注視位置推定手段によって推定された前記画面内の位置を示す画像を前記画面内に表示させる手段を含むことを特徴とする注視位置推定システム。
6. 請求項１乃至５のいずれかに記載の注視位置推定システムにおいて、
   情報処理装置を含み、
   前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、
   前記撮影手段は、前記ユーザの顔を第１の所定時間ごとに撮影し、
   前記撮影手段によって撮影された、前記第１の所定時間ごとの撮影画像のうちの、前記第１の所定時間よりも長い第２の所定時間ごとの撮影画像が、前記領域検出手段による検出の対象とされ、
   前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記第２の所定時間を設定する設定手段を含む、
   ことを特徴とする注視位置推定システム。
7. 請求項３に記載の注視位置推定システムにおいて、
   情報処理装置を含み、
   前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、
   前記注視位置推定手段は、前記面積／位置情報取得手段による直近の所定数の取得結果に基づいて、（１）前記目領域の、前記面積情報と前記基準面積情報との差の移動平均と、（２）前記目領域の、前記位置情報と前記基準位置情報との差の移動平均と、（３）前記顔領域と前記所定部位領域との前記少なくとも一方の、前記面積情報と前記基準面積情報との差の移動平均と、（４）前記顔領域と前記所定部位領域との前記少なくとも一方の、前記位置情報と前記基準位置情報との差の移動平均と、を算出し、
   前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記所定数を設定する設定手段を含む、
   ことを特徴とする注視位置推定システム。
8. 請求項１乃至７のいずれかに記載の注視位置推定システムにおいて、
   前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づき、１又は複数の演算式に従って演算を実行することによって、前記ユーザが注視している前記画面内の位置を推定し、
   前記注視位置推定システムは、
   前記ユーザによって指示された前記画面内の位置を取得する指示位置取得手段と、
   前記ユーザによって指示された前記画面内の位置と、該位置が前記ユーザによって指示された際における、前記目領域の面積情報及び位置情報と、前記顔領と前記所定部位領域との少なくとも一方の面積情報及び位置情報と、に基づいて、前記１又は複数の演算式に含まれる定数又は／及び係数を補正する補正手段と、を含む、
   ことを特徴とする注視位置推定システム。
9. 請求項１乃至８のいずれかに記載の注視位置推定システムにおいて、
   前記領域検出手段は、前記ユーザの顔領域と、前記ユーザの両目領域と、前記ユーザの左目領域と、前記ユーザの右目領域と、前記ユーザの鼻領域と、前記ユーザの口領域と、を前記撮影画像から検出し、
   前記面積／位置情報取得手段は、前記顔領域と、前記両目領域と、前記左目領域と、前記右目領域と、前記鼻領域と、前記口領域との各々の面積情報及び位置情報を取得する、
   ことを特徴とする注視位置推定システム。
10. 請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
    前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
    前記情報処理装置は、前記撮影画像を前記サーバに送信する手段を含み、
    前記サーバ装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含む、
    ことを特徴とする注視位置推定システム。
11. 請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
    前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
    前記情報処理装置は、
    前記領域検出手段と、
    前記領域検出手段の検出結果を前記サーバ装置に送信する手段と、を含み、
    前記サーバ装置は前記面積／位置情報取得手段及び前記注視位置推定手段を含む、
    ことを特徴とする注視位置推定システム。
12. 請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
    前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
    前記情報処理装置は、
    前記領域検出手段及び前記面積／位置情報取得手段と、
    前記面積／位置情報取得手段によって取得された面積情報及び位置情報を前記サーバ装置に送信する手段と、を含み、
    前記サーバ装置は前記注視位置推定手段を含む、
    ことを特徴とする注視位置推定システム。
13. 請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
    前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
    前記情報処理装置は、
    前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段と、
    前記注視位置推定手段による推定結果に関する注視位置データを前記サーバ装置に送信する手段と、を含み、
    前記サーバ装置は、
    前記注視位置データを受信する手段と、
    前記注視位置データに基づいて、前記ユーザが注視している前記画面内の位置に関する集計処理を実行する手段と、を含む、
    ことを特徴とする注視位置推定システム。
14. 表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像を取得するステップと、
    前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影画像から検出する領域検出ステップと、
    前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得ステップと、
    前記面積／位置情報取得ステップにおいて取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、
    を含むことを特徴とする注視位置推定システムの制御方法。
15. 表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段と、
    前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、
    を含むことを特徴とする注視位置推定装置。
16. 表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得するステップと、
    前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、
    を含むことを特徴とする注視位置推定装置の制御方法。
17. 表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、
    前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、
    としてコンピュータを機能させるためのプログラム。
18. 表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、
    前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、
    としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可
    能な情報記憶媒体。