JP2018027267A

JP2018027267A - 映像視聴者の状態推定装置、方法及びプログラム

Info

Publication number: JP2018027267A
Application number: JP2016161403A
Authority: JP
Inventors: 将人桜井; Masato Sakurai
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2016-08-19
Filing date: 2016-08-19
Publication date: 2018-02-22

Abstract

【課題】軽い処理負荷で映像視聴者の状態推定を行う状態推定装置を提供する。
【解決手段】状態推定装置は、視聴者に対して映像を表示する表示手段と、前記視聴者の瞳孔径を測定する測定手段と、前記表示手段に複数の異なる輝度の画像を表示させ、前記測定手段に前記視聴者の瞳孔径を測定させることで輝度と瞳孔径との関係を示す関係情報を生成する生成手段と、前記表示手段が表示する映像の輝度と、前記表示手段が前記映像を表示しているときに前記測定手段が測定する前記視聴者の測定瞳孔径と、前記関係情報と、に基づき前記視聴者の状態を推定する推定手段と、を備えていることを特徴とする。
【選択図】図１

Description

本発明は、映像の視聴者の状態推定技術に関する。

人間の瞳孔は、副交感神経と交感神経の両方の自律神経によって制御されている。瞳孔の大きさ（瞳孔径）は明るさによって収縮・増大するだけでなく、交感神経の活動時に増大し、副交感神経の活動時に縮小する。非特許文献１は、画像の輝度と瞳孔面積の関係を調査し、瞳孔面積の変化から画像の輝度による変化量を取り除き、静止画における興味だけに基づく瞳孔面積の変化を取得する構成を開示していている。非特許文献２は、表情の異なる人物の写真を見たときの瞳孔径の変化量を調査し、瞳孔径の収縮・拡大が好みに対して変化するのか、或いは、興味に対して変化するのかを検討している。結果として「好ましさ」が瞳孔径に反映され、「好き」は生理的沈静状態と関連し、「嫌い」は生理的興奮状態と関連することが示されている。

中山実，他，"瞳孔面積変化からの輝度による変化の分離と呈示パターンの評価"，日本教育工学雑誌，１５（１），１５−２３，１９９１年中森志穂，他，"顔画像に対する好みは，瞳孔径にどう反映されるのか"，日本感性工学会誌，１０（３），３２１−３２６，２０１１年

非特許文献１の構成は、実験による瞳孔面積の変化量の数値解析から興味だけによる瞳孔面積の変化を抽出しており処理負荷が高い。また、ある瞬間の心理状態を評価する点において満足できるものではない。さらに、実験で使用する基準画像は、人物や風景の画像であるため心理状態の変化が加味され、明るさによる瞳孔面積の変化を精度良く除去できていない。非特許文献２も同様である。一方、映像の視聴者の任意の瞬間における心理状態の推定は重要な検討項目であり、処理負荷の軽い状態推定技術が望まれている。

本発明は、軽い処理負荷で映像視聴者の状態推定を行う状態推定装置、方法及びプログラムを提供するものである。

本発明の一側面によると、状態推定装置は、視聴者に対して映像を表示する表示手段と、前記視聴者の瞳孔径を測定する測定手段と、前記表示手段に複数の異なる輝度の画像を表示させ、前記測定手段に前記視聴者の瞳孔径を測定させることで輝度と瞳孔径との関係を示す関係情報を生成する生成手段と、前記表示手段が表示する映像の輝度と、前記表示手段が前記映像を表示しているときに前記測定手段が測定する前記視聴者の測定瞳孔径と、前記関係情報と、に基づき前記視聴者の状態を推定する推定手段と、を備えていることを特徴とする。

本発明によると、軽い処理負荷で映像視聴者の状態推定を行うことができる。

一実施形態による状態推定装置の構成図。一実施形態による事前測定で求める輝度と瞳孔径の関係を示す図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態による状態推定装置の構成図である。まず、映像表示部１は、テスト画像を順に表示する。テスト画像は、心理状態の変化を誘発しない無模様で、輝度の異なる複数の画像を含んでいる。例えば、テスト画像として、輝度１００％（白）、輝度７５％、５０％、２５％及び０％（黒）の５つの異なる輝度を含む画像を視聴者に表示する。瞳孔径測定部２は、テスト画像を表示しているときの視聴者の瞳孔径を測定する。輝度瞳孔関係判定部３は、映像表示部１が表示した輝度を示す情報と、そのときに瞳孔径測定部２が測定した視聴者の瞳孔径を受け取り、図２に示す様な、輝度と瞳孔径の関係を示す輝度瞳孔関係情報を作成する。なお、図２においては、輝度と瞳孔径の関係を１次関数、即ち、直線で近似しているが、２次以上の関数で近似する構成であっても良い。

続いて、映像表示部１は、判定対象の映像を表示すると共に、表示した映像を示す情報を輝度判定部４に出力する。また、このとき、瞳孔径測定部２は、視聴者の瞳孔径を測定して測定結果を推定部５に出力する。輝度判定部４は、フレーム内の各画素の輝度の平均値を求め、この平均値をフレームの輝度として推定部５に出力する。

推定部５は、輝度瞳孔関係情報から、輝度判定部４から入力されるフレームの輝度に対応する瞳孔径を求める。この瞳孔径を輝度瞳孔径Ａ（基準瞳孔径）とする。また、瞳孔径測定部２が測定した視聴者の瞳孔径を測定瞳孔径Ｂとする。推定部５は、輝度瞳孔径Ａと測定瞳孔径Ｂとを比較し以下の通り視聴者の状態を判定する。

まず、測定瞳孔径Ｂが輝度瞳孔径Ａより大きい状態は、瞳孔径の変化が輝度に基づくものより大きい状態であり、交感神経が活動していることを意味する。これは、興奮状態に該当する。一方、測定瞳孔径Ｂが輝度瞳孔径Ａより小さい状態は、瞳孔径の変化が輝度に基づくものより小さい状態であり、副交感神経が活動していることを意味する。これは、沈静状態に該当する。一方、測定瞳孔径Ｂと輝度瞳孔径Ａが等しい状態は、瞳孔径が輝度のみに基づき変化している状態であり、交感神経及び副交感神経の活動が特にないことを意味する。これは、中立状態に対応する。推定部５は、この様にしてフレーム毎に視聴者の心理状態を３段階で判定して出力する。

なお、フレーム毎に視聴者の心理状態を推定するのではなく、数フレーム毎に推定する構成であっても良い。この場合、推定を行う複数のフレームの平均輝度と、複数のフレームを表示しているときの瞳孔径の平均値とに基づき推定を行う。また、測定瞳孔径Ｂが、輝度瞳孔径Ａを含む所定範囲内になると中立状態と判定し、測定瞳孔径Ｂが、輝度瞳孔径Ａより大きく、かつ、前記所定範囲内にないと興奮状態と判定し、測定瞳孔径Ｂが、輝度瞳孔径Ａより小さく、かつ、前記所定範囲内にないと沈静状態と判定する構成であっても良い。さらに、推定部５は、視聴者の心理状態を３段階で判定するのではなく、４段階以上で判定する構成であっても良い。例えば、興奮状態を第１興奮状態と、第１興奮状態より興奮度の強い第２興奮状態とに分け、測定瞳孔径Ｂが輝度瞳孔径Ａより所定値以上大きいと第２興奮状態と判定し、測定瞳孔径Ｂが輝度瞳孔径Ａより大きいが、その差が前記所定値未満であると第１興奮状態と判定することができる。

なお、本発明による状態推定装置は、コンピュータを上記状態推定装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１：映像表示部、２：瞳孔径測定部、３：輝度瞳孔関係判定部、４：輝度判定部、５：推定部

Claims

視聴者に対して映像を表示する表示手段と、
前記視聴者の瞳孔径を測定する測定手段と、
前記表示手段に複数の異なる輝度の画像を表示させ、前記測定手段に前記視聴者の瞳孔径を測定させることで輝度と瞳孔径との関係を示す関係情報を生成する生成手段と、
前記表示手段が表示する映像の輝度と、前記表示手段が前記映像を表示しているときに前記測定手段が測定する前記視聴者の測定瞳孔径と、前記関係情報と、に基づき前記視聴者の状態を推定する推定手段と、
を備えていることを特徴とする状態推定装置。
前記推定手段は、前記表示手段が表示する映像のフレームの輝度と、前記表示手段が前記フレームを表示しているときの前記測定瞳孔径と、前記関係情報と、に基づき前記視聴者の状態を推定することを特徴とする請求項１に記載の状態推定装置。
前記表示手段が表示する映像のフレームの輝度は、前記フレームの各画素の輝度の平均値に基づく値であることを特徴とする請求項２に記載の状態推定装置。
前記表示手段が表示する映像のフレームの輝度は、連続する所定数のフレームの各画素の輝度の平均値であり、前記測定瞳孔径は、前記表示手段が前記連続する所定数のフレームを表示しているときに前記測定手段が測定した前記視聴者の瞳孔径の平均値であることを特徴とする請求項３に記載の状態推定装置。
前記推定手段は、前記表示手段が表示する映像の輝度と、前記関係情報に基づき基準瞳孔径を求め、前記基準瞳孔径と、前記測定瞳孔径とを比較することで前記視聴者の状態を推定することを特徴とする請求項１から４のいずれか１項に記載の状態推定装置。
前記推定手段は、前記測定瞳孔径が前記基準瞳孔径を含む所定範囲内になく、かつ、前記基準瞳孔径より大きいと前記視聴者の状態を第１状態と判定し、前記測定瞳孔径が前記基準瞳孔径を含む前記所定範囲内にあると前記視聴者の状態を第２状態と判定し、前記測定瞳孔径が前記基準瞳孔径を含む所定範囲内になく、かつ、前記基準瞳孔径より小さいと前記視聴者の状態を第３状態と判定し、
前記第１状態は前記第２状態より興奮度が高く、前記第２状態は前記第３状態より興奮度が高いことを特徴とする請求項５に記載の状態推定装置。
表示手段に複数の異なる輝度の画像を表示させ、測定手段に視聴者の瞳孔径を測定させることで輝度と瞳孔径との関係を示す関係情報を生成する生成ステップと、
前記表示手段が表示する映像の輝度と、前記表示手段が前記映像を表示しているときに前記測定手段が測定する前記視聴者の測定瞳孔径と、前記関係情報と、に基づき前記視聴者の状態を推定する推定ステップと、
を含むことを特徴とする状態推定方法。
請求項１から６のいずれか１項に記載の状態推定装置としてコンピュータを機能させることを特徴とするプログラム。