JP2019055161A - 瞳孔径変化の呼吸及び脈拍の影響を排除する手法と刺激による瞳孔径変化に基づく視認者情感判定装置、視認者情感判定システム及びプログラム。 - Google Patents

Abstract

【課題】呼吸及び脈拍の影響を排除した瞳孔径変化より情感を判定する。【解決手段】視認者の瞳孔径を測定し、基準測定瞳孔径の時間変化を測定する。同時に呼吸周波数を測定し、より低い周波数を遮断周波数として、基準測定瞳孔径に低域通過濾波の処理を加え、呼吸と脈拍の影響を削除した明暗反応だけに基づく基準瞳孔径の時間変化を得る。コンテンツ（動画）が表示された画面の明るさ及び画面内の視点位置の明るさに対応するコンテンツ視認測定瞳孔径を測定し、明暗反応だけに基づくコンテンツ視認瞳孔径の時間変化を得る。基準明暗画面における画面の明るさと視点位置の明るさとの組合せ毎の基準瞳孔径からなる基準瞳孔径テーブルを生成し、コンテンツが表示された画面の明るさ及び前記コンテンツが表示された画面内の視点位置の明るさに相当する基準瞳孔径を分母とし、コンテンツ視認瞳孔径を分子とする比を視認者の注目度と特定し、視認者の情感を判定する。【選択図】図３

Description

本発明は、視認者が視認対象を注目すると瞳孔径が拡大することを利用した視認者情感判定装置、視認者情感判定システム及びプログラムに関し、視認対象に視認者が視認した時の瞳孔径を測定する際に、瞳孔径が影響を受ける視認対象の明暗並びに視認者の呼吸及び脈拍の周期的な影響を削除して、注目度だけに関する瞳孔径を抽出する技術と、視認者への刺激による瞳孔径変化に基づく視認者情感判定システム及びプログラムである。

従来、人がどこを見ているかを判定する技術として、視点位置を測定し、視認対象への視点の停留時間を算出し、視認対象への注目度を測定していた。この方法では、単に視認対象をぼんやり見ていた場合であっても、視点の停留時間が長い場合には、その視認対象への注目度が高いものと誤った判定がされる。また、視点の停留は、静止画のように静止しているものに対して計測可能であるが、対象が変化する動画に対しては計測が困難であった。

このような問題を解決するために、人が視認対象を注目すると瞳孔径が拡大する現象を併用し、視認対象への注目度の高さを判定する技術がある（例えば特許文献１、２を参照）。

特許文献１，２の技術では、視認者の眼球運動を撮像し、視線の動き、瞳孔径等を測定して視認対象への注目度を測定する。
ただし、瞳孔径は明暗反応があるので、明暗反応部分を削除する必要がある。
そこで、視認者毎に、コンテンツに対する明暗反応について、ディスプレイの基準明暗画面で基準となる輝度と瞳孔径を予め測定して基準輝度と瞳孔径の関係を作成しておく。そして、実際のコンテンツを視認したときのディスプレイの輝度を測定し、予め測定した基準輝度と瞳孔径との関係を参照し、実際のコンテンツの輝度に相当する基準輝度の瞳孔径と実際のコンテンツ視認時に測定した瞳孔径との差を分子にし、ディスプレイの基準となる輝度の変化において最小輝度画面での視認者の最大瞳孔径と最大輝度画面での視認者の最小瞳孔径の差（視認者の瞳孔径最大変化値）を分母にした比により、ディスプレイに表示されたコンテンツへの注目度と判定するものである。

さらに、瞳孔径のデータには、呼吸及び脈拍により周期的に変化する成分が含まれている。このため、視認対象への注目度をより正確に判定するためには、瞳孔径のデータから、視認対象の明暗の影響の他、視認者の呼吸及び脈拍の瞳孔径への影響を排除することが必要となる。
そこで、特許文献３の技術では、呼吸周期より長い時間で瞳孔径の変化データを移動平均することにより、呼吸、脈拍による瞳孔径への影響を除去した瞳孔径を得ることができる。
さらに脈拍周期より長い時間で瞳孔径データを移動平均することにより、脈拍だけによる瞳孔径への影響を除去することもできる。
さらに、予め測定したディスプレイの基準明暗画面での基準輝度と瞳孔径との関係を参照し、実際のコンテンツを視認した時の明るさに相当する基準輝度の瞳孔径を分母にし、実際にコンテンツ視認時に測定した瞳孔径を分子にした、基準輝度での瞳孔径に対するコンテンツ視認時の瞳孔径の拡大率により、視認コンテンツへの注目度とする視認者情感判定装置。

特許第５４４５９８１号 国際公開番号ＷＯ２０１５／０５６７４２号 特願２０１６−０７４０１４号

本発明が解決しようとする課題

瞳孔径は、明暗反応の他、呼吸及び脈拍により周期的に変化する成分が含まれている。このため、前記瞳孔径の拡大率による視認対象への注目度をより正確に測定するため、基準明暗画面視認時の瞳孔径を測定する際に、視認対象の明暗の他、視認者の呼吸及び脈拍の瞳孔径への周期的な影響を把握し、その影響を排除するために、特許文献３は、視認対象視認時の瞳孔径測定データに呼吸周期以上の時間による移動平均をすることにより、瞳孔径の呼吸波形と脈拍波形を抽出し、コンテンツ視認時の瞳孔径変化から呼吸波形と脈拍波形を補正して、呼吸と脈拍の影響を削除する方法である。

しかし、特許文献３のこの手法は処理ステップが多く、複雑であった。

本発明は前記課題の瞳孔径に影響する呼吸及び脈拍成分が周期的に変化する特徴を利用して、電気通信技術で使用される低域通過濾波の処理を通して呼吸周波数以上の周期的変化成分（呼吸よりも周波数が高い脈拍も含む）を削除する手法により、特許文献３の移動平均の手法とは異なる瞳孔径の呼吸、脈拍成分を削除する簡単な方法を特徴とする視認者情感判定装置、視認者情感判定システム及びプログラムである。

本特許は、ディスプレイに表示されたコンテンツを視認する視認者の瞳孔径に基づいて、前記視認者の情感を判定する視認者情感判定装置において、前記ディスプレイの画面の明るさと、前記ディスプレイの所定箇所に前記視認者の視点を合わせるための視点位置の明るさの組み合わせをそれぞれ一定時間表示する基準明暗画面を備え、前記基準明暗画面における前記画面の明るさと前記視点位置の明るさとの組合せ毎に、前記視認者の瞳孔径を測定し、前記視認者の瞳孔径に関する基準測定瞳孔径のデータを作成する。

同時に呼吸波形計で前期視認者の基準呼吸周波数を測定し、前記視認者の基準呼吸周波数が揺れることを考慮して、基準呼吸周波数よりやや少ない（呼吸周期が長い）、たとえば基準呼吸周波数の０．８倍を遮断周波数とする低域通過濾波の処理を、時間的に変化する基準測定瞳孔径時間変化データに加えることにより、瞳孔径の呼吸と脈拍の影響を削除した明暗反応だけに基づく瞳孔径の基準瞳孔径時間変化データを得る。

呼吸周波数の測定ができない場合は、一般の呼吸周波数統計の最低周波数を遮断周波数にしても良い。

ここで、同一の前記基準明暗画面の前記画面の明るさと前記視点位置の明るさとの組合せ毎に基準測定瞳孔径を平均し、基準瞳孔径テーブルを作成する。
なお、視認者の瞳孔径は視認対象の輝度変化に対して、変化後の新しい視認対象の輝度に順応するために時間が必要である、これは目の明暗順応と呼ばれる現象である。したがって、ディスプレイの画面と視点の輝度を変化させた最初の数秒の基準測定瞳孔径データを削除して、同一の前記画面の明るさと前記視点位置の明るさとの組合せ毎での残りの測定時間の瞳孔径データを平均して基準瞳孔径テーブルを作成する。

さらに前記ディスプレイに前記コンテンツ（動画）が表示された時に、前記コンテンツが表示された画面の明るさ及び前記コンテンツが表示された画面内の視認者の視点位置の明るさに対応するコンテンツ視認測定瞳孔径時間変化データを作成し、前記遮断周波数による低域通過濾波の処理を加えることにより、瞳孔径の呼吸と脈拍の影響を削除した明暗反応だけに基づくコンテンツ視認瞳孔径時間変化データを得ることを特徴にする。

なお、低域通過濾波の処理は、低域通過濾波器を通す方法の他、計算式によってもできる。これらの技術は電気通信の技術で既知であり、ここでは割愛する。

前記基準明暗画面視認時での前記視認者の生理状態は健常で平常時であること。すなわち、その時の呼吸は視認者が平常状態であることを条件とするので、基準瞳孔径測定時の基準呼吸周波数は平常時の呼吸周波数である。呼吸は故意に深呼吸したりの不自然な呼吸動作を除き、健常者が自然に興奮したりの生理的変化があると早くなり、周波数が高くなるので、低域通過濾波の遮断周波数を、呼吸周期の変動分を考えて基準呼吸周波数よりやや低い周波数（例えば基準呼吸周波数の０．８倍）にすると、視認者の全呼吸周波数はこの遮断周波数より高いと考えてよく、基準測定瞳孔径、コンテンツ視認測定瞳孔径に前記遮断周波数で低域通過濾波の処理を加えた結果の基準瞳孔径およびコンテンツ視認瞳孔径には、呼吸の影響をほとんど完全に削除されていることになる。

一般に、脈拍は呼吸の周波数より高く、低域通過濾波の遮断周波数を前記基準呼吸周波数より低い周波数にして、基準測定瞳孔径、コンテンツ視認測定瞳孔径に低域通過濾波の処理をした結果の基準瞳孔径およびコンテンツ視認瞳孔径には呼吸の影響とともに脈拍の影響も完全に削除されていることになる。

前記基準明暗画面における前記画面の明るさと前記視点位置の明るさとの組合せ毎の前記基準瞳孔径からなる基準瞳孔径データを生成する基準明暗反応測定手段を備え、前記測定部が、前記基準明暗反応測定手段により生成された基準瞳孔径テーブルに基づいて前記コンテンツが表示された画面の明るさと前記コンテンツが表示された画面内の視点位置の明るさに相当する基準瞳孔径を特定し、これを分母とし、コンテンツ視認瞳孔径を分子とする計算により、その値を視認者の注目度として判定することを備えた視認者情感判定装置。
すなわち、コンテンツ輝度と同等の基準輝度での瞳孔径に対するコンテンツ視認時の瞳孔径の拡大率が、視認コンテンツへの視認者の注目度である。

瞳孔径測定は、呼吸の周波数の影響を正確に把握できるように、ディスプレイのフレーム周波数と測定周波数は６０Ｈｚ以上が望ましい。

瞳孔径は見る対象の輝度により変化するが、被検者が輝度の低い対象物をしばらく見て、瞳孔径が落ち着いてから、突然輝度の高い対象物を見ると瞳孔径が縮瞳して落ち着くまでに時間がかかる。（これを明順応時間とする）。また、その逆に被検者が輝度の高い対象物をしばらく見て、瞳孔径が落ち着いてから、突然輝度の低い対象物を見ると瞳孔径が拡大して落ち着くまでに時間がかかる。（これを暗順応時間とする）。
この明順応時間、暗順応時間は輝度の変化が大きいほど時間が長い。またこの時間は個人により異なるが、一般に高年齢者ほど長い。
また、脳機能が低下していると長いことがある。
そこで特定の輝度変化において、視認者と同年齢層の男女別の健常者の明順応時間、暗順応時間の平均と比較して、視認者の明順応時間、暗順応時間が長いと、被験者の視神経の機能低下の他、脳機能の低下の可能性があり、精神疾患（認知症など）のレベルなどの判定の参考にできる。

視覚の他、聴覚、嗅覚、味覚、触覚の五感の刺激に対しても、瞳孔径が拡大（変化）する。
特定の刺激の種類に対する被験者の刺激の刺激度を判定する場合には、音声（音の種類毎に）、香（香の種類毎に）、味覚（味覚の種類毎に）、触覚などについてはすでに世の中に基準刺激サンプルがあり、被験者がその基準刺激サンプルでの刺激を受けた時の瞳孔径を測定し、同一環境である同一種類の刺激を受けた時の瞳孔径を測定し、その刺激の刺激度を

として、その刺激の種類についての被検者の刺激の程度（刺激度＝インパクト度）が判定できる。

各刺激にたいして、刺激度は
音の場合には、音を聴き、そのインパクトレベルを判定する。
香りの場合には、香りを嗅ぎ、そのインパクトレベルを判定する。
味覚の場合には、あるものを食べてみて、そのインパクトレベルを判定する。
触覚の場合には、あるものを触って、そのインパクトレベルと判定する。

さらに、同一の明るさの環境における前記基準瞳孔径と基準サンプル刺激時の瞳孔径の比

を同一年齢層の男女の平均との比較により、低ければ被験者の特定の刺激に対する機能低下または障害判定の参考になる。

各刺激の前記基準刺激サンプルに対して、被験者の瞳孔径の反応の時間的遅延を同年代の男女の平均と比較して、遅い場合は、その刺激に対する機能低下があり、障害のレベル判定の参考になる。

本発明の実施形態による視認者情感判定装置を含む視認者情感判定システムの構成例を示す概略図である。 本発明の実施形態による視認者情感判定装置の構成例を示すブロック図である。 視認者情感判定装置の全体処理を示すフローチャートである。 基準明暗画面を説明する図である。 基準明暗画面の輝度と視点（中央）の輝度の組み合わせの例。 基準測定瞳孔径の変化グラフの例。 基準瞳孔径（図６のグラフに低域通過濾波による呼吸と脈拍の影響を削除後）変化グラフの例。 コンテンツ視認測定瞳孔径の変化グラフの例。 コンテンツの輝度変化（１秒間隔での測定）の例。 コンテンツ視認瞳孔径（図８のグラフに低域通過濾波による呼吸と脈拍の影響削除後）変化のグラフの例。 コンテンツ輝度相当瞳孔径（１秒毎に計算）の例 コンテンツ視認の注目度変化の例。 視認者の注目度の判定例。 オープン環境で実施する視認者情感判定装置を含む視認者情感判定システムの構成例を示す概略図である。

〔視認者情感判定システム／ディスプレイに表示されるコンテンツを視認する場合〕
本発明の実施形態による視認者情感判定装置を含む視認者情感判定システムについて説明する。この例は、視認者がディスプレイに表示されるコンテンツを視認する場合において、明暗、呼吸及び脈拍の影響を排除した瞳孔径を測定し、注目度を算出し、視認者の情感を判定するものである。

図１は、本発明の実施形態による視認者情感判定装置を含む視認者情感判定システムの構成例を示す概略図である。この視認者情感判定システムは、視認者情感判定装置１、視線及び瞳孔径計測器２、明るさ計測装置３、呼吸波形計４、脈拍波形計５、蓄積装置６、送信装置７及びディスプレイ８を備えて構成される。

視認者情感判定装置１は、後述する視線及び瞳孔径計測器２から視認映像ａ及び眼球運動映像ｂを、所定の通信方式にて受信すると共に、送信装置７から明るさデータｃ、呼吸データｄ、脈拍データｅを所定の通信方式にて受信する。

視認者情感判定装置１は、ディスプレイ８に基準明暗画面が表示している状態で、明暗、呼吸及び脈拍に反応する瞳孔径を基準測定瞳孔径として予め測定する。そして、視認者情感判定装置１は、ディスプレイ８に表示されるコンテンツを視認対象物として、視認者のコンテンツ視認測定瞳孔径を測定し、基準測定瞳孔径、コンテンツ視認測定瞳孔径から、明暗、呼吸、脈拍の影響を削除した結果の基準瞳孔径とコンテンツ視認瞳孔を算出し、基準瞳孔径とコンテンツ視認瞳孔径の比を注目度として算出する。
さらに、視認者情感判定装置１は、注目度に基づいて視認者の情感を判定したり、複数の視認者について統計処理を行い、コンテンツを客観的に評価したりする。
視認者情感判定装置１の詳細については後述する。

視線及び瞳孔径計測器２は、視認者がディスプレイ８に表示されたコンテンツを視認しているときに、図示しないカメラにより撮影されたコンテンツの視認映像ａ、及び、視認者の視点位置及び瞳孔径を測定するための視認者の眼球の画像であって、図示しないカメラにより撮影された眼球運動映像ｂを取得する。そして、視線及び瞳孔径計測器２は、視認映像ａ及び眼球運動映像ｂを、所定の通信方式にて視認者情感判定装置１へ送信する。

明るさ計測装置３は、視認者が視認する対象物の明るさを示す明るさデータを計測する機能を備えている。本例では、明るさ計測装置３は、ディスプレイ８の画面の輝度及び画面内の所定の視点位置の輝度を計測する。
なお、眼球運動映像ｂにより、視線が分かるので、画面内の所定の視点での輝度を計測可能である。
呼吸波形計４は、視認者の呼吸に関する波形（呼吸データ）を計測する機能を備えている。呼吸データには、呼吸について排気の開始及び呼気の開始のタイミングを示すデータが含まれるので、呼吸周波数も分かる。
脈拍波形計５は視認者の脈拍に関する波形（脈拍データ）を計測する機能を備えている。

蓄積装置６は、明るさ計測装置３から明るさデータｃを、呼吸波形計４から呼吸データｄを、脈拍波形計５から脈拍データｅをそれぞれ入力して蓄積する。送信装置７は、蓄積装置６により蓄積された各種データを、同期した明るさデータｃ、呼吸データｄ、脈拍データｅとして、所定の通信方式にて視認者情感判定装置１へ送信する。

ディスプレイ８には、基準データ測定時に、基準明暗画面が表示され、視認者の情感判定時に、所定のコンテンツが表示される。

〔視認者情感判定装置〕
次に、図１に示した視認者情感判定装置１について詳細に説明する。図２は、本発明の実施形態による視認者情感判定装置１の構成例を示すブロック図である。この視認者情感判定装置１は、受信部２０、解析部２１、基準データ測定部２２、判定部２３及び記憶部２４，基準明暗反応テーブル２５を備えている。

視認者情感判定装置１は、視認者の瞳孔径に影響を与える明暗、呼吸に関する基準測定瞳孔径を予め測定する。そして、視認者情感判定装置１は、視認者の情感を判定する際に、コンテンツを視認する視認者のコンテンツ視認測定瞳孔径を測定する。

受信部２０は、図１に示した視線及び瞳孔径計測器２、及び送信装置７から、視認映像ａ、眼球運動映像ｂ、明るさデータｃ、呼吸データｄ、脈拍データｅを、所定の通信方式にて受信し、これらのデータを解析部２１に出力する。
脈拍データｅは、今回は脈拍周波数の参考のためで、以下の処理では不要である。
したがって、脈拍波形計５は無くてもよい。

解析部２１は、受信部２０から視認映像ａ、眼球運動映像ｂ、明るさデータｃ、呼吸データｄを入力し、これらのデータが同期している場合はそのまま記憶部２４に格納し、同期したデータが取れない場合は当該データに付属する時間データに基づいて同期させて、同期したこれらのデータを記憶部２４に格納する。解析部２１は、視認映像ａ、眼球運動映像ｂ、明るさデータｃ、呼吸データｄを、受信部２０から入力するか、または記憶部２４から読み出し、同期したこれらのデータに基づいて、以下の処理を行う。

基準データ測定時において解析部２１は、視認映像ａ及び眼球運動映像ｂに基づいて、ディスプレイ８の画面の基準明暗画面輝度ＳＨｔと視点位置ＳＳｔ（画面中央）の輝度ＳＴｔ、瞳孔径ＳＢｔを測定する

視認者がコンテンツ視認時においては、解析部２１は、視認映像ａ及び眼球運動映像ｂに基づいて、ディスプレイ８の画面に対する視認者の視点位置ＣＳｔを確定し、視認者の瞳孔径ＣＢｔを測定する。

解析部２１は、明るさデータｃが画面の明るさを示している場合、これをコンテンツ画面輝度ＣＨｔとして扱い、明るさデータｃが視点位置ＣＳｔの明るさを示している場合、これをコンテンツの視点位置輝度ＣＴｔとして扱う。
具体的には、図１に示した明るさ計測装置３が、操作者により、ディスプレイ８の画面上の所定の視点位置ＣＳｔに対応する位置の明るさが計測されるように位置決めされている場合、解析部２１は、そのときの明るさデータｃを入力し、これを視点位置輝度ＣＴｔとして扱う。

コンテンツ視認時において、視認者の視点位置ＣＳｔを同時に測定することは可能であるが、視点位置の輝度ＣＴｔを同時に測定することが困難な場合があり得る。この場合、視点位置輝度ＣＴｔは、視点位置ＣＳｔが測定された後、視認者によるコンテンツの視認とは別の時に前記視認時のディスプレイでコンテンツを再度表示した状態で測定される。具体的には、視認者情感判定装置１は、コンテンツ視認時に、視点位置ＣＳｔの座標を測定して記憶部２４に記憶する。そして、視認者情感判定装置１は、コンテンツ視認時と同じディスプレイで同じコンテンツが再生されている状態において、記憶部２４から視点位置ＣＳｔの座標を読み出し、その座標に明るさ計測装置３を追尾させることで、解析部２１が視点位置輝度ＣＴｔを測定する。

解析部２１は、呼吸データｄに基づいて、呼吸周波数Ｚｔを生成する。

ここで、ＳＳｔ、ＣＳｔ、ＳＢｔ、ＣＢｔ、ＳＨｔ、ＣＨｔ、ＳＴｔ、ＣＴｔ、Ｚｔにおける「ｔ」は、ディスプレイ画面のフレーム番号に対応した経過時間を示す。

解析部２１は、ＳＳｔ、ＣＳｔ、ＳＢｔ、ＣＢｔ、ＳＨｔ、ＣＨｔ、ＳＴｔ、ＣＴｔと、呼吸周波数Ｚｔを記憶部２４に格納し、必要に応じて、記憶部２４からこれらのデータを読み出す。

基準データ測定時において、解析部２１は、画面輝度ＳＨｔと視点位置（画面中央）の輝度ＳＴｔ、瞳孔径ＳＢｔ、呼吸周波数データＺｔを基準データ測定部２２に出力する。

一方、コンテンツ視認時においては、解析部２１は、瞳孔径ＣＢｔ、コンテンツ輝度ＣＨｔ、視点位置輝度ＣＴｔを判定部２３に出力する。

基準データ測定部２２は、基準明暗画面視認時に機能し、視認者の瞳孔に関する基準データを測定する。ディスプレイ８に図４に示すように所定の基準明暗画面（画面の明るさ及び視点（中央円）の明るさを所定の輝度とした画面）が表示されている状態で、受信部２０が視認映像ａ等を受信し、解析部２１が視点位置ＳＳｔ、瞳孔径ＳＢｔ、呼吸周波数Ｚｔを受信する。

基準データ測定部２２は、解析部２１から、図５に示す画面と中央（視点）の明るさを段階的に変更した基準明暗画面の輝度についてのデータを入力する。そして、基準データ測定部２２は、瞳孔径ＳＢｔに呼吸周波数Ｚｔより低い遮断周波数（Ｓ）で低域通過濾波の処理を加えた結果の基準瞳孔径時間変化を算出し、これらを基準明暗反応テーブル２５に格納する。これにより、基準明暗反応テーブル２５には、視認者の瞳孔径に関する基準データが格納されている。

判定部２３は、情感判定時に機能し、視認者の明暗、呼吸及び脈拍の影響を排除した瞳孔径を算出する。ディスプレイ８に所定のコンテンツが表示されている状態で、受信部２０が視認映像ａ等を受信し、解析部２１が視点位置ＣＳｔ、瞳孔径ＣＢｔ、コンテンツ輝度ＣＨｔを測定等し、記憶部２４に格納する。また、解析部２１は、視点位置ＣＳｔの輝度を示す視点位置輝度ＣＴｔを測定し、記憶部２４に格納する。そして、解析部２１は、記憶部２４からこれらのデータを読み出し、時間的に同期した瞳孔径ＣＢｔ、コンテンツ輝度ＣＨｔ、視点位置輝度ＣＴｔを判定部２３に出力する。

判定部２３は、解析部２１からこれらのデータを入力し、コンテンツ輝度ＣＨｔ及び視点位置輝度ＣＴｔ、並びに基準明暗反応テーブル２５に格納された基準明暗反応データ、コンテンツ視認時の画面と視点の輝度に相当する基準瞳孔径Ｃｓｋを特定する。そして、判定部２３は、瞳孔径ＣＢｔに基づいて、呼吸及び脈拍の影響を排除したコンテンツ視認瞳孔径Ａ１ｔを算出する。さらに、判定部２３は、コンテンツ視認瞳孔径Ａ１ｔ及び基準瞳孔径Ｃｓｋに基づいて、明暗、呼吸及び脈拍の影響を排除し、個人差をなくした注目度Ｐ１ｔを算出する。
コンテンツ視認瞳孔径Ａ１ｔ及び注目度Ｐ１ｔの詳細については後述する。
なお、基準瞳孔径Ｃｓｋのｓは図５の基準瞳孔径の視点の明るさの番号、ｋは画面の明るさの番号を表す。

ここで、コンテンツ視認瞳孔径Ａ１ｔ、注目度Ｐ１ｔにおける「ｔ」は、コンテンツのフレーム番号に対応した経過時間を示す。

〔全体フロー〕
次に、図２に示した視認者情感判定装置１の全体処理について説明する。図３は、視認者情感判定装置１の全体処理を示すフローチャートである。
図３において、ステップＳ１２０１は、基準明暗画面視認時での輝度測定、瞳孔径測定時の処理を示し、ステップＳ１２０２〜ステップＳ１２０８は、情感判定時の処理を示す。

まず、基準データ測定部２２は、基準明暗画面視認時に、ディスプレイ８に、図４のように所定の画面の明るさ及び所定の視点（中央円）の明るさの基準明暗画面が一定時間表示される。所定の画面の明るさ及び所定の視点（中央円）の明るさの組み合わせの表が図５である。その所定の画面の明るさ及び所定の視点（中央円）の明るさの基準の明るさ（輝度）を測定する。後述するように、基準明暗画面として、数段階に画面の明るさ及び視点の明るさを変化させた画面を用い、その明るさ毎（画面の明るさ及び視点の明るさの組合せ毎）の基準明暗画面視認時の測定瞳孔径データは基準データ測定部２２に格納される（ステップ１２０１）
その測定瞳孔径の一例を図６に示す。

コンテンツ画面の輝度と視点位置の輝度との間の差がさほどない場合、視認者の瞳孔径は、画面の輝度の影響を大きく受けることから、非常に厳密な注目度判定を必要としない場合は視点位置の輝度の計測は不要となる。
この場合、視点位置輝度ＣＴｔは、画面輝度ＣＨｔと同じ値が用いられる。これは、例えばコンテンツが一般的なテレビ映像または映画の場合のほとんど場合に該当する。ただし、画面の輝度と視点位置の輝度との間に大きな差がある場合、例えば、暗闇の中から自動車のヘッドライトが近づいてくる画面のように、極端に画面全体と視点位置の輝度が異なる場面に対しては、視点位置の輝度ＣＴｔも測定する必要がある。
図６は基準明暗画面の明るさ毎に一定時間を標示して段階的に変化させた時の基準測定瞳孔径の時間変化グラフの例である。

基準データ測定部２２は、基準明暗画面が表示されている状態で測定した呼吸周波数データＺｔを解析部２１から入力し（ステップ１２０２）、Ｚｔよりやや低い周波数（Ｓ）を遮断周波数として、基準測定瞳孔径に低域通過濾波計算処理をする。（ステップ１２０３）これで、基準測定瞳孔径データから呼吸、脈拍の影響を除いた基準瞳孔径データを確定できる。その基準瞳孔径の時間変化のグラフの具体例を図７に示す。
ここで、基準瞳孔径はディスプレイの明るさ変化の時間と同期しており、基準明暗画面の輝度と基準瞳孔径の関係テーブルが作成でき、基準明暗反応テーブル２５に格納される
前記基準明暗画面の前記画面の明るさと前記視点位置の明るさとの組合せ毎での輝度の変化が少ないので明順応時間，暗順応時間は短いが、正確に輝度相当の瞳孔径を求めるために、前記基準明暗画面の前記画面の明るさと前記視点位置の明るさとの組合せ毎での輝度の変化した直後の短時間（たとえば２秒）の瞳孔径測定データを明暗順応時間としてカットして、同一の前記基準明暗画面の前記画面の明るさと前記視点位置の明るさとの組合せ毎での残りの測定時間の瞳孔径測定データを平均して輝度対応の基準瞳孔径として基準明暗反応テーブルを作成し基準明暗反応テーブル２５に格納される。（ステップ１２０４）

解析部２１は、ステップＳ１２０５において、視認者がコンテンツ視認時の画面の明るさを示すコンテンツ画面輝度ＣＨｔ、及び視点位置ＣＳｔの明るさＣＴｔとコンテンツ視認測定瞳孔径ＣＢｔを計測し判定部２３に格納する。図８にコンテンツ視認測定瞳孔径の時間変化を示す。
図９はコンテンツ画面の輝度変化を示す。

そして、判定部２３は、コンテンツ視認測定瞳孔径ＣＢｔに基準瞳孔径への低域通過濾波処理と同じ遮断周波数（Ｓ）の低域通過濾波処理を加えて、コンテンツ視認瞳孔径（Ａ１ｔ）を設定する。（ステップＳ１２０６）。図１０にそのグラフの例を示す。

合わせてコンテンツ視認時の画面の輝度（ＣＨｔ）と視点の輝度（ＣＴｔ）に相当する基準瞳孔径を基準明暗反応テーブル２５から引き出しコンテンツ輝度相当の基準瞳孔径（Ｃｓｋ）を特定する。（ステップ１２０７）
図１１にコンテンツ輝度相当の基準瞳孔径（Ｃｓｋ）の変化を示す。

なお、前記コンテンツ輝度相当の基準瞳孔径（Ｃｓｋ）の特定手段は、コンテンツの画面の明るさ及び視点の明るさが図５の基準明暗画面の番号ｋ，ｓの段階の中間に位置する場合、対応する隣り合う複数の番号ｋ，ｓの基準瞳孔径を選択し、ｋ，ｓの中間のデータを補間計算することによりコンテンツ輝度相当の基準瞳孔径Ｃｓｋを特定するようにする。

注目度（Ｐ１ｔ）は、明るさ、呼吸、脈拍による影響を削除した、コインテンツ輝度相当の基準瞳孔径（Ｃｓｋ）に対するコンテンツ視認瞳孔径（Ａ１ｔ）の拡大率として、被験者の偏りをなくした値として計算できる。（ステップ１２０８）

“ｔ”はコンテンツのフレーム数による時間経過を表す 。

図１２は、視認対象を視認したときの注目度Ｐ１ｔによる判定例を示す図である。注目度Ｐ１ｔは、前述のとおり、基準瞳孔径Ｃｓｋに対してコンテンツ視認時の瞳孔径がどの位拡大したかを表す拡大率である。したがって、注目度Ｐ１ｔ＝１は、コンテンツ視認時の瞳孔径が基準瞳孔径Ｃｓｋと同じであることを示している。

図１３（１）は０＜Ｐ１ｔ＜１の場合を示しており、視認者がコンテンツを退屈して見ている、と判定する。（２）は、１≦Ｐ１ｔ≦１．５の場合を示しており、視認者がコンテンツを普通に見ている、と判定する。（３）は、１．５＜Ｐ１ｔ≦２の場合を示しており、視認者がコンテンツをやや注目して見ている、と判定する。（４）は、２＜Ｐ１ｔの場合を示しており、視認者がコンテンツをかなり注目して見ている、と判定する。
この判定は視認対象によって少し異なるので、１例としての位置づけである。

視認者のコンテンツ視認の始めから最後までのＰ１ｔの時間積分して時間で除すると
視認者のそのコンテンツへの単位時間あたりの注目度すなわちコンテンツへの関心度が得られる。

ここで複数の視認者について、コンテンツ等の対象物に対する注目度Ｐ１ｔの平均値を算出する場合を想定する。
複数の視認者が同じコンテンツの対象物を同じ時間経過で視認した場合、時間毎に全員の注目度Ｐ１ｔの平均値を算出する。これにより、視認対象の客観的評価が可能となる。
さらにコンテンツ全体の注目度平均を時間積分して時間で除するとコンテンツ全体に対する単位時間あたりの平均注目度が得られ、そのコンテンツへの関心度の平均が分かる。

〔視認者情感判定システム／オープン環境で対象物を視認する場合〕
次に、本発明の実施形態による視認者情感判定装置を含む、他の視認者情感判定システムの例について説明する。
この例は、視認者がオープン環境（屋外、室内）で対象物を視認する場合において、視認者の情感を判定するものであり、視認者は、周囲の明軽さの変化が極めて少ない環境で移動するものとする。

図１４は、本発明の実施形態による視認者情感判定装置を含む他の視認者情感判定システムの構成例を示す概略図である。
この視認者情感判定システムは、視認者情感判定装置１、明るさ計測装置３、呼吸波形計４、蓄積装置６、送信装置７、眼球撮影装置９及び視認情景撮影装置１０を備えて構成される。図１４において、図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。

眼球撮影装置９は、視認者の眼球を撮影し、視点位置及び瞳孔径を測定するための眼球運動映像ｂを取得する。視認情景撮影装置１０は、視認者が視認する対象物を含む情景を撮影し、視認映像ａを取得する。眼球撮影装置９により取得された眼球運動映像ｂ、及び視認情景撮影装置１０により取得された視認映像ａは、蓄積装置６に蓄積され、送信装置７により、視認者情感判定装置１へ送信される。

視認者が明かりの変化の少ない曇り空の屋外を歩く場合、または一定の明るさの室内を歩く場合は、瞳孔径を比較することにより、注目度を比較することができる。例えば、視認者が街を歩く場合、目立つ看板等の表示物の目立ち度合を比較したり、商品陳列の目立ち度合を比較したりするときの検証に利用できる。

以上のように、本発明の実施形態の視認者情感判定装置１によれば、オープン環境で対象物を視認する場合であっても、図１に示した視認者情感判定装置１と同様に、オープン環境にて対象物を視認する視認者について、明暗、呼吸及び脈拍の影響を排除した瞳孔径を得ることができ、視認者の情感をより正確に判定することが可能となる。

瞳孔径は視認対象の輝度により変化する。明順応時間、暗順応時間は個人により異なるが、一般に高年齢者ほど長い。視認対象の一定の輝度の突然の変化に対する瞳孔径変化（明順応と暗順応）が落ち着くまでに時間を測定し、その時間の長さが健常者の同じ年齢の平均値より長ければ視認者の視神経の機能低下の他、脳機能の低下または欠陥の可能性があり、精神疾患（認知症など）のレベルなどの判定の参考にもできる。

視覚の他、聴覚、嗅覚、味覚、触覚の五感の刺激を受けた時も瞳孔径が拡大する。
特定の刺激の種類に対する被験者の刺激の刺激度を判定する場合には、音声（音の種類毎に）、香（香の種類毎に）、味覚（味覚の種類毎に）、触覚などについては
すでに世の中に基準刺激サンプルがあり、その基準刺激サンプルと試験サンプルとの瞳孔径を比較することで刺激の大きさ（刺激度）を判定できる。
基準刺激サンプルの刺激を受けた時の瞳孔径を“Ｖ”とし、同一種類の試験サンプルの刺激を受けた時の瞳孔径を“Ｗ“とすると、その刺激の大きさである刺激度（刺激インパクト度）”Ｑ“は

で表される。

聴覚、嗅覚、味覚、触覚の刺激のインパクト度の健常者の同一年齢層の男女別平均との比較により、低ければ被験者の特定の刺激に対する機能低下または障害判定の参考になる

各刺激の基準刺激サンプルに対して、被験者の瞳孔径の反応の時間的遅延を同年代の男女別の平均と比較して、遅い場合は、その刺激に対する機能低下があり、障害のレベル判定の参考になる。

さらにこの同一の明るさの環境での前記基準瞳孔径（Ｄ）と基準サンプル刺激時の瞳孔径（Ｅ）の比（Ｆ）

を同一年齢層の男女別平均との比較により、低ければ被験者の特定の刺激に対する機能低下または障害判定の参考になる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図２に示した視認者情感判定装置１は、インターネット等のネットワークに接続されるようにしてもよい。
視認者情感判定装置１は、外部の装置からネットワークを介して指示を受信し、当該指示に基づいて、所定のコンテンツに対する視認瞳孔径Ａ１ｔ、注目度Ｐ１ｔを算出処理し、視認者情感判定装置１は、処理結果を、ネットワークを介して外部の装置へ送信する。

尚、本発明の実施形態による視認者情感判定装置１のハードウェア構成としては、通常のコンピュータを使用することができる。視認者情感判定装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。視認者情感判定装置１に備えた受信部２０、解析部２１、基準データ測定部２２、判定部２３及び記憶部２４，基準明暗反応テーブル２５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＢＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 視認者情感判定装置
２ 視線及び瞳孔径計測器
３ 明るさ計測装置
４ 呼吸波形計
５ 脈拍波形計
６ 蓄積装置
７ 送信装置
８ ディスプレイ
９ 眼球撮影装置
１０ 視認情景撮影装置

Claims (6)

1. ディスプレイに表示されたコンテンツを視認する視認者の瞳孔径に基づいて、前記視認者の情感を判定する視認者情感判定装置において、
   前記ディスプレイに所定の基準明暗画面が表示され、前記ディスプレイの画面の明るさと、前記ディスプレイの所定箇所に前記視認者の視点を合わせたときの視点位置の明るさとをそれぞれ変化させた場合に、前記基準明暗画面における前記画面の明るさと前記視点位置の明るさとの組合せ毎の、前記視認者の瞳孔径に基づいて、前記視認者の基準測定瞳孔径の時間変化のデータと、同時に呼吸波形計により計測した視認者の呼吸周波数に関する基準データを処理する基準データ測定部と、
   前記ディスプレイに前記コンテンツ動画が表示された場合に、画面の明るさと前記視認者の視点位置の明るさの輝度データとコンテンツ視認測定瞳孔径の時間経過に関する処理をする判定部とを備えた視認情感判定装置であって、
   前記基準データ測定部は、基準測定瞳孔径に対して呼吸波形計で測定した呼吸周波数より少し低い周波数を遮断周波数とする低域通過濾波器に基準測定瞳孔径の時間変化を通すか低域通過濾波の計算処理をすることにより、呼吸と呼吸より周波数の高い脈拍の影響を除去した基準瞳孔径の時間経過を算出する機能を有する。
   判定部はコンテンツ測定瞳孔径データに対して前記遮断周波数による低域通過濾波器にコンテンツ視認測定瞳孔径時間変化を通すか、低域通過濾波の計算処理をすることにより、呼吸及び呼吸よりも周波数の高い脈拍の影響を除去したコンテンツ視認瞳孔径の時間変化を算出する機能を有する視認者情感判定装置。
   呼吸周波数の測定ができない場合は、一般の呼吸周波数統計の最低呼吸周波数を遮断周波数にしても良い。
   前記基準瞳孔径データに基づいて、前記コンテンツが表示された画面の明るさ及び前記コンテンツが表示された画面内の視点位置の明るさに対応する前記基準瞳孔径を特定し、前記対応する基準瞳孔径に対しての、コンテンツ視認瞳孔径の比（拡大率）を注目度として判定する判定部の機能を備えたことを特徴とする視認者情感判定装置である。
   すなわち、本特許は、瞳孔径の基準瞳孔径に対するコンテンツ視認瞳孔径の拡大率により注目度を判定する視認者情感判定装置において、視認者の瞳孔径に影響する呼吸及び脈拍成分が周期的に変化する特徴を利用して、電気通信技術で使用される低域通過濾波の処理をして呼吸周波数より低い周波数を遮断周波数にして、呼吸周波数以上の変化成分（脈拍も含む）を削除する手法により、瞳孔径変化の呼吸と脈拍の影響を削除する方法を特徴とする視認者情感判定装置である。
2. 請求項１に記載の視認者情感判定装置において、視認対象の輝度の突然の変化に対する明順応と暗順応が落ち着くまでの時間を測定し、同じ輝度変化に対する同じ年齢層の男女別の平均値より長ければ視認者の視神経の機能低下の他、脳機能の低下または欠陥の可能性（認知症など）の判定の参考にできる視認者情感判定装置。
3. 請求項１に記載の視認者情感判定装置において、聴覚、嗅覚、味覚、触覚の刺激についても、瞳孔径が拡大（変化）することを利用して、音声（音の種類毎に）、香（香の種類毎に）、味覚（味覚の種類毎に）、触覚などについて、すでに世の中に基準刺激サンプルがあり、その基準刺激サンプルと試験サンプルとの瞳孔径を比較することで刺激の大きさ（刺激度＝インパクトレベル）を判定できる。
4. 請求項１に記載の視認者情感判定装置において、請求項３に記載の聴覚、嗅覚、味覚、触覚の刺激のインパクト度の健常者の同一年齢層の男女別平均との比較により、低ければ被験者の特定の刺激に対する機能低下または障害判定の参考になる。
5. 請求項１に記載の視認者情感判定装置において、請求項３に記載の各刺激の基準刺激サンプルに対して、被験者の反応の時間的遅延を同年齢層の男女別の平均と比較して、遅い場合は、その刺激に対する機能低下があり、障害のレベル判定の参考になる。さらに脳機能の低下の判定の参考になる。
6. 請求項１に記載の視認者情感判定装置において、同一の明るさの基での基準瞳孔径と請求項３に記載の基準サンプル刺激時の瞳孔径の比を同一年齢層の男女別平均との比較により、低ければ被験者の特定の刺激に対する機能低下または障害判定の参考になる。

Images