JP2020025745A - 瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム - Google Patents

Abstract

【課題】カメラと眼球の位置関係の影響を受けにくい瞳孔の大きさに関する特徴量を抽出する技術を提供する。【解決手段】対象者の眼球を撮影した画像から、対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得部と、対象者の眼球を撮影した画像から、対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得部と、瞳孔情報と虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算部とを含む。【選択図】図４

Description

本発明は、瞳孔の大きさに関する特徴量を抽出する技術に関する。

瞳孔は、人が見ている領域の輝度や心理状態に応じて大きさが変化することが知られている。この瞳孔の大きさの変化を用いることにより、例えば、音の顕著度合いを推定することができる（参考特許文献１）。
（参考特許文献１：特開２０１５−１３２７８３号公報）

参考特許文献１で用いた瞳孔の大きさの変化の推定には、例えば、眼球運動計測器と呼ばれる専用の装置（非特許文献１）を用いることができる。

tobii pro, [online], ［平成３０年６月６日検索］, インターネット<URL:https://www.tobiipro.com/ja/?gclid=EAIaIQobChMI9dzRgfq92wIVlYePCh2l1ge6EAAYASAAEgLqy_D_BwE>

一般的な眼球運動計測器では、カメラで撮像した画像を用いて瞳孔径を計測する。この方法ではカメラと眼球の位置関係によって瞳孔の形状が歪んで捉えられるため、瞳孔径が見かけ上変化したように計測されてしまう。そのため、例えば、サッカード中の瞳孔径や視線位置が異なるときの瞳孔径については正確に計測することができないことがある。つまり、カメラと眼球の位置関係が時間的に変化してしまう場合、瞳孔の大きさの変化を正しく推定することができないという問題がある。

そこで本発明では、カメラと眼球の位置関係の影響を受けにくい瞳孔の大きさに関する特徴量を抽出する技術を提供することを目的とする。

本発明の一態様は、対象者の眼球を撮影した画像から、前記対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得部と、前記画像から、前記対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得部と、前記瞳孔情報と前記虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算部とを含む。

本発明によれば、カメラと眼球の位置関係に影響されることがない、瞳孔の大きさを示す特徴量を抽出することが可能となる。

実験の様子を示す図。 実験結果を示す図。 実験結果を示す図。 瞳孔特徴量抽出装置１００の構成の一例を示すブロック図。 瞳孔特徴量抽出装置１００の動作の一例を示すフローチャート。 エッジ抽出アルゴリズムを説明する図。 瞳孔の大きさの変化を表す図。 音顕著度推定装置２００の構成の一例を示すブロック図。 音顕著度推定装置２００の動作の一例を示すフローチャート。 速度が最大となる時刻T_aと立ち上がり時間T_pとを説明するための図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

＜技術的背景＞
瞳孔の大きさは様々な要因により変化する。例えば、視覚入力の明るさによる変化（対光反射）や、タスクへの集中度、情動の状態のような内的要因による変化がある。また、先述の通り、カメラと眼球の位置関係のような幾何的要因によっても瞳孔の大きさは見かけ上変化する。

これに対して、虹彩の大きさは視覚入力の明るさや内的要因によって変化しないと考えられる一方で、カメラと眼球の位置関係のような幾何的要因については、瞳孔と同様、虹彩もその大きさが見かけ上変化するものと考えられる。

そこで、瞳孔の大きさと虹彩の大きさの比を瞳孔の大きさに関する特徴量として用いることにすれば、カメラと眼球の位置関係が時間的に変化するような場合であっても、カメラと眼球の位置関係による見かけ上の変化の影響を排除した、本来の瞳孔の大きさの変化（対光反射や内的要因による変化）を正確に推定することが可能になると考えられる。

以下、“瞳孔の大きさと虹彩の大きさの比は、カメラと眼球の位置関係が変化しても、その影響を受けにくい”という仮説を確かめることを目的とする実験について説明する。

［実験］
被験者の前に置かれたディスプレイに視覚的合図となる注視点の画像を表示し、一定時間後に注視点の位置が左または右に移動するので、それを追従するように眼を動かすよう被験者に指示しておく。

注視点の画像を初期位置（中央）に一定時間表示し、注視点の画像を一定時間消去した後、注視点の位置を左または右のいずれかへ移動させた画像を表示する（図１参照）。ここで、初期位置に注視点の画像を表示している時間区間を“第１呈示区間”、注視点の画像を消去している時間区間を“無呈示区間”、移動後の注視点の画像を表示している時間区間を“第２呈示区間”と呼ぶこととする。第１呈示区間と第２呈示区間での被験者の眼の動きをカメラで撮影し、大きさの変化を計測する。撮影には２台のカメラを使用する。右目を計測するためのカメラをディスプレイの右側に、左目を計測するためのカメラをディスプレイの左側に設置する。

なお、注視点の画像は-13°〜13°の範囲で左右に移動させる。注視点の方向へ眼を動かすことで、カメラと眼（瞳孔や虹彩）の位置関係が変わる。つまり、注視点ごとの瞳孔や虹彩の大きさを比較することで、幾何的要因による大きさの変化の影響をどの程度受けるかをみることができるのである。

［実験結果］
図２及び図３は、実験結果を示す図である。まず、図２について説明する。図２（Ａ）は、右目の瞳孔の大きさの変化を示す比、図２（Ｂ）は、左目の瞳孔の大きさの変化を示す比を示している。これらの比は、第２呈示区間の直前の値に対する比を表している。図２（Ａ）と図２（Ｂ）を比べると、注視点の画像が移動する方向に対して、右目の瞳孔の大きさの変化を示す比と左目の瞳孔の大きさの変化を示す比が反対の関係にあることが分かる。つまり、注視点の画像が右方向に移動する場合、右目の瞳孔の大きさの変化を示す比が大きくなる一方で、左目の瞳孔の大きさの変化を示す比は小さくなる。また、注視点の画像が左方向に移動する場合、右目の瞳孔の大きさの変化を示す比が小さくなる一方で、左目の瞳孔の大きさの変化を示す比は大きくなる。これは視線の向きとカメラの向きが平行に近づくほどカメラで撮像された瞳孔の大きさが見かけ上大きくなり、カメラ正面から視線が離れるほど見かけ上小さくなることを意味している（例えば、右目を計測するカメラはディスプレイの右側に設置しているため、注視点画像が13°の位置に呈示されたとき視線とカメラの角度は最も平行に近くなる）。ちなみに、経過時間がゼロの付近で比の値が1になっているのは、眼を移動させる前にディスプレイの中央を見ていることに対応している。

次に、図３について説明する。図３は、虹彩の大きさに対する瞳孔の大きさの比（瞳孔の大きさ/虹彩の大きさ）の時間変化を示す図である。図３からわかるように、虹彩の大きさに対する瞳孔の大きさの比（zスコア）の視線位置による違いはなくなる。これは、虹彩の大きさの見かけ上の変化と瞳孔の大きさの見かけ上の変化が比をとることにより相殺するためと考えられる。したがって、当該比を用いることにより、視線位置によらず瞳孔の大きさの変化を評価できるようになる。

＜第１実施形態＞
以下、図４〜図５を参照して、瞳孔特徴量抽出装置１００を説明する。図４は、瞳孔特徴量抽出装置１００の構成を示すブロック図である。図５は、瞳孔特徴量抽出装置１００の動作を示すフローチャートである。図４に示すように瞳孔特徴量抽出装置１００は、画像取得部１１０と、瞳孔情報取得部１２０と、虹彩情報取得部１３０と、瞳孔特徴量計算部１４０と、記録部１９０を含む。記録部１９０は、瞳孔特徴量抽出装置１００の処理に必要な情報を適宜記録する構成部である。

図５に従い瞳孔特徴量抽出装置１００の動作について説明する。

［画像取得部１１０］
Ｓ１１０において、画像取得部１１０は、対象者の眼球を撮影した画像を取得し、出力する。画像撮影に用いるカメラとして、例えば、赤外線カメラを用いることができる。なお、カメラは、左右両方の眼球を撮影するように設定してもよいし、いずれか一方の眼球のみを撮影するように設定してもよい。以下では、一方の眼球のみを撮影するように設定しているものとする。

［瞳孔情報取得部１２０］
Ｓ１２０において、瞳孔情報取得部１２０は、Ｓ１１０で取得した画像を入力とし、当該画像から対象者の瞳孔の大きさを表す瞳孔情報を取得し、出力する。瞳孔情報として瞳孔径（瞳孔の半径）を用いる場合、対象者の眼球を撮影した画像における瞳孔領域（瞳孔に対応する領域）にフィッティングした円の半径を用いればよい。なお、瞳孔径の他、瞳孔の面積や瞳孔の直径など、瞳孔の大きさを表す値であればどのような値であっても瞳孔情報として用いることができる。

［虹彩情報取得部１３０］
Ｓ１３０において、虹彩情報取得部１３０は、Ｓ１１０で取得した画像を入力とし、当該画像から対象者の虹彩の大きさを表す虹彩情報を取得し、出力する。虹彩情報の取得方法は、Ｓ１２０における瞳孔情報の取得方法と同様でよい（ただし、瞳孔の場合と比較して、瞼などの影響により虹彩に対して円フィッティングを行うのは難しい。そのため、別の方法が望ましい場合も考えられる（後述する変形例参照））。したがって、虹彩径（虹彩の半径）、虹彩の面積、虹彩の直径など、虹彩の大きさを表す値であればどのような値であっても虹彩情報として用いることができる。

［瞳孔特徴量計算部１４０］
Ｓ１４０において、瞳孔特徴量計算部１４０は、Ｓ１２０で取得した瞳孔情報とＳ１３０で取得した虹彩情報を入力とし、当該瞳孔情報と当該虹彩情報から瞳孔情報と虹彩情報の比（瞳孔情報/虹彩情報）を瞳孔特徴量として計算し、出力する。ここで、瞳孔情報の取得方法と虹彩情報の取得方法には同じ方法を用いるのが好ましい。例えば、瞳孔情報として瞳孔径を用いる場合は、虹彩情報として虹彩径を用いるようにする。

なお、左右両方の眼球を撮影した画像を用いる場合は、Ｓ１２０〜Ｓ１４０までの処理を各眼球に対して実行するようにすればよい。

本実施形態の発明によれば、カメラと眼球の位置関係に影響されることがない、瞳孔の大きさを示す特徴量を抽出することが可能となる。

＜変形例＞
画像における瞳孔領域や虹彩領域の外縁上の点（エッジ）を用いることにより、瞳孔や虹彩の大きさを取得することもできる。以下、画像における瞳孔領域や虹彩領域のエッジを抽出するためのアルゴリズム（エッジ抽出アルゴリズム）について、説明する（図６参照）。

（エッジ抽出アルゴリズム）
ステップ1：対象者の眼球を撮影した画像を変換して得られる二値画像において、その強度が所定の閾値より小さい又は以下である領域を瞳孔領域または虹彩領域として抽出する。なお、所定の閾値は、対象者ごとに定まる値であり、瞳孔領域を抽出する場合と虹彩領域を抽出する場合とでは異なる値となる。
ステップ2：瞳孔領域または虹彩領域の中心を通る線（図６（Ａ）における水平方向の線）上のピクセルのグレイ値を計算する。具体的には、瞳孔領域または虹彩領域の中心を挟む上下の２行の平均値を上記中心を通る線上のピクセルのグレイ値として計算する。
ステップ3：グレイ値の１次微分のピークを抽出する。なお、上記中心を通る線上を左からピークを探索すると、左側のエッジは1次微分のピークが正になり、右側のエッジは1次微分のピークが負になる。これは、左側のエッジ付近では明るい所から暗い所へ、右側のエッジ付近では暗い所から明るい所へ探索が進むためである。この情報を用いることにより、ピークの誤検出を低減することができる。
ステップ4：ステップ3で抽出したピークの近くにある、グレイ値の２次微分のゼロクロスポイント（図６（Ｂ）における丸印）をエッジとして抽出する。図６（Ｂ）の例では、235.8863という値がエッジのピクセル値として抽出されている。このように2次微分のゼロクロスポイントを用いれば、サブピクセルレベルでエッジを推定することが可能となる。

瞳孔領域／虹彩領域に対してそれぞれ２つのエッジを求めるように、ステップ1〜4の手続きを実行する。したがって、上記手続きを４回実行することになる。

最後に、瞳孔領域に対する２つのエッジ、虹彩領域に対する２つのエッジを用いて、それぞれ瞳孔情報、虹彩情報を計算すればよい。例えば、瞳孔領域に対する２つのエッジのピクセルの値の差を採ることにより瞳孔の直径を求めることができる。

したがって、瞳孔情報取得部１２０は、Ｓ１１０で取得した画像を入力とし、当該画像における瞳孔領域の外縁上の２つの点を用いて、対象者の瞳孔の大きさを表す瞳孔情報を取得し、出力する。同様に、虹彩情報取得部１３０は、Ｓ１１０で取得した画像を入力とし、当該画像における虹彩領域の外縁上の２つの点を用いて、対象者の虹彩の大きさを表す虹彩情報を取得し、出力する。

＜第２実施形態＞
本実施形態では、瞳孔の大きさの変化に基づいて、音の目立ち度合いを推定する。その際、瞳孔の大きさの変化を第１実施形態の瞳孔特徴量に基づいて抽出する。

なお、以下では、音の目立ち度合いのことを音の顕著度ともいう。また、「顕著度の高い音」としては、注意深く聴いているときに目立つ音だけでなく、注意せずに不意に聞こえて目立つ音も含む。

まず、瞳孔の大きさの変化について説明する。人がある一点を注視しているとき、瞳孔の大きさは一定ではなく、変化している。図７は瞳孔の大きさの変化を表す図であり、横軸は時間（秒）を、縦軸は瞳孔の大きさ（zスコア）を表す。

瞳孔の大きさは、交感神経系の支配を受けた瞳孔散大筋によって拡大（散瞳）し、副交感神経系の支配を受けた瞳孔括約筋によって収縮（縮瞳）する。図７では、破線部分は縮瞳を表し、二重線部分は散瞳を表す。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の３つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動（輻輳運動）に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。

目立つ音の知覚に際しても、驚きに近い感覚によって交感神経が優位となり、散瞳が生じやすいものと考えられる。そのため、縮瞳よりも散瞳に関する特徴のほうが、音の目立ち度合いの推定に適しているので、本実施形態では、瞳孔の大きさの変化のうち、散瞳に関する特徴に基づいて、顕著音を推定する。

以下、図８〜図９を参照して、音顕著度推定装置２００を説明する。図８は、音顕著度推定装置２００の構成を示すブロック図である。図９は、音顕著度推定装置２００の動作を示すフローチャートである。図８に示すように音顕著度推定装置２００は、音呈示部２１０と、瞳孔情報取得部２２０と、虹彩情報取得部２３０と、瞳孔特徴量計算部２４０と、瞳孔変化特徴量抽出部２５０と、顕著度推定部２６０と、記録部１９０を含む。記録部１９０は、音顕著度推定装置２００の処理に必要な情報を適宜記録する構成部である。

図９に従い音顕著度推定装置２００の動作について説明する。

［音呈示部２１０］
Ｓ２１０において、音呈示部２１０は、第１時間区間においては、所定の音（推定対象の音であり、以下、対象音ともいう）を受聴可能なように対象者に呈示し、第１時間区間と異なる第２時間区間においては、上記所定の音が受聴可能でないものとする。例えば、第１時間区間においては、ヘッドホンやスピーカなどにより、受聴可能な音量で所定の音を呈示する。ただし、所定の音の呈示時間が短い場合（〜数十ms程度など）、第１時間区間の中に散瞳を含むように、所定の音が呈示された直後の時間帯についても、所定の音以外の音を呈示していないという条件を満たす限り、数秒程度までであれば第１時間区間の定義として含めてもよい。第２時間区間においては、所定の音と異なる音を受聴可能なように対象者に呈示してもよいし、何も音を呈示しなくてもよい。あるいは、所定の音を出力していても、音量が極めて小さいなど、対象者にとって受聴可能な状態でなければよい。ただし、第２時間区間は第１時間区間とは重複しないように設定され、第１時間区間と同じ長さの時間帯として設定される。

［瞳孔情報取得部２２０］
Ｓ２２０において、瞳孔情報取得部２２０は、第１時間区間および第２時間区間のそれぞれに対応する、対象者の瞳孔の大きさを表す瞳孔情報の時系列（以下、第１の瞳孔情報の時系列、第２の瞳孔情報の時系列という）を取得し、出力する。例えば、瞳孔の大きさとして、瞳孔径（瞳孔の半径）を用いる場合には、瞳孔径は、赤外線カメラを用いた画像処理法で計測される。第１時間区間および第２時間区間において、対象者には、ある１点を注視してもらうようにし、そのときの瞳孔を赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎（例えば、1000Hz）の瞳孔径の時系列を取得する。なお、左右両方の瞳孔の大きさを取得してもよいし、いずれか一方の瞳孔の大きさのみを取得してもよい。本実施形態では、一方の瞳孔の大きさのみを取得するものとする。例えば、撮影した画像に対して、瞳孔にフィッティングした円の半径を用いる。また、瞳孔径は微細に変動するため、所定の時間区間ごとにスムージング（平滑化）した値を用いてもよい。ここで、図７における瞳孔の大きさは、各時刻について取得した瞳孔径の全データの平均を0、標準偏差を1としたときのzスコアを用いて表したものであり、約150ms間隔でスムージングしたものである。ただし、瞳孔情報取得部２２０で取得する瞳孔径はzスコアでなくとも、瞳孔径の値そのものであってもよいし、瞳孔の面積や直径など、瞳孔の大きさに対応する値であれば何でもよい。瞳孔の面積や直径を用いる場合も、時間の経過とともに瞳孔の面積または直径が大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の面積または直径が小さくなる区間が縮瞳に対応する。すなわち、時間の経過とともに瞳孔の大きさが大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の大きさが小さくなる区間が縮瞳に対応する。

なお、一般に、対光反射に伴う瞳孔の大きさの変化量は、感情による変化量と比較して数倍程度の大きさとなり、瞳孔の大きさの変化量全体に対する大きな要因となる。対光反射および輻輳反射による変化を抑え、目立つ音の知覚に関する成分のみに着目しやすくするために、瞳孔径を取得するときの対象者に呈示する画面の輝度および画面から対象者までの距離は一定に保つものとする。

［虹彩情報取得部２３０］
Ｓ２３０において、虹彩情報取得部２３０は、第１時間区間および第２時間区間のそれぞれに対応する、対象者の虹彩の大きさを表す虹彩情報の時系列（以下、第１の虹彩情報の時系列、第２の虹彩情報の時系列という）を取得し、出力する。虹彩の大きさを取得する方法は、Ｓ２２０における瞳孔の大きさの取得方法と同様でよい。したがって、虹彩の大きさは虹彩径のzスコア、虹彩径の値そのもの、虹彩の面積、虹彩の直径など、虹彩の大きさに対応する値であれば何を用いてもよい。

［瞳孔特徴量計算部２４０］
Ｓ２４０において、瞳孔特徴量計算部２４０は、Ｓ２２０で取得した第１の瞳孔情報の時系列、第２の瞳孔情報の時系列とＳ２３０で取得した第１の虹彩情報の時系列、第２の虹彩情報の時系列を入力とし、第１の瞳孔情報の時系列と第１の虹彩情報の時系列に含まれる瞳孔情報と虹彩情報、第２の瞳孔情報の時系列と第２の虹彩情報の時系列に含まれる瞳孔情報と虹彩情報から、瞳孔情報と虹彩情報の比（瞳孔情報/虹彩情報）を瞳孔特徴量として計算し、第１時間区間および第２時間区間のそれぞれに対応する瞳孔特徴量の時系列（以下、第１の瞳孔特徴量の時系列、第２の瞳孔特徴量の時系列という）を生成し、出力する。なお、瞳孔特徴量計算部１４０と同様、瞳孔情報の取得方法と虹彩情報の取得方法には同じ方法を用いるのが好ましい。

［瞳孔変化特徴量抽出部２５０］
Ｓ２５０において、瞳孔変化特徴量抽出部２５０は、Ｓ２４０で生成した第１の瞳孔特徴量の時系列、第２の瞳孔特徴量の時系列を入力とし、第１の瞳孔特徴量の時系列、第２の瞳孔特徴量の時系列から、第１時間区間および第２時間区間のそれぞれに対応する対象者の瞳孔の大きさの変化を表す特徴量（以下、第１瞳孔変化特徴量、第２瞳孔変化特徴量という）を抽出し、出力する。

瞳孔の大きさの変化を表す特徴量（瞳孔変化特徴量）は、顕著度推定するための指標ともいえる。言い換えれば、瞳孔特徴量の時系列（瞳孔の大きさを示す特徴量の時系列）のうち、散瞳が起きている区間における瞳孔の大きさの変化を表す特徴量であり、具体的には、散瞳の平均速度V、散瞳の振幅A、散瞳が起きているときの瞳孔径の時系列を位置制御系のステップ応答としてモデル化したときの減衰係数ζの少なくともいずれか１つ以上を含む特徴量である。振幅Aは、極大点から極小点までの瞳孔径の差である（図７参照）。散瞳の平均速度Vは、（振幅A）/(立ち上がり時間T_p)である。立ち上がり時間T_pは極大点から極小点までの時間である（図７参照）。例えば、瞳孔変化特徴量抽出部２５０は、瞳孔特徴量の時系列から極大点及び極小点を検出し、それを用いて、振幅A、平均速度V、立ち上がり時間T_pを算出する。このとき、振幅が一定の値以上のもののみを算出する構成としてもよい。

なお、縮瞳及び散瞳は、サーボ系としての特徴を示し、面積制御系（三次遅れ系）のステップ応答として記述でき、本実施形態では位置制御系（二次遅れ系）のステップ応答として近似して考える。位置制御系のステップ応答は、固有角振動数をω_ｎとして、

と表される。ここでG(s)は伝達係数、y(t)は位置、y'(t)は速度を表す。減衰係数ζの導出には、速度が最大となる時刻T_aと立ち上がり時間T_pとの比を用いて（図１０参照）、

となることを利用する。そして、減衰係数ζ及び固有角振動数ω_ｎは、それぞれ

と表される。ただし、ｔは時刻を表すインデックスであり、ｓはラプラス変換によるパラメタ（複素数）である。固有角振動数ω_ｎは瞳孔の大きさの変化における応答の速さを表す指標に相当し、減衰係数ζは、瞳孔の大きさの変化における応答の振動性に対応する指標に相当する。

なお、第１時間区間において、複数回の散瞳が含まれる場合には、それぞれの散瞳について求めた平均速度V、振幅Aまたは減衰係数ζの代表値を第１時間区間に対応する散瞳の特徴として用いる。代表値とは、例えば平均値、最大値、最小値、最初の散瞳に対応する値などである。特に平均値を用いることが好ましい。また、第１時間区間の中に１回も散瞳が含まれない場合は、第１時間区間の直後の散瞳（第１時間区間よりも時間的に後ろで、かつ、最も第１時間区間に近い時刻に生じる散瞳）について求めた平均速度V、振幅Aまたは減衰係数ζの代表値を第１時間区間に対応する散瞳の特徴として用いる。つまり、第１時間区間に対応する瞳孔の大きさに関する情報は、少なくとも１回散瞳を含むように取得されているものとする。第２時間区間についても同様のことが言える。

［顕著度推定部２６０］
Ｓ２６０において、顕著度推定部２６０は、Ｓ２５０で抽出した第１瞳孔変化特徴量と、第２瞳孔変化特徴量との相違の度合いに基づいて、所定の音（対象音）の目立ち度合い（顕著度）を推定する。

具体的には、特徴量が散瞳の平均速度V及び散瞳の振幅Aである場合には、第１瞳孔変化特徴量が第２瞳孔変化特徴量よりも大きく、かつ、その差が大きいほど、顕著度が高いと推定する。

あるいは、特徴量が散瞳の減衰係数ζである場合には、第１瞳孔変化特徴量が第２瞳孔変化特徴量よりも小さく、かつ、その差が大きいほど、顕著度が高いと推定する。

これは、減衰係数ζや散瞳の平均速度V、振幅Aと対象音の顕著度との間に、以下のような相関関係があることが、実験により明らかになったことに基づく。
（１）散瞳の平均速度Vが増加するほど、顕著度が大きい。
（２）散瞳の振幅Aが増加するほど、顕著度が大きい。
（３）散瞳の減衰係数ζが減少するほど、顕著度が大きい。

なお、平均速度V、振幅A、減衰係数ζのいずれか１つを単独で用いてもよいし、組み合わせて用いてもよい。例えば、いずれか二つを満たせばよい、三つすべてを満たせばよい、等と設定してもよい。すなわち、第１時間区間と第２時間区間についての、平均速度V、振幅A、減衰係数ζのいずれか１つ以上の特徴量の各々についての相違の度合いに基づき、対象音の目立ち度合いを推定してもよい。

散瞳の平均速度Vや振幅Aは交感神経の活動強度を反映するため、音の顕著度との相関がみられるものと考えられる。減衰係数ζは、散瞳を位置制御系（二次遅れ系）のステップ応答としてみたときの応答の振動性に対応する指標である。顕著度の高い音（顕著音）を聴いたときは、音に意識が向けられることで、瞳孔の制御に関わる脳の中枢あるいは瞳孔散大筋（または瞳孔括約筋）にも一時的な影響があらわれ、応答の振動性（減衰係数）の変化として観測できると考えられる。

この知見、つまり（１）〜（３）の相関関係に基づき、顕著度推定部２６０は、所定の音が受聴可能なように呈示されている第１時間区間における瞳孔の大きさの変化の特徴量である第１瞳孔変化特徴量と、所定の音が受聴可能でない第２時間区間における瞳孔の大きさの変化の特徴である第２瞳孔変化特徴量との相違の度合いに基づいて、所定の音の顕著度を推定する。

具体的には、特徴量が散瞳の減衰係数ζである場合には、第１瞳孔変化特徴量の方が第２瞳孔変化特徴量よりも小さい場合に、音の顕著度が高いと推定する。また、第１瞳孔変化特徴量と第２瞳孔変化特徴量の差の絶対値が大きいほど、音の顕著度合いが高いと推定する。第２時間区間において所定の音（第１時間区間の音）とは異なる音が呈示されているとすれば、第１瞳孔変化特徴量と第２瞳孔変化特徴量のうち小さい方の特徴量に対応する時間区間に呈示されている音の方が顕著度が高いと推定されることになる。

特徴量が散瞳の平均速度Vまたは振幅Aである場合には、第１瞳孔変化特徴量の方が第２瞳孔変化特徴量よりも大きい場合に、音の顕著度が高いと推定する。また、第１瞳孔変化特徴量と第２瞳孔変化特徴量の差の絶対値が大きいほど、音の顕著度合いが高いと推定する。第２時間区間において所定の音（第１時間区間の音）とは異なる音が呈示されているとすれば、第１瞳孔変化特徴量と第２瞳孔変化特徴量のうち大きい方の特徴量に対応する時間区間に呈示されている音の方が顕著度が高いと推定されることになる。

本実施形態の発明によれば、瞳孔の大きさの変化に基づいて、対象者にとっての所定の音の目立ち度合いを推定することが可能となる。その際、瞳孔情報と虹彩情報の比である瞳孔特徴量を用いることにより、カメラと眼球の位置関係に影響されることなく、瞳孔の大きさの変化を正確に推定することが可能となる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

1. 対象者の眼球を撮影した画像から、前記対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得部と、
   前記画像から、前記対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得部と、
   前記瞳孔情報と前記虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算部と
   を含む瞳孔特徴量抽出装置。
2. 請求項１に記載の瞳孔特徴量抽出装置であって、
   前記瞳孔情報取得部は、前記画像における瞳孔領域の外縁上の２つの点を用いて、前記瞳孔情報を取得し、
   前記虹彩情報取得部は、前記画像における虹彩領域の外縁上の２つの点を用いて、前記虹彩情報を取得する
   ことを特徴とする瞳孔特徴量抽出装置。
3. 請求項２に記載の瞳孔特徴量抽出装置であって、
   前記瞳孔情報取得部又は前記虹彩情報取得部は、
   前記画像を変換して得られる二値画像において、その強度が所定の閾値より小さい又は以下である領域を前記瞳孔領域または前記虹彩領域として抽出し、前記瞳孔領域または前記虹彩領域の中心を通る線上のピクセルのグレイ値を計算し、前記グレイ値の１次微分のピークを抽出し、前記ピークの近くにある、前記グレイ値の２次微分のゼロクロスポイントを前記瞳孔領域または前記虹彩領域の外縁上の点として抽出する
   ことを特徴とする瞳孔特徴量抽出装置。
4. 瞳孔特徴量抽出装置が、対象者の眼球を撮影した画像から、前記対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得ステップと、
   前記瞳孔特徴量抽出装置が、前記画像から、前記対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得ステップと、
   前記瞳孔特徴量抽出装置が、前記瞳孔情報と前記虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算ステップと
   を含む瞳孔特徴量抽出方法。
5. 請求項１ないし３のいずれか１項に記載の瞳孔特徴量抽出装置としてコンピュータを機能させるためのプログラム。