JP2017202048A - 特徴量抽出装置、推定装置、それらの方法、およびプログラム - Google Patents

Abstract

【課題】両眼の関係に基づく新たな特徴量を用いた推定を行う。【解決手段】対象者の一方の眼の動的な変化に基づいて得られた第１特徴量と、当該対象者の他方の眼の動的な変化に基づいて得られた第２特徴量と、の相対量に応じた第３特徴量を得る。【選択図】図１

Description

本発明は、眼の動的な変化から特徴量を抽出する技術に関する。

特許文献１，２には、眼球の動きや瞳孔の大きさの変化に基づいた特徴量を抽出する技術が開示されている。

特許第５７１８４９２号公報 特許第５７１８４９３号公報

しかし、特許文献１，２に開示された技術は、何れかの眼に関する特徴量を抽出するものである。両眼の特徴量が基本的に同一あるいは強く相関する事実に基づいているが、実際には特徴量の両眼差が存在することから、両眼の関係を用いた場合に比べ情報量が劣る。

本発明の課題は、両眼の関係に基づく新たな特徴量を用いた推定を行うことである。

対象者の一方の眼の動的な変化に基づいて得られた第１特徴量と、当該対象者の他方の眼の動的な変化に基づいて得られた第２特徴量と、の相対量に応じた第３特徴量を得る。

これにより、両眼の関係に基づく新たな特徴量を用いた推定を行うことができる。

図１は実施形態の装置構成を例示したブロック図である。 図２は実施形態の処理を説明するためのフロー図である。 図３は両眼の瞳孔径の変化を例示した図である。 図４は眼球の動きを例示した図である。 図５はマイクロサッカードの特徴量を説明するための図である。

以下、本発明の実施形態を説明する。
［原理］
まず本形態の原理を説明する。各実施形態では、「対象者」の一方の眼の動的な変化に基づいて得られた「第１特徴量」と、当該「対象者」の他方の眼の動的な変化に基づいて得られた「第２特徴量」と、の相対量に応じた「第３特徴量」を得る。「第３特徴量」は、例えば「対象者」および／または「対象者」の属性および／または「対象者」の注意状態などを表す。「属性」の例は、性別、人種、出身地、年齢層、性格などである。「第３特徴量」を含む特徴量を用いることで、例えば、「対象者」および／または「対象者」の属性および／または「対象者」の注意状態の推定などを行うことができる。

「第１特徴量」および「第２特徴量」は、同一の「対象者」の両方の眼の動的な変化に基づいて得られた特徴量である。「眼の動的な変化」は、瞳孔の動き（瞳孔径の経時変化）であってもよいし、眼球自体の動き（眼球の位置の経時変化）であってもよい。「一方の眼」が「対象者」の右眼の場合には「他方の眼」は当該「対象者」の左眼であり、「一方の眼」が「対象者」の左眼の場合には「他方の眼」は当該「対象者」の右眼である。「対象者」は眼が動的に変化する動物であれば、ヒトであってもよいし、ヒト以外の動物であってもよい。「特徴量」はどのようなものであってもよく、スカラであってもよいし、ベクトルであってもよい。

例えば、「第１特徴量」が「一方の眼」の瞳孔の動きに基づいて得られた特徴量を含み、「第２特徴量」が「他方の眼」の瞳孔の動きに基づいて得られた特徴量を含んでもよい。例えば、「第１特徴量」が「一方の眼」の縮瞳および／または散瞳の発生タイミングに基づいて得られた特徴量を含み、「第２特徴量」が「他方の眼」の縮瞳および／または散瞳の発生タイミングに基づいて得られた特徴量を含んでもよい。例えば、「第１特徴量」が「一方の眼」の縮瞳および／または散瞳の振幅に基づいて得られた特徴量を含み、「第２特徴量」が「他方の眼」の縮瞳および／または散瞳の振幅に基づいて得られた特徴量を含んでもよい。「第１特徴量」が「一方の眼」の眼球自体の動きに基づいて得られた特徴量を含み、「第２特徴量」が「他方の眼」の眼球自体の動きに基づいて得られた特徴量を含んでもよい。例えば、「第１特徴量」が「一方の眼」のサッカードに基づく特徴量を含み、「第２特徴量」が「他方の眼」のサッカードに基づく特徴量を含んでもよい。「サッカード」はマイクロサッカード（micro saccade）であってもよいし、ラージサッカード（large saccade）であってもよい。「第１特徴量」および「第２特徴量」が眼球の運動方向に基づく特徴量を含んでもよいし、眼球運動の振幅の絶対値に基づく特徴量を含んでもよいし、眼球運動の減衰係数に基づく特徴量を含んでもよいし、眼球運動の固有角振動数に基づく特徴量を含んでもよいし、眼球のサッカードの発生タイミングに基づく特徴量を含んでもよい。ただし、「第１特徴量」と「第２特徴量」とは同じ種別の特徴量である。「特徴量」は時系列情報であってもよいし、時系列情報でなくてもよい。「特徴量」は時間（例えば、離散時間）に対応してもよいし、時間区間に対応してもよい。ただし「第１特徴量」に対応する時間や時間区間は、「第２特徴量」に対応する時間や時間区間に対応する。例えば、「第１特徴量」と「第２特徴量」とが同じ時間に対応してもよいし、「第１特徴量」と「第２特徴量」とが同じ時間区間に対応してもよい。

「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、もしくはβをαで除した値、またはそれらの何れかの関数値である。「相対量に応じた第３特徴量」は、例えば、「相対値」もしくはその関数値、「相対値」もしくはその関数値を要素としたベクトル、または、それらの何れかの関数値である。

前述のように、「第３特徴量」は、「対象者」および／または「対象者」の属性および／または「対象者」の注意状態などを表す。そのため、少なくとも「第３特徴量」を含む特徴量を用いることで、「対象者」および／または「対象者」の属性および／または「対象者」の注意状態などを推定できる。この推定方法に特に制限はない。事前またはリアルタイムに得られた「第３特徴量」を含む特徴量を学習データとして教師ありまたは教師なしの機械学習を行って心理状態を表す値を推定するモデルを生成し、新たに得られた「第３特徴量」を含む特徴量をこのモデルに適用することで心理状態を表す値を推定してもよい。これには、例えば、重回帰分析、k-means、サポートベクターマシーン（SVM）、単純クラスタリング、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用できる。

［第１実施形態］
次に図面を用いて第１実施形態を説明する。
＜構成および処理＞
図１に例示するように、本形態のシステムは特徴量抽出装置１１、および、推定装置１２を含む。特徴量抽出装置１１は、眼球情報取得部１１１、特徴量抽出部１１２ａ，１１２ｂ、両眼対応部１１３、特徴量算出部１１４、および特量量整列部１１５を含み、推定装置１２は推定部１２１を含む。特徴量抽出装置１１および推定装置１２のそれぞれは、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

《眼球情報取得部１１１（図２：ステップＳ１１１）》
眼球情報取得部１１１は、対象者１００の両眼の各離散時刻の「眼の動的な変化」に関する時系列情報を取得する。眼球情報取得部１１１は、取得した一方の眼（例えば、右眼）の動的な変化に関する時系列情報を特徴量抽出部１１２ａへ出力し、取得した他方の眼（例えば、左眼）の動的な変化に関する時系列情報を特徴量抽出部１１２ｂへ出力する。取得される「眼の動的な変化」は、対象者１００の瞳孔の動きであってもよいし、眼球自体の動きであってもよいし、それら両方であってもよい。

対象者１００の「瞳孔の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者１００の眼を撮影して得られた映像に基づいて得られる。例えば、対象者１００にある１点を注視してもらうようにし、その時の瞳孔が赤外線カメラで撮像される。眼球情報取得部１１１は、撮影された映像を画像処理することで、フレーム毎（例えば、1000Hzのサンプリング間隔）の瞳孔の大きさの時系列を取得する。眼球情報取得部１１１は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部１１１は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図３に右眼と左目の瞳孔の動き（瞳孔径の変化）を例示する。図３の横軸は時間［秒］を表し、縦軸は瞳孔径を表す。この瞳孔径は各時刻で取得した瞳孔径の全データの平均を０、標準偏差を１としたときのz-scoreで表現されている。ただし、眼球情報取得部１１１が取得する「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列でなくてもよく、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよく、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。

対象者１００の「眼球自体の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者１００の眼を撮影して得られた映像に基づいて得られる。眼球情報取得部１１１は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎（例えば、1000Hzのサンプリング間隔）の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。眼球情報取得部１１１は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、眼球情報取得部１１１は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、眼球情報取得部１１１は、測定装置（電極を含む）と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。図４に一方の眼球の動きを例示する。図４の横軸は時間［秒］を表し、縦軸は視野角［度］を表す。

《特徴量抽出部１１２ａ，１１２ｂ（ステップＳ１１２）》
特徴量抽出部１１２ａは、対象者１００の一方の眼の動的な変化に関する時系列情報を入力とし、当該対象者１００の一方の眼の動的な変化に基づく特徴量y_1,n=(y_1,n,1,…,y_1,n,d)を得て出力する（n=1,2,…,N_a）。特徴量抽出部１１２ｂは、対象者１００の他方の眼の動的な変化に関する時系列情報を入力とし、当該対象者１００の他方の眼の動的な変化に基づく特徴量y_2,n’=(y_2,n’,1,…,y_2,n’,d)を得て出力する（n’=1,2,…,N_b）。本形態の特徴量抽出部１１２ａ，１１２ｂは、予め定められたイベントの種別ごとに特徴量y_1,n，y_2,n’を得て出力する。イベントの種別とは、例えば後述する「縮瞳」「散瞳」「マイクロサッカード」のいずれかである。ただし、n, n’はイベントの発生順を表すインデックス（整数）であり、nあるいはn’が大きいほど、新しいイベントに対応する。N_aは特徴量抽出部１１２ａで所定の測定区間内に検出されたイベントの総数であり、N_bは特徴量抽出部１１２ｂで当該所定の測定区間内に検出されたイベントの総数である。一般に、ノイズによる誤検出や閾値設定による検出漏れなどにより、N_aとN_bは異なる値をとる。dは特徴量の次元を表す正整数である。特徴量がスカラである場合にはd=1であり、特徴量がベクトルである場合にはdは２以上の整数である。ただし、n, n’, d, N_a, N_bはいずれも「縮瞳」「散瞳」「マイクロサッカード」などのイベントの所定の種別ごとに定義されるものである。特徴量y_1,n，y_2,n’は、両眼対応部１１３に送られる。特徴量y_1,nは、対象者１００の一方の眼の瞳孔の動きに基づいて得られる特徴量であってもよいし、眼球自体の動きに基づいて得られる特徴量であってもよい。同様に、特徴量y_2,n’は、対象者１００の他方の眼の瞳孔の動きに基づいて得られる特徴量であってもよいし、眼球自体の動きに基づいて得られる特徴量であってもよい。

「瞳孔の動き」に基づく特徴量：
図３に例示したように、瞳孔の大きさは一定ではなく、変化している。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大（散瞳）し、副交感神経系の支配を受けた瞳孔括約筋によって収縮（縮瞳）する。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の３つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動（輻輳運動）に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。「瞳孔の動き」に基づく特徴量としては、縮瞳および散瞳の少なくとも一方の特徴量を用いることができる。

縮瞳の特徴量：
縮瞳の開始時刻（以下、縮瞳開始点）は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了時刻（以下、縮瞳終了点）は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅A_cは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間D_cは、縮瞳開始点から縮瞳終了点までの時間差である。平均縮瞳の速度V_cは、（振幅A_c）/(持続時間D_c)である。ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値（例えば、10ms）以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、その縮瞳を検出から除外してもよい。

散瞳の特徴量：
散瞳の開始時刻（以下、散瞳開始点）は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了時刻（以下、散瞳終了点）は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅A_dは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間D_dは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度V_dは、（振幅A_d）/(持続時間D_d)である。ノイズによる誤検出を防ぐために、散瞳の持続時間が所定の閾値（例えば、10ms）以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外してもよい。

「眼球自体の動き」に基づく特徴量：
「眼球自体の動き」に基づく特徴量としては、例えば「マイクロサッカード」や「ラージサッカード」の特徴量を例示できる。

マイクロサッカードの特徴量：
人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード（フリックといってもよい）を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図４を用いてマイクロサッカードを例示する。図４ではマイクロサッカードＭＳ_１〜ＭＳ_３を太線で強調して示す。マイクロサッカードはある一点を注視している状態において、１〜２秒の間に１回程度、個人の意思とは関係なく（不随意に）表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者１００の顔に対しての水平方向（眼球の配列方向であり、横方向、幅方向といってもよい）や眼球情報取得部１１１において水平方向と定義された方向を含む概念である。

特徴量抽出部１１２ａ，１１２ｂは、例えば眼球の位置の時系列について１次階差系列を計算し、１次階差系列の絶対値が所定の第１閾値を上回った時刻を、マイクロサッカードの開始時刻（発生時刻）として検出すればよい。ただし１次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値（通常3ms程度）以上持続しない場合は、検出から除外する。また、後述の基準振幅A’が所定の閾値（通常視野角2°程度）以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部１１２ａ，１１２ｂは、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、１次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。

マイクロサッカードの特徴量としては、マイクロサッカードの発生時刻T、基準振幅A’の絶対値｜A’｜、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_oの絶対値｜A_o｜、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎ、それらの少なくとも何れかの関数値などを例示できる。

図５を参照して、マイクロサッカードの基準振幅A’、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_o、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λについて説明する。
（１）基準振幅A’：マイクロサッカードによる眼球の動きが収束したときの移動量である。
（２）最大速度V_max：基準振幅A’＋オーバーシュートの振幅A_oに達するまでの最大の速度である。
（３）持続時間D_m：マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は１次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅A’に戻る時刻である。
（４）オーバーシュート(overshoot)の振幅A_o：マイクロサッカードによって基準振幅A’を超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅A’を超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（５）オーバーシュートの速度V_o：基準振幅A’＋オーバーシュートの振幅A_oから基準振幅A’に収束しようとする際の最大の速度である。
（６）立ち上がり時間K：基準振幅A’＋オーバーシュートの振幅A_oに達する（立ち上がる）までにかかる時間である。なお、基準振幅A’＋オーバーシュートの振幅A_oに達するまでにかかる時間は、最大速度V_maxからオーバーシュートの速度V_oに達するまでにかかる時間と同じ値となる。
（７）減衰率λ：基準振幅A’に対するオーバーシュートの振幅A_oの比である。最大速度V_maxに対するオーバーシュートの速度V_oの比としてもよく、

と表される。

マイクロサッカードの減衰係数ζ、固有角振動数ω_ｎは、

と表される。固有角振動数ω_ｎはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。

特徴量抽出部１１２ａ，１１２ｂは、マイクロサッカードの減衰係数ζ、固有角振動数ω_ｎ、基準振幅A’を、マイクロサッカードが起きている間の眼球の位置をフィッティングし、最小二乗法などによって最適化することで計算してもよい。

マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部１１２ａ，１１２ｂは、左方向のマイクロサッカードの減衰係数、右方向のマイクロサッカードの減衰係数を分けて計算しても良い。

ラージサッカードの特徴量：
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角２度以上の場合をラージサッカード、２度未満のものをマイクロサッカードとする。特徴量抽出部１１２ａ，１１２ｂは、前述の基準振幅A’が所定の閾値以上となった時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、ラージサッカードの発生時刻T、基準振幅A’、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_o、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎなどである。これらの具体例は、前述したマイクロサッカードの特徴量の例の「マイクロサッカード」を「ラージサッカード」に置換したものである。

《両眼対応部１１３（ステップＳ１１３）》
両眼対応部１１３は、特徴量y_1,n=(y_1,n,1,…,y_1,n,d)，y_2,n’=(y_2,n’,1,…,y_2,n’,d)を入力とし、両眼で同時に発生したイベントのみを抽出した特徴量y_A,m=(y_A,m,1,…,y_A,m,d)（第１特徴量），y_B,m=(y_B,m,1,…,y_B,m,d)（第２特徴量）を出力する。特徴量y_1,n=(y_1,n,1,…,y_1,n,d)，y_2,n’=(y_2,n’,1,…,y_2,n’,d)は両眼対応部１１３に送られる。両眼対応部１１３では、まず両眼それぞれで計測されたイベントについて、同時に生じたと判断されるペアを対応づける。

以降では簡単のため、一方の眼を眼A、反対側の眼を眼Bとする。
はじめに、両眼対応部１１３は、眼Aから検出されたN_a個のイベントについて、それぞれ最も発生時刻の近い眼Bのイベントのインデックスn’=1,2,…,N_bを対応づけることで、N_a個の要素を持つベクトルI_abを生成する。ベクトルI_abのn=1,2,…,N_a番目の要素は、インデックスnに対応する眼Aから検出されたイベントに最も発生時刻の近い眼Bのイベントのインデックスn’=1,2,…,N_bである。また、便宜的に、単純に1,2,3,…,N_aと数字を並べたベクトルI_aaを、I_abと対応する眼Aのイベントのインデックスとして定義する。ベクトルI_aaのn=1,2,…,N_a番目の要素はnそのものである。さらに、両眼対応部１１３は、I_abで指し示された眼Bのイベントの発生時刻と、I_aaで指し示された眼Aのイベントの発生時刻との時間差を記述した要素数N_aのベクトルτ_aも計算する。ベクトルτ_aのn=1,2,…,N_a番目の要素は、ベクトルI_abのn番目の要素が示すインデックスに対応する眼Bから検出されたイベントの発生時刻と、I_aaのn番目の要素が示すインデックスに対応する眼Aから検出されたイベントの発生時刻との時間差である。

同様に、両眼対応部１１３は、眼Bから検出されたN_b個のイベントについて、それぞれ最も発生時刻の近い眼Aのイベントのインデックスn=1,2,…,N_aを対応づけることで、N_b個の要素を持つベクトルI_baを生成する。ベクトルI_baのn’=1,2,…,N_b番目の要素は、インデックスn’に対応する眼Bから検出されたイベントに最も発生時刻の近い眼Aのイベントのインデックスn=1,2,…,N_aである。また、便宜的に、単純に1,2,3,…,N_bと数字を並べたベクトルI_bbを、I_baと対応する眼Bのイベントのインデックスとして定義する。ベクトルI_bbのn’=1,2,…,N_b番目の要素はn’そのものである。さらに、両眼対応部１１３は、I_baで指し示された眼Aのイベントの発生時刻と、I_bbで指し示された眼Bのイベントの発生時刻との時間差を記述した要素数N_bのベクトルτ_bも計算する。ベクトルτ_ｂのn’=1,2,…,N_ｂ番目の要素は、ベクトルI_baのn’番目の要素が示すインデックスに対応する眼Aから検出されたイベントの発生時刻と、I_bbのn’番目の要素が示すインデックスに対応する眼Bから検出されたイベントの発生時刻との時間差である。

次に、両眼対応部１１３は、下記の基準に従って、「両眼で同時に発生したイベントのペア」のみを抽出する。
ステップ（１）：両眼対応部１１３は、ベクトルτ_aのn番目の要素が示す発生時刻の時間差が所定の閾値より大きい場合、対応するI_aa,I_abおよびτ_aのn番目の要素を削除する。同様に、両眼対応部１１３は、ベクトルτ_bのn’番目の要素が示す発生時刻の時間差が所定の閾値より大きい場合、対応するI_bb,I_baおよびτ_bのn’番目の要素を削除する。削除の基準となる閾値は、マイクロサッカードの場合は10-20ms程度、ラージサッカードの場合は20-50ms程度、縮瞳及び散瞳の場合は100ms程度とすることが望ましい。両眼対応部１１３は、以上により選別された要素を並べたベクトルをそれぞれI’_aa, I’_abおよびI’_bb, I’_baとし、対応する発生時刻差のベクトルをそれぞれτ’_aおよび τ’_bとする。

ステップ（２）：両眼対応部１１３は、ステップ（１）の基準に基づいて選択されたI’_abについて、複数の要素が同じ眼Bのインデックスを指し示している（I’_abの複数の要素が同じ値を持つ）場合、最も発生時刻の時間差の小さい（対応するτ’_aの要素の値が小さい）要素のみ残し、他はすべて削除する。このとき、対応するτ’_aおよびI’_aaの要素も削除する。同様に、ステップ（１）の基準で選択されたI’_baについて、複数の要素が同じ眼Aのインデックスを指し示している（I’_baの複数の要素が同じ値を持つ）場合は、最も発生時刻の時間差の小さい（対応するτ’_bの要素の値が小さい）要素のみ残し、他はすべて削除する。このとき、対応するτ’_bおよびI’_bbの要素も削除する。両眼対応部１１３は、以上により選別された要素を並べたベクトルをそれぞれI”_aa, I”_abおよびI”_bb, I”_baとし、対応する発生時刻差のベクトルをそれぞれτ”_aおよび τ”_bとする。また、両眼対応部１１３は、このステップで削除対象とされたI’_aaの要素を並べたベクトルをΔ_aaとし、同様にこのステップ（２）で削除対象とされたI’_bbの要素を並べたベクトルをΔ_bbとする。

ステップ（３）：両眼対応部１１３は、I”_abについて、ステップ（２）で削除されたΔ_bbのいずれかの要素と同じ値をもつ要素が存在する場合、その要素をI”_abおよび対応するI”_aa, τ”_aからすべて削除する。同様に、両眼対応部１１３は、I”_baについて、ステップ（２）で削除されたΔ_aaのいずれかの要素と同じ値をもつ要素が存在する場合、その要素をI”_baおよび対応するI”_bb, τ”_bからすべて削除する。

ステップ（４）：両眼対応部１１３は、ステップ（３）で削除対象とされたI”_aaの要素を並べたベクトルを新たにΔ_aaとし、同様に削除対象とされたI”_bbの要素を並べたベクトルを新たにΔ_aaとして設定する。以降、I”_abおよびI”_baの要素数が一致するまでステップ（３）（４）を繰り返し行う。

以上の処理により、眼Aおよび眼Bから抽出されるイベントの総数Nが一致したとき、両眼の特徴量をそれぞれ特徴量y_A,m=(y_A,m,1,…,y_A,m,d)，y_B,m=(y_B,m,1,…,y_B,m,d)として出力する（m＝1, 2, …, N）。ただし、Nは正整数である。

《特徴量算出部１１４（ステップＳ１１４）》
特徴量算出部１１４は、眼Aの特徴量y_A,m=(y_A,m,1,…,y_A,m,d)，眼Bの特徴量y_B,m=(y_B,m,1,…,y_B,m,d)を入力とし、それらの相対量に応じた両眼差に関する特徴量y_m=(y_m,1,…,y_m,d)（第３特徴量）および両眼平均の特徴量y_m ^-=(y_m,1 ^-,…,y_m,d ^-)を得て出力する。「相対量」の例は前述の通りである。以下にy_m=(y_m,1,…,y_m,d)を例示する。
y_m=(y_1,m,1-y_2,m,1,…,y_1,m,d-y_2,m,d) (1)
y_m=(|y_1,m,1-y_2,m,1|,…,|y_1,m,d-y_2,m,d|) (2)
y_m=(g(y_1,m,1-y_2,m,1),…,g(y_1,m,d-y_2,m,d)) (3)
y_m=(y_1,m,1/y_2,m,1,…,y_1,m,d/y_2,m,d) (4)
y_m=(g(y_1,m,1/y_2,m,1),…,g(y_1,m,d/y_2,m,d)) (5)
y_m=(g(y_1,m,1)-h(y_2,m,1),…,g(y_1,m,d)-h(y_2,m,d)) (6)
y_m=(g(y_1,m,1)/h(y_2,m,1),…,g(y_1,m,d)/h(y_2,m,d)) (7)
ただし、｜・｜は（・）の絶対値であり、gおよびhは所定の関数（例えば、逆関数や指数関数など）である。式(1)〜(7)のy_1,m,1,…,y_1,m,dとy_2,m,1,…,y_2,m,dとを入れ替えた演算によって特徴量y_mが得られてもよいし、y_mの要素が所定値以上（例えば、無限大）の場合に、その要素を特定の値（例えば、0）としてもよいし、そのような要素を含む特徴量y_m自体を所定量（例えば、零ベクトル）としてもよい。両眼平均の特徴量y_m ^-=(y_m,1 ^-,…,y_m,d ^-)は、眼Aの特徴量y_A,m=(y_A,m,1,…,y_A,m,d)，眼Bの特徴量y_B,m=(y_B,m,1,…,y_B,m,d)のそれぞれの要素について平均値をとった値を並べたベクトルとすることができる。

《特徴量整列部１１５（ステップＳ１１５）》
特徴量整列部１１５は、眼Aの特徴量y_A,m=(y_A,m,1,…,y_A,m,d)，眼Bの特徴量y_B,m=(y_B,m,1,…,y_B,m,d)および両眼差に関する特徴量y_m=(y_m,1,…,y_m,d)、両眼平均の特徴量y_m ^-=(y_m,1 ^-,…,y_m,d ^-)を入力とし、所定の時間区間F_tごとに各イベントの特徴量y_A,m，y_B,m，y_m，y_m ^-それぞれの代表値を得、それらの代表値を統合した特徴量Y_t=(Y_t,1…,Y_t,D)を得て出力する。特徴量Y_tは行列形式で表現されていてもよいし、ベクトル形式で表現されていてもよいが、ここでは便宜上、Y_t=(Y_t,1…,Y_t,D)と表記する。すなわち、特徴量整列部１１５は、縮瞳、散瞳、マイクロサッカード、ラージサッカードといったすべてのイベントについて個別に計算された特徴量y_A,m，y_B,mおよびy_m，y_m ^-について、統合的に扱うものとする。言い換えると、特徴量整列部１１５は、イベントごとに時間区間F_tでの特徴量y_A,m，y_B,m，y_m，y_m ^-の代表値を得、得られた代表値からなる集合またはその部分集合を特徴量Y_t=(Y_t,1…,Y_t,D)として出力する。特徴量整列部１１５は、所定の時間区間F_tごとに特徴量Y_tを得て出力する。ただし、tは所定の時間区間F_tに対応する離散時間のインデックス（整数）であり、tが大きいほど、新しい離散時間に対応する。Dは特徴量の次元を表す正整数で、用いるすべての特徴量の総数である。各時間区間F_tの長さは互いに同一であってもよいし、同一でなくてもよい。

特徴量整列部１１５は、所定のイベント（縮瞳、散瞳、マイクロサッカード、ラージサッカードのいずれかまたは複数）に対応する特徴量y_A,m，y_B,mおよびy_m，y_m ^-のうち、時間区間F_tの中で発生したインデックスのものの代表値をとる。ただし、時間区間F_tの中で発生したとは、眼Aの特徴量y_A,m、眼Bの特徴量y_B,m、両眼差の特徴量y_mおよび両眼平均の特徴量y_m ^-のいずれの場合であっても、両眼平均の発生時刻が時間区間F_tに含まれることを言う。すなわち、時間区間F_tに含まれるかどうかは、対応する両眼の特徴量y_m ^-によって定義される発生時刻を基準とする。時間区間F_tにおいて所定のイベント（縮瞳、散瞳、マイクロサッカード、ラージサッカードのいずれか）が複数回発生していた場合（同一のイベントが複数回発生していた場合）、同一のイベントに関する特徴量（縮瞳であれば振幅A_c、持続時間D_c、平均速度V_c、発生回数、それらの両眼差に関する値、それらの少なくとも何れかの関数値などであり、散瞳であれば振幅A_d、持続時間D_d、平均速度V_d、発生回数、それらの両眼差に関する値、それらの少なくとも何れかの関数値などであり、マイクロサッカードまたはラージサッカードであれば、基準振幅Aの絶対値｜A’｜、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_oの絶対値｜A_o｜、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎ、マイクロサッカードの単位時間（例えば１秒）あたりの発生回数R_m、それらの両眼差に関する値、それらの少なくとも何れかの関数値など）のそれぞれについて時間区間F_tでの代表値を得、それぞれの代表値の全てまたはいずれかを特徴量Y_t=(Y_t,1…, Y_t,D)のいずれかの要素としても良い。複数の値の代表値とは、例えばそれら複数の値の平均値、最大値、最小値、最初の値に対応する値などであり、特に平均値を用いることが好ましい。時間区間F_tにおいて所定のイベント（縮瞳、散瞳、マイクロサッカード、ラージサッカードのいずれか）が一度だけ発生した場合、その所定のイベントの代表値は発生したイベントの特徴量そのものである。時間区間F_tで所定のイベント（縮瞳、散瞳、マイクロサッカード、ラージサッカードのいずれか）が発生しなかった場合、時間区間F_tで発生しなかったイベントに関する特徴量を定数（例えば０）としてもよい。

《推定部１２１（ステップＳ１２１）》
特徴量Y_tは推定装置の推定部１２１に送られる。推定部１２１は、少なくとも特徴量Y_tを用い、対象者１００および／または対象者１００の属性および／または対象者１００の注意状態の推定を行い、その推定結果を出力する。

これらの推定方法に限定はない。各tについて推定結果が得られてもよいし、複数のtに対応する複数個の特徴量Y_tを用いて当該複数のtごとに推定結果が得られてもよい。例えば、特徴量Y_tをサンプルとしてk-means等によってクラスタリングし、各tでの特徴量Y_tが属するクラスタを表す情報を推定結果として出力してもよい。複数のtに対応する複数個の特徴量Y_tの要素からなるベクトルをサンプルとしてクラスタリングし、複数個のtごとに当該ベクトルが属するクラスタを表す情報を推定結果として出力してもよい。特徴量Y_tと前述した時間区間F_tでの「眼の動的な変化」に基づく特徴量の何れかとを要素とするベクトルVF_tを用い、各tについて同様な推定結果が得られてもよい。その他、複数のtに対応する複数個のベクトルVF_tの要素からなるベクトルを用い、複数個のtごとに同様な推定結果が得られてもよい。

［第２実施形態］
本形態は第１実施形態の変形例である。本形態では、少なくとも特徴量Y_tを事前に学習された予測モデルに適用し、対象者１００および／または対象者１００の属性および／または対象者１００の注意状態の推定を行い、その推定結果を出力する。

図１に例示するように、第２実施形態の第１実施形態との相違点は、システムが推定装置１２に代えて推定装置２２を有する点である。推定装置２２は、推定部２２１、モデル生成部２２２、および記憶部２２３を有する。本形態では、事前処理の段階で、モデル生成部２２２が、過去の各t”（ただし、ｔ＞t”）で得られた特徴量Y_t”を少なくとも含む特徴量（例えば、特徴量Y_t”またはベクトルVF_t”）を入力とし、tで得られた特徴量Y_tを少なくとも含む特徴量（例えば、特徴量Y_tまたはベクトルVF_t）から、対象者１００および／または対象者１００の属性および／または対象者１００の注意状態の推定結果を出力する予測モデルを生成し、それを特定する情報（モデルパラメータ等）を記憶部２２３に格納しておく。この学習は特徴量Y_t”を少なくとも含む特徴量と推定結果を表す正解ラベルとが関連付けられた学習データを用いた教師あり学習であってもよいし、特徴量Y_t”を少なくとも含む特徴量のみを学習データとした教師なし学習であってもよい。ただし、学習データとして用いられる特徴量の種別とtで得られる特徴量の種別とは同一である。予測モデルとしては、例えば、サポートベクターマシーン、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを用いることができる。各tでの処理では、ステップＳ１１３の処理の後、推定部２２１が記憶部２２３から抽出した情報に基づいて設定される予測モデルに対し、tで得られた特徴量Y_tを少なくとも含む特徴量を適用し、対象者１００および／または対象者１００の属性および／または対象者１００の注意状態を表す推定結果を出力する（図２：ステップＳ２２１）。

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、特徴量Y_tが所定の時間区間F_tごとに得られるのではなく、所定の離散時間ごとに得られてもよい。例えば、少なくとも特徴量Y_tを用い、注意状態以外の対象者１００の心理状態、健康状態、精神状態などを推定してもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１１ 特徴量抽出装置
１２，２２ 推定装置

Claims (10)

1. 対象者の一方の眼の動的な変化に基づいて得られた第１特徴量と、前記対象者の他方の眼の動的な変化に基づいて得られた第２特徴量と、の相対量に応じた第３特徴量を得る特徴量抽出装置。
2. 請求項１の特徴量抽出装置であって、
   前記第１特徴量は、前記一方の眼の瞳孔の動きに基づいて得られた特徴量を含み、
   前記第２特徴量は、前記他方の眼の瞳孔の動きに基づいて得られた特徴量を含む、特徴量抽出装置。
3. 請求項１または２の特徴量抽出装置であって、
   前記第１特徴量は、前記一方の眼の縮瞳および／または散瞳の発生タイミングに基づいて得られた特徴量を含み、
   前記第２特徴量は、前記他方の眼の縮瞳および／または散瞳の発生タイミングに基づいて得られた特徴量を含む、特徴量抽出装置。
4. 請求項１から３の何れかの特徴量抽出装置であって、
   前記第１特徴量は、前記一方の眼の縮瞳および／または散瞳の振幅に基づいて得られた特徴量を含み、
   前記第２特徴量は、前記他方の眼の縮瞳および／または散瞳の振幅に基づいて得られた特徴量を含む、特徴量抽出装置。
5. 請求項１から４の何れかの特徴量抽出装置であって、
   前記相対量は差分である、特徴量抽出装置。
6. 請求項１から５の何れかの特徴量抽出装置であって、
   前記第３特徴量は、前記対象者および／または前記対象者の属性および／または前記対象者の注意状態を表す、特徴量抽出装置。
7. 少なくとも、対象者の一方の眼の動的な変化に基づいて得られた第１特徴量と、前記対象者の他方の眼の動的な変化に基づいて得られた第２特徴量と、の相対量に応じた第３特徴量を用い、少なくとも前記対象者、前記対象者の属性、および前記対象者の注意状態のいずれかを推定する推定装置。
8. 対象者の一方の眼の動的な変化に基づいて得られた第１特徴量と、前記対象者の他方の眼の動的な変化に基づいて得られた第２特徴量と、の相対量に応じた第３特徴量を得る特徴量抽出方法。
9. 少なくとも、対象者の一方の眼の動的な変化に基づいて得られた第１特徴量と、前記対象者の他方の眼の動的な変化に基づいて得られた第２特徴量と、の相対量に応じた第３特徴量を用い、少なくとも前記対象者、前記対象者の属性、および前記対象者の注意状態のいずれかを推定する推定方法。
10. 請求項１から６の何れかの特徴量抽出装置または請求項７の推定装置としてコンピュータを機能させるためのプログラム。

Images