JP2017189470A - 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム - Google Patents

Abstract

【課題】低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動のサッケードの回数が検出可能な眼球運動計測装置および計測方法を提供する。
【解決手段】一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示手段と、指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影手段と、撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段と、画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測手段と、連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出手段とを備える。
【選択図】図９

Description

本発明は、カメラで撮像した顔画像から、眼球運動のサッケードの回数を計測する技術に関するものである。

近年、高齢化社会が急速に進展しており、様々な病気が社会的な問題になっている。その一つに認知症という病気があり、その数は２０１０年時点で国内４４０万人と推定され、今後１０年で２倍近くまで増加するといわれている。
認知症は一旦発達した知能が脳の器質性障害によって低下した状態であり、脳のダメージから由来すると言われる中核症状と、障害による不安や憤りから由来すると言われる周辺症状という２つの症状を持つ。具体的な症状としては、中核症状では同じことを何度も繰り返してしまうなどの記憶障害、知っているはずの道で迷子になってしまうといった見当識障害、物の名前を忘れてしまう失語、物が何なのかを忘れてしまう失認、物の使い方を忘れてしまう失行などがあり、周辺症状では幻覚や妄想、興奮、うつ状態などが挙げられる。
しかし現在、認知症であると診断された患者のうち、約８割はかかりつけ医が認知症を見落としているという報告がなされており、早期発見ができているとは言い難い。

現在の認知症の検査は、まず、本人や家族への問診と、その時の患者の観察が重要であると言われている。また、ＨＤＳ−Ｒ（改訂長谷川式簡易知能評価スケール）やＭＭＳＥ（Mini-Mental State Examination）といった認知症のテスト、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像）やＰＥＴ（Positron Emission Tomography：陽電子放射断層撮影）などの脳画像診断といった客観的な診断方法もある。
しかしこれらの手法には、専門家が必要であるということや時間や手間がかかることなどといった問題がある。そして、一番の問題点として、認知症という病気の大きな特徴の一つとして、メタ記憶に侵襲が及んでおり自身が病気であるという認識がないという症状があるため、患者が診察に来ず早期発見ができないという問題がある。
そこで、体温や血圧を測るように手軽に測定可能なものや、意識せず日常の中で自然に測定できるようなものがあれば、認知症の早期発見が可能になると期待される。

認知症などの脳機能障害を手軽にスクリーニングするための手法として、表情や声、血液を分析し認知症を検出する研究が行われている。表情や声は日常生活の中で測定することができ、手軽な手法であるが、被験者が検査であることを意識してしまうことによる影響を受けやすい。また、血液は多くの場合健康診断などで採取するため早期発見が期待できるが、日常生活の中で手軽に測定することはできない。
一方、眼球運動は検査であることを意識することによる影響を受けにくいため検査に向いており、かつ日常生活の中で手軽に測定することが可能である。そして、認知症患者は健常者に比べ、眼球運動のサッケード回数の増加が見られることが知られており（非特許文献１を参照）、眼球運動の測定により認知症の早期発見が可能であると考えられている。

ここで、サッケードについて説明する。
眼球運動は大きく分けると衝動性眼球運動と滑動性眼球運動に分けることができる。衝動性眼球運動は、人間が随意的に見ようとする所に注視点を切り替えるときに見られる高速な眼球運動である。滑動性眼球運動は移動する物体を目で追いかけるときに起こる運動で、視野の発達した霊長類特有の運動である。
このとき、遅延などにより追従しきれなかったとき反射的にジャンプし移動物体に追いつく運動が行われる。この運動を特にキャッチアップサッケードと呼ぶ。また、人は静止物体をじっと見つめているときでも不随意的に常に眼球に揺れが起こっており、その時の揺れを特にマイクロサッケードと呼ぶ。
以下、本明細書において、サッケードとは、キャッチアップサッケードの意味で用いる。

眼球運動を計測する技術としては、例えば、ゴーグル型の視標提示装置を用いて滑動性眼球運動を計測する方法が知られている（例えば、非特許文献１を参照。）。かかる方法では、１９名の認知症患者、１８名の健常高齢者、７名の健常若年者に対して実施し、認知症患者における初動時間の延長などの知見が得られている。
しかし、非特許文献１に開示された眼球運動を計測する方法では、大掛かりな装置を必要とし、日常的に計測することは難しい。

眼球運動を計測する方法において、小型の装置を使用する技術としては、アイトラッキングシステムが知られている（例えば、非特許文献２を参照。）。これによると、眼球の動きを精度よく求めることができ、使用者がどこを見ているのかなどの情報までわかるため、注視情報などを調べることが可能である。
しかし、非特許文献２に開示されたアイトラッキングシステムは、視線を計測するためにキャリブレーションが必要であり、キャリブレーションの誤差がその後の計測の誤差につながるなどの問題がある。

また、眼球位置と視標位置との相対関係を把握すると共に、疾患の鑑別、重症度等を判断するための補助的データを提供する装置として、眼球運動解析システムが知られている（特許文献１を参照）。特許文献１の眼球運動解析システムでは、非特許文献１と同様に、ゴーグル型の視標提示装置を用いて、ゴーグル型ヘッドセットのディスプレイに映し出される視標を追従する眼球の動きをその手前に配したハーフミラーで反射させて撮像カメラにより撮像する眼球撮像装置により取り込まれた眼球画像を画像処理し、その眼球運動データと視標の移動データに基づき、その関係を横軸に時間、縦軸に視標位置と眼球位置との偏差を表示する追視誤差表示グラフとして出力するものである。
特許文献１の眼球運動解析システムで用いるゴーグル型ヘッドセットは、眼鏡タイプのコンパクトな装置であり、ゴーグル型ヘッドセットの頭部への装着により、頭部を固定することなく、視標を映し出すスクリーン等のディスプレイに対して頭部を静止させ、眼球を撮像する撮像カメラに対しても頭部を静止させた状態で眼球を撮像し、正確な視標追跡機能検査を行うことができるものである。つまり、頭部が多少動いても、頭部移動による画像ブレを起すことなく、視標に追従する眼球運動を撮像することができるものである。

しかしながら、この眼球運動解析システムでは、眼球位置と視標位置の偏差を算出して疾患判定を行うため、眼球位置は、視標の移動量で予め正規化したキャリブレーションデータを用いて決定する必要がある。すなわち、非特許文献２と同様に、測定に先立ってキャリブレーションを行うことが必要であり、正面を向いた標準的な眼球の視軸と対向するディスプレイの中心（基準位置）から標準的な眼球の視軸が左右３０°に傾斜する位置まで視標を移動させ、その始点と終点の眼球画像に基づき、画像上の眼球移動量を視標の移動量で正規化してキャリブレーションデータを算出する必要がある。

近年、カメラ映像で医師と患者を結び付けた在宅診療システムが提唱されている。これは、患者が在宅にいながら、ビデオ通話で医師と相談したりするが、そのようなシステムで用いるカメラは通常低画素なものである。また、患者に対して事前にキャリブレーションを行うことや、ゴーグル型ヘッドセットを頭部に装着させることが困難な場面も多い。

特開２００４−３３７３４８号公報

福本一郎ほか. 眼球運動計測を用いた痴呆簡易診断システムの基礎研究. 長岡技術科学大学研究報告, 2002. T Nakano et al. Atypical gaze patterns in children and adults with autism spectrum disorders dissociated from developmental changes in gaze behaviour. Proceedings of the Royal Society B, 2010. Hutton JT et al. Eye tracking dysfunction in alzheimer-type dementia. Neurology, 1984.

従来は、カメラでフレーム毎の黒目（眼球の中央の円く黒い部分）の位置検出を行ってサッケードを計測する場合、フレーム間の黒目の位置の移動量が増えたときに、サッケードが発生したとして、その回数をカウントしていた。そのため、パーソナルコンピュータ（ＰＣ）に内蔵されているような低画素カメラの場合や、測定される黒目とカメラ位置が離れているような場合には、黒目の位置の検出精度が粗いため、ノイズに埋もれて、黒目の位置の単なる移動量の増加だけでは正しく測定することができなかった。

かかる状況に鑑みて、本発明は、低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動のサッケード回数が検出可能な眼球運動計測装置および計測方法を提供することを目的とする。

上記状況に鑑みて、本発明の眼球運動計測装置は、下記１）〜５）を備える。
１）一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示手段
２）指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影手段３）撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段４）画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測手段５）連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出手段

上記構成の眼球運動計測装置によれば、カメラで撮影された画像が粗い画像であっても、眼球運動のサッケード回数の算定が可能であるため、ネットワークを利用して、映像を配信するためのＣＣＤ（Charge Coupled Device）カメラとＰＣを用いたような簡易な装置で眼球運動の計測が可能となる。眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する。ここで、被検体はヒトに限定されず眼球運動を行う動物も含まれる。

上記３）の黒目領域検出手段における撮像時間内の各画像フレームにおける黒目領域を検出するやり方は、既知の手法が適用できるが、例えば、Zhaoらの手法が好適に用いることができる。Zhaoらの手法（詳細は、”Zijing Zhao et al. An accurate iris segmentation framework under relaxed imaging constraints using total variation model. In ICCV, 2015.”を参照）は、楕円あてはめなど目のモデルを元に検出するmodel−basedの手法を用いており、高い精度で黒目を検出することができる。Zhaoらの手法の主な流れとしては、目の周辺をクロップした画像を入力とし、ノイズ除去などの前処理を行った後、睫毛や皺などの影響を避けるためスムージングを行い、その後、円形あてはめにより黒目を検出し、瞼検出などの後処理を行うという流れになっている。
ここで、計測時間は長くないこと、被験体は視標を注視していることから、計測期間において顔の向きの変更など大きな顔の動きがないと仮定すると、顔の大きな動きの影響を受けていない純粋な眼球の動きが映像中の黒目の座標の変化で表される。映像中の黒目座標は、映像を目周辺の領域でクロップすれば求めることができるため、目周辺の領域を検出すればいいことになる。

本発明の眼球運動計測装置において、サッケード回数算出手段は、予め設定した連続フレームの区間における黒目領域の移動に対し、黒目領域の移動が停留した場合との第１誤差と、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差とを算出し、第１誤差が第２誤差よりも小さくなる回数を停留回数として算出することが好ましい。
サッケードが発生していない区間では、黒目領域の移動が停留した場合との第１誤差が大きくなり、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差が小さくなる。これに対して、サッケードが発生している区間では、黒目領域の移動が停留した場合との第１誤差が小さくなり、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差が大きくなる。そこで、第１誤差が第２誤差よりも小さくなる回数を停留回数として算出するものである。ここで、黒目領域の移動は、連続フレームにおける位置座標の変化、フレーム間における位置の移動速度、移動量で捉えることができる。

本発明の眼球運動計測装置において、誤差は、一定区間の相違度であり、算出した誤差に対してスムージングを行い、第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を停留回数として算出することが好ましい。一定区間の相違度とは、例えば、連続フレームにおける各フレームの位置の誤差の二乗をフレーム数で割った平均二乗誤差を用いることができる。

本発明の眼球運動計測装置において、上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることが好ましい。
サッケードが生じて黒目領域が停留している時間を考慮したものである。

本発明の眼球運動計測装置において、黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることが好ましい。
上述の如く、眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する必要がある。計測時間は短時間であり、また、被験者は視標を注視して計測を行うため、計測期間において顔の向きの変更など大きな顔の動きはないが、実際には小さな顔の動きが存在するため、単純に映像中における黒目の座標を求めただけでは、顔の微小な動きなどにより眼球運動特徴量が誤検出されてしまう。そこで、映像中の座標における黒目の座標をそのまま用いるのではなく、微小な顔の動きによって黒目との位置関係の変化しない基準点を設けて、移動量を計測する。

本発明の眼球運動計測装置において、黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることが好ましい。
人の眼球を水平方向に移動させる場合は、内側直筋と外側直筋を滑車のように動かす。これに対して、人の眼球を垂直方向に移動させる場合は、上直筋と下直筋を滑車のように動かす。これらの筋肉を支配している運動神経の上位中枢は、衝動性眼球運動では前頭葉に位置し、滑動性眼球運動では後頭葉に位置しており、認知症では前頭葉、後頭葉などが委縮する。また、高齢者の場合、まぶたの筋肉が衰え、目を開いている状態でも黒目の露出が著しく小さいため、垂直方向の眼球運動を計測することは難しい。そこで、水平方向の黒目領域の移動量のみを用いる。

次に、本発明の眼球運動計測方法について説明する。
本発明の眼球運動計測方法は、下記ａ）〜ｅ）を備える。
ａ）一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示ステップ
ｂ）指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影ステップｃ）撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出ステップｄ）画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測ステップｅ）連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出ステップ

本発明の眼球運動計測方法は、サッケード回数算出ステップにおいて、予め設定した連続フレームの区間における黒目領域の移動に対し、黒目領域の移動が停留した場合との第１誤差と、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差とを算出し、第１誤差が第２誤差よりも小さくなる回数を停留回数として算出することが好ましい。

本発明の眼球運動計測方法において、誤差は、一定区間の相違度であり、算出した誤差に対してスムージングを行い、第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を停留回数として算出することが好ましい。

本発明の眼球運動計測方法において、上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることが好ましい。

本発明の眼球運動計測方法において、黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることが好ましい。
また、黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることが好ましい。

本発明の眼球運動計測プログラムは、上述の眼球運動計測方法の各ステップａ）〜ｅ）を、コンピュータに実行させるプログラムである。
また、本発明の眼球運動計測装置は、上記の眼球運動計測プログラムが搭載されたコンピュータおよびディスプレイを備える。

本発明の脳機能障害スクリーニング方法は、上述の眼球運動計測方法における各ステップと、脳機能障害を判定する判定ステップとを備える。
また、本発明の脳機能障害スクリーニング装置は、上述の眼球運動計測装置と、脳機能障害を判定する判定手段とを備える。
認知症の視線への影響については様々な研究が行われており、実際に、認知症患者は健常者に比べ、滑動性眼球運動の異常が見られる、すなわちサッケードの回数が増加することが報告されている。このことから、眼球運動のサッケード回数の測定により認知症の早期発見の可能性があり、上述の眼球運動計測方法は、脳機能障害スクリーニング方法として用いることができるのである。ここで、脳機能障害を判定する判定ステップは、例えば、サッケード回数が所定回数を超える場合に、脳機能障害の可能性があることを判定することである。或は、視覚認識時間の遅れ、内外直筋切り替え時間の延長、追従時の最高速度の低下、追従ゲインの低下、初動時間（視標が現れてから目が視標を捉え動きがなくなるまでの時間）の延長、注視時のマイクロサッケード回数の増加、サッケード振幅の低下などの計測結果を総合して、脳機能障害を判定することもできる。

本発明の眼球運動計測方法および計測システムによれば、低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動のサッケードが検出できるといった効果がある。そのため、ネットワークを介したビデオ通話を行っている状態のビデオ画像を用いて、認知症の早期発見が期待できる。

サッケードの説明図 眼の筋肉構造の説明図であり、（１）は正面図、（２）は左側面図、（３）は移動方向と関与する筋肉の相関図を示している。 眼球運動計測方法のフロー図１ 黒目重心座標の説明図 サッケード回数の計算方法であり、（１）はサッケードによる停留、（２）はサッケード検出方法、（３）は平均二乗誤差の時間的変化を示している。 評価実験１の実験結果であり、（１）はサッケード回数の誤差値、（２）はサッケード回数の測定値を示している。 評価実験２の実験結果であり、（１）はサッケード回数の誤差値、（２）はサッケード回数の測定値を示している。 視標追従実験のイメージ図であり、（１）は視標表示前、（２）は視標表示後を示している。 眼球運動計測装置の機能ブロック図 眼球運動計測方法のフロー図２ サッケード回数算出方法の説明図 サッケード回数算出方法の説明図であり、（１）は第１プロット、（２）は第２プロット、（３）は第３プロットを示している。 サッケード回数算出方法の説明図であり、（１）は第４プロット、（２）は第５プロット、（３）は第６プロットを示している。

以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

まず、眼球運動計測装置の一態様について説明する。図９は、眼球運動計測装置の機能ブロック図を示している。
図９に示すように、眼球運動計測装置は、ディスプレイ１、指標表示手段６、眼球撮影手段７、黒目領域検出手段８、運動計測手段９およびサッケード回数算出手段１０から構成される。指標表示手段６によってディスプレイ１上に指標が表示される。眼球撮影手段７は、指標表示手段６によって表示された指標を見る被験者の眼球をビデオ撮影する。黒目領域検出手段８は、撮像時間内の各画像フレームにおける黒目領域を検出する。運動計測手段９は、画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する。サッケード回数算出手段１０は、連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定する。

次に、眼球運動計測方法について説明する。
眼球運動は大きく分けると衝動性眼球運動と滑動性眼球運動に分けることができる。衝動性眼球運動はサッケードと呼ばれる、人間が随意的に見ようとする所に注視点を切り替えるときに見られる高速な眼球運動である。滑動性眼球運動は移動する物体を目で追いかけるときに起こる運動で、視野の発達した霊長類特有の運動である。

図１は、サッケードの説明図を示している。
図１に示すように、縦軸は黒目重心座標、横軸は時間、破線はベースライン１１を示し、プロットは時間の経過に伴う黒目重心座標の変化を表している。ｔ_０において、視標及び黒目重心座標の移動が開始し、動画中の視標が移動している区間では滑動性眼球運動が起こるので、黒目重心座標は単調に増加、あるいは減少する。すなわち、ｔ_０からｔ_３までは、プロットの黒目重心座標は、ほぼベースライン１１に沿って移動している。
しかし、サッケード開始時点であるｔ_{ｓａｃｃａｄｅ}において、サッケードが起こると単調増加（減少）している理想的なラインを外れ、再び指標を追従するため一定時間の経過後、サッケード終了時点であるｔ_ｅｎｄにおいて、元に戻ることになる。このように、完全に視標に追従しているときの理想的な動きをベースライン１１とし、ベースライン１１から一定以上大きく動いてから元に戻るまでを１回のサッケード運動として数えている。
従来のサッケードの計測方法は、点線で示す傾きｇ_２を検出するものであったが、本実施例における計測方法は、サッケードには水平部ｇ_１があることに着目し、この水平部ｇ_１の検出を行うものである。

図８は、視標追従実験のイメージ図であり、（１）は視標移動前、（２）は視標移動後を示している。図８（１）に示すように、ディスプレイ１上に視標２が現れた後、図８（２）に示すように、視標２が右へと移動する間にサッケードを計測している。

図２は、眼の筋肉構造の説明図であり、（１）は正面図、（２）は左側面図、（３）は移動方向と関与する筋肉の相関図を示している。
図２に示すように、人の眼球を水平方向に移動させる場合は、内側直筋と外側直筋を滑車のように動かす。これに対して、人の眼球を垂直方向に移動させる場合は、上直筋と下直筋を滑車のように動かす。これらの筋肉を支配している運動神経の上位中枢は、衝動性眼球運動では前頭葉に位置し、滑動性眼球運動では後頭葉に位置しており、認知症では前頭葉、後頭葉などが委縮する。また、高齢者の場合、まぶたの筋肉が衰え、目を開いている状態でも黒目の露出が著しく小さいため、垂直方向の眼球運動を計測することは難しい。以上より、計測に当たっては、水平方向のみの眼球運動を計測する。

図３は、眼球運動計測方法のフロー図を示している。
図３に示すように、眼球運動計測方法は大きく３段階に分けられ、撮影した動画を入力とするバッチ処理である。まず、基準点となる目の端の座標の検出や映像中での黒目座標を検出するために目領域をクロップする特徴点検出（Ｐｒｏｃｅｓｓ１）、次にクロップした目の画像から映像中での黒目座標を検出する黒目検出（Ｐｒｏｃｅｓｓ２）、そして得られた黒目重心座標からサッケード回数を計測する眼球運動機能特徴量計測（Ｐｒｏｃｅｓｓ３）の３つからなる。

まず、被検体の顔をビデオで撮影した動画像を入力する。先ず、Ｐｒｏｃｅｓｓ１において、撮影したフレーム画像から顔検出を行い（Ｓ０１）、顔の中の目や鼻などといった特徴点を検出する（Ｓ０２）。そして、誤検出処理を行い（Ｓ０３）、スムージング処理を行う（Ｓ０４）。各フレーム画像からクロップ（切り出し）した目のクロップ画像群を取得する（Ｓ０５）。また一方で、検出された目の特徴点座標を出力する（Ｓ０６）。次に、Ｐｒｏｃｅｓｓ２では、目のクロップ画像群の各画像から黒目検出を行い（Ｓ０７）、黒目座標を検出する（Ｓ０８）。そして、Ｐｒｏｃｅｓｓ２で検出された黒目座標と、Ｐｒｏｃｅｓｓ１で得られた特徴点座標から、Ｐｒｏｃｅｓｓ３で眼球運動のサッケード回数について算定する。算定した眼球運動のサッケード回数は、眼球機能特徴量となる。

Ｐｒｏｃｅｓｓ１において、特徴点を検出（Ｓ０２）するために、顔の中の目や鼻などといった特徴点をモデル化し検出するＡＳＭ（Active Shape Model）という手法を用いて特徴点の検出を行った。
ＡＳＭは、顔の大まかな位置を与えないと特徴点をうまく検出できないので、画像中から顔検出器により顔検出を行った後、ＡＳＭを適用する。また、黒目重心座標をＡＳＭで得られた目の端の座標との相対位置で求めるため、ＡＳＭの検出誤差によりサッケードなどが誤検出される可能性がある。そこで、動画内の全フレームについて前後一定数のフレームの特徴点の座標を用いて移動平均によりスムージング処理を行う。
以上のようにして、基準点となる目の端の座標の検出と、目領域をクロップするための特徴点検出が行われる。

Ｐｒｏｃｅｓｓ２において、黒目検出は以下の方法により行う。
まず、目の周辺をクロップした画像を入力とし、ノイズ除去などの前処理を行った後、睫毛や皺などの影響を避けるためスムージング処理を行う。その後、円形当てはめにより黒目を検出し、瞼検出などの後処理を行う。

Ｐｒｏｃｅｓｓ３において、サッケード回数の計算は、黒目重心座標の時系列変化に基づいて計算する。以下、黒目重心座標の求め方について説明する。
眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する必要がある。計測時間は短時間であり、また、被験者は視標を注視して計測を行うため、計測期間において顔の向きの変更など大きな顔の動きはないが、実際には小さな顔の動きが存在するため、単純に映像中における黒目の座標を求めただけでは、顔の微小な動きなどにより眼球運動特徴量が誤検出されてしまう。そこで、映像中の座標における黒目の座標をそのまま用いるのではなく、微小な顔の動きによって黒目との位置関係の変化しない基準点を設ける。

図１０は、眼球運動計測方法のフロー図を示している。まず、一定方向に一定速度で移動する指標をディスプレイ上に表示する（指標表示ステップ；Ｓ１１）。指標を追従する時の被検体の眼球を撮影して眼球画像を取得する（眼球撮影ステップ；Ｓ１２）。撮像時間内の各画像フレームにおける黒目領域を検出する（黒目領域検出ステップ；Ｓ１３）。画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する（運動計測ステップ；Ｓ１４）。連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定する（サッケード回数算出ステップ；Ｓ１５）。

図４は、黒目重心座標の説明図を示している。図４に示すように、目３の内側端部３ｂの座標を基準点としている。目３の外側端部３ａではなく、内側端部３ｂの座標を基準点とするのは、より誤差が生じ難いからである。そして、黒目４の中心と目３の内側端部３ｂの座標との距離を黒目重心座標５として、眼球運動機能特徴量の計測に用いる。

サッケード回数は区間内で黒目重心座標が大きく動いている部分を数えているが、実際の測定データにはノイズが含まれるため黒目重心座標が大きく変動している部分を検出するのは難しい。そこで、サッケードの特性に注目し、以下の仮定に基づき大きく動いている点ではなく動きがない点を検出する。
図５は、サッケード回数の計算方法であり、（１）はサッケードによる停留、（２）はサッケード検出方法、（３）は平均二乗誤差の時間的変化を示している。図５（１）及び（２）は、横軸に時間、縦軸に黒目重心座標を取り、区間内の眼球運動を表したものである。
図５（１）に示すように、点線部でのサッケードの発生により、ベースラインに戻るための停留が生じている。すなわち、眼球は常に物体を注視しているので、サッケードによりベースラインから外れた場合、ベースラインに戻るため眼球の運動を止める必要がある。
図５（２）において、実線は平均の傾きによる直線、破線は傾きのない直線を表す。図５（２）に示すように、サッケードが発生していない区間では破線との平均二乗誤差が大きくなり、実線との誤差が小さくなる。サッケードが発生している区間では逆に、破線との平均二乗誤差が小さくなり、実線との誤差が大きくなる。
図５（３）は、実線部と破線部による平均二乗誤差の時系列変化を表したものである。図５（３）に示すように、サッケードが発生している区間では、破線との平均二乗誤差が小さくなるため、実線より破線部が小さく、かつ極小値を取る部分をサッケードとして数える。
このように測定区間内の部分区間ごとに、平均的な傾きの直線と眼球移動のない直線の２つの直線との平均二乗誤差を計算することで、サッケード回数を数えることができる。
以下、例を示しながらサッケード回数の算出方法を詳細に説明する。

図１１は、サッケード回数算出方法の説明図である。ここでは、説明の都合上、計測される黒目重心座標の位置等を簡略化している。プロットＰ_１〜Ｐ_９は、滑動性眼球運動計測時の黒目重心座標を示している。プロットＰ_１〜Ｐ_９は、動画の各画像フレームの座標を示しており、各フレーム画像は、一定の時間間隔で存在することから、間隔Ｓ_１〜Ｓ_８は同一となる。
図１１では、滑動性眼球運動計測時において、サッケードが発生していない場合には、一定の速度で眼球が指標を追従し、一方、サッケードが発生した場合には、サッケード終了までの間、黒目重心座標は同じ位置に停留するものとしている。すなわち、プロットＰ_１とプロットＰ_２の間の黒目重心座標の距離Ｄ_１、プロットＰ_２とプロットＰ_３の間の黒目重心座標の距離Ｄ_２、プロットＰ_３とプロットＰ_４の間の黒目重心座標の距離Ｄ_３、プロットＰ_４とプロットＰ_５〜Ｐ_８のいずれかの間の黒目重心座標の距離Ｄ_４、プロットＰ_５〜Ｐ_８のいずれかとプロットＰ_９の間の黒目重心座標の距離Ｄ_５とした場合、Ｄ_１〜Ｄ_３およびＤ_５は同じ距離となり、仮にこれらの距離を１とすると、距離Ｄ_４は４となる。
上記簡略化した内容を前提として、以下、サッケード回数算出の仕組みについて説明する。

図１２，図１３は、サッケード回数算出の原理説明図であり、図１２（１）は第１プロット、図１２（２）は第２プロット、図１２（３）は第３プロットを示している。また、図１３（１）は第４プロット、図１３（２）は第５プロット、図１３（３）は第６プロットを示している。ここで、図中の太線は、連続する４フレームの黒目重心座標のプロットを線でつないだものである。また、図中のベースライン１１は、黒目重心座標が一定の移動量で移動することを示すものである。そして、図中の破線は、連続する４フレームの黒目重心座標が同じ位置に停留した様子を示す水平線１２を示し、時系列に並んだ４フレームの内、時間的に最後のフレームのプロットとベースライン１１の交点から水平に引かれたものである。
図１２（１）に示す第１プロット（プロットＰ_１〜Ｐ_４）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ_１で−３、プロットＰ_２で−２、プロットＰ_３で−１、プロットＰ_４で０となっており、４フレーム間の平均二乗誤差は、｛（−３）^２＋（−２）^２＋（−１）^２＋０^２｝÷４＝１４÷４＝３．５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ_１で０、プロットＰ_２で０、プロットＰ_３で０、プロットＰ_４で０となっており、４フレーム間の平均二乗誤差は、｛０^２＋０^２＋０^２＋０^２｝÷４＝０となる。
次に、図１２（２）に示す第２プロット（プロットＰ_２〜Ｐ_５）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ_２で−３、プロットＰ_２で−２、プロットＰ_３で−１、プロットＰ_４で＋３となっており、４フレーム間の平均二乗誤差は、｛（−３）^２＋（−２）^２＋（−１）^２＋（＋３）^２｝÷４＝２３÷４＝５．７５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ_２で０、プロットＰ_３で０、プロットＰ_４で０、プロットＰ_５で３となっており、４フレーム間の平均二乗誤差は、｛０^２＋０^２＋０^２＋（＋３）^２｝÷４＝９÷４＝２．２５となる。
そして、図１２（３）に示す第３プロット（プロットＰ_３〜Ｐ_６）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ_３が−３、プロットＰ_４が−２、プロットＰ_５が＋２、プロットＰ_６が＋２となっており、４フレーム間の平均二乗誤差は、｛（−３）^２＋（−２）^２＋（＋２）^２＋（＋２）^２｝÷４＝２１÷４＝５．２５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ_３で０、プロットＰ_４で０、プロットＰ_５で＋３、プロットＰ_６で＋２となっており、４フレーム間の平均二乗誤差は、｛０^２＋０^２＋（＋３）^２＋（＋２）^２｝÷４＝１３÷４＝３．２５となる。

また、図１３（１）に示す第４プロット（プロットＰ_４〜Ｐ_７）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ_４が−３、プロットＰ_５が＋１、プロットＰ_６が＋１、プロットＰ_７が＋１となっており、４フレーム間の平均二乗誤差は、｛（−３）^２＋（＋１）^２＋（＋１）^２＋（＋１）^２｝÷４＝１２÷４＝３となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ_４で０、プロットＰ_５で＋３、プロットＰ_６で＋２、プロットＰ_７で＋１となっており、４フレーム間の平均二乗誤差は、｛０^２＋（＋３）^２＋（＋２）^２＋（＋１）^２｝÷４＝１４÷４＝３．５となる。
また、図１３（２）に示す第５プロット（プロットＰ_５〜Ｐ_８）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ_５が０、プロットＰ_６が０、プロットＰ_７が０、プロットＰ_８が０となっており、４フレーム間の平均二乗誤差は、｛０^２＋０^２＋０^２＋０^２｝÷４＝０となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ_５で＋３、プロットＰ_６で＋２、プロットＰ_７で＋１、プロットＰ_８で０となっており、４フレーム間の平均二乗誤差は、｛（＋３）^２＋（＋２）^２＋（＋１）^２＋０^２｝÷４＝１４÷４＝３．５となる。
図１３（３）に示す第６プロット（プロットＰ_６〜Ｐ_９）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ_６が−１、プロットＰ_７が−１、プロットＰ_８が−１、プロットＰ_９が０となっており、４フレーム間の平均二乗誤差は、｛（−１）^２＋（−１）^２＋（−１）^２＋０^２｝÷４＝３÷４＝０．７５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ_６で＋２、プロットＰ_７で＋１、プロットＰ_８で０、プロットＰ_９で０となっており、４フレーム間の平均二乗誤差は、｛（＋２）^２＋（＋１）^２＋０^２＋０^２｝÷４＝５÷４＝１．２５となる。

図示しないが、プロットＰ_１０以降がベースライン１１上に存在するとすれば、プロットＰ_７〜Ｐ_１０と水平線１２の間の座標の差（距離）は、プロットＰ_７が−２、プロットＰ_８が−２、プロットＰ_９が−１、プロットＰ_１０が０となっており、４フレーム間の平均二乗誤差は、｛（−２）^２＋（−２）^２＋（−１）^２＋０^２｝÷４＝９÷４＝２．２５となる。一方、プロットＰ_７〜Ｐ_１０とベースライン１１の間の座標の差（距離）は、プロットＰ_７で＋１、プロットＰ_８で０、プロットＰ_９で０、プロットＰ_１０で０となっており、４フレーム間の平均二乗誤差は、｛（＋１）^２＋０^２＋０^２＋０^２｝÷４＝１÷４＝０．２５となる。
さらに、プロットＰ_８〜Ｐ_１１は、第１プロット（プロットＰ_１〜Ｐ_４）と同じく、水平線１２の間の座標の差（距離）は、プロットＰ_８で−３、プロットＰ_９で−２、プロットＰ_１０で−１、プロットＰ_１１で０となっており、４フレーム間の平均二乗誤差は、｛（−３）^２＋（−２）^２＋（−１）^２＋０^２｝÷４＝１４÷４＝３．５となる。また、プロットＰ_８〜Ｐ_１１とベースライン１１の間の座標の差（距離）は、プロットＰ_８で０、プロットＰ_９で０、プロットＰ_１０で０、プロットＰ_１１で０となっており、４フレーム間の平均二乗誤差は、｛０^２＋０^２＋０^２＋０^２｝÷４＝０となる。
これらの結果を表にまとめると、下記表１となる。

サッケードが発生している区間は、図１３（１）に示す第５プロット（プロットＰ_５〜Ｐ_８）である。この時、水平線１２に対する４フレーム間の平均二乗誤差（第１誤差）が最も小さくなる。水平線１２に対する４フレーム間の平均二乗誤差（第１誤差）は、サッケードが発生している区間に近づくにつれて、一旦大きくなり、その後、小さくなって極小値をとる。一方、ベースライン１１に対する４フレーム間の平均二乗誤差（第２誤差）は、サッケードが発生していない区間では小さく、サッケードが発生している区間に近づくにつれて誤差が大きくなる。
このように、水平線１２に対する４フレーム間の平均二乗誤差（第１誤差）を破線、ベースライン１１に対する４フレーム間の平均二乗誤差（第２誤差）を実線とすると、時系列変化において、図５（３）で示すようなグラフになることがわかる。そして、第１誤差が第２誤差よりも小さくなり、かつ、極小値となる時点の回数をカウントすることで、サッケード回数を算出できることがわかる。

（評価実験１）
被験者は健常な２０代の男性１３名、女性３名を対象とした。実験場所は静かな密室で、実験に使用する端末以外に注意を引くものがない環境で行った。
また、被験者のうち眼鏡を常用している人は６人で、可能であれば眼鏡を外した状態で測定を行った。

実験内容としては、視標追従実験を行った。具体的には、まず、被験者にタブレット端末の前に座ってもらい、画面を見てもらう。このとき、画面上には黒い円の画像が表示されており、これが画面の端から端へ移動するので、目で追いかけるように指示した。このときの被験者の顔を、タブレット端末のカメラで撮影した。なお、この実験では黒い円が見えれば良く、眼鏡の反射等による計測エラーを防ぐため、実験中は可能であれば眼鏡を外した状態で計測を行い、眼鏡を着用して実験を行ったのは２名であった。

顔の位置は、画面から２１０ｍｍに設定した。また、視標速度は、２種類設け、２．６ｐｉｘｅｌ／フレームのものをＳｌｏｗ、５．２ｐｉｘｅｌ／フレームのものをＦａｓｔとして実験を行った。なお、画面描画は６０ｆｐｓである。一度視標が消え、現れてから移動し終わるまでを１シーケンスとすると、Ｓｌｏｗでは１被験者当たり７シーケンスの撮影を行い、Ｆａｓｔでは視標の移動時間を統一するため１４シーケンスの撮影を行った。

図６は、評価実験１の実験結果であり、（１）はサッケード回数（回／２０秒）の誤差値、（２）はサッケード回数（回／２０秒）の測定値を示している。
図６（２）に示すように、サッケード回数は、視標速度が大きいほど多くなる。また、図６（１）に示すように、視標速度がＳｌｏｗのときは誤差がやや大きく、２０秒当たり１６．５回の精度、視標速度がＦａｓｔのときは、誤差は２０秒当たり１０．８回の精度で計測されている。過去の知見（非特許文献３を参照）により、認知症患者と健常者を判別するのに必要な精度は、２０秒当たりの誤差値１２．０回以下であればいいので、視標速度Ｆａｓｔでは十分な精度が得られたと言える。視標速度Ｓｌｏｗでは精度が悪いが、本手法ではサッケードの検出に眼球移動の停留を利用しているため、眼球運動の速度が小さくなると停留との差が小さくなり、誤検出が発生しやすくなることが原因と考えられる。しかし、視標速度Ｓｌｏｗは認知症の進行度とサッケード回数に相関がみられない速度のため、実用上はＦａｓｔのみ使用すればよく、問題ないと言える。

（評価実験２）
被験者は健常な２０代の男性１３名、女性３名を対象とした。実験場所は静かな密室で、実験に使用する端末以外に注意を引くものがない環境で行った。
また、被験者のうち眼鏡を常用している人は６人で、眼鏡を着用した状態で測定を行った。なお、その他特に記載しない条件については、評価実験１と同様である。

実験内容としては、日常的に使うことを想定した実験を行った。日常的を想定した評価実験では、スマートフォンのニュースアプリのプッシュ通知のように、メール、ニュースなど受信した情報を画面上にポップアップで表示するアプリを使用している場面を想定し、受信しポップアップ表示された興味のあるニュースを実際に読むという実験を行った。また、選んだニュースについては実験日に公表されたニュースのうち、政治、信仰など読み手によって著しく興味に差が出るものは避け、被験者と同年代がある程度の興味を持って読めるものを選んだ。

具体的な実験内容は、評価実験１と同様に被験者にタブレット端末の前に座ってもらい、ディスプレイに表示される画面を見てもらう。このとき、画面上にはＷｅｂサイトの天気予報がブラウザで表示されている。一定時間の経過後、画面の端に別のニュースのタイトルがポップアップ表示されるので、ポップアップをタップしてもらう。タップすると、画面にそのニュースが表示されるので、表示されたニュースを読んでもらうよう指示した。このときの被験者の顔を、タブレット端末のカメラで撮影した。
なお、本評価実験では、文章を読む必要があり、日常生活で使用することを想定しているため、普段眼鏡を着用している６名の被験者については、眼鏡を着用したまま計測を行った。撮影は、各被験者につき１シーケンスだけ行った。

図７は、評価実験２の実験結果であり、（１）はサッケード回数の誤差値、（２）はサッケード回数の測定値を示している。
図７（１）に示すように、サッケード回数は、２０秒当たりの誤差６．９回と十分な精度で計測されている。文章を読むときはサッケードが大きいので検出が容易になっているといえる。

本発明は、認知症の検出、鬱による認知機能能の低下、眼球やその周りの筋肉の病気の存在、脳機能の損傷などのスクリーニング装置や方法に利用できる。

１ ディスプレイ
２ 視標
３ 目
３ａ 外側端部
３ｂ 内側端部
４ 黒目
５ 黒目重心座標
６ 指標表示手段
７ 眼球撮影手段
８ 黒目領域検出手段
９ 運動計測手段
１０ サッケード回数算出手段

Claims (16)

1. 一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示手段と、
   前記指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影手段と、 撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段と、 画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測手段と、 連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出手段と、 を備えたことを特徴とする眼球運動計測装置。
2. 前記サッケード回数算出手段は、
   予め設定した連続フレームの区間における黒目領域の移動に対し、
   黒目領域の移動が停留した場合との第１誤差と、
   黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差と、を算出し、
   第１誤差が第２誤差よりも小さくなる回数を前記停留回数として算出することを特徴とする請求項１に記載の眼球運動計測装置。
3. 前記誤差は、一定区間の相違度であり、
   算出した前記誤差に対してスムージングを行い、
   第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を前記停留回数として算出することを特徴とする請求項２に記載の眼球運動計測装置。
4. 上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることを特徴とする請求項１〜３の何れかに記載の眼球運動計測装置。
5. 黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることを特徴とする請求項１〜４の何れかに記載の眼球運動計測装置。
6. 黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることを特徴とする請求項１〜５の何れかに記載の眼球運動計測装置。
7. 一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示ステップと、
   前記指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影ステップと、 撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出ステップと、 画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測ステップと、 連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出ステップと、を備えたことを特徴とする眼球運動計測方法。
8. 前記サッケード回数算出ステップにおいて、
   予め設定した連続フレームの区間における黒目領域の移動に対し、
   黒目領域の移動が停留した場合との第１誤差と、
   黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差と、を算出し、
   第１誤差が第２誤差よりも小さくなる回数を前記停留回数として算出することを特徴とする請求項７に記載の眼球運動計測方法。
9. 前記誤差は、一定区間の相違度であり、
   算出した前記誤差に対してスムージングを行い、
   第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を前記停留回数として算出することを特徴とする請求項８に記載の眼球運動計測方法。
10. 上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることを特徴とする請求項７〜９の何れかに記載の眼球運動計測方法。
11. 黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることを特徴とする請求項７〜１０の何れかに記載の眼球運動計測方法。
12. 黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることを特徴とする請求項７〜１１の何れかに記載の眼球運動計測方法。
13. 請求項７〜１２の何れかに記載の眼球運動計測方法の各ステップを、コンピュータに実行させる眼球運動計測プログラム。
14. 請求項１３の眼球運動計測プログラムが搭載されたコンピュータおよびディスプレイを備えた眼球運動計測装置。
15. 請求項７〜１２の何れかに記載の眼球運動計測方法における各ステップと、
    脳機能障害を判定する判定ステップと
    を備えたことを特徴とする脳機能障害スクリーニング方法。
16. 請求項１〜６，１４の何れかの眼球運動計測装置と、
    脳機能障害を判定する判定手段と、
    を備えたことを特徴とする脳機能障害スクリーニング装置。