JP2022100015A - 眼疲労評価装置、眼疲労評価方法およびプログラム - Google Patents

Abstract

【課題】眼疲労を評価できる眼疲労評価装置、眼疲労評価方法およびプログラムを提供すること。【解決手段】眼疲労評価装置は、被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出する算出部と、算出部が算出した特徴量に基づいて被験者の眼疲労を判定する判定部とを備える。【選択図】図１

Description

本発明の実施形態は、眼疲労評価装置、眼疲労評価方法およびプログラムに関する。

従来、目の疲労を測定する技術に関して、瞬きを測定する技術が知られている（例えば特許文献１参照）。この技術は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬目計測装置であって、計測対象者の眼を撮像する撮像部と、撮像部により撮像された眼の画像に基づいて、瞬目動作に関する瞬目特徴量を算出し、この瞬目特徴量に基づいて、瞬目動作の種類を判別する瞼開閉計測部とを備える。

特開２０１０－２７３９５４号公報

本発明の目的は、眼疲労を評価できる眼疲労評価装置、眼疲労評価方法およびプログラムを提供することを目的とする。

本発明の一態様は、被験者の眼疲労を評価する眼疲労評価装置であって、被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出する算出部と、前記算出部が算出した前記特徴量に基づいて前記被験者の眼疲労を判定する判定部とを備える眼疲労評価装置である。

本発明の一態様は、コンピュータが実行する眼疲労評価方法であって、被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出するステップと、算出する前記ステップで算出した前記特徴量に基づいて前記被験者の眼疲労を判定するステップとを有する眼疲労評価方法である。

本発明の一態様は、コンピュータに、被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出するステップと、算出する前記ステップで算出した前記特徴量に基づいて前記被験者の眼疲労を判定するステップとを実行させる、プログラムである。

本発明の実施形態によれば、眼疲労を評価できる眼疲労評価装置、眼疲労評価方法およびプログラムを提供できる。

本実施形態に係る眼疲労評価システムを示す図である。 本実施形態に係る眼疲労評価装置が検出する特徴点の一例を示す図である。 本実施形態に係る眼疲労評価装置の処理の一例を示す図である。 本実施形態に係る眼疲労評価装置の処理の一例を示す図である。 本実施形態に係る眼疲労評価装置によって算出されたアスペクト比の統計的データの例１を示す図である。 本実施形態に係る眼疲労評価装置によって算出されたアスペクト比の統計的データの例２を示す図である。 本実施形態に係る眼疲労評価装置によって算出された右目アスペクト比の確率密度分布の時間変化の一例を示す図である。 本実施形態に係る眼疲労評価装置によって算出されたアスペクト比の区間と確率密度と眼疲労インデックスとの一例を示す図である。 本実施形態に係る眼疲労評価装置によって算出された眼疲労インデックスの時間変化の一例を示す図である。 本実施形態に係る眼疲労評価システムの動作の一例を示すフロー図である。 本実施形態に係る眼疲労評価システムの評価結果の表示の一例を示す図である。 実施形態の変形例に係る眼疲労評価装置の処理の一例を示す図である。 実施形態の変形例に係る眼疲労評価装置によって算出された右開口部角度の統計的データの例１を示す図である。 実施形態の変形例に係る眼疲労評価装置によって算出された左開口部角度の統計的データの例２を示す図である。 実施形態の変形例に係る眼疲労評価装置によって算出された開口部角度の区間と確率密度と眼疲労インデックスとの一例を示す図である。 実施形態の変形例に係る眼疲労評価装置によって算出された眼疲労インデックスの時間変化の一例を示す図である。 実施形態の変形例に係る眼疲労評価システムの動作の一例を示すフロー図である。 実施形態の変形例に係る眼疲労評価システムの評価結果の表示の一例を示す図である。

＜実施形態＞
以下、図面を参照して、本発明の実施形態に係る眼疲労評価システムについて説明する。図１は、本実施形態に係る眼疲労評価システムを示す図である。眼疲労評価システム１００は、撮像部１と、表示装置２と、眼疲労評価装置１０とを備える。撮像部１と表示装置２とは、眼疲労評価装置１０と接続されている。
撮像部１は、被検者Ｓを撮像する。
表示装置２は、撮像部１によって撮像される画像を表示する。
眼疲労評価装置１０は、表示装置２に撮像部１によって撮像される画像を表示させることで、被験者Ｓが、撮像部１と被験者Ｓの顔の位置関係を確認することを可能とする。眼疲労評価装置１０は、表示装置２に注視点を表示させ、被検者Ｓにその注視点を注視させる。このように構成することによって、被検者Ｓの視線を一定に保たせることができる。眼疲労評価装置１０は、撮像部１によって撮像される画像に基づいて、被検者Ｓの眼の疲労を評価する。

眼疲労評価システム１００の一例では、撮像部１は、机の上に固定される。被検者Ｓは、椅子に座り、表示装置２に表示されている注視点を注視する。
撮像部１は、被検者Ｓを所定の時間撮像することによって被検者Ｓの画像データを複数作成する。本実施形態では、一例として所定の時間を６０秒間とした場合について説明を続ける。眼疲労評価装置１０は、撮像部１が作成した被検者Ｓの複数の画像データを取得する。仮に、撮像部１が１秒間に３０フレーム撮像できる場合には、６０秒間で１８００フレーム撮像できるため、眼疲労評価装置１０は、約１８００の画像データを取得する。眼疲労評価装置１０は、取得した被検者Ｓの複数の画像データを記録する。

眼疲労評価装置１０は、記録した複数の画像データをメモリに呼び出して、メモリに呼び出した複数の画像データを処理することによって被検者Ｓの複数の画像の各々から被検者Ｓの顔を検出する。例えば、眼疲労評価装置１０は、被検者Ｓの画像から被検者Ｓの顔を検出した結果として、被検者Ｓの顔を囲い込む矩形（四角形）を特定する情報を取得する。
眼疲労評価装置１０は、被検者Ｓの複数の画像の各々から取得した被検者Ｓの顔を囲い込む四角形を特定する情報に基づいて、被検者Ｓの複数の画像の各々から被検者Ｓの顔の特徴点（ランドマーク）を検出する。

眼疲労評価装置１０は、被検者Ｓの複数の画像の各々から取得した被検者Ｓの顔の特徴点の検出結果に基づいて、被検者Ｓの複数の画像の各々から被検者Ｓの目の特徴点を検出する。
眼疲労評価装置１０は、被検者Ｓの複数の画像の各々から取得した被検者Ｓの目の特徴点の検出結果に基づいて、被検者Ｓの複数の画像の各々について被検者Ｓの目の形状を表す特徴量を算出する。
眼疲労評価装置１０は、被検者Ｓの複数の画像の各々について算出した被検者Ｓの目の形状を表す特徴量に基づいて、被検者Ｓの眼疲労を評価する。

以下、眼疲労評価装置１０の詳細について説明する。
眼疲労評価装置１０は、入出力Ｉ／Ｆ１１と、ＣＰＵ(Central Processing Unit)１２と、メモリ１３と、記録装置１４と、データ読込部１５と、バス１６とを備える。バス１６は、入出力Ｉ／Ｆ１１と、ＣＰＵ１２と、メモリ１３と、記録装置１４と、データ読込部１５とを互いに接続する。
入出力Ｉ／Ｆ１１は、撮像部１及び表示装置２と、眼疲労評価装置１０との間で、情報を入出力するためのインターフェースである。
データ読込部１５は、撮像部１からバス１６を介して被検者Ｓの画像データを取得する。データ読込部１５は、取得した画像データを被検者Ｓの識別情報と関連付けて記録装置１４に記録させる。

ＣＰＵ１２は、記録装置１４に格納されたコンピュータプログラム（ソフトウェア）を実行することにより、処理部１２－１、第１検出部１２－２、第２検出部１２－３、算出部１２－４、判定部１２－５、及び警告部１２－６として機能する。
処理部１２－１は、記録装置１４に記録されている画像データのうち、被検者Ｓの識別情報と関連付けて記録されている画像データを複数取得する。処理部１２－１は、取得した複数の画像データを、メモリ１３に呼び出す。処理部１２－１は、メモリ１３に呼び出した複数の画像データの各々を処理することによって被検者Ｓが撮像された画像を取得する。

第１検出部１２－２は、処理部１２－１から被検者Ｓが撮像された複数の画像を取得する。第１検出部１２－２は、記録装置１４に格納されたソフトウェアを実行することによって、取得した被検者Ｓが撮像された複数の画像の各々から、被検者Ｓの顔を検出する。顔検出ソフトウェアとして、様々なソフトウェアがライブラリとして提供されている。本実施形態では、顔検出ソフトウェアの一例として、ＯｐｅｎＣＶのＨａａｒ Ｃａｓｃａｄｅｓを使用した場合について説明を続ける。ＯｐｅｎＣＶのＨａａｒ Ｃａｓｃａｄｅｓは、学習機と検出器との両方を提供している。
本実施形態では、事前に学習機が、人が撮像された複数の画像と人が撮像された複数の画像の各々に含まれる人の顔の画像とに基づいて、人が撮像された画像と人の顔の画像との関係の学習を済ませており、学習機による人が撮像された画像と人の顔の画像との関係の学習結果を使用して検出器が、人が撮像された画像から人の顔の画像を検出する場合について説明を続ける。

第１検出部１２－２は、被検者Ｓが撮像された複数の画像の各々から被検者Ｓの顔を検出した結果として、被検者Ｓが撮像された複数の画像の各々において被検者Ｓの顔の部分を囲い込む矩形（四角形）を検出する。ここで、被検者Ｓの顔の部分を囲い込む矩形を特定する情報の一例は、座標ＶＣ（ｘ，ｙ，ｗ，ｈ）である。被検者Ｓの顔の部分を囲い込む矩形を特定する情報において、ｘとｙとはそれぞれ矩形の左上のＸ座標とＹ座標とを特定する情報であり、ｗとｈとはそれぞれ矩形の幅と高さとを特定する情報である。
第１検出部１２－２は、被検者Ｓが撮像された複数の画像の各々から座標ＶＣを取得する。第１検出部１２－２は、被検者Ｓが撮像された複数の画像の各々から座標ＶＣを取得することによって、取得した複数の座標ＶＣの各々に基づいて被検者Ｓが撮像された複数の画像の各々から被検者Ｓの顔の部分の位置を取得（特定）できる。
第１検出部１２－２は、取得した複数の座標ＶＣの各々に基づいて、座標ＶＣによって表される矩形の大きさを一定にするために、被検者Ｓが撮像された画像のサイズを変更してもよい。以下、第１検出部１２－２が、複数の座標ＶＣの各々に基づいて、被検者Ｓが撮像された画像のサイズを変更する場合について説明を続ける。このように構成することによって、座標ＶＣによって特定される被検者Ｓの顔の部分を囲い込む矩形の大きさが異なることによって生じる誤差を補正できる。

第２検出部１２－３は、第１検出部１２－２から被検者Ｓが撮像された複数の画像と被検者Ｓが撮像された複数の画像の各々に対応する座標ＶＣを特定する情報とを取得する。第２検出部１２－３は、取得した被検者Ｓが撮像された複数の画像と座標ＶＣを特定する複数の情報とに基づいて、被検者Ｓが撮像された複数の画像の各々から被検者Ｓの顔の画像を検出する。
第２検出部１２－３は、検出した被検者Ｓの顔の複数の画像の各々から被検者Ｓの顔の特徴点を検出する。本実施形態では、一例として、Ｅｎｓｅｍｂｌｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓを使用して、被検者Ｓの顔の特徴点を検出する場合について説明を続ける。Ｅｎｓｅｍｂｌｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓを使用することによって、回帰ツリー分析を用いてリアルタイムで高精度に被検者Ｓの顔の特徴点を検出できる。
本実施形態では、事前に学習機が複数の人の顔の画像と複数の人の顔の画像の各々に含まれる人の顔の特徴点とに基づいて、人の顔の画像と人の顔の特徴点との関係の学習を済ませており、学習機による人の顔の画像と人の顔の特徴点との関係の学習結果を使用して検出器が人の顔の画像から人の顔の特徴点を検出する場合について説明を続ける。本実施形態では、一例として、人の顔の画像から人の顔の特徴点を６８個検出する場合について説明を続ける。

第２検出部１２－３は、被検者Ｓの１つ顔の画像から特徴点ＦＰ０１からＦＰ６８の６８個検出する。第２検出部１２－３は、検出した特徴点ＦＰ０１からＦＰ６８の各々の座標を取得する。ここで、座標の一例は、被検者Ｓが撮像された画像において位置を特定するための座標である。
図２は、本実施形態に係る眼疲労評価装置が検出する特徴点の一例を示す図である。図２において、６８個の特徴点の各々は点と各点を識別する番号とで示されている。
第２検出部１２－３は、取得した特徴点ＦＰ０１からＦＰ６８の各々の座標から、左目の部分に該当する複数の特徴点の各々の座標と右目の部分に該当する複数の特徴点の各々の座標とを取得する。具体的には、第２検出部１２－３は、左目の部分に該当する複数の特徴点ＦＰ３７～ＦＰ４２の各々の座標を取得し、左目の部分に該当する複数の特徴点ＦＰ４３～ＦＰ４８の各々の座標を取得する。第２検出部１２－３は、取得した複数の特徴点ＦＰ３７～ＦＰ４２の各々の座標を特定する情報と複数の特徴点ＦＰ４３～ＦＰ４８の各々の座標を特定する座標とを含む配列データを作成する。図１に戻り説明を続ける。

算出部１２－４は、第２検出部１２－３が作成した配列データを取得する。算出部１２－４は、取得した配列データに含まれる左目の部分に該当する複数の特徴点の各々の座標と右目の部分に該当する複数の特徴点の各々の座標とを取得する。算出部１２－４は、取得した左目の部分に該当する複数の特徴点の各々の座標と右目の部分に該当する複数の特徴点の各々の座標とに基づいて、左目の形状を表す特徴量と右目の形状を表す特徴量とを算出する。本実施形態では、左目の形状を表す特徴量の一例として左目の画像の縦と横との長さ（画素数）の比によって示されるアスペクト比（以下「左目アスペクト比」という）を使用し、右目の形状を表す特徴量の一例として右目の画像の縦と横との長さ（画素数）の比によって表されるアスペクト比（以下「右目アスペクト比」という）を使用した場合について説明を続ける。

図３Ａと図３Ｂとは、本実施形態に係る眼疲労評価装置の処理の一例を示す図である。図３Ａと図３Ｂとは、一例として、右目の部分に該当する特徴点Ｐ１から特徴点Ｐ６を示す。
図３Ａに示すように、特徴点Ｐ１（図２のＦＰ３７に該当）の一例は右目の目尻に該当し、特徴点Ｐ２（図２のＦＰ３８に該当）の一例は右目において白目と黒目との右側の境界と上瞼との交点に該当し、特徴点Ｐ２（図２のＦＰ３８に該当）及び特徴点Ｐ３（図２のＦＰ３９に該当）の一例は右目において特徴点Ｐ１における目尻と特徴点Ｐ４における目頭の間を、上瞼と目の境界線を等間隔で３分割にする点に該当する。図３Ａに示すように、特徴点Ｐ４（図２のＦＰ４０に該当）の一例は右目において目頭に該当し、特徴点Ｐ５（図２のＦＰ４１に該当）及び特徴点Ｐ６（図２のＦＰ４２に該当）の一例は右目において特徴点Ｐ１における目尻と特徴点Ｐ４における目頭の間を、下瞼と目の境界線を等間隔で３分割する点に該当する。

算出部１２－４は、右目の部分に該当する特徴点Ｐ１から特徴点Ｐ６の各々の座標に基づいて、式（１）によって右目アスペクト比ＲＥＡＲを算出する。
ＲＥＡＲ＝（｜｜Ｐ２－Ｐ６｜｜＋｜｜Ｐ３－Ｐ５｜｜）／２｜｜Ｐ１－Ｐ４｜｜ （１）
算出部１２－４は、左目の部分に該当する６か所の特徴点の各々の座標に基づいて、左目アスペクト比ＬＥＡＲを算出する。算出部１２－４が左目アスペクト比ＬＥＡＲを算出する処理の詳細については前述した右目アスペクト比ＲＥＡＲを算出する処理を適用できるためここでの説明を省略する。
算出部１２－４は、被検者Ｓが撮像された複数の画像の各々で被検者Ｓと撮像部１との位置関係が異なることで生じる誤差を補正するために人の顔の特徴点ＦＰ０１～ＦＰ６８のうち、所定の特徴点の座標を使用して、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動き（向き）を推定する。算出部１２－４は、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動きの推定結果に基づいて、左目アスペクト比と右目アスペクト比との各々に対して誤差補正を行う。算出部１２－４は、左目アスペクト比と右目アスペクト比との各々に対して誤差補正を行った結果を記録装置１４に記録する。以下、補正された左目アスペクト比及び右目アスペクト比が使用される。

図４は、本実施形態に係る眼疲労評価装置によって算出されたアスペクト比の統計的データの例１を示す図である。図４において、算出されたアスペクト比のデータを、その相対度数を可視化したヒストグラムで表している。以下に示されるヒストグラムについても同様である。
実際には、算出されたアスペクト比のデータは、ある区間の間を無限に連続的に変化すると考えられ、実線の様に、アスペクト比の確率密度分布のグラフとして表すことができる。
アスペクト比の確率密度分布の推定方法として、ヒストグラム密度推定や、カーネル密度推定等があるが、図４における推定方法は、カーネル密度推定で行った。
カーネル密度推定の数学的な式は、式（２）で表される。

カーネル関数ｋには、色々な種類があるが、今回は、式（３）によって表されるガウスカーネルを設定して、算出した。

式（２）に式（３）を代入すると、式（４）が得られる。

ｘの確率密度ｐ（ｘ）は、平均ｘ、標準偏差ｈの正規分布から求めたサンプル数Ｎ個の確率密度の平均値である。ｈに関しては、トライ＆エラーで、そのヒストグラムに対する当てはまりの良さで、決める必要がある。
図４は、一例として、画像表示端末(VDT: Visual Display Terminals)作業を開始する前の左目アスペクト比の確率密度分布を示す。
左目アスペクト比の統計的データを取得するにあたり、被検者Ｓの撮像を６０秒間行った。６０秒間の撮像で得られた画像データのうち、目の動き、頭の動きが比較的安定していると想定される撮像が開始されてから２０秒以後の１０００点のデータを利用して、確率密度関数を算出した。

図４において、（１）は左目アスペクト比の確率密度分布の一例を示す。この図によれば、左目アスペクト比の確率密度分布とＸ軸とで囲まれた面積は１である。
図４において、（２）は左目アスペクト比の確率密度分布の他の例を示す。
判定部１２－５は、算出部１２－４が算出した複数の左目アスペクト比の各々を特定する情報を取得する。判定部１２－５は、取得した複数の左目アスペクト比の各々を特定する情報に基づいて、左目の眼疲労を示す指標（以下「左目眼疲労インデックス」という）を算出する。
具体的には、判定部１２－５は、左目アスペクト比の確率密度分布において、ピークと、所定の割合に該当するアスペクト比の範囲との比を算出する。本実施形態では、所定の割合の一例として９５％（確率分布が２．５％から９７．５％）を適用した場合について説明を続ける。

所定の割合として９５％を適用した場合、判定部１２－５は、式(２)に示すように、確率分布が２．５％から９７．５％における左目アスペクト比の範囲を、左目アスペクト比の確率密度関数における最大値の２．５％から９７．５％における範囲をｘｌとし、左目のアスペクト比における確率密度関数が最大値（ピーク）をｙｌとしてｘｌとｙｌとの比を左眼疲労にけるインデックスとする。
具体的には、判定部１２－５は、左目アスペクト比の確率密度分布のピークが１８．４１９５であり、９５％に該当するアスペクト比の範囲が０．０７８９であるため、左目疲労インデックスとして、２３３．３を算出する。
左目眼疲労インデックス＝（左目のアスペクト比における確率密度関数が最大となる値（ｙｌ値））／（アスペクト比の確率分布における２．５％以上の範囲（ｘｌ値）） （２）

図５は、本実施形態に係る眼疲労評価装置によって算出されたアスペクト比の統計的データの例２を示す図である。図５は、一例として、ＶＤＴ作業を開始する前の右目アスペクト比の確率密度分布を示す。図５において、横軸は確率変数を、縦軸はそのときの確率密度を表す。
右目アスペクト比の統計的データを取得するにあたり、被検者Ｓの撮像を６０秒間行った。６０秒間の撮像で得られた画像データのうち、目の動き、頭の動きが比較的安定していると想定される撮像が開始されてから２０秒以後の１０００点のデータを利用して、確率密度関数を算出した。

図５において、（１）は右目アスペクト比の確率密度分布の一例を示す。この図によれば、右目アスペクト比の確率密度分布とＸ軸とで囲まれた面積は１である。
図５において、（２）は右目アスペクト比の確率密度分布の他の例を示す。
判定部１２－５は、算出部１２－４が算出した複数の右目アスペクト比の各々を特定する情報を取得する。判定部１２－５は、取得した複数の右目アスペクト比の各々を特定する情報に基づいて、右目の眼疲労を示す指標（以下「右目眼疲労インデックス」という）を算出する。
具体的には、判定部１２－５は、右目アスペクト比の確率密度分布において、ピークと、所定の割合に該当するアスペクト比の範囲との比を算出する。本実施形態では、所定の割合の一例として９５％（確率分布が２．５％から９７．５％）を適用した場合について説明を続ける。

所定の割合として９５％を適用した場合、判定部１２－５は、式(３)に示すように、確率分布が２．５％から９７．５％における右目アスペクト比の範囲を、右目アスペクト比の確率密度関数における最大値の２．５％から９７．５％における範囲をｘｒとし、右目のアスペクト比における確率密度関数が最大値（ピーク）をｙｒとしてｘｒとｙｒとの比を右眼疲労にけるインデックスとする。
具体的には、判定部１２－５は、右目アスペクト比の確率密度分布のピークが１９．０９３４であり、９５％に該当するアスペクト比の範囲が０．０８０７であるため、右目疲労インデックスとして、２３６．５を算出する。
右目眼疲労インデックス＝（右目のアスペクト比における確率密度関数が最大となる値（ｙｒ値））／（アスペクト比の確率分布における２．５％以上の範囲（ｘｒ値）） （３）
図１に戻り説明を続ける。

判定部１２－５は、算出した右目眼疲労インデックスと左目眼疲労インデックスとに基づいて被検者Ｓの眼疲労を判定することによって評価する。
図６は、本実施形態に係る眼疲労評価装置によって算出された右目アスペクト比の確率密度分布の時間変化の一例を示す図である。
図６は、一例として、ＶＤＴ作業を開始する前からＶＤＴ作業を開始してから４時間経過するまで、１時間おきに取得した右目アスペクト比の確率密度分布を示す。図６において、横軸は確率変数を、縦軸はそのときの確率密度を表す。
さらに、図６には、１時間おきに取得した右目アスペクト比の確率密度分布に基づいて算出した右目眼疲労インデックスの時間変化も示す。

図６によれば、右目のアスペクト比における確率密度関数の最大値（ピーク）（ｙｒ値）に関して、ＶＤＴ作業を開始する前（眼疲労が小さいとき）は、ＶＤＴ作業を開始した後と比較してあるアスペクト比で安定して大きな値をとることが分かる。換言すれば、ＶＤＴ作業の時間経過にしたがって、右目アスペクト比における確率密度関数の最大値が低くなり、ブロードな（最頻値における確率密度が減少する）確率密度分布となることが分かる。つまり、右目アスペクト比における確率密度関数の最大値に基づいて、右目の疲労の度合いが分かる。

左目アスペクト比の確率密度分布の時間変化の一例については、前述した右目アスペクト比と同様の傾向であるため、図示を省略する。左目のアスペクト比における確率密度関数の最大値（ピーク）（ｙｌ値）に関しても右目のアスペクト比における確率密度関数の最大値（ピーク）と同様に、ＶＤＴ作業を開始する前（眼疲労が小さいとき）は、ＶＤＴ作業を開始した後と比較してあるアスペクト比で安定して大きな値をとる。換言すれば、ＶＤＴ作業の時間経過にしたがって、左目アスペクト比における確率密度関数の最大値が低くなり、ブロードな（最頻値における確率密度が減少する）確率密度分布となることが分かる。つまり、左目アスペクト比における確率密度関数の最大値に基づいて、左目の疲労の度合いが分かる。

図７は、本実施形態に係る眼疲労評価装置によって算出されたアスペクト比の区間と確率密度と眼疲労インデックスとの一例を示す図である。
図７によれば、右目疲労インデックスは、ＶＤＴ作業の開始前は２３６．６であり、ＶＤＴ作業の開始から１時間経過後が１７１．６であり、ＶＤＴ作業の開始から２時間経過後が１４１．３であり、ＶＤＴ作業の開始から３時間経過後が１２２．８であり、ＶＤＴ作業の開始から４時間経過後が９０．６である。右目疲労インデックスは、ＶＤＴ作業を開始してからの経過時間に応じて、減少することが分かる。

左目疲労インデックスは、ＶＤＴ作業の開始前は２３３．５であり、ＶＤＴ作業の開始から１時間経過後が１８３．１であり、ＶＤＴ作業の開始から２時間経過後が１３８．４であり、ＶＤＴ作業の開始から３時間経過後が１２５．５であり、ＶＤＴ作業の開始から４時間経過後が７４．４である。左目疲労インデックスは、ＶＤＴ作業を開始してからの経過時間に応じて、減少することが分かる。

右目疲労インデックスと左目疲労インデックスとが減少するのは、スマートフォンやパソコンなどのＶＤＴ機器を長時間使用することによって目が疲れたためであると想定される。集中して画面を見つめ、眼球の動きのない状態が続いた場合には、眼球を動かすための７本の筋肉と、ピントを合わせるために“水晶体”の厚さを調節している筋肉とが筋肉疲労を起こす。また、ＶＤＴ作業では、まばたきの回数が減少することが多い。
さらに右目疲労インデックスと左目疲労インデックスとが減少するのは、コンタクトの装着やエアコンの風が当たる環境などで涙が蒸発しやすくなるドライアイも原因であると考えられる。このような原因により、アスペクト比の小さくなる確率が増えることで、右目疲労インデックスの分母にあるｘｒ値と左目疲労インデックスの分母にあるｘｌ値が増加することで、眼疲労の増加を意味する右目疲労インデックスと左目疲労インデックスとの各々が減少する。

また、判定部１２－５は、右目眼疲労インデックスと左目眼疲労インデックスとに基づいて統計処理を行うことによって、右目と左目との両方を合わせた眼疲労の指標である眼疲労インデックスを算出する。本実施形態では、統計処理の一例として、平均値を使用した場合について説明を続ける。
図７によれば、眼疲労インデックス（左右平均）は、ＶＤＴ作業の開始前は２３５．０であり、ＶＤＴ作業の開始から１時間経過後が１７７．３であり、ＶＤＴ作業の開始から２時間経過後が１３９．８であり、ＶＤＴ作業の開始から３時間経過後が１２４．１であり、ＶＤＴ作業の開始から４時間経過後が８２．４である。疲労インデックスは、ＶＤＴ作業を開始してからの経過時間に応じて、右目疲労インデックスと左目疲労インデックスと同様に減少することが分かる。

図８は、本実施形態に係る眼疲労評価装置によって算出された眼疲労インデックスの時間変化の一例を示す図である。図８において、横軸はＶＤＴ作業の開始からの経過時間であり、縦軸は眼疲労インデックスである。
図８によれば、眼疲労インデックスは、ＶＤＴ作業の開始から１時間経過後に２５％程度減少することが分かる。このため、初期値に対して、眼疲労インデックスが２５％以上減少した場合に、眼疲労評価装置１０は、被検者ＳにＶＤＴ作業を中止させ、ある時間休憩させることが好ましい。作業再開前に再度、眼疲労評価装置１０は、被検者Ｓの右目疲労インデックスと左目疲労インデックスとを算出し、算出した右目疲労インデックスと左目疲労インデックスとに基づいてその後算出した疲労インデックスが２５％以上減少したか否かを判定する。眼疲労評価装置１０は、その後算出した疲労インデックスに基づいて、その疲労インデックスが２５％以上減少した場合に同様の処理を行う。このように構成することによって、被検者Ｓは、眼痛・視力低下・肩こり・頭痛のような症状を防ぐことが可能であると想定される。図１に戻り説明を続ける。

警告部１２－６は、判定部１２－５が算出した眼疲労インデックスを取得する。警告部１２－６は、取得した眼疲労インデックスが眼疲労インデックス閾値未満であるか否かを判定する。眼疲労インデックス閾値の一例は、眼疲労インデックスの初期値から２５％低下した値である。警告部１２－６は、眼疲労インデックスが眼疲労インデックス閾値未満である場合に警告を発する。具体的には、警告部１２－６は、被験者Ｓ又は被験者Ｓの管理者に対して警告を発する。

（眼疲労評価システム１００の動作）
図９は、本実施形態に係る眼疲労評価システムの動作の一例を示すフロー図である。
（Ｓ１－１）
眼疲労評価装置１０は、表示装置２に撮像部１によって撮像される映像を表示させる。眼疲労評価装置１０は、表示装置２に注視点を表示させ、被検者Ｓにその注視点を注視させる。
（Ｓ２－１）
撮像部１は、被検者Ｓを所定の時間撮像することによって被検者Ｓの画像データを作成する。データ読込部１５は、撮像部１からバス１６を介して被検者Ｓの画像データを取得し、取得した画像データを被検者Ｓの識別情報と関連付けて記録装置１４に記録させる。
（Ｓ３－１）
眼疲労評価装置１０において、処理部１２－１は、画像データを、記録装置１４からメモリ１３に呼び出す。処理部１２－１は、メモリ１３に呼び出した画像データを処理することによって被検者Ｓの画像を取得する。第１検出部１２－２は、処理部１２－１から被検者Ｓの画像を取得する。第１検出部１２－２は、取得した被検者Ｓの画像から、被検者Ｓの顔を検出する。

（Ｓ４－１）
眼疲労評価装置１０において、第１検出部１２－２は、被検者Ｓの画像のサイズを変更する。
（Ｓ５－１）
眼疲労評価装置１０において、第２検出部１２－３は、第１検出部１２－２から被検者Ｓの画像と座標ＶＣとを取得する。第２検出部１２－３は、取得した被検者Ｓの画像と座標ＶＣとに基づいて、被検者Ｓの顔を検出し、検出した被検者Ｓの顔の画像から被検者Ｓの顔の特徴点を検出する。
（Ｓ６－１）
眼疲労評価装置１０において、第２検出部１２－３は、取得した特徴点の各々の座標ＶＣから、左目の部分に該当する特徴点の座標と右目の部分に該当する特徴点の座標とを取得する。算出部１２－４は、第２検出部１２－３が取得した左目の部分に該当する特徴点の座標と右目の部分に該当する特徴点の座標とを取得する。算出部１２－４は、取得した左目の部分に該当する特徴点の座標と右目の部分に該当する特徴点の座標とに基づいて、被検者Ｓの左目アスペクト比と右目アスペクト比とを算出する。

（Ｓ７－１）
眼疲労評価装置１０において、算出部１２－４は、人の顔の特徴点ＦＰ０１からＦＰ６８のうち、所定の特徴点の座標を使用して、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動き（向き）を推定する。
（Ｓ８－１）
眼疲労評価装置１０において、算出部１２－４は、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動き（向き）の推定結果に基づいて、左目アスペクト比と右目アスペクト比との各々に対して誤差補正を行う。
（Ｓ９－１）
眼疲労評価装置１０において、判定部１２－５は、右目アスペクト比の確率密度分布に基づいて右目眼疲労インデックスを算出する。算出部１２－４は、左目アスペクト比の確率密度分布に基づいて左目眼疲労インデックスを算出する。判定部１２－５は、算出した右目眼疲労インデックスと左目眼疲労インデックスとに基づいて統計処理を行うことによって眼疲労インデックスを算出する。
（Ｓ１０－１）
眼疲労評価装置１０において、判定部１２－５は、算出した眼疲労インデックスに基づいて、眼疲労度を判定する。
図９において、ステップＳ６－１と、ステップＳ７－１との順序を入れ替えてもよい。すなわち、ステップＳ１－１からＳ５－１、Ｓ７－１、Ｓ６－１、Ｓ８－１からＳ１０－１の順序としてもよい。

前述した実施形態では、第１検出部１２－２が、被検者Ｓの画像から、被検者Ｓの顔を検出する場合に、ＯｐｅｎＣＶのＨａａｒ Ｃａｓｃａｄｅｓを使用した場合について説明したが、この例に限られない。例えば、第１検出部１２－２は、Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌを使用して、被検者Ｓの画像から被検者Ｓの顔を検出してもよい。Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌは、物体の形状と外観とから学習された統計モデルに基づいて物体検出を行う。例えば、第１検出部１２－２は、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｆｅａｔｕｒｅｓを使用して、被検者Ｓの画像から被検者Ｓの顔を検出してもよい。Ｌｏｃａｌ Ｂｉｎａｒｙ Ｆｅａｔｕｒｅｓは、回帰学習によって非常に高速に特徴量を検出する。
前述した実施形態では、第１検出部１２－２が、被検者Ｓの画像から、被検者Ｓ一人の顔を検出する場合について説明したがこの例に限られない。例えば、第１検出部１２－２は、被検者Ｓの画像から、複数の被検者Ｓの各々の顔を検出してもよい。この場合、眼疲労評価装置１０は、複数の被検者Ｓの各々の眼疲労を判定してもよい。

前述した実施形態では、判定部１２－５は、右目アスペクト比の確率密度分布に基づいて右目眼疲労インデックスを算出し、左目アスペクト比の確率密度分布に基づいて左目眼疲労インデックスを算出する。判定部１２－５は、算出した右目眼疲労インデックスと左目眼疲労インデックスとに基づいて統計処理を行うことによって眼疲労インデックスを算出する場合について説明したがこの例に限られない。例えば、判定部１２－５は、右目アスペクト比の確率密度分布に基づいて右目眼疲労インデックスを算出し、算出した右目眼疲労インデックスに基づいて統計処理を行うことによって眼疲労インデックスを算出してもよい。例えば、判定部１２－５は、左目アスペクト比の確率密度分布に基づいて左目眼疲労インデックスを算出し、算出した左目眼疲労インデックスに基づいて統計処理を行うことによって眼疲労インデックスを算出してもよい。

前述した実施形態では、警告部１２－６は、判定部１２－５が算出した眼疲労インデックスを取得し、取得した眼疲労インデックスが眼疲労インデックス閾値未満である場合に警告を発する場合について説明したが、この例に限られない。例えば、警告部１２－６は、複数の眼疲労インデックス閾値に基づいて、取得した眼疲労インデックスが、いずれかの注意レベルに該当するかを判定してもよい。さらに、警告部１２－６は、取得した眼疲労インデックスがいずれかの注意レベルに該当するかの判定結果を表示装置２に表示するようにしてもよい。

図１０は、本実施形態に係る眼疲労評価システムの評価結果の表示の一例を示す図である。図１０に示される例では、眼疲労インデックスの判定結果が円チャートを使用して表示される。
具体的には、眼疲労インデックス閾値の一例として、１７７、１４０、１２４及び８２が設定される。円チャートにおいて、眼疲労インデックスが１７７以上である注意無しに該当するレベルと、１４０以上で且つ１７７未満である注意レベル１と、１２４以上で且つ１４０未満である注意レベル２と、８２以上で且つ１４０未満である注意レベル３と、８２未満である注意レベル４との各々の範囲が設定され、各範囲が異なる色で表示される。警告部１２－６は、眼疲労インデックスを矢印ＡＲで表示する。
このように構成することによって、眼疲労インデックスの判定結果を参照した被検者Ｓは、自分の眼疲労の程度を知ることができる。ここでは、一例として、眼疲労インデックス閾値の数が４個である場合について説明したが、眼疲労インデックス閾値の数は、２－３個でもよいし、５個以上でもよい。

また、眼疲労評価装置１０は、算出した眼疲労インデックスに基づいて、同じ環境下で眼疲労の状態がどの程度継続するかを予測するようにしてもよい。このように構成することによって、予測結果に基づいて、被検者Ｓが休憩をとるべきタイミングを導出できる。
また、ＶＤＴ作業をしている使用者に対して、自動的に眼疲労インデックスを算出するように設定することで、測定プログラムが自動的に、スマートフォン、タブレット、ノートパーソナルコンピュータなどの端末装置で起動するようにしてもよい。端末装置は、実装している撮像装置で、使用者を撮像し、撮像することによって得られる画像データに基づいて、前述した処理を行うことによって眼疲労インデックスを算出してもよい。端末装置は、眼疲労インデックスに基づいて、使用者の眼疲労を判定し、使用者の眼疲労の閾値に基づいて判定した結果を機器のモニターに表示する。このように構成することによって、使用者に対して、常に眼疲労を判定し、眼疲労の判定結果を表示できるため、使用者に眼疲労に関する情報を示すことができる。

本実施形態に係る眼疲労評価システム１００によれば、眼疲労評価装置１０は、被験者の眼疲労を評価する。眼疲労評価装置１０は、被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出する算出部１２－４と、算出部１２－４が算出した特徴量に基づいて被験者の眼疲労を判定する判定部１２－５とを備える。
このように構成することによって、眼疲労評価装置１０は、被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出できる。このため、眼疲労評価装置１０は、目の形状を表す特徴量の算出結果に基づいて、被験者の眼疲労を判定できる。

初期における眼疲労は、自覚症状がないために、スマートフォン、タブレット、ノートパソコンなどの端末装置に実装されている撮像装置を利用して定期的に撮像し、眼疲労評価装置１０は、撮像装置が撮像することによって作成した画像データに基づいて前述した処理を行うことによって眼疲労インデックスを算出する。眼疲労評価装置１０は、算出した眼疲労インデックスに基づいて、眼疲労しているか否かを判定する。被検者Ｓは、眼疲労評価装置１０が眼疲労していると判定した場合に、ＶＤＴ作業を中止して、眼疲労インデックスを向上させてから作業を再開するようにしてもよい。このようにすることで、事前に、眼痛・視力低下・肩こり・頭痛のような症状を防ぐことが可能である。

厚生労働省で作成された「情報機器作業における労働衛生管理のためのガイドライン」には、一連続作業時間及び作業休止時間として、１時間を超えないようにし、次の連続作業までの間に１０分～１５分の作業休止時間を設けることが記載されている。しかし、現在、ＶＤＴ作業従事者以外の多くの人が、スマートフォン、タブレット端末などの機器を、毎日何時間も利用している。スマートフォン、タブレット、ノートパーソナルコンピュータに実装されている撮像装置で撮像した画像に基づいて短時間で眼疲労しているか否かを判定でき、更に判定する頻度を増加できるため、そのような人に対して、事前に眼痛・視力低下・肩こり・頭痛のような症状を防ぐことを促すことが可能である。

また、眼疲労評価装置１０において、算出部１２－４は、右目に該当する特徴点を特定する情報と、左目に該当する特徴点を特定する情報と、両目に該当する特徴点を特定する情報とのいずれかに基づいて、目の形状を表す特徴量を算出する。このよう構成することによって、算出部１２－４は、右目の形状を表す特徴量と、左目の形状を表す特徴量と、右目及び左目の形状を表す特徴量とのいずれかを算出できる。

また、眼疲労評価装置１０において、判定部１２－５は、所定の時間に算出部１２－４が算出した目の形状を表す特徴量の分布に基づいて導出される統計量に基づいて被験者Ｓの眼疲労を判定する。このように構成することによって、判定部１２－５は、所定の時間に算出部１２－４が算出した目の形状を表す特徴量の分布に基づいて眼疲労インデックスとしての統計量を導出し、導出した統計量に基づいて被験者Ｓの眼疲労を判定できる。
また、眼疲労評価装置１０において、判定部１２－５は、目の形状を表す特徴量の確率密度分布に基づいて所定の区間の確率密度分布から被験者Ｓの眼疲労を判定する。このように構成することによって、目の形状を表す特徴量の確率密度分布に基づいて所定の区間の確率密度分布から眼疲労インデックスとしての統計量を導出できるため、導出した統計量に基づいて被験者Ｓの眼疲労を判定できる。

また、眼疲労評価装置１０において、算出部１２－４は、目の特徴点を特定する情報に基づいて目の形状を表す特徴量としてアスペクト比を算出する。このように構成することによって、目の形状を表す特徴量としてアスペクト比を算出できるため、算出したアスペクト比に基づいて被験者Ｓの眼疲労を判定できる。
また、眼疲労評価装置１０において、判定部１２－５により判定された眼疲労の程度が、予め定められた閾値を超えた場合に、被験者Ｓ又は被験者Ｓの管理者に対して眼疲労に関する警告を発する警告部１２－６をさらに備える。このように構成することによって、被検者Ｓ又は被検者Ｓの管理者に被検者Ｓ眼疲労に関する警告を発することができる。

（実施形態の変形例）
以下、図面を参照して、実施形態の変形例に係る眼疲労評価システムについて説明する。実施形態の変形例に係る眼疲労評価システム１００ａは、図１を適用できる。ただし、眼疲労評価装置１０の代わりに眼疲労評価装置１０ａを備える点で異なる。撮像部１と表示装置２とは、眼疲労評価装置１０ａと接続されている。
撮像部１は、被検者Ｓを撮像する。
表示装置２は、撮像部１によって撮像される画像を表示する。
眼疲労評価装置１０ａは、表示装置２に撮像部１によって撮像される画像を表示させる。眼疲労評価装置１０ａは、表示装置２に注視点を表示させ、被検者Ｓにその注視点を注視させる。このように構成することによって、被検者Ｓの視線を一定に保たせることができる。眼疲労評価装置１０ａは、撮像部１によって撮像される画像に基づいて、被検者Ｓの眼の疲労を評価する。

眼疲労評価システム１００ａの一例では、撮像部１は、机の上に固定される。被検者Ｓは、椅子に座り、表示装置２に表示されている注視点を注視する。
撮像部１は、被検者Ｓの顔を所定の時間撮像することによって被検者Ｓの画像データを複数作成する。本実施形態では、一例として所定の時間を６０秒間とした場合について説明を続ける。眼疲労評価装置１０ａは、撮像部１が作成した被検者Ｓの複数の画像データを取得する。仮に、撮像部１が１秒間に３０フレーム撮像できる場合には、６０秒間で１８００フレーム撮像できるため、眼疲労評価装置１０ａは、約１８００の画像データを取得する。眼疲労評価装置１０ａは、取得した被検者Ｓの複数の画像データを記録する。

眼疲労評価装置１０ａは、記録した複数の画像データをメモリに呼び出して、メモリに呼び出した複数の画像データを処理することによって被検者Ｓの複数の画像の各々から顔を検出する。例えば、眼疲労評価装置１０ａは、被検者Ｓの画像から顔を検出した結果として、被検者Ｓの顔を囲い込む矩形（四角形）を特定する情報を取得する。
眼疲労評価装置１０ａは、被検者Ｓの複数の画像の各々から取得した被検者Ｓの顔を囲い込む四角形を特定する情報に基づいて、被検者Ｓの複数の画像の各々から被検者Ｓの顔の特徴点を検出する。
眼疲労評価装置１０ａは、被検者Ｓの複数の画像の各々から取得した被検者Ｓの顔の特徴点の検出結果に基づいて、被検者Ｓの複数の画像の各々から被検者Ｓの目の特徴点を検出する。
眼疲労評価装置１０ａは、被検者Ｓの複数の画像の各々から取得した被検者Ｓの目の特徴点の検出結果に基づいて、被検者Ｓの複数の画像の各々について被検者Ｓの目の形状を表す特徴量を算出する。
眼疲労評価装置１０ａは、被検者Ｓの複数の画像の各々について算出した被検者Ｓの目の形状を表す特徴量に基づいて、被検者Ｓの眼疲労を判定する。

以下、眼疲労評価装置１０ａの詳細について説明する。
眼疲労評価装置１０ａは、入出力Ｉ／Ｆ１１と、ＣＰＵ１２と、メモリ１３と、記録装置１４と、データ読込部１５と、バス１６とを備える。バス１６は、入出力Ｉ／Ｆ１１と、ＣＰＵ１２と、メモリ１３と、記録装置１４と、データ読込部１５とを互いに接続する。
入出力Ｉ／Ｆ１１は、撮像部１及び表示装置２と、眼疲労評価装置１０ａとの間で、情報を入出力するためのインターフェースである。

ＣＰＵ１２は、記録装置１４に格納されたコンピュータプログラム（ソフトウェア）を実行することにより、処理部１２－１、第１検出部１２－２、第２検出部１２－３、算出部１２ａ－４、判定部１２ａ－５、及び警告部１２ａ－６として機能する。

算出部１２ａ－４は、第２検出部１２－３が作成した配列データを取得する。算出部１２ａ－４は、取得した配列データに含まれる左目の部分に該当する複数の特徴点の各々の座標と右目の部分に該当する複数の特徴点の各々の座標とを取得する。算出部１２ａ－４は、取得した左目の部分に該当する複数の特徴点の各々の座標と右目の部分に該当する複数の特徴点の各々の座標とに基づいて、左目の形状を表す特徴量と右目の形状を表す特徴量とを算出する。
実施形態の変形例では、左目の形状を表す特徴量の一例として左目の画像の目頭の開口部の角度（以下「左目頭開口部角度」という）及び目尻の開口部の角度（以下「左目尻開口部角度」という）を使用し、右目の形状を表す特徴量の一例として右目の画像の目頭の開口部の角度（以下「右目頭開口部角度」という）及び目尻の開口部の角度（以下「右目尻開口部角度」という）を使用した場合について説明を続ける。

図１１は、実施形態の変形例に係る眼疲労評価装置の処理の一例を示す図である。図１１は、一例として、右目の部分に該当する特徴点Ｐ１から特徴点Ｐ６を示す。
図１１に示すように、特徴点Ｐ１（図２のＦＰ３７に該当）の一例は右目の目尻に該当し、特徴点Ｐ２（図２のＦＰ３８に該当）の一例は右目において白目と黒目との右側の境界と上瞼との交点に該当し、特徴点Ｐ３（図２のＦＰ３９に該当）の一例は右目において白目と黒目との左側の境界と上瞼との交点に該当する。図１１に示すように、特徴点Ｐ４（図２のＦＰ４０に該当）の一例は右目において目頭に該当し、特徴点Ｐ５（図２のＦＰ４１に該当）の一例は右目において白目と黒目との左側の境界と下瞼との交点に該当し、特徴点Ｐ６（図２のＦＰ４２に該当）の一例は右目において白目と黒目との右側の境界と下瞼との交点に該当する。

算出部１２ａ－４は、右目の部分に該当する特徴点Ｐ１から特徴点Ｐ６の各々の座標に基づいて、右目頭開口部角度と右目尻開口部角度とを算出する。
具体的には、算出部１２ａ－４は、特徴点Ｐ１と特徴点Ｐ２と特徴点Ｐ６とを線で結ぶことによって形成される三角形に、余弦定理を使用して、右目尻開口部角度（特徴点Ｐ１と特徴点Ｐ２とを結んだ線と特徴点Ｐ１と特徴点Ｐ６とを結んだ線とのなす角度）を算出する。算出部１２ａ－４は、特徴点Ｐ３と特徴点Ｐ４と特徴点Ｐ５とを線で結ぶことによって形成される三角形に、余弦定理を使用して、右目頭開口部角度（特徴点Ｐ４と特徴点Ｐ３とを結んだ線と特徴点Ｐ４と特徴点Ｐ５とを結んだ線とのなす角度）を算出する。算出部１２ａ－４は、算出した右目頭開口部角度と右目尻開口部角度とに基づいて統計処理を行うことによって、右目頭と右目尻との両方を合わせた開口部角度である右開口部角度を算出する。本実施形態では、統計処理の一例として、平均値を使用した場合について説明を続ける。

算出部１２ａ－４は、左目の部分に該当する６か所の特徴点の各々の座標に基づいて、左目頭開口部角度と左目尻開口部角度とを算出する。算出部１２ａ－４が左目頭開口部角度と左目尻開口部角度とを算出する処理の詳細については前述した右目頭開口部角度と右目尻開口部角度とを算出する処理を適用できるためここでの説明を省略する。算出部１２ａ－４は、算出した左目頭開口部角度と左目尻開口部角度とに基づいて統計処理を行うことによって、左目頭と左目尻との両方を合わせた開口部角度である左開口部角度を算出する。本実施形態では、統計処理の一例として、平均値を使用した場合について説明を続ける。
算出部１２ａ－４は、被検者Ｓが撮像された複数の画像の各々で被検者Ｓと撮像部１との位置関係が異なることで生じる誤差を補正するために人の顔の特徴点ＦＰ０１～ＦＰ６８のうち、所定の特徴点の座標を使用して、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動き（向き）を推定する。算出部１２ａ－４は、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動きの推定結果に基づいて、算出された右開口部角度及び、左開口部角度に対して誤差補正を行った結果を記録装置１４に記録する。

図１２は、実施形態の変形例に係る眼疲労評価装置によって算出された右開口部角度の統計的データの例１を示す図である。図１２は、一例として、ＶＤＴ作業を開始する前からＶＤＴ作業を開始してから４時間経過するまで、１時間おきに取得した右開口部角度の確率密度分布を示す。図１２において、横軸はｒａｄを、縦軸はそのときの確率密度を表す。
右開口部角度の統計的データを取得するにあたり、被検者Ｓの撮像を６０秒間行った。６０秒間の撮像で得られた画像データのうち、目の動き、頭の動きが比較的安定していると想定される撮像が開始されてから２０秒以後の１０００点のデータを利用して、確率密度関数を算出した。

判定部１２ａ－５は、算出部１２ａ－４が算出した複数の右開口部角度の各々を特定する情報を取得する。判定部１２ａ－５は、取得した複数の右開口部角度の各々を特定する情報に基づいて、右目の眼疲労を示す指標（以下「右目眼疲労インデックス」という）を算出する。
具体的には、判定部１２ａ－５は、右開口部角度の確率密度分布において、ピークと、所定の割合に該当する右開口部角度の範囲との比を算出する。本実施形態では、所定の割合の一例として９５％（確率分布が２．５％から９７．５％）を適用した場合について説明を続ける。

所定の割合として９５％を適用した場合、判定部１２ａ－５は、式(４)に示すように、確率分布が２．５％から９７．５％における右開口部角度の範囲を、右開口部角度の確率密度関数における最大値の２．５％から９７．５％における範囲をｘｒａとし、右目の右開口部角度における確率密度関数が最大値（ピーク）をｙｒａとしてｘｒａとｙｒａとの比を右眼疲労にけるインデックスとする。
具体的には、判定部１２－５は、ＶＤＴ作業を開始する前において、右開口部角度の確率密度分布のピークが７．１９５１であり、９５％に該当する右開口部角度の範囲が０．２９であるため、右目疲労インデックスとして、２４．８を算出する。
右目眼疲労インデックス＝（右目の右開口部角度における確率密度関数が最大となる値（ｙｒａ値））／（右開口部角度の確率分布における２．５％以上の範囲（ｘｒａ値）） （４）
図１２には、１時間おきに取得した右開口部角度の確率密度分布に基づいて算出した右目眼疲労インデックスの時間変化も示す。

図１２によれば、右開口部角度における確率密度関数の最大値（ピーク）（ｙｒａ値）に関して、ＶＤＴ作業を開始する前（眼疲労が小さいとき）は、ＶＤＴ作業を開始した後と比較してある右開口部角度で安定して大きな値をとることが分かる。換言すれば、ＶＤＴ作業の時間経過にしたがって、右開口部角度における確率密度関数の最大値が低くなり、ブロードな（最頻値における確率密度が減少する）確率密度分布となることが分かる。つまり、右開口部角度における確率密度関数の最大値に基づいて、右目の疲労の度合いが分かる。

図１３は、実施形態の変形例に係る眼疲労評価装置によって算出された左開口部角度の統計的データの例２を示す図である。図１３は、一例として、ＶＤＴ作業を開始する前からＶＤＴ作業を開始してから４時間経過するまで、１時間おきに取得した左開口部角度の確率密度分布を示す。図１３において、横軸はｒａｄを、縦軸はそのときの確率密度を表す。
左開口部角度の統計的データを取得するにあたり、被検者Ｓの撮像を６０秒間行った。６０秒間の撮像で得られた画像データのうち、目の動き、頭の動きが比較的安定していると想定される撮像が開始されてから２０秒以後の１０００点のデータを利用して、確率密度関数を算出した。

判定部１２ａ－５は、算出部１２ａ－４が算出した複数の左開口部角度の各々を特定する情報を取得する。判定部１２ａ－５は、取得した複数の左開口部角度の各々を特定する情報に基づいて、左目の眼疲労を示す指標（以下「左目眼疲労インデックス」という）を算出する。
具体的には、判定部１２ａ－５は、左開口部角度の確率密度分布において、ピークと、所定の割合に該当する左開口部角度の範囲との比を算出する。本実施形態では、所定の割合の一例として９５％（確率分布が２．５％から９７．５％）を適用した場合について説明を続ける。

所定の割合として９５％を適用した場合、判定部１２ａ－５は、式(５)に示すように、確率分布が２．５％から９７．５％における左開口部角度の範囲を、左開口部角度の確率密度関数における最大値の２．５％から９７．５％における範囲をｘｌａとし、左目の左開口部角度における確率密度関数が最大値（ピーク）をｙｌａとしてｘｌａとｙｌａとの比を左眼疲労にけるインデックスとする。
具体的には、判定部１２ａ－５は、ＶＤＴ作業を開始する前において、左開口部角度の確率密度分布のピークが６．９７３８であり、９５％に該当する左開口部角度の範囲が０．３１であるため、左目疲労インデックスとして、２２．５を算出する。
左目眼疲労インデックス＝（左目の左開口部角度における確率密度関数が最大となる値（ｙｌａ値））／（左開口部角度の確率分布における２．５％以上の範囲（ｘｌａ値）） （５）
図１３には、１時間おきに取得した左開口部角度の確率密度分布に基づいて算出した左目眼疲労インデックスの時間変化も示す。

図１３によれば、左開口部角度における確率密度関数の最大値（ピーク）（ｙｌａ値）に関して、ＶＤＴ作業を開始する前（眼疲労が小さいとき）は、ＶＤＴ作業を開始した後と比較してある左開口部角度で安定して大きな値をとることが分かる。換言すれば、ＶＤＴ作業の時間経過にしたがって、左開口部角度における確率密度関数の最大値が低くなり、ブロードな（最頻値における確率密度が減少する）確率密度分布となることが分かる。つまり、左開口部角度における確率密度関数の最大値に基づいて、左目の疲労の度合いが分かる。

図１４は、実施形態の変形例に係る眼疲労評価装置によって算出された開口部角度の区間と確率密度と眼疲労インデックスとの一例を示す図である。
図１４によれば、右目疲労インデックスは、ＶＤＴ作業の開始前は２４．８３であり、ＶＤＴ作業の開始から１時間経過後が１６．２２であり、ＶＤＴ作業の開始から２時間経過後が１３．３８であり、ＶＤＴ作業の開始から３時間経過後が１１．１８であり、ＶＤＴ作業の開始から４時間経過後が９．３８である。右目疲労インデックスは、ＶＤＴ作業を開始してからの経過時間に応じて、指数関数的に減少することが分かる。

左目疲労インデックスは、ＶＤＴ作業の開始前は２２．５８であり、ＶＤＴ作業の開始から１時間経過後が１６．９４であり、ＶＤＴ作業の開始から２時間経過後が１１．７４であり、ＶＤＴ作業の開始から３時間経過後が８．３５であり、ＶＤＴ作業の開始から４時間経過後が７．９５である。左目疲労インデックスは、ＶＤＴ作業を開始してからの経過時間に応じて、減少することが分かる。

右目疲労インデックスと左目疲労インデックスとが減少するのは、スマートフォンやパソコンなどのＶＤＴ機器を長時間使用することによって目が疲れたためであると想定される。集中して画面を見つめ、眼球の動きのない状態が続いた場合には、眼球を動かすための７本の筋肉と、ピントを合わせるために“水晶体”の厚さを調節している筋肉とが筋肉疲労を起こす。また、ＶＤＴ作業では、まばたきの回数が減少することが多い。さらに右目疲労インデックスと左目疲労インデックスとが減少するのは、コンタクトの装着やエアコンの風が当たる環境などで涙が蒸発しやすくなるドライアイも原因であると考えられる。このような原因により、開口部角度の小さくなる確率が増えることで、右目疲労インデックスの分母にあるｘｒａ値と左目疲労インデックスの分母にあるｘｌａ値が増加することで、眼疲労の増加を意味する右目疲労インデックスと左目疲労インデックスとの各々が減少する。

また、判定部１２ａ－５は、右目眼疲労インデックスと左目眼疲労インデックスとに基づいて統計処理を行うことによって、右目と左目との両方を合わせた眼疲労の指標である眼疲労インデックスを算出する。本実施形態では、統計処理の一例として、平均値を使用した場合について説明を続ける。
図１４によれば、疲労インデックス（左右平均）は、ＶＤＴ作業の開始前は２３．７であり、ＶＤＴ作業の開始から１時間経過後が１６．５８であり、ＶＤＴ作業の開始から２時間経過後が１２．５６であり、ＶＤＴ作業の開始から３時間経過後が９．７６であり、ＶＤＴ作業の開始から４時間経過後が８．６７である。疲労インデックスは、ＶＤＴ作業を開始してからの経過時間に応じて、右目疲労インデックスと左目疲労インデックスと同様に減少することが分かる。

図１５は、実施形態の変形例に係る眼疲労評価装置によって算出された眼疲労インデックスの時間変化の一例を示す図である。図１５において、横軸はＶＤＴ作業の開始からの経過時間であり、縦軸は眼疲労インデックスである。
図１５によれば、眼疲労インデックスは、ＶＤＴ作業の開始から１時間経過後に２５％程度減少することが分かる。このため、初期値に対して、眼疲労インデックスが２５％以上減少した場合に、眼疲労評価装置１０ａは、被検者ＳにＶＤＴ作業を中止させ、ある時間休憩させることが好ましい。作業再開前に再度、眼疲労評価装置１０ａは、被検者Ｓの右目疲労インデックスと左目疲労インデックスとを算出し、算出した右目疲労インデックスと左目疲労インデックスとに基づいてその後算出した疲労インデックスが２５％以上減少したか否かを判定する。眼疲労評価装置１０ａは、その後算出した疲労インデックスに基づいて、その疲労インデックスが２５％以上減少した場合に同様の処理を行う。このように構成することによって、被検者Ｓは、眼痛・視力低下・肩こり・頭痛のような症状を防ぐことが可能であると想定される。

警告部１２ａ－６は、判定部１２ａ－５が算出した眼疲労インデックスを取得する。警告部１２ａ－６は、取得した眼疲労インデックスが眼疲労インデックス閾値未満であるか否かを判定する。眼疲労インデックス閾値の一例は、眼疲労インデックスの初期値から２５％低下した値である。警告部１２ａ－６は、眼疲労インデックスが眼疲労インデックス閾値未満である場合に警告を発する。具体的には、警告部１２ａ－６は、被験者Ｓ又は被験者Ｓの管理者に対して警告を発する。

（眼疲労評価システム１００ａの動作）
図１６は、実施形態の変形例に係る眼疲労評価システムの動作の一例を示すフロー図である。
ステップＳ１－２からＳ５－２は、図９のステップＳ１－１からＳ５－１を適用できるため、ここでの説明は省略する。
（Ｓ６－２）
眼疲労評価装置１０ａにおいて、算出部１２ａ－４は、人の顔の特徴点ＦＰ０１～ＦＰ６８のうち、所定の特徴点の座標を使用して、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動き（向き）を推定する。
（Ｓ７－２）
眼疲労評価装置１０ａにおいて、算出部１２ａ－４は、右目の部分に該当する特徴点Ｐ１から特徴点Ｐ６の各々の座標に基づいて、右目頭開口部角度と右目尻開口部角度とを算出する。

（Ｓ８－２）
眼疲労評価装置１０ａにおいて、算出部１２ａ－４は、人の顔の特徴点ＦＰ０１～ＦＰ６８のうち、所定の特徴点の座標を使用して、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動き（向き）を推定する。算出部１２ａ－４は、被検者Ｓの頭部のＸ軸とＹ軸とＺ軸との各々に対する動きの推定結果に基づいて、算出された右開口部角度及び、左開口部角度に対して誤差補正を行った結果を記録装置１４に記録する。
（Ｓ９－２）
眼疲労評価装置１０ａにおいて、判定部１２ａ－５は、右目頭開口部角度の確率密度分布に基づいて右目眼疲労インデックスを算出する。算出部１２ａ－４は、左目頭開口部角度の確率密度分布に基づいて左目眼疲労インデックスを算出する。判定部１２ａ－５は、算出した右目眼疲労インデックスと左目眼疲労インデックスとに基づいて統計処理を行うことによって眼疲労インデックスを算出する。
（Ｓ１０－２）
眼疲労評価装置１０ａにおいて、判定部１２ａ－５は、算出した眼疲労インデックスに基づいて、眼疲労度を判定する。
図１６において、ステップＳ６－２と、ステップＳ７－２との順序を入れ替えてもよい。すなわち、ステップＳ１－２からＳ５－２、Ｓ７－２、Ｓ６－２、Ｓ８－２からＳ１０－２の順序としてもよい。

前述した実施形態の変形例では、判定部１２ａ－５は、右目頭開口部角度の確率密度分布に基づいて右目眼疲労インデックスを算出し、左目頭開口部角度の確率密度分布に基づいて左目眼疲労インデックスを算出する。判定部１２ａ－５は、算出した右目眼疲労インデックスと左目眼疲労インデックスとに基づいて統計処理を行うことによって眼疲労インデックスを算出する場合について説明したがこの例に限られない。例えば、判定部１２ａ－５は、右目頭開口部角度の確率密度分布に基づいて右目眼疲労インデックスを算出し、算出した右目眼疲労インデックスに基づいて統計処理を行うことによって眼疲労インデックスを算出してもよい。例えば、判定部１２ａ－５は、左目頭開口部角度の確率密度分布に基づいて左目眼疲労インデックスを算出し、算出した左目眼疲労インデックスに基づいて統計処理を行うことによって眼疲労インデックスを算出してもよい。

前述した実施形態の変形例では、算出部１２ａ－４は、右目尻開口部角度と右目頭開口部角度とを算出し、算出した右目尻開口部角度と右目頭開口部角度とに基づいて、右開口部角度を算出する場合について説明したが、この例に限られない。例えば、算出部１２ａ－４は、右目尻開口部角度を算出し、算出した右目尻開口部角度に基づいて、右開口部角度を算出してもよいし、右目頭開口部角度を算出し、算出した右目頭開口部角度に基づいて、右開口部角度を算出してもよい。
前述した実施形態の変形例では、算出部１２ａ－４は、左目尻開口部角度と左目頭開口部角度とを算出し、算出した左目尻開口部角度と左目頭開口部角度とに基づいて、左開口部角度を算出する場合について説明したが、この例に限られない。例えば、算出部１２ａ－４は、左目尻開口部角度を算出し、算出した左目尻開口部角度に基づいて、左開口部角度を算出してもよいし、左目頭開口部角度を算出し、算出した左目頭開口部角度に基づいて、左開口部角度を算出してもよい。

前述した実施形態の変形例では、警告部１２ａ－６は、判定部１２ａ－５が算出した眼疲労インデックスを取得し、取得した眼疲労インデックスが眼疲労インデックス閾値未満である場合に警告を発する場合について説明したが、この例に限られない。例えば、警告部１２ａ－６は、複数の眼疲労インデックス閾値に基づいて、取得した眼疲労インデックスが、いずれかの注意レベルに該当するかを判定してもよい。さらに、警告部１２ａ－６は、取得した眼疲労インデックスが、いずれかの注意レベルに該当するかの判定結果を表示装置２に表示するようにしてもよい。

図１７は、実施形態の変形例に係る眼疲労評価システムの評価結果の表示の一例を示す図である。図１７に示される例では、眼疲労インデックスの判定結果が棒チャートを使用して表示される。具体的には、眼疲労インデックス閾値の一例として、１６．５、１２．６、９．８及び８．７が設定される。棒チャートにおいて、眼疲労インデックスが１６．５以上である注意無しに該当するレベルと、１２．６以上で且つ１６．５未満である注意レベル１と、９．８以上で且つ１２．６未満である注意レベル２と、８．７以上で且つ９．８未満である注意レベル３と、８．７未満である注意レベル４との各々の範囲が設定され、各範囲が異なる色で表示される。警告部１２ａ－６は、眼疲労インデックスをキャラクターで表示する。このように構成することによって、眼疲労インデックスの判定結果を参照した被検者Ｓは、自分の眼疲労状態の程度を知ることができる。ここでは、一例として、眼疲労インデックス閾値の数が４個である場合について説明したが、眼疲労インデックス閾値の数は、２－３個でもよいし、５個以上でもよい。

実施形態の変形例に係る眼疲労評価システム１００ａによれば、前述した実施形態に係る眼疲労評価装置１０において、算出部１２ａ－４は、目の特徴点を特定する情報に基づいて目の形状を表す特徴量として目頭の開口部の角度と目尻の開口部の角度とのいずれか一方又は両方を算出する。このように構成することによって、目の形状を表す特徴量として目頭の開口部の角度と目尻の開口部の角度とのいずれか一方又は両方を算出できるため、算出した目頭の開口部の角度と目尻の開口部の角度とのいずれか一方又は両方に基づいて被験者Ｓの眼疲労を判定できる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…撮像部、２…表示装置、１０…眼疲労評価装置、１１…入出力Ｉ／Ｆ、１２…ＣＰＵ、１２－１…処理部、１２－２…第１検出部、１２－３…第２検出部、１２－４、１２ａ－４…算出部、１２－５、１２ａ－５…判定部、１２－６、１２ａ－６…警告部、１３…メモリ、１４…記録装置、１５…データ読込部

Claims (9)

1. 被験者の眼疲労を評価する眼疲労評価装置であって、
   被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出する算出部と、
   前記算出部が算出した前記特徴量に基づいて前記被験者の眼疲労を判定する判定部と
   を備える眼疲労評価装置。
2. 前記算出部は、右目に該当する特徴点を特定する情報と、左目に該当する特徴点を特定する情報と、両目に該当する特徴点を特定する情報とのいずれかに基づいて、目の形状を表す特徴量を算出する、請求項１に記載の眼疲労評価装置。
3. 前記判定部は、所定の時間に前記算出部が算出した目の形状を表す特徴量の分布に基づいて導出される統計量に基づいて前記被験者の眼疲労を判定する、請求項１又は請求項２に記載の眼疲労評価装置。
4. 前記判定部は、目の形状を表す特徴量の確率密度分布に基づいて所定の区間の確率密度分布から前記被験者の眼疲労を判定する、請求項３に記載の眼疲労評価装置。
5. 前記算出部は、目の特徴点を特定する前記情報に基づいて目の形状を表す特徴量としてアスペクト比を算出する、請求項１から請求項４のいずれか一項に記載の眼疲労評価装置。
6. 前記算出部は、目の特徴点を特定する前記情報に基づいて目の形状を表す特徴量として目頭の開口部の角度と目尻の開口部の角度とのいずれか一方又は両方を算出する、請求項１から請求項４のいずれか一項に記載の眼疲労評価装置。
7. 前記判定部により判定された眼疲労の程度が、予め定められた閾値を超えた場合に、前記被験者又は前記被験者の管理者に対して眼疲労に関する警告を発する警告部
   をさらに備える、請求項１から請求項５のいずれか一項に記載の眼疲労評価装置。
8. コンピュータが実行する眼疲労評価方法であって、
   被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出するステップと、
   算出する前記ステップで算出した前記特徴量に基づいて前記被験者の眼疲労を判定するステップと
   を有する眼疲労評価方法。
9. コンピュータに、
   被験者の顔の画像から取得される目の特徴点を特定する情報に基づいて目の形状を表す特徴量を算出するステップと、
   算出する前記ステップで算出した前記特徴量に基づいて前記被験者の眼疲労を判定するステップと
   を実行させる、プログラム。

Images