JP2019103744A - 瞳孔検出装置および検出システム - Google Patents

Abstract

【課題】瞬間的な瞳孔の動きを検出することができる瞳孔検出装置を提供する。【解決手段】瞳孔検出装置（５）は、瞳孔（６）を含んだ画像を撮像する撮像装置（４）の撮像結果に基づいて、瞳孔（６）の動きを検出する。瞳孔検出装置は、取得部（５１）と、制御部（５２）とを備える。取得部は、撮像装置から撮像結果を示す撮像データ（Ｄ１）を取得する。制御部は、取得部によって取得された撮像データに基づくデータ処理を実行する。制御部は、撮像データに基づいて、輝度が時間的に変化した領域における画素毎の輝度の変化を計数し、計数した輝度の変化の計数値に基づいて、瞳孔の動きを検出する。【選択図】図７

Description

本開示は、瞳孔の動きを検出する瞳孔検出装置、および瞳孔検出装置を備えた検出システムに関する。

特許文献１は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出することを目的とした眼部領域検出プログラムを開示している。眼部領域検出プログラムは、被検者の顔を含んだ元画像における濃度値を、元画像の縦方向で微分し、微分値を横方向で積算してヒストグラムを生成し、ヒストグラムの最大値又は極大値を用いて元画像から眼部領域を抽出している。特許文献１は、数Ｈｚ周期の眼球運動をリアルタイムで解析するために眼部領域検出プログラムを適用して、数十ｆｐｓのフレームレートの動画に応じた画像処理の高速化を図っている。この際、３０〜６０ｆｐｓのビデオカメラによる動画が解析対象になっている。

また、特許文献２，３においても、カメラで撮像した画像から眼部および瞳孔部分等を検出する画像処理技術が開示されている。特許文献４は、車両のドライバ等を監視対象者として、眼球運動に基づき監視対象者の状態を推定する状態推定装置を開示している。特許文献５は、状態推定装置において監視対象者の注意力を推定するシステムを開示している。特許文献６は、利用者の視野内で利用者が注意している位置を推定する際に、固視微動の計測を用いることを提案している。

特許第５２７６３８１号公報 特許第５９６４５８号公報 特許第５９９５２１７号公報 特開２０１７−２３５１９号公報 特開２０１５−２０７１６３号公報 特開２０１３−２４０４６９号公報

Ｔｏｂｉ Ｄｅｌｂｒｕｃｋ，"Ｆｒａｍｅ−ｆｒｅｅ ｄｙｎａｍｉｃ ｄｉｇｉｔａｌ ｖｉｓｉｏｎ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｌ．Ｓｙｍｐ．ｏｎ Ｓｅｃｕｒｅ−Ｌｉｆｅ Ｅｌｅｃｔｒｏｎｉｃｓ，Ａｄｖａｎｃｅｄ Ｅｌｅｃｔｒｏｎｉｃｓ ｆｏｒ Ｑｕａｌｉｔｙ Ｌｉｆｅ ａｎｄ Ｓｏｃｉｅｔｙ，Ｕｎｉｖ． ｏｆ Ｔｏｋｙｏ，Ｍａｒ．６−７，２００８．

特許文献１の眼部領域検出プログラム等では、例えば６０ｆｐｓの動画に適用する際に、元画像とするフレーム画像における縦方向の空間微分などを含む種々の画像処理が、次のフレーム画像を取得するまでの１／６０秒間に行われる。よって、１／６０秒程度の処理期間はフレーム画像毎の眼部領域の抽出時に必要となり、従来技術では、瞬間的な眼球運動あるいは瞳孔の動きを検出することが困難であるという課題があった。

本開示の目的は、瞬間的な瞳孔の動きを検出することができる瞳孔検出装置および検出システムを提供することにある。

本開示に係る瞳孔検出装置は、瞳孔を含んだ画像を撮像する撮像装置の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置は、取得部と、制御部とを備える。取得部は、撮像装置から撮像結果を示す撮像データを取得する。制御部は、取得部によって取得された撮像データに基づくデータ処理を実行する。制御部は、撮像データに基づいて、上記の画像において輝度が時間的に変化した領域における画素毎の輝度の変化を計数し、計数した輝度の変化の計数値に基づいて、瞳孔の動きを検出する。

本開示に係る検出装置は、撮像装置と、瞳孔検出装置とを備える。撮像装置は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置は、撮像データに基づき瞳孔の動きを検出する。

本開示の瞳孔検出装置および検出システムによると、瞬間的な瞳孔の動きを検出することができる。

本開示に係る検出システムの適用例を説明するための図 検出システムにおける瞳孔検出装置の構成を例示する図 実施形態１に係る撮像装置を説明するための図 検出システムにおける瞳孔検出装置の動作を例示するフローチャート 実施形態１のマイクロサッカード検出処理における各種画像の模式図 実施形態１におけるマイクロサッカード検出処理を例示するフローチャート マイクロサッカードの発生時の輝度変化データにおけるイベントの分布を例示する散布図 輝度変化画像における楕円領域の探索方法を例示する図 実施形態１の瞳孔検出装置に関する実験結果を説明するための図 実施形態２におけるマイクロサッカード検出処理を例示するフローチャート 実施形態２の瞳孔検出装置に関する瞳孔の模型実験の実験結果を示すグラフ 図１１の輝度変化数からの高速成分の抽出結果を示すグラフ 検出システムの変形例におけるマイクロサッカード検出処理を例示するフローチャート

以下、添付の図面を参照して本開示に係る瞳孔検出装置および検出システムの実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

（適用例）
本開示に係る瞳孔検出装置および検出システムが適用可能な一例について、図１を用いて説明する。図１は、本開示に係る検出システム１の適用例を説明するための図である。

図１は、車載用途への検出システム１の適用例を示している。検出システム１は、例えば、車両２を運転するドライバ３の覚醒状態を示す覚醒度を検出して、覚醒度の低下に応じて居眠り運転又は漫然運転の防止のための報知を行う。検出システム１は、覚醒度等の検出結果に基づき、車両２の運転支援のための各種制御を行ってもよい。

検出システム１は、図１に示すように、撮像装置４と、瞳孔検出装置５とを備える。撮像装置４は、例えば車両２中に配置され、ドライバ３の眼３０近傍の画像を撮像する。撮像装置４は、例えばドライバ３が着用する眼鏡等に取り付けられる等、ドライバ３の頭部に固定されてもよい。ドライバ３は、検出システム１の検出対象となる対象者の一例である。

瞳孔検出装置５は、撮像装置４の撮像結果に基づいて、対象者の眼球運動に応じた瞳孔の動きを検出する装置である。瞳孔検出装置５は、例えば車両２に設けられた音声出力装置などの報知部２１に接続される。瞳孔検出装置５は、車両２の各種ＥＣＵ（電子制御ユニット）等に接続されてもよい。

眼球運動の一種であるマイクロサッカードの発生頻度と覚醒度との間には、生理学的な相関関係があると考えられている。例えば、覚醒度が低下する際にはマイクロサッカードの発生頻度が増加すると考えられている。そこで、本適用例の検出システム１は、瞳孔検出装置５によってドライバ３の眼３０によるマイクロサッカードを検出して、覚醒度の検出に用いる。

マイクロサッカードは、固視微動に分類される微細な眼球運動において、瞬間的に移動する高速な眼球運動である。マイクロサッカードでは、一般的な画像取得のフレームレート（３０〜６０ｆｐｓ）におけるフレームの切替え時間内に眼球運動が完了してしまうため、従来の画像解析ではマイクロサッカードを検出することが困難であった。これに対して、検出システム１の瞳孔検出装置５は、瞳孔の動きに応じた輝度の変化を用いるデータ処理により、マイクロサッカードのような高速な眼球運動の検出を実現する。

（構成例）
以下、検出システム１及び瞳孔検出装置５の構成例として各実施形態を説明する。

（実施形態１）
実施形態１では、輝度の変化を検出する微分検出型の撮像装置４を用いた検出システム１の構成例を説明する。

１．構成
本実施形態に係る検出システム１の瞳孔検出装置５及び撮像装置４の構成について、以下に説明する。

１−１．瞳孔検出装置について
検出システム１における瞳孔検出装置５の構成を、図２を参照して説明する。図２は、瞳孔検出装置５の構成を例示する図である。

瞳孔検出装置５は、図２に示すように、取得部５１と制御部５２とを備える。また、瞳孔検出装置５は、例えば、記憶部５３と出力部５４とを備える。

取得部５１は、瞳孔検出装置５の外部からデータを入力する入力インタフェース回路である。取得部５１は、例えばＵＳＢ等の所定の通信規格に従って、撮像装置４に接続される。取得部５１は、撮像装置４から撮像結果を示す撮像データ等を取得する。

制御部５２は、ＣＰＵ、ＲＡＭ及びＲＯＭ等を含み、情報処理に応じて各構成要素の制御を行う。例えば、制御部５２は、取得部５１が取得したデータに基づき、所定のプログラムに従うデータ処理を実行する。所定のプログラムは、瞳孔検出装置５の後述する各種動作を実現するためのプログラムである。制御部５２は、例えば撮像装置４からの撮像データ等の各種データを、ＲＡＭ等の内部メモリに保持してもよい。

記憶部５３は、例えば、ハードディスクドライブ又はソリッドステートドライブ等の補助記憶装置である。記憶部５３は、制御部５２で実行されるプログラム、及び各種のデータ等を記憶する。

瞳孔検出装置５は、可搬性を有する記憶媒体から上記のプログラム等を取得してもよい。記憶媒体は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。

出力部５４は、瞳孔検出装置５から外部にデータを出力する出力インタフェース回路である。出力部５４は、例えば、車両２（図１）の報知部２１、又は各種ＥＣＵ等に接続される。瞳孔検出装置５において、出力部５４と取得部５１とは、入出力インタフェースを構成するように、一体的に構成されてもよい。

１−２．撮像装置について
本実施形態に係る撮像装置４について、図３を参照して説明する。図３は、本実施形態に係る撮像装置４を説明するための図である。

図３は、本実施形態の撮像装置４における撮像面４ａと、撮像面４ａ上の画素４０毎の出力データとを模式的に示している。以下、撮像面４ａにおける水平方向を「Ｘ方向」とし、垂直方向を「Ｙ方向」とする。

本実施形態の検出システム１は、撮像装置４として、撮像面４ａにおける画素４０毎に輝度の時間変化率を検出する微分検出型のカメラデバイスを採用する。本実施形態の撮像装置４の構成としては、例えば、動的ビジョンセンサ（ＤＶＳ）として知られる公知の構成を適用することができる（例えば非特許文献１参照）。

例えば、撮像装置４は、画素４０が二次元アレイ状に配置された撮像面４ａを有する撮像素子、撮像面４ａに光を集光する光学レンズ、及び撮像データ（輝度変化データＤ１）を出力するデータ出力回路などを備える。撮像素子の各画素４０は、例えば、フォトダイオード、微分器および比較器などを備える。各々の画素４０は、撮像面４ａにおけるＸＹ座標によって識別可能である。

撮像装置４において、撮像素子の撮像面４ａには、光学レンズからの光によって画像が形成（結像）される。本実施形態の撮像装置４は、撮像面４ａ上の画像に対して画素４０毎に輝度の時間変化率のしきい値判定を行って、画素４０毎の輝度が変化したイベントを検出する。検出対象のイベントは、画素４０の位置において輝度の変化が生じた事象であり、輝度の変化が増大か減少かと、輝度が増大または減少したタイミングと、画素４０のＸＹ座標とによって特定される。

撮像装置４は、図３に示すように、各イベントの検出結果を示す輝度変化データＤ１を生成する。図３に例示する輝度変化データＤ１は、輝度の増大時の出力データＤ１１と、輝度の減少時の出力データＤ１２とを含んでいる。図３に図示する輝度変化データＤ１のうち、白抜きの四角は、輝度の増大時の出力データを意味する。そして、黒塗りの四角は、輝度の減少時の出力データを意味する。輝度変化データＤ１は、本実施形態の撮像装置４による撮像結果の撮像データの一例である。

撮像装置４において、各画素４０は、輝度の時間変化率が、上限のしきい値を上回ると輝度の増大を検出し、下限のしきい値を下回ると輝度の減少を検出する。各画素４０は、それぞれ輝度の増大又は減少を検出すると、検出したタイミングで直ちに検出結果を出力する。輝度が変化していない画素４０、及び輝度の時間変化率が上限のしきい値と下限のしきい値間にある画素４０は、特に検出結果の出力を行わない。撮像装置４は、例えば検出結果を出力した画素４０のＸＹ座標、検出結果のタイミング、及び輝度の増大又は減少を示す情報を関連付けて、輝度変化データＤ１を生成する。撮像装置４は、例えば時間幅が所定値に設定された時系列データとして、輝度変化データＤ１を外部出力する。

以上の撮像装置４の撮像方法によると、特に全画素の検出結果を同期させるフレーム周期のような動作周期は生じない。よって、本実施形態の撮像装置４は、フレーム周期よりも格段に短い時間幅における輝度の変化を検出可能である。各画素において、検出可能な時間幅は、例えば画素４０が輝度の変化に反応する反応期間であり、例えば１００マイクロ秒である。

２．動作
以上のように構成される検出システム１及び瞳孔検出装置５の動作について、以下説明する。

図４，５を参照して、検出システム１の全体動作を説明する。図４は、検出システム１における瞳孔検出装置５の動作を例示するフローチャートである。

図４に示すフローチャートの各処理は、瞳孔検出装置５の制御部５２によって実行される。本フローチャートは、例えば図１に示す車両２の運転中に、撮像装置４がドライバ３の眼３０近傍の画像を撮像している状態で開始される。

図４のフローチャートにおいて、瞳孔検出装置５の制御部５２は、マイクロサッカード検出処理を実行する（Ｓ１）。マイクロサッカード検出処理は、撮像装置４の撮像結果に基づいて、瞳孔６の動きにおけるマイクロサッカードを検出するデータ処理の一例である。本実施形態におけるマイクロサッカード検出処理の概要について、図５を用いて説明する。

図５は、本実施形態のマイクロサッカード検出処理における各種画像の模式図を示す。図５（ａ），５（ｂ）は、マイクロサッカードの発生前後の瞳孔６を含んだ画像を例示する。図５（ｃ）は、撮像装置４（図１）による図５（ａ），５（ｂ）間の撮像結果に対応する輝度変化画像７を例示する。

図５（ａ），５（ｂ）に例示する画像は、それぞれマイクロサッカードの発生前後の時点において、撮像装置４の撮像面４ａ（図３）上に形成される。図５（ａ），５（ｂ）の画像上の瞳孔６は、図５（ａ）の時点からマイクロサッカードによって、図５（ｂ）に示すように移動方向ｄ１に移動している。本実施形態の検出システム１（図１）において、撮像装置４は、図５（ａ），５（ｂ）間に随時、画素毎の輝度の変化を輝度変化データＤ１として出力する（図３）。

図５（ｃ）は、図５（ａ），５（ｂ）の間に得られた輝度変化データＤ１に対応する輝度変化画像７を例示している。瞳孔６が位置する領域の輝度は瞳孔６の周囲の領域の輝度よりも顕著に低いことから、マイクロサッカードのような瞳孔６の動きによると、輝度変化画像７において特有の輝度の変化が生じると考えられる。

図５（ｃ）の例において、輝度変化画像７の輝度は、瞳孔６の移動方向ｄ１における始端側の領域７１と終端側の領域７２とで変化している。具体的に、始端側の領域７１においては、図５（ａ）の時点では瞳孔６が位置していたが図５（ｂ）の時点で瞳孔６が位置しなくなったことから、輝度が増大する。また、終端側の領域７２においては、図５（ａ）の時点では瞳孔６が位置していなかったが図５（ｂ）の時点で瞳孔６が位置するようになったことから、輝度が減少する。

本実施形態のマイクロサッカード検出処理（Ｓ１）は、以上のような輝度の変化を計数する簡単な処理によって、随時、発生し得るマイクロサッカードの自動検出を実現する。マイクロサッカード検出処理の詳細については後述する。

図４に戻り、制御部５２は、マイクロサッカード検出処理（Ｓ２）の検出結果によりマイクロサッカードの発生頻度を検知して、現在のマイクロサッカードの発生頻度が、覚醒度の低下条件に該当するか否かを判断する（Ｓ２）。

ステップＳ２の判断は、想定されるマイクロサッカードの発生頻度と覚醒度間の相関関係に従った覚醒度の低下条件を適宜、設定して行われる。例えば、制御部５２は、現在のマイクロサッカードの発生頻度が所定の基準値よりも高いか否かに応じて、同発生頻度が覚醒度の低下条件に該当するか否かを判断する（Ｓ２）。

制御部５２は、現在のマイクロサッカードの発生頻度が覚醒度の低下条件に該当していないと判断した場合（Ｓ２でＮＯ）、所定の周期においてステップＳ１の処理を再度、実行する。ステップＳ１を繰り返す周期は、例えば２ミリ秒である。

一方、制御部５２は、現在のマイクロサッカードの発生頻度が覚醒度の低下条件に該当すると判断した場合（Ｓ２でＹＥＳ）、覚醒度が低下したことを示す報知情報を生成して、出力部５４（図２）を介して報知部２１等に報知情報を出力する（Ｓ３）。

制御部５２は、報知情報の出力を行って（Ｓ３）、図４のフローチャートによる処理を終了する。

以上の処理によると、検出システム１において、瞳孔検出装置５がドライバ３等の対象者によるマイクロサッカードの発生頻度を検知して、覚醒度の低下を検出することができる。

２−１．マイクロサッカード検出処理
図４のステップＳ１におけるマイクロサッカード検出処理の詳細について、図６〜図８を参照して説明する。

図６は、本実施形態におけるマイクロサッカード検出処理（図４のＳ１）を例示するフローチャートである。

まず、瞳孔検出装置５（図２）の制御部５２は、撮像装置４から取得部５１を介して、所定の検出期間分の輝度変化データＤ１（図３）を取得する（Ｓ１１）。検出期間は、例えば２ミリ秒である。検出期間は、例えば複数回のマイクロサッカードが生じる間隔よりも短いと想定される範囲内で適宜、設定可能である。

次に、制御部５２は、取得した輝度変化データＤ１を輝度変化画像７（図５（ｃ））に変換する（Ｓ１２）。ステップＳ１２〜Ｓ１４は、輝度変化画像７の画像処理により、取得した輝度変化データＤ１から移動中の瞳孔６に対応する部分を抽出するための処理の一例である。ステップＳ１２の処理について、図７を用いて説明する。

図７は、マイクロサッカードの発生時の輝度変化データＤ１におけるイベントの分布を例示する散布図である。図７では、ステップＳ１１で取得された輝度変化データＤ１において輝度が増大した増大イベントＥ１１と、輝度が減少した減少イベントＥ１２との空間分布を示している。

例えば、制御部５２は、取得した輝度変化データＤ１における各画素のＸＹ座標毎に、各イベントＥ１１，Ｅ１２の回数を算出して、輝度変化画像７を生成する（Ｓ１２）。輝度変化画像７は、各画素において、増大イベントＥ１１と減少イベントＥ１２とに対応する２種類（例えば２色）の画素値を有してもよい。

図７の分布には、マイクロサッカードで動いた瞳孔６に対応する楕円領域Ｒ１が含まれている。楕円領域Ｒ１には、輝度の増大イベントＥ１１と減少イベントＥ１２とが、楕円状に分布している。そこで、図６のマイクロサッカード検出処理では、制御部５２が、ステップＳ１２で生成した輝度変化画像７において、瞳孔６の動きによる楕円領域Ｒ１を探索する（Ｓ１３）。ステップＳ１３の処理の一例を、図８を用いて説明する。

図８は、輝度変化画像７における楕円領域Ｒ１の探索方法を例示する図である。ステップＳ１３において、制御部５２は、例えば図８に示すように、走査領域Ｒ１０を用いて輝度変化画像７を走査する。走査領域Ｒ１０は、所定の楕円形状を有し、輝度変化画像７上で種々の走査位置に設定される。走査領域Ｒ１０の楕円形状は、瞳孔６の動きによる楕円領域Ｒ１として想定される寸法及び形状に設定される。

輝度変化画像７の走査時に、制御部５２は順次、走査領域Ｒ１０の内部に位置する画像について所定の評価値を計数する。評価値は、例えば走査領域Ｒ１０の内部の画像において少なくとも一つのイベントＥ１１，Ｅ１２を有する画素の個数で計数される。種々の走査位置における走査領域Ｒ１０の評価値を比較することにより、楕円領域Ｒ１が探索される。

図６に戻り、制御部５２は、輝度変化画像７における探索結果（Ｓ１３）において、瞳孔６の動きによる楕円領域Ｒ１が探知されたか否かを判断する（Ｓ１４）。例えば、輝度変化画像７の走査中に得られた評価値が極大値を有する場合、制御部５２は、楕円領域Ｒ１が探知されたと判断する（Ｓ１４でＹＥＳ）。例えば制御部５２は、評価値が極大値となる走査位置の走査領域Ｒ１０を楕円領域Ｒ１として探知する。

制御部５２は、輝度変化画像７に楕円領域Ｒ１が探知されたと判断した場合（Ｓ１４でＹＥＳ）、輝度変化データＤ１において探知された楕円領域Ｒ１の範囲内のデータに基づいて、輝度変化数を計数する（Ｓ１５）。輝度変化数は、輝度変化データＤ１における同一座標の輝度が時間的に変化したイベントの回数、即ちイベント数を示す。

ステップＳ１５において、例えば、制御部５２は、楕円領域Ｒ１の範囲内における増大イベントＥ１１のイベント数および減少イベントＥ１２のイベント数をそれぞれ計数する（図７）。さらに、制御部５２は、増大イベントＥ１１のイベント数と減少イベントＥ１２のイベント数との合計値を、輝度変化数の計数値として算出する。輝度変化数の計数は、輝度変化画像７を用いて画素毎に行われてもよい。

次に、制御部５２は、輝度変化数の計数値が所定範囲内にあるか否かを判断する（Ｓ１６）。所定範囲は、マイクロサッカード等の検出対象の眼球運動が生じた場合に想定される範囲であり、例えば上限のしきい値と下限のしきい値とで規定される。制御部５２は、各しきい値と輝度変化数の計数値とをそれぞれ比較するしきい値判定によって、ステップＳ１６の判断を行う。

輝度変化数の計数値が所定範囲内にある場合（Ｓ１６でＹＥＳ）、マイクロサッカードが発生したと考えられることから、制御部５２は、マイクロサッカードの発生時刻を記録する（Ｓ１７）。例えば、制御部５２はマイクロサッカードの発生時刻として、ステップＳ１１で輝度変化データＤ１を取得した時刻を記憶部５３（図２）に記録する。

制御部５２は、マイクロサッカードの検出結果として発生時刻を記録して（Ｓ１７）、マイクロサッカード検出処理（図４のＳ１）を終了する。次いで、制御部５２は、図４のフローチャートにおいてステップＳ２に進む。

一方、輝度変化数の計数値が所定範囲内にない場合（Ｓ１６でＮＯ）、楕円領域Ｒ１内の輝度変化数に応じた瞳孔６の動きは、マイクロサッカードではないと考えられる。即ち、マイクロサッカードは発生していないと考えられることから、制御部５２は、ステップＳ１７の処理を行わずにマイクロサッカード検出処理（図４のＳ１）を終了し、ステップＳ２に進む。

また、制御部５２は、輝度変化画像７における探索結果（Ｓ１３）から、楕円領域Ｒ１が探知されなかった場合も（Ｓ１４でＮＯ）、マイクロサッカード検出処理（図４のＳ１）を終了する。

以上の処理によると、撮像装置４からの輝度変化データＤ１に基づいて、楕円領域Ｒ１の範囲内の輝度変化数を計数することにより、マイクロサッカードの自動検出を行うことができる。

以上の処理において、楕円領域Ｒ１の探索時（Ｓ１３）に用いる走査領域Ｒ１０の楕円形状は、予め複数種類、用意されてもよいし、ドライバ３の瞳孔６の大きさ等を別途検出して、選択されてもよい。

また、ステップＳ１３の評価値は、走査領域Ｒ１０内の画素の個数で計数されなくてもよく、例えば走査領域Ｒ１０内の輝度変化数で計数されてもよい。この場合、楕円領域Ｒ１の探索時の評価値を用いて、ステップＳ１６の判断が行われてもよく、ステップＳ１５の処理が省略されてもよい。

また、以上の処理において、楕円領域Ｒ１の探知（Ｓ１４）に、走査位置毎の評価値の極大値を用いる例を説明した。楕円領域Ｒ１の探知はこれに限らず、例えば、評価値が最大値となる走査位置の走査領域Ｒ１０が楕円領域Ｒ１として探知されてもよい。

また、ステップＳ１４において、制御部５２は、走査領域Ｒ１０中の輝度の増大イベントＥ１１のイベント数と減少イベントＥ１２のイベント数との比較を行ってもよい。これにより、両イベントＥ１１，Ｅ１２のイベント数の差分が所定値以内の走査領域Ｒ１０が、瞳孔６の動きによる楕円領域Ｒ１の候補として抽出されてもよい。

また、以上のステップＳ１２〜Ｓ１４では、輝度変化画像７の画像処理により、移動中の瞳孔６に対応する部分として楕円領域Ｒ１を抽出する処理の一例を説明したが、他の処理によって楕円領域Ｒ１が抽出されてもよい。例えば、走査領域Ｒ１０による走査（Ｓ１３）の代わりに、パターン認識を適用して楕円領域Ｒ１が探索されてもよいし、楕円曲線の方程式等を用いたハフ変換が適用されてもよい。また、輝度変化画像７の画像処理に限らず、輝度変化データＤ１のイベント処理によって、移動中の瞳孔６に対応するデータが抽出されてもよい。

また、以上の処理では、輝度変化数のしきい値判定（Ｓ１６）によりマイクロサッカードの発生時が検出されたが、さらに、マイクロサッカード等による瞳孔６の動きの方向が検出されてもよい。例えば、制御部５２は、増大イベントＥ１１の空間分布と減少イベントＥ１２の空間分布に基づいて、瞳孔６の動きの方向として、増大イベントＥ１１の分布位置から減少イベントＥ１２の分布位置に向かう方向を検出する。

２−１−１．実験結果について
以上のようなマイクロサッカード検出処理を行う瞳孔検出装置５の効果について、本発明者は確認実験を行った。本実験の実験結果について、図９を用いて説明する。

図９は、本実施形態の瞳孔検出装置５に関する実験結果を説明するための図である。図９（ａ）は、高速カメラによる瞳孔の動きの解析結果のグラフを示す。図９（ｂ）は、瞳孔検出装置５による瞳孔の動きの検出結果のグラフを示す。図９（ａ）において、横軸は時間（ｍｓ）を示し、縦軸は瞳孔の速度（ｍ／ｓ）を示す。図９（ｂ）において、横軸は時間（ｍｓ）を示し、縦軸は輝度変化数を示す。

図９（ａ）の実験では、５００ｆｐｓを有する高速カメラを用いて、光学倍率１．０倍において瞳孔を撮影し、６秒分のフレーム画像を取得した。取得したフレーム画像の各々を二値化して瞳孔の領域を抽出する画像解析によって、図９（ａ）の解析結果を得た。図９（ａ）では、マイクロサッカードの発生が確認された時点に矢印Ａ１を付している。図９（ａ）の解析結果では、マイクロサッカードと共に、瞬目及びサッカードの発生が確認された。サッカードは、固視微動よりも大きい範囲で移動する眼球運動である。

図９（ｂ）の実験は、本実施形態の撮像装置４によって、図９（ａ）の実験対象と同じ瞳孔を同時に撮像することによって行われた。撮像装置４の撮像条件は、光学倍率１．０倍で解像度３０４×２４０画素であった。

撮像装置４から得られた輝度変化データＤ１を、瞳孔検出装置５でデータ処理することによって、図９（ｂ）の検出結果を得た。図９（ｂ）の検出結果によると、図９（ａ）で確認されたマイクロサッカードの全てが、本実施形態の瞳孔検出装置５によって検出できていることが確認された。

また、瞳孔検出装置５（図９（ｂ））においても、図９（ａ）と同様に、瞬目及びサッカードが検出された。ここで、瞬目及びサッカードは、それぞれマイクロサッカードよりも輝度変化数が大きくなる傾向がある。そこで、マイクロサッカード検出処理のしきい値（Ｓ１６）として、輝度変化数の増大イベントＥ１１と減少イベントＥ１２との合計の計数値に対する上限のしきい値を１６００に設定し、且つ下限のしきい値を１４００に設定した。これにより、瞬目及びサッカードを除いて、マイクロサッカードの発生時を漏れなく検出することができた。

３．まとめ
以上のように、本実施形態に係る瞳孔検出装置５は、瞳孔を含んだ画像（図５（ａ），（ｂ））を撮像する撮像装置４の撮像結果（図５（ｃ））に基づいて、瞳孔の動きを検出する。瞳孔検出装置５は、取得部５１と、制御部５２とを備える。取得部５１は、撮像装置４から撮像結果を示す撮像データとして、輝度変化データＤ１を取得する。制御部５２は、取得部５１によって取得された輝度変化データＤ１に基づくデータ処理を実行する。制御部５２は、輝度変化データＤ１に基づいて、撮像面４ａ上の画像において輝度が時間的に変化した領域の一例である楕円領域Ｒ１における画素毎の輝度の変化を計数する（Ｓ１５）。制御部５２は、計数した輝度の変化の計数値に基づいて、瞳孔の動きを検出する（Ｓ１６）。

以上の瞳孔検出装置５によると、輝度変化データＤ１に基づいて、瞳孔の動きによって輝度が変化したと想定される領域内の輝度の変化を計数することにより、瞬間的な瞳孔の動きを検出することができる。

本実施形態において、撮像データの一例の輝度変化データＤ１は、画素毎に輝度が変化したイベントのタイミングを示す。制御部５２は、輝度変化データＤ１に基づいて、所定の検出期間中のタイミングを有するイベントのイベント数を計数値として計数する（Ｓ１１〜Ｓ１５）。輝度変化データＤ１により、検出期間中に輝度が変化したイベント数を計数でき、瞬間的な瞳孔の動きを容易に検出することができる。

また、本実施形態において、制御部５２は、計数したイベント数と所定のしきい値とを比較して、検出対象に設定された瞳孔の動きが生じたか否かを検出する（Ｓ１６）。上記のしきい値と検出期間との少なくとも一方は、検出対象の瞳孔の動きに応じて設定される。検出対象は、例えば眼球運動のマイクロサッカードである。瞳孔検出装置５によると、マイクロサッカードのような高速な眼球運動を自動的に検出できる。

また、本実施形態において、制御部５２は、輝度が変化したイベントの分布において楕円状の楕円領域Ｒ１を抽出して（Ｓ１３，Ｓ１４）、抽出した楕円領域Ｒ１内のイベントを計数値の計数に用いる（Ｓ１５）。制御部５２は、例えば輝度変化データＤ１に対応する輝度変化画像７を走査して、楕円領域Ｒ１を抽出する（図８参照）。これにより、瞳孔の動きによる楕円領域Ｒ１が簡単に得られ、瞳孔の動きによる輝度の変化を精度良く計数できる。

また、本実施形態において、制御部５２は、輝度が変化したイベントにおける輝度の増大イベントＥ１１と減少イベントＥ１２との分布に基づいて、瞳孔の動きの方向を検出してもよい。また、瞳孔検出装置５は、例えば各イベントＥ１１，Ｅ１２のイベント数に基づいて、瞳孔の動きの速度を検出してもよい。

また、本実施形態に係る検出システム１は、瞳孔を含む画像を撮像して、撮像データを生成する撮像装置４と、撮像データに基づき瞳孔の動きを検出する瞳孔検出装置５とを備える。検出システム１は、瞳孔検出装置５によって瞬間的な瞳孔の動きを検出でき、当該検出結果に基づき対象者の覚醒度などを検出することができる。

（実施形態２）
実施形態１では、瞳孔の動きの検出時に検出期間内の輝度変化数を用いた。実施形態２では、検出期間よりも長い期間の輝度変化数を用いて、高速な瞳孔の動きの検出精度を良くする検出システム１の構成例を説明する。実施形態２の検出システム１について、図１０〜１２を用いて説明する。

図１０は、実施形態２におけるマイクロサッカード検出処理を例示するフローチャートである。本実施形態の検出システム１の構成は、実施形態１と同様に構成される（図１）。本実施形態の瞳孔検出装置５は、例えば図４のステップＳ１において、図６のフローチャートの代わりに、図１０のフローチャートによるマイクロサッカード検出処理を実行する。

図１０のフローチャートにおいて、瞳孔検出装置５の制御部５２は、実施形態１と同様に検出期間分の輝度変化データＤ１に基づく輝度変化数を計数すると（Ｓ１１〜Ｓ１５）、長期平均からの差分に基づいて、計数値から高速成分を抽出する（Ｓ１５Ｂ）。長期平均は、例えば現在から過去のＮ回のステップＳ１５に算出した輝度変化数の平均値であり、検出期間のＮ倍の期間にわたって瞳孔が移動するような遅い運動（例えば頭部の運動）に対応している。Ｎは、例えば２以上の整数であり、検出対象の瞳孔の動きに重畳して生じ得る運動を考慮して、適宜設定される。

制御部５２は、現在のステップＳ１５で算出した計数値からの長期平均の減算を演算し（Ｓ１５Ｂ）、減算結果の計数値をステップＳ１６のしきい値判定に用いる。これにより、検出対象外の運動の影響を除去して、高速成分における瞳孔の動きの検出精度を良くすることができる。

以上のような本実施形態のマイクロサッカード検出処理の効果に関する確認実験について、図１１，１２を用いて説明する。

図１１は、実施形態２の瞳孔検出装置５に関する瞳孔の模型実験の実験結果を示すグラフである。図１１において、時間（μｓ）を示し、縦軸は輝度変化数を示す。

図１１では、眼球運動と頭部運動とが重畳した状態を模擬する模型実験を行った。瞳孔の模型として、直径３ｍｍの黒色の丸形部材を用いた。眼球運動に対応して同模型を振動させながら、頭部運動に対応して同模型を１００ｍ／ｓで移動させた。同模型の振動は、マイクロサッカードに相当するように、振動数１００Ｈｚで且つ振幅２００μｍに設定し、最大速度２０ｍｍ／ｓを得た。

以上のような瞳孔の模型の運動を撮像装置４で撮像し、瞳孔検出装置５で輝度変化数を計数した（Ｓ１５）。撮像装置４の撮像条件は、図９（ｂ）と同様に設定した。輝度変化数の検出期間（Ｓ１１）は、０．５ミリ秒とした。

図１１の実験結果において、輝度の増大イベントＥ１１と減少イベントＥ１２とは、瞳孔の模型が撮像装置４の画角の範囲内にあるとき、例えば５００以上になっている。輝度変化数は、瞳孔などの対象物が速く移動するほど多くなり、対象物の速度と相関があると考えられる。このため、例えば眼球運動とは無関係な頭部運動によって瞳孔が移動すると、輝度変化数が増えてしまうと考えられる。これに対して、本実施形態の瞳孔検出装置５は、検出期間よりも長期間の輝度変化数の平均値を用いて、頭部運動による輝度変化数の像分を除去し、瞳孔の動きの高速成分を抽出する（Ｓ１５Ｂ）。

図１２は、図１１の輝度変化数からの高速成分の抽出結果を示すグラフである。図１２において、時間（μｓ）を示し、縦軸は輝度変化数を示す。

図１２の抽出時には、１０点（Ｎ＝１０）の輝度変化数の平均値を長期平均として用いた。即ち、瞳孔の模型の移動運動の成分を除去するために、検出期間０．５ミリ秒の１０倍の５ミリ秒間における輝度変化数を用いた。これにより、図１２に示すように、各イベントＥ１１，Ｅ１２において、瞳孔の模型の振動運動を確認することができた。よって、実際のマイクロサッカード等が頭部運動と重畳して発生した場合においても、同様に高速成分を抽出することにより、高速な瞳孔の動きを精度良く検出可能であることが確認された。

以上のように、本実施形態に係る瞳孔検出装置５の制御部５２は、ステップＳ１１の検出期間におけるイベント数の計数値と、検出期間よりも長い期間におけるイベント数の平均値との差分に基づいて、瞳孔の動きを検出する。これにより、検出期間よりも長期にわたる瞳孔の動きの影響を低減して、検出期間中の高速な瞳孔の動きの検出精度を良くすることができる。

（他の実施形態）
上記の実施形態１，２では、輝度変化データＤ１を生成する微分検出型の撮像装置４を用いた検出システム１について説明したが、撮像装置４は微分検出型でなくてもよい。撮像装置４がフレーム画像を示す画像データを撮像データとして生成する検出システム１の変形例について、図１３を用いて説明する。

図１３は、検出システム１の変形例におけるマイクロサッカード検出処理を例示するフローチャートである。本変形例の検出システム１において、瞳孔検出装置５は撮像装置４から、検出期間分の輝度変化データＤ１の代わりに（Ｓ１１）、例えば１フレームの画像データを取得する（Ｓ１１Ａ）。

例えば、瞳孔検出装置５の制御部５２は、取得した画像データが示すフレーム画像と、１フレーム前のフレーム画像との差分を示す差分画像を生成し（Ｓ１２Ａ）、輝度変化画像７（Ｓ１２）の代わりに差分画像を用いて、ステップＳ１３以降の処理を行う。例えば、制御部５２はステップＳ１５において、輝度変化数として、差分画像上の楕円領域中の画素値を計数してもよい。これにより、撮像装置４のフレーム間隔の限度において瞬間的な瞳孔の動きを検出可能である。撮像装置４としては、例えば５００ｆｐｓ等の高速なフレームレートを有する高速カメラを用いることができる。

また、上記の各実施形態において、検出システム１は、撮像装置４の撮像用の照明光源を備えてもよい。照明光源は、例えば赤外光を照明光として発光する。照明光源は、ドライバ３等の対象者に照明光を照射するように配置される。

また、上記の各実施形態では、瞳孔検出装置５による検出対象が、マイクロサッカードである例を説明した。瞳孔検出装置５による検出対象は、マイクロサッカードに限らず、他の固視微動であってもよいし、サッカード、あるいは瞬目などであってもよい（図９（ｂ）参照）。この場合、瞳孔検出装置５の検出期間（Ｓ１１）及びしきい値判定（Ｓ１６）のしきい値の少なくとも一方が適宜、検出対象の瞳孔の動きに応じて設定される。例えば、より長期に動く瞳孔の動きを検出対象とする場合、検出期間が延長されてもよい。

また、上記の各実施形態では、検出システム１が対象者の覚醒度を検出する例を説明したが、検出システム１の検出対象は、覚醒度に限らず、瞳孔検出装置５の検出結果に応じて検出可能な各種指標であってもよい。例えば、検出システム１は、対象者の収集度、あるいは疲労度などを検出してもよい。

また、以上の説明では、車載用途への検出システム１の適用例を説明したが、本開示に係る検出システム１は車載用途に限定されない。本開示に係る検出システム１は、対象者の眼を撮像可能な種々の環境に適用可能であり、例えば、工場の作業者を監視するように適用することができる。

（付記）
以上のように、本開示の各種実施形態について説明したが、本発明は上記の開示内容に限定されるものではなく、本発明の範囲内で種々の変更を行って実施することができる。以下、本開示に係る各種態様を付記する。

本開示に係る第１の態様は、瞳孔を含んだ画像を撮像する撮像装置（４）の撮像結果に基づいて、前記瞳孔の動きを検出する瞳孔検出装置（５）である。瞳孔検出装置は、取得部（５１）と、制御部（５２）とを備える。取得部は、前記撮像装置から前記撮像結果を示す撮像データ（Ｄ１）を取得する。制御部は、前記取得部によって取得された撮像データに基づくデータ処理を実行する。前記制御部は、前記撮像データに基づいて、前記画像において輝度が時間的に変化した領域における画素毎の輝度の変化を計数し（Ｓ１５）、計数した輝度の変化の計数値に基づいて、前記瞳孔の動きを検出する（Ｓ１６）。

第２の態様では、第１の態様の瞳孔検出装置において、前記撮像データ（Ｄ１）は、画素毎に輝度が変化したタイミングを示す。前記制御部は、前記撮像データに基づいて、所定期間中のタイミングの回数を前記計数値として計数する（Ｓ１５）。

第３の態様では、第２の態様の瞳孔検出装置において、前記制御部は、前記計数値と所定のしきい値とを比較して、検出対象に設定された瞳孔の動きが生じたか否かを検出する（Ｓ１６）。前記しきい値と前記所定期間との少なくとも一方は、検出対象の瞳孔の動きに応じて設定される。

第４の態様では、第３の態様の瞳孔検出装置において、前記検出対象は、眼球運動のマイクロサッカードである。

第５の態様では、第２〜第４のいずれかの態様の瞳孔検出装置において、前記制御部は、前記輝度が変化した画素の分布において楕円状の領域（Ｒ１）を抽出して（Ｓ１３，Ｓ１４）、抽出した領域を前記計数値の計数に用いる（Ｓ１５）。

第６の態様では、第５の態様の瞳孔検出装置において、前記制御部は、前記撮像データに対応する画像（７）を走査して（Ｒ１０）、前記楕円状の領域を抽出する。

第７の態様では、第２〜第６のいずれかの瞳孔検出装置において、前記制御部は、増大した画素と輝度が減少した画素との分布に基づいて、前記瞳孔の動きの方向を検出する。

第８の態様では、第２〜第７のいずれかの瞳孔検出装置において、前記制御部は、前記所定期間における計数値と、前記所定期間よりも長い期間における前記タイミングの回数の平均値との差分に基づいて、前記瞳孔の動きを検出する。

第９の態様は、撮像装置（４）と、第１〜第８のいずれかの瞳孔検出装置（５）とを備える検出システム（１）である。撮像装置は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置は、前記撮像データに基づき前記瞳孔の動きを検出する。

１ 検出システム
２ 車両
３ ドライバ
４ 撮像装置
５ 瞳孔検出装置
５１ 取得部
５２ 制御部

Claims (9)

1. 瞳孔を含んだ画像を撮像する撮像装置の撮像結果に基づいて、前記瞳孔の動きを検出する瞳孔検出装置であって、
   前記撮像装置から前記撮像結果を示す撮像データを取得する取得部と、
   前記取得部によって取得された撮像データに基づくデータ処理を実行する制御部と
   を備え、
   前記制御部は、
   前記撮像データに基づいて、前記画像において輝度が時間的に変化した領域における画素毎の輝度の変化を計数し、
   計数した輝度の変化の計数値に基づいて、前記瞳孔の動きを検出する
   瞳孔検出装置。
2. 前記撮像データは、画素毎に輝度が変化したタイミングを示し、
   前記制御部は、前記撮像データに基づいて、所定期間中の前記タイミングの回数を前記計数値として計数する
   請求項１に記載の瞳孔検出装置。
3. 前記制御部は、前記計数値と所定のしきい値とを比較して、検出対象に設定された瞳孔の動きが生じたか否かを検出し、
   前記しきい値と前記所定期間との少なくとも一方は、検出対象の瞳孔の動きに応じて設定される
   請求項２に記載の瞳孔検出装置。
4. 前記検出対象は、眼球運動のマイクロサッカードである
   請求項３に記載の瞳孔検出装置。
5. 前記制御部は、前記輝度が変化した画素の分布において楕円状の領域を抽出して、抽出した領域を前記計数値の計数に用いる
   請求項２〜４のいずれか１項に記載の瞳孔検出装置。
6. 前記制御部は、前記撮像データに対応する画像を走査して、前記楕円状の領域を抽出する
   請求項５に記載の瞳孔検出装置。
7. 前記制御部は、輝度が増大した画素と輝度が減少した画素との分布に基づいて、前記瞳孔の動きの方向を検出する
   請求項２〜６のいずれか１項に記載の瞳孔検出装置。
8. 前記制御部は、前記所定期間における計数値と、前記所定期間よりも長い期間における前記タイミングの回数の平均値との差分に基づいて、前記瞳孔の動きを検出する
   請求項２〜７のいずれか１項に記載の瞳孔検出装置。
9. 瞳孔を含む画像を撮像して、撮像データを生成する撮像装置と、
   前記撮像データに基づき前記瞳孔の動きを検出する、請求項１〜８のいずれか１項に記載の瞳孔検出装置と
   を備えた検出システム。

Images