JP2019159518A

JP2019159518A - 視認状態検知装置、視認状態検知方法および視認状態検知プログラム

Info

Publication number: JP2019159518A
Application number: JP2018042591A
Authority: JP
Inventors: 内海　章; Akira Uchiumi; 章内海; 栄穂阪口; Eiho Sakaguchi
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2018-03-09
Filing date: 2018-03-09
Publication date: 2019-09-19

Abstract

【課題】ターゲットの視認難易度と視線挙動の特性に基づいて、視認の有無を推定することが可能な視認状態検知装置を提供する【解決手段】対象者２の視認の状態を検知するための視認状態検知装置１０００は、対象者２にとっての視認の対象物４を含む領域の画像を撮像するためのカメラ３０と、対象者２の視線方向を検出するための視線検出部４００４と、対象者２について、対象物４の視覚特性に与える要因と視認難易度との関係に基づき、カメラ３０により撮像された画像中の対象物４の視認難易度を推定する視認難易度推定部４００６と、カメラ３０により撮像された画像における対象物４の位置と視線検出部４００４により検出された視線方向を入力とする識別器により、視認の状態を判定する視認状態判定部４０１０とを備える【選択図】図１

Description

この発明は、対象者が、視覚対象を認知したか否かを判定する技術の分野に関する。

ヒトの注意を適切に誘導することが求められる場面は多い。たとえば、自動車の運転時において、歩行者などの注意すべき物体に運転手の注意を適切に誘導することは、運転の安全性を向上させる上で重要である。

そのため運転手の注意を誘導する方法について、これまでに多くの検討がなされている（非特許文献１、非特許文献２）。自動車の運転時のように刻々と変化する状況に応じて歩行者などの注意すべき物体に運転手の注意を誘導し、視覚的な気づきを効率的に誘発させるには、注意誘導の方法に加えて視覚的な気づきの生起を検知する手段が重要となる。

ここで、本明細書においては、「視認」とは、人がターゲットを視覚的に認識することをいうものとする。また、「視認推定」とは、視覚的な認識の検知をいうものとする。

対象者の視認を検知できれば、不必要な誘導を避けた効率の良い情報呈示を実現できる可能性があることになる。たとえば、対象者が運転手の視認推定のために、顔方向や頭部姿勢に基づいて運転手の注意状態を推定する研究がなされている（非特許文献３）。

また、特許文献１では、監視対象者の視認領域を推定する視認領域推定装置において、撮像環境に拘わらず視認領域をより良好に推定できるようにするための視線推定装置が開示されている。

特許文献１に開示の安全確認警報装置においては、時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得し、取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化が停止または略停止している時間を表す滞留時間を検出する。そして、監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する。このような安全確認警報装置によれば、監視対象者の眼球の位置よりもより認識が容易な顔の向きとその滞留時間とから視認領域を推定するので、眼球の位置が認識できない場合であっても視認領域をより安定に推定することができる、とされている。

しかしながら、このような頭部姿勢や顔方向に基づいた注意状態の推定では、大まかな注意の方向は推定可能であるが、注意方向に存在する物体を実際に視認したか否か推定することは困難である。

そこで、より詳細に注意方向の視覚ターゲットの視認の有無を推定するために視線情報を用いる方法も検討されている（非特許文献４、非特許文献５）

特開2015-102498号公報明細書

Arun，S．，M． Murugappan，and Kenneth Sundaraj．"Hypovigilance warning system： A review on driver alerting techniques．" Control and System Graduate Research Colloquium (ICSGRC)，IEEE，2011．

高橋宏、"まさかに備える自動車安全技術"、信学技報、SSS、安全性、111(221)、PP．17-20，2011．

Meers，Simon，and Koren Ward,"Head pose tracking with a time-of-flight camera"，Proceedings of the Australian Conference on Robotics and Automation，pp． 113-116，2008．

Ashish Tawari，Andreas Mogelmose，Sujitha Martin，Thomas B． and Moeslund，Mohan M．Trivedi，"Attention estimation by simultaneous analysis of viewer and view"Proc. 17th Int．IEEE ITSC，Oct．2014

Fletcher，Luke，and Alexander Zelinsky．"Driver intention detection based on eye gaze−Road event correlation．" The international journal of robotics research 28．6 (2009)： pp．774-801．

しかしながら、上述したような視線情報を用いる方法では、ターゲット周囲の領域に一定時間注視点が重なることや、注視点がターゲット周囲の領域から移動したことが視認完了の条件とされており、ターゲットやターゲット周囲の視覚特性が考慮されていないことが問題である。
すなわち、上述したような従来の技術は、ターゲットの視覚特性に依らず一定の条件で視認を推定するため、ターゲットの視覚特性が大きく異なると視認の有無を適切に推定できない場合がある、という問題があった。

本発明の目的は、ターゲットの視認難易度と視線挙動の特性に基づいて、視認の有無を推定することが可能な視認状態検知装置、視認状態検知方法および視認状態検知プログラムを提供することである。

この発明の１つの局面に従うと、対象者の視認の状態を検知するための視認状態検知装置であって、対象者にとっての視認の対象物を含む領域の画像を撮像するための撮像手段と、対象者の視線方向を検出するための視線検出手段と、対象者について、対象物の視覚特性に与える要因と視認難易度との関係に基づき、撮像手段により撮像された画像中の対象物の視認難易度を推定する視認難易度推定手段と、撮像手段により撮像された画像における対象物の位置と視線検出手段により検出された視線方向を入力とする識別器により、視認の状態を判定する視認状態判定手段とを備える。

好ましくは、視認難易度推定手段は、対象物の視覚特性に与える要因と視認難易度との関係を回帰した結果に基づき視認難易度を推定する。

好ましくは、対象物の視覚特性に与える要因は、対象物の、撮像された画像中における大きさおよび移動速度を含む。

好ましくは、視認難易度推定手段において、対象物の視覚特性に与える要因と視認難易度との関係の算出は、対象者個人ごとに実行される。

好ましくは、視認状態判定手段における識別器は、ニューラルネットワークである。

好ましくは、ニューラルネットワークに対する学習データは、入力データとして、複数の学習用対象物の各々について、視線検出手段が視線検出処理において抽出する頭部姿勢の情報と、視線情報および対象物の画像中の位置により算出される対象者の網膜座標中の学習用対象物の位置の情報と、学習用対象物についての視認難易度の情報を含み、教師データとして、予め対象者について取得された学習用対象物に対する視認情報を含む。

この発明の他の局面に従うと、対象者の視認の状態を検知するための視認状態検知方法であって、対象者について、学習用対象物の視覚特性に与える要因と視認難易度との関係を算出するステップと、対象者にとっての視認の対象物を含む領域の画像を撮像するステップと、対象者の視線方向を検出するステップと、予め算出した関係に基づき、撮像手段により撮像された画像中の対象物の視認難易度を推定するステップと、撮像された画像における対象物の位置と視線検出手段により推定された視線と、検出された視線方向を入力として、予め機械学習により学習された識別器により、視認の状態を判定するステップとを備える。

好ましくは、学習用対象物の視覚特性に与える要因と視認難易度との関係を算出するステップは、学習用対象物の視覚特性に与える要因と視認難易度との回帰により算出するステップを含み、対象物の視認難易度を推定するステップは、予め回帰にした結果に基づき、撮像された画像中の対象物の視認難易度を推定するステップを含む。

この発明のさらに他の局面に従うと、記憶装置と演算装置とを有するコンピュータに、対象者の視認の状態を検知するための視認状態検知を実行させるための視認状態検知プログラムであって、視認状態検知プログラムは、演算装置により、対象者について、学習用対象物の視覚特性に与える要因と視認難易度との関係を算出して記憶装置に格納するステップと、撮像装置により、対象者にとっての視認の対象物を含む領域の画像を撮像するステップと、演算装置により、対象者の視線方向を検出するステップと、演算装置により、記憶装置に格納された予め算出した関係に基づき、撮像手段により撮像された画像中の対象物の視認難易度を推定するステップと、演算装置により、撮像された画像における対象物の位置と視線検出手段により推定された視線と、検出された視線方向を入力として、予め機械学習により学習された識別器により、視認の状態を判定するステップとを、実行させる。

好ましくは、学習用対象物の視覚特性に与える要因と視認難易度との関係を算出するステップは、学習用対象物の視覚特性に与える要因と視認難易度との関係を予め回帰により算出して記憶装置に格納するステップを含み、対象物の視認難易度を推定するステップは、演算装置により、記憶装置に格納された予め回帰にした結果に基づき、撮像手段により撮像された画像中の対象物の視認難易度を推定するステップを含む。

この発明によれば、ターゲットの視認難易度を考慮して、対象者の視認を推定するので、ターゲットの視覚特性が異なる場合でも、視認の有無を適切に推定することが可能である。

視認状態検知装置１０００の構成を示す機能ブロック図である。コンピュータシステム２０のハードウェアブロック図である。視認状態検知装置の主要機能の説明および検証を実行するためのシステムの構成を説明するための概念図である。ヒトの中心視野、周辺視野および有効視野を示す概念図である。ターゲットの視覚特性の要因と視認難易度の関係性を示す図である。実験１で実験参加者に課した実験フローを示す図である。視認難易度の要因と各要因の難易度のスコアを示す図である。視線挙動を示す特徴量のうち、追従時間を示す概念図である。視線挙動を示す特徴量のうち、最接近角度を示す概念図である。視線挙動を示す特徴量のうち、最接近時の移動方向の類似度を示す概念図である。視認難易度と視線挙動の特徴量との関係を示す図である。実験３の実験フローを示す図である。個人特化した視認難易度とターゲット視認時の視線挙動の関係性を分析するための実験のフローを説明するための図である。視認難易度０．５の試行に関しての表示時間と正解率の関係を示す図である。視認難易度と最接近角度との関係を示す図である。識別に利用した入力特徴量の種類とk近傍探索法で得られた識別率を示す図である。視認推定に用いるニューラルネットワークの構成を示す概念図である。モニターと注視点の位置及び頭部座標との関係を示す概念図である。ニューラルネットワークへの入力データを示す概念図である。ニューラルネットワークへの入力データを示す概念図である。ニューラルネットワークへの入力データを示す概念図である。ニューラルネットワークの構成を示す図である。学習処理におけるパラメータを示す図である。ニューラルネットワークを用いた視認の認識の正解率を示す図である。視認状態検知装置１０００の処理を実行するために、コンピュータ２０１０が実行する処理を説明するフローチャートである。

以下、本発明の実施の形態の視認状態検知装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。

以下に説明するように、本実施の形態の視認状態検知装置は、ターゲットの視認の難しさを視認難易度と定義して、視覚ターゲットの視認難易度が視覚特性の違いによって変化するものとして考慮し、ターゲットの視認難易度と視線挙動特性に基づいて、視認の有無を推定する。

このようにして、より適切な視認推定が実現されることで、より効率的で快適な注意誘導システムに適用することが可能となる。

［実施の形態１］
以下、本発明の実施の形態にかかる「視認状態検知装置」について説明する。この視認状態検知装置は、パーソナルコンピュータ、カメラ付きの携帯情報端末、または、専用コンピュータ等、演算装置上で実行されるソフトウェアにより実現されるものであって、対象画像から視認の対象物を抽出し、さらに視認の対象物に基づいて、視認状態を推定するためのものである。

ただし、以下に説明する「視認状態検知装置」の各機能の一部または全部は、ハードウェアにより実現されてもよい。

なお、以下では、特に限定されないが、視認状態検知装置については汎用のコンピュータにより構成されるものとして説明するものの、具体的な状況を検討する際には、視認状態検知装置が、自動車の運転者について、視認推定をするものとして説明することとする。自動車の運転者について、視認推定をする場合は、上述のとおり、専用のコンピュータに実装される構成となることが想定される。

図１は、この視認状態検知装置１０００の構成を示す機能ブロック図である。

以下では、視認状態検知装置が、ソフトウェアにより機能が実行されるコンピュータにより実現される構成を例にとって説明する。

図１を参照して、この視認状態検知装置を構成するシステム１０００は、不揮発性の記憶媒体からデータやプログラムを読み取るためのドライブ装置を備えたコンピュータ本体２０と、コンピュータ本体２０に接続され、画像を取込むためのカメラ３０およびカメラ３２とを含む。

ここで、カメラ３０は、対象者（たとえば、運転手）２にとっての視認の対象物４を含む領域の画像を撮像するものであり、カメラ３２は、対象者２の視線を検出するために対象者２の顔および頭部を含む画像を撮像するものとする。

また、この実施の形態の装置では、各カメラ３０，３２としては、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含むカメラを用いることができる。

まず、カメラ３０による撮像は、対象者２に対して、対象物４の位置を検出するためのものであって、たとえば、光学画像を撮像するステレオカメラを利用することが可能である。ただし、ステレオカメラに限定されるものではなく、対象の位置を計測できるセンサであれば、画像センサ、ミリ波レーダーなどのセンサを用いる構成であってもよい。

また、上述したようなカメラ３２（単眼でもよいし、ステレオカメラでもよい）により対象者２の視線を検出するための技術としては、たとえば、以下の文献に開示がある。

文献１：特開2014-194617号公報
文献２：特開2012-216180号公報
また、距離画像センサを用いて、視線方向を検出する技術としては、以下の文献に開示がある。

文献３：特開2015-194838号公報
なお、上述するように、視線方向の検出にあたっては、対象者２の頭部姿勢の情報を用いることができる。このような頭部姿勢の情報の取得についても、上記の文献１〜３に記載の技術を用いることが可能である。また、視認の対象物４が対象者２の有効視野内に入っているかどうかを判断する情報として、対象物４が対象者２の網膜上に結ぶ像の網膜座標上の位置を用いることも可能であり、後述するように、上記頭部姿勢の情報と、視認状態の判定の入力データとして使用することが可能である。

ただし、後述するように、対象者２の視線の検知のための手法としては、上記のように対象者２の顔および頭部を撮像等して、顔画像中の眼の画像や推定される頭部姿勢に基づいて、視線を推定するという方法に限られず、たとえば、眼鏡型の視線推定装置など他の方法を用いるものであってもよい。ただし、運転者を対象者２とするような応用用途では、対象者２への負担を軽減するという観点から、カメラ３２の撮像画像や距離画像センサに基づく方法が望ましい。

また、コンピュータ２０中の演算装置（ＣＰＵ）２０４０が処理を実行するためのプログラムやデータを格納するための不揮発性記憶媒体としては、ＳＳＤ（Solid State Drive）やフラッシュメモリのような半導体素子であってもよいし。あるいは、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）のような光学ディスクなどであってもよい。

コンピュータ２０は、カメラ３０およびカメラ３２からの画像データを取り込むための画像入力インタフェース２０９２と、プログラムに基づいて、後述するような各種の演算処理を実行するためのＣＰＵ２０４０と、記憶装置２０８０とを含む。

記憶装置２０８０は、ＣＰＵ２０４０の処理の実行を指示するための処理プログラム２０８２と、後述するように、視認状態を判定するために使用する識別器を特定するための識別器情報２０８４と、対象者２の個人の視認特性を特定するための個人特化情報２０８６とを格納する。

ＣＰＵ２０４０の達成する機能は、画像入力インタフェース２０９２からカメラ３０の画像情報を受け取り、視認対象物を抽出する対象物抽出部４００２と、画像入力インタフェース２０９２からカメラ３２の画像情報を受け取り、対象者２の視線を検出する視線検出部４００４と、対象物抽出部４００２により抽出された対象物の情報に基づいて、当該対象物の視認難易度を推定する視認難易度推定部４００６と、対象物抽出部４００２により抽出された対象物の情報に基づいて、当該対象物の位置の情報を取得する視認対象位置取得部４００８と、視線検出部４００４からの視線検出結果と、視認難易度推定部４００６および視認対象位置取得部４００８からの情報にもとづいて、識別器情報２０８４を用いて、後述するような方法で、視認状態を判定する視認状態判定部４０１０と、視認状態判定部４０１０の判定結果により、対象者２の注意を誘導する注意誘導処理部４０１２とを含む。「対象物の位置」の情報は、対象者２の頭部座標系において、検出された視線方向と対象物の方向とがなす角度を検知することに用いられる。

注意誘導処理部４０１２による注意誘導の方法としては、特に限定されないが、たとえば、視認すべき対象物が検出されているにもかかわらず、対象者２の視認が検出されないときは、音声により注意を促す、などの方法が想定される。

ここで、画像情報から対象物や、後述するような対象物の周りの情報を検出する技術としては、特に限定されないが、たとえば、以下の文献に開示された技術を用いることができる。

文献４：秋田時彦、”周辺監視カメラによる画像認識用いた運転支援システム”、自動運転、先進運転支援システムの最新動向とセンシング技術、pp．128-135
文献５：Vijay John，Seiichi Mita，Zheng Liu and Bin Qi，”Pedestrian detection in thermal images using adaptive fuzzy C-means clustering and convolutional neural networks．” Machine Vision Applications (MVA)，2015 14th IAPR International Conference on． IEEE，2015．
文献６：若山雅史、道満恵介、出口大輔、井手一郎、村瀬洋、玉津幸政、”大局的特徴として顕著性を利用した歩行者の視認性推定”，画像の認識・理解シンポジウム（MIRU2011）論文集，pp．1597−1603，2011
また、視認難易度の推定にあたっては、後述するように、ターゲット視認時の視線挙動とターゲットの大きさ・明るさ・速度・妨害の程度などの視覚特性の差異を生じさせる要因を用いることができる。

（ハードウェアの構成）
図２は、コンピュータシステム２０のハードウェアブロック図である。

図２において、コンピュータ本体２０１０は、メモリドライブ２０２０、ディスクドライブ２０３０に加えて、ＣＰＵ２０４０と、ディスクドライブ２０３０及びメモリドライブ２０２０に接続されたバス２０５０と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ２０６０とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ２０７０と、アプリケーションプログラム、システムプログラム、及びデータを記憶するための不揮発性記憶装置（たとえば、ハードディスク（ＨＤＤ））２０８０と、ネットワーク等を介して外部機器、たとえば、サーバ等と通信するための通信インタフェース２０９０と、カメラ３０からの画像信号を受信するための画像入力インタフェース２０９２とを含む。

コンピュータシステム２０に、本実施の形態の視認状態検知装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２２００、またはメモリ媒体２２１０に記憶されて、ディスクドライブ２０３０またはメモリドライブ２０２０に挿入され、さらにハードディスク２０８０に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ本体２０１０に送信され、ハードディスク２０８０に記憶されても良い。プログラムは実行の際にＲＡＭ２０７０にロードされる。

コンピュータシステム２０は、さらに、入力装置としてのキーボード２１００およびマウス２１１０と、出力装置としてのディスプレイ２１２０とを備える。

上述したようなコンピュータシステム２０として機能するためのプログラムは、コンピュータ本体２０１０に、情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２０がどのように動作するかは周知であり、詳細な説明は省略する。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

さらに、ＣＰＵ２０４０も、１つのプロセッサであっても、あるいは複数のプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。

［システムの各機能についての説明］
以下では、図１で説明した視認状態検知装置の構成のうち、主要な機能を実現するための詳細について説明する。

また、このような機能の実現性を確認するために、以下のような検証を行った結果についても説明する。

図３は、視認状態検知装置の主要機能の説明および検証を実行するためのシステムの構成を説明するための概念図である。

コンピュータ２０については、図１および図２で説明したのと同様の構成である。

図３においては、カメラ３０およびカメラ３２も設けられているものの、対象者２の視線の検出や対象者２の視認対象となる領域の画像の取得は、主として、対象者２の装着する眼鏡型視線計測装置６により実行されるものとして説明する。

このような眼鏡型視線計測装置については、たとえば、以下の文献に開示がある。

文献７：特開2013-81762号公報
文献８：特開2014-215963号公報
文献９：特開2017-41123号公報
また、トビー・テクノロジー社製の商品名「Tobii Pro グラス 2」や、ナックイメージテクノロジー社製の商品名「アイマークレコーダEMR-9」などの装置によっても、視線検出を実行することが可能である。

特に限定されないが、このような眼鏡型視線計測装置６からコンピュータ２０がデータを取り込む際には、無線インタフェース３４を利用して実行する構成とすることが可能である。

また、以下では、対象者２の視認状態の検証を行うために、モニター５上に、対象物４が表示されるものとする。また、モニター５の４角には、マーカー３．１〜３．４が配置されており、取得された画像中のマーカーの配置の情報から逆算して、対象者２の頭部姿勢が推定されるものとする。マーカー３．１〜３．４としては、特に限定されないが、たとえば、赤外線ＬＥＤを用いることができる。
（視認推定）
運転中の運転者を対象者２として想定すると、運転者に呈示される情報には、自車の状態や車外環境の情報などが挙げられる。

たとえば、安全運転支援において重要となる視認の対象物としては、車外の歩行者や標識といった注意すべき物体の存在がある。このような情報を運転手の状態に応じて呈示するためには、運転手が注意すべき物体を確認したか否か推定することが必要となる。運転手が注意すべき物体を確認したことを適切に推定することが可能となれば、確認が完了した時点での情報呈示の停止が可能となることや、既に確認した物体に関する情報を呈示しないことが可能となり、不必要な誘導を避けた劾率的な情報提示が可能となる。

このような効率的な情報呈示によって運転手に負荷の少ない注意誘導が実現され、より快適で安全な運転につながると考えられる。

（視認と人の視覚野）
視覚による情報伝達は眼球前方の情報が眼球内の網膜上に投影され、視神経を通じて脳に伝達されることで人は外界を認知することができる。

眼球内の網膜は中心部だけ感受性が高いため視線方向の物体は解像度が高く細部まで認識可能となり、中心から離れるほど網膜上の物体の解像度は低下する。感受性が高い中心部を中心視野と呼び、その周囲から視界の端までの範囲を周辺視野と呼ぶ。中心部の解像度が高い部分はごく一部に限られているが、中心視野の部分でのみ物体の詳細な情報を認識しているわけではない。

図４は、ヒトの中心視野、周辺視野および有効視野を示す概念図である。

図４に示すように、中心視野の周囲の周辺視野の部分に有効視野と呼ばれる範囲が存在し、有効視野の部分においても物体をある程度認識することが可能である。

自動車の運転中の車外に存在する物体は自車に対して相対的に移動しており、運転手は移動する物体を視認することが必要とされる。一般的に移動する物体を視認する際には、人の眼球は追従眼球運動と呼ばれる運動を行い、ターゲットに対して注視点を追従させようとする。ただし、追従眼球運動中であってもターゲットの軌道と注視点の軌道は必ずしも一致せず、眼球の中心窩でターゲットをとらえ続けているわけではないことがわかっている。つまり、人は静止物体のみならず移動物体の視認においても、中心視野だけでなく有劾視野の範囲でも物体を認識していると考えられる。
［ヒトの物体に対する視覚特性］
（ターゲットの視覚特性と視認難易度）
実際の運転場面の中で運転手が見る景色は複雑であり、運転場面の中には注意すべき視覚ターゲットのみならず、ターゲットの視認を妨害する物体が存在する。運転手が注意すべきターゲットには、標識や歩行者、前走車、前走車のテールランプなどがある。妨害としては街路樹や壁、影などのターゲットの視認を妨害する要因も存在する。運転手にとってターゲットを視認する難しさは、ターゲットそのものの視覚特性に加えてターゲット周囲の妨害も影響する。本研究ではこのように様々な視覚特性によって変化するターゲットを視認する難しさを視認難易度と定義する。

視認難易度を変化させる視覚特性には、ターゲットの大きさ、背景とのコントラスト、妨害の程度、色、速度などの要因が挙げられる。

上述した文献４〜６にも開示されるとおり、自動運転技術のために自動車に画像センサやレーザセンサを設置し、車外の情報を収集・解析する研究が盛んに行われており、このような車外に存在するターゲットやその周囲の情報は十分に取得可能である。
（視認難易度とターゲット視認時の視線挙動の関係性）
以下ではターゲットの視認難易度とターゲット視認時の視線挙動の関係性を調べるため、抽象化して設計した実験タスクによって被験者実験を行う。

実験1では多数存在するターゲットの視覚特性の要因から大きさ、コントラスト、妨害の程度に着目する。これらの要因を変化させることでターゲットの視認難易度を変化させ、ターゲットを視認する際の視線挙動を分析する。

図５は、ターゲットの視覚特性の要因と視認難易度の関係性を示す図である。

図５に示すように、それぞれ大きさは大きいほど、コントラストは高いほど、妨害の程度は少ないほどターゲットの視認はより簡単になる。
（実験１：視覚ターゲットの視認難易度とターゲット視認時の視線挙動の関係）
まず、以下では、実環境を抽象化した実験によって、ターゲットの表示位置やパラメータを制御して視認難易度に関して得られたデータについて説明する。

実験１では、ディスプレイ上に表示するターゲット刺激は数字「0」〜「9」とし、「2」を認識ターゲットとする。

図６は、実験１で実験参加者に課した実験フローを示す図である。

図６に示すように、以下のような実験を行う。

すなわち、実験は背景が黒の画面内に
ｉ）面の中心に固視点「+」を1．5［s］間表示し、実験参加者に固視点を注視させる。

ｉｉ）固視点を消失させ0．16［s］〜1．0［s］間待機する。

ｉｉｉ）覚ターゲットを中心から±5度以内の位置を表示開始位置として、4方向（右上、左上、左下、右下）のうちの1方向に移動させながら0．8［s］間表示する。実験参加者にはターゲット刺激が認識ターゲットと確実に視認したとき、可能な限り早くボタンで応答するよう指示した。

妨害刺激としてｉ）〜ｉｉｉ）の間、複数の「〇」の図形を図形毎にランダムな方向に常に移動させながら表示し続けた。ｉｉｉ）の次は再びｉ）に戻り、これを繰り返す。1セットあたり認識ターゲットが１２０回出現するまで繰り返し行い、休憩をはさみながら1人あたり３セット行った。

対象者は、図５に示した各要因をそれぞれ３段階（大きさ（視野角）： 0．57、2．08，3．12度、輝度（背景に対するコントラスト）： 50，150，255、妨害の程度：10，20，30［個］）に変化させて表示した。ただし、ｉ）〜ｉｉｉ）の期間で、妨害の大きさと輝度はターゲット刺激として同じレベルとし、妨害の表示パラメータ変更はｉ）のタイミングで行った。実験参加者にはｉ）のときに固視点を注視するよう指示したが、その後の視線挙動については一切指示をしなかった。実験参加者は26〜55歳の男女17を（男性1名、女性16名）である。

モニター５上にマーカー３．１〜３．４が設置されているので、視線計測装置の視野画像内に観測されたマーカー位置から頭部運動が推定される。算出した頭部姿勢と視野画像内の注視点位置からモニター５上の注視点を算出することができる。
（視認難易度の算出）
前節で述べた大きさ、輝度、妨害の程度の３つの要因の違いが視線挙動に与える影響を評価するために、実験１では呈示条件毎に、式（３．１）に示す認識タスクの誤答率に基づいて「視認の難易度」を定める。

実験１では視認難易度に影響を与える３つの要因の条件をそれぞれ３通りずつ変化させているため、２７通りの呈示条件がある。以下の解析では着目する1つの要因以外の差異を無視して条件を満たすデータを抽出して解析する（例えば「大きさ」ついて分類する場合は「輝度」「妨害数」の差異は無視する）。

図７は、視認難易度の要因と各要因の難易度のスコアを示す図である。

図７に示すように、大きさ・妨害数についてはそれぞれターゲットが大きいほど、妨害数が少ないほど低い誤答率が得られる。

一方で、輝度については、本実験の条件では、誤答率の差異が小さい。
（解析対象とする視線挙動の特徴量）
解析では、以下に説明するように、視線挙動の中で追従時間、最接近角度、注視点とターゲットの動きの類似度の３項目について解析することとした。ターゲットの視認難易度との関係を各項目について以下に説明する。

（ａ）追従時間Ｔ_d
図８は、視線挙動を示す特徴量のうち、追従時間を示す概念図である。

追従時間はターゲットを視認するために注視点の追従を行った時間である(Fig．3．5(a))。実験１ではターゲットの表示開始位置を中心から±5度以内としているため、ターゲットの出現とほぼ同時に実験参加者はターゲットに気づくと考えられる。実験参加者にはターゲットを視認したら可能な限り早くボタンで応答するよう指示したため、実験１では表示開始からボタン応答までにかかった時間を視認に要した追従時間とした。ターゲットの視認難易度が高いほど、より確実に視認するために長い追従時間が必要になると考えられる。
（ｂ）最接近角度θ_d
図９は、視線挙動を示す特徴量のうち、最接近角度を示す概念図である。

注視点がターゲットに最も接近した時の位置関係を表す。実験参加者の目の位置から注視点への方向ベクトルと、目の位置からターゲットへの方向ベクトルのなす角度を、最接近角度と呼ぶことにする。

ターゲットを視認する場合、ターゲットに対する注視が生じやすいと考えられることから、試行の中で注視点がターゲットに最も接近した時点の角度を解析対象とする。

（ｃ）注視点とターゲットの動きの類似度θ_v
図１０は、視線挙動を示す特徴量のうち、最接近時の移動方向の類似度を示す概念図である。

ターゲットと注視点の動きの関係性を解析するための特徴量として、ターゲットの移動方向ベクトルと注視点の移動方向ベクトルのなす角度の差を「動きの類似度」として採用する。視認時に近いタイミングでの移動方向の差を解析対象とするため、（ｂ）の最も接近したときの移動方向の差をもとにする。

（実験２：視認難易度と視線挙動の特徴量の分析）
図１１は、視認難易度と視線挙動の特徴量との関係を示す図である。

図１１（ａ）は、視認難易度と追従時間（応答時間）の関係を示す。

縦軸は追従時間、横軸は視認難易度である。グラフは左側ほど簡単な試行であったことを表している。実験結果からターゲットの視認難易度が高いほど、反応までの時間が長くなっており、視認難易度と追従時間には直線的な関係が見られる。ここから視認が難しいターゲットであるほど時間をかけた追従が生じていることがわかる。

図１１（ｂ）は、視認難易度と最接近角度の関係を示す。

縦軸は最接近角度、横軸は視認難易度（誤答率）である。グラフは左側ほど簡単な試行であったことを表している。

実験結果からターゲットの視認難易度が高いほど、最接近角度が小さくなっており、追従時間と同様に直線関係であることがわかる。つまりターゲットの視認が難しいほど注視点をターゲット近くまで移動させる挙動が生じていることがわかる。

図１１（ｃ）は、視認難易度と注視点とターゲットの動きの類似度の関係を示す。

縦軸は注視点とターゲットの動きの類似度、横軸は視認難易度である。グラフは左側ほど簡単な試行であったことを表している。結果から視認難易度が高いほど、ターゲットに対してより平行に移動するような注視点の挙動が生じたことがわかる。

これら結果から、視認難易度（誤答率）と追従時間、最接近角度、注視点とターゲッ卜の動きの類似度との間にそれぞれ直線的な関係（相関）があることが確認された。このことは、ターゲットの視認難易度を推定することによってターゲットの運動と人の視線挙動の関係から視認の有無をより適切に推定できる可能性を示唆する。

一方で観察された視線挙動には大きなばらつきがあり、その原因は実験参加者間の個人差であると考えられる。安定した視認推定の実現には個人毎の視線挙動の特性を把握し、それを推定処理に反映させる手法の検討も必要となる可能性が高い。

実験１および実験２において、移動するターゲットを視認するタスクを実験参加者に課し、ターゲットの視認難易度とターゲットを視認する際の視線挙動との関係性を分析した。実験結果から、ターゲット視認タスクにおける視線挙動がターゲットおよびその周辺の視覚特性によって異なることわかった。視線挙動の違いは、ターゲッ卜の認識率（認識タスクの誤答率）として定義される視認難易度と一定の関係性を持つことを確認された。
［視認難易度の個人特化］
実験１と実験２の結果を受けて、個人差による視線挙動のばらつきを軽減するため、視認難易度の個人特化方法について説明する。

このような個人差についての実験も、図３において説明したのと、同様な実験の構成で行う。

すなわち、自然な姿勢での計測とするため、視線の計測は眼鏡型の視線計測装置を用いて頭部非固定で行い、モニターの枠上に赤外線ＬＥＤを４個設置してマーカーとし、視線計測装置の視野画像内に観測されたマーカー位置を用いて頭部運動を推定した。算出した頭部姿勢と視線計測結果からモニター上の注視点を算出した。実験は暗環境で行った。
（個人差の計測）
（視認難易度の個人特化方法）
以下に説明するように、実験３によってあらかじめ個人特性を計測した後、実験４の解析時にターゲットの視認難易度を個人毎に算出することで視認難易度を個人特化する。

このようにして個人特化された視認難易度の情報は、図１の個人特化情報２０８６として使用される。

実験３および実験４では、実験参加者は３７〜４６歳の女性１０名である。実験では視認難易度変化させるパラメータとしてターゲットの速度と大きさを用いた。速度はターゲットが移動することを前提としているため視認難易度に影響すると推測される。
(実験３：個人毎の視認特性の計測)
図１１に示した実験２では、視認する際の最接近角度がターゲットの大きさによって変化することを示している。また、ターゲットの視認性と視線挙動の関係には、一般には、個人差があると考えられる。

実験３では、視認可能な有効視野、ターゲットへの追従能力の差異、大きさ及び速度に対する個人ごとの視認特性を計測する。

図１２は、実験３の実験フローを示す図である。

図１２に示すように、実験３の実験フローは以下のとおりである。

ｉ）モニターに固視点を表示し、
ｉｉ）「▲」と「■」の図形を合計６個固視点の周囲に表示する。実験参加者には常に固視点を見続けるよう指示した。

ｉｉｉ）「■」の個数を答えさせる。周題の図形の大きさを２段階（視野角1．0，3．3度）、表示角度を３段階（視野角10，15，20度）、移動速度を３段階（視野角0，18，36［度/s］）でそれぞれ変化させ、すべての組み合わせが１０試行ずつ行われるよう合計１８０回行った。

要因の条件の組み合わせは１８種類あり、それぞれの誤答率を基に個人特性を抽出する。速度と大きさを誤答率の従属変数として、実験参加者毎に重回帰分析により式（４．１）の各パラメータＡ，Ｂ，Ｃを求めた。次節に述べる実験2の解析において、実験タスクの呈示条件（速度、大きさ）から式（４．１）によって実験参加者毎の視認難易度を算出し、視認難易度の個人特化を行う。

すなわち、個人ごとに、このパラメータＡ，Ｂ，Ｃの大きさが変化することになる。

なお、誤答率（視覚難易度）を回帰する式としては、必ずしも上記のような線形関係だけに限定されるものではない。速度が大きいほど、誤答率が高くなり、ターゲットの大きさが大きいほど、誤答率が低くなる関係式であれば、他の実験式を用いることも可能である。あるいは、上記のような回帰式に限られず、たとえば、ニューラルネットの入力として、ターゲットの速度、大きさ、対象物から所定の範囲内にある妨害物の数などを入力として、誤答率を出力とするように、機械学習を行ってもよい。さらに、このような誤答率を算出する実験としては、今回のような抽象的な情報の呈示ではなく、より現実の状況に近い画像を対象者に提示することで、上記のような回帰関係を得ることとしてもよい。

このようにして、予め特定の対象者に対して、誤答率（視認難易度）の回帰関係を求めた関係式や、ニューラルネットの構成や重み係数を、図１に示した個人特化情報２０８６として、記憶装置２０８０内に格納しておく。

そして、視認対象となる物体（ターゲット）の速度や大きさといったような視認の難易度に影響を与える要因について、「視認難易度」を定義することで、個々の対象者の視力や年齢等に影響されうる視認能力のレベルを統一的に扱うことが可能となる。

（実験４：速度と大きさを変化させたターゲット視認実験）
図１３は、個人特化した視認難易度とターゲット視認時の視線挙動の関係性を分析するための実験のフローを説明するための図である。

実験回数は1人当たり３００試行とした。ターゲット刺激の大きさ（視野角０．８〜２．５度）と速度（０〜４８［度／ｓ］)を変化させることでターゲットの視認難易度を変化させた。

ｉ）固視点を画面中心に１．０[s]表示する。

ｉｉ）画面のランダムな位置にターゲット刺激を表示する。

ｉｉｉ）ターゲット刺激が何か回答させる。この時、確実に図形が何か認識した場合のみ図形を選択させ、自信がない場合には「わからない」を選択するよう指示した。

ターゲット刺激は図形の６角形と７角形とした。

ここでは、最接近角度を用いて検討を行う。ターゲットを視認する際、ターゲットが十分に長い時間表示された時には注視点がターゲットに十分近くまで接近すると考えられ、最接近角度はターゲットの視認難易度に関わらず十分小さくなると考えられる。

そこで視認難易度を２０段階に四捨五入して分割し、各視認難易度について表示時間毎の視認の成功率（正解率）の関係を分析した。

図１４は、視認難易度０．５の試行に関しての表示時間と正解率の関係を示す図である。

表示時間が長いものほど正解率が高くなることがわかる。全ての視認難易度について、正解率が５０％を初めて超えた時点までを視認動作を終えた時間とし、ターゲット刺激呈示開始から視認動作終了時点までの視線挙動を解析する。
（個人特化した視認難易度の評価結果）
図１５は、視認難易度と最接近角度との関係を示す図である。

図１５（ａ）は、視認難易度を個人特化した結果であり、実験３で実験参加者毎に抽出した大きさと速度と誤答率の相関関係から、実験４において実験参加者毎の視認難易度を求めた結果である。

図１５（ｂ）は、個人差を考慮しない場合の結果である。すなわち、実験３での誤答率を全実験参加者の平均値とし、大きさと速度と誤答率の関係式からターゲットの視認難易度を算出している。

図１５においては、視認難易度を幅０．０５毎の区間に分割し、区間毎に最接近角度の平均値、標準偏差を算出した。ただし、視認に成功した試行のみ解析対象とした。

図１５（ａ）および（ｂ）により個人特化の有無に関わらずターゲットの視認難易度が高い程、最接近角度が小さくなることがわかる。特に、視認難易度の高い条件において、実験参加者の個人差を考慮した場合、考慮しない場合に比べて最接近角度の標準偏差が小さい（p＜０．０１）。
したがって、対象者の個人特性を計測し、計測結果に基づいて対象者ごとにターゲット呈示条件と視認難易度の回帰関係を得る。その結果、視認難易度の個人差を考慮することで、特にターゲットの視認難易度が高い場合において個人差を考慮しない場合に比べて標準偏差がより小さくなることが確認された。
［視線挙動と視認難易度に基づく視認推定の評価］
以下では、リアルタイムでの視認状態を推定する手法について説明する。

すなわち、図１に示した視認状態判定部４０１０の実行する処理として、視線挙動を基に、機械学習によって視認の有無の推定を行う。

ここまでで、追従時間や最接近角度、最接近時の移動方向の類似度を視線挙動の１つとして解析した結果において、視認難易度の違いによって視認時の視線挙動が変化することが明らかになった。したがって、視認難易度の違いを考慮した視線挙動特性の解析によって、視認の有無の識別が可能になる。
（視線挙動と視認推定）
以下では、まず、視線挙動特徴に基づいて視認推定を行うために、機械学習手法として、ｋ近傍探索法によって視認の有無を識別する手法について説明する。

視線挙動に関する特徴量としては、有効視野内にターゲットが存在した時間（追従時間）と最接近角度を算出し、視線挙動以外の特徴量であるターゲットの呈示パラメータ（大きさ、速度）、視認難易度と併せて識別に用いる。

以下では、追従時間の評価に用いる個人毎の有効視野の算出には、実験３で得られた式（４．１）の個人特性の算出方法に独立変数として刺激呈示距離を追加した式（５．１）を用い、重回帰分析により係数Ａ，Ｂ，Ｃ，Ｄを求める。

有効視野は、実験３で得られたパラメータに基づいて、誤答率０．５になる時の刺激呈示位置として、式（５．２）により算出する。個人差を考慮しない場合は実験参加者全体の平均値から算出する。

図１６は、識別に利用した入力特徴量の種類とk近傍探索法で得られた識別率を示す図である。

k近傍探索法のkの値は識別率が最大となるようチューニングし、ｋ＝17とした。実験結果より、特徴量として最接近角度のみを用いた場合の識別率は約５９％であった。個人差を考慮しない追従時間のみを用いた場合の識別率は６４％程度である。個人特化したターゲットの視認難易度を特徴量として加えることで、視線挙動特徴のみの場合と比べ約８％識別率が向上した。実験結果から、ターゲットの視認難易度を用いた個人特性を特徴量とすることは、視認の有無の識別に有効であることが確認された。また、視線挙動特徴の中では、特に追従時間が視認の有無の識別に重要であることが示された。
（ニューラルネットワークによる視認推定）
上述した種類の視線挙動特徴は計測データを解析するなかで視認の有無を識別する上で特に重要度が高いと考えられた情報を抽出すること意図して定義したものであり、視線挙動に含まれる情報の全てを表すものではない。

以下では、上記の解析で用いた特徴以外の視線挙動が識別に寄与する可能性を検討するため、ニューラルネットワークを利用して各時刻の視線挙動（注視点軌跡）自体を入力特徴とした識別器を生成し、本節で示した視線挙動特徴を用いた識別手法に対する識別性能の向上の有無を確認する。

図１７は、視認推定に用いるニューラルネットワークの構成を示す概念図である。

ニューラルネットワークは、図１７（ａ）に示すような構造を持ったｍ次元の入力ベクトルｘとｎ次元の出力ベクトルｙの関係を表すモデルを推定する。

図１７（ａ）の左端は入力層、右端を出力層、その間を中間層（隠れ層）と呼ぶ。

一般的に入力ベクトルには特徴量と呼ばれる物理量が与えられ、分類問題の場合には出力層にラベルが与えられる。教師データに対して誤差が最小になるように重みｗとバイアスbを変化させながら学習を行う手法である。

視認推定においては、対象とする注視点データは系列データであるため、時間方向の揺らぎに対してロバスト性を考慮し、畳み込みニューラルネットワーク（Convolution Neural Network、CNN）を利用する。

畳み込みニューラルネットワークとは、図１７（ｂ）のように畳み込み層とプーリング層の２種類の層を交互に積み重ねた構造を持ったニューラルネットワークである。
ＣＮＮは、特に画像認識分野でよく用いられており、高い認識性能を達成している。ＣＮＮは、一般的に画像の縦横方向の特徴量を畳み込みすることで、位置に依存しない特徴の学習が可能となる。

一方で、時系列データを対象として時間方向のみに畳み込むニューラルネットワークとして、時間遅れニューラルネットワーク(Time Delay Neural Network、ＴＤＮＮ)と呼ばれる手法が提案されている。

ＴＤＮＮについては、たとえば、以下の文献に開示がある。

文献１０：久保陽太郎，”音声認識のための深層学習”、深層学習、近代科学社、2015，PP．195-201．
なお、時系列データを扱うためのニューラルネットワークとしては、ＴＤＮＮに限定されるものではなく、たとえば、再帰型ニューラルネットワークなどを用いることも可能である。

ＴＤＮＮにおいてもＣＮＮと同様に時間方向に畳み込み演算を行い、最終ノードで時間方向に関して総和をとることで、どの時間に最も強くフィルターノードに反応したかという情報を捨て、時間方向の揺らぎに対してロバストな分類を実現できる。

視認推定で対象とする注視点データは系列データであるため、ＴＤＮＮの考え方を利用して学習を行うことで、視認に関わる視線挙動のフィルターが生成され、総和プーリング処理によって時間方向にロバストになる。
（ニューラルネットワークによる識別器の評価実験）
実験４において実験参加者１０名から収集した視線挙動データ合計３０００回分を用いて、ニューラルネットワークによって視認推定を行う。

図１８は、モニターと注視点の位置及び頭部座標との関係を示す概念図である。

顔がモニターの中心に向かって正面を向いている姿勢を基準に、頭部座標を設定する。

図１９、図２０、図２１は、ニューラルネットワークへの入力データを示す概念図である。

図１９に示すように、入力データとしては、（ａ）頭部姿勢の２次元系列データθvx,θvyと、図２０に示すように（ｂ）の頭部座標上の注視点角度の２次元系列データθhx,θhyと、図２１示すように、（ｃ）網膜座標上のターゲットの角度の２次元系列データθtx,θty及び視認難易度とターゲットの大きさ、速度のスカラー値とした。

頭部姿勢について、実験参加者は図１９中のｚ方向の軸周りには頭部を回転させないと考え、図２０のように上下左右方向の回転運動から頭部姿勢を算出した。

また、図２０に示すように、注視点角度の２次元系列データは、視線計測装置に取り付けられたへッドマウントカメラによって観測された注視点の角度である。

さらに、図２１に示すように、網膜座標上のターゲットの角度の２次元系列データは、モニターに設置したＬＥＤマーカーを、視線計測装置に取り付けられたヘッドマウントカメラによって観測して頭部姿勢推定を行い、網膜座標上に変換した注視点を基準とするターゲットの角度である。

視認難易度はターゲットの大きさと速度を式（４．１）に与えることで、視認難易度のスカラー値を算出した。

実験データは各実験参加について３００回の１０人で合計３０００回分であり、内訳は図１３の実験フロ一ｉｉｉ）で、６角形もしくは７角形を選択し、正解であった「視認成功」数が1586であり、「わからなかった」を選択した「視認不成功」数が1192、その他に６角形もしくは７角形を選択し、不正解であった「間違い」数が222となっている。

図１３に示す実験では、確実に視認した場合に正解と判断した方を選択するよう実験参加者に指示していたため、「間違い」のデータは除外し、「視認成功」と「視認不成功」のデータのみ利用することとした。入カデータは１［フレーム］刻みで最大が３０［フレーム］であり、３０［フレーム］未満のデータについては０−paddingしている。

学習データ不足を解消するために、全データを学習データとテストデータを分割した後、（ｉ）時間が３０［フレーム］（０．５［s］）以下の学習データについては、０−paddingのデータ位置を時間方向にデータをずらし、（ｉｉ）全ての学習データについて画面方向の軸に対して±３０度以内でランダムに回転させ、（ｉｉｉ）全学習データについて左右対称に反転させて、学習データを増加させた。（ｉ）、（ｉｉ）、（ｉｉｉ）によって合計で３０倍に学習データを増加している。
（ネットワークの構造）
図２２は、ニューラルネットワークの構成を示す図である。

入カデータは上述の６次元×３０［フレーム］の１８０次元、視認したか否かの２値分類問題であるため、カテゴリ数は２となり、入力層１８０ユニット、出力層２ユニットである。中間層の深さや全結合層のノード数、畳み込み層の種類はチューニングによって決定した。

図２３は、その他の学習処理におけるパラメータを示す図である。

１層目の畳み込み演算において、頭部姿勢角度の２次元、注視点角度の２次元、網膜座標上のターゲットの角度の２次元、視認難易度の計６次元を１次元に畳み込み演算する。その後、畳み込み演算とプーリング演算を行い、全結合した後カテゴリに分類するネットワークとなっている。視認難易度、大きさ、速度のスカラー値は、全結合層の直前にそれぞれのノードを追加した。
（識別性能の評価結果）
図２４は、ニューラルネットワークを用いた視認の認識の正解率を示す図である。

識別率は、k-fold交差検証を使用し、ｋ＝１０として得られた結果である。

視線挙動とターゲットの動きから推定する場合の正解率は０．６６１、実験参加者の個人差を考慮しない視認難易度を利用した場合の正解率は０．６８６、視認難易度を個人特化した場合の正解率は０．７６８となった。

この結果から、ターゲットの視認難易度を入力に加えることで、視認推定の精度が約２％向上する結果となった。さらにターゲットの視認難易度を個人特化することで、個人差を無視した場合と比べて約８％精度が向上する結果となった。ターゲットの視認難易度を特徴量として加えることで、より適切な視認推定が可能となることが示された。

以上説明したような一連の実験によって、ターゲット視認時の視線挙動ボターゲットの大きさ・明るさ・速度・妨害の程度などの視覚特性の差異を生じさせる要因には寄らずに定義される視認難易度によって変化することが確認された。

さらに、視覚ターゲットの動きと視線挙動から視認の有無を推定する手法について検討した。その結果、機械学習を用いた手法によって、約７７％の精度で視認の有無を推定できることを確認した。個人差を考慮した視認難易度を入力情報に加えることで、視認難易度を考慮しない場合に比べ約１０％以上、推定精度が向上することがわかった。このことは視認推定における視認難易度の有効性を示している。

図２５は、視認状態検知装置１０００の処理を実行するために、コンピュータ２０１０が実行する処理を説明するフローチャートである。

図２５を参照して、まず、演算装置２０４０は、視認対象の視覚特性の要因（ターゲットの大きさ、速度等）に対する視認難易度を回帰関係として対象者ごとに特定する（Ｓ１００）。

続いて、演算装置２０４０は、視認難易度と頭部姿勢情報および視線推定による注視位置情報を入力として、視認を判定する識別器を機械学習で生成する（Ｓ２００）。

さらに、演算装置２０４０は、図１に説明したような機能ブロックに基づいて、リアルタイムに入力される対象者の視認対象画像情報および視線検出情報に基づき、学習した識別器により、視認の有無を判別する（Ｓ３００）。

そして、演算装置２０４０は、判別された視認の有無に応じて、注意を誘導する（Ｓ４００）。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２０視認状態検知装置、３０，３２カメラ、２０１０コンピュータ本体、２０２０光学ディスクドライブ、２０３０光学ディスクドライブ、２０４０ＣＰＵ、２０５０バス、２０６０ＲＯＭ、２０７０ＲＡＭ、２０８０不揮発性記憶装置、２１００キーボード、２１１０マウス、２１２０ディスプレイ、２２１０メモリカード、２０９２画像入力インタフェース、４００２対象物抽出部、４００４視線検出部、４００６視認難易度推定部、４００８視認対象位置取得部、４０１０視認状態判定部、４０１２注意誘導処理部。

Claims

対象者の視認の状態を検知するための視認状態検知装置であって、
前記対象者にとっての視認の対象物を含む領域の画像を撮像するための撮像手段と、
前記対象者の視線方向を検出するための視線検出手段と、
前記対象者について、対象物の視覚特性に与える要因と視認難易度との関係に基づき、前記撮像手段により撮像された画像中の前記対象物の視認難易度を推定する視認難易度推定手段と、
前記撮像手段により撮像された画像における前記対象物の位置と前記視線検出手段により検出された視線方向を入力とする識別器により、視認の状態を判定する視認状態判定手段とを備える、視認状態検知装置。
前記視認難易度推定手段は、対象物の視覚特性に与える要因と視認難易度との関係を回帰した結果に基づき視認難易度を推定する、請求項１記載の視認状態検知装置。
前記対象物の視覚特性に与える要因は、前記対象物の、前記撮像された画像中における大きさおよび移動速度を含む、請求項１または２記載の視認状態検知装置。
前記視認難易度推定手段において、対象物の視覚特性に与える要因と視認難易度との関係の算出は、前記対象者個人ごとに実行される、請求項１〜３のいずれか１項に記載の視認状態検知装置。
前記視認状態判定手段における識別器は、ニューラルネットワークである、請求項１〜４のいずれか１項に記載の視認状態検知装置。
前記ニューラルネットワークに対する学習データは、
入力データとして、複数の学習用対象物の各々について、前記視線検出手段が視線検出処理において抽出する頭部姿勢の情報と、前記視線情報および前記対象物の前記画像中の位置により算出される前記対象者の網膜座標中の前記学習用対象物の位置の情報と、前記学習用対象物についての前記視認難易度の情報を含み、
教師データとして、予め前記対象者について取得された前記学習用対象物に対する視認情報を含む、請求項５記載の視認状態検知装置。
対象者の視認の状態を検知するための視認状態検知方法であって、
前記対象者について、学習用対象物の視覚特性に与える要因と視認難易度との関係を算出するステップと、
前記対象者にとっての視認の対象物を含む領域の画像を撮像するステップと、
前記対象者の視線方向を検出するステップと、
前記予め算出した関係に基づき、前記撮像手段により撮像された画像中の前記対象物の視認難易度を推定するステップと、
前記撮像された画像における前記対象物の位置と前記視線検出手段により推定された視線と、検出された視線方向を入力として、予め機械学習により学習された識別器により、視認の状態を判定するステップとを備える、視認状態検知方法。
前記学習用対象物の視覚特性に与える要因と視認難易度との関係を算出するステップは、学習用対象物の視覚特性に与える要因と視認難易度との回帰により算出するステップを含み、
前記対象物の視認難易度を推定するステップは、前記予め回帰にした結果に基づき、前記撮像された画像中の前記対象物の視認難易度を推定するステップを含む、請求項７記載の視認状態検知方法。
記憶装置と演算装置とを有するコンピュータに、対象者の視認の状態を検知するための視認状態検知を実行させるための視認状態検知プログラムであって、前記視認状態検知プログラムは、
前記演算装置により、前記対象者について、学習用対象物の視覚特性に与える要因と視認難易度との関係を算出して前記記憶装置に格納するステップと、
撮像装置により、前記対象者にとっての視認の対象物を含む領域の画像を撮像するステップと、
前記演算装置により、前記対象者の視線方向を検出するステップと、
前記演算装置により、前記記憶装置に格納された前記予め算出した関係に基づき、前記撮像手段により撮像された画像中の前記対象物の視認難易度を推定するステップと、
前記演算装置により、前記撮像された画像における前記対象物の位置と前記視線検出手段により推定された視線と、検出された視線方向を入力として、予め機械学習により学習された識別器により、視認の状態を判定するステップとを、実行させる、視認状態検知プログラム。
前記学習用対象物の視覚特性に与える要因と視認難易度との関係を算出するステップは、学習用対象物の視覚特性に与える要因と視認難易度との関係を予め回帰により算出して前記記憶装置に格納するステップを含み、
前記対象物の視認難易度を推定するステップは、前記演算装置により、前記記憶装置に格納された前記予め回帰にした結果に基づき、前記撮像手段により撮像された画像中の前記対象物の視認難易度を推定するステップを含む、請求項９記載の視認状態検知プログラム。