以下に、本発明にかかるトレーニング支援装置およびトレーニング支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、トレーニング支援装置を、視線検出結果を用いて発達障がいなどの診断を支援するとともに、トレーニングにも利用できる診断支援装置に適用した例を説明するが適用可能な装置はこれに限られるものではない。
本実施形態の診断支援装置は、ある事象の前後を示す画像(映像)を表示して、注視点の位置の停留時間を測定して評価演算する。また、原因を表すシーンおよび事象の前後を表すシーンを含む連続動画を、原因と事象の因果関係を表す説明画像として表示する。これにより、被教育者が理解しやすい効率的なトレーニング支援を実現する。
また、本実施形態の診断支援装置は、1ヵ所に設置された照明部を用いて視線を検出する。なお、診断支援装置は、上述した実施形態に限られるものではない。また、本実施形態の診断支援装置は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。
図1および2は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
図1に示すように、本実施形態の診断支援装置100は、表示部101と、撮像部に相当するステレオカメラ102と、LED光源103と、を含む。ステレオカメラ102は、表示部101の下に配置される。LED光源103は、ステレオカメラ102に含まれる2つのカメラの中心位置に配置される。LED光源103は、例えば波長850nmの近赤外線を照射する光源である。図1では、9個のLEDによりLED光源103(照明部)を構成する例が示されている。なお、ステレオカメラ102は、波長850nmの近赤外光を透過できるレンズを使用する。
図2に示すように、ステレオカメラ102は、右カメラ202と左カメラ203とを備えている。LED光源103は、被験者の眼球111に向かって近赤外光を照射する。ステレオカメラ102で取得される画像では、瞳孔112が低輝度で反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ202、左カメラ203)それぞれで取得することができる。
さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図3は、診断支援装置100の機能の概要を示す図である。図3では、図1および2に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図3に示すように、診断支援装置100は、右カメラ202と、左カメラ203と、LED光源103と、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図3において、表示画面201は、右カメラ202および左カメラ203との位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
スピーカ205は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部313は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部313は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
制御部300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信I/Fと、各部を接続するバスを備えているコンピュータなどにより実現できる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部101に表示する画像等を記憶する。表示部101は、診断のための対象画像等、各種情報を表示する。
図4は、図3に示す各部の詳細な機能の一例を示すブロック図である。図4に示すように、制御部300には、表示部101と、駆動・IF部313が接続される。駆動・IF部313は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部313には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ203が接続される。駆動・IF部313がこれらのカメラを駆動することにより、被験者を撮像する。
スピーカ駆動部322は、スピーカ205を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。
制御部300は、診断支援装置100全体を制御する。制御部300は、第1算出部351と、第2算出部352と、第3算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。なお、視線を検出する視線検出支援装置としては、少なくとも第1算出部351、第2算出部352、第3算出部353、および、視線検出部354が備えられていればよい。
制御部300に含まれる各要素(第1算出部351、第2算出部352、第3算出部353、視線検出部354、視点検出部355、出力制御部356、および、評価部357)は、ソフトウェア(プログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。
プログラムで実現する場合、当該プログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
第1算出部351は、ステレオカメラ102により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。第2算出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。第1算出部351および第2算出部352が、瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部に相当する。
第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線(第1直線)から、角膜曲率中心(第4位置)を算出する。例えば、第3算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第3算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第3算出部353は、まず目標位置(第3位置)を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線(第2直線)と、角膜反射中心とLED光源103とを結ぶ直線(第1直線)と、の交点を算出する。そして第3算出部353は、瞳孔中心と算出した交点との距離(第1距離)を算出し、例えば記憶部150に記憶する。
目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。
目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。
なお、目標位置は表示画面201の中央に限られるものではなく、任意の位置でよい。表示画面201の中央を目標位置とすれば、表示画面201の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。
距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。第3算出部353が、LED光源103の位置と、表示部101上の目標画像を示す所定の位置(第3位置)と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心(第4位置)を算出する算出部に相当する。
視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。
出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。
診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。
評価部357は、診断画像と、視点検出部355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。評価部357は、例えば、後述する図13および図16のような診断画像を表示した際の被験者の注視点の位置に基づいて評価値を算出する。評価値の算出方法の具体例は後述する。評価部357は、診断画像と注視点とに基づいて評価値を算出すればよく、その算出方法は、本実施形態に限定されるものではない。
図5は、本実施形態の診断支援装置100により実行される処理の概要を説明する図である。図1〜図4で説明した要素については同一の符号を付し説明を省略する。
瞳孔中心407および角膜反射中心408は、それぞれ、LED光源103を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。
図6は、2つの光源(照明部)を用いる方法(以下、方法Aとする)と、1つの光源(照明部)を用いる本実施形態との違いを示す説明図である。図1〜図4で説明した要素については同一の符号を付し説明を省略する。
方法Aは、LED光源103の代わりに、2つのLED光源511、512を用いる。方法Aでは、LED光源511を照射したときの角膜反射中心513とLED光源511とを結ぶ直線515と、LED光源512を照射したときの角膜反射中心514とLED光源512とを結ぶ直線516との交点が算出される。この交点が角膜曲率中心505となる。
これに対し、本実施形態では、LED光源103を照射したときの、角膜反射中心522とLED光源103とを結ぶ直線523を考える。直線523は、角膜曲率中心505を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、LED光源103を照射したときの角膜曲率中心は、直線523上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。
しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。
図7は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図1〜図4で説明した要素については同一の符号を付し説明を省略する。
目標位置605は、表示部101上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部101の画面の中央位置としている。直線613は、LED光源103と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。第3算出部353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図8は、本実施形態の算出処理の一例を示すフローチャートである。
まず出力制御部356は、表示部101の画面上の1点に目標画像を再生し(ステップS101)、被験者にその1点を注視させる。次に、制御部300は、LED駆動制御部316を用いてLED光源103を被験者の目に向けて点灯させる(ステップS102)。制御部300は、左右カメラ(右カメラ202、左カメラ203)で被験者の目を撮像する(ステップS103)。
LED光源103の照射により、瞳孔部分は暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、第1算出部351は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。第1算出部351は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、第2算出部352は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第1算出部351および第2算出部352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS104)。
なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。
第1算出部351および第2算出部352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS105)。第3算出部353は、求めた角膜反射中心の世界座標と、LED光源103の中心位置の世界座標とを結ぶ直線を求める(ステップS106)。次に、第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS107)。第3算出部353は、ステップS106で算出した直線とステップS107で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS108)。第3算出部353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS109)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
算出処理で表示部101上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部101内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。
図9は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、LED光源103と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。
図10は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図10の視線検出処理を実行することができる。診断処理では、図10の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。
ステップS201〜ステップS205は、図8のステップS102〜ステップS106と同様であるため説明を省略する。
第3算出部353は、ステップS205で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS206)。
視線検出部354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS207)。このベクトルが、被験者が見ている視線方向を示している。視点検出部355は、この視線方向と表示部101の画面との交点の三次元世界座標値を算出する(ステップS208)。この値が、被験者が注視する表示部101上の1点を世界座標で表した座標値である。視点検出部355は、求めた三次元世界座標値を、表示部101の二次元座標系で表される座標値(x,y)に変換する(ステップS209)。これにより、被験者が見つめる表示部101上の視点(注視点)を算出することができる。
(変形例1)
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図7および図8で説明した方法に限られるものではない。以下では、算出処理の他の例について図11および図12を用いて説明する。
図11は、本変形例の算出処理を説明するための図である。図1〜図4および図7で説明した要素については同一の符号を付し説明を省略する。
線分1101は、目標位置605とLED光源103とを結ぶ線分(第1線分)である。線分1102は、線分1101と平行で、瞳孔中心611と直線613とを結ぶ線分(第2線分)である。本変形例では、以下のように、線分1101、線分1102を用いて瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図12は、本変形例の算出処理の一例を示すフローチャートである。
ステップS301〜ステップS307は、図8のステップS101〜ステップS107と同様であるため説明を省略する。
第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心と、LED光源103の中心とを結ぶ線分(図11では線分1101)を算出するとともに、算出した線分の長さ(L1101とする)を算出する(ステップS308)。
第3算出部353は、瞳孔中心611を通り、ステップS308で算出した線分と平行な線分(図11では線分1102)を算出するとともに、算出した線分の長さ(L1102とする)を算出する(ステップS309)。
第3算出部353は、角膜曲率中心615を頂点とし、ステップS308で算出した線分を下辺とする三角形と、角膜曲率中心615を頂点とし、ステップS309で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心611と角膜曲率中心615との間の距離616を算出する(ステップS310)。例えば第3算出部353は、線分1101の長さに対する線分1102の長さの比率と、目標位置605と角膜曲率中心615との間の距離に対する距離616の比率と、が等しくなるように、距離616を算出する。
距離616は、以下の(1)式により算出することができる。なおL614は、目標位置605から瞳孔中心611までの距離である。
距離616=(L614×L1102)/(L1101−L1102)・・・(1)
第3算出部353は、算出した距離616を記憶部150などに記憶する(ステップS311)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
次に、診断支援処理の詳細について説明する。本実施形態では、所定の事象の原因と当該事象とを表す画像を診断画像として用いる。そして、診断画像内に設定した領域に対する注視点の停留時間を測定することにより診断支援を行う。これにより、因果関係を理解するためにどこを注視して情報を得たのか、注視したにも関わらず因果関係を理解できないのかなどの診断を支援することが可能となる。すなわち、従来より高精度の診断支援が可能となる。
図13〜図16は、本実施形態で用いる診断画像の一例を示す図である。図13〜図16の診断画像は、それぞれ、一連の連続動画に含まれる1つのシーンを示す画像の例である。連続動画は、途中でカット割り(画面の切り替えなど)が含まれる動画であってもよい。
図13は、塀の前の道路を人物が歩くシーンを示す画像である。足元には複数の石が落ちている。この画像について、領域が設定される。図13の例では、人を含む領域M、頭を含む領域H、人が転ぶ原因となる石(第1の対象の一例)を含む領域C、および、人(第2の対象の一例)が転ぶ事象とは関係ない石を含む領域Sが設定される。なお、図13〜図16の各画像は、画像の左上を原点(0,0)、右下の座標を(Xmax,Ymax)とする座標系を有する。
図14は、人が領域C内の石につまずいて、転びそうになった瞬間の画像である。図15は、人が領域C内の石につまずいて、転んだ瞬間の画像である。図16は、人が領域C内の石につまずいて、転んだ後のシーンを示す画像である。図14〜図16の各画像に対しても、それぞれ図13と同様な領域が設定されている。
本実施形態では、診断画像の1つとして、ある事象が起きる前の動画の一部をキャプチャした静止画またはこの静止画と同等な静止画と、ある事象が起きた後の動画の一部をキャプチャした静止画またはこの静止画と同等な静止画と、を使用する。
図13〜図16の例では、事象は「人が転ぶこと」であり、この事象の前の動画の一部をキャプチャした静止画1(図13)と、この事象の後の動画の一部をキャプチャした静止画2(図16)と、が診断画像として用いられる。なお、静止画の個数は2に限られず、3以上の静止画を用いてもよい。
図17は、このような診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。
まず、出力制御部356は、静止画1を表示部101に表示する。被験者は、表示された静止画1を見る。このとき、視点検出部355は、注視点を検出する(ステップS401)。
次に、出力制御部356は、静止画2を表示部101に表示する。被験者は、表示された静止画2を見る。このとき、視点検出部355は、注視点を検出する(ステップS402)。ステップS401からステップS402への進行は、被験者か操作者による、「次へ進むボタン」(図示せず)の押下などに応じて実行してもよい。被験者や操作者による指示なしに、連続的に表示が進行してもよい。
次に、評価部357は、被験者による一次回答の選択を受け付ける(ステップS403)。図18は、一次回答を選択するための選択画面の一例を示す図である。一次回答とは、診断画像(静止画1、静止画2)を表示した後に選択される回答である。図18の例では、回答の選択肢A1〜A4の中から、質問Qに対する一次回答が選択される。回答の選択肢は、原因または事象の少なくとも一方を表す名詞を含んでもよい。例えば図18では、正解となる選択肢A3は、原因を表す名詞「いし」と、事象を表す名詞「ころんだ」を含む。発達障がいの被験者は、因果関係の判断が難しいので、A3以外を選択することが多い。確率的には、因果関係を理解していなくても正解が選択される場合がある。このため、1問のみの質問では、高精度に診断を支援できない場合がある。従って、多くの種類の映像に対して同様に検査してもよい。これにより診断支援の精度をさらに向上させることができる。
評価部357は、例えばタッチパネルとして構成された表示部101から、被験者または操作者がタッチした位置を示す位置情報を取得し、位置情報に対応する選択肢の選択を受け付ける。評価部357は、被験者または操作者等が図示しない入力装置(キーボード等)を用いて指定した一次回答を受け付けてもよい。また、一次回答の選択は、図18のような選択画面を用いる方法に限られるものではない。例えば、操作者が口頭で質問および回答の選択肢を説明し、被験者に一次回答を口頭で選択させる方法を用いてもよい。
図17に戻り、出力制御部356は、例えば診断画像(静止画1、静止画2)に対応する動画(図13〜図16の診断画像に対応する一連の連続動画など)を表示部101に表示する。このとき、視点検出部355は、注視点を検出する(ステップS404)。
なお、ステップS401、ステップS402、および、ステップS404の注視点検出処理の詳細は後述する。
次に、評価部357は、被験者による二次回答の選択を受け付ける(ステップS405)。二次回答とは、診断画像に対応する動画を表示した後に選択される回答である。二次回答の選択は、例えば一次回答の選択と同様の方法により行ってもよい。二次回答の選択肢は、一次回答の選択肢と同じでもよいし、異なってもよい。二次回答を選択させるのは、静止画1と静止画2を見た後の判断(一次回答)と、その後に連続動画を見た後の判断(二次回答)と、を比較できるようにするためである。
次に出力制御部356は、質問の正解を表示部101に表示する(ステップS406)。また出力制御部356は、解説を表示部101に表示する(ステップS407)。
図19は、正解を表示するための正解画面の一例を示す図である。図19の例では、正解を示す選択肢A3が、他の選択肢と異なる表示態様で表示されている。正解を示す方法はこれに限られるものではない。一次回答の選択肢と二次回答の選択肢とが異なる場合、すべての選択肢を表示させて、正解の選択肢を強調して表示させてもよい。
例えばこの正解画面で、つぎボタン2001が押下されると、解説を表示するための解説画面が表示される。図20は、解説画面の一例を示す図である。解説画面が表示されることにより、被験者は、診断画像で示された事象の因果関係などを理解することができる。解説画面で、つぎボタン2101が押下されると、解説画面の表示が終了される。
図17に戻り、評価部357は、検出された注視点のデータを基に分析処理を実行する(ステップS408)。分析処理の詳細は後述する。最後に、出力制御部356は、分析結果を表示部101等に表示する(ステップS409)。
次に、注視点検出処理の詳細について説明する。図21は、注視点検出処理の一例を示すフローチャートである。なお、図21は、図17のステップS401の静止画1を表示した後の注視点検出処理を例に説明するが、図17のステップS402(静止画2を表示した後)、および、ステップS404(動画を表示した後)の注視点検出処理も同様の手順により実現できる。
まず、出力制御部356は、診断画像(静止画1)の再生(表示)を開始する(ステップS501)。次に、出力制御部356は、再生時間を計測するタイマをリセットする(ステップS502)。次に、視点検出部355は、各領域内を注視したときにカウントアップするカウンタ(カウンタST1_M、ST1_H、ST1_C、ST1_S、ST1_OT)をリセットする(ステップS503)。
カウンタST1_M、ST1_H、ST1_C、ST1_S、ST1_OTは、静止画1(ST1)を表示したときのカウンタである。各カウンタは、それぞれ以下の領域に対応する。各カウンタをカウントアップすることにより、対応する領域内で注視点が検出される時間を表す停留時間を計測することが可能となる。
カウンタST1_M:領域M
カウンタST1_H:領域H
カウンタST1_C:領域C
カウンタST1_S:領域S
カウンタST1_OT:上記以外の領域
次に、視点検出部355は、被験者の注視点を検出する(ステップS504)。視点検出部355は、例えば、図10で説明した手順により注視点を検出することができる。視点検出部355は、注視点の検出が失敗したかを判断する(ステップS505)。瞬きなどにより瞳孔および角膜反射の画像が得られない場合などに、注視点検出が失敗する。また、注視点が表示部101内に存在しない場合(被験者が表示部101以外を見ていた場合)も、失敗と判断してもよい。
注視点の検出が失敗した場合(ステップS505:Yes)、ステップS516に進む。注視点の検出が成功した場合(ステップS505:No)、視点検出部355は、注視点の座標(注視点座標)を取得する(ステップS506)。
視点検出部355は、取得した注視点座標が、領域M(人周辺)内にあるか否かを判定する(ステップS507)。領域M内にあるとき(ステップS507:Yes)、視点検出部355は、さらに取得した注視点座標が、領域H(頭部周辺)内にあるか否かを判定する(ステップS508)。領域H内にあるとき(ステップS508:Yes)、視点検出部355は、カウンタST1_Hをインクリメント(カウントアップ)する(ステップS510)。領域H内にないとき(ステップS508:No)、視点検出部355は、カウンタST1_Mをインクリメント(カウントアップ)する(ステップS509)。
領域Mにない場合(ステップS507:No)、視点検出部355は、取得した注視点座標が、領域C(因果関係の原因となる対象物付近)内にあるか否かを判定する(ステップS511)。領域C内にあるとき(ステップS511:Yes)、視点検出部355は、カウンタST1_Cをインクリメント(カウントアップ)する(ステップS512)。
領域Cにない場合(ステップS511:No)、視点検出部355は、取得した注視点座標が、領域S(因果関係の原因でない物付近)内にあるか否かを判定する(ステップS513)。領域S内にあるとき(ステップS513:Yes)、視点検出部355は、カウンタST1_Sをインクリメント(カウントアップ)する(ステップS514)。
領域Sにない場合(ステップS513:No)、設定された領域内に注視点がないので、視点検出部355は、カウンタST1_OTをインクリメント(カウントアップ)する(ステップS515)。
次に、出力制御部356は、映像の再生時間を管理するタイマの完了を確認する(ステップS516)。所定時間が経過していない場合、すなわちタイマが完了していない場合(ステップS516:No)には、ステップS504に戻り測定が継続される。タイマが完了した場合(ステップS516:Yes)、出力制御部356は、映像の再生を停止する(ステップS517)。
ステップS402の静止画2(ST2)を表示したときの注視点検出処理は、以下のようにカウンタを置き換えることにより、図21と同様の手順を適用できる。
カウンタST1_M→カウンタST2_M
カウンタST1_H→カウンタST2_H
カウンタST1_C→カウンタST2_C
カウンタST1_S→カウンタST2_S
カウンタST1_OT→カウンタST2_OT
ステップS404の動画(MOV)を表示したときの注視点検出処理は、以下のようにカウンタを置き換えることにより、図21と同様の手順を適用できる。
カウンタST1_M→カウンタMOV_M
カウンタST1_H→カウンタMOV_H
カウンタST1_C→カウンタMOV_C
カウンタST1_S→カウンタMOV_S
カウンタST1_OT→カウンタMOV_OT
次に、分析処理の詳細について説明する。図22は、分析処理の一例を示すフローチャートである。なお、以下で説明する分析処理、および、評価値は一例でありこれらに限られるものではない。例えば評価値は、表示する診断画像に応じて変更してもよい。
最初に、評価部357は、選択された一次回答が正解かを判断する(ステップS601)。正解であれば(ステップS601:Yes)、評価部357は、因果関係の把握能力が高いことを示す評価値を算出する(ステップS602)。
一次回答が正解ではない場合(ステップS601:No)、または、ステップS602の後、評価部357は、ans1=ST1_M+ST2_Mを計算する(ステップS603)。なお、例えばST1_Mは、カウンタST1_Mの値を表す。以下同様に、カウンタXの値を単に「X」と表す場合がある。
次に評価部357は、ans1が閾値k11より大きいかを判断する(ステップS604)。大きい場合(ステップS604:Yes)、評価部357は、事象の変化に対して注目度が高いことを示す評価値を算出する(ステップS605)。ans1は、人を含む領域M内に注視点が含まれる度合いを示すためである。評価値は、事象の変化に対して注目度が高いか、または、低いか、を示す2値であってもよいし、例えばans1の大きさに応じて変化する多値であってもよい。
ans1が閾値k11以下の場合(ステップS604:No)、または、ステップS605の後、評価部357は、ans2=ST1_H+ST2_Hを計算する(ステップS606)。次に評価部357は、ans2が閾値k12より大きいかを判断する(ステップS607)。大きい場合(ステップS607:Yes)、評価部357は、人の顔を含む頭部に対して注目度が高く、社会性の発達が高いことを示す評価値を算出する(ステップS608)。ans2は、頭を含む領域H内に注視点が含まれる度合いを示すためである。
ans2が閾値k12以下の場合(ステップS607:No)、または、ステップS608の後、評価部357は、ans3=ST1_C+ST2_Cを計算する(ステップS609)。次に評価部357は、ans3が閾値k13より大きいかを判断する(ステップS610)。大きい場合(ステップS610:Yes)、評価部357は、関連性への予測能力が高く、因果関係に関連した対象に対して注目していることを示す評価値を算出する(ステップS611)。ans3は、人が転ぶ原因となる石を含む領域C内に注視点が含まれる度合いを示すためである。
ans3が閾値k13以下の場合(ステップS610:No)、または、ステップS611の後、評価部357は、ans4=ST1_M+ST2_M+ST1_C+ST2_C+ST1_S+ST2_Sを計算する(ステップS612)。次に評価部357は、ans4が閾値k14より大きいかを判断する(ステップS613)。大きい場合(ステップS613:Yes)、評価部357は、さまざまな物体や事象に対して関心度が高いことを示す評価値を算出する(ステップS614)。ans4は、人または石などの物体を含む領域(領域M、領域C、領域S)内に注視点が含まれる度合いを示すためである。
ans4が閾値k14以下の場合(ステップS613:No)、または、ステップS614の後、分析処理を終了する。なお、ans1と同様に、ans2、ans3、および、ans4は2値であってもよいし、多値であってもよい。
発達障がいの被験者は、因果関係の理解が難しい場合が多い。そして、因果関係の原因となったものを注視してその情報を脳に取り入れたが因果関係が理解できなかったのか、因果関係の原因となったものを見ようとせず、情報そのものが脳に届いていないために因果関係が理解できなかったのか、により、療育の方法を変更することが望ましい。特に、因果関係の把握能力が高いことを示す評価値(ステップS602)、社会性の発達が高いことを示す評価値(ステップS608)、および、関連性への予測能力が高いことを示す評価値(ステップS611)に当てはまらない場合は、発達障がいのリスクがあるということになる。
本実施形態の診断支援装置によればある事象の前後の画像(例えば静止画1、静止画2)が表示されたときに、被験者がどの部分を見たかを測定する。このため、因果関係を理解できるか否かなどについても高精度に診断を支援することが可能となる。また、分析(診断)した結果を参考に、療育方針を決定することが可能となる。
図23は、因果関係の例を示す図である。左の列に記載の原因に対して、右の列に記載の結果が生じることを示している。上記静止画1および静止画2の代わりに、図23に記載の原因を示す静止画と、この原因に対応する結果を示す静止画と、を用いてもよい。なお、図23の例以外にも、原因と結果を表す様々な診断画像を用いることができる。また、例えば図23に示すような因果関係を示す診断画像(2つの静止画など)を複数回表示して、複数の診断画像に対する評価結果を積算してもよい。例えば、複数の診断画像を表示するごとに各カウンタの値をリセットせず、すべての診断画像に対するカウンタの値の加算を継続してもよい。なおこの場合は、例えば図22の分析処理で用いる各閾値を、使用する複数の診断画像の個数または種別等に応じて変更してもよい。これにより、さらに評価の精度を上げることができる。
図22に示すように、原則としては、事象の前後の画像(静止画1、静止画2)を表示したときの注視点に基づき診断の支援を行う。動画の表示、動画を表示したときの注視点の検出、および、解説の表示など(図17のステップS404〜ステップS407)は、被験者に正解を教えること、および、動画を見ることにより理解したか、などを評価可能とするために行われる。従って、例えば診断支援のみを目的とする場合は、これらの処理(図17のステップS404〜ステップS407)を省略してもよい。
また、例えば関連性への予測能力が高いかを示す評価値(ステップS611)が算出されれば、因果関係の理解についての診断を支援できる。この場合、正解画面の表示、および、一次回答の選択受付などは実行しなくてもよい。診断画像が表示されたときの注視点の検出結果のみで、ステップS611のような評価値を算出することができるためである。
図22では、各評価値は、それぞれ独立に算出されていた。図22の各条件のうち2以上を組み合わせて評価値を求めるように構成してもよい。例えば、一次回答が正解であり(ステップS601:Yes)、かつ、ans3が閾値k13より大きい場合(ステップS610:Yes)に、関連性への予測能力が高いことを示す評価値を算出してもよい。
図17の診断支援処理は、因果関係を説明する説明画像(動画)の表示(ステップS404)、正解の表示(ステップS406)、および、解説の表示(ステップS407)を含んでいる。従って、診断を支援できるとともに、トレーニングの支援も実現できる。また、例えば同じ診断画像または異なる複数の診断画像に対して図17の処理を繰り返せば、より効果的なトレーニングの支援が可能になる。
図24は、療育の効果を検証および表示する検証処理の一例を示すフローチャートである。
まず評価部357は、測定前に被験者の名前などの被験者情報と、測定日とを、例えば記憶部150などに記憶する(ステップS701)。次に、図17に示すような診断支援処理(測定)が実行される(ステップS702)。次に評価部357は、同一被験者の過去の測定データが記憶されているか否かを判断する(ステップS703)。測定データは、例えば、各カウンタの値(停留時間)、カウンタの値から算出されたans1〜ans4、および、評価値の一部または全部である。
過去の測定データが記憶されている場合(ステップS703:Yes)、出力制御部356は、過去の測定データ、および、過去の測定データに対する今回の測定データの変化を示す情報を表示部101に表示する(ステップS704)。
図25は、測定データの変化の決定方法の一例を説明するための図である。図25では、前回の測定データに対する今回の測定データの変化を、静止画および動画に分けて決定する例が示されている。
例えば、「因果関係の把握能力が高い」の評価値については、変化がないことが示されている。ansn_old(nは1〜4)は、前回の測定データの値を示す。ansn_new(nは1〜4)は、今回の測定データの値を示す。図25に示すように、測定データの変化は、例えば、ansn_newとansn_oldとの差分により決定できる。
出力制御部356は、このようにして決定した測定データの変化を示す情報(差分を示す値)を、例えば表示部101に表示する。出力制御部356は、測定データや変化を示す情報を、表示部101に代えて他の装置(ネットワークで接続された外部の通信装置、プリンタなど)に出力してもよい。
図24に戻り、過去の測定データが記憶されていない場合(ステップS703:No)、または、ステップS704の表示処理の後、出力制御部356は、今回の測定データを表示部101等に表示する(ステップS705)。なお、過去の測定データがある場合、出力制御部356は、前回の測定データ、今回の測定データ、および、変化を示す情報を同時に表示してもよい。
以上のように、何回か診断画像を見てトレーニングすることにより、因果関係を把握する能力を向上させること、また、そのトレーニングによる効果を確認することが可能になる。
動画を表示した場合にも分析処理を実行してもよい。図26は、動画表示時の分析処理の一例を示すフローチャートである。図22と比較すると、図26では、以下のようにans1〜ans4の算出方法および閾値が変更される。その他の処理の流れは図22と同様であるため説明を省略する。
ans1=MOV_M
ans2=MOV_H
ans3=MOV_C
ans4=MOV_M+MOV_C+MOV_S
k11→k21
k12→k22
k13→k23
k14→k24
図26に示すような分析処理により、動画を見たことによる理解の向上を評価可能となる。また、例えば図22の評価結果に、さらに動画の評価結果を積算するように構成してもよい。これにより、さらに評価の精度を上げることができる。
療育方針の決定を支援できるように、診断結果に応じて推奨するトレーニング方法(療育方針)を表示部101等に表示するように構成してもよい。例えば、評価部357が、測定データと予め定められた方針決定用の閾値とを比較し、出力制御部356が、閾値より小さい場合と閾値以上の場合とで異なるトレーニング方法を表示してもよい。また出力制御部356が、異なる測定データ(例えば、因果関係の把握能力が高いことを示す評価値と、関連性への予測能力が高いことを示す評価値)の値の組み合わせ等に応じて異なるトレーニング方法を表示してもよい。トレーニング方法としては、本診断支援装置100を用いるトレーニング方法、イラストや写真を用いるトレーニング方法などがあるが、その他のどのようなトレーニング方法であってもよい。
上記例では、説明画像として、診断時に用いた診断画像(静止画1および静止画2)を含む動画を用いたが、説明画像はこのような動画に限られるものではない。原因と事象の因果関係を表し、トレーニングの支援となる画像であればどのような画像であってもよい。例えば、診断画像とは異なる1以上の静止画を含む説明画像を用いてもよい。
(変形例2)
上記実施形態では、発達障がいなどの診断を支援する診断支援装置をトレーニング支援装置としても利用する例を説明した。例えば説明画像、正解、および、解説などを表示可能な装置であれば、診断支援装置以外にも上記実施形態のトレーニング支援装置を適用できる。本変形例では、タブレット、スマートフォン、および、ノートPC(パーソナルコンピュータ)などの携帯端末をトレーニング支援装置とした例を説明する。これ以外にも通常のパーソナルコンピュータなどの情報処理装置をトレーニング支援装置に適用することもできる。
例えば図17の診断支援処理のステップS401、ステップS402、および、ステップS404内で実行される注視点検出処理は、主に発達障がいの診断支援に用いる評価値を算出するために用いられる。従って、トレーニング支援を目的とする場合は、注視点検出処理は実行しなくてもよい。以下では注視点検出処理を含まないトレーニング支援処理の例について説明する。図27は、本変形例のトレーニング支援処理の一例を示すフローチャートである。
例えばトレーニング支援用のプログラムが開始されると、出力制御部356は、メニュー画面を表示する(ステップS901)。
図28は、変形例2のメニュー画面の一例を示す図である。図28に示すように、メニュー画面は、問題を選択するための選択ボタン2801〜2806と、終了ボタン2811と、を含んでいる。選択ボタン2801〜2806のいずれかが押下されると、対応する問題の画像が表示される。図28では、6種類の問題(問題1〜問題6)が選択可能な例が示されている。問題の個数、および、問題の選択方法は図28の例に限られるものではない。終了ボタン2811が押下されるとプログラムが終了する。
図27に戻り、出力制御部356は、終了ボタン2811が押下されたか否かを判断する(ステップS902)。終了ボタン2811が押下された場合(ステップS902:Yes)、出力制御部356はトレーニング支援処理を終了する。
終了ボタン2811が押下されていない場合(ステップS902:No)、出力制御部356は、選択ボタン2801〜2806が押下されたか否かを判断する(ステップS903)。選択ボタン2801〜2806が押下されていない場合(ステップS903:No)、ステップS902に戻り処理が繰り返される。
選択ボタン2801〜2806が押下された場合(ステップS903:Yes)、出力制御部356は、選択ボタン2801〜2806のうち押下されたボタンに対応する問題の選択を受け付ける(ステップS904)。出力制御部356は、受け付けた問題に対応する画像のうち、事象の原因を示す静止画1を表示する(ステップS905)。例えば使用者(被教育者)が、問題1を選択するために図28の選択ボタン2801を押下したとする。図29は、このときに表示される静止画1の例を示す図である。図29は、原因となる物体(石)を含む静止画の例を示している。
図27に戻り、出力制御部356は、所定の時間(例えば10秒)静止画1を表示した後に、事象を示す静止画2を所定の時間(例えば10秒)表示する(ステップS906)。各静止画の表示時間は同じであってもよいし、異なってもよい。図30は、このときに表示される静止画2の例を示す図である。図30は、原因となる物体(石)によって引き起こされた結果(転んでいる)を示す静止画の例である。
次に、出力制御部356は、回答の選択を受け付ける(ステップS907)。図31は、回答を選択するための選択画面の一例を示す図である。図31では、2つの静止画(静止画1、静止画2)とともに、質問Qと回答の選択肢A1〜A4とを含む選択画面の例が示されている。使用者は、回答の選択肢A1〜A4の中から、質問Qに対する回答を選択する。出力制御部356は、このようにして使用者によって選択された回答を受け付ける。
図27に戻り、出力制御部356は、質問の正解を表示部101に表示する(ステップS908)。た出力制御部356は、解説を表示部101に表示する(ステップS909)。
図32は、正解を表示するための正解画面の一例を示す図である。図32の例では、回答の結果(「よくできました ○」)とともに、正解を示す選択肢A3が、他の選択肢と異なる表示態様(グレーアウトしていない)で表示されている。例えばこの正解画面で、つぎボタン2001が押下されると、解説を表示するための解説画面が表示される。図33は、解説画面の一例を示す図である。解説画面が表示されることにより、被験者は、診断画像で示された事象の因果関係などを理解することができる。解説画面で、ボタン3301が押下されると、回答を示す動画(回答ビデオ)を再生する再生画面が表示される。
解説画面のボタン3301が押下されると、出力制御部356は、再生画面を表示部101に表示する(ステップS910)。再生画面では、例えば静止画1から静止画2までの過程を含む動画が表示される。図34は、再生画面の一例を示す図である。この再生画面は、再生される動画のある時点の画像であり、説明文(「石につまずきました」)を含む画像が表示された例を示している。このような動画を表示することにより、使用者は事象の因果関係などについてさらに理解を深めることが可能となる。
再生画面の表示が終わると、メニュー表示(ステップS901)に戻る。
このような処理により、注視点検出装置が搭載されていない、価格が安いタブレットのような装置でもトレーニングが可能になる。ただし、医師等がトレーニング時の注視点により評価したり、指導したりすることはできない。
図35は、ノートPCによりトレーニング支援装置を実現した例を説明する図である。図35は、ノートPCのディスプレイ(表示部101に相当)に、図29に対応する静止画1が表示された例を示す。
使用者の回答が正解であった場合、正解する毎にポイント等を付与してもよい。これにより、使用者がトレーニングを実施する意欲を高め、より効果的にトレーニングを支援可能となる。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)トレーニングのための画像を何回も視聴させることにより因果関係を効果的に理解させることができる。
(2)トレーニングの効果を測定することができる。
(3)被験者が因果関係に関連するものを注視したか、否かを知ることができる。
(4)療育のポイント・方向性を設定することができる。
(5)自己分析が可能である。
(6)社会性の発達についても確認できる。
(7)光源(照明部)を2ヶ所に配置する必要がなく、1ヵ所に配置した光源で視線検出を行うことが可能となる。
(8)光源が1ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。