JP2015043964A - 診断支援装置および診断支援方法 - Google Patents

診断支援装置および診断支援方法 Download PDF

Info

Publication number
JP2015043964A
JP2015043964A JP2014036635A JP2014036635A JP2015043964A JP 2015043964 A JP2015043964 A JP 2015043964A JP 2014036635 A JP2014036635 A JP 2014036635A JP 2014036635 A JP2014036635 A JP 2014036635A JP 2015043964 A JP2015043964 A JP 2015043964A
Authority
JP
Japan
Prior art keywords
image
diagnostic image
diagnostic
unit
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014036635A
Other languages
English (en)
Other versions
JP6135550B2 (ja
Inventor
修二 箱嶋
Shuji Hakojima
修二 箱嶋
首藤 勝行
Katsuyuki Shudo
勝行 首藤
賢 二宮
Masaru Ninomiya
賢 二宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2014036635A priority Critical patent/JP6135550B2/ja
Priority to EP14831584.9A priority patent/EP3028644B1/en
Priority to PCT/JP2014/069978 priority patent/WO2015016233A1/ja
Publication of JP2015043964A publication Critical patent/JP2015043964A/ja
Priority to US15/006,333 priority patent/US10123695B2/en
Application granted granted Critical
Publication of JP6135550B2 publication Critical patent/JP6135550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】診断の精度を向上させる。
【解決手段】表示部と、被験者を撮像する撮像部と、撮像部により撮像された撮像画像から、被験者の視線方向を検出する視線検出部と、視線方向に基づいて、表示部の表示領域における被験者の視点を検出する視点検出部と、複数の診断画像のうちいずれかを表示部に表示させ、診断画像を表示させたときに検出された視点の位置に応じて次に表示する診断画像を複数の診断画像から選択し、選択した診断画像をさらに表示部に表示させる出力制御部と、診断画像が表示されたときに視点検出部により検出された視点に基づいて被験者の評価値を算出する評価部と、を備える。
【選択図】図3

Description

本発明は、診断支援装置および診断支援方法に関する。
最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、1歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。
発達障がい早期発見のためには、例えば1歳半検診時に診断できることが理想的である。発達障がい児の特徴として、対面する相手の目を見ない(視線をそらす)ことが挙げられる。また、発達障がい児は、人物映像より幾何学模様の映像を好むことが知られている。
また、カメラで人の顔を撮影して、角膜反射と瞳孔の位置を算出することにより注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている。
特開2005−185431号公報 特開2008−125619号公報 特開2005−198743号公報 特開2011−206542号公報
しかしながら、1歳半程度の被験者の集中力には限度があるため、できるだけ短時間で診断を行うことが必要である。しかしながら、従来の注視点を検出する方法では、短時間での診断を支援できない場合があり、さらに短時間での診断を支援する方法が求められていた。
本発明は、上記に鑑みてなされたものであって、短時間での診断できる診断支援装置および診断支援方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、複数の診断画像のうちいずれかを前記表示部に表示させ、前記診断画像を表示させたときに検出された前記視点の位置に応じて次に表示する前記診断画像を複数の前記診断画像から選択し、選択した前記診断画像をさらに前記表示部に表示させる出力制御部と、前記診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、を備えることを特徴とする。
本発明にかかる診断支援装置および診断支援方法は、短時間で診断できるという効果を奏する。
図1は、第1の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。 図2は、第1の実施形態の診断支援装置の機能の概要を示す図である。 図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。 図4は、2台のカメラを使用した場合の目および距離の検出の一例を示す図である。 図5は、診断画像の一例を示す図である。 図6は、診断画像のタイムチャートの一例を示す図である。 図7は、第1の実施形態の診断支援処理の一例を示すフローチャートである。 図8は、診断画像のタイムチャートの一例を示す図である。 図9は、診断画像のタイムチャートの別の例を示す図である。 図10は、第2の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図11は、第2の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図12は、診断支援装置の機能の概要を示す図である。 図13は、図12に示す各部の詳細な機能の一例を示すブロック図である。 図14は、第2の実施形態の診断支援装置により実行される処理の概要を説明する図である。 図15は、2つの光源を用いる方法と、1つの光源を用いる第2の実施形態との違いを示す説明図である。 図16は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図17は、第2の実施形態の算出処理の一例を示すフローチャートである。 図18は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図19は、第2の実施形態の視線検出処理の一例を示すフローチャートである。
以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
(第1の実施形態)
従来は、モニタに映した単一のコンテンツに対する被験者の視線を検出し、被験者が注視した座標などによって発達障がいを判断していた。しかし、低年齢の被験者の場合は、診断中に長時間モニタを注視させることが難しいという問題があった。
そこで、第1の実施形態の診断支援装置は、検出された視点の位置に応じて次に表示する診断画像(コンテンツ)を複数の診断画像から選択する。例えば、被験者に視聴させるコンテンツ(動画など)に複数のインデックスを設けて仮想的に複数の診断画像に分割する。そして、ある診断画像を表示しているときに検出された被験者の視線の動きから、不要な診断画像をスキップして次のインデックスに対応する診断画像を表示する。このように、より診断支援に適した部分を選択的に提示することで、診断時間を短縮させることが可能となる。この結果、被験者の集中力の低下を防止し、診断の精度を向上させることができる。
図1は、第1の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図1に示すように、本実施形態では、表示画面101の下側に、1組のステレオカメラ102を配置する。ステレオカメラ102は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ202と左カメラ204とを備えている。
右カメラ202および左カメラ204の各レンズの直前には、円周方向に赤外LED(Light Emitting Diode)光源203および205がそれぞれ配置される。赤外LED光源203および205は、発光する波長が相互に異なる内周のLEDと外周のLEDとを含む。赤外LED光源203および205により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献2に記載された方法などを適用できる。
視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図2は、診断支援装置100の機能の概要を示す図である。図2では、図1に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図2に示すように、診断支援装置100は、右カメラ202と、左カメラ204と、赤外LED光源203および205と、スピーカ105と、駆動・IF(interface)部208と、制御部300と、記憶部150と、表示部210と、を含む。図2において、表示画面101は、右カメラ202および左カメラ204との位置関係を分かりやすく示しているが、表示画面101は表示部210において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
スピーカ105は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部208は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部210に表示する画像等を記憶する。表示部210は、診断のための対象画像等、各種情報を表示する。
図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。図3に示すように、制御部300には、表示部210と、駆動・IF部208が接続される。駆動・IF部208は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部208には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ204が接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者を撮像する。
赤外LED光源203は、波長1−LED303と、波長2−LED304と、を備えている。赤外LED光源205は、波長1−LED305と、波長2−LED306と、を備えている。
波長1−LED303、305は、波長1の赤外線を照射する。波長2−LED304、306は、波長2の赤外線を照射する。
波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長とする。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。なお、照射する赤外線の波長については、上記に限らず、波長1の赤外線を照射して瞳孔で反射された反射光を撮像した結果と、波長2の赤外線を照射して瞳孔で反射された反射光を撮像した結果とで、差が出せるものであればよい。
スピーカ駆動部322は、スピーカ105を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。
制御部300は、診断支援装置100全体を制御する。制御部300は、視線検出部351と、視点検出部352と、出力制御部353と、評価部354と、を備えている。
視線検出部351は、撮像部(ステレオカメラ102)により撮像された撮像画像から、被験者の視線(視線方向)を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる。視点検出部352は、検出された視線方向を用いて被験者の視点を検出する。視点検出部352は、例えば、表示画面101に表示された対象画像のうち、被験者が注視する点である視点(注視点)を検出する。視線検出部351による視線検出方法、および、視点検出部352による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献3と同様に、ステレオカメラを用いて被験者の視線方向および注視点を検出する場合を例に説明する。
この場合、まず視線検出部351は、ステレオカメラ102で撮影された画像から、被験者の視線方向を検出する。視線検出部351は、例えば、特許文献1および2に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視線検出部351は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視線検出部351は、左右のカメラ(右カメラ202、左カメラ204)で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置(目の位置)を算出する。また、視線検出部351は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視線検出部351は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。
視点検出部352は、例えば図1のような座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって注視点を計測してもよい。
図4は、2台のカメラ(右カメラ202、左カメラ204)を使用した場合の目および距離の検出の一例を示す図である。2台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ202で撮影された画像から検出した目の位置と、左カメラ204で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の3次元座標が得られる。これにより、目とステレオカメラ102間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、XY平面上での被験者の目(瞳孔)の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をXY平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。表示画面101には、診断画像が表示される。
なお、診断画像は、静止画および動画(映像)のいずれでもよいが、動画の方が注視されやすいので望ましい。診断画像は、例えば、時間的に連続して表示される複数の診断画像を含んでもよい。上述のように、1つの映像(動画像など)を分割して複数の診断画像として用いてもよい。複数の診断画像のそれぞれは、発達障がいであるか否かを診断できる画像である。例えば、複数の診断画像の少なくとも一部は、人物の画像(人物映像)と幾何学模様の画像(幾何学模様映像)とを含んでもよい。発達障がいの被験者が好む幾何学模様以外の画像として自然画を用いてもよい。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、および自然の景観などをカメラで撮像した画像(静止画、動画)を自然画として用いてもよい。また、人物および動物などを模したキャラクタの画像(静止画、動画)を自然画として用いてもよい。
図3に戻り、出力制御部353は、表示部210およびスピーカ105などに対する各種情報の出力を制御する。例えば、出力制御部353は、診断画像、および、評価部354による評価結果などの表示部210に対する出力を制御する。出力制御部353は、複数の診断画像のうちいずれかを表示部に表示させ、診断画像を表示させたときに検出された視点の位置に応じて次に表示する診断画像を複数の診断画像から選択する。そして、出力制御部353は、選択した診断画像をさらに表示部に表示させ、以下同様の処理を繰り返す。
次に表示する診断画像の選択方法としては、例えば、以下の方法を適用できる。まず、出力制御部353は、複数の診断画像のそれぞれを、複数のグループのいずれかに分類する。例えば、類似する診断画像が同一のグループに属するように分類してもよい。また、2つの画像(例えば、人物映像と幾何学模様映像)が、予め定められた点または予め定められた線に対して対称となるように配置された複数の診断画像(第1診断画像、第2診断画像)が、同一のグループに属するように分類してもよい。
そして、出力制御部353は、あるグループ(所定のグループ)に分類される診断画像を表示させたときに検出された視点の位置に応じて、次に表示する診断画像として、同じグループ(所定のグループ)に分類される他の診断画像を選択するか、他のグループ(複数のグループのうち所定のグループと異なる他のグループ)に分類される診断画像を選択するかを切替える。これにより、例えば、あるグループに属する診断画像に対しては発達障がいの傾向がない、または、この診断画像による診断は困難である、と判断される場合に、当該グループの残りの診断画像の表示をスキップさせることが可能となる。
切替える条件としては様々な条件を適用できる。例えば、検出された視点の位置が発達障がいの被験者の視点の位置のパターンに適合する場合に、同じグループの他の診断画像を選択し、その他の場合に次のグループの診断画像を選択するという条件を適用してもよい。
発達障がいの被験者の視点の位置のパターンとしては、例えば、人物映像に含まれる目の領域内に視点が含まれる割合が所定の閾値(例えば80%)未満であること、などのパターンを適用できる。適用できるパターンはこれに限られるものではなく、所定の期間における特定の領域内に視点が含まれる割合から発達障がいの傾向があるかを判断できるものであればあらゆるパターンを適用できる。例えば、人物映像と幾何学模様映像とを含む診断画像の場合、人物映像内に視点が含まれる割合が所定の閾値未満であるというパターンを用いてもよい。ある領域(画像)内に視点が含まれる割合は、例えば、検出された視点の総数(または視点が検出された時間の合計)に対する、当該領域内で検出された視点の個数(または当該領域内で視点が検出された時間の合計)によって求められる。
評価部354は、診断画像と、視点検出部352により検出された注視点とに基づいて、発達障がいの程度に関する指標として評価値を算出する。評価部354は、例えば、後述する図5のような診断画像を表示した際の被験者の注視点の位置に基づいて評価値を算出する。例えば、評価部354は、診断画像内の予め定められた領域(例えば目の領域)を見ている割合を評価値として算出し、評価値が低いほど、発達障害の可能性が高いことを示すような評価値を算出する。評価部354は、複数の診断画像それぞれに対して算出した値の平均値または合計値を最終的な評価値としてもよい。評価部354は、診断画像と注視点とに基づいて評価値を算出すればよく、その算出方法は、実施の形態に限定されるものではない。
図5は、診断画像の一例を示す図である。図5は、連続した1つの動画を、各映像の切り替わり目に目印(インデックス)をつけて仮想的に8つの動画(診断画像)に分割する例を示している。
診断画像501は人物の静止画映像である。診断画像501に含まれる目の領域および口の領域などのうち、いずれの領域を注視するかが診断の指標(評価値)となる。一般的に発達障がいが疑われる場合は目以外の領域を注視する傾向がある。
診断画像502は人物が話しかける映像である。診断画像501と同様に、診断画像502に含まれる目の領域および口の領域などのうち、いずれの領域を注視するかが診断の指標となる。一般的に発達障がいが疑われる場合は目以外の領域を注視する傾向がある。
診断画像503の左半分は、音楽に合わせて人物が動いている様子を複数の点を用いて表現した映像である。診断画像503の右半分は、上下逆さまで、音楽に調和せずに人物が動いている様子を複数の点を用いて表現した映像である。左側の映像は、人間の通常の全身像の動きと重なるため注視の対象になり易い。従って、左右映像への視線頻度が診断の指標となる。一方、発達障がいが疑われる場合は、一般的に点の集まりを人の動きと認識することが難しく、注視点に偏りがないことが特徴になる。
診断画像504は診断画像503に含まれる左右の画像を入れ替えた映像である。すなわち、診断画像503および診断画像504は、2つの画像が、予め定められた線(診断画像の中心付近を通る上下方向の線など)に対して対称となるように配置された複数の診断画像に相当する。このような2つの診断画像を用いることにより、被験者の視線が左右の位置関係に依存していないか確認し、より正確な診断を行うことが可能となる。
診断画像505は左半分に人物の映像を配置し、右半分に幾何学模様の映像を配置した診断画像である。左右映像への視線頻度が診断の指標となる。一般的に発達障がいが疑われる場合は人物の映像よりも幾何学模様の映像を好む傾向があると考えられている。
診断画像506は診断画像505とは逆に、左半分に幾何学模様の映像を配置し、右半分に人物の映像を配置した診断画像である。診断画像505とは多少異なる映像になっている。診断画像506も診断画像504と同様に、被験者の視線位置が左右位置関係に依存していないか確認するために用いられる。
診断画像507は画面全体に人物の映像を配置し、一部の領域に幾何学模様の映像を配置した診断画像である。幾何学模様の映像とそれ以外の領域の視線頻度が診断の指標となる。
診断画像508は診断画像507と異なる位置に幾何学模様の映像を表示する診断画像である。診断画像508も診断画像504と同様に、被験者の視線位置が左右位置関係に依存していないか確認するために用いられる。
図5の例では、8つの診断画像は、以下の4グループに分類できる。
・グループA:診断画像501、診断画像502
・グループB:診断画像503、診断画像504
・グループC:診断画像505、診断画像506
・グループD:診断画像507、診断画像508
各グループは、同様の指標(評価値)の算出に用いられる類似の診断画像を含んでいる。なお、各グループに含まれる診断画像の個数は2に限られるものではなく、3以上の診断画像を含んでもよい。
例えば、グループAの診断画像501が表示されているときに検出された視点の位置に応じて、次に表示する診断画像として、同一グループに属する診断画像502、および、次のグループBの診断画像503のいずれかが選択される。この場合、グループAは所定のグループであり、グループBは複数のグループのうち所定のグループとは異なる他のグループである。同様に、グループBの診断画像503が表示されているときに検出された視点の位置に応じて、次に表示する診断画像として、同一グループに属する診断画像504、および、次のグループCの診断画像505のいずれかが選択される。この場合、グループBが所定のグループとなり、グループCが複数のグループのうち所定のグループとは異なる他のグループとなる。グループCおよびグループDについても同様の処理が適用される。
図6は、表示される診断画像のタイムチャートの一例を示す図である。図6は、図5の診断画像501〜508が順に表示される場合の例である。各診断画像の表示時間はそれぞれ10秒であり、合計80秒で表示が終了する。時間短縮の処理を行うために、各診断画像の切り替わり目にインデックス(INDEX1〜INDEX7)が付与される。各診断画像を表示部210に表示している間、被験者の視線検出と診断を行う。このため、本来ならば被験者は最低でも80秒間、表示部210を注視する必要がある。本実施形態では、この時間を以下のような方法で短縮する。
最初に、図7のフローチャートおよび図8のタイムチャートを用いた診断時間短縮の例を示す。図7は、第1の実施形態の診断支援処理の一例を示すフローチャートである。図8は、表示される診断画像のタイムチャートの一例を示す図である。
まず、出力制御部353は、図5に示すような診断画像の再生を開始する。また、視線検出部351および視点検出部352が、視線および視点の検出動作を開始する(ステップS101)。出力制御部353は、最初に図5の診断画像501を表示する(ステップS102)。
出力制御部353は、診断画像501が表示されているときに検出された被験者の視点位置の80%以上が、人物映像の目の領域に含まれるか否かを判断する(ステップS103)。なお判断に用いる閾値(80%)は一例であり、これに限られるものではない。また診断画像が表示されているときとは、診断画像が表示されている期間のうち、一部の期間で判断するようにしてもよい。以下の説明に置いても同様である。
視点位置の80%以上が目の領域に含まれない場合(ステップS103:No)、出力制御部353は、次に表示する画像として診断画像502を選択し、診断画像502を表示する(ステップS104)。すなわち、視点位置の80%以上が目の領域に含まれない場合は、発達障がいの可能性が残るため、再度、類似する診断画像502を表示する。これにより、より精度が高い診断を行うことができる。出力制御部353は診断画像502を表示した後、次のグループの画像である診断画像503を表示する(ステップS105)。
出力制御部353は、診断画像501が表示されているときに検出された被験者の視点位置の80%以上が目の領域に含まれる場合(ステップS103:Yes)、出力制御部353は、診断画像502をスキップして、次に表示する画像として、診断画像503を選択し、診断画像503を表示する(ステップS105)。
図8の例では、80%以上の割合で目の領域を見ていたため、診断画像501に対しては発達障がいの傾向がない、または診断画像501による診断は難しいと判断される。このため、診断画像501に類似する診断画像502をさらに表示して診断することは有効ではない。従って、出力制御部353は、診断画像502の表示をスキップし、次の映像位置(INDEX2)へジャンプする。図8の例ではINDEX1からINDEX2へジャンプする。
次に、出力制御部353は、診断画像503が表示されているときに検出された被験者の視点位置の80%以上が、診断画像503の左半分の領域に含まれるか否かを判断する(ステップS106)。視点位置の80%以上が左半分の領域に含まれない場合(ステップS106:No)、出力制御部353は、次に表示する画像として診断画像504を選択し、診断画像504を表示する(ステップS107)。出力制御部353は、診断画像504を表示した後、診断画像505を表示する(ステップS108)視点位置の80%以上が左半分の領域に含まれる場合(ステップS106:Yes)、出力制御部353は、診断画像504をスキップして、次に表示する画像として診断画像505を選択し、診断画像505を表示する(ステップS108)。
図8の例では、80%以上右半分を見ているので、続いて診断画像504が表示され、より精度が高い診断が行われる。
次に、出力制御部353は、診断画像505が表示されているときに検出された被験者の視点位置の80%以上が、診断画像505の人物の領域に含まれるか否かを判断する(ステップS109)。視点位置の80%以上が人物の領域に含まれない場合(ステップS109:No)、出力制御部353は、次に表示する画像として診断画像506を選択し、診断画像506を表示する(ステップS110)。出力制御部353は診断画像506を表示した後、診断画像507を表示する(ステップS111)。視点位置の80%以上が人物の領域に含まれる場合(ステップS109:Yes)、出力制御部353は、診断画像506をスキップして、次に表示する画像として診断画像507を選択し、診断画像507を表示する(ステップS111)。
図8の例では、80%以上、模様領域を見ているので、続いて診断画像506が表示され、より精度が高い診断が行われる。
次に、出力制御部353は、診断画像507が表示されているときに検出された被験者の視点位置の80%以上が、診断画像507の人物の領域に含まれるか否かを判断する(ステップS112)。視点位置の80%以上が人物の領域に含まれない場合(ステップS112:No)、出力制御部353は、次に表示する画像として診断画像508を選択し、診断画像508を表示する(ステップS113)。視点位置の80%以上が人物の領域に含まれる場合(ステップS112:Yes)、出力制御部353は、診断画像508の表示をスキップし、診断画像の表示を終了する。
図8の例では、80%以上、模様領域を見ているので、続いて診断画像508が表示され、より精度が高い診断が行われる。
視線検出部351および視点検出部352は、被験者の視線および視点の検出動作を終了する(ステップS114)。評価部354は、各診断画像に対する評価値を算出する(ステップS115)。
図8の例では、診断画像502を再生する時間を省略することができるため、診断時間が80秒から70秒に短縮される。
次に、図9のタイムチャートを用いた診断時間短縮の別の例を示す。図9は、表示される診断画像のタイムチャートの別の例を示す図である。
被験者の視線および視点の検出動作が開始される(ステップS101)。出力制御部353は、診断画像501を表示し、このときの視点位置を判断する(ステップS103)。図9の例では80%以上、目以外の領域を見ているので、続いて診断画像502が表示され、より精度が高い診断が行われる(ステップS104)。
次に、出力制御部353は、診断画像503を表示し(ステップS105)、このときの視点位置を判断する(ステップS106)。図9の例では80%以上左半分を見ているので、この診断画像503に対しては発達障がいの傾向はない、またはこの診断画像503による診断は難しい。このため次の診断画像504による診断は有効ではない。従って診断画像504の表示がスキップされ、次の映像位置(INDEX4)へジャンプする。図9の例ではINDEX3からINDEX4へジャンプする。
次に、出力制御部353は、診断画像505を表示し(ステップS108)、このときの視点位置を判断する(ステップS109)。図9の例では80%以上模様領域以外を見ているので、診断画像505に対しては発達障がいの傾向はない、または診断画像505による診断は難しい。このため次の診断画像506による診断は有効ではない。従って診断画像506の表示がスキップされ、次の映像位置(INDEX6)へジャンプする。図9ではINDEX5からINDEX6へジャンプする。
次に、出力制御部353は、診断画像507を表示し(ステップS111)、このときの視点位置を判断する(ステップS112)。図9の例では80%以上模様領域を見ているので、出力制御部353は、続いて診断画像508を表示し、より精度が高い診断を行う(ステップS113)。
最後に、被験者の視線および視点の検出動作を終了し(ステップS114)、評価部354が各診断画像に対する評価値を算出する。
図9の例では、診断画像504および506を再生する時間を省略することができるため、診断時間が80秒から60秒に短縮される。このように、各被験者に合わせて診断画像の不要な部分をスキップすることにより、診断時間の短縮を図ることができる。
以上のように、第1の実施形態によれば、例えば以下のような効果が得られる。
(1)人物映像、複数の幾何学的な模様の配置などが異なる複数の判断アルゴリズムの中で、より明確な診断支援ができる項目を選択的に提示し、診断時間を短縮することができる。
(2)明確な診断支援ができる項目を選択的に提示することで精度の高い診断支援ができる。
(第2の実施形態)
第2の実施形態では、第1の実施形態よりも一層、装置構成を簡略化できる視線検出装置および視線検出方法を実現する。
以下に、第2の実施形態の視線検出装置および視線検出方法を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。
本実施形態の視線検出装置(診断支援装置)は、1ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置(診断支援装置)は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。
図10および11は、第2の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。なお、第1の実施形態と同様の構成については同一の符号を付し、説明を省略する場合がある。
図10に示すように、第2の実施形態の診断支援装置は、表示部210と、ステレオカメラ2102と、LED光源2103と、を含む。ステレオカメラ2102は、表示部210の下に配置される。LED光源2103は、ステレオカメラ2102に含まれる2つのカメラの中心位置に配置される。LED光源2103は、例えば波長850nmの近赤外線を照射する光源である。図10では、9個のLEDによりLED光源2103(照明部)を構成する例が示されている。なお、ステレオカメラ2102は、波長850nmの近赤外光を透過できるレンズを使用する。
図11に示すように、ステレオカメラ2102は、右カメラ2202と左カメラ2203とを備えている。LED光源2103は、被験者の眼球111に向かって近赤外光を照射する。ステレオカメラ2102で取得される画像では、瞳孔112が低輝度で反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ2202、左カメラ2203)それぞれで取得することができる。
さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示画面101の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図12は、第2の実施形態の診断支援装置2100の機能の概要を示す図である。図12では、図10および11に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図12に示すように、診断支援装置2100は、右カメラ2202と、左カメラ2203と、LED光源2103と、スピーカ105と、駆動・IF(interface)部208と、制御部2300と、記憶部150と、表示部210と、を含む。図12において、表示画面101は、右カメラ2202および左カメラ2203との位置関係を分かりやすく示しているが、表示画面101は表示部210において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
スピーカ105は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部208は、ステレオカメラ2102に含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ2102に含まれる各部と、制御部2300とのインタフェースとなる。
制御部2300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信I/Fと、各部を接続するバスを備えているコンピュータなどにより実現できる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部210に表示する画像等を記憶する。表示部210は、診断のための対象画像等、各種情報を表示する。
図13は、図12に示す各部の詳細な機能の一例を示すブロック図である。図13に示すように、制御部2300には、表示部210と、駆動・IF部208が接続される。駆動・IF部208は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部208には、カメラIF314、315を介して、それぞれ、右カメラ2202、左カメラ2203が接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者を撮像する。
スピーカ駆動部322は、スピーカ105を駆動する。なお、診断支援装置2100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置2100の内部に備えるように構成してもよい。
制御部2300は、診断支援装置2100全体を制御する。制御部2300は、第1算出部2351と、第2算出部2352と、第3算出部2353と、視線検出部2354と、視点検出部2355と、出力制御部2356と、評価部2357と、を備えている。なお、視線検出装置としては、少なくとも第1算出部2351、第2算出部2352、第3算出部2353、および、視線検出部2354が備えられていればよい。
制御部2300に含まれる各要素(第1算出部2351、第2算出部2352、第3算出部2353、視線検出部2354、視点検出部2355、出力制御部2356、および、評価部2357)は、ソフトウェア(プログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。
プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
第1算出部2351は、ステレオカメラ2102により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。第2算出部2352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。
第3算出部2353は、LED光源2103と角膜反射中心とを結ぶ直線と、から角膜曲率中心(第3位置)を算出する。例えば、第3算出部2353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第3算出部2353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第3算出部2353は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とLED光源2103とを結ぶ直線と、の交点(第4位置)を算出する。そして第3算出部2353は、瞳孔中心と算出した交点との距離を(第1距離)を算出し、例えば記憶部150に記憶する。
目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面101の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部2356が、表示画面101上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。
目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。
なお、目標位置は表示画面101の中央に限られるものではなく、任意の位置でよい。表示画面101の中央を目標位置とすれば、表示画面101の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。
距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第3算出部2353は、LED光源2103と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。
視線検出部2354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部2354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
視点検出部2355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部2355は、例えば、表示画面101で被験者が注視する点である視点(注視点)を検出する。視点検出部2355は、例えば図11のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。
出力制御部2356は、表示部210およびスピーカ105などに対する各種情報の出力を制御する。例えば、出力制御部2356は、表示部210上の目標位置に目標画像を出力させる。また、出力制御部2356は、診断画像、および、評価部2357による評価結果などの表示部210に対する出力を制御する。
診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。
評価部2357は、診断画像と、視点検出部2355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部2357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。
出力制御部2356が第1の実施形態と同様の診断画像を表示し、評価部2357が第1の実施形態の評価部354と同様の評価処理を行ってもよい。言い換えると、第1の実施形態の視線検出処理(視線検出部351)を、第2の実施形態の視線検出処理(第1算出部2351、第2算出部2352、第3算出部2353、視線検出部2354)で置き換えてもよい。これにより、第1の実施形態の効果に加えて、第2の実施形態の効果(装置構成の簡略化など)を達成可能となる。
図14は、本実施形態の診断支援装置2100により実行される処理の概要を説明する図である。図10〜図13で説明した要素については同一の符号を付し説明を省略する。
瞳孔中心407および角膜反射中心408は、それぞれ、LED光源2103を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。
図15は、2つの光源(照明部)を用いる方法(以下、方法Aとする)と、1つの光源(照明部)を用いる本実施形態との違いを示す説明図である。図10〜図13で説明した要素については同一の符号を付し説明を省略する。
方法Aは、LED光源2103の代わりに、2つのLED光源511、512を用いる。方法Aでは、LED光源511を照射したときの角膜反射中心513とLED光源511とを結ぶ直線515と、LED光源512を照射したときの角膜反射中心514とLED光源512とを結ぶ直線516との交点が算出される。この交点が角膜曲率中心505となる。
これに対し、本実施形態では、LED光源2103を照射したときの、角膜反射中心522とLED光源2103とを結ぶ直線523を考える。直線523は、角膜曲率中心505を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、LED光源2103を照射したときの角膜曲率中心は、直線523上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。
しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。
図16は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図10〜図13で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ(右カメラ2202、左カメラ2203)と制御部2300とが接続することについては図示せず省略する。
目標位置605は、表示部210上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示画面101の中央位置としている。直線613は、LED光源2103と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。第3算出部2353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図17は、本実施形態の算出処理の一例を示すフローチャートである。
まず出力制御部2356は、表示画面101上の1点に目標画像を再生し(ステップS201)、被験者にその1点を注視させる。次に、制御部2300は、LED駆動制御部316を用いてLED光源2103を被験者の目に向けて点灯させる(ステップS202)。制御部2300は、左右カメラ(右カメラ2202、左カメラ2203)で被験者の目を撮像する(ステップS203)。
LED光源2103の照射により、瞳孔部分は暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、第1算出部2351は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第2算出部2352は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第1算出部2351および第2算出部2352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS204)。
なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。
第1算出部2351および第2算出部2352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS205)。第3算出部2353は、求めた角膜反射中心の世界座標と、LED光源2103の中心位置の世界座標とを結ぶ直線を求める(ステップS206)。次に、第3算出部2353は、表示画面101の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS207)。第3算出部2353は、ステップS206で算出した直線とステップS207で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS208)。第3算出部2353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS209)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
算出処理で表示部210上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部210内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。
図18は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、LED光源2103と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示画面101上の注視点は、注視点805から注視点806に補正される。なお、左右カメラ(右カメラ2202、左カメラ2203)と制御部2300とが接続することについては図示せず省略する。
図19は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図19の視線検出処理を実行することができる。診断処理では、図19の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部2357による評価処理などが実行される。
ステップS301〜ステップS305は、図17のステップS202〜ステップS206と同様であるため説明を省略する。
第3算出部2353は、ステップS305で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS306)。
視線検出部2354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS307)。このベクトルが、被験者が見ている視線方向を示している。視点検出部2355は、この視線方向と表示画面101との交点の三次元世界座標値を算出する(ステップS308)。この値が、被験者が注視する表示部210上の1点を世界座標で表した座標値である。視点検出部2355は、求めた三次元世界座標値を、表示部210の二次元座標系で表される座標値(x,y)に変換する(ステップS309)。これにより、被験者が見つめる表示部210上の視点(注視点)を算出することができる。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)光源(照明部)を2ヶ所に配置する必要がなく、1ヵ所に配置した光源で視線検出を行うことが可能となる。
(2)光源が1ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。
100、2100 診断支援装置
101 表示画面
102、2102 ステレオカメラ
105 スピーカ
150 記憶部
202、2202 右カメラ
203 赤外LED光源
204、2203 左カメラ
205 赤外LED光源
208 駆動・IF部
210 表示部
300、2300 制御部
351、2354 視線検出部
352、2355 視点検出部
353、2356 出力制御部
354、2357 評価部
2351 第1算出部
2352 第2算出部
2353 第3算出部

Claims (6)

  1. 表示部と、
    被験者を撮像する撮像部と、
    前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
    前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、
    複数の診断画像のうちいずれかを前記表示部に表示させ、前記診断画像を表示させたときに検出された前記視点の位置に応じて次に表示する前記診断画像を複数の前記診断画像から選択し、選択した前記診断画像を前記表示部に表示させる出力制御部と、
    前記診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、
    を備えることを特徴とする診断支援装置。
  2. 複数の前記診断画像は、それぞれ複数のグループのいずれかに分類され、
    前記出力制御部は、所定のグループに分類される前記診断画像を表示させたときに検出された前記視点の位置に応じて、次に表示する前記診断画像として、前記所定のグループに分類される他の前記診断画像を選択するか、前記複数のグループのうちの前記所定のグループと異なる他のグループに分類される前記診断画像を選択するか、を切替えること、
    を特徴とする請求項1に記載の診断支援装置。
  3. 前記診断画像は、人物の画像と幾何学模様の画像とを含み、
    前記グループは、前記人物の画像の位置と前記幾何学模様の画像の位置とが相互に対称である、第1の診断画像と第2の診断画像とを含み、
    前記出力制御部は、前記所定のグループに分類される前記第1の診断画像を表示させたときに検出された前記視点の位置に応じて、次に表示する前記診断画像として、前記第2の診断画像を選択するか、前記複数のグループのうちの前記所定のグループと異なるほかのグループに分類される前記診断画像を選択するか、を切替えること、
    を特徴とする請求項2に記載の診断支援装置。
  4. 前記出力制御部は、前記所定のグループに分類される前記診断画像を表示させたときに、前記診断画像内の予め定められた領域内で前記視点が検出された割合に応じて、次に表示する前記診断画像として、前記所定のグループに分類される他の前記診断画像を選択するか、前記複数のグループのうちの前記所定のグループと異なる他のグループに分類される前記診断画像を選択するか、を切替えること、
    を特徴とする請求項2に記載の診断支援装置。
  5. 光を照射する光源を含む照明部と、
    前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置を算出する第1算出部と、
    撮像された前記眼球の画像から角膜反射の中心を示す第2位置を算出する第2算出部と、
    前記光源と前記第2位置とを結ぶ直線に基づいて、角膜曲率中心を示す第3位置を算出する第3算出部と、をさらに備え、
    前記視線検出部は、前記第1位置と前記第3位置に基づいて前記被験者の視線を検出すること、
    を特徴とする請求項1から4のいずれか一項に記載の診断支援装置。
  6. 被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出ステップと、
    前記視線方向に基づいて、表示部の表示領域における前記被験者の視点を検出する視点検出ステップと、
    複数の診断画像のうちいずれかを前記表示部に表示させ、前記診断画像を表示させたときに検出された前記視点の位置に応じて次に表示する前記診断画像を複数の前記診断画像から選択し、選択した前記診断画像をさらに前記表示部に表示させる出力制御ステップと、
    前記診断画像が表示されたときに前記視点検出ステップにより検出された前記視点に基づいて前記被験者の評価値を算出する評価ステップと、
    を含む診断支援方法。
JP2014036635A 2013-07-31 2014-02-27 診断支援装置および診断支援方法 Active JP6135550B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014036635A JP6135550B2 (ja) 2013-07-31 2014-02-27 診断支援装置および診断支援方法
EP14831584.9A EP3028644B1 (en) 2013-07-31 2014-07-29 Diagnosis assistance device and diagnosis assistance method
PCT/JP2014/069978 WO2015016233A1 (ja) 2013-07-31 2014-07-29 診断支援装置および診断支援方法
US15/006,333 US10123695B2 (en) 2013-07-31 2016-01-26 Diagnosis supporting device and method of supporting diagnosis

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013159941 2013-07-31
JP2013159941 2013-07-31
JP2014036635A JP6135550B2 (ja) 2013-07-31 2014-02-27 診断支援装置および診断支援方法

Publications (2)

Publication Number Publication Date
JP2015043964A true JP2015043964A (ja) 2015-03-12
JP6135550B2 JP6135550B2 (ja) 2017-05-31

Family

ID=52431763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014036635A Active JP6135550B2 (ja) 2013-07-31 2014-02-27 診断支援装置および診断支援方法

Country Status (4)

Country Link
US (1) US10123695B2 (ja)
EP (1) EP3028644B1 (ja)
JP (1) JP6135550B2 (ja)
WO (1) WO2015016233A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039883A1 (ja) * 2019-08-30 2021-03-04 国立研究開発法人国立成育医療研究センター 予測方法及び予測装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016112531A1 (en) * 2015-01-16 2016-07-21 Hewlett-Packard Development Company, L.P. User gaze detection
JP6638354B2 (ja) * 2015-12-01 2020-01-29 株式会社Jvcケンウッド 視線検出装置及び視線検出方法
JP6693105B2 (ja) 2015-12-01 2020-05-13 株式会社Jvcケンウッド 視線検出装置及び視線検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206542A (ja) * 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
JP2013052116A (ja) * 2011-09-05 2013-03-21 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5898423A (en) * 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP4517049B2 (ja) 2003-12-25 2010-08-04 国立大学法人静岡大学 視線検出方法および視線検出装置
JP4500992B2 (ja) 2004-01-14 2010-07-14 国立大学法人静岡大学 三次元視点計測装置
JP2005192637A (ja) * 2003-12-26 2005-07-21 Advanced Inst Of Wearable Environmental Information Networks 脳機能計測方法及び脳機能計測システム
JP2008125619A (ja) 2006-11-17 2008-06-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206542A (ja) * 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
JP2013052116A (ja) * 2011-09-05 2013-03-21 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039883A1 (ja) * 2019-08-30 2021-03-04 国立研究開発法人国立成育医療研究センター 予測方法及び予測装置

Also Published As

Publication number Publication date
EP3028644A4 (en) 2017-03-01
JP6135550B2 (ja) 2017-05-31
EP3028644A1 (en) 2016-06-08
US10123695B2 (en) 2018-11-13
EP3028644B1 (en) 2019-06-26
WO2015016233A1 (ja) 2015-02-05
US20160150956A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
JP6217445B2 (ja) 診断支援装置および診断支援方法
US10159408B2 (en) Detection apparatus and detection method
JP6210023B2 (ja) 視線検出支援装置および視線検出支援方法
JP2017102687A (ja) 視線検出装置及び視線検出方法
JP6201956B2 (ja) 視線検出装置および視線検出方法
JP6269377B2 (ja) 診断支援装置および診断支援方法
JP6135550B2 (ja) 診断支援装置および診断支援方法
JP6245093B2 (ja) 診断支援装置および診断支援方法
JP6142822B2 (ja) 診断支援装置および診断支援方法
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP6380178B2 (ja) 診断支援装置および診断支援方法
JP6593133B2 (ja) 診断支援装置および診断支援方法
JP6217446B2 (ja) 制御装置、診断支援装置、制御方法及び制御プログラム
JP6327171B2 (ja) 注視点検出装置および注視点検出方法
JP6187347B2 (ja) 検出装置および検出方法
JP6142825B2 (ja) 診断支援装置および診断支援方法
JP6269177B2 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
JP2015181797A (ja) 検出装置および検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170410

R150 Certificate of patent or registration of utility model

Ref document number: 6135550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150