JP2011206542A - 自閉症診断支援用装置 - Google Patents

Abstract

【課題】信頼度の高い診断データを迅速に得ることが可能な自閉症診断支援用装置を提供すること。
【解決手段】本発明にかかる自閉症診断支援用装置１は、被験者が対象者を見る状態によって自閉症の特徴を検出する自閉症診断支援用装置であって、対象者を見る被験者の視線方向を検出する注視点検出部２と、対象者の画像を撮影するカラーカメラ３と、対象者の瞳孔座標を計測する瞳孔位置検出部４と、視線方向と瞳孔座標とを用いて被験者の視線方向と対象者の瞳孔位置との関係を演算して、対象者の画像と共に出力するデータ解析部７と、を備える。
【選択図】図１

Description

本発明は、自閉症の特徴を利用した自閉症診断支援用装置に関する。

自閉症は３歳までの幼児が発症する発達障害であり、これに関連する疾患を含めると５０〜６０人に１人の割合で発症する。この自閉症の代表的な症状は、人の目を見ないでコミュニケーションに支障を来すような症状、相手の心情を推し量ることができず、心の交流ができないという症状、限定した興味や行動しか示さないといった症状が挙げられる。

これまで、自閉症を早期に診断して早期の療育を開始して発症者の社会適応を向上させる試みが為されてきた。例えば、このような診断として、小児科医や児童精神科医が乳幼児の行動を観察し、その行動から評価することが行われてきた。しかしながら、このような診断方法に関する専門家が少なく、現実的には早期診断が困難である。

そのほかの自閉症の診断方法としては、特定血清分子法等の生物学的評価も検討されている。この診断方法においては、患者の血清を分析することによって健常者と自閉症の発症者とを判別する。

しかしながら、上記の従来の診断方法では、熟練した診断者が必要であり、客観的な診断結果が得られず診断者によって診断結果に差異が生じる傾向にある。また、生物学的評価では、患者からの採血及び血清の分析が必要となり、診断が迅速にできないという問題がある。

そこで、本発明は、かかる課題に鑑みて為されたものであり、信頼度の高い診断データを迅速に得ることが可能な自閉症診断支援用装置を提供することを目的とする。

本発明者らは、鋭意検討の結果、被験者である自閉症者が、他者から相対してコミュニケーションを求められた場合、目より口などの身体の他所を見る傾向が健常者よりも多いという所見を得た。本発明では、被験者が相対する人の目を見ている時間と他所を見ている比率の差から被験者は自閉症の特徴を有するかを判断するためのシステムを提供する。

すなわち、本発明の一側面にかかる自閉症診断支援用装置は、被験者が対象者を見る状態によって自閉症の特徴を検出する自閉症診断支援用装置であって、対象者を見る被験者の視線方向を検出する視線検出部と、対象者の画像を撮影するカメラと、対象者の瞳孔座標を計測する瞳孔位置検出部と、視線方向と瞳孔座標とを用いて被験者の視線方向と対象者の瞳孔位置との関係を演算して、対象者の画像と共に出力するデータ解析部と、を備える。

本発明によれば、信頼度の高い診断データを迅速に得ることが可能な自閉症診断支援用装置を提供することができる。

本発明の第１実施例の自閉症乳幼児診断装置の全体構成を示す概略構成図である。 母親の顔の撮影用カラーカメラと、母親の瞳孔位置検出光学系の配置を示す平面図である。 本発明の第２実施例の自閉症乳幼児診断装置を示す概略構成図である。 図３のデータ表示部によって表示された自閉症診断のための表示例を示す図である。 本発明の変形例にかかる光学系の構成を示す図である。

以下、図面を参照しつつ本発明の自閉症診断支援用装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
（実施例１）

まず、1歳半程度の乳幼児検診で自閉症診断のための注視点検出を行う装置の実施例を述べる。

この場合、検査時間はできるだけ短時間で1回の検診で終了することが望ましい。そのような場合、母親（観察対象者）の顔を撮影して顔画像をディスプレイ（被験者が相対して見る対象）に表示しながら乳幼児（被験者）の注視点検出を行うか、注視点検出を行う直前に撮影した母親の顔を、乳幼児に提示しながら、注視点を検出する。

そのためには、本発明の装置を構成するディスプレイに、母親もしくはそれに代わる乳幼児を最も身近で育てている人（以下、単に母親と呼ぶ）の顔または少なくとも身体一部を映す。実際に乳幼児に動画像を見せて注視点を検出する際には、ある程度、乳幼児の動きを制して、ディスプレイに顔を向かせる必要があるし、乳幼児を安心させる必要もあるため、自閉症診断のための注視点検出は、母親が子供を膝の上に載せて実施することが望ましい（図１）。

先述のように、自閉症乳幼児診断装置においては、母親の目を見ているかどうかを判断する注視点検出装置が必要である。そのために、図１に示す自閉症乳幼児診断装置１は、以下の構成要素を備える。すなわち、乳幼児の注視点を実時間で計測できる注視点検出部２（本願発明者による特許公報US 7,533,989に記載の三次元視点計測装置を採用できる）と、母親の顔（あるいは少なくとも体の一部）の画像を撮影するカラーカメラ３と、母親の瞳孔の空間座標を実時間計測するための瞳孔位置検出部４（本願発明者による国際公開公報WO 2007/023798に記載の瞳孔検出装置及び瞳孔検出方法を採用できる）と、母親を映す表示用ディスプレイ５と、光源発光回路６と、データ解析部７とを備える。

このシステムの構成によって、母親の目の位置からの乳幼児の注視点のずれが即座に容易に定量化できる。撮影・表示対象が、必ずしも、検診に同伴している母親ではなく予め撮影した人の画像を用いる場合においても、顔画像を撮影しながら、自動的に正確に目の位置が検出できることは大きな利点がある。

母親の顔の撮影用カラーカメラ３と、瞳孔位置検出部４を構成する瞳孔座標計測用の瞳孔位置検出用光学系８とは、図２のように配置されている。この瞳孔位置検出用光学系８は、赤外線光に感度を持つカメラ（瞳孔検出用カメラ）９と近赤外光源１０とを組み合わせた構成を有する。また、瞳孔位置検出部４として瞳孔位置計算部１１も含まれており、瞳孔位置計算部１１は、ステレオ較正した瞳孔位置検出用光学系８からの出力画像を基に、母親の2つの瞳孔のそれぞれの3次元座標を検出する。また、母親の顔を撮影するためのカラーカメラ３を配置し、瞳孔位置検出用光学系８をその近くに配置する。

なお、実際には、母親の顔が、瞳孔検出用カメラ９の2台とカラーカメラ３とを合わせた3台において、すべてほぼ同じ範囲が映るように、それら3台のカメラの位置関係を最初に決めて固定する。

そのうえで、カメラ較正を行う。カメラ較正では、カメラの位置を表す3自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズf値）、ひずみなどを同時に計測する。カメラ較正においては、世界座標系における座標（X_W,Y_W,Z_W）と各カメラのカメラ座標系における座標（X_C,Y_C,Z_C）との間には次式１の関係があると仮定し、

次式２で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。

瞳孔位置計算部１１は、それを利用して、２台の瞳孔検出用カメラ９を含む瞳孔検出系で瞳孔の世界座標系における３次元座標を算出した後に、再び、カラーカメラ３に関する(式1)に相当する式に代入することで、カラーカメラ３のカメラ座標系における瞳孔の座標を算出する。瞳孔位置計算部１１は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことで母親の瞳孔位置を定める。もしくは、カラーカメラ３のカメラ座標系を上述の世界座標系に置き換えて、そのカメラ座標系における他のカメラのカメラ較正値を求めるカメラ較正法を用いてもよい。その場合、2台の瞳孔検出用カメラ９によって求まる瞳孔の3次元座標は、カラーカメラのカメラ座標系における座標として求まる。それをカラーカメラ画像中の座標に変換することで母親の瞳孔位置を定める。

また、データ解析部７は、注視点検出部２から乳幼児の注視点座標の入力を受け、その注視点座標をカラーカメラによって撮影された画像中の座標に変換する。さらに、データ解析部７は、瞳孔位置検出部４から母親の瞳孔の座標を得て、注視点座標と瞳孔位置とを利用して各種演算を行って、外部のデータ表示ディスプレイに表示させる。ここでの演算は、例えば、注視点座標と瞳孔位置とから両者の距離を演算したり、母親の画像上に注視点軌跡を表示させたり、２次元瞳孔座標系上に注視点の２次元分布を表示させることが考えられる。

以上説明した実施例１の自閉症乳幼児診断装置１によれば、被験者の表示用ディスプレイ５上で表示される画像上での注視点座標の検出を、明瞳孔画像及び暗瞳孔画像の差分処理を用いた画像処理で行っているために、注視点座標が迅速かつ確実に得られる。また、従来の頭部装着型の注視点検出装置に比較して被験者に対する負担も少ない。さらに、観察対象者の瞳孔の３次元位置の検出も、同様に明瞳孔画像及び暗瞳孔画像の差分処理を用いた画像処理で行っており、処理の迅速化が図れる。そして、観察対象者の瞳孔の３次元位置からカメラ較正の結果を用いて、表示用ディスプレイ５上でのその瞳孔の座標が算出され、被験者の注視点座標と観察対象者の瞳孔座標との関係が明らかにされる。さらに、その関係を示す画像が医師用データ表示ディスプレイ１２に表示されることにより、医師や検査技師等によってデータが正しく取得できたことの確認が容易になると共に、被験者の自閉症の診断を迅速かつ正確に得ることができる。すなわち、観察対象者の目の位置からの被験者の注視点のずれが即座に容易に可視化することができ、自閉症に関する信頼度の高い診断データを得ることができる。

なお、表示用ディスプレイ５上、もしくは、医師用データ表示ディスプレイ１２に、観察対象者の顔動画像上に被験者の注視点位置を示すドット（マウスカーソルのようなものでもよい）を重ねて表示した動画像や定量化したデータを、検査直後、もしくは、自閉症の疑いがあると診断されたときに、乳幼児の母親を再度呼び出すなどして、その母親に見せることができる。一般に、自閉症と診断した乳幼児に対しては、それに適合した療育がなされる。そのためには、母親の理解（母親が自分の子が自閉症であることを認めること）が重要であり、上記の画像や定量化したデータは、理解を促す材料としても用いられる。

これに対して、従来の注視点検出装置（例えば、Tobii Technology社のアイトラッカー等）では、画面上での注視点を検出することで表示された映像に対する反応は測定できるが、本発明のように、被験者に同伴している観察対象者をカメラで撮影しながらその映像をディスプレイに表示させると同時に、被験者の注視点と観察対象者の瞳孔位置を検出することはできない。本実施例では、観察対象者の瞳孔の３次元位置を検出してから座標変換することによって、迅速な被験者の注視点と観察対象者の瞳孔位置との同時検出を可能にしている。また、注視点検出装置は、一般に被験者ごとに眼球の形状が異なるため、注視点較正をする必要がある。従来の注視点検出装置は、ディスプレイ上の多数の較正点（例えば5点）を被験者に注視させる必要があったが、被験者が乳幼児の場合には、多数の較正点を正確に見させるのが困難である。本願発明者は、特願JP2010-274074と特願JP2010-178782の両出願において、特定の較正点を注視しなくても済む較正法、1点のみを注視するだけで済む較正法、2点を注視する較正法などを提案しており、これを本願で使用することができる。
（実施例２）

図３には、本発明の第２実施例の構成を示す。この本発明の第２実施例にかかる自閉症乳幼児診断装置１Ａは、被験者Aに対して、人物や対象物（合わせて以下、観察対象者B）に対する視線方向および注視位置を測定するとともに、観察対象者Bの三次元瞳孔位置と視線方向もあわせて検出するシステムに関する。

ここでは、実施例１の母親が観察対象者B、乳幼児が被験者Aである場合を想定している。

自閉症乳幼児診断装置１Ａは、被験者Aの視線ベクトルを計測する視線ベクトル検出部（視線検出部）１０１（例えば、本願発明者によるUS 7,533,989に開示された「三次元視点計測装置」を用いる）と、被験者Aが見る観察対象者Bの画像を撮影するカメラ１０２と、観察対象者Bの瞳孔の三次元位置である瞳孔座標点及び角膜反射点を計測し、その結果から観察対象者Bの視線方向を計算する瞳孔座標検出部（瞳孔位置検出部）１０３（例えば、本願発明者によるWO 2007/023798に開示された「瞳孔検出装置及び瞳孔検出方法」を用いる）と、座標と画像とを合成して表示する画像表示部（注視点検出部、注視点計算部）１０４と、データ解析を行ってその解析結果を表示するデータ表示部（データ解析部）１０５，１０５’とを備える。

瞳孔座標検出部１０３およびカメラ１０２の構成としては、図２と同様な構成を採用する。詳細には、瞳孔座標検出部１０３は、図２に示すように、瞳孔検出系を２系統有する。すなわち、２つの瞳孔検出用カメラ９のそれぞれにおいて、一方の光学系のカメラ９近くの近赤外光源１０と他方の光学系のカメラ９近くの近赤外光源１０とを交互に点灯させることによって、観察対象者Bの明瞳孔画像および暗瞳孔画像を得て、瞳孔座標検出部１０３で両者の差分を得ることによって２つのカメラ９のカメラ座標系における瞳孔座標を検出する。同時に、瞳孔座標検出部１０３は、２つのカメラ９からの画像を用いてそれぞれのカメラ座標系における角膜反射点の座標を検出する。そして、瞳孔座標検出部１０３は、２つのカメラ９の座標系に関する瞳孔座標から世界座標系における観察対象者Bの２つの瞳孔の世界座標系における三次元座標を計算する。さらに、瞳孔座標検出部１０３は、２つのカメラ９の座標系における瞳孔座標および角膜反射点座標と、世界座標系における瞳孔の三次元座標とから、観察対象者Bの両目の視線ベクトルをその始点を含めて計算する。このような瞳孔座標検出部１０３の構成により、観察対象者Bの２つの瞳孔三次元位置と、始点を含めた視線方向を迅速および確実に検出できる。

視線ベクトル検出部１０１としては、図２からカラーカメラ３を除いたような構成を採用することができる。そして、視線ベクトル検出部１０１は、瞳孔座標検出部１０３と同様にして、被験者Aの両目の視線ベクトルをその始点を含めて迅速かつ確実に計算することができる。

画像表示部１０４は、視線ベクトル検出部１０１によって計測された被験者Aの視線ベクトルと観察対象者Bの瞳孔座標点を含む座標平面との交点から注視点座標を計算し、その座標と、カメラ１０２によって撮影された観察対象者Bの画像と、被験者Aの注視点座標の移動軌跡とを合成してディスプレイに表示させる。なお、この「座標平面」とは、観察対象者Bの顔面付近に設定された仮想平面であり、カメラ１０２の光軸に垂直な平面である。

データ表示部１０５，１０５’は、画像表示部１０４の表示と同時に、瞳孔座標検出部１０３によって計測された観察対象者Bの瞳孔座標点と被験者Aの注視点座標との距離及び被験者Aの注視点座標の単位時間当たりの頻度を計算し、それらをヒストグラムあるいは円の大きさでディスプレイ（及びプリンタ等のデータ記録装置）に出力する。また、Ｇを座標平面上の被験者Aの注視点座標とし、Ｐ_１とＰ_２をそれぞれ座標平面上の観察対象者Bの左右の瞳孔座標点とすると、データ表示部１０５’は、下記式；
ｄ_１＝｜Ｇ−Ｐ_１｜，
ｄ_２＝｜Ｇ−Ｐ_２｜
を用いて、注視点と右瞳孔までの相対距離ｄ_１と、注視点と左瞳孔までの相対距離ｄ_２とを計算する。そして、データ表示部１０５’は、距離ｄ_１と距離ｄ_２とのうち小さいほうの値をｄとし、ｄの度数分布を求めるとともに、ｄの平均と標準偏差を計算し、それらを自閉症診断のための評価値として表示してもよい。

また、データ表示部１０５’は、図４に示すように、距離ｄ_１と距離ｄ_２とのうちで小さいほうの注視点座標Ｇを、Ｐ_１又はＰ_２を原点として、座標Ｇ−Ｐ_１又はＧ−Ｐ_２をプロットして（または、それらの座標点の密度を濃淡画像に変換して）、表示してもよい。このとき、データ表示部１０５’は、図４の点線で示すような、確実に観察対象者Bの目が含まれる目領域と確実に観察対象者Bの口が含まれる口領域を特定し、目領域に注視点座標Gが検出された動画像のフレーム数Count₁、口領域に注視点座標Gが検出された動画像のフレーム数Count₂、目領域の外に注視点座標Gが検出された動画像のフレーム数Count₃、計算対象の全フレーム数Count_totを算出する。そして、データ表示部１０５’は、下記式；
自閉症指数１＝Count₁／Count_tot，
又は、下記式；
自閉症指数２＝Count₂／（Count₃＋Count₂）
を用いて自閉症指数を算出して表示することもできる。自閉症指数１は、目の領域に注視点が存在する確率を示しており、自閉症指数２は、口を見る傾向がどの程度あるかを示している。自閉症乳幼児は、対面した人の目以外の部位、特に、目以外の話すことによって動く口などをみる傾向があるために、このような指数を出力することは自閉症診断にとって極めて有効である。

また、データ表示部１０５’は、被験者Aの注視点位置と観察対象者Bの瞳孔位置との間の関係を表示する代わりに、同時に検出された両者の視線ベクトルの関係を表示させてもよい。例えば、データ表示部１０５’は、両者の視線ベクトルの動きの方向のずれの平均や標準偏差を計算し、それらを自閉症診断のための評価値として表示させる。健常者は目の前に対面者が存在する場合には、その相手が視線を急に移すと、ほぼ反射的にその人の視線が向く方向に、自分も目を向ける習性がある。これに対して、自閉症患者には、このような習性が欠如するため、対面者の視線移動が起こっても、それに対する反応が薄い傾向にある。このように視線ベクトルの動きの相関を評価値として出力することで、自閉症診断に有効な判断材料となる。

以上説明した実施例２の自閉症乳幼児診断装置１０１によれば、観察対象者Bの２つの瞳孔三次元位置と、始点を含めた視線方向を迅速および容易に検出できる。また、被験者Aの両目の視線ベクトルがその始点を含めて計算されることにより、被験者Aの観察対象者Bの瞳孔を含む座標平面上の被験者Aの注視点も迅速かつ確実に計算される。特に、観察対象者Bの瞳孔の三次元位置と、被験者Aの始点を含めた視線ベクトルを検出することで、両者を対面させて診断する際にも、拘束条件を少なくして簡便に被験者Aの仮想平面上の注視点を算出することができる。被験者Aは特に乳幼児を対象にしているので、姿勢や頭の位置を固定させる必要がないのは検査がスムーズに進みメリットが大きい。また、自閉症診断のための評価値として、被験者Aの注視点位置と観察対象者Bの瞳孔位置との間の関係から得られる値と、両者の視線ベクトルの動きの相関から得られる値とを、同時に迅速に出力させることができる。
（変形例１）

図５には、本発明の変形例の構成を示す。この本発明の第１変形例にかかる自閉症乳幼児診断装置は、実施例２のカメラ及び光源を含む光学系の構成に関する変形例であり、被験者Aの固定が難しいという問題に対処することを容易にし、カメラ等の機器が被験者Aに見えないようにして被験者Aの注意がカメラ等に向くことを防ぐことが可能なものである。

同図に示すように、本変形例の光学系２０２は、平板状のマジックミラー２０３と、マジックミラー２０３の端部を取り囲むような形状を有する遮蔽箱２０４と、遮蔽箱２０４の内部に配置され、第１実施例と同一の構成のカラーカメラ３、瞳孔位置検出部４、及び注視点検出部２とを備える。

カラーカメラ３及び瞳孔位置検出部４は、図２に示したような構成であり、観察対象者Bの瞳孔の三次元位置を検出しながら、観察対象者Bの顔のカラー動画像を撮影する。カラーカメラ３及び瞳孔位置検出部４は、マジックミラー２０３を介して観察対象者Bに向くように配置されている。注視点検出部２は、マジックミラー２０３を介して被験者Aに向くように配置されており、被験者Aの視線ベクトルを検出する。

マジックミラー２０３は、明るい側からは鏡に見えるが暗い側からは反対側が透過して見えるという用途に使われるビームスプリッタである。このマジックミラー２０３としては、例えば、光の透過率と反射率とが等しいハーフミラーが用いられる。

このような光学系２０２によれば、被験者A側からは、カメラや光源等の装置が見えずに、観察対象者Bの像が反射することで、観察対象者Bが対面しているように見える。また、カラーカメラ３、瞳孔位置検出部４、及び注視点検出部２に含まれる全てのカメラのステレオ較正（世界座標系でのカメラの位置、方向、カメラの内部パラメータを用いた較正）を行うことで、互いのカメラ座標系の変換ができるため、あたかも被験者Aと観察対象者Bとが互いに対面しているように展開して捉えることができる。

従って、本変形例の自閉症乳幼児診断装置では、被験者Aの瞳孔から観察対象者Bの顔に向かう視線ベクトルＶ_１を、観察対象者Bの撮影用のカラーカメラ３の座標系のベクトルに変換することができる。そこで、その視線ベクトルＶ_１とカラー画像の撮影面とが交わる点を被験者Aの注視点として、観察対象者Bの顔のカラー画像に重ねて表示させることができる。なお、ここで、カラー画像の撮影面とは、例えば、瞳孔位置検出部４で求まる２つの瞳孔位置間の中点を通り、カラーカメラ３の光軸に垂直な平面とする。これにより、本変形例の自閉症乳幼児診断装置は、撮影面における被験者Aの両目の視線ベクトルが横切る点の中点を注視点位置として求め、観察対象者Bの顔の動画像上に注視点に関するデータを重畳して表示させることができる。表示させるデータとしては、実施例２と同様なデータを選択することができる。

１、１Ａ…自閉症診断支援用装置、２…注視点検出部（視線検出部）、３…カラーカメラ、４…瞳孔位置検出部、７…データ解析部、１０１…視線ベクトル検出部（視線検出部）、１０２…カメラ、１０３…瞳孔座標検出部（瞳孔位置検出部）、１０４…画像表示部（注視点検出部、注視点計算部）、１０５，１０５’…データ表示部（データ解析部）、A…被験者、B…観察対象者。

Claims (5)

1. 被験者が対象者を見る状態によって自閉症の特徴を検出する自閉症診断支援用装置であって、
   前記対象者を見る前記被験者の視線方向を検出する視線検出部と、
   前記対象者の画像を撮影するカメラと、
   前記対象者の瞳孔座標を計測する瞳孔位置検出部と、
   前記視線方向と前記瞳孔座標とを用いて前記被験者の視線方向と前記対象者の瞳孔位置との関係を演算して、前記対象者の画像と共に出力するデータ解析部と、
   を備えることを特徴とする自閉症診断支援用装置。
2. 前記対象者の見える所定平面と前記視線方向とから注視点座標を算出する注視点検出部を備え、
   前記データ解析部は、前記注視点座標と前記瞳孔座標とを用いて前記被験者の注視点と前記対象者の瞳孔位置との関係を演算して、前記対象者の画像と共に出力する
   ことを特徴とする請求項１記載の自閉症診断支援用装置。
3. 前記注視点検出部は、
   前記被験者の画像を撮影するカメラと、
   前記画像に基づいて前記被験者の視線方向を検出する前記視線検出部と、
   前記視線方向に基づいて前記所定平面上の前記被験者の前記注視点座標を計算する注視点計算部とを有し、
   前記瞳孔位置検出部は、前記対象者の瞳孔位置に基づいて、前記対象者の視線方向をさらに検出する、
   ことを特徴とする請求項２記載の自閉症診断支援用装置。
4. 前記データ解析部は、前記被験者の視線方向と前記対象者の視線方向との関係をさらに演算する、
   ことを特徴とする請求項３記載の自閉症診断支援用装置。
5. 前記瞳孔位置検出部は、前記対象者の明瞳孔画像及び暗瞳孔画像に基づいて前記対象者の前記瞳孔座標を計算し、前記瞳孔座標と前記対象者の角膜反射位置とを用いて前記対象者の前記視線方向を検出する
   ことを特徴とする請求項３記載の自閉症診断支援用装置。

Images