JP2009520546A - コンピュータに基づいた顔面麻痺の評価 - Google Patents

Abstract

コンピュータに基づいたシステムは、顔面麻痺を等級分けするために提供され、当該システムは、コンピュータシステムによる分析のために患者の顔の一連の画像を収集するカメラシステム、及び、コンピュータシステムが特別の動き又は顔の運動を実行するように患者に促すため、患者に視覚的なフィードバックを提供するディスプレイを含む。当該システムは、患者による家庭環境での使用のために適用可能である。

Description

本発明は、訓練されていない要員による使用のために特に適合される、顔面麻痺を評価するコンピュータに基づいたシステムに関する。
特に、本発明は、発作により生じる障害に対処するために発作のリハビリテーションシステムで使用されるために適合される。

顔面麻痺の評価のための典型的な公知のコンピュータに基づいたシステムは、顔の表現を検出するために使用されるカメラを含み、カメラに関して正確に位置され、臨床の専門化により管理される患者と厳密に制御される環境を必要とする。さもなければ、カメラに対する患者の位置又は姿勢におけるバリーションは、勿論、結果的に得られるカメラ画像に影響を及ぼすので、一貫した結果を得ることは不可能である。

患者の顔面麻痺を評価及び等級付けするため、スマイル、口笛又は眉毛を上げることのような標準的な客観的計測を得るため、様々な方法が使用されている。顔の二等分における動きの対称さは、顔面の麻痺の指標として使用されるので、完全な頭の動きから顔の筋肉の動きを分離することができることは重要なことである。結果的に、幾つかの方法は、過去においてこれを達成するために提案されている。たとえば、患者の顔の標準的な位置にマーカが手動で位置され、患者の顔の表現の変化の間に撮影された一連の写真は、必要な評価を行うために比較される。他のシステムは、たとえばクランピング装置により患者の位置を固定すること、又は、代替的に、患者の頭部の動きが写真の結果に影響を及ぼさないようにする患者にヘルメットカメラを身に付けさせることを含む。したがって、この類の方法は、患者の顔にマーカを適切に配置するために専門技能をもつオペレータを必要とするか、患者の動きを制限又は補償するために設計されるある種の特別の装置を必要とし、従来の提案の何れもが家庭での主要な健康管理のソリューションとして使用に適していない。

たとえばWO92/038801号（オクラホマ大学）は、個人の顔のような人体の部分の動きを評価するシステムを記載しており、カメラに関する対象物の動きを許容するか又は防止する異なる方法が詳細に記載される、ビデオカメラを含むコンピュータを使用したシステムを使用している。特に、この出願は、患者の顔のマーカドット、又は所望の位置における患者の頭部を安全にするヘッドホルダの使用を記載している。

したがって、本発明の目的は、コンピュータシステムによる分析のために患者の顔の一連の画像を収集するためのカメラシステムと、コンピュータシステムがカメラに相対的に適切なやり方でそれらの顔の位置を調節して、特定の顔の運動を実行するように患者に促すように、患者に視覚的なフィードバックを与えるディスプレイとを含む、患者により操作されるために適合される顔面麻痺を等級分けするコンピュータに基づいたシステムを提供することにある。

本発明の１実施の形態では、システムは、ユーザがコンピュータのモニタを見ており、画像はモニタで表示されている間、カメラがユーザの顔の画像を捕捉できるために最適な位置に設けられるカメラを有する。小さな画像のボックス又はフレームのような視覚的な示唆は、ユーザの顔が所望のフィールドでフィットするようにユーザが彼の位置を適切に調節できるために提供される。この実施の形態では、カメラは、ユーザとの適切なアラインメントを容易にするためにモニタの上で中央に設けられるように適合されることが好ましい。

好ましくは、システムには、患者と通信する視覚及び聴覚に基づいた手段を結合するユーザインタフェースが設けられ、彼又は彼女にそれらの位置を正して必要とされる動きを実行するように指示し、患者の麻痺の程度の適切な等級分けをシステムが行うのを可能にする。

カメラがコンピュータモニタに配置される場合、少なくとも、患者の顔の画像のサイズが調節されるのを可能にするズーム機能が設けられることが好ましい。

好ましくは、カメラシステムには、カメラ又は患者の頭部の非常に精度の高い位置合わせの程度、又は使用中の位置の調節を必要とすることなしに、患者の頭部の相対的なサイズ及び位置が適切に調節されるのを可能にするように、パン／チルト／ズーム機能が設けられる。このことは、カメラがモニタから個別に設けられる場合に特に有効である。何れかのケースでは、システムは、システムの要件に整合するために、検出された顔の画像のスケール及び解像度を調節するように、カメラズームを自動的に制御するアレンジメントを含むことが好ましい。

好ましくは、システムは、患者の顔の領域、特に目の外側コーナ及び鼻の頂点における特別の顔の特徴を検出するように構成され、画像を標準的なサイズ及び方向に正規化し、顔における対称なラインを定義して、顔の動きの非対称性が計算されるのを可能にする。このコネクションにおいて、様々な患者の顔の幾何学的な形状における違いのため、正確な結果を得るために、頭部の全体のサイズ及び位置と同様に、顔の特徴の詳細を検出することが必要である。

したがって、本発明における好適な実施の形態は、患者の顔面麻痺の程度を評価するシステムを提供するものであり、処理ユニットに対して、特定の動き又は運動の間に顔の一連の画像を捕捉するカメラを含む。当該システムは、患者の顔の位置及びスケールの調節を可能にする光学、機械的及び／又はデジタル手段、患者に視覚的なフィードバックを提供するディスプレイ、画像に含まれる顔を検出する手段、カメラの位置及びズーム制御を調節することで、標準的なサイズ及び方向に画像を正規化するため、画像における顔の特徴を識別する手段、及び、画像における動きの流れを分析する手段、処理ユニットは、結果的に得られる等級分けを生成するため、画像系列を分析するために適合される。

好ましくは、システムは、患者への対応する指示を提供してそれらの位置を補正するため、患者の顔が画像平面の外で回転されるかを検出する手段、及び、システムからの命令とのユーザのコンプライアンスをチェックするため、要求される顔の動きが終了されたかを検出する手段とを更に有する。

使用中に、検出プロセスの結果は、記録された動きを記述するパラメータベクトルを生成するために使用され、パラメータベクトルの分類は、患者及びそれら医療の専門家に顔面麻痺の程度の等級分けを供給する。

本発明の１実施の形態は、添付図面を参照して、例示を通して記載される。
システムを動作するために必要とされる装置は、コンピュータと、コンピュータディスプレイユニットに面する一方で、ユーザがシステム自身を操作するのを可能にするように、コンピュータディスプレイに設けられるか、コンピュータディスプレイに隣接して設けられるズームビデオカメラとを有する。

コンピュータは、音声出力機能を有することが好ましく、好ましくは、患者からの声のコマンドにより制御されることが可能な音声認識システムを有する。１実施の形態では（図示せず）、カメラは、コンピュータにより制御される電動式のパン／チルトユニットに個別に設けられる。

図１は、システムの動作の開始での、結果的に得られるディスプレイを示しており、これは、カメラに面しているユーザの初期画像と同様に、一連のテキスト命令を含む。命令は、スクリーンに表示されるか、又はコンピュータから音声出力として生成される場合があり、以下では、これらの方法の何れか又は両者は手順の様々なステージで使用される場合があることを理解されたい。

図２は、システムの全体の動作モードを例示し、この動作モードは、ディスプレイで表示されるプロンプトであって、カメラを見ることを患者に要求している参照符号６で示される音声シンセサイザにより話される場合もあるプロンプトを与えることで開始する。また、システムには、ユーザからの音声コマンドにより動作することができるように、音声認識手段が設けられることが理解される。次いで、画像は捕捉され８、デジタル化され１０、及び顔検出手順１２に向けられる。

対象の顔が近似的に十分に大きく現れた場合、処理はステップ１６に進み、このステップ１６で、顔の特徴が検出される。特に、目の外側のコーナ、及び鼻の頂点は、表現に関わらず安定な三角形を形成する良好な基準ポイントを与える。これに応じて、これらは、顔の正確なサイズ及び位置を確立するために標準的な基準となるトライアングルと比較される。十分に大きくない場合、カメラズームが調節され（ステップ１８）、次いで十分に大きい場合（ステップ２０）、顔の特徴の検出ステップ１６は再び試みられる。なお十分に大きくない場合、プロセスはステップ２２に分岐し、ステップ２２では、患者は、近くに来るように促され、次いで、顔検出手順は、ステップ１２で再び開始する。

ひとたび顔の特徴が上手く検出されると、プロセスはステップ２４に進み、ステップ２４で、カメラ平面に関する顔の方向が検出され、顔の平面がカメラの平面と揃えられていないと判定された場合、患者の頭部が適切に回転されるべきことを要求するメッセージが表示される。

ひとたび顔の向きが適切に補正されると、スマイルのような特定の顔の表現を形成するためのアクションを実行するように患者に依頼する更なるメッセージが表示される（ステップ２８）、アクションのフローが追従され（ステップ３０）、適切な動きが完了されたかが検出される（ステップ３２）。適切な動きが完了されていない場合、その動きが繰り返されることを要求するメッセージが表示される（ステップ３４）、ひとたび動きが適切に終了されると、麻痺の程度が分析され（ステップ３６）、結果が表示される（ステップ３８）。

分析は、非対称の測定のベクトルを計算することで実行され、これは、卒中の発作に見舞われた人のグループ（a group of stroke victims）及び健常対照群（a healthy
control group）からのデータに比較され、ユーザのパフォーマンスが等級分けされる。ユーザのパフォーマンスの履歴データは、ユーザの進展を示すチャートを生成することができるように、データベースに記憶される。この個人向けの分析は、再発又は再現／イベントの信頼できる検出を可能にするのと同様に、リハビリテーションの成功が等級分けされるのを可能にする。

図３は、スマイルの動きの間の非対称な典型的な測定を示し、参照符号４０により示される下側のプロット（ダイアモンドの形状のマーカ）は、顔の動きが検出されない一連の測定を示す。他方で、方形４２の部分は、要求された表現が達成されたが、続いて解放されていない顔の動きを示し、一連の三角形で示されるプロット４４は、健常対照群から期待されるように、通常の顔の動き及び解放を示す。

本発明は、カメラがコンピュータモニタの上で中央に設けられる場合、ユーザにより最小の位置合わせの調整を要求することで幾分簡略化されたシステムで実施されることが理解される。次いで、ユーザは、彼又は彼女を配置し、これにより、それらの顔がディスプレイの画像に適切にフレームに入れられて表示される。必要な場合、光学的又はデジタルのズームは、顔画像のスケールを調節するために利用される場合があり、画質を改善するためにデジタル処理が画像に適用される場合がある。

本発明は、ユーザに彼自身のコンピュータでシンクライアントアプリケーションを実行させることで「サーバ側」の処理のアレンジメントにより実現されることが理解される。たとえば、シンクライアントは、メインアプリケーションプログラムを保持するサーバ、及びインターネット又はＬＡＮを介して患者の情報のデータベースにアクセスするために構成されるウェブブラウザで実行する“Java(登録商標)script”アプリケーションである。

使用におけるシステムを示すコンピュータスクリーンディスプレイを示す。 システムの動作のフローチャートを示す。 スマイルの動きの間の非対称な測定を示すチャートである。

Claims (8)

1. 患者により操作されるために適合される、顔面麻痺を等級分けするコンピュータに基づいたシステムであって、
   コンピュータシステムによる分析のために患者の顔の一連の画像を収集するカメラシステムと、
   前記コンピュータシステムが特別の動き又は顔の運動を実行するように患者に促すため、前記患者に視覚的なフィードバックを提供するディスプレイと、
   を含むシステム。
2. 使用中に、患者が画像のフィールド又はフレームにフィットするために該患者の位置を調節することができるため、前記画像のフィールド又はフレームを表示するために構成される、
   請求項１記載のシステム。
3. 前記ディスプレイに対する所望の関係で画像が形成されるように、前記画像のスケール又は奥行きが調節されるのを可能にする光学的又は機械的及び／又はデジタル調節手段を含む、
   請求項１又は２記載のシステム。
4. 処理ユニットに対して、特定の動き又は運動の間に顔の一連の画像を捕捉するカメラを有する顔面麻痺を等級分けする請求項１乃至３の何れか記載のコンピュータに基づいたシステムであって、
   当該システムは、
   患者の顔の位置及びスケールの調節を可能にする光学的、機械的及び／又はデジタル手段と、
   患者に視覚的なフィードバックを提供するディスプレイと、
   画像に含まれる顔を検出する手段と、
   カメラの位置及びズーム制御を調節することで、標準的なサイズ及び方向に画像を正規化するため、画像における顔の特徴を識別する手段と、
   画像における動きの流れを分析する手段とを有し、
   前記処理ユニットは、結果的に得られる等級分けを生成するため、画像系列を分析する、
   システム。
5. 前記顔の特徴を識別する手段は、目の外側のコーナ及び鼻の頂点を検出し、検出された目の外側のコーナ及び鼻の頂点を基準と比較して、顔の位置及び方向を確立する、
   請求項４記載のシステム。
6. 前記処理ユニットは、患者が所望の位置にあるかを判定するため、患者の顔が画像平面の外で回転されるかを検出する手段と、及び、システムからの命令とのユーザのコンプライアンスをチェックするため、要求される顔の動きが終了されたかを検出する手段とを有する、
   請求項４又は５記載のシステム。
7. 前記患者と通信するために音声に基づいたインタフェースを更に有する、
   請求項１乃至６の何れか記載のシステム。
8. 卒中の発作に見舞われた人のグループ及び健常対照群に関連するデータを記憶する手段と、記憶されているデータとの比較により現在のユーザのパフォーマンスを等級分けし、一連の結果をデータベースに記憶する手段と、前記記憶されている結果を比較することでユーザの進展を等級分けする手段と、
   を更に有する請求項１乃至７の何れか記載のシステム。

Images