JP2017522104A - 目状態決定システム - Google Patents

目状態決定システム Download PDF

Info

Publication number
JP2017522104A
JP2017522104A JP2016574946A JP2016574946A JP2017522104A JP 2017522104 A JP2017522104 A JP 2017522104A JP 2016574946 A JP2016574946 A JP 2016574946A JP 2016574946 A JP2016574946 A JP 2016574946A JP 2017522104 A JP2017522104 A JP 2017522104A
Authority
JP
Japan
Prior art keywords
eye state
eye
person
spatial
state determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016574946A
Other languages
English (en)
Inventor
ウェイラン ニー
ウェイラン ニー
ジエンフオン ワーン
ジエンフオン ワーン
ヤオ ジューン ウエン
ヤオ ジューン ウエン
シリシャ ランガヴァジェラ
シリシャ ランガヴァジェラ
モーリン ダヒャバイ パテル
モーリン ダヒャバイ パテル
パリクシット シャー
パリクシット シャー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017522104A publication Critical patent/JP2017522104A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0033Operational features thereof characterised by user input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • A61B3/085Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus for testing strabismus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本発明は、人が対象3を見る視聴活動の間、人の、特に子供の目状態を決定する目状態決定システム1に関する。空間特性キャプチャユニット2が、対象の空間的な寸法及び/又は視聴活動の間の人に対する対象の空間的な位置をキャプチャし、目状態決定ユニット4が、対象のキャプチャされた空間的な寸法及び/又は人に対する対象のキャプチャされた空間的な位置に基づき、近視又は斜視といった目状態を決定する。これは、例えば両親による任意の支援なしに、特に任意のユーザ相互作用なしに、テキストを読むといった通常の視聴活動の間、目の状態を決定することを可能にする。

Description

本発明は、人の目の状態を決定する、目状態決定システム、方法及びコンピュータプログラムに関する。
US2010/0253913A1号は、人の読書視力を測定するシステムを開示する。このシステムは、人に対して異なるサイズを持つ文字を示し、その人が個別の文字を読むことができるかどうかをシステムに入力しなければならない。このシステムはその後、人により提供される入力に基づき、及び個別の文字サイズに基づき、読書視力を決定する。
このシステムは、読書視力の測定がユーザ相互作用を必要とし、その結果、幼児が、両親の支援なしにシステムを使用することができないという欠点を持つ。
本発明の目的は、人の目の状態を決定する目状態決定システム、方法及びコンピュータプログラムを提供することである。これは、例えば両親に支援を要求することなしに幼児の目の状態の決定を可能にするものである。
本発明の第1の側面において、人の目の状態を決定する目状態決定システムが提示され、上記システムが、上記人が対象を見る視聴活動の間、上記目状態を決定するよう構成され、
上記対象の空間的な寸法及び/又は上記視聴活動の間、上記人に対する上記対象の空間的な位置をキャプチャする空間特性キャプチャユニットと、
上記対象の上記キャプチャされた空間的な寸法及び/又は上記人に対する上記対象の上記キャプチャされた空間的な位置に基づき、上記目状態を決定する目状態決定ユニットとを有する。
このシステムは、人が対象を見る視聴活動の間、目状態を決定するよう構成され、視聴活動は、本を読む、テレビのスクリーンを見る、コンピュータのディスプレイを見る等の通常の視聴活動とみなされ、即ち目状態を決定するための特定の視聴活動ではなく、ディスプレイ又は本といった見られる対象の空間的な寸法及び/又は人に対する見られる対象の空間的な位置が、視聴活動の間キャプチャされ、視力又は斜視といった目状態が、対象のキャプチャされた視覚的な空間的な寸法及び/又は人に対する対象のキャプチャされた空間的な位置に基づき決定されるので、目状態が、通常の活動の間、例えば親により任意の支援なしに、特に任意のユーザ相互作用なしに、決定されることができる。
見られる対象は例えば、本、黒板、掲示板、道路標識、紙文書、タッチパッド又はパーソナルコンピュータモニタといったスクリーンを持つコンピュータ、テレビ等とすることができる。対象の視覚的な空間的な寸法は好ましくは、対象に示される内容の空間的な寸法である。例えば、対象が本又はコンピュータである場合、視覚的な空間的な寸法はそれぞれ、本の内容の、又は、コンピュータのスクリーンの大きさとすることができる。ある実施形態において、視覚的な空間的な寸法は、テキストフォントサイズ又はライン間隔である。
ある実施形態において、上記システムが、上記人に付けられる人カメラにより生成される上記対象の画像である対象画像、及び/又は、上記対象に付けられる対象カメラにより生成される上記人の顔の画像である顔画像を提供する画像提供ユニットを有し、上記空間特性キャプチャユニットは、上記提供された対象画像及び/又は上記提供された顔画像に基づき、上記人に対する上記対象の上記空間的な位置を決定するよう構成される。
人カメラは好ましくは、人カメラを人に付けるため、人により着用される眼鏡に一体化される。例えば、人カメラは、眼鏡に埋められることができる。人が眼鏡を通して対象を見る場合、人カメラは、人から離れる向きを指す。この場合、本実施形態において、人に対する対象の決定された空間的な位置は好ましくは、眼鏡に対する対象の空間的な位置である。対象カメラは、対象と一体化されることができる。例えば、対象は、タッチパッド又はパーソナルコンピュータモニタといったスクリーンを持つコンピュータ、テレビ等とすることができる。ここで、対象カメラは、人に面するカメラであり、対象に組み込まれることができる。
空間的な位置は、人及び対象の間の空間的な距離を規定する。これは好ましくは目状態を決定するのに使用される。人に対する対象の空間的な位置を決め、及び従って人と対象との間の空間的な距離を決定するのに、既知の画像ベースの距離推定アルゴリズムが使用されることができる。例えば、はEP2573696A2号に開示されるアルゴリズムであり、これは本書において参照により含まれる。
ある実施形態において、上記システムが、上記対象の画像である対象画像を提供する画像提供ユニットを有し、上記空間特性キャプチャユニットは、上記提供された対象画像に基づき、上記対象の上記空間的な寸法を決定するよう構成される。特に、画像提供ユニットは、人に付けられる人カメラにより生成された対象画像を提供するよう構成される。また、本実施形態において、人カメラは好ましくは、人に対して人カメラを付けるため、人により着用される眼鏡と一体化される。例えば、人カメラは、眼鏡に埋められることができる。ここで、人が眼鏡を通して対象を見る場合、人カメラは人から離れる向きを指す。対象の空間的な寸法を決定するのに使用される対象画像は、人に対する対象の位置、特に対象及び人の間の距離を決定するのに使用されることもできる。
好ましい実施形態において、上記対象が、ディスプレイを持つコンピュータであり、上記システムは、上記ディスプレイの画面ショットを提供する画面ショット提供ユニットを有し、上記空間特性キャプチャユニットが、上記提供された画面ショットに基づき、上記対象の上記空間的な寸法を決定するよう構成される。代替的に、又は、追加的に、空間特性キャプチャユニットは、コンピュータのオペレーティングシステムのアプリケーションユーザインタフェース(API)を介して空間的な寸法を受信するよう構成されてもよい。
ある実施形態において、上記システムが、上記人の顔の画像である顔画像を提供する画像提供ユニットと、上記提供された顔画像に基づき、上記目の上記形状及びオプションで上記目の大きさを決定する目形状決定ユニットとを有し、上記目状態決定ユニットは、上記目の上記決定された形状に基づき、及びオプションで上記目の決定された大きさに基づき、上記目状態を決定するよう構成される。更に、ある実施形態において、上記システムが、上記提供された顔画像に基づき、上記目の上記視覚軸を決定する視覚軸決定ユニットを有し、上記目状態決定ユニットは、上記目の上記決定された視覚軸に基づき、上記目状態を決定するよう構成される。目状態を決定するのにこれらのパラメータを更に使用することにより、目状態はより正確に決定されることができ、及び/又は、複数の異なる種類の目状態が決定されることができる。
空間特性キャプチャユニットは好ましくは、対象の視覚的な空間的な寸法として対象の要素の間の要素距離をキャプチャするよう構成される。特に、上記対象が、要素として文字を示すことができる。ここで、上記要素距離は、文字の間の距離及び/又は上記文字により形成される語の間の距離及び/又は上記文字により形成されるラインの間の距離である。
目状態決定ユニットは好ましくは、目状態として視力及び/又は斜視を決定するよう構成される。例えば、空間特性キャプチャユニットは、対象の視覚的な空間的な寸法として対象の要素の間の要素距離及び対象の空間的な位置として人と対象との間の空間的な距離をキャプチャするよう構成されることができ、目状態決定ユニットは、要素距離及び人とび対象との間の空間的な距離に基づき、視力を決定するよう構成されることができる。更に、目状態決定ユニットは、a)決定された形状及びオプションで人の目まぶたの決定された大きさ及びb)対象のキャプチャされた視覚的な空間的な寸法及び/又は人に対する対象のキャプチャされた空間的な位置に基づき、視力を決定するよう構成されることができる。更に、目状態決定ユニットは、人の目の視覚軸が、対象のキャプチャされた空間的な位置で収束するかどうかに基づき、斜視を決定するよう構成されることができる。
システムは、決定された目状態に基づき、警告メッセージを生成する警告メッセージ生成ユニットを更に有することができる。警告メッセージ生成ユニットは好ましくは、目状態が決定された児童の両親といった特定の人に対して警告メッセージを提供するよう構成される。特に、警告メッセージ生成ユニットは、異常な目状態、即ち所定の目状態から逸脱する目状態が決定された場合、例えば電子メール又は別のフォーマットにおいて親に警告メッセージを送信するよう構成されることができる。
本発明の更なる側面において、人の目の状態を決定する目状態の決定方法が提示され、上記方法が、上記人が対象を見る視聴活動の間、上記目状態を決定するよう構成され、
空間特性キャプチャユニットにより、上記対象の空間的な寸法及び/又は上記視聴活動の間の上記人に対する上記対象の空間的な位置をキャプチャするステップと、
目状態決定ユニットにより、上記対象の上記キャプチャされた視覚的な空間的な寸法及び/又は上記人に対する上記対象の上記キャプチャされた空間的な位置に基づき、上記目状態を決定するステップとを有する。
本発明の更なる側面において、人の目の状態を決定するコンピュータプログラムが提示され、このコンピュータプログラムは、目状態決定システムを制御するコンピュータで実行されるとき、請求項1に記載の目状態決定システムに、請求項13に記載の目状態決定方法のステップを実行させるためのプログラムコード手段を有する。
請求項1の目状態決定装置、請求項13の目状態決定方法及び請求項14のコンピュータプログラムが、従属項に記載されるのと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
本発明の好ましい実施態様は、従属項又は上記実施形態と個別の独立請求項との任意の組み合わせとすることもできる点を理解されたい。
人の目の状態を決定する目状態決定システムの実施形態を概略的かつ例示的に示す図である。 目状態を決定する目状態決定システムにより使用される空間的なパラメータを概略的かつ例示的に示す図である。 目状態を決定する目状態決定システムにより使用される空間的なパラメータを概略的かつ例示的に示す図である。 対象に焦点を合わせる間のユーザの目の形状及び大きさを概略的かつ例示的に示し、近視患者の目を示す図である。 対象に焦点を合わせる間のユーザの目の形状及び大きさを概略的かつ例示的に示し、健常な人の目を示す図である。 人の目の状態を決定する目状態決定システムの更なる実施形態を概略的かつ例示的に示す図である。 目標対象の位置に対する、人の2つの視覚軸の交差の異なる位置を概略的かつ例示的に示す図である。 目標対象の位置に対する、人の2つの視覚軸の交差の異なる位置を概略的かつ例示的に示す図である。 目標対象の位置に対する、人の2つの視覚軸の交差の異なる位置を概略的かつ例示的に示す図である。 人の目の状態を決定する目状態決定方法の実施形態を例示的に説明するフローチャートを示す図である。
本発明のこれら及び他の側面が、以下に説明される実施形態から明らかとなり、これらの実施形態を参照して説明されることになる。
図1は、人の目の状態を決定する目状態決定システムの実施形態を概略的かつ例示的に示す。システム1は、視聴活動の間、目状態を決定するよう構成される。視聴活動の間、人は、目状態を決定するためではなく、対象3を見る。即ち、システム1は、通常の活動から人の気を散らすことなしに、及び目状態試験を実行するために人からの任意の意識的な処理を必要とすることなしに、人の通常の活動の間、目状態を決定するよう構成される。
システム1は、視聴活動の間、対象3の空間的な寸法をキャプチャする空間特性キャプチャユニット2を有する。本実施形態において、対象3はタッチパッド又はパーソナルコンピュータのモニタといったスクリーンを持つコンピュータである。空間特性キャプチャユニットは、対象の空間的な寸法としてコンピュータ3により示される内容の空間的な寸法をキャプチャするよう構成される。例えば、空間特性キャプチャユニット2は、対象の空間的な寸法としてコンピュータ3により示されるテキストのフォントサイズ及び/又はライン間隔をキャプチャするよう構成されることができる。本実施形態において、空間特性キャプチャユニット2は、空間的な寸法を決定するため、コンピュータのディスプレイの画面ショットを使用し、これは、画面ショット提供ユニット7により提供される。従って、視聴内容キャプチャユニットとも見なされることができる空間特性キャプチャユニット2及び画面ショット提供ユニット7は、コンピュータ3にあるソフトウェアプログラムとすることができる。この場合、このソフトウェアプログラムは、コンピュータ3のディスプレイの画面ショットをコンスタントに取り、空間的な寸法、特にディスプレイに示されるテキストのフォントサイズ及び/又はライン間隔をキャプチャするため、表示される内容の特性を分析する。別の実施形態では、空間特性キャプチャユニットは、コンピュータ3のオペレーティングシステムのアプリケーションユーザインタフェース(API)を介して空間的な寸法を受信するよう構成されることもできる。こうして、例えば、空間特性キャプチャユニットは、コンピュータ3の基礎をなすオペレーティングシステムのAPIを使用することにより、表示される内容の特性を知るため、関数呼び出しを発行することができる。
空間特性キャプチャユニット2は更に、視聴活動の間、人に対するコンピュータ3の空間的な位置、特にコンピュータ3のディスプレイの位置をキャプチャするよう構成される。特に、空間特性キャプチャユニット2は、人に面する組み込みカメラ5を使用することにより、コンピュータ3のディスプレイ及び人の目6の間の空間的な距離Dを決定するよう構成される。組み込みカメラ5は、画像提供ユニットとして、及び対象3に付けられる対象カメラとして考えられることができる。これは、人の顔の画像を提供するよう構成される。組み込みカメラ5により生成される顔画像に基づき、コンピュータ3のディスプレイ及び人の目6の間の空間的な距離を決定するため、EP2573696A2号に開示されるアルゴリズムのような既知の画像ベースの距離推定アルゴリズムが使用されることができる。
システム1は、対象3のキャプチャされた空間的な寸法及び人に対する対象3のキャプチャされた空間的な位置に基づき、目状態を決定する目状態決定ユニット4を更に有する。特に、目状態決定ユニット4は、コンピュータ3のディスプレイに示される内容の空間的な寸法に基づき、及び目6とコンピュータ3のディスプレイとの間の空間的な距離に基づき、人の目6の視力を決定するよう構成される。
図2は、組み込みカメラ5を備えるコンピュータ3を概略的かつ例示的に示す。ここで、コンピュータ3のディスプレイにテキストライン20が示される。テキストライン20の間の距離dlは、空間特性キャプチャユニット2によりキャプチャされ、視力を決定するため目6及びコンピュータ3のディスプレイの間の空間的な距離Dと共に使用される。
コンピュータ3におけるテキストの文書を読むときの最高の視力を得るため、人は、自分の視聴距離を潜在意識的に調整することができるか、又は、視聴内容が電子的に調整可能である場合、例えば、ライン間隔及び/又はテキストフォントサイズ及び/又は隣接する文字若しくは語の間の距離を意図的に調整することができる。人がリーディングを行う好ましい距離は、組み込みカメラ5により生成される顔画像を用いて空間特性キャプチャユニット2により算出される、人の目6とコンピュータ3のディスプレイとの間の空間的な距離Dである。ライン間隔dl、又は、例えば図3において概略的かつ例示的に示される2つの隣接する文字の間の距離dcは、空間特性キャプチャユニット2によりキャプチャされることができる。これは、コンピュータ3に表示される内容と同じ位置に配置されることができる。ライン間隔dl又は2つの隣接する文字の間の距離dc及び人の目6とコンピュータ3のディスプレイとの間の空間的な距離Dに基づき、
Figure 2017522104
として表される人の解像度角度が、目状態決定ユニット4により算出されることができる。比較的長時間にわたり解像度角度θをモニタすることにより、最大解像度角度、最小解像度角度及び平均解像度角度といった解像度角度に関する統計が得られることができる。決定された現在の解像度角度、最大解像度角度、最小解像度角度及び/又は平均解像度角度は、目状態決定ユニットにより決定される目状態と考えられることができる。例えば、個別の解像度値が比較的小さい場合、人の目6が、比較的高い視力を持つことが想定されることができ、一方解像度角度が比較的大きい場合、人の目6の視力が比較的小さいことが想定されることができる。こうして、あたかもその者がスネレンチャートで検査しているかのように、人の近見又は遠見視力が推定されることができる。
システム1は、組み込みカメラ5により生成される顔画像に基づき、目6の形状を決定する目形状決定ユニット11を更に有する。本実施形態において、目形状決定ユニット11は更に、目6の大きさを決定するよう構成される。ここで、目の形状及び大きさは、目の輪郭又は外形を決定することにより決定されることができ、目状態終了ユニット4は更に、目6の決定された大きさ及び形状に基づき、特に目の決定された輪郭又は外形に基づき、目状態を決定するよう構成される。
眼鏡がない又は不十分な近視患者は、目が好適に焦点合わせすることができるよう自分の目を細めることにより対象を見る傾向がある。これは、概略的かつ例示的に図4に示される。人が近視でない場合、目は、例えばテキストの文書を読む間、それほど細くならない。これは、概略的かつ例示的に図5に示される。従って、目形状決定ユニット11は、例えば、顔画像に対して輪郭抽出アルゴリズムを適用することにより、目形状変化を検出するよう構成されることができる。空間特性キャプチャユニット2により検出される小さい又は遠くの要素を見るイベントに関連付けられる目を細めるイベントが頻繁に発見される場合、人が近視を持ち、特に眼鏡の能力が不十分である場合がある。目状態決定ユニット4は、視力を決定するためベイジアンネットワークといった機械学習モデルを使用するよう構成されることができる。ここで、機械学習モデルは、a)既知の距離及び/又は文字サイズ及び/又はライン間隔及び/又は目の形状及び/又は目の大きさ、特に目の輪郭又は外形及び人の年齢といったオプションの更なるパラメータ並びにb)既知の視力を含むトレーニングデータセットにより訓練されることができる。
システムは、提供された顔画像に基づき、目6の視覚軸を決定する視覚軸決定ユニット12を更に有する。ここで、目状態決定ユニット4は、目6の決定された視覚軸及び人に対する対象3の空間的な位置に基づき、斜視を決定するよう構成される。特に、目状態決定ユニット4は、目6の視覚軸が対象3の空間的な位置で収束するかどうかを決定するよう構成されることができる。ここで、そうでない場合、目状態決定ユニット4は、人が斜視を持つと決定することができる。
システム1は、決定された目状態に基づき、警告メッセージを生成する警告メッセージ生成ユニット8を更に有する。例えば、近視及び/又は斜視が目状態決定ユニット4により決定された場合、警告メッセージ生成ユニット8は、警告メッセージを生成するよう構成されることができる。子供が近視及び/又は斜視を持つことを目状態決定ユニット4が検出した場合、警告メッセージ生成ユニット8は、両親といった特定の受取人に対して警告メッセージを送信するよう構成されることができる。警告メッセージは、例えば、音響警告メッセージ及び/又は光学警告メッセージとすることができる。警告メッセージは、例えば、両親の電子メールアドレスに対して送られるテキストメッセージとすることもできる。
図6は、人の目の状態を決定する目状態決定システムの更なる実施形態を概略的かつ例示的に示す。本実施形態においても、システム101は、通常の視聴活動の間、目の状態を決定するよう構成される。通常の視聴活動の間、人は、目の状態を決定するためではなく対象を見る。即ち目状態検査を実行する間でなく、例えばテキストの文書を読む間に目の状態が決定される。目状態決定システム101は、対象103の空間的な寸法をキャプチャし、視聴活動の間、人に対する対象103の空間的な位置をキャプチャする、空間特性キャプチャユニット102を有する。より詳細には、本実施形態において、眼鏡109が人によりかけられる。ここで、人カメラ110が眼鏡109に付けられる。人カメラ110は、外を指す。即ち、対象103に向かう。本実施形態において、対象は、テキストの内容を持つ。例えば、本実施形態において、対象103は、本、黒板、掲示板、紙文書、道路標識等とすることができる。人カメラ110は、対象画像を生成するのに使用される。ここで、空間特性キャプチャユニット102は、対象画像に基づき、対象の空間的な寸法、特に文字サイズ、ライン間隔等の対象により示される内容の空間的な寸法を決定するよう構成される。空間特性キャプチャユニット102は更に、既知の画像ベースの距離推定技術を用いて、対象画像に基づき、人と対象103との間の空間的な距離、即ち本実施形態では人によりかけられる眼鏡109と対象103との間の空間的な距離Dを決定するよう構成される。システム101は、例えば、図2及び3を参照して上述したように、眼鏡109と対象103との間の空間的な距離D、並びにライン間隔及び/又は2つの隣接する文字の間の距離に基づき、視力を決定するよう構成されることができる目状態決定ユニット104を更に有する。
眼鏡109は、人の顔の画像を生成する更なるカメラ105を有する。ここで、顔画像は、目6を含む顔の部分を少なくとも示す。特に、眼鏡109は、2つの更なるカメラ105を有することができる。ここで、各カメラ105は、人の目を示す顔画像を生成する。即ち、本実施形態において、顔画像は、人の全体の顔を示す画像である必要はなく、それらは、目6を含む顔の部分を少なくとも示す画像とすることができる。
カメラ105により生成される顔画像は、目6の大きさ及び形状を決定する目形状決定ユニット111により使用されることができる。ここで、目6のこの大きさ及び形状は、図4及び5を参照して上述したように、近視といった目状態を決定する目状態決定ユニット104により使用されることができる。更に、視覚軸決定ユニット112は、提供された顔画像に基づき、目6の視覚軸を決定することができる。ここで、目状態決定ユニット104は、目6の視覚軸が、空間特性キャプチャユニット102により提供される対象103の空間的な位置で収束するかどうかを決定することにより、斜視を決定するよう構成されることができる。例えば、顔画像は、2次元又は3次元画像とすることができる。ここで、視覚軸決定ユニット112は、個別の目の輪郭の位置に対する、即ち個別の顔画像における目蓋に対する個別の瞳孔の位置を決定し、この相対的な位置に基づき、個別の視覚軸を決定するよう構成されることができる。顔画像が3次元画像である場合、視覚軸決定ユニット112は、個別の視覚軸として使用されることができる個別の眼球の通常の軸を決定するため、特に深さ抽出技術を使用することにより、個別の眼球の突起を決定するよう構成されることができる。
空間特性キャプチャユニット102は好ましくは、対象の画像に基づき、対象の空間的な位置を提供するよう構成される。空間特性キャプチャユニット102が、画像において複数の対象を特定する場合、それは、焦点において対象を特定するため運動追跡アルゴリズムを使用することができる。特に、空間特性キャプチャユニット102は、画像において特定される対象の動作を検出し、顔画像に基づき、人の眼球の運動を検出し、異なる対象の各々の動作と眼球の運動とを相関又はマッチさせるよう構成されることができる。最も好適な運動相関又は運動マッチングが実現される対象は、焦点にある対象であると決定されることができる。ここで、2つの視覚軸は、焦点にある対象の位置で交差するべきである。
図7〜図9は、目状態決定システムにより斜視の症状がどのように決定されることができるかを例示的に示す。図7は、人30の通常の、即ち健康な目106が目標対象203を見る状況を示す。視覚軸30、31は、焦点が合わせられる目標対象203で交差する。図8は、いわゆる「寄り目の」斜視症を示し、図9は、いわゆる「角膜白斑の」斜視症を示す。目標対象203の位置に対する2つの視覚軸30、31の交差の位置を決定することにより、目状態決定ユニット104は、斜視の異なる症状の間の区別することができる。即ち目状態決定ユニット104は、2つの視覚軸30、31の不整列を検出し、この不整列に基づき、斜視を検出することができる。
システム101は、図1を参照して上述した警告メッセージ生成ユニット8に類似する警告メッセージ生成ユニット108を更に有する。空間特性キャプチャユニット102、目形状決定ユニット111、視覚軸決定ユニット112、目状態決定ユニット104及び警告メッセージ生成ユニット108は、コンピュータ140において実現されることができる。このコンピュータは、例えば、眼鏡109及び対象103の間の空間的な距離、ライン間隔、隣接する文字の間の距離、目の視覚軸、目の大きさ及び形状等を決定するコンピュータ140の異なるユニットにより使用される個別の画像を受信するため、眼鏡109のカメラ105、110と有線又は無線データ接続32を介して通信する。
以下において、人の目の状態を決定する目状態の決定方法の実施形態が、図10に示されるフローチャートを参照して、例示的に表される。
目状態の決定方法は、人が目の状態を決定するためでなく対象を見る視聴活動の間、目の状態を決定するよう構成される。即ち、この方法は、テキストの文書を読むといった人の通常の視聴活動の間、目の状態を決定するよう構成される。ステップ301において、対象の空間的な寸法及び/又は視聴活動の間の人に対する対象の空間的な位置が、空間特性キャプチャユニットによりキャプチャされる。例えば、図1を参照して上述したシステム1又は図6を参照して上述したシステム101を用いて、対象及び人の間の空間的な距離が決定されることができ、テキストの文書のライン間隔又は2つの隣接する文字の間の距離が決定されることができる。オプションで、ステップ301において、目の大きさ及び形状といった更なる特性が決定されることができる。
ステップ302において、対象のキャプチャされた視覚的な空間的な寸法及び/又は人に対する対象のキャプチャされた空間的な位置に基づき、目の状態が目状態決定ユニットにより決定される。例えば、対象と人との間のキャプチャされた空間的な距離、及び対象により示されるテキストの文書のキャプチャされたライン間隔又は2つの隣接する文字の間のキャプチャされた距離に基づき、人の視力が決定されることができる。ステップ302において、斜視といった他の目状態も決定されることができる。更に、人の目の大きさ及び形状といった追加的な特性が、目の状態を決定するのに使用されることができる。
ステップ303において、警告メッセージ生成ユニットにより警告メッセージが生成される必要があるような、目の状態が異常かどうかが決定される。例えば、ステップ302において、解像度角度を決定することにより視力が決定される場合、解像度角度が通常の目の状態に対応する所定の解像度角度範囲にない場合、警告メッセージが生成されることができる。更に、ステップ302において、斜視が調査された場合、目の視覚軸が対象の位置で交差しない場合、警告メッセージが生成されることができる。
ステップ304において、中止基準が満たされたかどうかが決定される。中止基準は例えば、ユーザがシステムにストップ命令を入力したかどうかとすることができる。中止基準が満たされる場合、方法はステップ305において終わる。そうでない場合、方法は、ステップ301へと続く。こうして、目状態決定方法が停止するまで、目の状態は長い期間にわたり、例えば数日、数ヶ月又は更には数年にわたり、連続して決定されることができる。
近視眼又は近視は、問題のある目状態である。この場合、入射光が網膜では焦点を結ばず、その前で焦点を結ぶ。別の望ましくない目状態は斜視である。これは対象を見るとき、2つの目が互いに適切に揃っていない状態である。幼児は特に、それらの視覚的な成長の間、これらの目状態の傾向がある。不適切な読書姿勢、運動不足、過負荷の学業等が、近視を発展させる機会を大幅に増加させる可能性がある。問題の目症状の早期の検出は、正しい治療を行い、目が更に悪化するのを防止するために重要である。しかしながら、完全な眼検査は通常、平均的な家庭の子供に対して年に1〜2回だけ行われ、専用の検査器材を介して病院又は検眼士でのみ利用可能である。裸眼検査は、両親により行われることができる。しかし、斯かる裸眼検査は、子供の目の状態の早期のサインを必ずしも検出することができない。なぜなら、子供が対象に焦点を合わせるといった特定の種類の活動をしているときにのみ、いくつかの症状が現れるからである。更に、ある両親は、単にあまりに忙しく児童に付き添うことができないか、又は確かな目健康知識が欠如している。図1及び6を参照して上述した目状態決定システムは、従って、眼病の早期のサインを検出し、両親に対して警告をするよう構成される。このシステムは、タブレットコンピュータ、スマートフォン又はパーソナルコンピュータといったコンピュータに、又は、テレビに、又は眼鏡等にアドオンとして構築されることができる。読書、宿題をする、テレビゲームで遊ぶ等といった児童の日常的な視聴関連活動をモニタすることにより、目状態の早期のサインが検出されることができ、両親が警告されることができる。斯かる警告がある場合、更なる評価のため、より徹底的で専門的な検査が行われることができる。結果として、人の、特に幼児の問題のある目状態が、よりタイムリに診断されることができる。
空間特性キャプチャユニットは、静的及び/又は動的な空間的な特性をキャプチャするよう構成されることができる。例えば、空間特性キャプチャユニットは、人と対象との間の変化する距離、及び/又は対象により示されるテキストの文書の変化するライン間隔又は隣接する文字の間の変化する距離をキャプチャするよう構成されることができる。
このシステムは好ましくは、画像処理に基づき、目の状態を決定するよう構成される。上記目状態決定技術は一般に、家庭内の児童視力監視、児童アイケア及びスマートホームに対して適用されることができる。それは、好ましくは、通常の日常的な活動を妨げることなしに、子供の視力問題を検出する。
上記の実施形態において目状態決定ユニットは、視力及び斜視といった特定の目状態を決定するよう構成されるが、他の実施形態において、目状態決定ユニットは、他の目状態を決定するよう構成されることができる。更に、上記の実施形態において、目の状態を決定する間、特定の対象が人により見られたが、他の実施形態において、目の状態を決定する間、他の対象も見られることができる。例えば、目の状態を決定する間、ディスプレイを持つコンピュータの代わりに、テレビが人により見られることができる。
図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。
単一のユニット又はデバイスが、請求項において列挙される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
例えば、ライン間隔、隣接する文字の間の距離、隣接する語の間の距離といった対象の空間的な寸法のキャプチャリング、目状態の決定、目の大きさ及び形状の決定、目の視覚軸の決定等の1つ又は複数のユニット又はデバイスにより実行される手順は、他の任意の数のユニット又はデバイスにより実行されることができる。目状態の決定方法による目状態決定システムのこれらの手順及び/又は制御は、コンピュータプログラムのプログラムコード手段及び/又は専用ハードウェアとして実現されることができる。
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体において格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。
本発明は、人が対象を見る視聴活動の間、人の、特に子供の目の状態を決定する目状態決定システムに関する。空間特性キャプチャユニットが、対象の空間的な寸法及び/又は視聴活動の間の人に対する対象の空間的な位置をキャプチャし、目状態決定ユニットが、対象のキャプチャされた空間的な寸法及び/又は人に対する対象のキャプチャされた空間的な位置に基づき、近視又は斜視といった目の状態を決定する。これは、例えば両親による任意の支援なしに、特に任意のユーザ相互作用なしに、テキストを読むといった通常の視聴活動の間、目の状態を決定することを可能にする。

Claims (14)

  1. 人の目の状態を決定する目状態決定システムであって、前記システムが、前記人が対象を見る視聴活動の間、前記目の状態を決定するよう構成され、
    前記対象の空間的な寸法及び/又は前記視聴活動の間、前記人に対する前記対象の空間的な位置をキャプチャする空間特性キャプチャユニットと、
    前記対象の前記キャプチャされた空間的な寸法及び/又は前記人に対する前記対象の前記キャプチャされた空間的な位置に基づき、前記目の状態を決定する目状態決定ユニットとを有する、システム。
  2. 前記システムが、前記人に付けられる人カメラにより生成される前記対象の画像である対象画像、及び/又は、前記対象に付けられる対象カメラにより生成される前記人の顔の画像である顔画像を提供する画像提供ユニットを更に有し、
    前記空間特性キャプチャユニットは、前記提供された対象画像及び/又は前記提供された顔画像に基づき、前記人に対する前記対象の前記空間的な位置を決定するよう構成される、請求項1に記載の目状態決定システム。
  3. 前記システムが、前記対象の画像である対象画像を提供する画像提供ユニットを更に有し、
    前記空間特性キャプチャユニットは、前記提供された対象画像に基づき、前記対象の前記空間的な寸法を決定するよう構成される、請求項1に記載の目状態決定システム。
  4. 前記画像提供ユニットが、前記人に付けられる人カメラにより生成された対象画像を提供するよう構成される、請求項3に記載の目状態決定システム。
  5. 前記対象が、ディスプレイを持つコンピュータであり、
    前記システムは、前記ディスプレイの画面ショットを提供する画面ショット提供ユニットを有し、
    前記空間特性キャプチャユニットが、前記提供された画面ショットに基づき、前記対象の前記空間的な寸法を決定するよう構成される、請求項1に記載の目状態決定システム。
  6. 前記対象が、ディスプレイを持つコンピュータであり、
    前記空間特性キャプチャユニットは、前記コンピュータのオペレーティングシステムのアプリケーションユーザインタフェースを介して、前記空間的な寸法を受信するよう構成される、請求項1に記載の目状態決定システム。
  7. 前記システムが、前記人の顔の画像である顔画像を提供する画像提供ユニットと、前記提供された顔画像に基づき、前記目の形状を決定する目形状決定ユニットとを更に有し、
    前記目状態決定ユニットは、前記目の前記決定された形状に基づき、前記目の状態を決定するよう構成される、請求項1に記載の目状態決定システム。
  8. 前記システムが、前記人の顔の画像である顔画像を提供する画像提供ユニットと、前記提供された顔画像に基づき、前記目の視覚軸を決定する視覚軸決定ユニットとを更に有し、
    前記目状態決定ユニットは、前記目の前記決定された視覚軸に基づき、前記目の状態を決定するよう構成される、請求項1に記載の目状態決定システム。
  9. 前記空間特性キャプチャユニットが、前記対象の前記視覚的な空間的な寸法として前記対象の要素の間の要素距離をキャプチャするよう構成される、請求項1に記載の目状態決定システム。
  10. 前記対象が、要素として文字を示し、
    前記要素距離は、文字の間の距離及び/又は前記文字により形成される語の間の距離及び/又は前記文字により形成されるラインの間の距離である、請求項9に記載の目状態決定システム。
  11. 前記目状態決定ユニットが、前記目の状態として、視力及び/又は斜視を決定するよう構成される、請求項1に記載の目状態決定システム。
  12. 前記システムが、前記決定された目の状態に基づき、警告メッセージを生成する警告メッセージ生成ユニットを更に有する、請求項1に記載の目状態決定システム。
  13. 人の目の状態を決定する目状態決定方法において、前記方法が、前記人が対象を見る視聴活動の間、前記目の状態を決定するよう構成され、
    空間特性キャプチャユニットにより、前記対象の空間的な寸法及び/又は前記視聴活動の間の前記人に対する前記対象の空間的な位置をキャプチャするステップと、
    目状態決定ユニットにより、前記対象の前記キャプチャされた視覚的な空間的な寸法及び/又は前記人に対する前記対象の前記キャプチャされた空間的な位置に基づき、前記目の状態を決定するステップとを有する、方法。
  14. 人の目の状態を決定するコンピュータプログラムであって、目状態決定システムを制御するコンピュータで実行されるとき、請求項1に記載の目状態決定システムに、請求項13に記載の目状態決定方法のステップを実行させるためのプログラムコード手段を有する、コンピュータプログラム。
JP2016574946A 2014-07-02 2015-06-24 目状態決定システム Pending JP2017522104A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2014081519 2014-07-02
CNPCT/CN2014/081519 2014-07-02
PCT/IB2015/054723 WO2016001796A1 (en) 2014-07-02 2015-06-24 Eye condition determination system

Publications (1)

Publication Number Publication Date
JP2017522104A true JP2017522104A (ja) 2017-08-10

Family

ID=53761445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016574946A Pending JP2017522104A (ja) 2014-07-02 2015-06-24 目状態決定システム

Country Status (5)

Country Link
US (1) US20170156585A1 (ja)
EP (1) EP3164055A1 (ja)
JP (1) JP2017522104A (ja)
CN (1) CN106572795A (ja)
WO (1) WO2016001796A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11376169B2 (en) 2017-05-03 2022-07-05 The Procter & Gamble Company Absorbent article having multiple zones
JP2023513910A (ja) * 2020-02-12 2023-04-04 エシロール・アンテルナシオナル ある人物の現在の屈折異常及び現在の調節力の変動の検出と矯正
JP7556971B2 (ja) 2020-02-12 2024-09-26 エシロール・アンテルナシオナル ある人物の現在の屈折異常及び現在の調節力の変動の検出と矯正

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10849492B2 (en) 2016-02-16 2020-12-01 Massachusetts Eye And Ear Infirmary Mobile device application for ocular misalignment measurement
US11494897B2 (en) * 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
CN107898429A (zh) * 2017-11-10 2018-04-13 南京医科大学第附属医院 一种斜视筛查和眼位记录仪及其方法
US10413172B2 (en) 2017-12-11 2019-09-17 1-800 Contacts, Inc. Digital visual acuity eye examination for remote physician assessment
CN109061900A (zh) * 2018-07-16 2018-12-21 江苏省人民医院(南京医科大学第附属医院) 间歇性斜视智能监控和治疗眼镜
US20220095972A1 (en) * 2019-01-21 2022-03-31 Mitsubishi Electric Corporation Attentiveness determination device, attentiveness determination system, attentiveness determination method, and computer-readable storage medium
US11224339B2 (en) 2019-07-16 2022-01-18 International Business Machines Corporation Dynamic eye condition self-diagnosis
US11918382B2 (en) 2020-04-13 2024-03-05 International Business Machines Corporation Continual background monitoring of eye health

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596379A (en) * 1995-10-24 1997-01-21 Kawesch; Gary M. Portable visual acuity testing system and method
EP1741383A3 (en) * 2005-07-07 2007-11-28 Minako Kaido Method and apparatus for measuring operating visual acuity
US8820929B2 (en) * 2006-01-20 2014-09-02 Clarity Medical Systems, Inc. Real-time measurement/display/record/playback of wavefront data for use in vision correction procedures
CN2915029Y (zh) * 2006-02-14 2007-06-27 徐仲昭 多媒体智能视力检测装置
US7771051B2 (en) * 2007-06-13 2010-08-10 Rahim Hirji Near eye opthalmic device
ES2327307B1 (es) 2007-07-04 2010-07-21 Universidad De Murcia Procedimiento automatizado para medir la agudeza visual de lectura.
US9782068B2 (en) * 2009-02-02 2017-10-10 The Johns Hopkins University System for diagnosis and therapy of gaze stability
AU2010247901B2 (en) * 2009-05-09 2015-05-21 Vital Art And Science, Llc Shape discrimination vision assessment and tracking system
CN201481391U (zh) * 2009-07-30 2010-05-26 温州医学院 婴幼儿视力检查仪
US8967809B2 (en) * 2010-03-01 2015-03-03 Alcon Research, Ltd. Methods and systems for intelligent visual function assessments
JP4888579B2 (ja) * 2010-04-21 2012-02-29 パナソニック電工株式会社 視機能検査装置
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
KR101868597B1 (ko) 2011-09-20 2018-06-19 삼성전자 주식회사 올바른 기기사용자세 유도 장치 및 방법
KR20140108649A (ko) * 2011-11-21 2014-09-12 아이체크 헬스 커넥션, 인크. 망막질환을 모니터하는 비디오 게임
EP2811891A1 (en) * 2012-02-09 2014-12-17 Universität Zürich System for examining eye movements, particularly the vestibulo-ocular reflex and dynamic visual acuity
US9968252B2 (en) * 2012-10-02 2018-05-15 University Hospitals Of Cleveland Apparatus and methods for diagnosis of strabismus
CN102961117A (zh) * 2012-11-06 2013-03-13 温州医学院 基于移动平台的斜视诊断装置
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
EP3052004B1 (en) * 2013-10-03 2022-03-30 Neuroscience Research Australia (Neura) Diagnosis of vision stability dysfunction
US20150223683A1 (en) * 2014-02-10 2015-08-13 Labyrinth Devices, Llc System For Synchronously Sampled Binocular Video-Oculography Using A Single Head-Mounted Camera
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11376169B2 (en) 2017-05-03 2022-07-05 The Procter & Gamble Company Absorbent article having multiple zones
JP2023513910A (ja) * 2020-02-12 2023-04-04 エシロール・アンテルナシオナル ある人物の現在の屈折異常及び現在の調節力の変動の検出と矯正
JP7556971B2 (ja) 2020-02-12 2024-09-26 エシロール・アンテルナシオナル ある人物の現在の屈折異常及び現在の調節力の変動の検出と矯正

Also Published As

Publication number Publication date
US20170156585A1 (en) 2017-06-08
WO2016001796A1 (en) 2016-01-07
EP3164055A1 (en) 2017-05-10
CN106572795A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
JP2017522104A (ja) 目状態決定システム
JP6951327B2 (ja) 視覚の様相を検査する方法及びシステム
JP6774136B2 (ja) 自動視力診断の方法およびシステム
JP6049798B2 (ja) 形状識別視力評価及び追跡システム
US20150282705A1 (en) Method and System of Using Eye Tracking to Evaluate Subjects
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
JP2016521411A (ja) 頭部及び眼球追跡
US11967075B2 (en) Application to determine reading/working distance
JP2017533790A (ja) 運動タスク解析のシステムおよび方法
CN110772218A (zh) 视力筛查设备及方法
US20170354369A1 (en) Methods and systems for testing opticokinetic nystagmus
Wibirama et al. Dual‐camera acquisition for accurate measurement of three‐dimensional eye movements
JP2011083379A (ja) 映像酔い耐性評価装置及びプログラム
CN108495584B (zh) 用于通过触觉界面确定眼球运动的装置和方法
KR101643744B1 (ko) 시선고정 눈 반응 감지장치 및 방법
JP2019195349A (ja) うつ状態検知方法、及びうつ状態検知装置
Seo et al. Development of the viewing distance measuring device in smartphone use
US20240268660A1 (en) Determining a visual performance of an eye of a person
JP2024024307A (ja) 画像処理装置、画像処理方法およびプログラム
WO2023242635A2 (en) Single device remote visual acuity testing systems and methods
BR112022021659B1 (pt) Método e dispositivo para determinar um erro de refração
KR20230013833A (ko) 안구 트래킹과 공간주파수를 이용한 시력 측정 장치 및 그 방법
TW396032B (en) Method for applying an eye vision test and evaluating an eyeball exercise