JP2001522679A - Automatic light reflection screening - Google Patents

Automatic light reflection screening

Info

Publication number
JP2001522679A
JP2001522679A JP2000520683A JP2000520683A JP2001522679A JP 2001522679 A JP2001522679 A JP 2001522679A JP 2000520683 A JP2000520683 A JP 2000520683A JP 2000520683 A JP2000520683 A JP 2000520683A JP 2001522679 A JP2001522679 A JP 2001522679A
Authority
JP
Japan
Prior art keywords
eye
model
patient
digital image
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000520683A
Other languages
Japanese (ja)
Inventor
フーヴァ−、アダム
ブラウン、スチュアート
ブラディー、バーバラ
バーツチ、ダーク‐ウウェ
グラネット、デイビッド
Original Assignee
ブラウン、スチュアート
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/173,571 external-priority patent/US6089715A/en
Application filed by ブラウン、スチュアート filed Critical ブラウン、スチュアート
Publication of JP2001522679A publication Critical patent/JP2001522679A/en
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Abstract

(57)【要約】 自動的な光屈折スクリーニングのために、仮想上で眼を配置およびモデル化するためのシステムおよび方法である。本発明は、患者(16)の眼を、各々の眼を近軸フラッシュ(12)によって照明された各々の眼を含むデジタル画像内に配置するためのシステムおよび方法を含むものである。光反射の自動発見は、可能な瞳孔と強膜の境界線を決定するために、このような光反射の分析を含む。本発明はさらに、このような可能な瞳孔と強膜の境界線に、関連するモデルを自動適用させ、各々の眼の中の可能な異常を決定するために、各々の眼のモデルを分析し、このような分析に基づいて、各々の眼について可能な診断を出力するものである。本発明のその他の局面は、患者(16の眼の異常のインジケータとして表示された眼のモデルからの網膜反射と角膜反射を測定し、カメラのレンズの中心線付近に配置されたフラッシュ(12)を備えたカメラ(10)で各々の患者(16)の眼のデジタル画像を生成し、明るく鮮明な光反射を持つ画像を生成する。 Summary A system and method for virtually positioning and modeling an eye for automatic photorefractive screening. The present invention includes systems and methods for placing the eyes of a patient (16) in a digital image including each eye illuminated by a paraxial flash (12). Automatic detection of light reflection involves the analysis of such light reflections to determine possible pupil-sclera boundaries. The present invention further comprises automatically applying an associated model to such possible pupil-sclera boundaries and analyzing each eye model to determine possible abnormalities in each eye. Based on such analysis, a possible diagnosis is output for each eye. Another aspect of the invention is to measure retinal and corneal reflexes from a model of the eye displayed as an indicator of a patient's (16 eye abnormalities) and to place a flash (12) positioned near the centerline of the camera lens A digital image of the eye of each patient (16) is generated with a camera (10) equipped with a camera, and an image with bright and clear light reflection is generated.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】TECHNICAL FIELD OF THE INVENTION

本発明は、眼の特性を測定するための医療機械に関するものであり、特に、自
動光屈折スクリーニングのために、また、患者の視覚組織の異常を見つけるため
に、眼を画像的に配置およびモデル化するシステムおよび方法に関するものであ
る。
FIELD OF THE INVENTION The present invention relates to medical machines for measuring eye characteristics, and in particular, to graphically position and model eyes for automatic light refraction screening and to find abnormalities in the visual tissue of a patient. Systems and methods.

【0002】[0002]

【従来の技術】[Prior art]

従来の眼検査は、眼の内側に光を照射し、瞳孔を満たす通常は可視である赤い
色の反射光の均一性を視覚的に検査することによって行われる。片眼における、
または両眼間における、均一性からのあらゆる逸脱が、患者の視覚組織内に生じ
た問題の可能性を示す。このような光反射スクリーニングは、従って患者のアイ
ケアにおいては有用な道具である。 斜視、様々な形式の反射誤差(近視、遠視、乱視)と眼の媒体の混濁のような
眼の障害は、弱視または視力喪失の主な原因である。これらが組合わさって、人
口の5 %に弱視を引起している。しかし、弱視を引起すとは限らないある形の視 覚問題は子供の20 %に現れている。
Conventional eye examinations are performed by illuminating the inside of the eye and visually examining the uniformity of the normally visible red colored reflected light that fills the pupil. In one eye,
Or any deviation from homogeneity between the eyes indicates a potential problem that has occurred in the patient's visual tissue. Such light reflection screening is therefore a useful tool in patient eye care. Eye disorders such as strabismus, various forms of reflex errors (myopia, hyperopia, astigmatism) and opacification of the ocular medium are major causes of amblyopia or loss of vision. Together, they cause low vision in 5% of the population. However, some forms of visual problems that do not necessarily cause amblyopia appear in 20% of children.

【0003】 弱視は、視覚の鋭敏性が単に低下するわけではない。認識の鋭敏性の損失に加
え、格子の鋭敏性、バーニアの鋭敏性、収縮の感度、形の歪曲、空間への配置、
動作、より悪化するクラウディング刺激が低下する。さらに、30歳以下の人達に
おける弱視は単眼視覚損失の主な原因となる。 単眼視覚損失は知覚能力に衝撃を与えるものではないが、弱視とその他の外観
の美観損失障害は途方もない感情的衝撃である。眼鏡の発見されていな必要性は
明白に、厳しい初期の学年における学校の成績をより困難にしてしまう。初期に
おける学校での成功は、それ自体を複雑にし、満たされない学校での可能性へと
導いてしまう。さらに、優れた視力が必要な職業もある。様々な視覚障害の認識
を遅らせることは、これらの将来的な職業の選択から子供を制限してしまう。 品弦の視覚開発は、3ステップから構成されていると考えられてる。(1)約3 〜5歳の視覚鋭敏性の開発期間、(2)数ヶ月から7〜8歳の、弱視を生じる損失が
有効な期間、(3)弱視からの回復が部分的にまたは完全に達成できる期間(少 なくとも10代の弱視の時)。 前述の理由から、弱視への臨床の介入が、できるだけ早く行った場合に、最も
効果がある。過去20年にわたって、調査員は多くの斜視および弱視状態が幼少期
に異常な視力経験を引起こし、これらは初期の発見と介入によって防止または回
復することができる。従って、最も早い時の欠陥の認識がきわめて重要である。
ある研究は、最もよい結果を得るには、これは生後2年の間に行わなければなら ないと指示している。 これにも係わらず、以前の報告は一次治療医師は最新のスクリーニング技術を
常に利用するとは限らない。事実、ある大きな研究は、小児科医師は3歳または それ以前の子供の内の40%以下をスクリーニングすると推定した。これは、臨床
的または実践的地点からの非現実性によるものである。
[0003] Amblyopia does not simply reduce visual acuity. In addition to the loss of cognitive sensitivity, the grid sensitivity, vernier sensitivity, contraction sensitivity, shape distortion, spatial placement,
Movement, worse worse crowding stimulus. In addition, amblyopia is a major cause of monocular vision loss in people under the age of 30. While monocular vision loss does not impact perceptual ability, amblyopia and other aesthetic loss disorders are tremendous emotional impacts. Obviously, the unmet need for eyeglasses makes school performance in severe early grades more difficult. Early school success complicates itself and leads to unsatisfactory school potential. In addition, some occupations require excellent vision. Delaying recognition of various visual impairments limits children from choosing these future occupations. Visual development of strings is thought to consist of three steps. (1) a period of development of visual acuity about 3-5 years old, (2) months to 7-8 years, when effective loss causing amblyopia is effective, (3) partial or complete recovery from amblyopia Period of time (at least when teens have low vision). For the foregoing reasons, clinical intervention for amblyopia is most effective when performed as soon as possible. Over the past two decades, investigators have found that many strabismus and amblyopia conditions cause abnormal visual experience in childhood, which can be prevented or reversed by early detection and intervention. Therefore, the earliest defect recognition is very important.
Some studies have indicated that this must be done during the first two years of life for best results. Nevertheless, previous reports have indicated that primary care physicians do not always utilize the latest screening techniques. In fact, one large study estimated that pediatricians screen less than 40% of children aged 3 or younger. This is due to unrealism from a clinical or practical point of view.

【0004】 事実、国立衛生研究所は、幼児および子供の屈折誤差、斜視、弱視の発見をそ
の優先順位に入れている。この優先は特に、視覚機能を検査するためのより優れ
た、より費用効率の高い公衆衛生方法の研究を要する。従って、発明者は自動化
した光屈折スクリーニングの必要性に気づいた。 自動化した光屈折スクリーニングを実施するには、眼の正確なモデルが必要と
なる。発明者は、このようなモデルを自動化された方法で製造し、または医師や
その他の治療奉仕者のいずれかが診断としてこれらのモデルを呈することが有益
であると決定した。従って、本発明は、自動化した光屈折スクリーニングのため
に、また、患者の視覚組織中の異常の存在の決定を可能にするために、眼を仮想
的に配置およびモデリングするシステムおよび方法に向けられている。 本発明により解決される問題は、他の眼および顔検知問題とは異なる。生徒の
能力別クラス編成は頭部に取付けた装置(例えば、H.Kawai and S. Tamura, "Ey
e movement analysis system using fundus images", in Patter Recognition,
19(1), 1986, pp. 77-84を参照)、画像に対して眼の位置を固定するものを介し
て行われる。眼の追跡は、眼のモデルの制約されたアップデート(例えば、X. X
ie, R. Sukhakar and H. Zhuang, "On improving eye feature extraction usin
g deformable templates", in Pattern Recognition Letters, 27(6) , 1994, p
p. 791-799: A. Yuille and P. Hallinan, "Deformable Templates", Chapter 2
in Active Vision, MIT Press, 1992, pp.21-38を参照)。顔の認識(例えば、
International Conference on Automatic Face and Gesture Recognition, proc
eedings of , edited by M. Bichsel: 1995; Second International Conference
on Automatic Face and Gesture Recognition, Proceedings of, 1996. in Kil
lington. Vermont)は、様々な画像の変形または特徴抽出を用いて行われる。一
般画像処理参考文献、例えば、K. Castleman, Digital Image Processing, Pent
ice-Hall, 1996; R. Haralick, L. Shapiro, Comuter and Robot Vision, 1,2,
Addison, 1992; and R. Jain, R. Kasturi and B. Schunck, Machine Vsion, Mc
Graw-Hill, 1995)にいくつかの追加の情報を見つけることができるかもしれない
In fact, the National Institutes of Health prioritizes the finding of refractive error, strabismus, and amblyopia in infants and children. This priority requires, among other things, the search for better and more cost-effective public health methods for testing visual function. Accordingly, the inventors have realized the need for automated photorefractive screening. Performing an automated light refraction screening requires an accurate model of the eye. The inventors have determined that it would be beneficial to produce such models in an automated manner, or to present these models as diagnostics, either to a physician or other caregiver. Accordingly, the present invention is directed to systems and methods for virtually positioning and modeling an eye for automated light refraction screening and to enable determination of the presence of an anomaly in a patient's visual tissue. ing. The problem solved by the present invention is different from other eye and face detection problems. Students' ability classes are organized by head-mounted devices (eg, H. Kawai and S. Tamura, "Ey
e movement analysis system using fundus images ", in Patter Recognition,
19 (1), 1986, pp. 77-84), which is done via a fixation of the eye position relative to the image. Eye tracking is based on constrained updates of the eye model (eg, X. X
ie, R. Sukhakar and H. Zhuang, "On improving eye feature extraction usin
g deformable templates ", in Pattern Recognition Letters, 27 (6), 1994, p
p. 791-799: A. Yuille and P. Hallinan, "Deformable Templates", Chapter 2
in Active Vision, MIT Press, 1992, pp. 21-38). Face recognition (for example,
International Conference on Automatic Face and Gesture Recognition, proc
eedings of, edited by M. Bichsel: 1995; Second International Conference
on Automatic Face and Gesture Recognition, Proceedings of, 1996. in Kil
Lington. Vermont) is performed using various image transformations or feature extraction. General image processing references, e.g., K. Castleman, Digital Image Processing, Pent
ice-Hall, 1996; R. Haralick, L. Shapiro, Comuter and Robot Vision, 1,2,
Addison, 1992; and R. Jain, R. Kasturi and B. Schunck, Machine Vsion, Mc
Graw-Hill, 1995) may find some additional information.

【0005】[0005]

【課題を解決するための手段】[Means for Solving the Problems]

自動化した光スクリーニングのための、眼を仮想的に配置およびモデル化する ためのシステムおよび方法である。本発明の好ましい実施例は、個人のデジタル
画像をえるためにレンズを取付けたフラッシュと、個人の眼をデジタル画像内に
配置し、眼内部の構造をモデル化し、眼病のために個人のデジタル化した眼を分
析し、治療の推奨を提供するための、多目的なデジタルコンピュータのような適
切にプログラムしたプロセッサを備えたデジタルカメラを備えている。 特に、ある局面によれば、本発明は、患者の眼を、近軸フラッシュによって照
明した各々の眼を含むデジタル画像内に配置するためのシステムおよび方法を含
む。デジタル画像内に各々の眼の配置を示す自動検知光反射を含む。自動検知光
反射は、可能な瞳孔と強膜の境界線を決定するために、このような光反射の分析
を含む。本発明はさらに、このような可能な瞳孔と強膜の境界線への関連モデル
の自動あてはめ、可能性のある異常を決定し、このような分析に基づいて各々の
眼についての可能な診断を出力するための各々の眼のモデルの分析を備えている
。 別の局面によれば、本発明は、患者の眼を、近軸フラッシュで照明した各々の
眼を含み、可能な角膜反射としてデジタル画像中への明るい点をあてはめて表示
し、各々の眼について、それぞれの可能な瞳孔と強膜の境界線として、このよう
な明るい点周囲に各々が1セットの傾斜点を備えた赤-黒、黒-白傾斜を見つけて 表示し、各々の眼について、複数の円をこのような傾斜点の部分集合に可能なモ
デルとしてあてはめ、各々の眼のモデルは関連した強度を持ち、各々の眼につい
て眼のモデルを分類し、各々の眼について、最強の関連した眼のモデルとして表
示するデジタル画像中に配置、モデル化するためのシステムおよび方法を含む。
本発明の別の局面は、明るく明瞭な光反射を持つ画像を生成するように、カメラ
のレンズの中心軸の付近にフラッシュを備えたカメラによる各々の患者の眼のデ
ジタル画像の生成を含む。
A system and method for virtually positioning and modeling an eye for automated light screening. A preferred embodiment of the present invention is a flash with a lens attached to obtain a digital image of the individual, placing the individual's eye in the digital image, modeling the structure inside the eye, and digitizing the individual for eye disease. A digital camera with a suitably programmed processor, such as a versatile digital computer, for analyzing the affected eye and providing treatment recommendations. In particular, according to one aspect, the invention includes systems and methods for positioning a patient's eye in a digital image that includes each eye illuminated by a paraxial flash. Includes auto-sensing light reflections indicating the placement of each eye in the digital image. Auto-sensing light reflection involves the analysis of such light reflections to determine possible pupil-sclera boundaries. The present invention further provides for the automatic fitting of the relevant model to such possible pupil-sclera boundaries, determining possible abnormalities, and making possible diagnoses for each eye based on such analysis. An analysis of each eye model for output is provided. According to another aspect, the present invention comprises displaying the patient's eye, including each eye illuminated by a paraxial flash, with bright dots in the digital image as possible corneal reflections, and for each eye For each eye, find and display a red-black, black-white slope, each with a set of tilt points around such a bright point, as the borderline between each possible pupil and sclera. Fitting multiple circles as possible models to such a subset of tilt points, each eye model has an associated strength, classify the eye model for each eye, and for each eye the strongest association Systems and methods for placement and modeling in a digital image for display as a model of an isolated eye.
Another aspect of the invention involves the generation of a digital image of each patient's eye with a camera equipped with a flash near the central axis of the camera lens to generate an image with bright and clear light reflections.

【0006】 本発明がターゲットとする人達は、学校生徒のような、未だ達成されていない
高い人口である。画像処理を単純且つ安価に保つために、特別の装置は使用しな
い。近軸フラッシュと新規の処理技術の特性を用いることにより、眼は患者の顔
の画像のどの位置に現れても構わなく(フィールドアイケア専門家により本発明
の使用を単純化する)、患者の眼がカメラ画像のフレームを満たす必要はなく、
カメラは、患者の邪魔にならない、患者から離れた場所に置くことができ、患者
の頭部をしっかりと固定する必要はない。 本発明の1つまたはそれ以上の詳細を、添付の図面と以下の説明においてノベ ル。本発明のその他の特徴、目的、利点は、説明と図面、そして請求項から明白
になるであろう。
The target population of the present invention is an unachieved high population, such as school pupils. No special equipment is used to keep the image processing simple and inexpensive. By using the properties of paraxial flash and novel processing techniques, the eye can appear anywhere on the patient's face image (simplifying the use of the present invention by field eye care professionals) and the patient's eye Need not fill the frame of the camera image,
The camera can be placed away from the patient, out of the way of the patient, and there is no need to secure the patient's head. One or more details of the invention are set forth in the accompanying drawings and the description below. Other features, objects, and advantages of the invention will be apparent from the description and drawings, and from the claims.

【0007】[0007]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

画像生成システム 図1aは、本発明の好適な物理的構造を示すブロック図である。デジタルカメラ
10は、カメラ10のレンズ14の光軸からいくらか外れて配置された「近軸」フラッ
シュ12を設けるために改良したものである。フラッシュ12は、例えば、カメラ10
のレンズ14の光軸付近に取付けたリングフラッシュや、1つ以上の小型フラッシ ュ装置であってよい。Kodak社のModel DC120 Digital Cameraが適当である。こ れは、6X望遠レンズ14と、この望遠レンズの前部に中心からいくらか外れれて取
付けられた小型フラッシュユニット12とを備えている。望遠レンズは、患者の目
を撮影する時にカメラの視野を広げ、これにより、分析に使用できる画素数が増
加する。 フラッシュ12がレンズ14の中心と近接していることにより、患者の眼を正確且
つ確実にモデル化する本発明の画像処理特徴を実現する、明るく、鮮明な光反射
が得られる。連続的な照明よりもフラッシュを使用することは、患者に著しき不
快にすることなく、瞳孔を完全に散大することが可能なことを意味する。図1bは
、本発明によるレンズ14とフラッシュ12の斜視図である。実施例におけるフラッ
シュ12は可視光線を使用するものである。しかし、適当なカメラの代わりに、赤
外線フラッシュのように主に非可視光線を放射するフラッシュを使用してもよい
。 カメラ10は、患者16の顔のデジタル画像を撮影し、この画像を処理のために従
来のコンピュータ18へ直接ダウンロードするために使用されている。本発明の好
適な実施例では、カメラ10は、患者の顔と眼の高品質なデジタル画像、好ましく
はフルカラーの(例えばRGB)、高解像度の(例えば、各色ごとに、8ビット/画 素)、少なくとも約640×480画素、好ましくは少なくとも約1024×768画素の画 像を得るために使用されている。カラー画像が好ましいが、本発明の技術はグレ
ースケール画像にも使用できる。しかし、ここでは、この説明のために、カラー
デジタル画像を使用する。
Image Generation System FIG. 1a is a block diagram illustrating a preferred physical structure of the present invention. Digital camera
10 is an improvement to provide a “paraxial” flash 12 that is positioned somewhat off the optical axis of the lens 14 of the camera 10. The flash 12 is, for example, a camera 10
A ring flash mounted near the optical axis of the lens 14 or one or more small flash devices may be used. A Kodak Model DC120 Digital Camera is suitable. It comprises a 6X telephoto lens 14 and a small flash unit 12 mounted somewhat off-center at the front of the telephoto lens. Telephoto lenses increase the field of view of the camera when photographing the patient's eyes, thereby increasing the number of pixels available for analysis. The close proximity of the flash 12 to the center of the lens 14 provides a bright, sharp light reflection that implements the image processing features of the present invention that accurately and reliably model the patient's eye. The use of a flash rather than continuous illumination means that the pupil can be completely dilated without significant discomfort to the patient. FIG. 1b is a perspective view of a lens 14 and a flash 12 according to the present invention. The flash 12 in the embodiment uses visible light. However, instead of a suitable camera, a flash that emits mainly non-visible light, such as an infrared flash, may be used. The camera 10 is used to capture digital images of the face of a patient 16 and download the images directly to a conventional computer 18 for processing. In a preferred embodiment of the present invention, the camera 10 is a high quality digital image of the patient's face and eyes, preferably full color (eg, RGB), high resolution (eg, 8 bits / pixel for each color). At least about 640 × 480 pixels, preferably at least about 1024 × 768 pixels. Although color images are preferred, the techniques of the present invention can also be used for grayscale images. However, here, a color digital image is used for this explanation.

【0008】 別の実施例では、カメラ10は、インスタント写真カメラのような従来のフィル
ムカメラであり、その画像は光学的にコンピュータ18に取込まれる。また別の実
施例では、本発明による画像処理は、統合化されたフォトスクリーニングシステ
ムを許容するように特別にプログラムしたデジタルカメラ10において行われる。
In another embodiment, camera 10 is a conventional film camera, such as an instant photo camera, the images of which are optically captured by computer 18. In yet another embodiment, the image processing according to the present invention is performed in a digital camera 10 that is specially programmed to allow for an integrated photo screening system.

【0009】 フォトスクリーニング フォトスクリーニングは、眼からの2つの個別の光反射、角膜反射と網膜反射 を撮影することによるものである。フラッシュ12からの光は、眼の角膜の空気
と涙膜の中間で反射される。角膜表面は本質的に球体であるので、角膜で反射す
ると、角膜の、カメラ10に最も近い点が光をカメラへ反射する。眼が斜視であっ
たり、それに関連する光反射点は眼の瞳孔の中心から逸れている。 図2a〜2bにいくつかの角膜反射状態を示す。図2aは、カメラ視野からの角膜反
射の図示とともに、フラッシュから正常な1対の眼への、また眼からフラッシュ への光路を示す図である。図に示すように、角膜の光反射20は基本的に虹彩22の
外周内に集中していいる。図2bは、カメラ視野からの角膜反射とともに、 フラ
ッシュから一方が異常な2つの眼への、また眼からフラッシュへの光路を示す図 である。図に示すように、左眼では、角膜の光反射20は基本的に虹彩の外周内に
集中しているが、右眼では、角膜の光反射24は中心から逸れている。「集中」の
許容範囲は、カメラレンズ14の光軸からのフラッシュ12の変位に一部依存するこ
とに留意すること。 フラッシュ12からの光も、虹彩を介して目の裏側で反射する。虹彩の光反射か
ら、眼の異常や、眼の屈折状態に関する情報が得られる。一方の眼に何らかの異
常がある場合(例えば、腫瘍、出血、白内障等)、網膜が反射する光は正常な場
合よりも少なくなる。異常な網膜と正常な網膜の間に認識できる反射率の差が見
られる。また、反射異常のない眼では、網膜の光反射は均一ではっきりした円形
として現れる。しかし眼に反射異常がある場合には、網膜の光反射が三日月形と
して現れる。瞳孔直径に対する三日月形の反射サイズは、一般に反射異常に関連
する。従って、認められる反射率の違いは大域的(両眼間の違い)または局所的
(片目の視野の違い)なものである。 図2c〜図2fに、いくつかの網膜反射状態を示す。図2cは1対の正常な眼の網膜 反射26を示す図であり、両眼において同一で均一な反射率をを示し、反射異常が
ないことを示す。図2dは1対の眼の網膜反射を示す図であるが、片方に網膜異常 があるため反射率の減少28が見られる。図2eは、1対の眼の網膜反射を示す図で ある。ここでは各々が三日月形の反射30を示しており、両目に同じような反射異
常があることがわかる。図2fは1対の眼の網膜反射を示す図である。ここでは、 両眼三日月の形32、34が違っており、両目間に異なる量の反射異常があることが
わかる。
Photo Screening Photo screening is by taking two separate light reflections from the eye, the corneal reflection and the retinal reflection. Light from the flash 12 is reflected between the air in the cornea of the eye and the tear film. Since the corneal surface is essentially spherical, when reflected from the cornea, the point of the cornea closest to the camera 10 reflects light to the camera. The eye may be squint and the associated light reflection points may be off the center of the pupil of the eye. 2a-2b show some corneal reflection states. FIG. 2a shows the light path from the flash to a pair of normal eyes, and from the eye to the flash, with illustrations of corneal reflections from the camera's field of view. As shown, the light reflection 20 of the cornea is basically concentrated within the outer circumference of the iris 22. FIG. 2b is a diagram showing the corneal reflection from the camera field of view, as well as the optical path from the flash to two abnormally one eyes and from the eye to the flash. As shown, in the left eye, the corneal light reflection 20 is basically concentrated within the outer periphery of the iris, while in the right eye, the corneal light reflection 24 is off-center. Note that the tolerance of "concentration" depends in part on the displacement of flash 12 from the optical axis of camera lens 14. Light from the flash 12 also reflects off the back of the eye through the iris. From the light reflection of the iris, information on the abnormality of the eye and the refraction state of the eye can be obtained. If there is any abnormality in one eye (eg, tumor, bleeding, cataract, etc.), less light will be reflected by the retina than in normal cases. There is a discernable difference in reflectance between the abnormal and normal retina. In an eye without abnormal reflexes, the light reflection of the retina appears as a uniform and clear circle. However, if the eye has abnormal reflexes, the light reflex of the retina appears as a crescent. The crescent shaped reflex size to pupil diameter is generally associated with reflex abnormalities. Therefore, the difference in the observed reflectance is global (difference between the eyes) or local (difference in the visual field of one eye). 2c-2f show some retinal reflection states. FIG. 2c is a diagram showing retinal reflexes 26 of a pair of normal eyes, showing identical and uniform reflectivity in both eyes and no abnormal reflexes. FIG. 2d is a diagram showing retinal reflexes of a pair of eyes, and a decrease in reflectance 28 is seen due to a retinal abnormality in one of the eyes. FIG. 2e is a diagram showing retinal reflexes of a pair of eyes. Here, each shows a crescent-shaped reflection 30, and it can be seen that there is a similar reflection abnormality in both eyes. FIG. 2f shows the retinal reflex of a pair of eyes. Here, the shapes 32, 34 of the binocular crescents are different, and it can be seen that there are different amounts of reflex abnormalities between the eyes.

【0010】 眼のモデル フォトスクリーニングを自動化するために、画像による患者の顔における眼の
モデルを生成する必要がある。本発明の好適な実施例では、眼の正面突出部を1 対の同心円によってモデル化する。 数式(1) 数式(2) ここで、(A、B)は眼の中心の座標であり、C1は瞳孔と虹彩の間の境界を示し、
C2は虹彩と強膜の間の境界を示す。このモデルは、眼を2次元座標系にて配置し 、眼からの反射を測定する手段を確立するものである。モデルパラメータが生成
されたら、このモデルを、眼の異常についての診断またはスクリーニング決定を
自動生成するのに使用できる。 このようなモデルがどのように眼に「適合」するかの一例として、図3aは患者
の眼の拡大写真であり、図3bは、本発明で使用する眼のモデルの画像を重ね合わ
せた患者の眼の拡大写真である。C1は虹彩-瞳孔の間の境界を示し、C2は瞳孔-強
膜の間の境界を示す。別の例として、図4aは、瞳孔異常領域を有する患者の眼の
拡大写真である。図4bは、瞳孔異常領域を有する患者の眼の拡大写真に、本発明
で使用する眼のモデルの画像を重ね合わせたものである。 本発明の好適な実施例では、片眼について一組の反射を測定する。角膜反射は
、眼の正面(角膜)からの光の反射である。これは一般に、明るい点として現れ
る。角膜反射CRは、連続した4つの領域(以下に説明する)としてモデル化され ている。図3bにおいて、角膜反射は、上に重ねた領域CRによって示されている。
(図3bの角膜反射CRは、必ずしもモデルの中央に配置する必要はない。)角膜反
射は常に、カメラ10とフラッシュ12で撮った眼の画像内に現れる。この事実は、
患者の顔の画像内に眼を自動的に配置するために利用される。これは、眼がカメ
ラの画角に入らない場合でも使用できる。 網膜(または赤い)反射RRは瞳孔反射の一種である。瞳孔反射とは、瞳孔を通
って戻る眼の内表面(網膜)からの光反射である。カラー画像では、網膜反射は
一般に瞳孔を赤みを帯びた薄い色にする。好適な実施例では、網膜反射RRは、瞳
孔に見られる赤い色の平均量に関連した単一の明暗の値としてモデル化されてい
る。(グレースケール画像では、網膜反射は、はっきりと識別することのできる
一組のグレー値として現れ、同様にモデル化される)。
Eye Model In order to automate photo screening, it is necessary to create an eye model of the patient's face with images. In a preferred embodiment of the invention, the front projection of the eye is modeled by a pair of concentric circles. Formula (1) Formula (2) Where (A, B) are the coordinates of the center of the eye, C 1 indicates the boundary between the pupil and the iris,
C 2 indicates the boundary between the iris and the sclera. This model establishes means for arranging eyes in a two-dimensional coordinate system and measuring reflection from eyes. Once the model parameters have been generated, the model can be used to automatically generate diagnostic or screening decisions for ocular abnormalities. As an example of how such a model "fits" the eye, FIG. 3a is an enlarged photograph of the patient's eye, and FIG. 3b is a patient superimposed image of the eye model used in the present invention. It is an enlarged photograph of the eye. C 1 indicates the boundary between the iris and the pupil, and C 2 indicates the boundary between the pupil and the sclera. As another example, FIG. 4a is an enlarged photograph of the eye of a patient having an abnormal pupil region. FIG. 4b shows an enlarged photograph of a patient's eye having an abnormal pupil region superimposed with an image of an eye model used in the present invention. In a preferred embodiment of the present invention, a set of reflections is measured for one eye. Corneal reflection is the reflection of light from the front of the eye (cornea). This generally appears as a bright spot. The corneal reflex CR is modeled as four consecutive regions (described below). In FIG. 3b, the corneal reflex is indicated by an overlaid region CR.
(The corneal reflection CR in FIG. 3b need not necessarily be located in the center of the model.) The corneal reflection always appears in the image of the eye taken by the camera 10 and the flash 12. This fact is
It is used to automatically position the eyes within the image of the patient's face. This can be used even when the eye is not in the field of view of the camera. Retinal (or red) reflex RR is a type of pupil reflex. Pupillary reflex is the light reflection from the inner surface (retina) of the eye returning through the pupil. In a color image, retinal reflexes generally cause the pupil to become reddish and pale. In the preferred embodiment, the retinal reflex RR is modeled as a single light-dark value related to the average amount of red color seen in the pupil. (In a grayscale image, the retinal reflex appears as a set of clearly distinguishable gray values and is modeled similarly).

【0011】 三日月形の反射MRもまた、瞳孔反射の一種である。眼の湾曲、またフラッシュ
の位置によって、より強い反射光の集中(通常は三日月形)が瞳孔の境界線部分
の周囲に現れる。これが現れた場合には、三日月形の反射MRは連続した4つの領 域(以下に説明する)としてモデル化されることが好ましい。図3bでは、三日月
形の反射が重ねた領域MRによって表示されている。 別の解剖学上の問題も、非均一な瞳孔反射を生じることがある。例えば、白内
障では、瞳孔反射の1部が正常の場合よりも明るく見える。この場合には、各々 の瞳孔異常領域ARは連続した4つの領域(以下に説明する)としてモデル化され る。図4bでは、1つの瞳孔異常領域が、重ねた領域ARによって表示されている。 連続した4つの領域は以下のように定義される。正式には、画像が画素の2次元
ラスターからなり、R列の整数グリッドとカラムCで構成されているとする。また
、画像中の画素位置を(r、c)とする。2つの画素(ri、ci)(rj、cj)の間の連 続した4つの経路Pは次のように定義される。 数式(3) 連続した4つの領域Sは次のように定義される。 数式(4)
A crescent-shaped reflection MR is also a kind of pupil reflex. Depending on the curvature of the eye and the position of the flash, a stronger concentration of reflected light (usually a crescent) appears around the border of the pupil. When this appears, the crescent shaped reflection MR is preferably modeled as four consecutive regions (described below). In FIG. 3b, a crescent-shaped reflection is indicated by an overlapping region MR. Another anatomical problem can also cause non-uniform pupil reflex. For example, in cataracts, some of the pupil reflexes appear brighter than normal. In this case, each abnormal pupil region AR is modeled as four continuous regions (described below). In FIG. 4b, one abnormal pupil region is displayed by the overlapping region AR. The four consecutive regions are defined as follows. Formally, it is assumed that an image is composed of a two-dimensional raster of pixels, and is composed of an integer grid of R columns and a column C. Also, let the pixel position in the image be (r, c). Two pixel (r i, c i) ( r j, c j) consecutive to the four paths P between is defined as follows. Formula (3) The four continuous areas S are defined as follows. Formula (4)

【0012】 簡略的には、式4は、I中の、連続的な任意の一組の画素の示し、一組の画素内
の任意の画素は、その一組の画素内の別の任意の画素から、やはりその一組の画
素内の少なくとも1つの画素の経路を通って到達される。好適な実施例において 、可能な実際の角膜反射、三日月形反射、その他の、本明細書中で述べた瞳孔異
常領域は、全て連続した4つの領域としてモデル化される。 眼の配置、モデル化、分析、診断 本発明の1つの局面は、各眼を配置し、各眼について上述したようにモデルを 構築するために、患者の顔と眼のデジタル化した画像から必要なパラメータを得
ることである。この目的を達成するために、本発明は特定の照射フラッシュの特
性を有効に利用する。このフラッシュは、通常の強度の画像では見ることができ
ない光反射を生じる。本発明の好適な実施例は、自動光反射スクリーニングを可
能にするために、眼を配置およびモデル化するべく画像処理により、このような
光反射を利用するものである。 特に、上のように生成された仮定した内容のカメラ画像を有効に用いて、可能
な眼のモデルの検索の複雑さを軽減させる。ここで、各々の眼は、飽和した (
明るい)点として現れる角膜反射CRを有すると仮定する。各々の瞳孔は、ある程
度の赤い陰影を帯びていると仮定する。この赤い陰影は、瞳孔-虹彩の境界にお ける赤い帯を大きく傾斜させる。(これは、以下において便詮的に「赤-黒」傾 斜と呼ぶことにする。しかし、同様に境界が、グレースケール画像において、個
別のグレースケール値の違いとして確認できる。各々の強膜は白い陰影として現
れるとされ、虹彩-強膜境界ではフルカラーの顕著な傾斜を生成する)。(これ は、以下において便詮的に「黒-白」傾斜と呼ばれる。同様の傾斜が、グレース レール画像中で個別のグレースケールの違いとして確認できる)。これらの3つ
の特徴が検索処理を行う。
For simplicity, Equation 4 shows any set of consecutive pixels in I, where any pixel in the set of pixels is any other set of pixels in the set of pixels. From a pixel, it is reached via the path of at least one pixel in the set of pixels. In the preferred embodiment, the possible actual corneal reflex, crescent reflex, and other pupil abnormal regions described herein are all modeled as four consecutive regions. Eye Placement, Modeling, Analysis, and DiagnosisOne aspect of the present invention is the need for digitizing images of a patient's face and eyes to position each eye and build a model for each eye as described above. Is to obtain the appropriate parameters. To this end, the present invention takes advantage of the properties of certain illuminated flashes. This flash produces light reflections that cannot be seen with normal intensity images. The preferred embodiment of the present invention utilizes such light reflection by image processing to position and model the eye to enable automatic light reflection screening. In particular, the camera image of the assumed content generated as described above is effectively used to reduce the complexity of searching for possible eye models. Here, each eye is saturated (
Suppose we have a corneal reflex CR that appears as a (bright) point. Assume that each pupil has some red shading. This red shading greatly tilts the red band at the pupil-iris boundary. (This will be referred to below for convenience as the "red-black" slope. However, similarly the boundaries can be seen in the grayscale image as differences in individual grayscale values. Is assumed to appear as a white shadow, producing a full-colored pronounced slope at the iris-sclera interface). (This is conveniently referred to below as the "black-white" slope. Similar slopes can be identified as distinct grayscale differences in the graysrail image). These three features perform the search process.

【0013】 図5は、本発明の好適な実施例の画像処理の各ステップの全体を示すフローチ ャートである。広義において、患者の眼を配置、モデル化、分析、診断するため
の好ましい処理のステップは以下の通りであり、後に、各々についてさらに詳し
く説明する。 (1)近軸フラッシュで照明した患者の眼のデジタル化した画像を生成する(ス
テップ50) (2)可能な角膜反射として、画像内の明るい点を探す(ステップ51)。 (3)可能な瞳孔境界、強膜境界として、明るい点の周囲の赤-黒および黒-白の
傾斜を探す。 (4)可能な眼のモデルとして、傾斜点の下位円弧に円を一致させる(ステップ
53)。 (5)強度(すなわち、眼の正確なモデルに似たもの)によって眼のモデルを分
類し、仮定として最良のものを2つ選ぶ(ステップ54)(これは患者の眼が2つで
あると仮定したものである)。 (6)選択した眼のモデルから網膜反射と角膜反射を測定し、異常すなわち反射
の異常を探す(ステップ55)。 (7)適切な診断を勧める(ステップ56)。
FIG. 5 is a flowchart showing the entire steps of the image processing according to the preferred embodiment of the present invention. In a broad sense, the preferred processing steps for positioning, modeling, analyzing, and diagnosing a patient's eye are as follows, each of which is described in further detail below. (1) Generate a digitized image of the patient's eye illuminated with a paraxial flash (step 50). (2) Search for bright spots in the image as possible corneal reflections (step 51). (3) Look for red-black and black-white slopes around bright points as possible pupil and scleral boundaries. (4) As a possible eye model, match the circle with the lower arc of the inclined point (step
53). (5) Classify the eye model by intensity (ie, similar to the exact model of the eye) and choose the two best assumptions (step 54) (this assumes that the patient has two eyes) Assumption). (6) The retinal reflex and the corneal reflex are measured from the selected eye model, and an abnormality, that is, an abnormal reflex is searched (step 55). (7) Recommend appropriate diagnosis (step 56).

【0014】 (1) 近軸フラッシュによって照射された通りに、患者の顔と眼のデジタル 化画像を生成する 上述したように、患者の顔と眼の画像を撮影するためにカメラ10と近軸フラッ
シュ12を使用する。カメラ10がデジタルである場合は、画像データを、デジタル
画像として処理するために、直接コンピュータ18へダウンロードされる。カメラ
10がインスタント写真カメラのような従来のフィルムカメラである場合は、画像
はコンピュータ18内で光学的に走査され、デジタル画像として記憶される。コン
ピュータモニタ上に未処理画像を表示するか、または印刷(白黒またはカラー)
し、適切な従来のグラフィック・ソフトウェアを用いて通知する。 (2) 可能な角膜反射として、画像内の明るい点を探す(ステップ51) コンピュータ18への各3つの帯域(すなわちRGB)画像入力は、角膜反射の可 能性のある領域を探すための各帯域内のしきい値であることが好ましい。明るい
領域の2値画像を生成するために、画像のAND(論理積)がとられる。次に、待 ち行列を用いるペイント-フィルアルゴリズムを用いて、明るい画素が、連続し た4つの領域に空間的に分類される。選択した大きさの大きさの範囲内の部分を 有する明るい領域が、可能な、または仮定したと角膜反射として識別される。 正式には、入力画像Iは、どの画素が明るいかを示す2値画像Ibrightを生成す
るためのしきい値である。 数式(5) ここで、Ired、Igreen、Iblueは入力画像の個別の帯域値であり、Ibright=1は画
素が明るいことを示し、TBは選択したしきい値である。次に、明るい画素を使用
する連続した4つの領域に空間的に分類するために、待ち行列を用いたペイント-
フィルアルゴリズムを適用する。このアルゴリズム用の擬似コードを以下に示す
(この場合、この擬似コードと呼ばれつ画像Iは明るい画像Ibrightである): アルゴリズム(1) その後、各々の明るい領域の大きさが同じラベルが付与された画素数として数
えられる: 数式(6) ここで(r、c)は、画像中の全画素の位置を示す。 数式(7) 上記を満たす範囲は、角膜反射である可能性があり、ここで、TSとTLは選択可能
なしきい値である。
(1) Generate digitized images of the patient's face and eyes as illuminated by the paraxial flash As described above, the camera 10 and the paraxial are used to capture images of the patient's faces and eyes. Use flash 12. If the camera 10 is digital, the image data is downloaded directly to the computer 18 for processing as a digital image. camera
If 10 is a conventional film camera, such as an instant photo camera, the images are optically scanned in computer 18 and stored as digital images. View or print the raw image on a computer monitor (black and white or color)
And notify using appropriate conventional graphics software. (2) Search for bright spots in the image as possible corneal reflections (step 51) Each of the three band (ie, RGB) image inputs to the computer 18 provides a separate search for a potential corneal reflection area. Preferably, the threshold value is within the band. To generate a binary image of a bright area, the images are ANDed. Next, using the queue-based paint-fill algorithm, the bright pixels are spatially classified into four consecutive regions. Bright areas having portions within the selected magnitude range are identified as possible or hypothetical as corneal reflexes. Formally, the input image I is a threshold value for generating a binary image I bright indicating which pixels are bright. Formula (5) Here, I red, I green, I blue is a separate band of the input image, I bright = 1 indicates that the pixel is bright, T B is the selected threshold. Next, paint using a queue to spatially classify into four consecutive regions using bright pixels-
Apply the fill algorithm. The pseudo code for this algorithm is shown below (in this case, the image I called this pseudo code is a bright image I bright ): Algorithm (1) Then, the size of each bright area is counted as the number of pixels with the same label: Equation (6) Here, (r, c) indicates the positions of all pixels in the image. Formula (7) The range that satisfies the above may be corneal reflex, where T S and T L are selectable thresholds.

【0015】 (3)可能な 瞳孔境界、強膜境界として、明るい点の周囲の赤-黒および黒-
白の傾斜を探す 角膜反射(領域)LABELである可能性のある各々について、角膜反射の環状周 囲で、瞳孔と虹彩半径の予想範囲内の距離において、強い傾斜を呈する一組の画
素が見つかった。これは、一組の光線を形成する、均等に分配した中心からの周
方向に沿った一組の画素と共に、領域の中心を考慮することにより達成できる。
画素に、線形傾斜フィルタを各光線のセグメントに沿って取付けた。各セグメン
トについて、最も大きな黒-白傾斜を有する画素、最も大きな赤-黒傾斜が通知さ
れる。最も大きな傾斜点が中心からの距離の予想範囲内にはない、または、赤- 黒傾斜よりも黒-白傾斜の方が中心に近いあらゆる方向は、領域外の逸脱画素( 「範囲外画素」)として破棄される。 正式には、値LABELを有する連続した4つの領域の中心(xc、yc)は、以下のよ
うに見つけられる。 数式(8) 図心は、周方向の等角組と共に一組の光線を形成し、 数式(9) ここで、Tθ (度)は、その組の角度分解能を制御する選択可能なアルゴリズム
パラメータである。各光線θに沿った画素(整数座標)は、以降に述べる擬似コ
ードによって、 数式(10) のように列挙され、また、T1とT4は、各々瞳孔と虹彩の最低および最高予想半径
を各々示すアルゴリズムパラメータである。 アルゴリズム2 このような列挙の後、各光線θに沿った点のリストを以下のように示す。 数式(11) ここで、Nθは、上記の擬似コードによって返されるリスト内の点の数である。 表1
(3) Possible pupil boundaries, scleral boundaries, red-black and black-
Look for white slope For each of the possible corneal reflex (area) LABELs, a set of pixels exhibiting a strong slope at a distance within the expected range of the pupil and iris radius is found in the annular circumference of the corneal reflex Was. This can be achieved by considering the center of the region, along with a set of pixels along the circumference from an evenly distributed center, forming a set of rays.
Pixels were fitted with linear gradient filters along each ray segment. For each segment, the pixel with the largest black-white slope and the largest red-black slope are reported. Any direction where the largest slope point is not within the expected range of distance from the center, or where the black-white slope is closer to the center than the red-black slope, is a deviated pixel outside the region ("out-of-range pixel" ) Is discarded. Formally, the centers (x c , y c ) of four consecutive regions with the value LABEL are found as follows: Formula (8) The centroid forms a set of rays with a circumferential conformal set. Where Tθ (Degree) is a selectable algorithm parameter that controls the angular resolution of the set. Pixels (integer coordinates) along each ray θ can be calculated by the following pseudo code by using the following equation (10). And T 1 and T 4 are algorithm parameters indicating the minimum and maximum expected radii of the pupil and iris, respectively. Algorithm 2 After such an enumeration, a list of points along each ray θ is shown below. Formula (11) Where Nθ is the number of points in the list returned by the above pseudo code. table 1

【0016】 各光線上の各画素で予想される黒-白傾斜BWθ:I(式12)と赤-黒傾斜RBθ:I
式13)を計算するために、上の表1に示された1×7線形傾斜フィルタが光線に沿 った点と共に畳込まれる。 数式(12) 数式(13) ここで、T2とT3は、各々、瞳孔と虹彩の最高および最低の予想半径(画素内)を
示すアルゴリズムパラメータである。 最大の黒-白傾斜RAYθ:Wを伴う画素が次の式で見つけられる。 数式(14) 赤-黒傾斜RAYθ:rを有する画素が以下の式で見つけられる。 数式(15)
The black-white gradient BWθ : I (Equation 12) and the red-black gradient RBθ : I (
To calculate equation 13), the 1 × 7 linear gradient filter shown in Table 1 above is convolved with points along the ray. Formula (12) Formula (13) Here, T2 and T3 are algorithm parameters indicating the highest and lowest expected radii (in pixels) of the pupil and iris, respectively. The pixel with the largest black-white slope RAYθ : W is found with the following equation : Formula (14) A pixel with a red-black slope RAYθ : r can be found with the following equation : Formula (15)

【0017】 これらの画素は、可能な角膜反射周囲に半径方向に配置された点のリストを2 つ形成する。各々のリストについて、1光線ごとに点1つを備えている。 数式(16) 赤-黒傾斜点のリストは以下の式で示される。 数式(17) これらのリストは閉ループを形成するため、循環するラップアラウンドにより、
点RAYθ:I = RAYθ-360:I = RAYθ+360:Iとなる。
These pixels form two lists of points located radially around possible corneal reflections. For each list, there is one point per ray. Formula (16) The list of red-black slope points is given by: Formula (17) These lists form a closed loop, so a circular wraparound
Point RAYθ : I = RAYθ-360 : I = RAYθ + 360: I

【0018】 (4) 眼のモデルの可能性として、傾斜点の下位円弧に円を一致させる 最小2乗法を用いて、前のステップで発見された傾斜点に円方程式が適用され る。各々の可能な角膜反射について、黒-白傾斜画素に1つの円が適用され、また
、赤-黒傾斜点に1つの円が適用される。本発明の好適な実施例では、適用した円
内の範囲外画素を、下位円弧に基づいて除去するための新規の方法を使用する。
次に、弧の部分集合としての範囲外画素の除去が、問題の文脈から自然に分かる
。眼が前方以外の方向に撮影されている場合、または、睫毛が虹彩のある部分を
覆っている場合、または、網膜反射が瞳孔の1部分のみで起こっている場合には 、最強の大型下位円弧に円を適合させることにより、一般に最も信頼できるモデ
ルを探索することができる。 特に、最小2乗法を用いて、各種傾斜点の8つの部分集合に円方程式をあてはめ
る。各部分集合は、45度の増分で始まり弧の270°をカバーする。あてはめた円 の各々について、3つの強度測定、残差、平均傾斜、円弧範囲が、計算される。 これらの値は、強度値として正規化および合計される。全体的な最強度値を伴う
円(実施例では、8つの可能なものの内)が、仮定された角膜反射のためのモデ ルとして選ばれる。 正式には、1つの円で一組の画素をモデル化し、 数式(18) 以下のように示し、 数式(19) ここで、a、b、rはモデルパラメータであり、Nはモデル化する点の数である。赤
-黒傾斜点の一組の傾斜点(RAYθ:r、式17)から瞳孔-虹彩境界(モデル(A、B 、C1)、式1)を得るために、また、黒-白傾斜点の組(RAYθ:w、式16)から虹 彩-強膜境界(モデル(A、B、C2)、式2)を得るために以下の処理を実行する。
第1の場合、表記の置換えは(a,b,r) = (A,B,C1)および(xi,yi) = (xθ:r,yθ:r)
であり、ここで、θ が1増えるとiがTθ増え、N = 360/Tθとなる。第2の場合、
表記の置換えは(a,b,r) = (A,B,C2)および(xi,yi) = (xθ:w,yθ:w)であり、こ こで、θ が1増えるとiがTθ増え、N = 360/Tθとなる。 問題に合った最小2乗法を求めるために、モデル(a,b,r)と各点(xi,yi)距 離を合計する誤差項をxで示し、 数式(20) ここで、答えはX2を最小にするモデルである。式20を展開することにより以下の
式になる 数式(21) 式21に以下の置換えを行うことにより、 数式(22) となり、 数式(23) 未知数a,b,α内では線形として認識される。これらの条件を与えると、式23への
答えは、 数式(24) として形成された行列に書込まれた周知の正規化方程式を使用することにより求
められ(例えば、W. Press et al, Numerical Recipes in C: The Art of Scie
ntific Computing, Chambridge Press,(2nd edition)1992を参照。)、 ここで、AはN×3であり、xは3×1、bはN×1であり、マトリクスは以下のように 構成される。 数式(25) 式24への答えは、 数式(26) であり、この式からaとbが直接求められ、式22の置換えによって求められる。好
ましい実施例では、方程式26の反転行列を解くために、ガウス−ジョルダン消去
法(例えば、W. Press et al., Numerical Recipes in C: The Art of Scientif
ic Computing, Cabridge Press, (2nd edition)1992を参照)を使用している 。
(4) As a possibility of an eye model, a circle equation is applied to the tilt point found in the previous step, using the least squares method that matches the circle to the lower arc of the tilt point. For each possible corneal reflection, one circle is applied to the black-white tilt pixel and one circle is applied to the red-black tilt point. The preferred embodiment of the present invention uses a novel method for removing out-of-range pixels within the applied circle based on the sub-arc.
Next, the elimination of out-of-range pixels as a subset of the arc is naturally known from the context of the problem. If the eye is taken in a direction other than forward, or if the eyelashes cover an area of the iris, or if retinal reflex occurs only in one part of the pupil, the strongest large lower arc By fitting a circle to, one can generally search for the most reliable model. In particular, the least squares method is used to fit a circular equation to eight subsets of various slope points. Each subset starts at a 45 degree increment and covers 270 ° of the arc. For each fitted circle, three intensity measurements, residuals, mean slope, and arc range are calculated. These values are normalized and summed as intensity values. The circle with the global maximum intensity value (in the example, out of eight possible) is chosen as the model for the hypothesized corneal reflex. Formally, one circle models a set of pixels, and Equation (18) Equation (19) Here, a, b, and r are model parameters, and N is the number of points to be modeled. Red
- a pair of inclined point of the black tilt point (RAYθ: r, Equation 17) the pupil from - iris boundary (model (A, B, C 1), Equation 1) for obtaining, also black - white gradient point The following processing is executed to obtain the iris-sclera boundary (model (A, B, C 2 ), equation 2) from the set (RAYθ : w , equation 16).
In the first case, the notation permutation is (a, b, r) = (A, B, C 1 ) and (x i , y i ) = (xθ : r , yθ : r )
Here, if θ 1 increases, i increases by Tθ, and N = 360 / Tθ. In the second case,
The notation permutation is (a, b, r) = (A, B, C 2 ) and (x i , y i ) = (xθ : w , yθ : w ), where if θ increases by 1, i increases by Tθ, and N = 360 / Tθ. To find the least-squares method that fits the problem, the error term that sums the distance between the model (a, b, r) and each point (x i , y i ) is denoted by x. Here, the answer is a model for the X 2 to a minimum. The following equation is obtained by expanding Equation 20. Equation (21) By substituting Equation 21 below, Equation (22) Equation (23) It is recognized as linear within the unknowns a, b, α. Given these conditions, the answer to Equation 23 is: (See, for example, W. Press et al, Numerical Recipes in C: The Art of Scie).
See ntific Computing, Chambridge Press, the (2 nd edition) 1992. Here, A is N × 3, x is 3 × 1, b is N × 1, and the matrix is configured as follows. Formula (25) The answer to equation 24 is: From this equation, a and b are directly obtained, and are obtained by replacing Equation 22. In a preferred embodiment, a Gauss-Jordan elimination method (eg, W. Press et al., Numerical Recipes in C: The Art of Scientif) is used to solve the inversion matrix of Equation 26.
ic Computing, Cabridge Press, are using the (2 nd edition) 1992).

【0019】 全ての点(xi,yi)が「範囲内画素」であり、測定のノイズが均等に分布してい る場合、式26は最適な答え(最良モデル)を与える。大きな傾斜を介して配置さ
れた点がこれらの制約を満たすことは滅多にない。例えば、図6a〜図6dは、範囲
外画素の除去における様々なステップを示す、患者の眼の拡大写真である。図6a
は、モデルを重ね合わせていない、患者の眼の拡大写真である。図6bは、図6aの
画像のために配置された黒-白傾斜点60を示す。これらの画素は、いくつかの制 約のない範囲外画素と同様に、睫毛の擬似反応を図示するものである。 範囲外画素の存在をあてはめるための一般的な方法は、最小中央値2乗法であ る(例えば、P. J. Rousseeuw, "Least median of squares regression", in Jo
urnal of American Statistics Association, Vol. 79, 1984, pp.871-880, P.
Meer, D. Mintz and A. Rosenfeld, "Robust Regression Methods for Computer
Vision: A Review" in International Journal of Computer Vision, 6:1, 199
1, pp. 59-70を参照)。このアルゴリズムは、最高50 %までの範囲外画素が存在
する際に有効であるが、しかし、計算上の複雑性においてはO(n2)である。 計算の遅さをを防ぐために、好適な実施例では、O(n)時間内の範囲外画素を
消去するために、新規方法といくつかの制約を組合せて使用している。 (a)任意の画素RAYθ:wが捨てられ、 数式(27) (b)任意の画素RAYθ:rが捨てられ、 数式(28) いずれの場合(a)、(b)においても、100よりも小さな傾斜は、おそらくノ イズへの反応である、ほとんど目に見えない境界を含んでいる。 (c)別の画素のコピーであるどの画素も捨てられる。 数式(29) このようなコピーした画素はTθが小さすぎる場合に現れ、その結果、オーバサ ンプリングとなる。 (d)以下の通りである場合、任意の画素の対RAYθ:w、RAYθ:rニが捨て
られる。 数式(30) これは、虹彩境界が瞳孔境界の外にあるべきであるという自然な制約に適合する
。 (e)画素が孤立して見つかった場合には、これは捨てられる。以下の通りであ れば、画素(xi,yi)は孤立しているとはみなされない。 数式(31)
If all points (x i , y i ) are “pixels in range” and the noise of the measurement is evenly distributed, Equation 26 gives the optimal answer (best model). Points located through large slopes rarely meet these constraints. For example, FIGS. 6a-6d are enlarged pictures of a patient's eye showing various steps in removing out-of-range pixels. Figure 6a
Is an enlarged photograph of the patient's eye without the model superimposed. FIG. 6b shows a black-white tilt point 60 arranged for the image of FIG. 6a. These pixels illustrate the eyelash spurious response, as well as some unconstrained out-of-range pixels. A common method for fitting the presence of out-of-range pixels is the least median square method (eg, PJ Rousseeuw, "Least median of squares regression", in Jo
urnal of American Statistics Association, Vol. 79, 1984, pp. 871-880, P.
Meer, D. Mintz and A. Rosenfeld, "Robust Regression Methods for Computer
Vision: A Review "in International Journal of Computer Vision, 6: 1, 199
1, pp. 59-70). This algorithm is effective when there are up to 50% out-of-range pixels, but is O (n 2 ) in computational complexity. To prevent computational delays, the preferred embodiment uses a combination of the new method and some constraints to eliminate out-of-range pixels in O (n) time. (A) Any pixel RAYθ : w is discarded, and equation (27) (B) Any pixel RAYθ : r is discarded, and equation (28) In both cases (a) and (b), slopes less than 100 include almost invisible boundaries, probably a response to noise. (C) Any pixel that is a copy of another pixel is discarded. Formula (29) Such copied pixels appear when Tθ is too small, resulting in oversampling. (D) In the following cases, any pair of pixels RAYθ : w and RAYθ : r are discarded
Can be Formula (30) This fits the natural constraint that the iris boundary should be outside the pupil boundary. (E) If a pixel is found in isolation, it is discarded. Pixel (x i , y i ) is not considered isolated if: Formula (31)

【0020】 捨てられた全ての画素は範囲外画素として扱われるため、最小2乗法をあては めた処理では使用されない。図6cは、図6bに示した黒-白傾斜点に方程式27〜31 をあてはめた結果である。不定の範囲外画素のみが画像から除去されていること
に留意すること。一定の範囲外画素が、(睫毛からの反応のために)引続き現れ
ている。 残りの範囲内画素について、式26が、8つの点の部分集合RAYθ:wと、8つの点 の部分集合RAYθ:rとにあてはめられる。部分集合の各々は、前述のθの範囲内 の一組の点によって形成される。その効果は、部分集合の各々が、オリジナルの
サンプリング円の下位円弧上の点を含む。正式には、RAYθ:w の8つの部分集合 と、RAYθ:rの8つの部分集合とが、各々以下のように定義される。 数式(32) 数式(33) 部分集中の各々は、45°の増加で始まる、可能な角膜反射の周囲の連続した270 °の円弧の中に配置された傾斜点を表す。
Since all discarded pixels are treated as out-of-range pixels, they are not used in the process to which the least squares method is applied. FIG. 6c is the result of fitting equations 27-31 to the black-white tilt points shown in FIG. 6b. Note that only indeterminate out-of-range pixels have been removed from the image. Certain out-of-range pixels continue to appear (due to the reaction from the eyelashes). For the remaining in-range pixels, Equation 26 is applied to the eight-point subset RAYθ : w and the eight-point subset RAYθ : r . Each of the subsets is formed by a set of points within the aforementioned range of θ. The effect is that each of the subsets includes points on the lower arc of the original sampling circle. Formally, eight subsets of RAYθ : w and eight subsets of RAYθ : r are defined as follows. Formula (32) Formula (33) Each of the partial concentrations represents a ramp point located in a continuous 270 ° arc around the possible corneal reflex, beginning with a 45 ° increase.

【0021】 値を計算するために、部分集合SUBARCσ:θ:wまたはSUBARCσ:θ:rとその結果
による円(a,b,r)、残差、平均傾斜強度、円弧範囲を用いる。値は全て、円を 適合するために使用した範囲内画素の数に依存する。Ninで示したこの数は、360
/Tθ(オリジナルセットRAYθ:w またはRAYθ:r内の画素の数)から、方程式27-
33で与えられた任意の適切なステップにおいて捨てられた、または省略された画
素の数を引いて計算する。 残差は以下の通り計算される。 数式(34) SUBARCσ:θ:wの各々についての平均傾斜強度は以下の通り計算される。 数式(35) SUBARCσ:θ:rの各々についての平均傾斜強度は以下の通り計算される。 数式(36) 平均範囲は以下の通り計算される。 数式(37) ここで、rはあてはめた円の半径である。範囲<0.3である場合、部分集合は信頼
できないとみなされる(あてはめた点は30 %または円の境界線よりも小さい程度
にしか広がらない)。8つの部分集合SUBARCσ:θ:rと8つの部分集合SUBARCσ:θ :w の全てが信用できないものと思われた場合、可能な角膜反射LABELが候補の眼 のモデルとして反証される。傾斜BWと傾斜RBの値を500に制限し、これよりも大 きな値が500に設定される。値SUBARCσ:θ:rとSUBARCσ:θ:wは以下のように計 算される。 数式(38) 数式(39) 各々の場合における最大値は3である。重さ要素が実験的に得られた。 赤-黒傾斜点の少なくとも部分集合SUBARCσ:θ:rが信頼できる場合、最大部分
集合SUBARCΔ:θ:rが見つかり、以下の通りになる。 数式(40)
To calculate the value, the subset SUBARCσ:θ: wOr SUBARCσ:θ: rAnd the results
(A, b, r), residual error, average gradient strength, and arc range. All values depend on the number of in-range pixels used to fit the circle. NinThis number, indicated by, is 360
/ Tθ (original set RAYθ: w Or RAYθ: rFrom the number of pixels in
Images discarded or omitted in any appropriate steps given in 33
Calculate by subtracting prime numbers. The residual is calculated as follows. Formula (34) SUBARCσ:θ: wIs calculated as follows. Formula (35) SUBARCσ:θ: rIs calculated as follows. Formula (36) The average range is calculated as follows. Formula (37)Where r is the radius of the fitted circle. Subset is trusted if range <0.3
Is considered impossible (the fitted point is 30% or less than the circle border)
Only spreads). 8 subsets SUBARCσ:θ: rAnd the eight subsets SUBARCσ:θ : w If all are considered unreliable, a possible corneal reflex LABEL is disproved as a candidate eye model. InclinationBWAnd inclinedRBIs limited to 500, and larger values are set to 500. Value SUBARCσ:θ: rAnd SUBARCσ:θ: wIs calculated as follows. Formula (38)Formula (39)The maximum value in each case is 3. The weight factor was obtained experimentally. At least a subset SUBARCσ of red-black slope points:θ: rIs the largest part if you can trust
Set SUBARCΔ:θ: rIs found and is as follows. Formula (40)

【0022】 点SUBARCΔ:θ:rにあてはめられた円のパラメータ(a,b,r)は、可能な瞳孔- 虹彩の境界についてパラメータ(式1)を次のように得る。A=a, B=b, C1=r。可 能な虹彩-強膜の境界線半径C2(方程式2)がBWθ:wのモデル半径として計算され
、ここで、このモデルは、整数半径における最大数として求められ、ここで、各
々半径における数は以下のように計算される。 数式(41) 少なくとも1つの部分集合の黒-白傾斜点SUBARCσ:θ:rが信頼性できる場合、 最大部分集合SUBARCΔ:θ:rが以下の通り求められた。 数式(42) 図6dは、図6cに示したセットからの黒-白の傾斜点の最大値の下位円弧を示す 。信頼がある赤-黒の傾斜点SUBARCσ:θ::Wの部分集合がない場合には、虹彩-強
膜の境界のためのパラメータ(式2)を得るために、点SUBARCΔ:θ:W にあては めた円のパラメータ(a,b,r)を次のように使用した。A=a , B=b, C2=r。弧の場
合、瞳孔-虹彩の境界がわかっているので、C1の値(式1)は未定義である。 可能な角膜反射LABELに関連した可能な眼のモデルの全体の数は以下のように 計算される。 数式(43) 瞳孔-虹彩円についてもっともらしい下位円弧モデルが見つからない場合には、 全体数の第1半分は0であることに留意すること。瞳孔境界線を配置せずに眼をモ
デル化することが可能であるが、減少した数が、モデル内の減少した確実性を反
射する。
The parameters (a, b, r) of the circle fitted to the point SUBARCΔ : θ : r yield the parameters (Equation 1) for a possible pupil-iris boundary as follows: A = a, B = b, C 1 = r. The possible iris-sclera boundary radius C 2 (Equation 2) is calculated as the model radius of BWθ : w , where the model is determined as the maximum number at an integer radius, where The number is calculated as follows: Formula (41) If the black-white slope point SUBARCσ : θ : r of at least one subset is reliable, the maximum subset SUBARCΔ : θ : r was determined as follows. Formula (42) FIG. 6d shows the lower arc of the maximum of the black-white slope points from the set shown in FIG. 6c. If there is no reliable subset of the red-black slope points SUBARCσ : θ :: W , the point SUBARCΔ : θ : W must be set to obtain the parameters (Equation 2) for the iris-sclera boundary. The parameters of the fitted circle (a, b, r) were used as follows. A = a, B = b, C 2 = r. In this case, the pupil - since the boundary of the iris is known, C 1 value (Equation 1) is undefined. The total number of possible eye models associated with the possible corneal reflex LABEL is calculated as follows. Formula (43) Note that if no plausible subarc model is found for the pupil-iris circle, the first half of the total number is zero. Although it is possible to model the eye without pupil boundaries, the reduced number reflects reduced certainty in the model.

【0023】 (5) 強度によって眼のモデルを分類し、仮定として最良のものを2つ選ぶ 仮定した各々の角膜反射は、全体モデル強度を有する(すなわち、眼のものと
同様)。次のステップにおいて、強度の組が分類される。最強のモデル2つが、 正確な眼のモデルとして選択される。正確な眼のモデルは、コンピュータからの
出力で示され、スーパーインポーズによる、関連する眼の画像上の各モデルのグ
ラフィカル表示を含む。 特に、可能な眼のモデル化の結果の可能な角膜反射LABEL(式1〜2)の各々は 、関連した数である(式43)。最高の合計数を有する2つの可能な眼のモデルは 、以下に示す制約内で、実際の眼のモデルとされ、次のように示される: 数式(43b) 第1に、眼のモデルの中心が少なくとも2つの互いに離れた眼の直径でなくては
ならない。 数式(44) 第2に、画像内の患者の顔の方向が、垂直または水平のいずれかであると仮定 されるが、いずれの場合も、画像境界の平行組の1つを有するレベルである。こ れは以下によって証明される。 数式(45) 最強の対の内のどのモデルが左目と関連し、どのモデルが右目と関連するかを
求めるために、ユーザによって与えられた画像内の患者の顔の方向(右上、左脇
、または右脇)を使用する。可能な眼のモデルの対がこれらの制約にパスしない
場合には、または見つかった可能な眼のモデルが2つよりも少ない場合には、画 像が、非定型的であると報告され、本発明の好適な実施例の処理が停止する。
(5) Classify the eye model by intensity and choose the two best hypotheses Each hypothesized corneal reflex has the overall model intensity (ie, similar to the eye). In the next step, the intensity sets are classified. The two strongest models are selected as accurate eye models. The exact eye models are shown in the output from the computer and include a superimposed graphical representation of each model on the associated eye image. In particular, each of the possible corneal reflex LABELs (Equations 1-2) resulting from the possible eye modeling is an associated number (Equation 43). The two possible eye models with the highest total number are taken as real eye models, within the constraints shown below, and are given by: First, the center of the eye model must be at least two mutually separated eye diameters. Formula (44) Second, the orientation of the patient's face in the image is assumed to be either vertical or horizontal, but in each case a level having one of a parallel set of image boundaries. This is proved by: Formula (45) The orientation of the patient's face in the image provided by the user (upper right, left side, or right side) to determine which model in the strongest pair is associated with the left eye and which model is associated with the right eye Use If no possible eye model pair passes these constraints, or if fewer than two possible eye models are found, the image is reported as atypical and the Processing of the preferred embodiment of the invention stops.

【0024】 (6) 選択した眼のモデルから網膜反射と角膜反射を測定し、この反射にあ る異常または変態を探す 好適な実施では、可能な眼のモデルの最良の対を上述した通りに使用して、何
らかの異常が画像内に見られるかどうかを発見するために、いくつかの試験を実
施する。 試験A: 正常な眼において、角膜反射は中心からいくらか逸れているだけで ある(いくらかの逸れは、カメラフラッシュとカメラレンズの中心の間の距離に
よって生じる)。この試験では、各々の目について、角膜反射の逸れが 角膜反
射図心と眼の中心の間の距離の、虹彩に対する比率として測定される。 数式(46) 両方の角膜において反射は中心を逸れており、患者はカメラを直視しておらず
、コンピュータシステムはそのように表示している。1つの角膜反射だけが中心 から逸れている場合、患者は斜視を患っており、コンピュータシステムは患者は
眼科門医にかかるべきであると示す。形式上、これらの条件は次のように試験さ
れ、 数式(47) 数式(48) ここで、Terは選択可能なしきい値である。
(6) Measure retinal and corneal reflexes from the selected eye model and look for abnormalities or metamorphosis in these reflexes. In a preferred implementation, the best pair of possible eye models is Used to perform some tests to find out if any anomalies are found in the image. Test A: In a normal eye, the corneal reflex is only slightly deviated from the center (some deviation is caused by the distance between the camera flash and the center of the camera lens). In this test, for each eye, the deviation of the corneal reflex is measured as the ratio of the distance between the corneal reflex centroid and the center of the eye to the iris. Formula (46) The reflection is off-center in both corneas, and the patient is not looking directly into the camera, and the computer system indicates so. If only one corneal reflex is off-center, the patient is suffering from strabismus and the computer system indicates that the patient should consult an ophthalmologist. Formally, these conditions are tested as follows: Formula (48) Here, Ter is a selectable threshold value.

【0025】 試験B:正常な眼において、角膜反射は両眼に等しく均一に現れる。弧のよう な均一性を試験するためには、各眼のモデル(左と右)について、(A, B, C1,
C2)によってモデル化された偏心円の関連した対があり(式1〜2)、CRによって
モデル化された角膜反射(式4)、(xc,yc)によってモデル化されたその関連し
た図心(方程式8)がある。各眼のモデルの角膜反射RRは、角膜反射とその2つの
深い包囲境界(誤差を最小にするために、この境界は除外されることが好ましい
)に属するものとしてラベル付けされた画素を除いた、虹彩-瞳孔の境界線内の 画素の平均赤値として測定されることが好ましい。正式には、PRで示す瞳孔内の
画素のセットを計算するために使用し、次のように定義される。 数式(49) 角膜反射RRは次のように計算される。 数式(50) ここで、(r,c)は画像内の全ての画素位置を示す。角膜反射が等しくない輝度 を有する場合、コンピュータシステムは患者が眼科専門医にかかるべきであると
表示する。正式には、これは以下のように試験され、 数式(51) ここで、Trrは選択可能なしきい値である。
Test B: In normal eyes, the corneal reflex appears equally and evenly in both eyes. To test for arc-like uniformity, for each eye model (left and right), (A, B, C 1 ,
C 2 ) there is an associated pair of eccentric circles modeled by (Eq. 1-2), the corneal reflex modeled by CR (Eq. 4), and its association modeled by (x c , y c ) There is a centroid (Equation 8). The corneal reflex RR for each eye model excludes pixels labeled as belonging to the corneal reflex and its two deep surrounding boundaries (preferably excluding this boundary to minimize errors). , Is preferably measured as the average red value of pixels within the iris-pupil boundary. Formally, it is used to calculate the set of pixels in the pupil, denoted by PR, and is defined as: Formula (49) The corneal reflection RR is calculated as follows. Formula (50) Here, (r, c) indicates all pixel positions in the image. If the corneal reflections have unequal brightness, the computer system indicates that the patient should be referred to an ophthalmologist. Formally, this is tested as follows: Here, T rr is a selectable threshold value.

【0026】 試験C:瞳孔内部の平均強度よりも明るい瞳孔境界内の画素(角膜反射を除 く)が、範囲内に区分される。瞳孔境界線と近接した適切な外周部を伴う十分な
大きさの任意の範囲が三日月形反射として識別される。正常な眼では三日月形反
射は見られない。どちらかの眼が三日月形反射を呈した場合、患者は屈折誤差を
有し、コンピュータシステムがその患者は眼科専門医にかかるべきであると示す
。十分な大きさを持つが、瞳孔境界とは隣接していない任意の範囲が瞳孔異常領
域として識別され(例えば、その範囲は三日月形であってもよい)、コンピュー
タシステムはその患者が眼科専門医にかかるべきであると示す。瞳孔-虹彩の境 界線は片眼に位置するのではなく、三日月形反射と異常瞳孔範囲の試験は、本発
明の好ましい実施例では未定義である。 形式上、瞳孔内の平均の緑強度をGRで示し、以下の通り計算される。 数式(52) 瞳孔内の平均青強度をBRで示し、以下の通り計算される。 数式(53) 瞳孔内の明るい画素の画像をIpupilで示し、以下のように作成される。 数式(54) ここで、Ipupil = 1は画素が明るいことを示す。明るい画素は、上で挙げた待ち
行列を用いたペイント-フィル擬似コードアルゴリズムを用いて、連続した4つの
領域に空間的に分類される(擬似コード内で参照した擬似コード画像Iは、弧の 場合にはIpupilである)。明るい領域の各々の大きさは、同じラベルで画素の数
として数えられる。 数式(55) 明るい領域の各々の外周は、明るくない画素に隣接した明るい画素の数として
計算される。 数式(56)
Test C: Pixels (excluding corneal reflex) within the pupil boundary that are brighter than the average intensity inside the pupil are partitioned into ranges. Any region of sufficient size with a suitable perimeter in proximity to the pupil boundary is identified as a crescent reflex. No crescent-shaped reflex is seen in normal eyes. If either eye exhibits a crescent-shaped reflex, the patient has a refractive error and the computer system indicates that the patient should be referred to an ophthalmologist. Any area that is large enough but not adjacent to the pupil boundary is identified as a pupil abnormal region (eg, the area may be crescent shaped) and the computer system informs the ophthalmologist that the patient has Indicates that this should be the case. The pupil-iris boundary line is not located in one eye, and testing for crescent reflex and abnormal pupil range is undefined in the preferred embodiment of the present invention. Formally, the average green intensity in the pupil is denoted by GR and is calculated as follows: Formula (52) The average blue intensity in the pupil is denoted by BR and is calculated as follows: Formula (53) An image of a bright pixel in the pupil is denoted by I pupil and is created as follows. Formula (54) Here, I pupil = 1 indicates that the pixel is bright. The bright pixels are spatially classified into four consecutive regions using the paint-fill pseudocode algorithm using the queues listed above (the pseudocode image I referenced in the pseudocode is In that case I pupil ). The size of each bright area is counted as the number of pixels with the same label. Formula (55) The perimeter of each bright region is calculated as the number of bright pixels adjacent to the non-bright pixels. Formula (56)

【0027】 複数の境界を持つ明るい範囲の内容は、瞳孔-虹彩円の短い距離内の明るい画 素の数として計算される。 数式(57) 明るい領域は以下の基準によって分類される。 数式(58) 数式(59) 数式(60) The content of the bright range with multiple boundaries is calculated as the number of bright pixels within a short pupil-iris circle distance. Formula (57) Bright areas are classified according to the following criteria. Formula (58) Formula (59) Formula (60)

【0028】 (7) 適切な診断を勧める 図7は、画像が得られ、眼を配置、モデル化、分析した後の、本発明を用いた 、好ましい試験シーケンスのフローチャートである。第1に、カメラ10で撮った 画像内で角膜または網膜光反射が可視であるかどうかの決定が行われる(ステッ
プ100)。そうでなければ、試験を繰返す必要がある(すなわち別の画像が得ら れる)(ステップ102)。そうであれば次に、角膜光反射が集中しているかどう かの決定がされる(ステップ104)。そうでなければ、患者が斜視である表示が 現れ、さらに試験を行う必要がある(ステップ106)。そうでなければ、両眼内 の網膜(赤)光反射の明るさ等しいかどうかの決定が行われる(ステップ108) 。そうでなければ、患者の網膜に異常があることが表示され、さらなる試験に課
せられるべきである(ステップ110)。そうでなければ、網膜の三日月形光反射 が存在するかどうかが決定される(ステップ112)。そうであれば、次に、患者 が屈折異常を有しており、さらに試験を行うべきである旨の表示がされる。そう
でない場合、網膜光反射内に別の異常領域が存在するかどうかの決定が行われる
(ステップ116)。そうである場合、患者が中膜混濁を患っている可能性があり 、さらに試験を受ける必要があると表示する(ステップ118)。そうでなければ 、テストシーケンスが終了する(ステップ120)。別のテストシーケンスを考案 することが可能であり、以下に述べるテストは別の順番で行うことができ、およ
び/または任意の一時的診断ステップ後に終了することができことに留意。
(7) Recommend Appropriate Diagnosis FIG. 7 is a flowchart of a preferred test sequence using the present invention after the images have been obtained and the eye has been positioned, modeled, and analyzed. First, a determination is made whether corneal or retinal light reflections are visible in the image taken by camera 10 (step 100). Otherwise, the test needs to be repeated (ie another image is obtained) (step 102). If so, then a determination is made as to whether corneal light reflection is concentrated (step 104). Otherwise, an indication appears that the patient is strabismus and further testing is needed (step 106). Otherwise, a determination is made whether the brightness of the retinal (red) light reflection in both eyes is equal (step 108). Otherwise, the patient's retina is indicated as abnormal and should be submitted for further testing (step 110). Otherwise, it is determined whether a retinal crescent light reflection is present (step 112). If so, then an indication is given that the patient has a refractive error and that further testing should be performed. If not, a determination is made whether another abnormal region exists in the retinal light reflection (step 116). If so, it indicates that the patient may be suffering from media opacity and needs further testing (step 118). Otherwise, the test sequence ends (step 120). Note that other test sequences can be devised, and the tests described below can be performed in a different order and / or can be terminated after any temporary diagnostic steps.

【0029】 好ましい画像生成環境 人間の患者用の好ましい試験プロトコルは、(1)カメラ10から患者への距離 を測定し、(2)患者の水平な中心ランドマークの上にカメラを設置し、(3)画
像を撮る。さらに、本発明者は、図1のカメラ10の使用に好ましい画像環境が写 真家の以下に示す実際的な制約を決定した。 ・1人の人間の患者を想定し、従って、1画像につき1対の眼が想定される。親ま たは保護者は小さな子供をひざに乗せているため、この画像は患者または保護者
の眼を含まない。 ・弧の患者16は、両眼を開いた状態でカメラレンズ14を直視するよう期待され、
眼からの適切な反射が画像化される。一般に、テストを有効にするために、各眼
の瞳孔全体を見ることができる必要がある。 ・カメラ10から患者16への経路は障害物が全くない状態であるべきである。例え
ば、患者16は眼鏡をかけていてはいけない。 ・患者16は、カメラを直視することを要求され、従来のレンズ14を用いて、カメ
ラからのほぼ従来の距離で写される。この安定した形状が予想した範囲の画像、
明白なサイズのビジュアル解剖学的特徴を生じる。患者16がカメラ10からあまり
離れてはならないという制約は、患者の眼を配置するための、集中したシステム
の機能に影響する必要はない。むしろ、この制約は、眼の範囲が十分な数の画素
によって確実に画像化されるために強いられる。 ・患者の眼は散大されていなくてはならない。一般に、暗くした室内に3〜5分間
いた後の通常散大で十分である。写真を撮るその室内の環境照明レベルは、散大
を維持するために可能な限り暗くするべきである。 ・ここで述べた本発明の実施例は、複雑な背景の存在において活発であるように
設計され、画像は合理的に散かりがないものであることが期待される。例えば、
背景は人物の等身大の写真を含むべきではない(部分的に顔のみである)。通常
、宝石は大丈夫であるが、眼のような形のものは全て取外すべきである。 ・患者の眼は、水平または垂直画像の境界とほぼ平行することを期待される。定
義された視覚的問題のためのテストでは2つの方位が許容されている。
Preferred Imaging Environment Preferred test protocols for human patients include: (1) measuring the distance from camera 10 to the patient, (2) placing the camera over the patient's horizontal center landmark, 3) Take an image. In addition, the inventor has determined the following practical constraints on the preferred image environment for use of the camera 10 of FIG. -One human patient is assumed, so one pair of eyes is assumed per image. This image does not include the eyes of the patient or guardian, since the parent or guardian has a small child on his lap. The arc patient 16 is expected to look directly into the camera lens 14 with both eyes open,
The appropriate reflection from the eye is imaged. Generally, in order for the test to be valid, it is necessary to be able to see the entire pupil of each eye. -The path from the camera 10 to the patient 16 should be free of obstacles. For example, patient 16 should not wear glasses. -Patient 16 is required to look directly into the camera and is imaged using conventional lens 14 at approximately conventional distance from the camera. Images in the range where this stable shape was expected,
Produces visual anatomical features of obvious size. The constraint that the patient 16 must not be too far from the camera 10 does not need to affect the function of the centralized system for positioning the patient's eyes. Rather, this constraint is enforced to ensure that the eye area is imaged by a sufficient number of pixels. • The patient's eyes must be dilated. Generally, normal dilation after 3-5 minutes in a darkened room is sufficient. The ambient lighting level in the room where the picture is taken should be as dark as possible to maintain dilation. The embodiments of the invention described herein are designed to be active in the presence of complex backgrounds, and the images are expected to be reasonably uncluttered. For example,
The background should not include a life-size photograph of the person (partially only the face). Normally, jewelry is OK, but all eye-like shapes should be removed. -The patient's eye is expected to be approximately parallel to the horizontal or vertical image boundaries. Two orientations are allowed in tests for defined visual problems.

【0030】 アルゴリズムパラメータの校正 眼を配置、モデル化、スクリーニングする我々のアルゴリズムの説明において
、いくつかのしきい値とパラメータが識別されている。これらのパラメータ用の
値は、いくつかの校正要因に依存する:すなわち、デジタル画像のサイズ(画素
におけるカラムによる行)、画像の量子化(ビット/画素)、カメラから物体ま での距離、カメラに取付けられたレンズ(1つまたはそれ以上)の光倍率、光レ ンズの中心からのフラッシュの置換、フラッシュの強度(ルーメン)である。近
軸フラッシュの位置の目盛り調整は、経験的基準において達成される。開発は、
患者からの非しきい値的距離の補正を含んでいる。これは、画像スクリーニング
反射を最大にする方法での、カメラレンズの光軸に対するフラッシュの位置の調
整を要する。フラッシュを光心に近づけ過ぎて配置すると反応が圧倒され、逆に
、離し過ぎると反応を消してしまう。カメラ光センサの調整は、1フラッシュに つき標準数のルーメン確実にするためにも必須である。 我々は、異なるカメラに基づく2つの作業システムを構成および校正すること に成功した。しかし、概念的にはこれらの値を変更しても、本発明のシステムが
動作することが変更されることはない。テストした2つの形態から、我々は、よ り大きな画像解像力を持つものを1つ選んだ。これは、一般に、より大きな数の サンプル(この場合は画素)が統計によってより安定した結果が得られるためで
ある。現在の好ましい形態では、1280×960×24ビット(RGB)画像を捕獲するKo
dak DC120デジタルカメラを使用している。対象物は、約3.5フィート(すなわち
1メートルより若干長い)の距離において撮影された。この距離は、調節による 患者の眼の屈折特性の変更の回避を助け(すなわち、近接した物質に焦点を合わ
せることによる、眼の湾曲における筋肉が誘発した変更)、患者にとってうるさ
くない。
Calibration of Algorithm Parameters In the description of our algorithm for locating, modeling, and screening eyes, several thresholds and parameters have been identified. The values for these parameters depend on several calibration factors: the size of the digital image (rows by columns in pixels), the quantization of the image (bits / pixel), the distance from the camera to the object, the camera The optical power of the lens (s) attached to the lens, the displacement of the flash from the center of the lens, the intensity of the flash (lumens). Calibration of the position of the paraxial flash is achieved on an empirical basis. Development is
Includes correction of non-threshold distance from patient. This requires adjusting the position of the flash with respect to the optical axis of the camera lens in a manner that maximizes image screening reflections. If the flash is placed too close to the optical heart, the reaction will be overwhelmed. Conversely, if it is too far away, the reaction will be extinguished. Adjusting the camera light sensor is also essential to ensure a standard number of lumens per flash. We have successfully configured and calibrated two working systems based on different cameras. However, conceptually changing these values does not change the operation of the system of the present invention. From the two configurations tested, we chose the one with greater image resolution. This is because, in general, a larger number of samples (in this case, pixels) gives a more stable result by statistics. In the currently preferred form, Ko captures a 1280x960x24 bit (RGB) image.
I am using a dak DC120 digital camera. The object is approximately 3.5 feet (ie,
(Slightly longer than a meter). This distance helps to avoid altering the refractive properties of the patient's eye by accommodation (ie, muscle-induced alterations in the curvature of the eye by focusing on nearby material) and is not annoying to the patient.

【0031】 カメラは、ビルトイン3×レンズであり、これに追加の2×レンズを取付け、効
果的な6書ける拡大率を得ている。フラッシュは、Kodak Corporation製の、リフ
レクタ内に入れられたフラッシュ管から成る標準モデルである。フラッシュ管は
約27.25(長さ)×約2.5mm(直径)である。リフレクタは、約7.8mm(幅)×約2
5.1mm(長さ)×約5.5mm(奥行)である。フラッシュは、光軸から約17.25mm離 れて配置されている(フラッシュ管の中央-光軸の中心)でもあるリフレクタの 中央から測定した。 このカメラとフラッシュ形態のために、上述したアルゴリズムパラメータの値
が以下のように調整された。 T1 = 6 TL = 80 T2 = 39 TB = 200 T3 = 17 Tθ = 2.0 T4 = 83 Tπ = 20 TS = 4 Tcr = 0.2
The camera is a built-in 3 × lens with an additional 2 × lens attached to it to obtain an effective 6-magnification magnification. The flash is a standard model from Kodak Corporation consisting of a flash tube housed in a reflector. The flash tube is about 27.25 (length) x about 2.5 mm (diameter). The reflector is about 7.8mm (width) x about 2
It is 5.1 mm (length) x about 5.5 mm (depth). The flash was measured from the center of the reflector, which was also located approximately 17.25 mm away from the optical axis (center of flash tube-center of optical axis). For this camera and flash configuration, the values of the above algorithm parameters were adjusted as follows. T 1 = 6 T L = 80 T 2 = 39 T B = 200 T 3 = 17 Tθ = 2.0 T 4 = 83 Tπ = 20 T S = 4 T cr = 0.2

【0032】 コンピュータの実現 本発明は、ハードウェアまたはソフトウェアにおいて、または両方の組合せに
おいて(例えばプログラム可能な論理アレー)において実現することができる。
特記されていない限り、本発明の1部として含まれるアルゴリズムは、あらゆる 特定のコンピュータまたはその他の特定の装置に関連していない。特に、ここで
述べる技術によって書込まれたプログラムと共に、様々な汎用的な装置を使用す
ることができる。または、必要な方法ステップを実行するための、より専門的な
装置を構成することがさらに便利である。しかし、本発明は、少なくとも1つの プロセッサと、少なくとも1つのデータ記憶システム(揮発性および非揮発性の メモリおよび/または記憶要素)、少なくとも1つの入力装置、少なくとも1つの 出力装置を備えた、プログラム可能なシステム上で実行される1つまたはそれ以 上のコンピュータプログラムにおいて実現されることが好ましい。プログラムコ
ードは、ここで述べた機能を実行するためにデータを入力し、また、出力情報を
生成するために適用されている。出力情報は、1つまたはそれ以上の従来の出力 装置に適用されている。 このようなプログラムの各々は、コンピュータシステムを通信するために、あ
らゆる所望のコンピュータ言語(機械、組立て、高レベルの手続またはオブジェ
クト指向プログラミング言語を含む)において実現される。あらゆる場合におい
て、言語はコンパイルしたまたは翻訳された言語であってよい。このようなコン
ピュータプログラムの各々は、ここで述べている手順を実行するために、記憶媒
体または装置がコンピュータによって読み出された際にコンピュータを構成およ
び操作するために、好ましくは、一般のまたは特別な目的のプログラム可能コン
ピュータによって読出しが可能な記憶媒体または装置(例えば、ROM、CD-ROM、 または磁気あるいは光記憶媒体)に記憶されることが好ましい。
Computer Implementation The invention can be implemented in hardware or software, or in a combination of both (eg, a programmable logic array).
Unless stated otherwise, the algorithms included as part of the present invention are not related to any particular computer or other particular device. In particular, various general-purpose devices can be used with programs written by the techniques described herein. Alternatively, it is more convenient to configure more specialized equipment to perform the necessary method steps. However, the invention relates to a program comprising at least one processor, at least one data storage system (volatile and non-volatile memory and / or storage elements), at least one input device and at least one output device. Preferably, it is implemented in one or more computer programs running on a possible system. Program code has been applied to input data to perform the functions described herein and to generate output information. The output information has been applied to one or more conventional output devices. Each such program may be implemented in any desired computer language (including machines, assemblies, high-level procedures, or object-oriented programming languages) for communicating computer systems. In any case, the language may be a compiled or translated language. Each such computer program preferably executes the procedures described herein, and configures and operates a computer when the storage medium or device is read by the computer, preferably a general or special purpose computer. It is preferably stored on a storage medium or device (eg, ROM, CD-ROM, or magnetic or optical storage medium) readable by a programmable computer for various purposes.

【0033】 本発明の多数の実施例について説明してきた。しかし、本発明の精神と範囲を
逸脱することなく、様々な改良を加えることが可能なことが理解されるであろう
。例えば、上述したある目的のための特定のステップは、絶対的または比較的、
順序に関係なく、従って、既述の順序以外の順序において実行することができる
。別の例として、本発明によって生成された眼のモデルを使用する、その他の診
断テストを実施または考案してもよい。また別の例として、本発明のシステムお
よび方法は、人間以外の患者にも使用することができる。従って、その他の実施
例も請求項の範囲内にある。
A number of embodiments of the invention have been described. Nevertheless, it will be understood that various modifications may be made without departing from the spirit and scope of the invention. For example, certain steps for certain purposes described above may be absolute or relatively
It can be performed in any order, and thus in an order other than the order described above. As another example, other diagnostic tests may be performed or devised using the eye model generated by the present invention. As yet another example, the systems and methods of the present invention can be used with non-human patients. Therefore, other embodiments are also within the claims.

【0034】[0034]

【図面の簡単な説明】[Brief description of the drawings]

【図1a】 患者の眼を画像化するために使用した本発明の好ましい物理構造
を示すブロック図である。
FIG. 1a is a block diagram illustrating a preferred physical structure of the present invention used to image a patient's eye.

【図1b】 本発明によるレンズ14とフラッシュ12の透視図である。FIG. 1b is a perspective view of a lens 14 and a flash 12 according to the present invention.

【図2a】 カメラ視野からの角膜反射の現れと同様に、フラッシュから1対 の正常な眼までへ、そしてまたカメラへと戻る光路を示す線図である。FIG. 2a is a diagram showing the light path from the flash to a pair of normal eyes and back to the camera, as well as the appearance of corneal reflections from the camera's field of view.

【図2b】 カメラ視野からの角膜反射の現れと同様に、フラッシュから、1 方が異常を持った1対の眼までの、そしてカメラへと戻る光路を示す線図である 。FIG. 2b is a diagram showing the light path from a flash to a pair of eyes with abnormalities, and back to the camera, as well as the appearance of corneal reflections from the camera's field of view.

【図2c】 両眼において等しく、反射誤差がない均一な反射を示す、1対の 正常な眼のための網膜反射26の線図である。FIG. 2c is a diagram of a retinal reflection 26 for a pair of normal eyes, showing uniform reflections equal in both eyes and without reflection errors.

【図2d】 片方が低い反射を生じる網膜病状を持った1対の眼のについての 網膜反射の線図である。FIG. 2d is a retinal reflex diagram for a pair of eyes with retinal pathologies, one of which produces a low reflex.

【図2e】 両眼において同じタイプの反射誤差が示された、各々が三日月形
の反射率を呈する、1対の眼についての網膜反射の線図である。
FIG. 2e is a diagram of retinal reflection for a pair of eyes, each exhibiting a crescent-shaped reflectance, showing the same type of reflection error in both eyes.

【図2f】 眼における反射誤差の量の違いを表す、異なった三日月反射率を
呈する2つの眼についての網膜反射の線図である。
FIG. 2f is a diagram of retinal reflexes for two eyes exhibiting different crescent reflectivities, representing differences in the amount of reflection error in the eyes.

【図3a】 患者の眼のクロースアップ写真である。FIG. 3a is a close-up photograph of a patient's eye.

【図3b】 本発明で使用するモデルのグラフィカル表示をスーパーインポー
ズした、患者の眼のクロースアップ写真である。
FIG. 3b is a close-up photograph of a patient's eye with a superimposed graphical representation of the model used in the present invention.

【図4a】 異常瞳孔範囲を含んだ患者の眼のクロースアップ写真である。FIG. 4a is a close-up photograph of a patient's eye including an abnormal pupil area.

【図4b】 本発明で使用する眼のモデルのグラフィカル表示を伴った、異常
瞳孔範囲をを含む患者の眼のクロースアップ写真である。
FIG. 4b is a close-up photograph of a patient's eye including an abnormal pupil area, with a graphical representation of the eye model used in the present invention.

【図5】 本発明の好ましい実施例の画像処理のステップの全体を示すフロ ーチャートである。FIG. 5 is a flowchart showing the entire image processing steps according to the preferred embodiment of the present invention.

【図6a】 モデルをスーパーインポーズしていない、患者の眼のクロースア
ップ写真である。
FIG. 6a is a close-up photograph of the patient's eye without superimposing the model.

【図6b】 図6a内の画像で配置された黒-白傾斜点をを示す、患者の眼のク ロースアップ写真である。FIG. 6b is a close-up photograph of the patient's eye showing the black-white tilt points arranged in the image in FIG. 6a.

【図6c】 図6bに示した黒-白傾斜点に制約を付加した結果を図示する、患 者の眼のクロースアップ写真である。FIG. 6c is a close-up photograph of a patient's eye illustrating the result of adding a constraint to the black-white tilt point shown in FIG. 6b.

【図6d】 図6cに示したセットからの黒-白傾斜点の最高スコアリング部分 集合を示す、患者の眼のクロースアップ写真である。FIG. 6d is a close-up photograph of the patient's eye showing the highest scoring subset of black-white slope points from the set shown in FIG. 6c.

【図7】 本発明を使用した好ましいテストシーケンスのフローチャートで ある。1度画像を得ると、眼が配置およびモデル化される。 様々な図面中で、同様の要素には同様の参照符号を使用している。FIG. 7 is a flowchart of a preferred test sequence using the present invention. Once the image is obtained, the eyes are positioned and modeled. Like reference numerals are used for like elements in the various figures.

───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SZ,UG,ZW),EA(AM ,AZ,BY,KG,KZ,MD,RU,TJ,TM) ,AL,AM,AT,AU,AZ,BA,BB,BG, BR,BY,CA,CH,CN,CU,CZ,DE,D K,EE,ES,FI,GB,GD,GE,GH,GM ,HR,HU,ID,IL,IS,JP,KE,KG, KP,KR,KZ,LC,LK,LR,LS,LT,L U,LV,MD,MG,MK,MN,MW,MX,NO ,NZ,PL,PT,RO,RU,SD,SE,SG, SI,SK,SL,TJ,TM,TR,TT,UA,U G,UZ,VN,YU,ZW (72)発明者 ブラディー、バーバラ アメリカ合衆国 カリフォルニア州、ラ ホヤ (72)発明者 バーツチ、ダーク‐ウウェ アメリカ合衆国 カリフォルニア州、サン ディエゴ (72)発明者 グラネット、デイビッド アメリカ合衆国 カリフォルニア州、サン ディエゴ 【要約の続き】 ──────────────────────────────────────────────────続 き Continuation of front page (81) Designated country EP (AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, PT, SE ), OA (BF, BJ, CF, CG, CI, CM, GA, GN, GW, ML, MR, NE, SN, TD, TG), AP (GH, GM, KE, LS, MW, SD, SZ, UG, ZW), EA (AM, AZ, BY, KG, KZ, MD, RU, TJ, TM), AL, AM, AT, AU, AZ, BA, BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, EE, ES, FI, GB, GD, GE, GH, GM, HR, HU, ID, IL, IS, JP, KE, KG , KP, KR, KZ, LC, LK, LR, LS, LT, LU, LV, MD, MG, MK, MN, MW, MX, NO, NZ, PL, PT, RO, RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, TT, UA, UG, UZ, VN, YU, ZW (72) Inventor Brady, Barbara La Jolla, California, United States of America USA (72) Inventor Birch, Dark -Uwe, San Diego, California, United States of America (72) Inventor Granette, David San Diego, California, United States [continued abstract]

Claims (32)

【特許請求の範囲】[Claims] 【請求項1】 患者の眼を、近軸フラッシュによって照明された各々の眼を
含むデジタル画像に配置するためのコンピュータ実現方法であって、各々の眼の
位置を示す、デジタル画像内の光反射を自動的に検索する、ステップを含むこと
を特徴とする方法。
1. A computer-implemented method for placing a patient's eyes in a digital image that includes each eye illuminated by a paraxial flash, the method comprising: a light reflection in the digital image indicating a position of each eye. Automatically searching for.
【請求項2】 光反射を自動的に検索する前記ステップが、可能な瞳孔と強
膜の境界を決定するためのこのような光反射を分析するステップを含んでいるこ
とを特徴とする請求項1に記載の方法。
2. The method of claim 1, wherein automatically retrieving light reflections comprises analyzing such light reflections to determine possible pupil-sclera boundaries. The method according to 1.
【請求項3】 このような可能な瞳孔と強膜の境界に、関連するモデルを自
動的にあてはめるステップをさらに含むことを特徴とする請求項2に記載の方法
3. The method of claim 2, further comprising the step of automatically fitting an associated model to such possible pupil-sclera boundaries.
【請求項4】 各々の眼に異常の可能性を決定するために、各々の眼のモデ
ルの分析ステップをさらに含むことを特徴とする請求項3に記載の方法。
4. The method of claim 3, further comprising the step of analyzing a model of each eye to determine the likelihood of an abnormality in each eye.
【請求項5】 このような分析に基づいて、各々の眼に可能な診断を出力す
るステップをさらに含むことを特徴とする請求項4に記載の方法。
5. The method of claim 4, further comprising outputting a possible diagnosis to each eye based on such analysis.
【請求項6】 患者の眼を、近軸フラッシュによって照明した各々の眼を含
むデジタル画像においてモデル化するためのコンピュータ実現方法であって、 各々の眼からの可能な光反射としての、デジタル画像内の光反射の配置に基づ
いたデジタル画像の各々の眼に、モデルを自動的にあてはめるステップを含むこ
とを特徴とする方法。
6. A computer-implemented method for modeling a patient's eye in a digital image that includes each eye illuminated by a paraxial flash, the digital image as possible light reflections from each eye. Automatically fitting a model to each eye of the digital image based on the location of the light reflections in the eye.
【請求項7】 デジタル画像にモデルを自動的にあてはめる前記ステップが
、可能な瞳孔と強膜の境界を決定するための、このような可能な光反射の分析ス
テップを含むことを特徴とする請求項6に記載の方法。
7. The method of automatically fitting a model to a digital image, comprising the step of analyzing such possible light reflections to determine possible pupil-sclera boundaries. Item 7. The method according to Item 6.
【請求項8】 各々の眼における可能な異常を決定するための、各々の眼の
モデルの分析ステップをさらに含むことを特徴とする請求項6に記載の方法。
8. The method of claim 6, further comprising analyzing a model of each eye to determine possible abnormalities in each eye.
【請求項9】 このような分析に基づいて、各々の眼について可能な診断を
出力するステップをさらに含むことを特徴とする請求項6に記載の方法。
9. The method of claim 6, further comprising outputting a possible diagnosis for each eye based on such analysis.
【請求項10】 近軸フラッシュによって照明した各々の眼を含んだデジタ
ル画像において患者の眼を配置およびモデル化するためのコンピュータ実現方法
であって、 (a)各々の眼の可能な角膜反射としてデジタル画像内の明るい点をを探し、示
すステップと、 (b)このような明るい点周囲で可能な瞳孔と強膜の境界として、各々が1セッ トの傾斜点を有する赤-黒、黒-白の傾斜を探し、示すステップと、 (c)各々の眼について、可能なモデルのこのような傾斜点の部分集合に、複数
の円をあてはめるステップとを有し、前記各々の眼のモデルが関連した強度を有
し、 (d)各々の眼について、強度によって眼のモデルを分類し、最強の関連する眼
のモデルを、各々の眼を表す最良のものとして示すステップと、 を有することを特徴とする方法。
10. A computer-implemented method for positioning and modeling a patient's eye in a digital image including each eye illuminated by a paraxial flash, comprising: (a) as a possible corneal reflection of each eye; (B) searching for and indicating bright spots in the digital image; and (b) as possible pupil-sclera boundaries around such bright spots, red-black, black-black, each having a set of tilt points. (C) fitting a plurality of circles to a subset of such tilt points of a possible model for each eye, wherein the model of each eye is (D) classifying the eye model by intensity for each eye, and indicating the strongest associated eye model as the best representation of each eye; Features and how to.
【請求項11】 各々の眼内の可能な異常のインジケータとして指示された
眼のモデルの各々からの網膜反射および角膜反射を測定するステップをさらに含
むことを特徴とする請求項10に記載の方法。
11. The method of claim 10, further comprising measuring retinal and corneal reflexes from each of the eye models indicated as indicators of possible abnormalities in each eye. .
【請求項12】 このような測定に基づいて、各々の眼についての可能な診
断を出力するステップをさらに含むことを特徴とする請求項11に記載の方法。
12. The method of claim 11, further comprising outputting a possible diagnosis for each eye based on such measurements.
【請求項13】 患者の眼を配置およびモデル化するためのコンピュータ実
現方法であって、 (a)患者の眼を近軸フラッシュで照明するステップと、 (b)各々の眼を有するデジタル化した画像を生成するステップと、 (c)デジタル画像内の、各々の眼の可能な角膜反射としての明るい点を探して
示すステップと、 (d)各々の眼について、可能な瞳孔と強膜の境界線としてのこのような明るい
点周囲で、各々1セットの傾斜点を有する赤-黒、黒-白の傾斜を探し、示すステ ップと、 (e)各々の眼について可能なモデルとしてのこのような傾斜点の部分集合に、
複数の円をあてはめるステップとを有し、各々の眼のモデルが関連した強度を有
し、 (f)各々の眼について、強度によって前記眼のモデルを分類し、最強の関連す
る眼のモデルを各々の眼の最良のものとして示すステップと、 を有することを特徴とする方法。
13. A computer-implemented method for positioning and modeling a patient's eye, comprising: (a) illuminating the patient's eye with a paraxial flash; and (b) digitizing having each eye. Generating an image; (c) searching for and indicating a bright spot in the digital image as a possible corneal reflection of each eye; and (d) for each eye, a possible pupil-sclera boundary. Around such a bright point as a line, look for red-black, black-white slopes, each having a set of slope points, and indicate: (e) this as a possible model for each eye For a subset of such slope points,
Fitting a plurality of circles, wherein each eye model has an associated intensity; and (f) for each eye, classifying the eye model by intensity and identifying a strongest associated eye model. Indicating the best of each eye.
【請求項14】 各々の眼内の可能な異常のインジケータとして、示された
各々の眼のモデルから網膜反射と角膜反射を測定するステップをさらに含むこと
を特徴とする請求項13に記載の方法。
14. The method of claim 13, further comprising measuring retinal and corneal reflexes from each of the indicated eye models as indicators of possible abnormalities in each eye. .
【請求項15】 このような測定に基づいて、各々の眼について可能な診断
を出力するステップをさらに含むことを特徴とする請求項14に記載の方法。
15. The method of claim 14, further comprising outputting a possible diagnosis for each eye based on such measurements.
【請求項16】患者の眼を配置およびモデル化するためのコンピュータ実現
方法であって、 (a )明るく鮮明な光反射で画像を生成するカメラのレンズの中心線の近くに位
置するフラッシュを有するカメラで患者の眼の各々のデジタル画像を生成するス
テップと、 (b )各々の眼の可能な角膜反射としての明るい点を探して示すステップと、 (c )各々の眼について、可能な瞳孔と強膜の境界としてのこのような明るい点
周囲で、各々1 セットの傾斜点を有する赤- 黒、黒- 白の傾斜を探し、示すステ
ップと、 (d )各々の眼について可能なモデルとしてのこのような傾斜点の部分集合に、
複数の円をあてはめるステップとを有し、各々の眼のモデルが関連した強度を有
し、 (e )各々の眼について、強度によって前記眼のモデルを分類し、最強の関連す
る眼のモデルを各々の眼の最良のものとして示すステップと、 を有することを特徴とする方法。
16. A computer-implemented method for positioning and modeling a patient's eye, comprising: (a) having a flash positioned near a centerline of a camera lens that produces an image with bright, clear light reflections. Generating a digital image of each of the patient's eyes with a camera; (b) searching for and indicating a bright spot as a possible corneal reflection of each eye; and (c) for each eye a possible pupil and Around such a bright point as the boundary of the sclera, looking for and indicating red-black, black-white slopes each having a set of slope points, and (d) as a possible model for each eye For a subset of these slope points,
Fitting a plurality of circles, wherein each eye model has an associated intensity; and (e) for each eye, classifying said eye model by intensity and identifying the strongest associated eye model. Indicating the best of each eye.
【請求項17】 各々の眼内の可能な異常のインジケータとしての、示され
た各々の眼のモデルからの網膜反射と角膜反射を測定するステップをさらに含む
ことを特徴とする請求項16に記載の方法。
17. The method of claim 16, further comprising measuring retinal and corneal reflexes from each of the indicated eye models as indicators of possible abnormalities in each eye. the method of.
【請求項18】 このような測定に基づいて、各々の眼について可能な診断
を出力するステップをさらに含むことを特徴とする請求項17に記載の方法。
18. The method of claim 17, further comprising outputting a possible diagnosis for each eye based on such measurements.
【請求項19】 可能な角膜反射として、前記デジタル画像内の明るい点を
探して、表示する前記ステップにおいて、 (a)各々のデジタル画像の明るい画素を、連続した4つの範囲に空間的に分類 するステップと、 (b)このような連続した4つの領域を、可能な角膜反射として選択した大きさ の範囲内の領域で識別するステップと、 を有することを特徴とする請求項13または16に記載の方法。
19. The step of finding and displaying bright spots in the digital image as possible corneal reflections, comprising: (a) spatially classifying bright pixels of each digital image into four consecutive ranges. And (b) identifying such four consecutive regions as regions within a size selected as possible corneal reflections. The described method.
【請求項20】 赤-黒、黒-白の傾斜を探して表示する前記ステップが、 (a)各々の可能な角膜反射について中心を決定するステップと、 (b)図心からの1セットのコンパス方向に沿って、デジタル画像の画素と共に 各々の中心として1セットの光線を画定するステップと、 (c)傾斜フィルタを各光線のセグメントにあてはめるステップと、 (d)このような各々のセグメントについて、最高の赤-黒傾斜を有する画素と 、最高の黒-白傾斜を有する画素とを決定するステップとを有し、 全てのセグメントからの前記最高の赤-黒傾斜を有する前記一組の画素が、可 能な瞳孔境界を有し、 可能な強膜境界を有する全てのセグメントからの前記最高の黒-白傾斜を有す る前記一組の画素を有することを特徴とする請求項19に記載の方法。20. The method of claiming and displaying red-black, black-white slopes comprises: (a) determining a center for each possible corneal reflection; and (b) a set of compasses from centroids. Along the direction, together with the pixels of the digital image, define a set of rays as each center; (c) applying a gradient filter to each ray segment; (d) for each such segment: Determining the pixel with the highest red-black slope and the pixel with the highest black-white slope, wherein the set of pixels with the highest red-black slope from all segments is 20. The set of pixels having the highest black-white slope from all segments having a possible pupil boundary and having a possible scleral boundary. the method of. 【請求項21】 可能な眼のモデルとしてのこのような傾斜点の部分集合に
、複数の円をあてはめる前記ステップが、 (a)各々の可能な角膜反射について、下位円弧の形式の少なくとも1つの円方 程式を、可能な瞳孔境界と可能な強膜境界を有する傾斜点に 適合する最小2乗 法を適用するステップと、 (b)少なくとも1つの円形方程式の各々の適合させるための円強度値を計算す るステップと、 を有することを特徴とする請求項20に記載の方法。
21. Fitting a plurality of circles to such a subset of tilt points as possible eye models, comprising: (a) for each possible corneal reflection, at least one of the sub-arc forms Applying a least squares method to fit the circular equation to a slope point having a possible pupil boundary and a possible scleral boundary; and (b) a circle intensity value for fitting each of at least one circular equation. 21. The method of claim 20, comprising: calculating.
【請求項22】 前記眼のモデルを強度によって分類する前記ステップであ
って、 (a)各々の眼について、円強度を標準化および記憶するステップと、 (b)前記関連する眼について、最良の円強度スコアを有する円方程式を選択す
るステップと、 を有することを特徴とする請求項21に記載の方法。
22. The step of classifying the eye model by intensity, comprising: (a) normalizing and storing circle intensity for each eye; and (b) best circle for the associated eye. 22. The method of claim 21, comprising: selecting a circular equation having an intensity score.
【請求項23】 各々の眼内の可能な異常のインジケータとして各々示した
眼のモデルからの網膜反射と角膜反射を測定する前記ステップが、両眼に網膜反
射が等しく均等に現れた場合に、決定し表示するステップを有することを特徴と
する請求項11または14に記載の方法。
23. The step of measuring retinal and corneal reflexes from an eye model, each indicated as an indicator of a possible abnormality in each eye, wherein the retinal reflexes appear equally and equally in both eyes. 15. The method according to claim 11 or 14, comprising the step of determining and displaying.
【請求項24】 表示した各々の眼のモデルからの網膜反射と角膜反射を、
各々の眼内の可能な異常インジケータとして測定する前記ステップが、1つのみ の角膜反射が中心を逸れている場合、決定し表示するステップを有することを特
徴とする請求項11または14に記載の方法。
24. Retinal and corneal reflexes from each of the displayed eye models,
15. The method of claim 11 or claim 14, wherein measuring as a possible anomaly indicator in each eye comprises determining and displaying if only one corneal reflex is off-center. Method.
【請求項25】 各々の表示した眼のモデルからの網膜反射と角膜反射を、
各々の眼内の可能な異常のインジケータとして測定する前記ステップが、眼の中
に三日月形反射が存在する場合、決定および表示ステップを有することを特徴と
する請求項11または14に記載の方法。
25. The retinal and corneal reflexes from each displayed eye model,
15. The method of claim 11 or 14, wherein measuring as an indicator of a possible abnormality in each eye comprises determining and displaying if a crescent reflex is present in the eye.
【請求項26】 各々の表示した眼のモデルからの網膜反射と角膜反射を、
各々の眼内の可能な異常のインジケータとして測定する前記ステップが、眼の中
に瞳孔異常領域が、関連する眼のモデルによって表示された複数の境界から離れ
て存在する場合、決定および表示ステップを有することを特徴とする請求項11
または14に記載の方法。
26. The retinal and corneal reflexes from each of the displayed eye models,
Measuring as an indicator of a possible abnormality in each eye, the determining and displaying steps if the pupil abnormal region in the eye is located away from a plurality of boundaries displayed by the associated eye model. 12. The method according to claim 11, wherein
Or the method of 14.
【請求項27】 患者の眼を配置し、患者の眼のモデル化と、患者の視覚的
組織内に異常の存在の決定を可能にするシステムであって、 (a)明るく鮮明な光反射で各患者の眼のデジタル画像を生成するために、 カ
メラのレンズの光軸付近に配置されたフラッシュを有するカメラと、 (b)デジタル画像内で各々の眼の位置を示す光反射を自動的に探すためにプロ
グラムしたコンピュータと、 を有することを特徴とするシステム。
27. A system for placing a patient's eye, modeling the patient's eye, and determining the presence of an anomaly in the patient's visual tissue, comprising: (a) a bright, clear light reflection; A camera having a flash positioned near the optical axis of the camera lens to generate a digital image of each patient's eye; and (b) automatically generating light reflections indicating the position of each eye in the digital image. A computer programmed to search.
【請求項28】 可能な瞳孔と強膜の境界を決定するために、前記コンピュ
ータが、このような光反射を分析するべくさらにプログラムされていることを特
徴とする請求項27に記載のシステム。
28. The system of claim 27, wherein the computer is further programmed to analyze such light reflections to determine possible pupil-sclera boundaries.
【請求項29】 前記コンピュータが、このような可能な瞳孔と強膜の境界
線に、関連するモデルを適合するべくさらにプログラムされていることを特徴と
する請求項28に記載のシステム。
29. The system of claim 28, wherein the computer is further programmed to fit an associated model to such possible pupil-sclera boundaries.
【請求項30】 眼の中の可能な異常を決定するために、前記コンピュータ
が、各々の眼のモデルを分析するべくさらにプログラムされていることを特徴と
する請求項29に記載のシステム。
30. The system of claim 29, wherein the computer is further programmed to analyze each eye model to determine possible abnormalities in the eye.
【請求項31】 このような分析に基づいて、前記コンピュータが目の中の
可能な診断を出力するべくさらにプログラムされていることを特徴とする請求項
30に記載のシステム。
31. The system of claim 30, wherein the computer is further programmed to output a possible diagnosis in the eye based on such analysis.
【請求項32】 各々の患者の眼のデジタル画像を生成するためのカメラ
であって、 (a)光レンズを備えた偏心デジタルカメラと、 (b)カメラの使用中に、レンズの光軸の付近に配置されたフラッシュとを有す
るため、カメラによって生成されたデジタル画像が眼からの明るく鮮明な光反射
を有し、 このような明るく、鮮明な光反射が、眼を配置およびモデル化するためのコンピ
ュータシステムによって分析されることが可能である、 ことを特徴とするカメラ。
32. A camera for generating a digital image of each patient's eye, comprising: (a) an eccentric digital camera with an optical lens; and (b) an optical axis of the lens during use of the camera. The digital image generated by the camera has a bright, clear light reflection from the eye, with a flash positioned nearby, and such a bright, clear light reflection is used to position and model the eye. Camera capable of being analyzed by the computer system of claim 1.
JP2000520683A 1997-11-14 1998-11-13 Automatic light reflection screening Pending JP2001522679A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US6553797P 1997-11-14 1997-11-14
US60/065,537 1997-11-14
US09/173,571 1998-10-15
US09/173,571 US6089715A (en) 1998-10-15 1998-10-15 Automated photorefractive screening
PCT/US1998/024275 WO1999025239A1 (en) 1997-11-14 1998-11-13 Automated photorefractive screening

Publications (1)

Publication Number Publication Date
JP2001522679A true JP2001522679A (en) 2001-11-20

Family

ID=26745703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000520683A Pending JP2001522679A (en) 1997-11-14 1998-11-13 Automatic light reflection screening

Country Status (5)

Country Link
EP (1) EP1052928A1 (en)
JP (1) JP2001522679A (en)
KR (1) KR20010032112A (en)
AU (1) AU1524099A (en)
WO (1) WO1999025239A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005167A (en) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd Eye position specification method and device
JP2004358111A (en) * 2003-06-09 2004-12-24 Konan Medical Inc Photo-refractor
CN104114079A (en) * 2011-10-24 2014-10-22 Iriss医疗科技有限公司 System and method for identifying eye conditions
JP2017138977A (en) * 2016-01-27 2017-08-10 ジョンソン・アンド・ジョンソン・ビジョン・ケア・インコーポレイテッドJohnson & Johnson Vision Care, Inc. Ametropia treatment tracking method and system
JP2018508254A (en) * 2015-01-20 2018-03-29 グリーン シー.テック リミテッド Method and system for automatic vision diagnosis

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003073923A1 (en) 2002-03-05 2003-09-12 Chul Myung Choe Quantitative analysis apparatus for phenomena of glare and the method for the same
US8644565B2 (en) 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
CN111832344B (en) * 2019-04-17 2023-10-24 深圳熙卓科技有限公司 Dynamic pupil detection method and device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541688B2 (en) * 1990-05-21 1996-10-09 日産自動車株式会社 Eye position detection device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005167A (en) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd Eye position specification method and device
JP2004358111A (en) * 2003-06-09 2004-12-24 Konan Medical Inc Photo-refractor
CN104114079A (en) * 2011-10-24 2014-10-22 Iriss医疗科技有限公司 System and method for identifying eye conditions
JP2014530730A (en) * 2011-10-24 2014-11-20 アイリス・メディカル・テクノロジーズ・リミテッド System and method for identifying eye symptoms
JP2018508254A (en) * 2015-01-20 2018-03-29 グリーン シー.テック リミテッド Method and system for automatic vision diagnosis
US10610093B2 (en) 2015-01-20 2020-04-07 Green C.Tech Ltd. Method and system for automatic eyesight diagnosis
JP2017138977A (en) * 2016-01-27 2017-08-10 ジョンソン・アンド・ジョンソン・ビジョン・ケア・インコーポレイテッドJohnson & Johnson Vision Care, Inc. Ametropia treatment tracking method and system

Also Published As

Publication number Publication date
WO1999025239A1 (en) 1999-05-27
AU1524099A (en) 1999-06-07
KR20010032112A (en) 2001-04-16
EP1052928A1 (en) 2000-11-22

Similar Documents

Publication Publication Date Title
US6089715A (en) Automated photorefractive screening
Corbett et al. Corneal topography
US9402538B2 (en) Photorefraction ocular screening device and methods
US9380938B2 (en) System and methods for documenting and recording of the pupillary red reflex test and corneal light reflex screening of the eye in infants and young children
AU2021202217B2 (en) Methods and systems for ocular imaging, diagnosis and prognosis
Tsai et al. Oxford American handbook of ophthalmology
US6616277B1 (en) Sequential eye screening method and apparatus
Sousa de Almeida et al. Computer-aided methodology for syndromic strabismus diagnosis
Zeimer et al. A fundus camera dedicated to the screening of diabetic retinopathy in the primary-care physician’s office
Demir et al. Comparison of normal and keratoconic corneas by Galilei Dual-Scheimpflug Analyzer
Bowd et al. Evaluating the optic disc and retinal nerve fiber layer in glaucoma I: clinical examination and photographic methods
Gairola et al. SmartKC: smartphone-based corneal topographer for keratoconus detection
JP2001522679A (en) Automatic light reflection screening
Consejo et al. Detection of subclinical keratoconus with a validated alternative method to corneal densitometry
Peli Electro-optic fundus imaging
Zangwill et al. New technologies for diagnosing and monitoring glaucomatous optic neuropathy
Klyce et al. Corneal topography
Williams et al. Disc analysis
Valencia Automatic detection of diabetic related retina disease in fundus color images
Al-Sharify et al. Corneal topography, an overview of its devices and systems–A review
Charlier et al. Real time pattern recognition and feature analysis from video signals applied to eye movement and pupillary reflex monitoring
Hasan et al. Automatic diagnosis of astigmatism for Pentacam sagittal maps
Semerád Theoretical and Experimental Determination of the Amount of Information in Human Ocular Biometric Characteristics
Lowell Automated retinal analysis
Mattera Location of the optic disc in scanning laser ophthalmoscope images and validation