JP2011206519A - Ophthalmologic apparatus and control method for the same - Google Patents

Ophthalmologic apparatus and control method for the same Download PDF

Info

Publication number
JP2011206519A
JP2011206519A JP2010243537A JP2010243537A JP2011206519A JP 2011206519 A JP2011206519 A JP 2011206519A JP 2010243537 A JP2010243537 A JP 2010243537A JP 2010243537 A JP2010243537 A JP 2010243537A JP 2011206519 A JP2011206519 A JP 2011206519A
Authority
JP
Japan
Prior art keywords
image
fundus
eye
feature point
fundus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010243537A
Other languages
Japanese (ja)
Other versions
JP5858603B2 (en
JP2011206519A5 (en
Inventor
Tomoyuki Makihira
朋之 牧平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010243537A priority Critical patent/JP5858603B2/en
Priority to CN201180013700.9A priority patent/CN103096785B/en
Priority to US13/581,675 priority patent/US8998412B2/en
Priority to PCT/JP2011/055872 priority patent/WO2011111851A1/en
Publication of JP2011206519A publication Critical patent/JP2011206519A/en
Publication of JP2011206519A5 publication Critical patent/JP2011206519A5/ja
Priority to US14/628,420 priority patent/US9468374B2/en
Application granted granted Critical
Publication of JP5858603B2 publication Critical patent/JP5858603B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve problems that a conventional method in which an amount of movement of an eye ball between acquired images is calculated by extracting characteristic images of a fundus and comparing the images is excellent in precision, reproducibility and stability, but requires time for image processing.SOLUTION: A tracking apparatus is used which includes: a fundus imaging apparatus for acquiring a fundus image; and a measurement unit that extracts a characteristic image of the fundus image from a first fundus image captured by the fundus imaging apparatus, detects the characteristic image from a second fundus image that is different from the fundus image, and measures a position change in the fundus images from coordinates of the extracted characteristic image and the detected characteristic image in the respective fundus images, wherein a region in which the characteristic image is detected from the second fundus image is determined so that a region searched for the characteristic image from the first image may include the extracted characteristic image and be broader than a range of movement of the characteristic image resulting from movements of the eye ball within measurement time.

Description

本発明は、眼科装置及びその制御方法に関するもので、特に眼球の移動量を求める眼科装置及びその制御方法に関するものである。   The present invention relates to an ophthalmologic apparatus and a control method thereof, and more particularly, to an ophthalmologic apparatus for obtaining a movement amount of an eyeball and a control method thereof.

近年、眼球運動を計測する装置が注目されている。眼球運動の計測が可能になれば、視野検査や、より高精細な画像を取得する眼底断層撮像装置等に応用し、より精度の高い眼底検査が可能になる。   In recent years, an apparatus for measuring eye movement has attracted attention. If the eye movement can be measured, it can be applied to a visual field inspection, a fundus tomographic imaging apparatus that acquires a higher-definition image, etc., and a fundus inspection with higher accuracy can be performed.

眼球運動を計測する方法としては角膜反射法（プルキニエ像）、サーチコイル法等、様々な技術が公知である。なかでも、簡易的で被験者に負担が少ない方法として、眼底画像から眼球運動を計測する方法が検討されている。   Various techniques such as a corneal reflection method (Purkinje image) and a search coil method are known as methods for measuring eye movement. In particular, a method for measuring eye movement from a fundus image has been studied as a simple method with less burden on the subject.

眼底画像から精度良く眼球運動を計測するには、眼底画像から特徴点を抽出し、対象となる画像において特徴点を探索・検出した後、特徴点の移動量を算出する必要がある。これらのうち、特徴点の抽出工程は眼球運動の計測安定性・精度・再現性という点で重要である。眼底画像の特徴点としては、黄斑や視神経乳頭（以下、乳頭とする）などが用いられる。また、患眼等では黄斑や乳頭が不完全な場合が少なくないため、眼底画像の特徴点として、血管が用いられることもある。血管の特徴点の抽出方法としては様々な方法が知られている。例えば特許文献１には、眼底画像に設定したフィルターの外周部上における画素値の平均値から、血管の本数及び、フィルター中心部における血管の存在の有無を判定し、フィルター領域内における血管交叉部の存在判定を行う方法が開示されている。   In order to accurately measure eye movements from the fundus image, it is necessary to extract feature points from the fundus image, search for and detect feature points in the target image, and then calculate the movement amount of the feature points. Among these, the feature point extraction process is important in terms of measurement stability, accuracy, and reproducibility of eye movements. As the feature point of the fundus image, the macula, the optic disc (hereinafter referred to as the nipple), or the like is used. In addition, since there are many cases in which the macula and the nipple are incomplete in the affected eye, blood vessels may be used as feature points of the fundus image. Various methods are known as methods for extracting feature points of blood vessels. For example, in Patent Document 1, the number of blood vessels and the presence / absence of blood vessels in the center of the filter are determined from the average value of the pixel values on the outer periphery of the filter set in the fundus image, and the blood vessel crossing portion in the filter region is determined. Is disclosed.

特開２００１−７０２４７JP 2001-70247 A

特許文献１の様な方法を用いて眼底の特徴点を抽出し、画像間の特徴点の位置関係を比較して取得画像間での眼球の移動量を算出することで、眼底画像から精度良く眼球の移動量を検出できる。しかし、これらの方法は精度・再現性・安定性に優れているが、画像処理に時間が必要であるという問題があった。   The feature points of the fundus are extracted using a method such as Patent Document 1, the positional relationship between the feature points between the images is compared, and the amount of movement of the eyeball between the acquired images is calculated. The amount of movement of the eyeball can be detected. However, although these methods are excellent in accuracy, reproducibility, and stability, there is a problem that time is required for image processing.

上述の課題を解決するため、本発明の第一の構成に係る被検眼の眼底画像から特徴点を抽出して前記被検眼の移動量を検出する眼科装置は、前記被検眼の複数の眼底画像を取得する取得手段と、前記取得された眼底画像のうち、第１の眼底画像から特徴点を抽出する抽出手段と、前記特徴点とマッチする位置を抽出するための抽出領域を、前記抽出した特徴点と前記眼底画像の取得時間とに基づき、前記取得された眼底画像のうち第２の眼底画像に設定する設定手段と、前記第２の眼底画像に設定した前記抽出領域から前記特徴点とマッチする画像を抽出するマッチング手段と、前記第１の眼底画像の特徴点の座標と前記第２の眼底画像から抽出した画像の座標とに基づき、前記被検眼の移動量を求める手段とを有することを特徴とする。   In order to solve the above-described problem, an ophthalmologic apparatus for extracting a feature point from a fundus image of the eye to be examined according to the first configuration of the present invention and detecting a movement amount of the eye to be examined includes a plurality of fundus images of the eye to be examined. An extraction means for extracting a feature point from the first fundus image, and an extraction region for extracting a position that matches the feature point from the acquired fundus image Based on the feature point and the acquisition time of the fundus image, setting means for setting the second fundus image among the acquired fundus images, and the feature point from the extraction region set in the second fundus image Matching means for extracting a matching image, and means for determining the movement amount of the eye to be examined based on the coordinates of the feature points of the first fundus image and the coordinates of the image extracted from the second fundus image It is characterized by that.

また、本発明の第二の構成に係る被検眼の眼底画像から特徴点を抽出して前記被検眼の移動量を検出する眼科装置の制御方法は、前記被検眼の複数の眼底画像を取得する工程と、前記取得された眼底画像のうち、第１の眼底画像から特徴点を抽出する工程と、前記特徴点とマッチする位置を抽出するための抽出領域を、前記抽出された特徴点と前記眼底画像の取得時間とに基づき、前記取得された眼底画像のうち第２の眼底画像に設定する工程と、前記第２の眼底画像に設定した前記抽出領域から前記特徴点とマッチする画像を抽出する工程と、前記第１の眼底画像の特徴点の座標と前記第２の眼底画像から抽出した画像の座標とに基づき、前記被検眼の移動量を求める工程とを有することを特徴とする。   Further, the control method of the ophthalmologic apparatus for extracting the feature point from the fundus image of the eye to be examined and detecting the movement amount of the eye to be examined according to the second configuration of the present invention acquires a plurality of fundus images of the eye to be examined. A step of extracting a feature point from a first fundus image out of the acquired fundus image, an extraction region for extracting a position that matches the feature point, and the extracted feature point and the Based on the acquisition time of the fundus image, a step of setting the second fundus image among the acquired fundus images, and extracting an image matching the feature point from the extraction region set in the second fundus image And a step of obtaining a movement amount of the eye to be examined based on the coordinates of the feature points of the first fundus image and the coordinates of the image extracted from the second fundus image.

本発明によれば、特徴点のマッチ領域を処理対象画像内で効率的に見つけることができ、テンプレートマッチングを高速化することが可能となる。   According to the present invention, a matching region of feature points can be efficiently found in a processing target image, and template matching can be speeded up.

本発明の実施例１における眼底カメラの光学系の構成を説明する概略図である。It is the schematic explaining the structure of the optical system of the retinal camera in Example 1 of this invention. 本発明の実施例１における装置の機能体系の概略図である。It is the schematic of the function system of the apparatus in Example 1 of this invention. 本発明の実施例１における制御フロー図である。It is a control flow figure in Example 1 of the present invention. 本発明の実施例１における制御フローの処理Ａに関するフロー図である。It is a flowchart regarding the process A of the control flow in Example 1 of this invention. 本発明の実施例１における制御フローの処理Ｂに関するフロー図である。It is a flowchart regarding the process B of the control flow in Example 1 of this invention. 本発明の実施例１における眼底画像を説明する概略図である。It is the schematic explaining the fundus image in Example 1 of the present invention. 本発明の実施例１におけるマッチング領域に関する概略図である。It is the schematic regarding the matching area | region in Example 1 of this invention. 本発明の眼球移動を説明する概略図である。It is the schematic explaining the eyeball movement of this invention. 本発明の眼球移動と時間に関するグラフの概略図である。It is the schematic of the graph regarding eyeball movement and time of this invention. 本発明の実施例１におけるテンプレートマッチングに関する概略図である。It is the schematic regarding the template matching in Example 1 of this invention. 本発明の実施例２におけるＯＣＴ装置とＳＬＯ装置の光学系の構成を説明する概略図である。It is the schematic explaining the structure of the optical system of the OCT apparatus and SLO apparatus in Example 2 of this invention. 本発明の実施例２における装置の機能体系の概略図である。It is the schematic of the function system of the apparatus in Example 2 of this invention. 本発明の実施例２における制御フロー図である。It is a control flow figure in Example 2 of the present invention. 本発明の実施例２における制御フローの処理Ｃに関するフロー図である。It is a flowchart regarding the process C of the control flow in Example 2 of this invention. 本発明の実施例２における制御フローの処理Ｄに関するフロー図である。It is a flowchart regarding the process D of the control flow in Example 2 of this invention. 本発明の実施例２におけるＳＬＯ眼底画像を説明する概略図である。It is the schematic explaining the SLO fundus image in Example 2 of the present invention. 本発明の実施例２におけるマッチング領域に関する概略図である。It is the schematic regarding the matching area | region in Example 2 of this invention. 本発明の実施例２におけるテンプレートマッチングに関する概略図である。It is the schematic regarding the template matching in Example 2 of this invention. 本発明の実施例２における表示例を表す概略図である。It is the schematic showing the example of a display in Example 2 of this invention. 本発明の実施例３における制御フロー図である。It is a control flow figure in Example 3 of the present invention. 本発明の実施例３における制御フローの処理Ｅに関するフロー図である。It is a flowchart regarding the process E of the control flow in Example 3 of this invention. 本発明の実施例３における制御フローの処理Ｆに関するフロー図である。It is a flowchart regarding the process F of the control flow in Example 3 of the present invention. 本発明の実施例３におけるＳＬＯ眼底画像を説明する概略図である。It is the schematic explaining the SLO fundus image in Example 3 of the present invention.

本発明を実施するための形態について、以下の実施例において図面を用いて詳細に説明する。 EMBODIMENT OF THE INVENTION The form for implementing this invention is demonstrated in detail using drawing in the following Examples.

なお、以下の実施例では本発明を単一の装置に応用した例を記載するが、本発明の対象は下記の構成に限定されることはなく、また、下記の構成を備える単一の装置に限定されることはない。本発明は、下記の機能を実現するための方法の使用及び、これらの機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理によっても実現される。   In the following embodiments, an example in which the present invention is applied to a single device will be described. However, the object of the present invention is not limited to the following configuration, and a single device having the following configuration is used. It is not limited to. The present invention uses a method for realizing the following functions and supplies software (computer program) for realizing these functions to a system or apparatus via a network or various storage media. It is also realized by a process in which a computer (or CPU, MPU, etc.) reads and executes a program.

［実施例１］
以下、本発明の実施例１について説明する。
本実施例では、上記説明した課題を解決するために、内部固視灯を有する眼底画像取得装置において、眼底画像の特徴点を抽出した後、対象とする画像内で抽出した特徴点を探索する領域を適正化することで、処理速度を向上させる例について述べる。 [Example 1]
Embodiment 1 of the present invention will be described below.
In this embodiment, in order to solve the above-described problem, in the fundus image acquisition apparatus having the internal fixation lamp, after extracting the feature points of the fundus image, the feature points extracted in the target image are searched. An example in which the processing speed is improved by optimizing the area will be described.

（眼底撮像装置）
本実施例で眼底撮像に用いる眼底カメラに関して説明する。図１に眼底カメラの概略図を示す。眼底カメラ本体部１には、信号取得部としてビデオレートで撮像可能なデジタル一眼レフカメラ５０が接続部４０を介し接続されている。被検眼Ｅと対向する対物レンズ１１の光路上には、孔あきミラー１２が設けられている。孔あきミラー１２の入射方向の光路上には、リレーレンズ１３、黒点板１４、リレーレンズ１５、リングスリット板１６、蛍光エキサイタフィルタ１７、ミラー１８が配列されている。さらに、ミラー１８の入射方向には、コンデンサレンズ１９、キセノン管から成る撮影用光源２０、コンデンサレンズ２１、赤外発光ダイオードから成る観察用光源２２が配置されている。なお、図上における光路は点線で示している。 (Fundus imaging device)
A fundus camera used for fundus imaging in this embodiment will be described. FIG. 1 shows a schematic diagram of a fundus camera. A digital single lens reflex camera 50 capable of imaging at a video rate as a signal acquisition unit is connected to the fundus camera main body unit 1 via a connection unit 40. On the optical path of the objective lens 11 facing the eye E, a perforated mirror 12 is provided. A relay lens 13, a black spot plate 14, a relay lens 15, a ring slit plate 16, a fluorescent exciter filter 17, and a mirror 18 are arranged on the optical path in the incident direction of the perforated mirror 12. Further, in the incident direction of the mirror 18, a condenser lens 19, a photographing light source 20 made of a xenon tube, a condenser lens 21, and an observation light source 22 made of an infrared light emitting diode are arranged. In the figure, the optical path is indicated by a dotted line.

孔あきミラー１２の背後には、フォーカスレンズ２４、蛍光バリアフィルタ２５、結像レンズ２６が配列され、そして、デジタル一眼レフカメラ５０が接続されている。デジタル一眼レフカメラ５０内には、対物レンズ１１の背後の光路と同一光路上に、クイックリターンミラー５１、フォーカルプレーンシャッタ（図示せず）、二次元センサ５３が配置されている。また、クイックリターンミラー５１の反射方向には、ペンタプリズム５４、接眼レンズ５５が設けられている。二次元センサ５３で受光した信号は信号処理基盤５２で処理され、ケーブルを介し、ＨＤＤ５８を有するＰＣ５６へ転送され、ディスプレイ５７に表示される。眼底カメラ本体部１には、内部固視灯ユニット６０が設けられ、内部固視灯の光源６１から出射された光はレンズ６２を介し、ダイクロイックミラー６３により反射され被検眼に照射される。なお、眼底カメラ本体部１には、不図示の制御部が設けられ、ＰＣ５６と通信を行いつつ眼底カメラ全体を制御する。   Behind the perforated mirror 12, a focus lens 24, a fluorescent barrier filter 25, and an imaging lens 26 are arranged, and a digital single lens reflex camera 50 is connected. In the digital single-lens reflex camera 50, a quick return mirror 51, a focal plane shutter (not shown), and a two-dimensional sensor 53 are arranged on the same optical path as the optical path behind the objective lens 11. A pentaprism 54 and an eyepiece 55 are provided in the reflection direction of the quick return mirror 51. The signal received by the two-dimensional sensor 53 is processed by the signal processing board 52, transferred to the PC 56 having the HDD 58 via the cable, and displayed on the display 57. The fundus camera main body 1 is provided with an internal fixation lamp unit 60, and light emitted from the light source 61 of the internal fixation lamp is reflected by a dichroic mirror 63 through a lens 62 and applied to an eye to be examined. The fundus camera main body 1 is provided with a control unit (not shown) and controls the entire fundus camera while communicating with the PC 56.

（制御方法）
図２に本実施例で用いられる機能体系を示す。その機能体系は、システム全体を制御するＣＰＵ２０３、眼底カメラを制御する制御部２０５、眼底画像を取得する眼底カメラ２０１、システム状態を表示する表示部２０２、眼底画像や撮像条件等を記録するＨＤＤ（記録部）２０４、により構成されている。眼底の観察時及び撮影時には、ＣＰＵ２０３より制御部２０５に撮像条件が指令され、眼底が撮像される。眼底が撮像された後、眼底カメラ２０１からＣＰＵ２０３に画像が送られ、画像処理等がなされた後、表示部２０２で表示され、同時又はその後、記録部２０４に保存される。 (Control method)
FIG. 2 shows a functional system used in this embodiment. The functional system includes a CPU 203 that controls the entire system, a control unit 205 that controls a fundus camera, a fundus camera 201 that acquires a fundus image, a display unit 202 that displays a system state, and an HDD that records a fundus image, imaging conditions, and the like. Recording section) 204. At the time of observing and photographing the fundus, the CPU 203 instructs the control unit 205 to capture image conditions, and the fundus is imaged. After the fundus is imaged, an image is sent from the fundus camera 201 to the CPU 203, subjected to image processing and the like, displayed on the display unit 202, and stored in the recording unit 204 simultaneously or thereafter.

上述の機能を用い、一定時間の眼球運動を計測する全体のフローを図３に示す。眼底カメラ１（本実施例において取得手段に相当する）を用い、眼底画像を取得する（ステップ３０２）。眼底画像を取得した後、ＰＣ５６（抽出手段に相当する）により、特徴点（以下、テンプレート画像と記す）を抽出する（ステップ３０３）。テンプレート画像と、テンプレート画像の基準座標であるテンプレート座標を記録部２０４に保存する（ステップ３０４）。眼底カメラは一定時間連続撮像しているため、次の新規の眼底画像が取得（ステップ３０５）される。処理Ａ（ステップ３０６）において、ＰＣ５６（本実施例においてマッチング手段に相当する）において、取得された画像からテンプレート画像を探索（以下テンプレートマッチングと記す）し、処理Ｂ（ステップ３０７）により一定時間の眼球運動量が算出される。眼球運動量、画像、計測時間、前眼部のリアルタイムモニタ画像等が表示される（ステップ３０８）。ステップ３０５からステップ３０８の処理を眼球運動の計測を終了するまで繰り返す。   FIG. 3 shows an overall flow of measuring eye movements for a predetermined time using the above-described function. A fundus image is acquired using the fundus camera 1 (corresponding to an acquisition unit in this embodiment) (step 302). After acquiring the fundus image, feature points (hereinafter referred to as template images) are extracted by the PC 56 (corresponding to the extracting means) (step 303). The template image and the template coordinates that are the reference coordinates of the template image are stored in the recording unit 204 (step 304). Since the fundus camera continuously captures images for a certain period of time, the next new fundus image is acquired (step 305). In the process A (step 306), the PC 56 (corresponding to the matching means in this embodiment) searches for a template image from the acquired image (hereinafter referred to as template matching), and the process B (step 307) performs a predetermined time. An eye movement amount is calculated. The amount of eye movement, image, measurement time, real-time monitor image of the anterior segment, etc. are displayed (step 308). The processing from step 305 to step 308 is repeated until the measurement of eye movement is completed.

部分的なフローである処理Ａ（ステップ３０６）におけるテンプレートマッチングついての詳細フローを、図４を用い説明する。ここでは記録部２０４に保存されたテンプレート画像を読み出し（ステップ４０２）、新規取得眼底画像内でテンプレートマッチングを実施する領域を設定し（ステップ４０３）、新規取得眼底画像内でテンプレートマッチングを行う（ステップ４０４）。テンプレートマッチング終了後、マッチングした画像の基準座標、つまりマッチング座標を記録部２０４に保存する（ステップ４０５）。なお、本実施例において、基準座標をマッチングした画像の中心座標とするが、左上角の座標等の基準となる座標であればいずれでもよい。   A detailed flow of template matching in process A (step 306), which is a partial flow, will be described with reference to FIG. Here, the template image stored in the recording unit 204 is read (step 402), an area for performing template matching is set in the newly acquired fundus image (step 403), and template matching is performed in the newly acquired fundus image (step 403). 404). After the template matching is completed, the reference coordinates of the matched image, that is, the matching coordinates are stored in the recording unit 204 (step 405). In the present embodiment, the reference coordinates are used as the center coordinates of the matched image, but any reference coordinates such as the coordinates of the upper left corner may be used.

次に、処理Ｂについて、図５を用い説明する。処理Ｂにおいては、まず、記録部２０４からテンプレート座標とマッチング座標を読み出し（ステップ５０２）、座標差を算出し（ステップ５０３）、座標差から移動距離を算出する（ステップ５０４）。   Next, processing B will be described with reference to FIG. In the process B, first, template coordinates and matching coordinates are read from the recording unit 204 (step 502), a coordinate difference is calculated (step 503), and a moving distance is calculated from the coordinate difference (step 504).

（追尾計測：具体例）
以上の処理に相当する各画像を図６に示す。上述の眼底カメラを用い、１０Ｈｚの周期で、直径１０ｍｍの眼底画像を取得する測定条件で２０秒間追尾計測する場合を例として示す。 (Tracking measurement: specific example)
Each image corresponding to the above processing is shown in FIG. An example in which tracking measurement is performed for 20 seconds under the measurement conditions for acquiring a fundus image having a diameter of 10 mm with a period of 10 Hz using the above-described fundus camera will be described.

図６（ａ）に取得された第１の眼底画像６０５を示す。図６（ａ）のように、乳頭から血管が端部に向かって複雑に伸びている。第１の眼底画像を取得した後、図６の（ｂ）の点線で示すようにテンプレート画像６０１を抽出する。ここでは５００μｍ×５００μｍの正方形の画像領域をテンプレート画像としたが、これに限定されることなく、テンプレート画像の形状やサイズは任意に決定することができる。抽出したテンプレート画像６０１とテンプレート座標Ｚ０を保存する。本実施例では、眼底画像６０５の中心座標を原点（０，０）とし、今回のテンプレート画像の中心座標はＺ０（０、−２００）である。座標単位はμｍである。ただし、座標の設定方法についてもこれに限定されることはない。次に、図６の（ｃ）のように、ＣＰＵ２０３（本実施例における設定手段に相当する）により、第１の眼底画像にて、新たな眼底画像からテンプレート画像６０１を検出する際に、テンプレート画像を探索する領域６０２、つまりテンプレートマッチング実施領域６０２（以下、マッチング領域と記す）を設定する。このとき、第１の画像におけるテンプレート画像のテンプレート座標を基準（中心）として測定時間内に固視微動等による眼球の移動や回旋によりテンプレート画像の領域が移動する範囲よりもマッチング領域が広くなるように、第２の画像におけるマッチング領域を設定する。次に、新たに取得されたマッチング対象である第２の眼底画像を示す図６（ｄ）において、抽出領域６０３（第１の抽出領域）を、第１の眼底画像におけるマッチング領域６０２と同じ座標位置に設ける。その後、抽出領域６０３内でテンプレート画像６０１と一致する領域を探索（テンプレートマッチング）する。このような構成とすることにより、テンプレートと一致する領域は抽出領域のみから探索すればよく、第２の眼底画像全体から探索する必要はないため、探索時間の短縮化が実現される。図６（ｅ）のように一致領域６０４を検出した後、テンプレート画像と一致する画像領域６０４の中心座標（マッチング座標）Ｚ１を計測する。この例では、マッチング座標Ｚ１は（０、−４００）である。図６（ｆ）のようにテンプレート座標Ｚ０とマッチング座標Ｚ１を用い、座標の変化を求め、眼球運動量（本実施例では０μｍ，−２００μｍ）を算出する。新規に取得される眼底画像に対して上述の図６（ｄ）〜（ｇ）のテンプレートマッチングを繰り返し、１０Ｈｚ周期で取得される新規の画像を各々マッチングし、計測中に眼球が基準位置からどの程度移動したか計測し、表示する。 FIG. 6A shows the first fundus image 605 acquired. As shown in FIG. 6A, the blood vessel extends in a complicated manner from the nipple toward the end. After obtaining the first fundus image, a template image 601 is extracted as indicated by the dotted line in FIG. Here, a square image area of 500 μm × 500 μm is used as the template image, but the shape and size of the template image can be arbitrarily determined without being limited thereto. Save template image 601 and the template coordinates Z 0 extracted. In this embodiment, the center coordinate of the fundus image 605 is the origin (0, 0), and the center coordinate of the current template image is Z 0 (0, −200). The coordinate unit is μm. However, the coordinate setting method is not limited to this. Next, as shown in FIG. 6C, when the CPU 203 (corresponding to the setting unit in this embodiment) detects the template image 601 from the new fundus image in the first fundus image, the template An area 602 for searching for an image, that is, a template matching execution area 602 (hereinafter referred to as a matching area) is set. At this time, the matching region becomes wider than the range in which the region of the template image moves due to movement or rotation of the eyeball by eye movement or the like within the measurement time with the template coordinates of the template image in the first image as a reference (center). First, a matching area in the second image is set. Next, in FIG. 6D showing the newly acquired second fundus image as the matching target, the extraction region 603 (first extraction region) has the same coordinates as the matching region 602 in the first fundus image. Provide in position. Thereafter, an area that matches the template image 601 in the extraction area 603 is searched (template matching). By adopting such a configuration, it is only necessary to search for a region that matches the template from only the extraction region, and it is not necessary to search from the entire second fundus image, so that the search time can be shortened. After detecting the matching region 604 as shown in FIG. 6 (e), the measured center coordinates (matching coordinates) Z 1 of the image region 604 that match a template image. In this example, the matching coordinates Z 1 is (0, -400). As shown in FIG. 6F, using the template coordinates Z 0 and the matching coordinates Z 1 , the change in coordinates is obtained, and the eyeball momentum (0 μm, −200 μm in this embodiment) is calculated. The template matching shown in FIGS. 6D to 6G is repeated with respect to the newly acquired fundus image, and each new image acquired with a period of 10 Hz is matched, and the eyeball moves from the reference position during measurement. Measure and display the degree of movement.

図６（ｃ）で行ったマッチング領域の設定方法の例を以下に示す。この例では、テンプレート画像の領域と、テンプレート画像の端部から外側に一定の幅（Ｒ１）を持つ範囲の領域と、を合わせた領域を、マッチング領域としている。図７に図６の眼底画像６０５の拡大図７０１を中央に示す。テンプレート画像７０２の拡大図を図７の上部に示す。下部にマッチング領域７０４の拡大図を示す。マッチング領域７０４は、眼底画像の大きさ、精度、そして、固視微動等の属性情報を考慮し算出する。本実施例では、テンプレート画像７０２の画像端部からテンプレート画像領域の外側にＲ１ｍｍ以内の範囲の領域及びテンプレート画像７０２からなる領域をマッチング領域７０４とする。ここで、Ｒ１には測定時間内の人眼の移動量よりも大きくなる値を用いる。図８に、内部固視灯を有する装置において、人眼の固視微動を計測した結果を示す。図８のように、固視灯を有する場合、固視微動による人眼の移動は固視点を中心にある一定距離以内に収まる傾向にある。このような傾向を含めて、図９に固視の開始からの時間と人眼の移動距離とについてモデル化された関数を示す。このグラフをもとに、測定時間内の人眼の移動量を求めることができる。このグラフは外部固視、内部固視、患眼若しくは健常者、年齢、又は１枚の眼底画像を撮像する時間等の撮像条件ごとあらかじめ用意されている公知のグラフを使用することができ、測定の方法や対象ごとに任意に選択することができる。本実施例では２０秒間の測定であり、この関数より、眼球の移動量は７００μｍと考えられるので、Ｒ１を７００μｍとする。そのため、マッチング領域７０４は１．９ｍｍ×１．９ｍｍとなる。
次に、テンプレートマッチングについて、図１０を用い詳しく説明する。新たに撮像された第２の眼底画像１００１内に上述で算出された抽出領域１００２を座標から設定し、抽出領域の拡大図１００２内からテンプレート画像を探索する。探索の結果、一致した画像領域１００４を検出し、その中心座標Ｚ1をマッチング座標として算出する。上述の結果をリアルタイム又は測定後にモニタに表示する。
以上のようにテンプレートマッチングの際に、マッチング領域及び抽出領域を設定することで、テンプレートマッチングを高速化できる。また、領域を制限することにより、誤った検出を防止することにもなる。 An example of the matching area setting method performed in FIG. In this example, a region obtained by combining the region of the template image and the region in the range having a certain width (R 1 ) outward from the end of the template image is used as the matching region. FIG. 7 shows an enlarged view 701 of the fundus image 605 of FIG. 6 at the center. An enlarged view of the template image 702 is shown in the upper part of FIG. An enlarged view of the matching region 704 is shown at the bottom. The matching area 704 is calculated in consideration of the size and accuracy of the fundus image and attribute information such as fixation micromotion. In the present embodiment, a region within a range of R 1 mm from the edge of the template image 702 to the outside of the template image region and a region made up of the template image 702 are set as the matching region 704. Here, a value that is larger than the movement amount of the human eye within the measurement time is used as R 1 . FIG. 8 shows the result of measuring human eye fixation fine movement in an apparatus having an internal fixation lamp. As shown in FIG. 8, in the case of having a fixation lamp, the movement of the human eye due to the slight movement of the fixation tends to be within a certain distance centered on the fixed viewpoint. Including such a tendency, FIG. 9 shows a modeled function of the time from the start of fixation and the movement distance of the human eye. Based on this graph, the movement amount of the human eye within the measurement time can be obtained. This graph can be a well-known graph prepared in advance for each imaging condition such as external fixation, internal fixation, affected eye or healthy subject, age, or time to image one fundus image. Can be arbitrarily selected for each method and target. In this embodiment, the measurement is performed for 20 seconds. From this function, the amount of movement of the eyeball is considered to be 700 μm, so R 1 is set to 700 μm. Therefore, the matching area 704 is 1.9 mm × 1.9 mm.
Next, template matching will be described in detail with reference to FIG. The extraction area 1002 calculated above is set from the coordinates in the newly imaged second fundus image 1001, and the template image is searched from the enlarged view 1002 of the extraction area. As a result of the search, a matching image region 1004 is detected, and its center coordinate Z 1 is calculated as a matching coordinate. The above results are displayed on the monitor in real time or after measurement.
As described above, the template matching can be speeded up by setting the matching region and the extraction region at the time of template matching. In addition, by limiting the area, erroneous detection can be prevented.

［実施例２］
以下、本発明の実施例２について説明する。
実施例２では、眼底撮像取得にＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を用い、ＳＬＯ眼底画像から実施例１と同様の方法により眼球運動の計測を行い、眼球運動の計測結果を光干渉断層撮像装置（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｔ Ｔｏｍｏｇｒａｐｈｙ）にリアルタイムにフィードバックすることで高精細な３ＤのＯＣＴ画像を取得する例について述べる。 [Example 2]
Embodiment 2 of the present invention will be described below.
In the second embodiment, SLO (Scanning Laser Ophthalmoscope) is used for acquiring fundus imaging, and eye movement is measured from the SLO fundus image by the same method as in the first embodiment. : An example of acquiring a high-definition 3D OCT image by feeding back in real time to (Optical Coherence Tomography).

（ＯＣＴ装置構成）
本実施例においては、眼科装置としてＯＣＴ装置を用いた。ＯＣＴ装置の装置概要に関して、図１１を用いて説明する。
低コヒーレント光源１１０１は、ＳＬＤ光源（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）や、ＡＳＥ光源（Ａｍｐｌｉｆｉｅｄ Ｓｐｏｎｔａｎｅｏｕｓ Ｅｍｉｓｓｉｏｎ）が好適に用いることができる。低コヒーレント光としては、８５０ｎｍ近傍及び１０５０ｎｍ近傍の波長が眼底撮影には好適に用いられる。本実施例では、中心波長８４０ｎｍ、波長半値幅４５ｎｍのＳＬＤ光源を用いる。低コヒーレント光源１１０１から照射される低コヒーレント光がファイバーを経由して、ファイバカプラ１１０２に入り、計測光（ＯＣＴビームとも言う）と参照光に分けられる。ここではファイバを用いた干渉計構成を記載しているが、空間光光学系でビームスプリッタを用いた構成としてもかまわない。 (OCT system configuration)
In this embodiment, an OCT apparatus is used as an ophthalmic apparatus. An outline of the OCT apparatus will be described with reference to FIG.
As the low-coherent light source 1101, an SLD light source (Super Luminescent Diode) or an ASE light source (Amplified Spontaneous Emission) can be suitably used. As low-coherent light, wavelengths near 850 nm and 1050 nm are preferably used for fundus photography. In this embodiment, an SLD light source having a center wavelength of 840 nm and a wavelength half width of 45 nm is used. The low coherent light emitted from the low coherent light source 1101 enters the fiber coupler 1102 via the fiber, and is divided into measurement light (also referred to as OCT beam) and reference light. Although an interferometer configuration using a fiber is described here, a configuration using a beam splitter in a spatial light optical system may be used.

計測光は、ファイバ１１０３を介して、ファイバコリメータ１１０４から平行光となって照射される。さらに計測光は、ＯＣＴスキャナ（Ｙ）１１０５、リレーレンズ１１０６、１１０７を経由し、さらにＯＣＴスキャナ（Ｘ）１１０８を通り、ダイクロイックビームスプリッタ１１０９を透過しスキャンレンズ１１１０、ダイクロイックミラー１１１１、そして、接眼レンズ１１１２を通り被検眼ｅに入射する。ここで、ＯＣＴスキャナ（Ｘ）１１０８及び（Ｙ）１１０５は、ガルバノスキャナを用いている。被検眼ｅに入射した計測光は、網膜で反射し、同一光路を通りファイバカプラ１１０２に戻る。参照光は、ファイバカプラ１１０２からファイバコリメータ１１１３に導かれ、平行光となり照射される。照射された参照光は、分散補正ガラス１１１４を通り、光路長可変ステージ１１１５上の参照ミラー１１１６により反射される。参照ミラー１１１６により反射された参照光は、同一の光路をたどり、ファイバカプラ１１０２に戻る。   The measurement light is irradiated as parallel light from the fiber collimator 1104 via the fiber 1103. Further, the measurement light passes through the OCT scanner (Y) 1105 and the relay lenses 1106 and 1107, further passes through the OCT scanner (X) 1108, passes through the dichroic beam splitter 1109, and scan lens 1110, dichroic mirror 1111, and eyepiece lens. The light passes through 1112 and enters the eye e. Here, the OCT scanners (X) 1108 and (Y) 1105 use galvano scanners. The measurement light incident on the eye e is reflected by the retina and returns to the fiber coupler 1102 through the same optical path. The reference light is guided from the fiber coupler 1102 to the fiber collimator 1113 and irradiated as parallel light. The irradiated reference light passes through the dispersion correction glass 1114 and is reflected by the reference mirror 1116 on the optical path length variable stage 1115. The reference light reflected by the reference mirror 1116 follows the same optical path and returns to the fiber coupler 1102.

ファイバカプラ１１０２で戻ってきた計測光及び参照光が合波され、ファイバコリメータ１１１７に導かれる。ここでは合波された光を干渉光と呼ぶ。ファイバコリメータ１１１７、グレーティング１１１８、レンズ１１１９、ラインセンサ１１２０によって、分光器が構成されている。干渉光は、分光器によって、波長毎の強度情報となって計測される。ラインセンサ１１２０によって計測された波長毎の強度情報は、不図示のＰＣに転送され、被検眼ｅの断層画像として生成される。   The measurement light and reference light returned by the fiber coupler 1102 are combined and guided to the fiber collimator 1117. Here, the combined light is called interference light. The fiber collimator 1117, the grating 1118, the lens 1119, and the line sensor 1120 constitute a spectrometer. The interference light is measured by the spectrometer as intensity information for each wavelength. The intensity information for each wavelength measured by the line sensor 1120 is transferred to a PC (not shown) and is generated as a tomographic image of the eye e.

（ＳＬＯ構成）
次に、眼底画像を取得するＳＬＯ撮影部の光学構成に関して、同じく図１１を用いて説明する。レーザ光源１１３０は、半導体レーザやＳＬＤ光源が好適に用いることができる。用いる波長は、ＯＣＴ用の低コヒーレント光源の波長と波長分離手段によって、使用波長同士が分離できる光源であれば制約はないが、眼底観察像の画質として、７００ｎｍ〜１０００ｎｍの近赤外の波長域が好適に用いられる。本実施例においては、波長７６０ｎｍの半導体レーザを用いる。レーザ光源１１３０から出射されたレーザはファイバ１１３１を介して、ファイバコリメータ１１３２から平行光となって出射され、シリンダーレンズ１１３３に入射する。本実施例ではシリンダーレンズで記載しているが、ラインビーム生成可能な光学素子であれば特に制約はなく、パウエルレンズや回折光学素子を用いたラインビームシェイパーを用いることができる。シリンダーレンズ１１３３で広げられたビーム（ＳＬＯビームともいう）は、リレーレンズ１１３４、１１３５によって、リングミラー１１３６の中心を通り、リレーレンズ１１３７、１１３８を通り、ＳＬＯスキャナ（Ｙ）１１３９に導かれる。ＳＬＯスキャナ（Ｙ）は、ガルバノスキャナを用いている。さらにダイクロイックビームスプリッタ１１０９で反射され、スキャンレンズ１１１０、ダイクロイックミラー１１１１と接眼レンズ１１１２を通り、被検眼ｅに入射する。ダイクロイックビームスプリッタ１１０９は、ＯＣＴビームを透過し、ＳＬＯビームを反射するように構成しておく。被検眼に入射したＳＬＯビームは、被検眼ｅの眼底に、ライン状のビームで照射される。このライン状のビームが、被検眼ｅの眼底で反射あるいは散乱され、同一光路をたどり、リングミラー１１３６まで戻る。リングミラー１１３６の位置は、被検眼ｅの瞳孔位置と共役になっており、眼底に照射されているラインビームが後方散乱した光のうち、瞳孔周辺部を通った光が、リングミラー１１３６によって反射され、レンズ１１５０によりラインセンサ１１５１上に結像する。ラインセンサ１１５１の位置毎の強度情報に基づき，不図示のＰＣにより眼底の平面画像を生成する。本実施例では、ラインビームを用いるラインスキャンＳＬＯ（以下、Ｌ-ＳＬＯと記す）構成でＳＬＯを記載したが、当然ながら、フライングスポットＳＬＯであっても構わない。 (SLO configuration)
Next, the optical configuration of the SLO photographing unit that acquires the fundus image will be described with reference to FIG. As the laser light source 1130, a semiconductor laser or an SLD light source can be suitably used. The wavelength to be used is not limited as long as the wavelength used can be separated from the wavelength of the low-coherent light source for OCT by the wavelength separation means, but the near-infrared wavelength region of 700 nm to 1000 nm is used as the image quality of the fundus observation image. Are preferably used. In this embodiment, a semiconductor laser having a wavelength of 760 nm is used. The laser emitted from the laser light source 1130 is emitted as parallel light from the fiber collimator 1132 via the fiber 1131 and enters the cylinder lens 1133. In this embodiment, a cylinder lens is used. However, any optical element capable of generating a line beam is not particularly limited, and a line beam shaper using a Powell lens or a diffractive optical element can be used. A beam (also referred to as an SLO beam) spread by the cylinder lens 1133 passes through the center of the ring mirror 1136 by the relay lenses 1134 and 1135, passes through the relay lenses 1137 and 1138, and is guided to the SLO scanner (Y) 1139. The SLO scanner (Y) uses a galvano scanner. Further, the light is reflected by the dichroic beam splitter 1109, passes through the scan lens 1110, the dichroic mirror 1111, and the eyepiece 1112, and enters the eye to be examined e. The dichroic beam splitter 1109 is configured to transmit the OCT beam and reflect the SLO beam. The SLO beam incident on the eye to be examined is irradiated with a line beam on the fundus of the eye to be examined e. This line-shaped beam is reflected or scattered by the fundus of the eye e to be examined, follows the same optical path, and returns to the ring mirror 1136. The position of the ring mirror 1136 is conjugate with the pupil position of the eye e, and light that passes through the periphery of the pupil out of the light backscattered by the line beam irradiated on the fundus is reflected by the ring mirror 1136. Then, an image is formed on the line sensor 1151 by the lens 1150. Based on the intensity information for each position of the line sensor 1151, a planar image of the fundus is generated by a PC (not shown). In the present embodiment, the SLO is described in a line scan SLO (hereinafter referred to as L-SLO) configuration using a line beam, but it may be a flying spot SLO as a matter of course.

（内部固視灯）
本実施例では、被検眼ｅに注視させることで固視微動を安定させる内部固視灯を有している。本実施例が有する内部固視灯について、ＯＣＴ装置、ＳＬＯ装置同様、図１１を用い説明する。固視灯に用いる光源１１７０は発光ダイオード（ＬＤ）を用いた。発光ダイオードの点灯位置を、ＰＣの制御により撮像したい部位に合わせて変更する。発光ダイオード１１７０は５００ｎｍの波長で、光源から出射されたビームは、レンズ１１７１とダイクロイックミラー１１１１を経由し、被検眼ｅに照射される。ダイクロイックミラー１１１１は、スキャンレンズ１１１０と接眼レンズ１１１２の間に位置し、短波長（５００ｎｍ程度）の光とＯＣＴビーム，ＳＬＯビーム（７００ｎｍ以上）を波長分離する。 (Internal fixation light)
In this embodiment, there is an internal fixation lamp that stabilizes the fixation fine movement by gazing at the eye e. The internal fixation lamp of this embodiment will be described with reference to FIG. 11 as in the case of the OCT apparatus and the SLO apparatus. A light source 1170 used for the fixation lamp is a light emitting diode (LD). The lighting position of the light emitting diode is changed in accordance with the part to be imaged under the control of the PC. The light emitting diode 1170 has a wavelength of 500 nm, and the beam emitted from the light source is irradiated to the eye e through the lens 1171 and the dichroic mirror 1111. The dichroic mirror 1111 is located between the scan lens 1110 and the eyepiece lens 1112, and wavelength-separates light having a short wavelength (about 500 nm), OCT beam, and SLO beam (700 nm or more).

（制御方法）
図１２に本実施例で用いられる機能体系を示す。その機能体系は、システム全体を制御するＣＰＵ１２０１、ＳＬＯ部、ＯＣＴ部制御する各々の制御部１２０２、１２０３、固視灯１２０８、ＳＬＯ画像及びＯＣＴ画像を取得する各々のカメラ１２０４、１２０５、システム状態を表示するＰＣの表示部１２０６、眼底画像や撮像条件等を記録するＰＣの記録部１２０７、により構成されている。眼底の撮影時には、ＣＰＵ１２０１より制御部１２０２、１２０３に各々の撮像条件が指令され、眼底が撮像される。眼底が撮像された後、カメラ装置１２０４、１２０５からＣＰＵ１２０１に画像が送られ、画像処理された後、表示部１２０６で表示され、同時又はその後、記録部１２０７に保存される。 (Control method)
FIG. 12 shows a functional system used in this embodiment. The functional system includes a CPU 1201 that controls the entire system, each control unit 1202 and 1203 that controls the OCT unit, a fixation lamp 1208, each camera 1204 and 1205 that acquires SLO images and OCT images, and system status. A PC display unit 1206 for displaying, and a PC recording unit 1207 for recording fundus images, imaging conditions, and the like. At the time of photographing the fundus, the CPU 1201 instructs each of the imaging conditions to the control units 1202 and 1203 and images the fundus. After the fundus is imaged, an image is sent from the camera devices 1204 and 1205 to the CPU 1201, subjected to image processing, displayed on the display unit 1206, and stored in the recording unit 1207 simultaneously or thereafter.

上述の機能を用い、ＯＣＴ部で眼底の断層像を取得している間の眼球運動を計測する全体のフローを図１３に示す。   FIG. 13 shows an overall flow of measuring the eye movement while the tomographic image of the fundus is acquired by the OCT unit using the above function.

まず、処理Ｃ（マッチング領域計測）を実行し（ステップ１３０２）、測定時間内に固視微動等による眼球の移動によりテンプレート画像の領域が移動する範囲よりも、マッチング領域が広くなるように、ＣＰＵ１２０１（本実施例において設定手段に相当する）によりマッチング領域を設定する（ステップ１３０３）。以上の処理と同時に、ＳＬＯ部を作動させＳＬＯにより眼底画像を取得する（ステップ１３０４）。ＳＬＯの画像からテンプレート画像を抽出する（ステップ１３０５）。テンプレート画像の抽出後、抽出したテンプレート画像と座標を保存する（ステップ１３０６）。ＯＣＴ部の走査基準位置を記録し（ステップ１３０７）、ＯＣＴ部の計測を開始する（ステップ１３０８）。ＳＬＯ部からの新規の画像を取得後（ステップ１３０９）、実施例１と同様、処理Ａ（テンプレートマッチング）（ステップ１３１０）、処理Ｂ（眼球移動量算出）を実行し（ステップ１３１１）、処理Ｄ（ＯＣＴへフィードバック）を行い（ステップ１３１２）、ＯＣＴ部が断層像を継続計測している間はステップ１３０９〜１３１２の工程を繰り返す。ＯＣＴ撮像が終了した後、眼球運動の計測を終了する（ステップ１３１４）。なお、処理Ａ、処理Ｂは実施例１と同様であるため、説明は省略する。   First, processing C (matching area measurement) is executed (step 1302), and the CPU 1201 is set so that the matching area becomes wider than the range in which the template image area moves due to eye movement due to fixation movement or the like within the measurement time. A matching area is set (corresponding to setting means in this embodiment) (step 1303). Simultaneously with the above processing, the fundus image is acquired by SLO by operating the SLO unit (step 1304). A template image is extracted from the SLO image (step 1305). After extracting the template image, the extracted template image and coordinates are stored (step 1306). The scanning reference position of the OCT unit is recorded (step 1307), and measurement of the OCT unit is started (step 1308). After acquiring a new image from the SLO unit (step 1309), processing A (template matching) (step 1310) and processing B (eyeball movement amount calculation) are executed (step 1311) and processing D, as in the first embodiment. (Feedback to OCT) is performed (step 1312), and steps 1309 to 1312 are repeated while the OCT unit continuously measures tomographic images. After the OCT imaging is finished, the eye movement measurement is finished (step 1314). In addition, since the process A and the process B are the same as that of Example 1, description is abbreviate | omitted.

部分的なフローである処理Ｃ（マッチング領域計測）の例について（ステップ１３０２）、図１４を用い説明する。ユーザにより入力されるＯＣＴ撮像条件から（ステップ１４０２）、ＯＣＴ撮像時間を計測する（ステップ１４０３）。図９を参考に、ＯＣＴ撮像時間からグラフ９０１に適合させ、眼球移動距離（マッチング領域）を算出する（ステップ１４０４）。図９のグラフは内部固視灯を有した装置で健常眼を測定した際の眼球移動量情報である。   An example of processing C (matching area measurement) which is a partial flow (step 1302) will be described with reference to FIG. From the OCT imaging conditions input by the user (step 1402), the OCT imaging time is measured (step 1403). With reference to FIG. 9, the eye movement distance (matching region) is calculated from the OCT imaging time according to the graph 901 (step 1404). The graph of FIG. 9 is eye movement amount information when a healthy eye is measured with an apparatus having an internal fixation lamp.

処理Ｄ（ＯＣＴ部へのフィードバック）について（ステップ１３１２）、図１５を用いて説明する。ＣＰＵ１２０１にて、ＯＣＴ部のスキャン位置データを読み出し（ステップ１５０２）、眼球移動量からＯＣＴスキャナに投入する電圧を算出し（ステップ１５０３）、ＣＰＵ１２０１より投入電力をＯＣＴ制御部１２０３へ転送した後（ステップ１５０４）、スキャナ移動の信号を確認後（ステップ１５０５）、スキャン位置の変更情報を保存する（ステップ１５０６）。変更状態、ＯＣＴ画像、ＳＬＯ画像（マッチング領域、テンプレート位置表示）残り時間、等を表示する（ステップ１５０７）。   Process D (feedback to the OCT unit) (step 1312) will be described with reference to FIG. The CPU 1201 reads the scan position data of the OCT unit (step 1502), calculates the voltage to be applied to the OCT scanner from the eye movement amount (step 1503), and transfers the input power from the CPU 1201 to the OCT control unit 1203 (step 150). 1504) After confirming the scanner movement signal (step 1505), the scan position change information is stored (step 1506). The change state, OCT image, SLO image (matching area, template position display) remaining time, etc. are displayed (step 1507).

（追尾計測：具体例）
以上の処理に相当するＳＬＯ画像を図１６に示す。本実施例において、ＳＬＯは眼底位置での取得画像の大きさが、ライン幅１０ｍｍ、スキャン範囲１０ｍｍ、１０ｍｍ×１０ｍｍである。ＳＬＯ画像の取得レートは３０Ｈｚである。また、ＯＣＴ部は、カメラを７０ｋ Ａ−ｓｃａｎで動作させ、Ｂ−ｓｃａｎ画像（眼底スキャン範囲１０ｍｍ、レーザスポット径２０μｍ）は１０００ｌｉｎｅで構成され、Ｂ−ｓｃａｎ２８０枚、網膜の３Ｄ画像を取得する。撮像時間は４秒となる。 (Tracking measurement: specific example)
FIG. 16 shows an SLO image corresponding to the above processing. In the present embodiment, the SLO has an acquired image size at the fundus position of 10 mm line width, 10 mm scan range, and 10 mm × 10 mm. The acquisition rate of the SLO image is 30 Hz. The OCT unit operates the camera at 70 k A-scan, and the B-scan image (fundus scan range: 10 mm, laser spot diameter: 20 μm) is composed of 1000 lines, and acquires 280 B-scan, 3D images of the retina. The imaging time is 4 seconds.

まず、図１６（ａ）にＳＬＯで取得された眼底画像１６０１（以下、単にＳＬＯ画像と記す）を示す。図１６（ａ）のように、乳頭から血管が端部に向かって複雑に伸びている。第１のＳＬＯ画像を取得した後、ＯＣＴの撮像条件から撮像時間（本実施例では４秒）を算出する。図９を参照すると、４秒間に眼球は４５０μｍ移動する。その間に第１のＳＬＯ画像１６０１からテンプレート画像を抽出（ｂ）する。テンプレート画像１６０２とテンプレート座標Ｘ０（−２５、−２００）を保存する。座標は、ＳＬＯ画像の中心を（０，０）としている。その後、眼球移動距離４５０μｍを考慮したマッチング領域１６０４を設定する（ｃ）。次に、（ｄ）のように新規に取得された第２のＳＬＯ画像１６０５上に抽出領域１６０４を設定する。このとき、第１の画像におけるテンプレート画像の座標を基準（中心）として、測定時間内に固視微動等による眼球の移動や回旋によりテンプレート画像の領域が移動する範囲よりも抽出領域が広くなるように、第２の画像における抽出領域を設定する。さらに、抽出領域１６０４内でテンプレート画像１６０２を探索する。マッチング画像１６０６を検出した後、マッチング画像１６０６の中心座標Ｘ１を保存する。その後、（ｆ）のように、テンプレート座標Ｘ０とマッチング座標Ｘ１との座標差から、眼球の移動距離を算出する。 First, FIG. 16A shows a fundus image 1601 acquired by SLO (hereinafter simply referred to as an SLO image). As shown in FIG. 16 (a), the blood vessel extends from the nipple toward the end in a complicated manner. After obtaining the first SLO image, the imaging time (4 seconds in this embodiment) is calculated from the OCT imaging conditions. Referring to FIG. 9, the eyeball moves 450 μm in 4 seconds. Meanwhile, a template image is extracted (b) from the first SLO image 1601. The template image 1602 and the template coordinates X 0 (−25, −200) are stored. The coordinates are (0, 0) at the center of the SLO image. Thereafter, a matching region 1604 is set in consideration of the eyeball movement distance of 450 μm (c). Next, an extraction region 1604 is set on the newly acquired second SLO image 1605 as shown in (d). At this time, with the coordinates of the template image in the first image as the reference (center), the extraction region becomes wider than the range in which the region of the template image moves due to movement or rotation of the eyeball due to fixation movement or the like within the measurement time. In addition, an extraction area in the second image is set. Further, the template image 1602 is searched for in the extraction area 1604. After detecting the matching image 1606, it stores the center coordinate X 1 of the matching image 1606. Thereafter, as shown in (f), the coordinate difference between the template coordinates X 0 and matching coordinates X 1, and calculates the movement distance of the eye.

マッチング領域の算出方法の例について、図１７を用い説明する。マッチング領域１７０３はＳＬＯ眼底画像１７０６内で、テンプレート画像１７０１にマッチング領域設定幅Ｒ２を加えた領域からなる。実施例１と同様に、図９のグラフをもとにして測定時間内の人眼の移動量を求めることができる。このグラフは外部固視、内部固視、患眼若しくは健常者、年齢、又は１枚の眼底画像を撮像する時間等の撮像条件ごとあらかじめ用意されている公知のグラフを使用することができ、測定の方法や対象ごとに任意に選択することができる。このうち、実施例２では、ＯＣＴ撮像時間に応じマッチング領域設定幅Ｒ２を変更する。ＯＣＴ撮像時間は４秒であるため、図９から、眼球移動距離は４５０μｍである。そのため、Ｒ２は４５０μｍで、テンプレート領域１７０３はテンプレート領域１７０１より周囲の幅を４５０μｍずつ広くした領域となる。 An example of a matching area calculation method will be described with reference to FIG. Matching area 1703 in the SLO fundus image 1706, consisting of the matching area set width R 2 an area added to the template image 1701. Similarly to the first embodiment, the movement amount of the human eye within the measurement time can be obtained based on the graph of FIG. This graph can be a well-known graph prepared in advance for each imaging condition such as external fixation, internal fixation, affected eye or healthy subject, age, or time to image one fundus image. Can be arbitrarily selected for each method and target. Among them, in the second embodiment, to change the matching area set width R 2 depending on the OCT imaging time. Since the OCT imaging time is 4 seconds, the eyeball movement distance is 450 μm from FIG. Therefore, R 2 is 450 μm, and the template region 1703 is a region whose peripheral width is wider by 450 μm than the template region 1701.

マッチング方法について、図１８を用い説明する。新規ＳＬＯ画像１８０１に抽出領域１０８２を設定し、抽出領域１８０２内でテンプレート画像が一致する領域を探索する。テンプレート画像が一致した一致画像領域１８０４を検出した後、マッチング座標Ｘ1を読み取る。 The matching method will be described with reference to FIG. An extraction area 1082 is set in the new SLO image 1801, and an area where the template images match in the extraction area 1802 is searched. After detecting a matching image region 1804 where the template images match, the matching coordinate X 1 is read.

このとき、図１９のように、ＯＣＴ画像１９０１、眼球運動計測結果１９０６、残りの計測時間１９０５、ＳＬＯ画像（マッチング領域、テンプレート画像の表示を含む）１９０４、撮像条件１９０８、等をＰＣのディスプレイ１９０７に表示し、ユーザが動作を確認できるようにしてもよい。   At this time, as shown in FIG. 19, an OCT image 1901, an eye movement measurement result 1906, the remaining measurement time 1905, an SLO image (including matching area and template image display) 1904, an imaging condition 1908, and the like are displayed on a PC display 1907. May be displayed so that the user can confirm the operation.

以上のように、ＯＣＴ撮像時間に応じ、マッチング領域及び抽出領域を設定することで、高速な眼球運動の計測が可能となり、眼球上で安定してＯＣＴビームを走査させることができ、眼球運動に依る画像ズレの無い３Ｄ画像が取得できる。   As described above, by setting the matching region and the extraction region according to the OCT imaging time, it is possible to measure the eye movement at high speed, and to stably scan the OCT beam on the eyeball. It is possible to obtain a 3D image with no image shift.

［実施例３］
以下、本発明の実施例３について説明する。
実施例３では実施例２と同様、眼底撮像取得にＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を用い、ＳＬＯ眼底画像から実施例１、２とは異なる方法により眼球運動の計測を行い、より高速に、眼球運動の計測結果を光干渉断層撮像装置（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｔ Ｔｏｍｏｇｒａｐｈｙ）にリアルタイムにフィードバックすることで高精細な３ＤのＯＣＴ画像を取得する例について述べる。
眼底撮像装置（ＳＬＯ）と光干渉断層撮像装置（ＯＣＴ）の構成に関しては実施例２と同様であるので、説明を省略する。異なる点である、フローに関して、説明する。 [Example 3]
Embodiment 3 of the present invention will be described below.
In the third embodiment, as in the second embodiment, SLO (Scanning Laser Ophthalmoscope) is used for acquiring fundus imaging, and the eye movement is measured from the SLO fundus image by a method different from those in the first and second embodiments. An example of acquiring a high-definition 3D OCT image by feeding back the measurement result to an optical coherence tomography (OCT) in real time will be described.
Since the configurations of the fundus imaging apparatus (SLO) and the optical coherence tomography apparatus (OCT) are the same as those in the second embodiment, description thereof is omitted. The flow, which is a different point, will be described.

（制御フロー）
本実施例の制御フロー全体図を図２０に示す。
まず、ＳＬＯ画像（第１の眼底画像）を取得し（ステップ２００２）、取得したＳＬＯ画像から特徴点（以下、テンプレート画像と記す）を抽出し（ステップ２００３）、抽出したテンプレート画像とその座標（テンプレート座標）を記録部に保存する（ステップ２００４）。ＯＣＴ部の走査基準位置を記録し（ステップ２００５）、ＯＣＴ撮像を開始し（ステップ２００６）、同時にＳＬＯ画像（第２の眼底画像）を取得する（ステップ２００７）。ステップ２００７で取得したＳＬＯ画像において、処理Ｅのテンプレートマッチング（ステップ２００８）と処理Ｆの眼球移動量計算（ステップ２００９）を行い、次に、実施例２と同様、処理Ｄ（ステップ２０１０）を実施する。処理Ｄ（ステップ２０１０）の後、再度ＳＬＯ画像（第３の眼底画像）を取得し（ステップ２０１１）、処理Eのテンプレート画像との間のテンプレートマッチング（ステップ２０１２）と、処理Fの第２の眼底画像と第３の眼底画像とを取得する間の眼球移動量計算（ステップ２０１３）を行い、やはり実施例２と同様に処理Ｄのその結果をＯＣＴ装置への反映（ステップ２０１４）を実施する。以上のステップ２０１１〜ステップ２０１４の工程をＯＣＴ撮像が終了するまで繰り返す。 (Control flow)
An overall control flow diagram of this embodiment is shown in FIG.
First, an SLO image (first fundus image) is acquired (step 2002), feature points (hereinafter referred to as template images) are extracted from the acquired SLO image (step 2003), the extracted template image and its coordinates ( The template coordinates are stored in the recording unit (step 2004). The scanning reference position of the OCT unit is recorded (step 2005), OCT imaging is started (step 2006), and at the same time, an SLO image (second fundus image) is acquired (step 2007). In the SLO image acquired in step 2007, template matching of process E (step 2008) and eye movement amount calculation of process F (step 2009) are performed, and then process D (step 2010) is performed as in the second embodiment. To do. After process D (step 2010), an SLO image (third fundus image) is acquired again (step 2011), template matching with the template image of process E (step 2012), and the second of process F The amount of movement of the eyeball during the acquisition of the fundus image and the third fundus image is performed (step 2013), and the result of process D is reflected in the OCT apparatus (step 2014) as in the second embodiment. . The above steps 2011 to 2014 are repeated until the OCT imaging is completed.

本実施例におけるテンプレートマッチング（処理Ｅ）について、図２１を用い説明する。
ステップ２００３で抽出したテンプレート画像を読み出し（ステップ２１０２）、ステップ２００２又はステップ２００７で取得したＳＬＯ撮像時間を読み出す（ステップ２１０３）。撮像する間の眼球の移動量を図９（実施例２と同様の条件）から算出する（ステップ２１０４）。実施例２と同様、算出された数値をステップ２００７で取得したＳＬＯ画像における抽出領域（第２の抽出領域）に反映させ、設定する（ステップ２１０５）。なお、抽出領域の設定方法はこれに限られず、測定時間内に固視微動等による眼球の移動や回旋によりテンプレート画像の領域が移動する範囲よりもマッチング領域が広くなるように設定すればよい。ただし、本実施例では、ＳＬＯ画像を１枚取得する間の眼球の移動距離をもとにマッチング領域を設定することで、テンプレートマッチングをする範囲をより少なくし、より短時間での処理を実現することができる。ステップ２０１１で取得したＳＬＯ画像において、ステップ２１０５で設定された領域でテンプレートマッチングを行い（ステップ２１０６）、マッチング情報を保存する（ステップ２１０７）。 Template matching (processing E) in the present embodiment will be described with reference to FIG.
The template image extracted in step 2003 is read (step 2102), and the SLO imaging time acquired in step 2002 or step 2007 is read (step 2103). The amount of movement of the eyeball during imaging is calculated from FIG. 9 (same conditions as in Example 2) (step 2104). Similar to the second embodiment, the calculated numerical value is reflected and set in the extraction region (second extraction region) in the SLO image acquired in step 2007 (step 2105). Note that the method of setting the extraction region is not limited to this, and it may be set so that the matching region is wider than the range in which the template image region moves due to eye movement or rotation by fixation micromotion within the measurement time. However, in this embodiment, the matching area is set based on the movement distance of the eyeball during acquisition of one SLO image, thereby reducing the template matching range and realizing processing in a shorter time. can do. In the SLO image acquired in step 2011, template matching is performed in the region set in step 2105 (step 2106), and the matching information is saved (step 2107).

本実施例における眼球移動量計算（処理Ｆ）について、図２２を用い説明する。ステップ２０１２で取得したＳＬＯ画像と、その直前に取得したＳＬＯ画像のマッチング座標を読み出し（ステップ２２０２）、その座標差を算出する（ステップ２２０３）。この座標差から移動量を算出する（ステップ２２０４）。   The eyeball movement amount calculation (processing F) in the present embodiment will be described with reference to FIG. The matching coordinates between the SLO image acquired in step 2012 and the SLO image acquired immediately before are read (step 2202), and the coordinate difference is calculated (step 2203). The amount of movement is calculated from this coordinate difference (step 2204).

（具体例）
以上の処理に相当する各画像を図２３に示す。実施例２と同様、ＳＬＯは眼底位置での取得画像の大きさが、ライン幅１０ｍｍ、スキャン範囲１０ｍｍ、すなわち、１０ｍｍ×１０ｍｍである。ＳＬＯ画像の取得レートは３０Ｈｚである。また、ＯＣＴ装置は、カメラを７０ｋ Ａ−ｓｃａｎで動作させ、Ｂ−ｓｃａｎ画像（眼底スキャン範囲１０ｍｍ、レーザスポット径２０μｍ）は１０００ｌｉｎｅで構成され、Ｂ−ｓｃａｎ画像２８０枚で構成される網膜の３Ｄ画像を取得する。撮像時間は４秒となる。 (Concrete example)
Each image corresponding to the above processing is shown in FIG. Similar to the second embodiment, in the SLO, the size of the acquired image at the fundus position is a line width of 10 mm and a scan range of 10 mm, that is, 10 mm × 10 mm. The acquisition rate of the SLO image is 30 Hz. In addition, the OCT apparatus operates the camera at 70 kA-scan, the B-scan image (fundus scan range 10 mm, laser spot diameter 20 μm) is composed of 1000 lines, and retinal 3D composed of 280 B-scan images. Get an image. The imaging time is 4 seconds.

まず、ＳＬＯで取得された眼底画像２３０１（第１の眼底画像）を図２３（ａ）に示す。図２３（ｂ）のように、取得したＳＬＯ画像２３０１から血管を含むテンプレート画像２３０５を抽出する。抽出したテンプレート画像の中心座標Ｘ０を保存する。ＳＬＯ画像の取得レート３０Ｈｚから、マッチング領域を設定する。図９を参照し、ＳＬＯ画像を１枚取得する時間１／３０秒に対応する眼球移動距離である１００μｍを考慮して、図２３（ｃ）のように、マッチング領域２３０６を設定する。   First, a fundus image 2301 (first fundus image) acquired by SLO is shown in FIG. As shown in FIG. 23B, a template image 2305 including blood vessels is extracted from the acquired SLO image 2301. The center coordinate X0 of the extracted template image is stored. The matching area is set from the SLO image acquisition rate of 30 Hz. Referring to FIG. 9, the matching region 2306 is set as shown in FIG. 23C in consideration of the eye movement distance 100 μm corresponding to the time 1/30 seconds for acquiring one SLO image.

次に、図２３（ｄ）のように新たなＳＬＯ画像２３０２（第２の眼底画像）を取得する。図２３（ｃ）で設定したマッチング領域２３０６に対応するＳＬＯ画像２３０２内の抽出領域（第１の抽出領域）内でテンプレートマッチングを行う。テンプレート画像と一致する領域２３０７を検出し、その座標Ｘ１を取得する。さらに、図２３（ｅ）のように、テンプレート画像と一致する領域の基準座標（本実施例では中心座標）Ｘ１を中心として、眼球移動距離１００μｍを考慮して次のマッチング領域２３０８を設定する。マッチング領域を設定すると同時に、座標Ｘ０とＸ１の座標値から眼球の移動量を算出する。算出した結果をＯＣＴ装置のスキャナにフィードバックする。   Next, a new SLO image 2302 (second fundus image) is acquired as shown in FIG. Template matching is performed within the extraction region (first extraction region) in the SLO image 2302 corresponding to the matching region 2306 set in FIG. A region 2307 that matches the template image is detected, and its coordinate X1 is acquired. Further, as shown in FIG. 23 (e), the next matching region 2308 is set in consideration of the eyeball movement distance of 100 μm around the reference coordinate (center coordinate in this embodiment) X1 of the region coinciding with the template image. At the same time that the matching area is set, the movement amount of the eyeball is calculated from the coordinate values of the coordinates X0 and X1. The calculated result is fed back to the scanner of the OCT apparatus.

図２３（ｆ）のように新たなＳＬＯ画像２３０３を取得する。図２３（ｅ）で設定したマッチング領域２３０８に対応するＳＬＯ画像２３０３内の抽出領域（第２の抽出領域）内でテンプレートマッチングを行う。テンプレート画像と一致する領域２３０９を検出し、テンプレート画像と一致する領域の基準座標（本実施例では中心座標）Ｘ２を取得する。さらに、図２３（ｇ）のように、座標Ｘ２を中心として、眼球移動距離１００μｍを考慮して次のマッチング領域２３１０を設定する。マッチング領域を設定すると同時に、座標Ｘ１とＸ２の座標値から眼球の移量を算出する。   A new SLO image 2303 is acquired as shown in FIG. Template matching is performed within the extraction region (second extraction region) in the SLO image 2303 corresponding to the matching region 2308 set in FIG. A region 2309 that matches the template image is detected, and reference coordinates (center coordinates in this embodiment) X2 of the region that matches the template image are acquired. Further, as shown in FIG. 23G, the next matching region 2310 is set with the coordinate X2 as the center and taking into account the eyeball movement distance of 100 μm. At the same time that the matching region is set, the movement of the eyeball is calculated from the coordinate values of the coordinates X1 and X2.

これ以降の処理は省略するが、さらに図２３（ｈ）の様に新たなＳＬＯ画像２３０４を取得し、マッチング領域２３１０に対応するＳＬＯ画像２３０４内の領域内でテンプレートマッチングを行い、テンプレート画像と一致する領域を検出し、その基準座標を取得し、さらに次のマッチング領域を設定していくという処理をＯＣＴ画像撮像が終了するまで繰り返す。   Although the subsequent processing is omitted, a new SLO image 2304 is acquired as shown in FIG. 23 (h), template matching is performed within the region in the SLO image 2304 corresponding to the matching region 2310, and the template image matches. The process of detecting the area to be acquired, obtaining the reference coordinates, and further setting the next matching area is repeated until the OCT image capturing is completed.

以上のように、マッチング領域をＳＬＯ画像の取得レートに合わせて、取得するＳＬＯ画像１枚ごとにマッチング領域を設定して次に取得したＳＬＯ画像に適応させることで、フィードバック速度が向上する。さらに、ＯＣＴ撮像中、ＳＬＯ画像から眼球の移動量を算出し、ＯＣＴ装置にフィードバックして、ＯＣＴスキャンが走査する領域も眼球の移動量に合わせて移動させながらＯＣＴ画像を取得することで、高画質のＯＣＴ画像が得られる。   As described above, the feedback area is improved by setting the matching area for each SLO image to be acquired and adapting it to the next acquired SLO image in accordance with the acquisition rate of the SLO image. Furthermore, during OCT imaging, the amount of movement of the eyeball is calculated from the SLO image, fed back to the OCT apparatus, and the OCT image is acquired while moving the region scanned by the OCT scan according to the amount of movement of the eyeball. An image quality OCT image is obtained.

なお、実施例において、１つの特徴点を抽出して移動量を求めたが、複数の特徴点を抽出し、それぞれの特徴点に基づきパターンマッチングを実施して得られる各移動量の平均値をＯＣＴ装置へフィードバックするようにしてもよい。   In the embodiment, the amount of movement is obtained by extracting one feature point, but the average value of each amount of movement obtained by extracting a plurality of feature points and performing pattern matching based on each feature point is obtained. You may make it feed back to an OCT apparatus.

（その他）
実施例１、２、３では血管のテンプレート画像を用いて抽出したが、黄斑や乳頭をテンプレート画像として用いても同様の効果が得られる。眼底画像取得には、眼底カメラ、走査レーザ検眼鏡（ＳＬＯ）、光干渉断層撮像装置等、実施例に記載したもの以外の撮像系を用い眼底画像を取得してもよい。さらに、視野検査を行う視野検査装置などでも同様の効果が得られる。 (Other)
In Examples 1, 2, and 3, extraction was performed using a blood vessel template image, but the same effect can be obtained by using a macula or nipple as a template image. For acquiring the fundus image, the fundus image may be acquired using an imaging system other than those described in the embodiments, such as a fundus camera, a scanning laser ophthalmoscope (SLO), and an optical coherence tomography apparatus. Further, a similar effect can be obtained with a visual field inspection apparatus that performs visual field inspection.

また、血管などでは眼球の旋回を検出するために複数の特徴点を抽出することがある。そのような場合にも実施例１、２、３と同様に各特徴点に対応するマッチング領域及び抽出領域を設定することにより、同様の効果が得られる。   In blood vessels or the like, a plurality of feature points may be extracted in order to detect the rotation of the eyeball. Even in such a case, the same effect can be obtained by setting the matching region and the extraction region corresponding to each feature point as in the first, second, and third embodiments.

実施例１、２、３で示したフローの順序はこれに限定されるものではなく、順序が異なっていたり、又は、その他のフローによっても、本発明と同様にしてマッチング領域及び抽出領域を設定することで同様の効果が得られる。また、移動量を算出する基準座標は中心座標を用いたが、各エッジ座標又は欠陥の交差座標でも同様の効果が得られる。   The order of the flows shown in the first, second, and third embodiments is not limited to this, and the matching area and the extraction area are set in the same manner as in the present invention even if the order is different or other flows. By doing so, the same effect can be obtained. In addition, although the center coordinate is used as the reference coordinate for calculating the movement amount, the same effect can be obtained by the edge coordinate or the intersection coordinate of the defect.

実施例１では、内部固視灯を設けていたため、マッチング領域を７００μｍとしたが、マッチング領域として設定する幅は眼底画像の撮像条件等の各種状況に応じて適宜設定できる。例えば、固視が更に安定する場合ではマッチング領域を小さくすることができるし、一方で高年齢者や患眼等、固視が安定しない場合などはマッチング領域を広くした方がよい。また、撮像条件として１枚の眼底画像を撮像するために必要な時間を考慮してもよい。同被験者について複数回測定を行う場合、前回の測定データを用いることでより正確なマッチング領域を設定できるため、テンプレートマッチングを高速化できる。本実施例ではテンプレート画像の周囲すべてについて同じＲ１だけ拡張した領域をマッチング領域としたが、測定時間内における人眼の移動量に応じて、拡張する方向ごとに違う値を用いても同様の効果が得られる。 In the first embodiment, since the internal fixation lamp is provided, the matching area is set to 700 μm. However, the width set as the matching area can be appropriately set according to various conditions such as the fundus image capturing condition. For example, when the fixation is further stabilized, the matching area can be reduced. On the other hand, when the fixation is not stable, such as an elderly person or an affected eye, it is better to widen the matching area. In addition, as an imaging condition, a time required to capture one fundus image may be considered. When performing the measurement for the same subject a plurality of times, template matching can be speeded up because a more accurate matching region can be set by using the previous measurement data. Although the area that extends for all around by the same R 1 of the template image and the matching area in the present embodiment, in accordance with the amount of movement of the human eye in the measuring time, the same be a different value for each direction to extend An effect is obtained.

実施例２、３では、眼科機器に対してリアルタイムで眼球運動の補正を行ったが、得られた画像に対して測定終了後に補正又は後処理を行っても効果がある。   In Examples 2 and 3, eye movement correction was performed in real time on the ophthalmic device, but it is also effective to perform correction or post-processing on the obtained image after completion of the measurement.

眼球運動量を算出する際の図９のグラフは外部固視／内部固視、患眼／健常者、年齢、個人、等の条件により異なるグラフを用いることでより正確な運動量を算出でき、マッチング領域をより正確に提供できる。   The graph of FIG. 9 when calculating the amount of eye movement can be calculated more accurately by using different graphs depending on conditions such as external fixation / internal fixation, affected eye / normal subject, age, individual, etc. Can be provided more accurately.

1：眼底カメラ本体部
50：デジタル一眼レフカメラ
602：マッチング領域
Ｒ1：マッチング領域設定幅
1002：抽出領域 1: Fundus camera body
50: Digital SLR camera
602: Matching region R 1 : Matching region setting width
1002: Extraction area

Claims (10)

被検眼の眼底画像から特徴点を抽出して前記被検眼の移動量を検出する眼科装置であって、
前記被検眼の複数の眼底画像を取得する取得手段と、
前記取得された眼底画像のうち、第１の眼底画像から特徴点を抽出する抽出手段と、
前記特徴点とマッチする位置を抽出するための第１の抽出領域を、眼球の移動や回旋により前記抽出した特徴点が撮像中に移動する範囲よりも広い領域となるように、前記取得された眼底画像のうち第２の眼底画像に設定する設定手段と、
前記第２の眼底画像に設定した前記第１の抽出領域から前記特徴点とマッチする画像を抽出するマッチング手段と、
前記第１の眼底画像の特徴点の基準座標と前記第２の眼底画像から抽出した画像の座標とに基づき、前記被検眼の移動量を求める手段とを有することを特徴とする眼科装置。 An ophthalmologic apparatus for extracting a feature point from a fundus image of a subject eye and detecting a movement amount of the subject eye,
Obtaining means for obtaining a plurality of fundus images of the eye to be examined;
Extracting means for extracting feature points from the first fundus image among the acquired fundus images;
The first extraction region for extracting a position that matches the feature point is acquired so that the extracted feature point is wider than the range in which the extracted feature point moves during imaging by moving or rotating the eyeball. Setting means for setting the second fundus image among the fundus images;
A matching means for extracting an image that matches the feature point from the first extraction region set in the second fundus image;
An ophthalmologic apparatus comprising: means for determining a movement amount of the eye to be examined based on reference coordinates of feature points of the first fundus image and coordinates of an image extracted from the second fundus image. 前記設定手段は、前記第１の抽出領域を、前記抽出した特徴点の領域と該領域の端部から外側に一定の幅を持つ範囲の領域とを合わせた領域とすることを特徴とする請求項１に記載の眼科装置。   The setting means is characterized in that the first extraction region is a region obtained by combining the extracted feature point region and a region having a certain width outward from the end of the region. The ophthalmic apparatus according to Item 1. 前記特徴点が移動する範囲は、外部固視、内部固視、患眼及び健常者、年齢、すべての眼底画像を撮像する時間並びに１枚の眼底画像を撮像する時間から選ばれる撮像条件によって求められることを特徴とする、請求項１又は２に記載の眼科装置。   The range in which the feature point moves is determined by an imaging condition selected from external fixation, internal fixation, affected eye and healthy subject, age, time for capturing all fundus images, and time for capturing one fundus image. The ophthalmic apparatus according to claim 1, wherein the ophthalmic apparatus is provided. 前記抽出手段は、複数の特徴点を抽出し、
前記設定手段は、前記複数の特徴点のそれぞれに対応する複数の第１の抽出領域を設定することを特徴とする請求項１乃至４のいずれか１項に記載の眼科装置。 The extraction means extracts a plurality of feature points,
5. The ophthalmologic apparatus according to claim 1, wherein the setting unit sets a plurality of first extraction regions corresponding to each of the plurality of feature points. 6. 前記設定手段は、さらに第２の抽出領域を、前記第２の眼底画像においてマッチング手段で抽出された画像の基準座標を中心として、撮像中の眼球の移動により前記特徴点が移動する範囲よりも広い領域となるように、前記取得された眼底画像のうち第３の眼底画像に設定し、
前記マッチング手段は、さらに前記第２の抽出領域から前記特徴点とマッチする画像を抽出し、
前記被検眼の移動量を求める手段は、さらに前記第２の眼底画像においてマッチング手段で抽出された画像の基準座標と前記第２の抽出領域から抽出した前記特徴点とマッチする画像の座標とに基づき、前記被検眼の移動量を求めることを特徴とする、請求項１乃至４のいずれか１項に記載の眼科装置。 The setting means further sets the second extraction region in a range around the reference coordinates of the image extracted by the matching means in the second fundus image by moving the feature point by moving the eyeball being imaged. Set the third fundus image among the acquired fundus images so as to be a wide area,
The matching means further extracts an image that matches the feature point from the second extraction region,
The means for obtaining the movement amount of the eye to be examined further includes reference coordinates of the image extracted by the matching means in the second fundus image and coordinates of the image matching the feature point extracted from the second extraction region. The ophthalmologic apparatus according to claim 1, wherein a movement amount of the eye to be examined is obtained based on the eye. 前記特徴点が移動する範囲は、１枚の眼底画像を撮像する時間によって求められることを特徴とする請求項５に記載の眼科装置。   The ophthalmologic apparatus according to claim 5, wherein a range in which the feature point moves is obtained by a time for capturing one fundus image. 前記抽出手段は、複数の特徴点を抽出し、
前記設定手段は、前記複数の特徴点のそれぞれに対応する複数の第１の抽出領域を設定し、さらに前記複数の第１の抽出領域のそれぞれに対応する複数の第２の抽出領域を設定することを特徴とする請求項５又は６に記載の眼科装置。 The extraction means extracts a plurality of feature points,
The setting means sets a plurality of first extraction areas corresponding to the plurality of feature points, and further sets a plurality of second extraction areas corresponding to the plurality of first extraction areas. The ophthalmologic apparatus according to claim 5 or 6, characterized by the above. 前記取得手段は、眼底カメラ、走査レーザ検眼鏡、光干渉断層撮像装置、又は視野検査装置のいずれかを含むことを特徴とする請求項１乃至７のいずれか１項に記載の眼科装置。   The ophthalmologic apparatus according to claim 1, wherein the acquisition unit includes any one of a fundus camera, a scanning laser ophthalmoscope, an optical coherence tomography apparatus, or a visual field inspection apparatus. 被検眼の眼底画像から特徴点を抽出して前記被検眼の移動量を検出する眼科装置の制御方法であって、
前記被検眼の複数の眼底画像を取得する工程と、
前記取得された眼底画像のうち、第１の眼底画像から特徴点を抽出する工程と、
前記特徴点とマッチする位置を抽出するための第１の抽出領域を、眼球の移動や回旋により前記抽出した特徴点が撮像中に移動する範囲よりも広い領域となるように、前記取得された眼底画像のうち第２の眼底画像に設定する工程と、
前記第２の眼底画像に設定した前記第１の抽出領域から前記特徴点とマッチする画像を抽出する工程と、
前記第１の眼底画像の特徴点の座標と前記第２の眼底画像から抽出した画像の座標とに基づき、前記被検眼の移動量を求める工程とを有することを特徴とする制御方法。 A method for controlling an ophthalmologic apparatus that extracts a feature point from a fundus image of a subject eye and detects a movement amount of the subject eye,
Obtaining a plurality of fundus images of the eye to be examined;
A step of extracting feature points from the first fundus image among the acquired fundus images;
The first extraction region for extracting a position that matches the feature point is acquired so that the extracted feature point is wider than the range in which the extracted feature point moves during imaging by moving or rotating the eyeball. Setting the second fundus image of the fundus image;
Extracting an image that matches the feature point from the first extraction region set in the second fundus image;
And a step of obtaining a movement amount of the eye to be examined based on the coordinates of the feature points of the first fundus image and the coordinates of the image extracted from the second fundus image. 請求項１乃至８のいずれか１項に記載の眼科装置を、コンピュータで実現するためのコンピュータプログラム。   The computer program for implement | achieving the ophthalmologic apparatus of any one of Claims 1 thru | or 8 with a computer.
JP2010243537A 2010-03-12 2010-10-29 Ophthalmic apparatus and control method thereof Expired - Fee Related JP5858603B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010243537A JP5858603B2 (en) 2010-03-12 2010-10-29 Ophthalmic apparatus and control method thereof
CN201180013700.9A CN103096785B (en) 2010-03-12 2011-03-08 Ophthalmologic apparatus and control method thereof
US13/581,675 US8998412B2 (en) 2010-03-12 2011-03-08 Ophthalmologic apparatus and control method for the same
PCT/JP2011/055872 WO2011111851A1 (en) 2010-03-12 2011-03-08 Ophthalmologic apparatus and control method for the same
US14/628,420 US9468374B2 (en) 2010-03-12 2015-02-23 Ophthalmologic apparatus and control method for the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010056545 2010-03-12
JP2010056545 2010-03-12
JP2010243537A JP5858603B2 (en) 2010-03-12 2010-10-29 Ophthalmic apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2011206519A true JP2011206519A (en) 2011-10-20
JP2011206519A5 JP2011206519A5 (en) 2013-12-05
JP5858603B2 JP5858603B2 (en) 2016-02-10

Family

ID=44938270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010243537A Expired - Fee Related JP5858603B2 (en) 2010-03-12 2010-10-29 Ophthalmic apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5858603B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8967804B2 (en) 2012-01-26 2015-03-03 Canon Kabushiki Kaisha Ophthalmic apparatus, ophthalmic apparatus control method and storage medium
WO2015166551A1 (en) * 2014-04-30 2015-11-05 株式会社クリュートメディカルシステムズ Ocular function measurement device
JP2016055123A (en) * 2014-09-12 2016-04-21 株式会社ニデック Ophthalmic imaging device, ophthalmic imaging system and ophthalmic imaging program
JP2017205658A (en) * 2017-09-04 2017-11-24 キヤノン株式会社 Ocular fundus imaging apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10146319A (en) * 1996-11-20 1998-06-02 Yukinobu Kunihiro Eye movement analyzer
JP2004313545A (en) * 2003-04-17 2004-11-11 Hitachi Medical Corp Cardiac motion display method and image diagnostic apparatus
JP2008079792A (en) * 2006-09-27 2008-04-10 Hitachi Ltd Ultrasonic diagnostic apparatus
JP2010012109A (en) * 2008-07-04 2010-01-21 Nidek Co Ltd Ocular fundus photographic apparatus
JP2011135933A (en) * 2009-12-25 2011-07-14 Nidek Co Ltd Retinal function measuring apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10146319A (en) * 1996-11-20 1998-06-02 Yukinobu Kunihiro Eye movement analyzer
JP2004313545A (en) * 2003-04-17 2004-11-11 Hitachi Medical Corp Cardiac motion display method and image diagnostic apparatus
JP2008079792A (en) * 2006-09-27 2008-04-10 Hitachi Ltd Ultrasonic diagnostic apparatus
JP2010012109A (en) * 2008-07-04 2010-01-21 Nidek Co Ltd Ocular fundus photographic apparatus
JP2011135933A (en) * 2009-12-25 2011-07-14 Nidek Co Ltd Retinal function measuring apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8967804B2 (en) 2012-01-26 2015-03-03 Canon Kabushiki Kaisha Ophthalmic apparatus, ophthalmic apparatus control method and storage medium
WO2015166551A1 (en) * 2014-04-30 2015-11-05 株式会社クリュートメディカルシステムズ Ocular function measurement device
JP2016055123A (en) * 2014-09-12 2016-04-21 株式会社ニデック Ophthalmic imaging device, ophthalmic imaging system and ophthalmic imaging program
JP2017205658A (en) * 2017-09-04 2017-11-24 キヤノン株式会社 Ocular fundus imaging apparatus

Also Published As

Publication number Publication date
JP5858603B2 (en) 2016-02-10

Similar Documents

Publication Publication Date Title
US9468374B2 (en) Ophthalmologic apparatus and control method for the same
JP5818409B2 (en) Fundus imaging apparatus and control method thereof
JP5901124B2 (en) Imaging apparatus and control method thereof
CN102525403B (en) Ophthalmologic apparatus and control method therefor
JP2012196439A (en) Image photographing apparatus and image photographing method
JP2012187229A (en) Photographing apparatus and photographing method
JP6411728B2 (en) Ophthalmic observation device
US10244942B2 (en) Ophthalmologic photographing apparatus, method, and storage medium
JP2019155003A (en) Ophthalmologic apparatus and method of controlling the same
JP5858603B2 (en) Ophthalmic apparatus and control method thereof
JP6633468B2 (en) Blood flow measurement device
JP5653055B2 (en) Ophthalmic apparatus and control method thereof
JP5931163B2 (en) Ophthalmic apparatus and method for measuring movement of eye to be examined
US10289907B2 (en) Image processing apparatus, image pickup apparatus, and image processing method
WO2011111851A1 (en) Ophthalmologic apparatus and control method for the same
JP6099782B2 (en) Ophthalmic imaging equipment
JP2018023818A (en) Ophthalmological observation device
JP2019155002A (en) Ophthalmologic apparatus and method of controlling the same
JP2018023816A (en) Ophthalmological observation device
JP6404431B2 (en) Ophthalmic observation device
JP6254729B2 (en) Ophthalmic imaging equipment
JP2018023815A (en) Ophthalmological observation device
JP2018023819A (en) Ophthalmological observation device
JP2020006182A (en) Imaging system and control method thereof

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120730

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151215

R151 Written notification of patent or utility model registration

Ref document number: 5858603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees