JP2018000699A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

画像処理装置、撮像装置、及び画像処理方法 Download PDF

Info

Publication number
JP2018000699A
JP2018000699A JP2016133661A JP2016133661A JP2018000699A JP 2018000699 A JP2018000699 A JP 2018000699A JP 2016133661 A JP2016133661 A JP 2016133661A JP 2016133661 A JP2016133661 A JP 2016133661A JP 2018000699 A JP2018000699 A JP 2018000699A
Authority
JP
Japan
Prior art keywords
face image
current
image
subject
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016133661A
Other languages
English (en)
Other versions
JP2018000699A5 (ja
JP6788397B2 (ja
Inventor
理宇眞 ▲高▼橋
理宇眞 ▲高▼橋
Riuma Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016133661A priority Critical patent/JP6788397B2/ja
Priority to US15/632,954 priority patent/US10289907B2/en
Priority to CN201710540334.1A priority patent/CN107569207B/zh
Publication of JP2018000699A publication Critical patent/JP2018000699A/ja
Publication of JP2018000699A5 publication Critical patent/JP2018000699A5/ja
Application granted granted Critical
Publication of JP6788397B2 publication Critical patent/JP6788397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22Source localisation; Inverse modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】被検体の経過観察を効率よく行うためのEn−Face画像を生成することができる画像処理装置を提供する。
【解決手段】現在の被検体の断層構造における層境界の情報を取得する取得手段と、被検体の過去のEn−Face画像に関する深さ範囲を示す情報及び層境界の情報に基づいて、被検体の現在のEn−Face画像に関する深さ範囲を決定する決定手段と、現在の被検体に対して取得された3次元データのうち、現在のEn−Face画像に関する深さ範囲内のデータを用いて、現在のEn−Face画像を生成する生成手段とを備える、画像処理装置。
【選択図】図6

Description

本発明は、画像処理装置、撮像装置、及び画像処理方法に関する。
現在、光干渉断層撮像法(Optical Coherence Tomography、以下、OCTという。)を用いる撮像装置(以下、OCT装置という。)が開発されている。OCT装置は、物体へ光を照射し、照射光の波長に応じて物体の異なる深さから戻ってくる反射光と参照光とを干渉させる。OCT装置は、干渉光の強度の時間波形(以下、干渉スペクトルという。)に含まれる周波数成分を分析することによって物体の断層に関する情報、具体的には断層像を得ることができる。OCT装置は、例えば眼科用の撮像装置として眼底検査等に用いられる。
OCT装置を用いた被検体の経過観察を行う場合、異なる検査日時に同一部位の検査データが取得され、検査間での同一の注目部位の変化が比較される。その際、検査間での断層画像等の表示を合わせることで、操作の手間を省くことができる(特許文献1参照)。例えば、1つの検査データの特定の位置の断層画像を表示した場合、比較する検査データの断層画像も同じ位置の断層画像を表示することで、効率よく経過観察を進めることができる。
一方で、特許文献2には、OCTを用いて形成できる画像として、複数の2次元断層画像より生成された3次元データに基づいて、2次元断層画像の断層面とは垂直な方向に生成された2次元画像(En−Face画像)を表示する方法が開示されている。
なお、本明細書において、En−Face画像とは、OCT装置で取得された3次元データ(3次元ボリュームデータ)に対して、所望の深さ範囲を設定し、その範囲内のボクセルのデータ値から生成される2次元正面画像(En−Face画像)をいう。ここで、データ値とは、3次元データから生成された3次元画像の画素値であってよく、例えば、輝度値や、偏光を用いて取得することができるリターデーション等の偏光パラメータの値であってよい。また、データ値は、干渉光の干渉スペクトルに含まれる被検体の断層に関する情報であってもよい。En−Faceの技術を用いて取得できる画像には、輝度値を画素値としたEn−Face輝度画像や、OCTを用いた血管造影法(OCT Angiography:OCTA)によって得られるOCTA画像などが含まれる。
特開2010−220771号公報 特開2015−93128号公報
En−Face画像を生成するには、3次元データ内からEn−Face画像を生成する深さ範囲を指定する必要がある。さらに、En−Face画像を用いて経過観察を行う場合には、比較する検査全てにおいて、En−Face画像を生成する深さ範囲として、互いに対応するほぼ同一の領域を指定しなければならないため、操作が煩雑になる。
本発明は、被検体の経過観察を効率よく行うためのEn−Face画像を生成することができる画像処理装置、撮像装置、及び画像処理方法を提供する。
本発明の一実施態様による画像処理装置は、現在の被検体の断層構造における層境界の情報を取得する取得手段と、前記被検体の過去のEn−Face画像に関する深さ範囲を示す情報及び前記層境界の情報に基づいて、前記被検体の現在のEn−Face画像に関する深さ範囲を決定する決定手段と、前記現在の被検体に対して取得された3次元データのうち、前記現在のEn−Face画像に関する深さ範囲内のデータを用いて、前記現在のEn−Face画像を生成する生成手段とを備える。
本発明の別の実施態様による撮像装置は、被検体を撮像し、前記被検体の断層情報を含む3次元データを取得する撮像手段と、前記被検体の過去のEn−Face画像に関する深さ範囲を示す情報を記憶する記憶手段と、現在の前記被検体の3次元データから、前記現在の被検体の断層構造における層境界を検出する検出手段と、前記過去のEn−Face画像に関する深さ範囲を示す情報と前記層境界とに基づいて、前記被検体の現在のEn−Face画像に関する深さ範囲を決定する決定手段と、前記現在の被検体の3次元データのうち、前記現在のEn−Face画像に関する深さ範囲内のデータを用いて、前記現在のEn−Face画像を生成する生成手段とを備える。
本発明のさらに別の実施態様による画像処理方法は、現在の被検体の断層構造における層境界の情報を取得することと、前記被検体の過去のEn−Face画像に関する深さ範囲を示す情報及び前記層境界の情報に基づいて、前記被検体の現在のEn−Face画像に関する深さ範囲を決定することと、前記現在の被検体に対して取得された3次元データのうち、前記現在のEn−Face画像に関する深さ範囲内のデータを用いて、前記現在のEn−Face画像を生成することとを含む。
本発明によれば、被検体の経過観察を効率よく行うためのEn−Face画像を生成することができる。
本発明の実施例1による撮像装置の概略的な構成の一例を示す。 実施例1に係る撮像光学系の概略的な構成の一例を示す。 取得される被検体の断層像に関するデータの構造を説明するための図である。 実施例1による画像処理装置の概略的な構成の一例を示すブロック図である。 表示手段に表示される画面の一例を示す。 実施例1による画像処理装置の処理を示すフローチャートである。 En−Face画像生成ルールを任意の層境界からの距離とした場合の一例を示す。 En−Face画像生成ルールを任意の層間の内比とした場合の一例を示す。 実施例2による画像処理装置の処理を示すフローチャートである。 実施例3による画像処理装置の概略的な構成の一例を示すブロック図である。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
[実施例1]
以下、図1乃至8を参照して、本発明の実施例1による撮像装置としてOCT装置1について説明する。なお、以下において、被検体を人眼(被検眼)として説明するが、被検体は他の臓器等であってもよい。
(OCT装置の構成)
図1は、実施例1によるOCT装置1の概略的な構成の一例を示す。OCT装置1には、撮像光学系100と、パソコンなどの信号処理装置101と、記憶部102と、入力部103と、モニタなどの表示部104とが設けられている。
撮像光学系100は、被検眼の前眼部像、被検眼のSLO(Scanning Laser Ophothalmoscope:走査型検眼鏡)眼底像、及び被検眼の眼底の断層像を取得するための光学系である。信号処理装置101は、撮像光学系100による撮像の制御、SLOを用いて撮像される画像(SLO画像)や眼底の断層画像の解析及び生成、並びにEn−Face画像の生成などを行う。信号処理装置101は、OCT装置1に専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。また、信号処理装置101は、撮像光学系100と一体化しているコンピュータであってもよい。記憶部102は、断層画像の撮像用のプログラム、画像処理方法に関するプログラム、患者情報、撮像データ、及び正常データベースの統計情報などを記憶する。記憶部102は、例えば、ハードディスクなどの任意の記憶装置やRAMやROM等によって構成されることができる。入力部103は、信号処理装置101への指示を入力するためのものであり、具体的にはキーボードやマウスなどを含む。
(撮像光学系の構成)
図2を参照して、撮像光学系100の構成について説明する。図2は、撮像光学系100(撮像手段)の概略的な構成の一例を示す。
撮像光学系100には、被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによって、被検眼200からの光路が、OCT光学系の光路250、被検眼200の観察とSLO眼底像の取得とを兼ねるSLO光学系と固視灯用の光路251、及び前眼部観察用の光路252に波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路251には、SLO走査手段204、レンズ205,206、ミラー207、第3ダイクロイックミラー208、フォトダイオード209、SLO光源210、及び固視灯211が設けられている。
SLO光源210は、SLO用の照射光として780nm付近の波長の光を出射する。また、固視灯211は、被検眼200の固視を促すための固視標を提供するための光源であり、固視標に対応する可視光を出射する。
第3ダイクロイックミラー208は、SLO光源210からの光と固視灯211からの光とを波長帯域ごとに反射又は通過させ、これらの光が光路251を通って被検眼200に入射するように配置される。なお、本実施例では、第3ダイクロイックミラー208は、SLO光源210からの光を反射し、固視灯211からの光を通過させる構成とされているが、SLO光源210からの光を通過させ、固視灯211からの光を反射する構成としてもよい。
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照射光や固視灯211による光を通過させ、被検眼200からの戻り光を反射し、これらの光の光路を分岐させる。なお、ミラー207はSLO光源210による照射光や固視灯211による光を反射し、被検眼200からの戻り光を通過させる構成であってもよい。
レンズ205は、SLO光学系及び固視灯の焦点合わせ用(焦点調整用)のレンズである。レンズ205は、不図示のモータによって光路251を通る光の光軸に沿って駆動されることができる。
SLO走査手段204は、SLO光源210と固視灯211から発せられた光を被検眼200上で走査するためのものである。SLO走査手段204には、これらの光を被検眼200上でx方向に走査するXスキャナ、及びy方向に走査するYスキャナが設けられている。本実施例では、Xスキャナは高速走査を行うためのポリゴンミラーによって、Yスキャナはガルバノミラーによって構成されている。なお、Xスキャナ及びYスキャナは所望の構成に応じて、任意の偏向ミラーを用いて構成されることができる。
フォトダイオード209は、SLO光源210による照射光の被検眼200からの戻り光を検出する。フォトダイオード209は、検出した光から被検眼200のSLO画像を生成するためのSLO信号を生成することができる。OCT装置1は、不図示の制御部などによって、SLO信号を信号処理装置101や外部のサーバなどに送ることができる。信号処理装置101は、SLO信号に基づいて被検眼200の眼底画像に対応するSLO画像を生成することができる。
次に、SLO光源210から発せられた光及び固視灯211から発せられる光について説明する。SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206,205を通って、SLO走査手段204に入射する。SLO走査手段204から出射された光は、第2ダイクロイックミラー203、第1ダイクロイックミラー202及び対物レンズ201を通って被検眼200に入射する。SLO走査手段204はXスキャナ及びYスキャナを駆動することによって、SLO光源210から発せられた照射光を被検眼200上で走査する。被検眼200からの戻り光は、照射光の経路と同じ経路を戻った後、ミラー207によって反射され、フォトダイオード209へと導かれる。フォトダイオード209は、入射した被検眼200からの戻り光を検出し、SLO信号を生成する。OCT装置1は、SLO信号からSLO眼底像を得ることができる。
固視灯211から発せられた光は、第3ダイクロイックミラー208及びミラー207を通過し、レンズ206,205を通り、SLO走査手段204に入射する。SLO走査手段204から出射された光は、第2ダイクロイックミラー203、第1ダイクロイックミラー202及び対物レンズ201を通って被検眼200に入射する。SLO走査手段204は、Xスキャナ及びYスキャナを駆動することによって、固視灯211から発せられた光を被検眼200上で走査する。この時、SLO走査手段204の動きに合わせて固視灯211を点滅させることによって、被検眼200上の任意の位置に任意の形状の光を固視標として提供することができる。これにより、被検者の固視を促すことができる。
次に、前眼部観察用の光路252について説明する。前眼部観察用の光路252には、レンズ212,213、スプリットプリズム214、及び赤外光を検知する前眼部観察用のCCD215が設けられている。
光路252では、不図示の光源から970nm付近の波長を有する前眼部観察用の光が被検眼200の前眼部に対して照射される。被検眼200の前眼部からの反射光は対物レンズ201、第1ダイクロイックミラー202、レンズ212を介してスプリットプリズム214に入射する。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されている。スプリットプリズム214から出射された光はレンズ213を介してCCD215に入射する。CCD215は、970nm付近の波長を有する光を検出するものであり、前眼部からの反射光を検出し、前眼部からの反射光に対応する信号を生成する。OCT装置1は、不図示の制御部によって、当該CCD215からの信号を信号処理装置101や外部のサーバ等に送ることができる。信号処理装置101は、CCD215によって生成された信号に基づいて、被検眼200の前眼部の画像を生成することができる。この際、信号処理装置101は、CCD215によってスプリットプリズム214を通った反射光を検出することで、前眼部のスプリット像から被検眼200に対する撮像光学系100のZ方向(前後方向)の距離を検出することができる。
次に、OCT光学系の光路250について説明する。OCT光学系の光路250は、被検眼200の断層像を撮像するためのOCT光学系の一部を構成する。より具体的には、断層像の生成に使用される干渉信号を得るための測定光の光路を構成する。
OCT光学系の光路250には、XYスキャナ216、レンズ217,218が設けられている。XYスキャナ216は、OCT光源220からの光を被検眼200上で走査するためのOCT走査手段である。XYスキャナ216は1枚のミラーとして図示してあるが、x軸及びy軸の2軸方向の走査を行う2枚のガルバノミラーによって構成される。なお、XYスキャナ216は任意の偏向ミラーを用いて構成されることができる。
レンズ217は、光カプラー219に接続されている光ファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするための(焦点調整用の)レンズである。レンズ217は、不図示のモータによって光路251を通る光の光軸に沿って駆動されることができる。レンズ217を用いて焦点合わせを行うことによって、被検眼200からの戻り光が同時に光ファイバー224の先端に、スポット状に結像されて、光ファイバー224に入射する。
次に、OCT光学系に含まれる、OCT光源220から光ファイバー224までの光路、参照光学系、及び分光器230の構成について説明する。OCT光学系には、OCT光源220、光カプラー219、光カプラー219に接続されて一体化しているシングルモードの光ファイバー224,225,226,227、偏光調整部228、参照光学系、及び分光器230が設けられている。参照光学系には、参照ミラー221、分散補償用ガラス222、レンズ223、及び偏光調整部229が設けられている。OCT光学系は、これらの構成及び光路250に配置されている各光学要素によってマイケルソン干渉系を構成している。
OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。OCT光源220の中心波長は855nmであり、波長バンド幅は約100nmである。ここで、バンド幅は、OCT光学系を用いて取得される断層画像の光軸方向の分解能に影響するため、重要なパラメータとなる。
本実施例では、OCT光源220としてSLDを選択したが、他の種類の光源を用いてもよい。OCT光源は、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等の光源を用いることができる。なお、OCT光源の中心波長は眼を測定することを鑑みて、近赤外光とすることができる。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく中心波長が短波長の光源を用いることができる。本実施例では、これら双方の理由からOCT光源220として中心波長855nmの光源を用いている。
OCT光源220から出射された光は、光ファイバー225を通って光カプラー219に入射する。光カプラー219は、入射した光を光ファイバー224側に向かう測定光と、光ファイバー226側に向かう参照光とに分割する。
測定光は偏光調整部228及び光ファイバー224を通って、光路250に入射する。偏光調整部228は、測定光の偏光状態を調整する。測定光は、光路250を通って、撮像対象である被検眼200に照射される。測定光は、被検眼200によって反射又は散乱され、戻り光として同じ光路を通って光カプラー219に到達する。
一方、参照光は、偏光調整部229、光ファイバー226、レンズ223、及び測定光と参照光の分散を合わせるために挿入された分散補償用ガラス222を介して、参照ミラー221に到達し反射される。偏光調整部229は、参照光の偏光状態を調整する。参照ミラー221で反射された参照光は、戻り光として同じ光路を通って、光カプラー219に到達する。
ここで、偏光調整部228は、光ファイバー224中に設けられた測定光側の偏光調整部であり、偏光調整部229は、光ファイバー226中に設けられた参照光側の偏光調整部である。これらの偏光調整部228,229は光ファイバーをループ状にひきまわした部分を幾つか有している。偏光調整部228,229は、このループ状の部分を光ファイバーの長手方向を中心として回動させることでファイバーに捩じりを加え、光ファイバーを通る光の偏光状態を調整することができる。そのため、偏光調整部228,229を用いることで、測定光と参照光の偏光状態を各々調整して合わせることができる。
光カプラー219に到達した測定光の戻り光と参照光の戻り光は、光カプラー219によって合波され干渉光となる。測定光と参照光は、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。ここで、参照ミラー221は、不図示のモータ及び駆動機構によって光軸方向に調整可能に保持されており、参照ミラー221を光軸方向に移動することで、被検眼200に応じて変わる測定光の光路長に参照光の光路長を合わせることができる。光カプラー219で発生した干渉光は、光ファイバー227を介して分光器230に導かれる。
分光器230には、レンズ232,234、回折格子233、及びラインセンサ231が設けられている。光ファイバー227から出射された干渉光は、レンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。ラインセンサ231は、結像された干渉光を検出し、被検眼200の断層情報を含むOCT干渉信号を生成する。撮像光学系100は、不図示の制御部によって、OCT干渉信号を信号処理装置101や外部のサーバなどに送ることができる。信号処理装置101は、OCT干渉信号に基づいて、被検眼200の断層画像を生成することができる。
以上のような構成により、OCT装置1は、被検眼200の断層像を取得することができ、かつ、近赤外光であってもコントラストの高い被検眼200のSLO眼底像を取得することができる。
(撮像データの構造とEn−Face画像)
図3を参照して、撮像光学系100により取得される被検眼200の断層に関する3次元データ及びEn−Face画像の構造について説明する。図3は、撮像光学系100によって取得されるデータの構成を説明するための図である。
OCT装置1は、撮像光学系100で被検眼200を撮像し、取得されたOCT干渉信号に関するデータを信号処理装置101によって再構成することにより断層画像301を取得することができる。OCT装置1は、取得した断層画像301をxz軸平面とし、y軸方向に連続して被検眼200を撮像することで、断層画像301〜30nによって構成される被検眼200の眼底における特定の領域についての3次元データ300を取得することができる。なお、nは所望の構成に応じて任意の数であってよい。また、ここでは、3次元データ300を断層画像301〜30nから構成されるデータとしているが、3次元データは断層画像301〜30nに対応する2次元データ(OCT干渉信号)によって構成されるデータであってもよい。
また、信号処理装置101によって、取得した3次元データ300からxy軸平面の画像を生成することでEn−Face画像310を生成することできる。より具体的には、信号処理装置101は、xy軸方向の各画素位置において、3次元データ300の深さ方向の所定の範囲(深さ範囲)におけるデータを用いて、当該画素位置の画素値を決定し、En−Face画像310を取得する。本実施例に係る信号処理装置101では、xy軸方向の各画素位置において、3次元データ300の深さ方向の所定の範囲におけるデータ(画素値)を積算した値を当該画素位置の画素値として決定し、En−Face画像310を生成する。
なお、3次元データ300からEn−Face画像310を生成する場合には、深さ方向の所定の範囲におけるデータを積算する以外に、当該データを可算平均して各画素位置の画素値を決定してもよい。また、深さ方向の所定の範囲におけるデータから代表値を決め、当該代表値を各画素位置の画素値として決定してもよい。代表値の決め方としては、深さ方向の所定の範囲におけるデータをデータの値に応じて昇順又は降順に並べて中央の値を代表値としてもよいし、深さ方向の所定の範囲におけるデータのうちの一番高い値若しくは一番低い値、又は平均値を代表値としてもよい。
(画像処理装置の構成)
図4を参照して、本実施例による画像処理装置400について説明する。図4は、本実施例による画像処理装置400の概略的な構成の一例を示すブロック図である。
画像処理装置400には、画像処理部410、記憶手段420、決定手段430及び表示手段440が設けられている。画像処理部410には生成手段411と検出手段412(取得手段)が設けられている。画像処理部410と決定手段430は図1における信号処理装置101に相当し、記憶手段420は記憶部102に相当し、表示手段440は表示部104に相当する。
検出手段412は、撮像光学系100より新たに取得した被検眼200の3次元データ300に含まれる2次元データ(断層画像301〜30n)それぞれに対し断層構造の層の境界(層境界)を検出する。具体的には、検出手段412は、3次元データ300の各xy位置において、深さ方向(z軸方向)におけるデータのコントラスト差が所定の閾値よりも大きい箇所を層境界として検出する。また、検出手段412は、記憶手段420等に記憶された断層構造に関するテンプレート(断層の名称等を含む)を参照して、検出した層境界に基づいて、断層画像における各層を識別することができる。なお、コントラスト差を求めるデータは、断層画像301〜30nにおける輝度値であってもよいし、OCT干渉信号のデータであってもよい。
記憶手段420は、被検眼200について過去に生成されたEn−Face画像を生成する際に使用した3次元データの深さ範囲の情報を記憶する。そのため、画像処理装置400は記憶手段420から被検眼200の過去のEn−Face画像に関する深さ範囲の情報を参照することができる。なお、記憶手段420は、被検眼200の過去のEn−Face画像や検査日時、被検者に関する情報、断層構造に関するテンプレート等も記憶することができる。
決定手段430は、検出手段412より取得した層境界の情報と記憶手段420より参照した過去のEn−Face画像に関する深さ範囲の情報に基づいて、新たに取得した3次元データ300のEn−Face画像310を生成するための深さ範囲を決定する。生成手段411は、3次元データ300のうち、決定手段430によって決定した深さ範囲のデータを用いて、被検眼200の現在のEn−Face画像310を生成する。表示手段440は生成手段411より生成されたEn−Face画像310を表示する。
(表示画面の構成)
図5を参照して、本実施例に係る表示画面の構成について説明する。図5は本実施例に係る表示手段440に表示される画面の一例を示す。
表示画面500には、撮像光学系100によって現在の被検眼200から取得した撮像データを表示する現在データ表示領域510と、記憶手段420より取得した被検眼200の過去の撮像データを表示する過去データ表示領域550とが設けられている。現在データ表示領域510には、眼底画像を表示する眼底表示領域520と、断層画像を表示する断層表示領域530と、En−Face画像を表示するEn−Face表示領域540とが設けられている。また、過去データ表示領域550には、眼底表示領域560と、断層表示領域570と、En−Face表示領域580とが設けられている。
眼底表示領域520,560には、それぞれ、眼底画像521,561と、3次元データ範囲522,562と、断層画像位置指標523,563が表示されている。眼底画像521,561としては、撮像光学系100より取得できるSLO画像が表示される。なお、眼底画像521,561は、xy軸平面で3次元データよりも広範囲又は3次元データと同等の範囲の眼底像であればよい。眼底画像521,561は、撮像光学系100とは異なる眼底像撮像装置により同一被検眼200を撮像した画像や撮像光学系100により取得した3次元画像から眼底像を再構成した画像でもよい。
3次元データ範囲522,562は、被検眼200を撮像し、3次元データを取得した範囲を示す。眼底画像521,561上に3次元データ範囲522,562を表示することで、被検眼200の眼底に対して3次元データを撮像した範囲の位置関係を示すことができる。3次元データ範囲522,562の位置情報については、撮像光学系100よる撮像と同時に、3次元データと一緒に記憶手段420などのデータベースに登録されることができる。
断層画像位置指標523,563は断層表示領域530,570に表示される断層画像531,571を撮像した位置を示す指標である。なお、断層画像位置指標523,563の矢印は、断層画像531,571を取得する際の測定光の主走査方向を示している。
断層表示領域530,570には、それぞれ、断層画像531,571と、断層境界532,572と、En−Face生成範囲上端533,573と、En−Face生成範囲下端534,574とが表示されている。なお、図5においては、識別のため、En−Face生成範囲上端533,573を破線で示し、En−Face生成範囲下端534,574を二点鎖線で示している。これらを示す線は任意の種類の線であってよい。
断層画像531,571は、眼底表示領域520,560の断層画像位置指標523,563の位置における(に対応する)被検眼200の断層像を示す。断層画像位置指標523,563の位置は操作者の入力などに基づいて変更可能であり、断層画像位置指標523,563の位置の変更に応じて、断層画像531,571が示す断層像も変更される。
断層境界532,572は検出手段412で検出した各層境界を示す線の一例である。En−Face生成範囲上端533,573及びEn−Face生成範囲下端534,574はEn−Face表示領域540,580で表示するEn−Face画像541,581を生成する際の深さ範囲(生成範囲)を示す線である。
En−Face表示領域540,580には、それぞれ、En−Face画像541,581が表示されている。En−Face画像541は断層画像531におけるEn−Face生成範囲上端533及びEn−Face生成範囲下端534の間の深さ範囲内のデータから生成手段411によって生成されたEn−Face画像である。また、En−Face画像581は断層画像571におけるEn−Face生成範囲上端573及びEn−Face生成範囲下端574の間の深さ範囲内のデータから生成手段411によって生成されたEn−Face画像である。
本実施例では、表示画面500を上記のような構成としたが、後述のように過去のEn−Face画像に関する深さ範囲の情報を元に、現在のEn−Face画像541が生成されて、En−Face表示領域540に表示される構成であればよい。また、本実施例は、眼底の撮像データの例を示すものであるが、例えば前眼部などの眼底以外の部位の撮像データを示すこともできる。
(画像処理のフロー)
図6を参照して、画像処理装置400によるEn−Face画像の処理フローについて説明する。図6は、画像処理装置400の処理を示すフローチャートである。
ステップS601において画像処理が開始されると、ステップS602において画像処理装置400の画像処理部410は、現在の被検眼200の3次元データ300を取得する。具体的には、撮像光学系100により撮像が行われ、3次元データ300が取得される。
次にステップS603において、画像処理装置400の検出手段412は、取得した3次元データ300を解析し、現在の被検眼200の断層構造の各層ごとの境界線(層境界)を検出する。本実施例に係る層境界の検出は、上述のように、3次元データ300に含まれる断層情報において、深さ方向でデータのコントラスト差が大きい箇所を層境界として検出する。なお、層境界の検出方法はこれに限られず、任意の方法で行われてよい。また、画像処理部410は、検出された層境界について、記憶手段420等に記憶されるテンプレートを参照することで各層境界や層境界に挟まれる層を識別・特定することができる。特定される層境界としては、ILM(網膜-硝子体境界)、NFL/GCL境界、GCL/IPL境界、IPL/INL境界、IS/OSライン、RPE、BM等が挙げられる。
続いてステップS604において、画像処理部410は、記憶手段420から経過観察の比較対象となる過去の被検眼200の3次元データ(過去検査データ)を選択する。本実施例では、画像処理部410は、現在の3次元データ300よりも古く、同一患者、同一左右眼、同一部位で撮像された過去の3次元データの中で最新のものを自動的に選択する。なお、過去の3次元データの自動選択は、撮像光学系100によって3次元データを取得する際に日付や被検者の情報も取得し記憶手段420に記憶させ、これらの情報と現在の3次元データ300に関する情報を対比することで行うことができる。他にも、操作者によって手動選択する方法や、記憶手段420に記憶されるデータから層境界の形状や症例が近い過去の3次元データ(他者のデータも含む)を検索して選択する方法で、比較対象となる過去の3次元データを選択してもよい。
次にステップS605において、決定手段430は、ステップS604で選択した過去の3次元データについてEn−Face画像(過去のEn−Face画像)を生成した際のEn−Face画像生成ルールを記憶手段420から取得する。ここで、En−Face画像生成ルールとは、En−Face画像を生成する際に用いる3次元データの深さ範囲に関する情報をいう。より具体的には、En−Face画像生成ルールとは、En−Face画像が生成される3次元データにおける深さ範囲を画定するEn−Face生成範囲上端533,573及びEn−Face生成範囲下端534,574の位置を定義する情報である。En−Face画像生成ルールは、例えば特定の層境界、特定の境界からのオフセット量や特定の層内の内比等を含むことができる。
図7及び図8を参照して、具体的なEn−Face画像生成ルールについて説明する。 図7はEn−Face画像生成ルールを特定の層境界からの距離とした場合の例を示す。なお、図7においては、識別のため、En−Face生成範囲上端702を破線で示し、En−Face生成範囲下端703を二点鎖線で示している。これらを示す線は任意の種類の線であってよい。また、図7及び8において、上下とは断層画像における上下をいい、深さ方向においてより浅い方向を上、より深い方向を下としている。
断層画像700には、層境界701a,701bと、En−Face生成範囲上端702と、En−Face生成範囲下端703とが示されている。この例では、En−Face生成範囲上端702は一番上の層境界701aから距離L1だけ下方にあり、En−Face生成範囲下端703は下から二番目の層境界701bから距離L2だけ上方にある。
記憶手段420は、En−Face画像生成ルールとして、過去の3次元データにおいて設定されたEn−Face生成範囲上端702とEn−Face生成範囲下端703の位置情報である層境界701a,701b及び距離L1,L2を記憶する。決定手段430は、ステップS605でEn−Face画像生成ルールを記憶手段420から取得し、ステップS606でEn−Face画像生成ルールを現在の3次元データ300に適用する。
この際、決定手段430は、取得したEn−Face画像生成ルール及び被検眼200の現在の3次元データ300における層境界に基づいて、現在のEn−Face画像310のための深さ範囲として決定する。より具体的には、決定手段430は、取得したEn−Face画像生成ルールに基づいて、被検眼200の現在の3次元データ300における一番上の層境界から距離L1だけ下方の位置にEn−Face生成範囲上端を設定する。また、決定手段430は、取得したEn−Face画像生成ルールに基づいて、被検眼200の現在の3次元データ300における下から二番目の層境界から距離L2だけ上方の位置にEn−Face生成範囲下端を設定する。
これにより、画像処理装置400は、所定の層境界から所定の距離だけ離れた位置同士間の範囲(深さ範囲)でEn−Face画像を正確に生成することができ、被検眼200の経過観察時における比較の精度を向上させることができる。なお、En−Face画像の生成ルールにおける特定の層境界は、上記の一番上の層境界及び下から2番目の層境界に限られず、任意の層境界であってよい。また、距離L1,L2も任意に設定されてよい。
図8は、En−Face画像生成ルールを特定の2つの層境界からの距離の比(内比)とした場合の例を示す。なお、図8においては、識別のため、En−Face生成範囲上端802を破線で示し、En−Face生成範囲下端803を二点鎖線で示している。これらを示す線は任意の種類の線であってよい。
断層画像800には、層境界801a,801b,801c,801dと、En−Face生成範囲上端802と、En−Face生成範囲下端803とが示されている。この例では、En−Face生成範囲上端802は層境界801aと層境界801b間の層をR1:R2に内分する位置に設定され、En−Face生成範囲下端803は層境界801cと層境界801d間の層をR3:R4に内分する位置に設定されている。
本例では、記憶手段420は、特定の2つの層境界からの距離の比をEn−Face画像生成ルールとして記憶する。具体的には、記憶手段420は、En−Face画像生成ルールとして、層境界801a,801b,801c,801dと比R1:R2,R3:R4を記憶する。なお、記憶手段420は、比に変えて、単に比の値R1,R2,R3,R4を記憶してもよい。決定手段430は、図7に示す例において距離L1,L2を記憶した場合と同様に、ステップS605でEn−Face画像生成ルールを記憶手段420から取得し、ステップS606でEn−Face画像生成ルールを現在の3次元データ300に適用する。
この際、決定手段430は、取得したEn−Face画像生成ルール及び被検眼200の現在の3次元データ300における層境界に基づいて、En−Face生成範囲上端とEn−Face生成範囲下端を決定する。より具体的には、決定手段430は、取得したEn−Face画像生成ルールに基づいて、被検眼200の現在の3次元データにおける層境界801a,801bに対応する層境界間の層をR1:R2に内分する位置にEn−Face生成範囲上端を設定する。また、決定手段430は、取得したEn−Face画像生成ルールに基づいて、被検眼200の現在の3次元データにおける層境界801c,801dに対応する層境界間の層をR3:R4に内分する位置にEn−Face生成範囲下端を設定する。
これにより、画像処理装置400は、所定の層内の決まった割合の位置同士間の範囲(深さ範囲)でEn−Face画像を正確に生成することができる。例えば、経過観察で浮腫等の影響で層の厚さが大きく変わってしまった場合、図7に示す距離でEn−Face生成範囲を特定する例では、En−Face画像の生成に用いるべきデータがEn−Face生成範囲の外にずれてしまう場合がある。これに対し、本例の場合には、En−Face生成範囲を層境界間の内比で特定するため、層の厚さが大きく変わった場合でも、En−Face画像の生成に用いるべきデータがEn−Face生成範囲の外に出てしまうことを防止できる。なお、En−Face画像生成ルールにおける特定の層境界及び内比は、任意に設定することができる。
また、上記においては、En−Face画像生成ルールについて2つのパターンを紹介したが、En−Face画像生成ルールはこれらに限られない。En−Face画像生成ルールは、例えば、En−Face生成範囲として単に2つの層境界を含む等、他のルールとしてもよい。また、画像処理部410を、ユーザーが上記2つのパターンや他のパターンのEn−Face画像生成ルールを簡単に切り替えることができるように構成してもよい。
ステップS606では、決定手段430が、生成手段411で現在の3次元データ300のEn−Face画像310を生成するために、ステップS605で読み込まれたEn−Face画像生成ルールを現在の被検眼200の3次元データ300に適用する。この際、決定手段430は、上記で述べた層境界701a,701b等のEn−Face画像生成ルールに含まれる特定の層境界の情報を、ステップS603で特定された現在の被検眼200の層境界の情報に適用する。決定手段430は、En−Face画像生成ルールを現在の3次元データ300に適用することで、現在の3次元データ300に対するEn−Face生成範囲を決定する。
次に、ステップS607において、生成手段411は、現在の3次元データ300のうち、決定手段430によって決定されたEn−Face生成範囲内のデータを用いて、被検眼200の現在のEn−Face画像310を生成する。本実施例において、生成手段411は、以下の数式を用いて現在のEn−Face画像310の各画素値で算出する。ここで、EnFace(x,y)は座標(x,y)におけるEn−Face画像310の画素値を示す。また、Dhigh(x,y)及びDlow(x,y)は、En−Face画像310を生成する範囲の上端及び下端の位置をそれぞれ示しており、Img(x,y,z)は3次元データ300の座標(x,y,z)でのデータ(画素値)を表す。
Figure 2018000699
次にステップS608において、表示手段440が、生成手段411が生成したEn−Face画像310を表示する。その後、画像処理装置400は、ステップS609において処理を終了する。
このように、画像処理装置400では、経過観察時の比較対象となる過去のEn−Face画像に関するEn−Face画像生成ルールと現在の3次元データ300における層境界の情報に基づいて、En−Face画像310が生成される。これにより、被検眼200について同様の条件で生成された現在及び過去のEn−Face画像をより正確に比較することができる。
上記のように本実施例に係る画像処理装置400は、現在の被検眼200の断層構造における層境界の情報を取得する検出手段412を備える。さらに、画像処理装置400は、被検眼200の過去のEn−Face画像に関する深さ範囲を示す情報及び現在の被検眼200の層境界の情報に基づいて、現在の被検眼200のEn−Face画像310に関する深さ範囲を決定する決定手段430を備える。また、画像処理装置400は、現在の被検眼200に対して取得された3次元データ300のうち、現在の被検眼のEn−Face画像310に関する深さ範囲内のデータを用いて、被検眼の現在のEn−Face画像310を生成する生成手段411を備える。
このため、画像処理装置400を用いることで、被検眼200についての過去のEn−Face画像と同様の条件で生成された現在のEn−Face画像310を生成することができる。そのため、画像処理装置400を用いることで、現在及び過去のEn−Face画像をより正確に比較することができ、経過観察の精度を向上させることができる。また、過去のEn−Face画像に関する深さ範囲を示す情報に基づいて現在のEn−Face画像310に関する深さ範囲が決定されるため、取得した現在の3次元データ300に対するEn−Face生成範囲の指定を効率よく実施することができる。
なお、過去のEn−Face画像に関する深さ範囲を示す情報としては、所定の層境界の情報、所定の層境界からの距離、又は所定の2つの層境界からの距離の比等を用いることができる。
また、En−Face画像310の生成に使用される3次元データ300としては、撮像光学系100で取得されたOCT干渉信号の値、被検眼200の断層画像における輝度値、偏向パラメータ、又はモーションコントラストデータなどを用いてよい。ここで、モーションコントラストデータとは、異なる時間に撮像された略同一位置の断層画像同士の差分を取って求められる、被検体の移動を示すデータである。そのため、モーションコントラストデータを用いることで動きのある部位を検出することができ、モーションコントラストデータを画素値として用いることで、例えば被検体の血管画像を生成することができる。特に、En−Face画像の生成に、3次元のモーションコントラストデータを用いることで、血管画像であるOCTA画像を生成することができる。
なお、画像処理部410は、現在の被検眼200の3次元データ300を撮像光学系100から取得する構成に限られない。画像処理部410は、現在の被検眼200の3次元データ300を、例えば、WANを介して外部のサーバから取得してもよいし、LANを介して院内データベース等の任意の記憶装置から取得してもよい。同様に、画像処理部410は、過去の被検眼200の3次元データを、例えば、WANを介して外部のサーバから取得してもよいし、LANを介して院内データベース等の任意の記憶装置から取得してもよい。
本実施例では、現在の被検眼200の断層構造における層境界の情報を取得する取得手段を、現在の被検眼200の3次元データ300から現在の被検眼200の断層構造における層境界を検出する検出手段412を用いて層境界の情報を取得する構成とした。しかしながら、取得手段の構成はこれに限られない。取得手段は、現在の被検眼200の断層構造における層境界の情報を、例えば、WANを介して外部のサーバから取得してもよいし、LANを介して院内データベース等の任意の記憶装置から取得してもよい。
なお、本実施例に係る画像処理装置400は、過去のEn−Face画像に関する深さ範囲を示す情報を記憶する記憶手段420をさらに備え、決定手段430は、記憶手段420から当該情報を取得する。しかしながら、決定手段430は、過去のEn−Face画像のEn−Face画像生成ルールを記憶手段420から取得する構成に限られない。決定手段430は、過去のEn−Face画像のEn−Face画像生成ルールを、例えば、WANを介して外部のサーバから取得してもよいし、LANを介して院内データベース等の任意の記憶装置から取得してもよい。
また、本実施例に係る画像処理装置400は、生成手段411で生成されたEn−Face画像を表示する表示手段440をさらに備える。表示手段440は、異なる時刻に生成された複数のEn−Face画像を表示したり、現在の被検眼200の断層画像を表示するとともに断層画像に現在のEn−Face画像310に関する深さ範囲を示す境界線を表示することもできる。
[実施例2]
実施例1では、記憶手段420等に過去の3次元データについてのEn−Face画像生成ルールが記憶されていた。これに対し、記憶手段420等に過去の3次元データについてのEn−Face画像生成ルールが記憶されていない場合も想定される。実施例2によるOCT装置は、記憶手段420等に過去の3次元データについてのEn−Face画像生成ルールが記憶されていない場合に、デフォルトルール(初期設定)を適用して被検眼200の現在のEn−Face画像310を効率よく生成する。なお、実施例2によるOCT装置の各構成要素は実施例1によるOCT装置の各構成要素と同様の構成を有するため、同一の参照符号用いて説明を省略する。
以下、図9を参照して実施例2に係る画像処理について、実施例1に係る画像処理との差を中心に説明する。図9は、過去の3次元データについてEn−Face画像生成ルールが記憶されていない場合を考慮した、実施例2に係る画像処理装置400における画像処理のフローを示す。
実施例2に係る画像処理では、実施例1に係る画像処理と同様に、3次元データの取得(ステップS902)、層境界の検出(ステップS903)を実施し、ステップS904にて過去の3次元データの選択を行う。
次にステップS905において、画像処理部410は、En−Face画像生成ルールが記憶手段420に記憶されているか否か(En−Face画像生成ルールの有無)を確認する。En−Face画像生成ルールが記憶されている場合には、実施例1に係る画像処理と同様のフロー(ステップS906〜ステップS910)で被検眼200の現在のEn−Face画像310が生成・表示される。
これに対し、記憶手段420にEn−Face画像生成ルールが記憶されていない場合には、画像処理装置400は、デフォルトのEn−Face画像生成ルール(デフォルトルール)を適用するステップS907に処理を移す。En−Face画像生成ルールが記憶されていない場合としては、比較する過去の3次元データにおいてEn−Face画像が作成されていない場合が想定される。
ステップS907において、決定手段430は、予め設定された所定のデフォルトのEn−Face画像生成ルールを現在の3次元データ300に適用し、En−Face生成範囲(深さ範囲)を決定する。デフォルトのEn−Face画像生成ルールの例としては、NFL/GCL境界とGCL/IPL境界等の予め設定された層境界が挙げられる。また、デフォルトのEn−Face画像生成ルールとして、使用前に予め操作者が指定した位置、他の患者で使用されたEn−Face画像生成ルールのうちで最も頻度の高いルール等を用いてもよい。
決定手段430によってデフォルトのEn−Face画像生成ルールに基づいてEn−Face生成範囲が決定された後、ステップS909において、生成手段411がEn−Face画像310を生成する。その後、ステップS910において、表示手段440が、生成手段411によって生成されたEn−Face画像310を表示し、ステップS911で画像処理装置400が処理を終了する。
以上の処理により、画像処理装置400は、記憶手段420等に過去のEn−Face画像生成ルールが記憶されていない場合でも、取得した現在の3次元データのEn−Face画像に対する生成範囲の指定を効率よく実施することができる。なお、上記の例では記憶手段420に過去のEn−Face画像生成ルールが記憶されていない場合について述べたが、決定手段430が記憶手段以外から過去のEn−Face画像生成ルールを取得する場合も同様に処理することができる。
また、比較対象の過去の3次元データ自体が記憶手段420等に記憶されていない場合も想定される。このような場合には、画像処理装置400は、ステップS904において過去の3次元データが記憶されていないことを判断し、処理を直接ステップS907に移して、現在の3次元データにデフォルトルールを適用することができる。
以上のように、本実施例に係る画像処理装置400では、記憶手段420に過去のEn−Face画像に関する深さ範囲を示す情報が記憶されていない場合に、所定のルールに従って現在のEn−Face画像310を生成する。より具体的には、生成手段411は、記憶手段420に過去のEn−Face画像に関する深さ範囲を示す情報が記憶されていない場合に、被検眼200の3次元データのうち、所定の深さ範囲のデータを用いて、現在のEn−Face画像310を生成する。このため、取得した現在の3次元データ300のEn−Face画像310に対する生成範囲の指定を効率よく実施することができる。
[実施例3]
実施例1及び2では、現在の3次元データ300に対して、En−Face画像生成ルール又はデフォルトルールを適用して現在のEn−Face画像310を生成した。これに対し、図5に示されるような経過観察の画面が表示された後に、操作者がEn−Face生成範囲の調整を所望する場合がある。実施例3では、このような場合を鑑み、En−Face画像生成ルールの適用後に、En−Face生成範囲(深さ範囲)を変更することができる画像処理装置1000を含むOCT装置を提供する。
以下、図10を参照して実施例3に係る画像処理装置1000について、実施例1に係る画像処理装置400との差を中心に説明する。図10は、En−Face生成範囲、すなわちEn−Face画像生成ルールの変更手段1050を含めた本実施例に係る画像処理装置1000の概略的な構成を示すブロック図である。画像処理装置1000の構成は、実施例1に係る画像処理装置400の構成に加えて変更手段1050を有する構成である。なお、画像処理部1010、生成手段1011、検出手段1012、記憶手段1020、決定手段1030、及び表示手段1040は、実施例1に係る画像処理装置400の各構成要素と同様のものであるため、説明を省略する。
変更手段1050は、図1における入力部103に対応する。変更手段1050は、決定手段1030で決定されたEn−Face生成範囲を、マウスやキーボードなどの入力部103からの入力に応じて変更することができる。具体的には、変更手段1050は、図5に示される表示画面500における現在の3次元データの断層表示領域530に表示されたEn−Face生成範囲上端533とEn−Face生成範囲下端534の位置をマウスドラッグに応じて変更することができる。
この際、生成手段1011は、変更手段1050によるEn−Face生成範囲の変更に合わせてEn−Face画像541を生成し、生成されたEn−Face画像541がEn−Face表示領域540に表示される。これにより、自動的にEn−Face画像を生成・表示した後に、操作者がEn−Face生成範囲を調整することができ、利便性を向上させることができる。
操作者が経過観察の対象にEn−Face画像541を合わせる場合には、En−Face生成範囲を調節する際に、マウスドラッグに応じて現在のEn−Face画像541だけを変更することができる。これに対し、操作者が、経過観察の対象も含めて、過去の3次元データに記録されていたものとは異なる深さ範囲のEn−Face画像の比較を所望する場合も想定される。この場合には、現在のEn−Face生成範囲の変更に合わせて、過去の3次元データのEn−Face生成範囲上端573やEn−Face生成範囲下端574、En−Face画像581も連動して変更することができる。これにより、経過観察時の比較の効率を向上させることができる。深さ範囲の変更方法は、マウスドラッグ以外にも、層境界の指定やEn−Facec画像生成ルールの距離や比を入力することで変更してもよい。
以上のように、本実施例に係る画像処理装置1000は被検眼200の現在のEn−Face画像に関する深さ範囲を変更する変更手段をさらに備える。これにより、画像処理装置1000を用いることで、取得した3次元データのEn−Face画像に対する生成範囲の指定を効率よくかつ操作者の意図に沿って実施することができる。
なお、上記実施例1乃至3では撮像光学系100における干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることできる。また、撮像光学系100の構成は、上記の構成に限られず、撮像光学系100に含まれる構成の一部を撮像光学系100と別体の構成としてもよい。
さらに、上記実施例1乃至3では、OCT装置として、SLDを光源として用いたスペクトラルドメインOCT(SD−OCT)装置について述べたが、本発明によるOCT装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型OCT(SS−OCT)装置等の他の任意の種類のOCT装置にも本発明を適用することができる。
また、上記実施例1乃至3による画像処理装置400,1000における、画像処理部410,1010、及び決定手段430,1030は、専用の回路を用いて実現されてもよいし、CPUなどの演算装置によって実現されてもよい。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
200:被検眼(被検体)、300:3次元データ、310:En−Face画像、400:画像処理装置、411:生成手段、412:検出手段(取得手段)、430:決定手段

Claims (15)

  1. 現在の被検体の断層構造における層境界の情報を取得する取得手段と、
    前記被検体の過去のEn−Face画像に関する深さ範囲を示す情報及び前記層境界の情報に基づいて、前記被検体の現在のEn−Face画像に関する深さ範囲を決定する決定手段と、
    前記現在の被検体に対して取得された3次元データのうち、前記現在のEn−Face画像に関する深さ範囲内のデータを用いて、前記現在のEn−Face画像を生成する生成手段と、
    を備える、画像処理装置。
  2. 前記過去のEn−Face画像に関する深さ範囲を示す情報として所定の層境界の情報を用いる、請求項1に記載の画像処理装置。
  3. 前記過去のEn−Face画像に関する深さ範囲を示す情報として所定の層境界からの距離を用いる、請求項1に記載の画像処理装置。
  4. 前記過去のEn−Face画像に関する深さ範囲を示す情報として所定の2つの層境界からの距離の比を用いる、請求項1に記載の画像処理装置。
  5. 前記3次元データから前記現在の被検体の断層構造における層境界を検出する検出手段をさらに備え、
    前記取得手段は前記検出手段から前記層境界の情報を取得する、請求項1乃至4のいずれか一項に記載の画像処理装置。
  6. 前記過去のEn−Face画像に関する深さ範囲を示す情報を記憶する記憶手段をさらに備える、請求項1乃至5のいずれか一項に記載の画像処理装置。
  7. 前記記憶手段に前記過去のEn−Face画像に関する深さ範囲を示す情報が記憶されていない場合、前記生成手段は、前記3次元データのうち、前記被検体における所定の深さ範囲のデータを用いて、前記現在のEn−Face画像を生成する、請求項6に記載の画像処理装置。
  8. 前記生成手段で生成されたEn−Face画像を表示する表示手段をさらに備える、請求項1乃至7のいずれか一項に記載の画像処理装置。
  9. 前記表示手段は、異なる時刻に生成された複数のEn−Face画像を表示する、請求項8に記載の画像処理装置。
  10. 前記表示手段は、前記現在の被検体の断層画像を表示し、前記断層画像に前記現在のEn−Face画像に関する深さ範囲を示す境界線を表示する、請求項8又は9に記載の画像処理装置。
  11. 前記現在のEn−Face画像に関する深さ範囲を変更する変更手段をさらに備える、請求項1乃至10のいずれか一項に記載の画像処理装置。
  12. 前記被検体は眼底である、請求項1乃至11のいずれか一項に記載の画像処理装置。
  13. 前記En−Face画像は血管画像である、請求項1乃至12のいずれか一項に記載の画像処理装置。
  14. 被検体を撮像し、前記被検体の断層情報を含む3次元データを取得する撮像手段と、
    前記被検体の過去のEn−Face画像に関する深さ範囲を示す情報を記憶する記憶手段と、
    現在の前記被検体の3次元データから、前記現在の被検体の断層構造における層境界を検出する検出手段と、
    前記過去のEn−Face画像に関する深さ範囲を示す情報と前記層境界とに基づいて、前記被検体の現在のEn−Face画像に関する深さ範囲を決定する決定手段と、
    前記現在の被検体の3次元データのうち、前記現在のEn−Face画像に関する深さ範囲内のデータを用いて、前記現在のEn−Face画像を生成する生成手段と、
    を備える、撮像装置。
  15. 現在の被検体の断層構造における層境界の情報を取得することと、
    前記被検体の過去のEn−Face画像に関する深さ範囲を示す情報及び前記層境界の情報に基づいて、前記被検体の現在のEn−Face画像に関する深さ範囲を決定することと、
    前記現在の被検体に対して取得された3次元データのうち、前記現在のEn−Face画像に関する深さ範囲内のデータを用いて、前記現在のEn−Face画像を生成することと、
    を含む、画像処理方法。
JP2016133661A 2016-07-05 2016-07-05 画像処理装置、画像処理装置の制御方法、及びプログラム Active JP6788397B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016133661A JP6788397B2 (ja) 2016-07-05 2016-07-05 画像処理装置、画像処理装置の制御方法、及びプログラム
US15/632,954 US10289907B2 (en) 2016-07-05 2017-06-26 Image processing apparatus, image pickup apparatus, and image processing method
CN201710540334.1A CN107569207B (zh) 2016-07-05 2017-07-05 图像处理装置、摄像装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016133661A JP6788397B2 (ja) 2016-07-05 2016-07-05 画像処理装置、画像処理装置の制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2018000699A true JP2018000699A (ja) 2018-01-11
JP2018000699A5 JP2018000699A5 (ja) 2019-06-13
JP6788397B2 JP6788397B2 (ja) 2020-11-25

Family

ID=60892405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016133661A Active JP6788397B2 (ja) 2016-07-05 2016-07-05 画像処理装置、画像処理装置の制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US10289907B2 (ja)
JP (1) JP6788397B2 (ja)
CN (1) CN107569207B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019198383A (ja) * 2018-05-14 2019-11-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023514489A (ja) * 2020-01-17 2023-04-06 ハーグ-シュトライト アクチェンゲゼルシャフト Octによる眼の空間分解透過計測

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071113A (ja) * 2010-08-31 2012-04-12 Canon Inc 画像処理装置、画像処理装置の制御方法及びプログラム
US20120277579A1 (en) * 2011-07-07 2012-11-01 Carl Zeiss Meditec, Inc. Inter-frame complex oct data analysis techniques
JP2016010657A (ja) * 2014-06-30 2016-01-21 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668342B2 (en) * 2005-09-09 2010-02-23 Carl Zeiss Meditec, Inc. Method of bioimage data processing for revealing more meaningful anatomic features of diseased tissues
WO2009058850A1 (en) * 2007-10-30 2009-05-07 University Of Miami System and method for imaging tear film on an ocular surface
WO2009073970A1 (en) * 2007-12-10 2009-06-18 Oti Ophthalmic Technologies Inc. A method for performing micro-perimetry exams based on a retinal volume image and a well registered fundus image
US8500279B2 (en) * 2008-11-06 2013-08-06 Carl Zeiss Meditec, Inc. Variable resolution optical coherence tomography scanner and method for using same
JP5242472B2 (ja) 2009-03-23 2013-07-24 株式会社ニデック 眼科観察装置
WO2011074078A1 (ja) * 2009-12-15 2011-06-23 キヤノン株式会社 画像処理装置、画像処理方法、撮像システム及びプログラム
GB201219761D0 (en) * 2012-11-02 2012-12-19 Res & Dev Ltd Method and apparatus for processing the signal in spectral interferometry and method and apparatus for spectral optical coherence tomography
JP6217085B2 (ja) * 2013-01-23 2017-10-25 株式会社ニデック 眼科撮影装置
JP6411728B2 (ja) 2013-11-13 2018-10-24 株式会社トプコン 眼科観察装置
JP6520099B2 (ja) * 2014-06-30 2019-05-29 株式会社ニデック 光コヒーレンストモグラフィ装置、及びデータ処理プログラム
JP6632267B2 (ja) * 2015-09-04 2020-01-22 キヤノン株式会社 眼科装置、表示制御方法およびプログラム
CN105686795B (zh) * 2016-01-13 2018-05-29 深圳市斯尔顿科技有限公司 一种en face OCT图像的动态显示方法
US10251549B2 (en) * 2016-02-07 2019-04-09 Marinko Sarunic System and method for dynamic focus control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071113A (ja) * 2010-08-31 2012-04-12 Canon Inc 画像処理装置、画像処理装置の制御方法及びプログラム
US20120277579A1 (en) * 2011-07-07 2012-11-01 Carl Zeiss Meditec, Inc. Inter-frame complex oct data analysis techniques
JP2016010657A (ja) * 2014-06-30 2016-01-21 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019198383A (ja) * 2018-05-14 2019-11-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6788397B2 (ja) 2020-11-25
US10289907B2 (en) 2019-05-14
US20180012058A1 (en) 2018-01-11
CN107569207B (zh) 2020-04-17
CN107569207A (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
JP6624945B2 (ja) 画像形成方法及び装置
JP4869756B2 (ja) 眼底観察装置
JP4896794B2 (ja) 光画像計測装置、それを制御するプログラム及び光画像計測方法
JP5061380B2 (ja) 眼底観察装置、眼科画像表示装置及びプログラム
JP5437755B2 (ja) 眼底観察装置
US9560961B2 (en) Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and non-transitory tangible medium
JP6071331B2 (ja) 画像処理装置及び画像処理方法
KR101570666B1 (ko) 화상처리장치 및 화상처리방법
JP6627342B2 (ja) Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。
JP5916110B2 (ja) 画像表示装置、画像表示方法、及びプログラム
JP5367047B2 (ja) 眼底観察装置
JP5543171B2 (ja) 光画像計測装置
JP5941761B2 (ja) 眼科撮影装置及び眼科画像処理装置
JP6143421B2 (ja) 光干渉断層撮影装置及びその方法
US20160183785A1 (en) Photography apparatus and photography method
JP6624641B2 (ja) 眼科装置
JP2018019771A (ja) 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP2022176282A (ja) 眼科装置、及びその制御方法
US20140063449A1 (en) Optical tomographic imaging apparatus, image processing apparatus, and optical tomographic image display method
JP2019042172A (ja) 眼科装置、および白内障評価プログラム
JP6946696B2 (ja) 眼底解析装置及び眼底解析プログラム
JP6779674B2 (ja) Oct装置
CN107569207B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2020049231A (ja) 情報処理装置及び情報処理方法
JP2013135976A (ja) 眼科観察装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201030

R151 Written notification of patent or utility model registration

Ref document number: 6788397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151