JP2019042376A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2019042376A
JP2019042376A JP2017171188A JP2017171188A JP2019042376A JP 2019042376 A JP2019042376 A JP 2019042376A JP 2017171188 A JP2017171188 A JP 2017171188A JP 2017171188 A JP2017171188 A JP 2017171188A JP 2019042376 A JP2019042376 A JP 2019042376A
Authority
JP
Japan
Prior art keywords
image
dimensional
face image
face
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017171188A
Other languages
English (en)
Other versions
JP7030455B2 (ja
JP2019042376A5 (ja
Inventor
川瀬 大輔
Daisuke Kawase
大輔 川瀬
弘樹 内田
Hiroki Uchida
弘樹 内田
治 嵯峨野
Osamu Sagano
治 嵯峨野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017171188A priority Critical patent/JP7030455B2/ja
Priority to US16/119,892 priority patent/US10885330B2/en
Priority to EP18192423.4A priority patent/EP3453312B1/en
Publication of JP2019042376A publication Critical patent/JP2019042376A/ja
Publication of JP2019042376A5 publication Critical patent/JP2019042376A5/ja
Application granted granted Critical
Publication of JP7030455B2 publication Critical patent/JP7030455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/404Angiography

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】 複数の三次元画像から高速かつ簡便に二次元のパノラマ画像を生成する。【解決手段】 被検眼の第1の三次元画像から生成された第1のEn−Face画像の生成条件を取得する取得手段と、前記取得手段により取得された前記生成条件を前記被検眼の第2の三次元画像に対して適用することで前記第2の三次元画像から第2のEn−Face画像を生成する第1生成手段と、前記第1のEn−Face画像と前記第2のEn−Face画像とを合成することで合成画像を生成する第2生成手段と、を備える。【選択図】 図5

Description

本明細書の開示は、画像処理装置、画像処理方法およびプログラムに関する。
被検眼を観察するための装置として、OCT(OCT:Optical Coherence Tomography)が知られている。さらに、OCTで取得した三次元画像から、深さ位置の異なる二つの任意の基準面に挟まれた範囲の画素を深さ方向に投影したEn−Face画像と呼ばれる二次元画像を生成することが知られている。また、特許文献1には、OCTA(OCT Angiography)のEn−Face画像に関して、複数のEn−Face画像を合成することで二次元のパノラマ画像を生成することが開示されている。
特開2017−47113号公報
しかし、二次元のパノラマ画像のような二次元の合成画像を生成する場合、当該合成画像の元となる複数の二次元画像を生成するために、複数の三次元画像に対してたとえば基準面など二次元画像の生成条件をユーザがそれぞれ設定する必要があり、ユーザの負担となっていた。
本明細書の開示は、複数の三次元画像から簡便に二次元の合成画像を生成することを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本開示の他の目的の1つとして位置付けることができる。
開示の画像処理装置は、被検眼の第1の三次元画像から生成された第1のEn−Face画像の生成条件を取得する取得手段と、前記取得手段により取得された前記生成条件を前記被検眼の第2の三次元画像に対して適用することで前記第2の三次元画像から第2のEn−Face画像を生成する第1生成手段と、前記第1のEn−Face画像と前記第2のEn−Face画像とを合成することで合成画像を生成する第2生成手段と、を備える。
本明細書の開示によれば、複数の三次元画像から簡便に二次元の合成画像を生成することが可能となる。
実施例1に係る画像処理装置の表示画面の一例を示した図である。 実施例1に係る画像処理システムの構成の一例を示した図である。 実施例1に係る画像取得方法の一例を示した図である。 実施例1に係るEn−Face画像の生成方法の一例を示した図である。 実施例1に係る画像処理装置の構成の一例を示した図である。 実施例1に係る画像処理装置の動作の一例を示したフローチャートである。 実施例1に係る画像処理装置の表示画面の一例を示した図である。 実施例1に係る画像処理装置の表示画面の一例を示した図である。 実施例2に係る画像処理装置の動作の一例を示した図である。 実施例4に係る画像処理装置の表示画面の一例を示した図である。 実施例4に係る画像処理装置の動作の一例を示したフローチャートである。
以下、図面を参照して実施例を説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。
<実施例1>
図2は、実施例1に係る画像処理システムの構成の一例を示す図である。実施例1に係る画像処理システムはOCT撮影装置201と画像処理装置209と表示装置101とを含む。なお、図2においては、OCT撮影装置201と画像処理装置209と表示装置101とはそれぞれ別体となっているが、これに限定されるものではなく、例えば、画像処理装置209と表示装置101とが一体として構成されていてもよい。また、OCT撮影装置201と画像処理装置209とが一体として構成されていてもよい。
OCT撮影装置201は、被検眼のたとえば眼底表面に対して指定された二次元の計測範囲および計測深度情報をもとに、被検眼の断層画像を示す信号を取得する。OCT撮影装置201は、例えばSpectral−Domain OCT(SD−OCT)であるが、被検眼の断層を撮影可能な装置であればOCTの方式は問わない。図2に示すように、OCT撮影装置201は、光源202、ハーフミラー203、ガルバノミラー204、対物レンズ205、参照ミラー206、回折格子207およびラインセンサ208を備える。
光源202から出射した低コヒーレンス光は、ハーフミラー203で信号光と参照光に分割される。測定光は、ガルバノミラー204および対物レンズ205を介して被検眼Eへ入射する。なお、被検眼の走査位置の変更は、ガルバノミラー204を動かすことで実現可能である。なお、図2においては簡単のためガルバノミラー204は1つのみを図示しているが、実際には互いに直交する方向に光を走査可能な2枚のガルバノミラーが用いられる。被検眼へ入射した信号光は、被検眼で反射、散乱されたのち、逆の光路をたどってハーフミラー203へ戻る。参照光は、参照ミラー206で反射、散乱されたのち、逆の光路をたどってハーフミラー203へ戻る。ハーフミラー203は、信号光および参照光の戻り光を重畳して干渉光を生成する。回折格子207は、干渉光を波長λ1〜λnの波長成分に分光する。ラインセンサ208は、分光された干渉光を波長成分ごとに検出する。ラインセンサ208は検出結果に応じた信号を出力する。
本実施例のOCT撮影装置201は、被検眼の異なる部位の断層画像を連続的に取得するためのモードとして、パノラマ撮影モードを有する。操作者が本モードを選択した場合、たとえば図3に示す被検眼の部分領域301の撮影が終了すると、内部固視灯を移動することで被検眼の視線を異なる方向へ誘導する。この状態で撮影することで、部分領域301とは異なる、部分領域302の断層画像を取得することができる。同様の処理を連続して行うことで、部分領域303などの断層画像を取得することができる。なお、パノラマ撮影モードで撮影した断層画像に基づく広角のパノラマ合成画像を生成する場合、部分領域301と部分領域302の少なくとも一部の領域が重なるように内部固視灯を移動することが望ましい。本実施例では、部分領域301と部分領域302の面積の各25%の領域が重なるように内部固視灯を移動する。なお、数値は例示であり、これに限定されるものではない。
画像処理装置209は、例えばコンピュータである。画像処理装置209は、ラインセンサ208からの出力信号をもとにフーリエ変換を利用して例えば被検眼の眼底の断層画像を生成する。なお、断層画像の生成方法は公知の手法により実現可能であるため詳細な説明は省略する。
なお、被検眼の任意の点について測定光を照射することを、本明細書ではAスキャンと呼び、Aスキャンで生成した断層画像をAスキャン画像と呼ぶ場合がある。さらに、任意の線に沿って信号光を被検眼へ断続的に照射することをBスキャンと呼び、Bスキャンで取得した断層画像をBスキャン画像と呼ぶ場合がある。すなわち、Bスキャン画像は複数のAスキャン画像により構成される。
画像処理装置209は、被検眼の複数部位のBスキャン画像を取得することで、被検眼の三次元画像を構築することができる。Bスキャンの方向は、特定部位に対して放射状にスキャンするラジアルスキャンでも、一定方向にスキャンする水平スキャンや垂直スキャンでもよい。
画像処理装置209は、三次元画像から、例えば深さ方向(Z方向)の二つの任意の基準面に基づいて平面に投影した二次元画像であるEn−Face画像を生成する。図7は画像処理装置209により生成されたBスキャン画像とEn−Face画像との一例である。En−Face画像は基準面130aと基準面130bとに挟まれる範囲をZ方向に投影した画像である。画像処理装置209は、具体的には、図4に示すように、取得した複数のBスキャン画像40−1〜40−nから構築した不図示の三次元画像の特定の深さ範囲のみの情報を抽出し、XY平面に投影することでEn−Face画像410を生成する。なお、En−Face画像は公知の種々の方法を用いて生成可能であるため詳細な説明は省略する。
次に図5に基づいて、本実施例の画像処理装置209の構成の一例を説明する。画像処理装置209は、断層画像取得部501、三次元画像生成部502、合成対象選択部503、En−Face画像生成部504、二次元合成画像生成部505および表示制御部510を備える。
なお、画像処理装置209は不図示のCPUおよびROMを含んでいる。このCPUがROMに記憶されたプログラムを実行することで上記の各部として機能する。なお、画像処理装置209が備えるCPUおよびROMは1つであってもよいし複数であってもよい。すなわち、少なくとも1以上のプロセッサと少なくとも1つのメモリとが接続されており、少なくとも1以上のプロセッサが少なくとも1以上のメモリに記憶されたプログラムを実行した場合に画像処理装置209は上記の各部として機能する。なお、プロセッサはCPUに限定されるものではなく、GPU等であってもよいし、CPUとGPUなど異なる種類のプロセッサを併用することとしてもよい。
断層画像取得部501は、OCT撮影装置201で撮影した複数部位の断層画像を取得する。なお、断層画像取得部501は、ラインセンサ208の出力に基づいて断層画像を生成することで断層画像を取得してもよいし、既に生成された断層画像を不図示のデータベースから取得してもよい。
三次元画像生成部502は、断層画像取得部501で取得した複数部位の断層画像に基づいて三次元画像を生成する。三次元画像生成部502は、たとえば、複数部位の断層画像を1の座標系に配置することで三次元断層画像を生成する。また、三次元画像生成部502は、各部位毎に取得された複数の断層画像からモーションコントラスト画像(OCT Angiography画像)を生成し、生成した各部位のモーションコントラスト画像を1の座標系に配置することで三次元モーションコントラスト画像を生成することもできる。すなわち、三次元画像生成部502は、三次元画像として三次元断層画像(輝度断層画像)または三次元モーションコントラスト画像を生成する。また、後述するEn−Face画像生成部504は、この三次元画像からEn−Face画像として輝度のEn−Face画像またはモーションコントラストのEn−Face画像を生成する。
合成対象選択部503は、二次元の合成画像を生成するための合成対象を選択する。合成対象は、自動で選択してもよいし、操作者からの指示を受け付ける構成にしてもよい。合成対象選択部503は、例えば、三次元画像を合成対象として選択する。
En−Face画像生成部504は、En−Face画像生成時の基準面となる深さ位置の異なる任意の二つの面を三次元画像に設定し、設定した二つの基準面に挟まれた領域をもとにEn−Face画像を生成する。なお、基準面は断層画像に含まれる層境界に沿った面でもよいし、平面であってもよい。たとえば、En−Face画像生成部504は、二つの基準面に挟まれた領域の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいてEn−Face画像を生成する。ここで、代表値は、二つの基準面に挟まれた領域の深さ方向における画素の平均値、中央値または最大値などの値を含む。En−Face画像生成部504は、本処理を合成対象選択部503で選択された複数の合成対象の三次元画像すべてに対し、同一の生成条件を適用することで、複数のEn−Face画像を取得する。
二次元合成画像生成部505は、En−Face画像生成部504で生成された複数のEn−Face画像を位置合わせして合成することで、二次元合成画像を生成する。二次元合成画像生成部505は、例えば、複数のEn−Face画像に含まれる血管等の特徴を用いて位置合わせを行うことが可能である。また、二次元合成画像生成部505は、En−Face画像の元となった三次元画像が撮影された際の固視灯の点灯位置に基づいて複数のEn−Face画像を位置合わせすることも可能である。さらに、二次元合成画像生成部505は、血管等の特徴および固視灯の点灯位置を用いて複数のEn−Face画像の位置合わせを行うこととしてもよい。
表示制御部510は、たとえば、生成した二次元合成画像を表示装置101に表示させる。
表示装置101は、LCDディスプレイ等であり、表示制御部510の制御に基づいて各種の情報を表示する。例えば、図1に示すように、表示装置101は各撮影で得た三次元画像の画素値をZ方向(深さ方向)で積算した積算画像およびBスキャン画像を表示領域120に、二次元合成画像生成部505が生成した二次元合成画像を表示領域111に表示する。なお、別途光学系を設け各三次元画像と同時に撮影したSLO(SLO:Scanning Laser Ophthalmoscope)画像などを表示領域120や不図示の領域に表示してもよい。
次に図6から図8に基づいて、画像処理装置209の操作方法と動作の一例を説明する。なお、本実施例では1検査につき1の三次元断層画像および三次元モーションコントラスト画像の少なくとも一方が保存されているものとする。また、既にEn−Face画像が生成されている場合には、1検査には、たとえばEn−Face画像およびEn−Face画像の三次元画像における深さ範囲を示す生成条件が含まれる。すなわち、En−Face画像が生成された場合、En−Face画像の生成条件はEn−Face画像およびEn−Face画像の元になった三次元画像を含む検査に対応付けられている。
ステップS600で、操作者は1つの検査を選択する。表示制御部510は、たとえば図7に示すように、選択された検査に対応するBスキャン画像を表示領域130に、既定の生成条件(基準面、代表値の決定方法およびアーティファクト低減方法)を用いて三次元画像から生成したEn−Face画像を表示領域140に表示する。具体的には、En−Face画像生成部504は、選択された検査に含まれる三次元画像に対してメモリ等に記憶されている規定の生成条件を適用することでEn−Face画像を生成する。そして、表示制御部510が表示装置101の表示領域140に生成したEn−Face画像を表示させる。なお、表示領域140に表示されるEn−Face画像は三次元モーションコントラスト画像から生成されたものであってもよいし、三次元断層画像から生成されたものであってもよい。
なお、本実施例では、操作者が検査を選択した時に表示するEn−Face画像の生成条件として、既定の生成条件を適用する構成としたがこれに限定されない。あらかじめ操作者が指定できる構成でもよいし、一度操作者が設定した生成条件を不図示の記録装置に記録し、En−Face画像生成時にその生成条件を自動的に記録装置から読み出して適用する構成でもよい。本実施例では、たとえば、2つの基準面は内境界膜および網膜色素上皮層、代表値は基準面間の平均値、アーティファクト低減処理は実施しないという条件を既定の生成条件とする。すなわち、生成条件は、En−Face画像を生成する三次元画像における深さ範囲を示す情報(例えば2つの基準面の位置情報)、2つの基準面に挟まれた領域(深さ範囲)における代表値の決定方法、アーティファクト低減処理の適用の有無の少なくとも1つを含んでいる。アーティファクト低減処理の一例としてはプロジェクションアーティファクトを低減する処理がある。
ステップS610で、操作者は表示されているEn−Face画像の生成条件を調整する。たとえば、操作者は、基準面を神経線維層および神経節細胞層に、代表値を基準面間の最大値に変更する。なお、既定の生成条件から変更する必要がない場合には本ステップは省略してもよい。
生成条件が変更された場合には、En−Face画像生成部504は、変更された生成条件に対応するEn−Face画像を生成する。そして、表示制御部510は、表示領域140の画像を既定の生成条件により生成されたEn−Face画像から変更された生成条件により生成されたEn−Face画像に更新する。基準面の変更には、公知の方法を利用することができる。たとえば画像処理装置209は、Bスキャン画像上に基準面130aおよび130bを表示する。なお、基準面130aおよび130bは画像処理装置209が断層画像を解析して層境界を検出することによって取得可能である。操作者が130aあるいは130bをマウスにより選択し、上下にドラッグ操作をすると、画像処理装置209は選択された側の基準面を上下に移動することで基準面の位置を変更可能である。なお、本実施例では、基準面をマウスにより移動させることとしたが、これに限定されない。たとえば、画像処理装置209が複数の層境界を検出し、操作者が検出された複数の層境界のうち任意の層境界を選択する構成にしてもよいし、Bスキャン画像に対して水平な直線を指定できる構成にしてもよい。なお、ステップS600またはステップS610で生成されるEn−Face画像は、第1のEn−Face画像の一例に相当する。
ステップS620で、操作者は表示されているEn−Face画像と合成する対象を選択する。まず、操作者は合成処理をするために不図示のメニューを選択する。メニューが選択されると、表示制御部510は、表示装置101に、たとえば図8に示すように、合成対象となりうる検査一覧801を最前面に表示させる。表示制御部510は、たとえば、表示領域120の表示方法と同一の方法で各検査を検査一覧801に表示させる。合成対象選択部503は、操作者からの指示に応じて、検査単位で合成対象とするか否かを選択できる。表示制御部510は、合成対象として選択された検査を、表示装置101にたとえば810のように強調表示させることで操作者に選択状態を通知する。合成対象となりうる検査として、たとえばステップS600で選択された検査と同一の被検眼を、同一日、同一の撮影サイズで撮影した検査を検査一覧に表示する。すなわち、表示制御部510は、既に表示装置101に表示されている検査と同一の被検眼を、同一日、同一の撮影サイズで撮影した検査を検査一覧801として表示装置101に表示させる。なお、検査には被検眼の識別情報(例えば、患者識別情報および左右眼いずれの眼が検査対象か示す情報)、検査日、撮影サイズなどの情報が対応付けられている。当該識別情報などに基づいて、表示制御部510は、既に表示装置101に表示されている検査と同一の被検眼を、同一日、同一の撮影サイズで撮影した検査を検査一覧801として表示装置101に表示させることが可能となる。
なお、本実施例では、既に表示装置101に表示されている検査と同一日の検査を表示する構成としたが、同一の被検眼を撮影した検査であれば同一日でなくともよい。また、既に表示装置101に表示されている検査と同一の撮影サイズの検査を表示する構成としたが、これに限定されるものではない。たとえば同一の被検眼を撮影した、広角だが画質の粗い画像を有する検査を合成対象とすることができる。これにより、位置合わせが容易になる場合がある。また、撮影中の瞬きなどにより撮影に失敗したとあらかじめ判断された検査は非表示とし、合成対象とならないようにしてもよい。例えば、画像処理装置209は、断層画像の明るさに基づいて、撮影中の瞬きなどにより撮影に失敗したか否かを判断することが可能である。画像処理装置209が失敗と判断した場合には、当該検査に失敗である旨の情報を対応付けることとしてもよい。この失敗である旨の情報に基づいて表示制御部510は、検査一覧801として検査を表示させるか否かを判断することが可能となる。
次に、操作者は合成対象とする検査を選択する。本実施例では、検査一覧801を表示する際の初期状態において、パノラマ撮影モードで撮影した検査を合成対象選択部503が選択した状態で表示する。すなわち、表示制御部510は、検査一覧801の初期状態において、パノラマ撮影モードで撮影した検査を強調して表示部101に表示させる。従って、ステップS600で選択された検査と同一被検眼、同一日、同一の撮影サイズで撮影した検査であっても、パノラマ撮影モードで撮影された画像を含む検査か否かに応じて検査一覧801の初期状態における表示状態は異なるものとなる。これにより、パノラマ撮影モードで撮影した場合、操作者が合成対象の検査を選択するための手間を軽減することが可能となる。ここで、パノラマ撮影モードとは、パノラマ画像を生成することを意図して眼部の複数の異なる位置を撮影する撮影モードであり、例えば、パノラマ画像に適した画像が得られるように順次固視灯の表示位置が自動又は手動により変更され、各固視灯の表示位置で撮影が行われるモードである。従ってパノラマ撮影モードで撮影された複数の三次元画像のそれぞれは、被検眼の少なくとも一部が異なる領域を撮影して取得した三次元画像の一例に相当する。
なお、パノラマ撮影モードで撮影された複数の検査にはパノラマ撮影モードで撮影されたモードであることを示す情報が対応づけられており、合成対象選択部503は、パノラマ撮影モードで撮影された画像であることを示す情報に基づいて、検査一覧801の初期状態においてパノラマ撮影モードで撮影された検査を選択することができる。すなわち、表示制御部510は、パノラマ撮影モードで撮影された画像であることを示す情報に基づいて、検査一覧801の初期状態において、パノラマ撮影モードで撮影した検査を強調して表示部101に表示させることができる。なお、ステップS600で選択された検査がパノラマ撮影モードで撮影されたものである場合にのみ、検査一覧801の初期状態において、パノラマ撮影モードで撮影した検査を強調して表示部101に表示させることとしてもよい。もしステップS600で選択された検査がパノラマ撮影モードに関するものでなければ検査一覧801の初期状態において、パノラマ撮影モードで撮影した検査を強調させないこととしてもよい。
なお、パノラマ撮影が複数回行われた場合には、各パノラマ撮影が区別可能なようにパノラマ撮影モードで撮影された画像であることを示す情報が検査に対応づけられることとしてもよい。そして、表示制御部510は、複数回のパノラマ撮影が区別可能なように、検査一覧801において各検査を強調して表示部101に表示させることとしてもよい。例えば、表示制御部510は、初回のパノラマ撮影に関わる複数の検査を赤色の枠で強調し、二回目のパノラマ撮影に関わる複数の検査を赤以外の色の枠で強調する。なお、複数回のパノラマ撮影が区別可能であればよく強調方法は上記の例に限定されるものではない。
なお、本実施例では、検査一覧801の表示方法を、表示領域120の表示方法と同一としたが、各検査の撮影領域がわかる状態であれば、これに限定されない。たとえば、表示制御部510は、ステップS610で設定された生成条件に基づいて生成したEn−Face画像や、SLO画像などを表示装置101に表示させることができる。あるいは、Bスキャン画像を非表示にしてもよい。これにより操作者は、合成対象の検査の画像状態を確認しながら合成対象を選択することができる。
合成対象の検査の選択を終了した操作者は、ステップS630で、合成処理開始を画像処理装置209へ通知するためのボタン802を選択する。ボタン802が選択されると、En−Face画像生成部504は、En−Face画像の既定の生成条件またはステップS610で変更されたEn−Face画像の生成条件をメモリ等から取得する。例えば、変更されたEn−Face画像の生成条件は検査に対応付けられメモリ等に記録されている。ここで、En−Face画像生成部504は、被検眼の第1の三次元画像から生成された第1のEn−Face画像の生成条件を取得する取得手段の一例に相当する。
En−Face画像生成部504は、取得した生成条件をステップS620で選択されたすべての検査の三次元画像に対して自動で適用し、各検査に対応するEn−Face画像を生成する。ここで、ステップS630で生成されるEn−Face画像は第2のEn−Face画像の一例に相当する。なお、具体的には、ステップS610で既定の生成条件が変更されなかった場合には、既定の生成条件をステップS620で選択されたすべての検査の三次元画像に対して自動で適用し、各検査に対応するEn−Face画像を生成する。ステップS610で既定の生成条件が変更された場合には、変更されたEn−Face画像の生成条件をステップS620で選択されたすべての検査の三次元画像に対して自動で適用し、各検査に対応するEn−Face画像を生成する。すなわち、En−Face画像生成部504は、取得手段により取得された生成条件を被検眼の第2の三次元画像に対して適用することで第2の三次元画像から第2のEn−Face画像を生成する第1生成手段の一例に相当する。より具体的には、第1生成手段の一例に相当するEn−Face画像生成部504は、表示手段に表示された第1のEn−Face画像がユーザにより選択され且つ第2の三次元画像が合成画像の対象として選択された場合、取得手段により取得された生成条件を被検眼の第2の三次元画像に対して適用することで第2のEn−Face画像を生成する。
なお、生成条件に含まれる2つの基準面の位置情報は、例えば層境界の名称を示す情報であり、画像処理装置209はステップS620で選択されたすべての検査の三次元画像に対して既知の層境界の抽出技術を適用することで層境界を認識することが可能である。従って、En−Face画像生成部504は、表示されたEn−Face画像に関する2つの基準面の位置情報をステップS620で選択されたすべての検査の画像に対して適用して、En−Face画像を生成することが可能である。また、画像処理装置209は、表示されたEn−Face画像の元となった三次元画像と、ステップS620で選択されたすべての検査に含まれる三次元画像と、の位置合わせを実行してもよい。そして、En−Face画像生成部504は、表示されたEn−Face画像に関する2つの基準面の位置情報を位置合わせ結果に基づいてステップS620で選択されたすべての検査の画像に対して適用して、En−Face画像を生成することも可能である。
次に、二次元合成画像生成部505は、生成された複数のEn−Face画像の位置合わせを実施し、その結果に基づいて複数のEn−Face画像を合成した二次元のパノラマ合成画像を生成する。具体的には、二次元合成画像生成部505は、ステップS600またはS610で生成されたEn−Face画像とステップS630で生成されたEn−Face画像とを合成した二次元のパノラマ合成画像を生成する。すなわち、二次元合成画像生成部505は、第1のEn−Face画像と第2のEn−Face画像とを合成することで合成画像を生成する第2生成手段の一例に相当する。
さらに、表示制御部510は、生成した二次元のパノラマ合成画像を、表示領域111に表示させる。
なお、本実施例では、ステップS620で合成対象の検査を操作者が選択する構成としたが、これに限定されない。たとえば、ステップS610でEn−Face画像生成条件を調整した操作者が、直接ステップS630の合成処理開始選択を可能な構成にしてもよい。この場合、合成対象選択部503は、たとえばパノラマ撮影モードで撮影された検査を自動で選択し、二次元合成画像生成部505は上述の方法と同様に二次元のパノラマ合成画像を生成することができる。
なお、本実施例では、合成対象のすべての三次元画像に自動で適用するEn−Face画像の生成条件として、2つの基準面、代表値の決定方法およびアーティファクト低減処理の適用の有無を使用したが、これに限定されない。たとえば、生成条件としてアーティファクト低減処理の適用の有無を含まないこととしてもよい。また、たとえば、表示に適したEn−Face画像とするために調整する輝度、コントラスト、ガンマカーブ、ノイズ除去方法なども生成条件に含まれることとしてもよい。これにより、輝度やコントラストなどが異なる複数の画像を合成した際の違和感を低減することが可能となる。
なお、本実施例では、表示装置101に表示するEn−Face画像は一枚のみの構成としたが、これに限定されない。たとえば、複数のEn−Face画像の生成条件で生成したEn−Face画像を同時に表示する画像処理装置に適用してもよい。この場合、合成処理時に優先的に使用するEn−Face画像の生成条件をあらかじめ決めておくことで、上述の方法と同様に二次元のパノラマ合成画像を生成することができる。たとえば、En−Face画像生成部504は、表示装置101に表示された複数のEn−Face画像うちクリックされた(選択された)En−Face画像に関する生成条件をステップS620で選択されたすべての検査の画像に対して適用して、En−Face画像を生成する。
上述した本実施例によれば、1つの三次元画像に対して指定したEn−Face画像の生成条件を合成対象のすべての三次元画像に対して自動で適用して二次元のパノラマ合成画像を得ることができ、合成対象の各三次元画像に対してEn−Face画像生成条件を各々設定する手間を簡略化することが可能となる。
また、本実施例のように、二次元のパノラマ合成画像を得る際に、あらかじめEn−Face画像を生成してから合成することで、三次元画像同士の位置合わせや合成が不要となり、処理を高速化することが可能となる。
上記方法により、複数の三次元画像から二次元の合成画像を取得する際に、高速かつ簡便な方法で取得することができる。
<実施例2>
本実施例では、En−Face画像の規定の生成条件またはステップS610で、操作者がEn−Face画像の生成条件として、基準面を網膜色素上皮と画像下端、代表値を基準面間の最大値、アーティファクト低減処理を行うとし変更した場合の例について説明する。
モーションコントラスト画像において、たとえば網膜色素上皮より下のモーションコントラスト画像で上層の血管と同じ血管が偽血管として描出される、あるいは外顆粒層などの輝度が低い領域周辺のモーションコントラスト画像で上層の血管の影が描出されるなどのプロジェクションアーティファクトが発生しやすい。このため、たとえば、ステップS610で網膜色素上皮より下の領域(脈絡膜側の領域)がEn−Face画像生成条件として指定された場合、プロジェクションアーティファクトを除去する処理を行うことが望ましい。本処理には、上層の血管情報に基づいて下層の血管情報を補正するなどの公知の種々の方法を用いることができる。
図9は、ステップS630で操作者がボタン802を選択したあとの、実施例2における画像処理装置209の動作の一例を示すフローチャートである。なお、操作者の操作フローおよび画像処理装置209等の構成は実施例1と同様であるため、説明を省略する。
ステップS900で、たとえば、En−Face画像生成部504は、ステップS600で選択された検査の三次元画像およびステップS620で選択されたすべての検査の三次元画像に対して、神経節細胞層と内網状層との境界から50μm下面と内境界膜とを基準面とする位置合わせ用En−Face画像を生成する。なお、位置合わせ用En−Face画像の基準面は上記の例に限定されるものではなく、たとえば神経節細胞層を含むような基準面であればよい。これは、神経節細胞層に表層毛細血管網が存在し、表層毛細血管網を位置合わせの基準に利用することが可能であるためである。このように、第1生成手段の一例に相当するEn−Face画像生成部504は、生成条件に含まれる第1の三次元画像における深さ範囲よりも硝子体側の領域を含む深さ範囲のEn−Face画像を第1の三次元画像および第2の三次元画像から第3のEn−Face画像および第4のEn−Face画像として生成する。第3のEn−Face画像および第4のEn−Face画像は位置合わせ用En−Face画像の一例に相当する。
また、常に位置合わせ用En−Face画像を生成することとしてもよいし、En−Face画像の既定の生成条件またはステップS610で変更された生成条件が示す深さ範囲に神経節細胞層が含まれない場合に、En−Face画像生成部504は神経節細胞層を含むEn−Face画像を位置合わせ用En−Face画像として生成することとしてもよい。すなわち、第1生成手段の一例に相当するEn−Face画像生成部504は、生成条件に含まれる第1の三次元画像における深さ範囲に神経節細胞層が含まれない場合には、第3のEn−Face画像および第4のEn−Face画像を生成する。そして、第1生成手段の一例に相当するEn−Face画像生成部504は、生成条件に含まれる第1の三次元画像における深さ範囲に神経節細胞層が含まれる場合には、第3のEn−Face画像および第4のEn−Face画像を生成しない。
ステップS910で、En−Face画像生成部504は、既定の生成条件またはステップS610で指定されたEn−Face画像生成条件を適用したEn−Face画像を生成する。
ステップS901で、二次元合成画像生成部505は、生成した複数の位置合わせ用En−Face画像の位置合わせを実施する。二次元合成画像生成部505は、たとえば、位置合わせ用En−Face画像に含まれる血管に基づいて複数の位置合わせ用En−Face画像の位置合わせを実施する。すなわち、二次元合成画像生成部505は、複数の位置合わせ用En−Face画像の位置ズレ量を取得する。
ステップS911で、二次元合成画像生成部505は、ステップS901での位置合わせ結果に基づいて、ステップS910で生成した複数のEn−Face画像の位置合わせを行う。具体的には、二次元合成画像生成部505は、ステップS901で取得された位置ズレ量に基づいてステップS910で生成した複数のEn−Face画像の位置合わせを行う。
ステップS920で、二次元合成画像生成部505は、ステップS910での位置合わせ結果に基づく二次元のパノラマ合成画像を生成する。すなわち、第2生成手段の一例に相当する二次元合成画像生成部505は、第3のEn−Face画像と第4のEn−Face画像との位置合わせ結果に基づいて、第1のEn−Face画像と第2のEn−Face画像との位置合わせを行うことで合成画像を生成する。
そして、ステップS930で表意制御部510は、表示装置101に生成された二次元のパノラマ合成画像を表示させる。
モーションコントラスト画像において、網膜浅層など上層の血管は描出されやすい一方、脈絡膜などの下層の血管はノイズなどの要因により描出されない場合がある。このため、本実施例のように、En−Face画像間の位置合わせにおいては、上層の血管が描画されたEn−Face画像を用いることで、En−Face画像の既定の生成条件またはステップS610で指定されたEn−Face画像の生成条件によらず、精度よく位置合わせを行うことが可能となる。
なお、本実施例では、網膜浅層の血管が描出されたEn−Face画像を位置合わせに使用したが、これに限定されない。たとえば、前述の積算画像やSLO画像を位置合わせに用いても同等の効果を得ることができる。
上述した本実施例によれば、精度よく位置合わせされた、所望の基準面を有する二次元のパノラマ合成画像を、簡便な方法で生成することができる。
なお、生成条件が基準面を網膜色素上皮と画像下端、代表値を基準面間の最大値、アーティファクト低減処理を行うという場合について本実施例が適用されることを説明したが、本実施例が適用される場合は当該生成条件の場合に限定されるものではない。例えば、生成条件に含まれる深さ範囲に神経節細胞層が含まれないことを契機に位置合わせ用En−Face画像を生成することとしてもよい。
<実施例3>
実施例1では合成画像として二次元のパノラマ合成画像を生成する場合について説明したが、本実施例では、合成画像として略同一部位の複数の三次元画像から生成された複数のEn−Face画像が平均化された画像を生成する場合について説明する。
OCT撮影装置201で撮影した断層画像や、断層画像に基づいて生成されたモーションコントラスト画像には、スペックルノイズなどのノイズ成分が含まれている場合がある。ノイズ除去の方法として、平均値フィルタなどの方法が知られているが、1枚の画像中で平均値フィルタを適用して平均化すると、画像の解像度が低下する懸念がある。一方、スペックルノイズはランダムに発生するため、略同一部位を撮影した複数のEn−Face画像を平均化することで、画像の解像度を維持しながら、ノイズを低減することができる。なお、本実施例では、この処理を合成処理と呼ぶ。
本実施例のOCT撮影装置201は、被検眼の略同一部位の断層画像を連続的に取得するためのモードとして、同一部位繰り返し撮影モードを有する。被検眼の部分領域301(図3参照)を撮影したい操作者が本モードを選択した場合、OCT撮影装置201は、部分領域301の撮影が終了すると、内部固視灯位置や撮影サイズなどの撮影条件を変更せず、これら条件が同一の状態で再度部分領域301を撮影することが可能な状態となる。所望の回数の撮影をOCT撮影装置201が繰り返すことで、断層画像取得部501は部分領域301と概一致する複数の断層画像を取得することができる。
本実施例の操作者の操作は、実施例1と同様である。操作者の操作に対応する画像処理装置209の動作について説明する。
ステップS600で、操作者が合成処理をするために不図示のメニューを選択すると、表示制御部510は、実施例1と同様に、合成対象となりうる検査一覧801を表示装置101の最前面に表示させる。また、ステップS600においては1の検査を選択することでEn−Face画像などが表示装置101に表示されている。なお、合成対象となりうる検査として、表示制御部510は、ステップS600で選択された検査と同一の被検眼を撮影した検査を検査一覧として表示装置101に表示させる。次に、検査一覧801から操作者は合成対象とする検査を選択する。本実施例では、表示制御部510が検査一覧801を表示させる際の初期状態において、同一部位繰り返し撮影モードで撮影した検査を合成対象選択部503が選択した状態で表示する。これにより、同一部位繰り返し撮影モードで撮影した場合、操作者が合成対象の検査を選択するための手間を軽減することが可能となる。なお、同一部位繰り返し撮影モードで撮影された複数の検査には同一部位繰り返し撮影モードで撮影されたモードであることを示す情報が対応づけられており、合成対象選択部503は、同一部位繰り返し撮影モードで撮影された画像であることを示す情報に基づいて、検査一覧801の初期状態において同一部位繰り返し撮影モードで撮影された検査を選択することができる。すなわち、表示制御部510は、同一部位繰り返し撮影モードで撮影された画像であることを示す情報に基づいて、検査一覧801の初期状態において、同一部位繰り返し撮影モードで撮影した検査を強調して表示部101に表示させることができる。
合成対象の検査の選択を終了した操作者は、ステップS630で、合成処理開始を画像処理装置209へ通知するためのボタン802を選択する。ボタン802が選択されると、En−Face画像生成部504は、En−Face画像を生成する既定の生成条件またはステップS610で指定されたEn−Face画像の生成条件をステップS620で選択されたすべての検査の画像に対して自動で適用し、各検査に対応するEn−Face画像を生成する。次に、二次元合成画像生成部505は、生成した複数のEn−Face画像の位置合わせを実施し、その結果に基づいて複数のEn−Face画像を合成して二次元の合成画像(平均化された画像)を生成する。さらに、表示制御部510は、生成した二次元の合成画像を、表示領域111に表示させる。このようにして生成した画像は、各検査の画像に比べ、ノイズが低減されていることが期待される。
上述した本実施例によれば、複数の三次元画像からノイズの低減された二次元の合成画像を、高速かつ簡便な方法で取得することができる。
<実施例4>
本実施例では、操作者がステップS630で二次元の合成画像を取得後、再度ステップS610に戻り、異なる生成条件でEn−Face画像を生成した場合の、画像処理装置209の動作の例について説明する。
本実施例の、画像処理装置209の操作方法と動作の一例を、図10から図11を用いて説明する。図10に示すように、本実施例の表示装置101は、パノラマ合成画像表示領域111、撮影画像一覧表示領域120、選択した検査のBスキャン画像表示領域130、En−Face画像表示領域140を同一の画面内に表示する。なお、最初に行われるステップS600−S630の各処理は、実施例1と同様の処理であるため詳細な説明は省略する。なお、ステップS620において選択された検査(三次元画像)およびステップS630において求められた複数のEn−Face画像の位置ズレを示す情報の少なくとも一方が、画像処理装置209が備える不図示のメモリに記憶されている。
まず、ステップS630の後における処理について述べる。ステップS630において生成された合成画像を操作者が観察して、合成に用いたEn−Face画像の生成条件を変更する場合、操作者はステップS610に戻り、En−Face画像の生成条件を再調整する。
生成条件の調整を終了した操作者は、再度合成処理をするためにステップS630で不図示のメニューを選択する。このメニューには再合成を指示可能なUIが含まれている。本実施例では、操作者は再合成を選択することで、合成対象検査を検査一覧801で再選択する必要なく、合成処理を実行できる。例えば、再合成の指示がされた場合、合成対象選択部503は、最初のステップS620において選択された検査(三次元画像)をメモリから取得する。そして、En−Face画像生成部504は、ステップS600で選択された検査を含む、一度目の合成処理と同じ合成対象検査の画像に対し、調整後の合成条件を用いてEn−Face画像を再生成する。そして、二次元合成画像生成部505は、複数のEn−Face画像を位置合わせする。なお、二次元合成画像生成部505は、最初のステップS630において求められた複数のEn−Face画像の位置ズレを示す情報に基づき処理を実行することができる。これにより、位置合わせの処理時間を短縮することが可能となる。
二次元合成画像生成部505は、位置合わせ処理完了後、一度目と同様に、二次元のパノラマ合成画像または平均化された画像を生成する。そして、表示制御部510は、生成された合成画像を表示領域111に表示させると共に、不図示のメモリに保存する。
本実施例によっても、実施例1と同様の効果を奏することができる。また、二度目以降の合成対象処理の画像選択および位置合わせ処理を、一度目の画像選択および位置合わせ処理の結果に基づいて行うことで、処理時間の短縮を実現することが可能となる。
<実施例5>
なお、上記の実施例1−4を適宜組み合わせることとしてもよい。例えば、実施例2,3を組み合わせることとしてもよい。すなわち、パノラマ合成画像以外の合成画像の一例である複数のEn−Face画像平均化された画像を生成する際の位置合わせに関して、実施例2を適用することとしてもよい。
また、実施例4に対して実施例2を適用することとしてもよい。たとえば最初のステップS630において求められる複数のEn−Face画像の位置ズレを示す情報は、神経節細胞層を含むEn−Face画像により求められることとしてもよい。
<その他の実施形態>
以上、実施形態例を詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
501 断層画像取得部
502 三次元画像生成部
503 合成対象選択部
504 En−Face画像生成部
505 二次元合成画像生成部
510 表示部

Claims (12)

  1. 被検眼の第1の三次元画像から生成された第1のEn−Face画像の生成条件を取得する取得手段と、
    前記取得手段により取得された前記生成条件を前記被検眼の第2の三次元画像に対して適用することで前記第2の三次元画像から第2のEn−Face画像を生成する第1生成手段と、
    前記第1のEn−Face画像と前記第2のEn−Face画像とを合成することで合成画像を生成する第2生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記第1生成手段は、表示手段に表示された前記第1のEn−Face画像がユーザにより選択され且つ前記第2の三次元画像が前記合成画像の対象として選択された場合、前記取得手段により取得された前記生成条件を前記被検眼の第2の三次元画像に対して適用することで前記第2のEn−Face画像を生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記生成条件は、前記第1のEn−Face画像の前記第1の三次元画像における深さ範囲、前記深さ範囲における画素の代表値の決定方法およびアーティファクト低減処理の適用の有無の少なくとも1つを含むことを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記第1の三次元画像と前記第2の三次元画像とは、前記被検眼の少なくとも一部が異なる領域を撮影して取得した三次元画像であり、
    前記合成画像は、前記第1のEn−Face画像と前記第2のEn−Face画像とのパノラマ画像であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記第1の三次元画像と前記第2の三次元画像とは、前記被検眼の略同一部位の領域を撮影して取得した三次元画像であり、
    前記合成画像は、前記第1のEn−Face画像と前記第2のEn−Face画像とが平均化された画像であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  6. 前記第1生成手段は、前記生成条件に含まれる前記第1の三次元画像における深さ範囲よりも硝子体側の領域を含む深さ範囲のEn−Face画像を前記第1の三次元画像および前記第2の三次元画像から第3のEn−Face画像および第4のEn−Face画像として生成し、
    前記第2生成手段は、前記第3のEn−Face画像と前記第4のEn−Face画像との位置合わせ結果に基づいて、前記第1のEn−Face画像と前記第2のEn−Face画像との位置合わせを行うことで前記合成画像を生成することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記第1生成手段は、前記生成条件に含まれる前記第1の三次元画像における深さ範囲に神経節細胞層が含まれない場合には、前記第3のEn−Face画像および前記第4のEn−Face画像を生成することを特徴とする請求項6に記載の画像処理装置。
  8. 前記第1生成手段は、前記生成条件に含まれる前記第1の三次元画像における深さ範囲に前記神経節細胞層が含まれる場合には、前記第3のEn−Face画像および前記第4のEn−Face画像を生成しないことを特徴とする請求項7に記載の画像処理装置。
  9. 前記三次元画像は、OCT(Optical Coherence Tomography)を用いて取得した三次元断層画像であることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記三次元画像は、OCT(Optical Coherence Tomography)を用いて取得した断層画像に基づく三次元のモーションコントラスト画像であることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 被検眼の第1の三次元画像から生成された第1のEn−Face画像の生成条件を取得する取得工程と、
    前記取得工程において取得された前記生成条件を前記被検眼の第2の三次元画像に対して適用することで前記第2の三次元画像から第2のEn−Face画像を生成する第1生成工程と、
    前記第1のEn−Face画像と前記第2のEn−Face画像とを合成することで合成画像を生成する第2生成工程と、
    を備えることを特徴とする画像処理方法。
  12. 請求項11記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2017171188A 2017-09-06 2017-09-06 画像処理装置、画像処理方法およびプログラム Active JP7030455B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017171188A JP7030455B2 (ja) 2017-09-06 2017-09-06 画像処理装置、画像処理方法およびプログラム
US16/119,892 US10885330B2 (en) 2017-09-06 2018-08-31 Image processing apparatus, image processing method, and storage medium
EP18192423.4A EP3453312B1 (en) 2017-09-06 2018-09-04 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017171188A JP7030455B2 (ja) 2017-09-06 2017-09-06 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2019042376A true JP2019042376A (ja) 2019-03-22
JP2019042376A5 JP2019042376A5 (ja) 2020-11-12
JP7030455B2 JP7030455B2 (ja) 2022-03-07

Family

ID=63678378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017171188A Active JP7030455B2 (ja) 2017-09-06 2017-09-06 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10885330B2 (ja)
EP (1) EP3453312B1 (ja)
JP (1) JP7030455B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209012A1 (ja) * 2019-04-09 2020-10-15 キヤノン株式会社 画像解析方法及び画像解析装置
JP2020171664A (ja) * 2019-04-09 2020-10-22 キヤノン株式会社 画像解析方法及び画像解析装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327954B2 (ja) * 2019-03-11 2023-08-16 キヤノン株式会社 画像処理装置および画像処理方法
CN113343879A (zh) * 2021-06-18 2021-09-03 厦门美图之家科技有限公司 全景面部图像的制作方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009183332A (ja) * 2008-02-04 2009-08-20 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム
JP2012115578A (ja) * 2010-12-02 2012-06-21 Nidek Co Ltd 眼科撮影装置
US20150092195A1 (en) * 2013-09-30 2015-04-02 Carl Zeiss Meditec, Inc. Systems and methods for bidirectional functional optical coherence tomography
JP2016054787A (ja) * 2014-09-05 2016-04-21 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
US20160227999A1 (en) * 2015-02-05 2016-08-11 Carl Zeiss Meditec, Inc. Acquisition and analysis techniques for improved outcomes in optical coherence tomography angiography
JP2016209201A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
JP2017046976A (ja) * 2015-09-02 2017-03-09 株式会社ニデック 眼科撮影装置及び眼科撮影プログラム
JP2017047113A (ja) * 2015-09-04 2017-03-09 株式会社ニデック 眼科撮影装置および眼科撮影プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007084748A2 (en) * 2006-01-19 2007-07-26 Optovue, Inc. A method of eye examination by optical coherence tomography
GB2435322A (en) * 2006-02-15 2007-08-22 Oti Ophthalmic Technologies Measuring curvature or axial position using OCT
GB0619616D0 (en) * 2006-10-05 2006-11-15 Oti Ophthalmic Technologies Optical imaging apparatus with spectral detector
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
CN101969833B (zh) * 2007-12-10 2015-04-22 眼技术有限公司 基于视网膜体积图像和良好记录的眼底图像进行微视野检测的方法
US20130045203A1 (en) * 2010-03-02 2013-02-21 Emory University Uses of Noscapine and Derivatives in Subjects Diagnosed with FAP
US8857988B2 (en) * 2011-07-07 2014-10-14 Carl Zeiss Meditec, Inc. Data acquisition methods for reduced motion artifacts and applications in OCT angiography
WO2015165989A2 (en) * 2014-05-02 2015-11-05 Carl Zeiss Meditec, Inc. Enhanced vessel characterization in optical coherence tomograogphy angiography
US11071452B2 (en) * 2014-06-30 2021-07-27 Nidek Co., Ltd. Optical coherence tomography device, optical coherence tomography calculation method, and optical coherence tomography calculation program
US20160278627A1 (en) * 2015-03-25 2016-09-29 Oregon Health & Science University Optical coherence tomography angiography methods
JP6632267B2 (ja) 2015-09-04 2020-01-22 キヤノン株式会社 眼科装置、表示制御方法およびプログラム
US11452442B2 (en) 2016-06-15 2022-09-27 Oregon Health & Science University Systems and methods for automated widefield optical coherence tomography angiography
US10426331B2 (en) * 2016-07-20 2019-10-01 Oregon Health & Science University Automated quantification of nonperfusion in the retina using optical coherence tomography angiography
US10285584B2 (en) * 2016-09-16 2019-05-14 Novartis Ag Subtractive en face optical coherence tomography imaging
EP3599987A4 (en) * 2017-03-23 2020-12-16 Doheny Eye Institute SYSTEMS, METHODS AND DEVICES FOR OPTICAL COHERENCE TOMOGRAPHY WITH MULTI-ENFACE ANGIOGRAPHY MEANS

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009183332A (ja) * 2008-02-04 2009-08-20 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム
JP2012115578A (ja) * 2010-12-02 2012-06-21 Nidek Co Ltd 眼科撮影装置
US20150092195A1 (en) * 2013-09-30 2015-04-02 Carl Zeiss Meditec, Inc. Systems and methods for bidirectional functional optical coherence tomography
JP2016054787A (ja) * 2014-09-05 2016-04-21 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
US20160227999A1 (en) * 2015-02-05 2016-08-11 Carl Zeiss Meditec, Inc. Acquisition and analysis techniques for improved outcomes in optical coherence tomography angiography
JP2016209201A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
JP2017046976A (ja) * 2015-09-02 2017-03-09 株式会社ニデック 眼科撮影装置及び眼科撮影プログラム
JP2017047113A (ja) * 2015-09-04 2017-03-09 株式会社ニデック 眼科撮影装置および眼科撮影プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209012A1 (ja) * 2019-04-09 2020-10-15 キヤノン株式会社 画像解析方法及び画像解析装置
JP2020171664A (ja) * 2019-04-09 2020-10-22 キヤノン株式会社 画像解析方法及び画像解析装置

Also Published As

Publication number Publication date
EP3453312A1 (en) 2019-03-13
US10885330B2 (en) 2021-01-05
JP7030455B2 (ja) 2022-03-07
US20190073532A1 (en) 2019-03-07
EP3453312B1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
JP6217185B2 (ja) 眼科撮影装置及び眼科画像処理プログラム
JP5818409B2 (ja) 眼底撮像装置及びその制御方法
US10022047B2 (en) Ophthalmic apparatus
US9615734B2 (en) Ophthalmologic apparatus
JP6572615B2 (ja) 眼底画像処理装置、および眼底画像処理プログラム
US9913581B2 (en) Photography apparatus and photography method
JP6598466B2 (ja) 断層撮像装置、断層撮像方法、およびプログラム
JP6746884B2 (ja) 眼科撮影装置及び眼科撮影プログラム
JP2017006179A (ja) Oct信号処理装置、oct信号処理プログラム、およびoct装置
EP3453312B1 (en) Image processing apparatus, image processing method, and program
JP2018019771A (ja) 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP7134324B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2017046975A (ja) 眼科撮影装置及び眼科撮影プログラム
WO2015016292A2 (en) Image processing apparatus and image processing method
JP7384987B2 (ja) 眼科装置
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2020032072A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022033290A (ja) 情報処理装置、情報処理方法およびプログラム
JP7204345B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020031873A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
WO2015129718A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7086708B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7231366B2 (ja) 眼科装置および眼科装置の制御方法
JP6501649B2 (ja) 眼科装置、制御方法及びプログラム
WO2015098912A1 (ja) 断層像撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220222

R151 Written notification of patent or utility model registration

Ref document number: 7030455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151