JP2011120656A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2011120656A
JP2011120656A JP2009278948A JP2009278948A JP2011120656A JP 2011120656 A JP2011120656 A JP 2011120656A JP 2009278948 A JP2009278948 A JP 2009278948A JP 2009278948 A JP2009278948 A JP 2009278948A JP 2011120656 A JP2011120656 A JP 2011120656A
Authority
JP
Japan
Prior art keywords
eye
retinal pigment
pigment epithelium
image
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009278948A
Other languages
English (en)
Other versions
JP2011120656A5 (ja
JP5582772B2 (ja
Inventor
Hiroyuki Imamura
裕之 今村
Yuta Nakano
雄太 中野
Yoshihiko Iwase
好彦 岩瀬
Kiyohide Sato
清秀 佐藤
Akihiro Katayama
昭宏 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009278948A priority Critical patent/JP5582772B2/ja
Priority to US12/941,351 priority patent/US20110137157A1/en
Publication of JP2011120656A publication Critical patent/JP2011120656A/ja
Publication of JP2011120656A5 publication Critical patent/JP2011120656A5/ja
Application granted granted Critical
Publication of JP5582772B2 publication Critical patent/JP5582772B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 眼部の疾病の診断に有効な診断情報データを眼部の状態に関わらず取得できるようにする。
【解決手段】 眼部の断層像を処理する画像処理装置であって、前記断層像に基づいて、前記眼部の特徴を判定し、前記眼部の状態を判断する手段(451)と、前記判断された前記眼部の状態を定量的に示すための診断情報データの算出において用いられる検出対象を、前記断層像より検出する手段(440、461)と、前記検出対象の位置情報を用いて、前記診断情報データを算出する手段(462)と、を備え、前記検出する手段は、前記眼部の状態に応じて、前記検出対象または前記検出対象を検出するためのアルゴリズムを変更することを特徴とする。
【選択図】 図1

Description

本発明は断層像を処理するための画像処理技術に関するものである。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、従来より眼部の検査が行われている。一般に、このような眼部の検査には、光干渉断層計(OCT:Optical Coherence Tomography)等の眼部断層像撮像装置が用いられている。OCT等の眼部断層像撮像装置を用いた場合、網膜層内部の状態を3次元的に観察することができるため、より的確に診断を行うことが可能だからである。
一方で、撮像された断層像を用いて、眼部の疾病(例えば、緑内障や加齢黄斑変性、黄斑浮腫等)について診断を行うにあたっては、当該断層像を画像解析し、診断に有効な情報を定量的に抽出することが重要となってくる。
このため、眼部断層像撮像装置には、通常、画像解析用の画像処理装置等が接続されており、種々の画像解析処理が可能となっている。一例として、下記特許文献1には、撮像した断層像から疾病の診断に有効な網膜の各層の境界位置を検出し、層位置情報として出力する機能が開示されている。
なお、以下、本明細書では、撮像された断層像を画像解析することにより得られる、眼部の疾病の診断に有効な情報を総称して、「眼部の診断情報データ」または「診断情報データ」と呼ぶこととする。
特開2008−073099号公報
しかしながら、上記特許文献1に開示された機能の場合、同時に複数の疾病を診断することができるよう、所定の画像解析アルゴリズムを用いて1度に複数の層の境界位置を検出する構成となっている。このため、眼部の状態(疾病の有無や種類)によっては、全ての層位置情報を適切に得ることができないといった事態が生じえる。
具体例を挙げて説明する。例えば、加齢黄斑変性や黄斑浮腫等の疾病の場合、患者の眼部には、網膜内に血液中の脂質が集積することにより生じる白斑とよばれる塊状の組織が形成されている。このような組織が形成されている場合、検査時に測定光が当該組織にて遮断されるため、当該組織よりも深度の大きい領域では、断層像の輝度値が著しく減弱する結果となる。
つまり、このような組織が形成されていない眼部の断層像とは、断層像内における輝度分布が異なってくるため、当該領域に対しても同じ画像解析アルゴリズムを実行することとすると、有効な診断情報データが得られないといった事態が生じえる。このため、有効な診断情報データを眼部の状態に関わらず得るようにするためには、眼部の状態に適した画像解析アルゴリズムを適用するように構成することが望ましい。
本発明は上記課題に鑑みてなされたものであり、眼部の疾病の診断に有効な診断情報データを、眼部の状態に関わらず取得できるようにすることを目的とする。
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
眼部の断層像を処理する画像処理装置であって、
前記眼部における疾病の状態を前記断層像の情報から判断する判断手段と、
前記判断手段により判断された前記眼部における疾病の状態に応じて、前記疾病の状態を定量的に示すための診断情報データの算出において用いられる検出対象または該検出対象を検出するためのアルゴリズムを変更する検出手段と
を有することを特徴とする。
本発明によれば、眼部の疾病の診断に有効な診断情報データを眼部の状態に関わらず取得することができるようになる。
眼部の状態及び眼部特徴と、検出対象及び診断情報データとの関係を説明するための図である。 第1の実施形態に係る画像処理装置201を含む画像診断システムのシステム構成を示す図である。 画像処理装置201のハードウェア構成を示す図である。 画像処理装置201の機能構成を示す図である。 画像処理装置201における画像解析処理の流れを示すフローチャートである。 画像処理装置201における眼部特徴正常時処理の流れを示すフローチャートである。 画像処理装置201における眼部特徴異常時処理の流れを示すフローチャートである。 画像処理装置201における黄斑浮腫向け処理及び加齢黄斑変性向け処理の流れを示すフローチャートである。 網膜色素上皮層境界の正常構造を求めるための評価式にて用いられる重み関数の一例を示す図である。 黄斑部と視神経乳頭部とを含む広画角の断層像の一例を示した図である。 各部位の眼部の状態及び眼部特徴と、検出対象及び診断情報データとの関係を説明するための図である。 第2の実施形態に係る画像処理装置1201の機能構成を示すブロック図である。 画像処理装置1201における画像解析処理の流れを示すフローチャートである。 眼部の状態及び眼部特徴と、位置合わせ対象及び経過診断情報データとの関係を説明するための図である。 第3の実施形態に係る画像処理装置1501の機能構成を示す図である。 画像処理装置1501における眼部特徴正常時処理、黄斑浮腫向け処理、加齢黄斑変性向け処理の流れを示すフローチャートである。
以下、添付図面を参照しながら本発明の各実施形態について詳説する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。
[第1の実施形態]
本実施形態に係る画像処理装置は、網膜色素上皮層境界の歪みの有無や白斑、または嚢胞の有無等、所定の組織の形状または所定の組織の有無に関する情報(「眼部特徴」と称す)に基づいて、予め眼部の(疾病の)状態を判断することを特徴とする。また、該判断した眼部の状態に応じた診断情報データを取得可能な画像解析アルゴリズムを適用することで眼部の状態に応じた診断情報データを取得することを特徴とする。以下、本実施形態に係る画像処理装置の詳細について説明する。
<1.眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係>
はじめに、眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係について説明する。図1(a)〜(e)は、OCTにより撮像された網膜の黄斑部の断層像を表す模式図であり、図1(f)は、眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係を示した表である。なお、OCTにより撮像される眼部の断層像は一般に3次元断層像であるが、ここでは説明を簡単にするため、その一断面である2次元断層像を示している。
図1(a)において、101は網膜色素上皮層、102は神経線維層、103は内境界膜を表している。図1(a)に示す断層像の場合、例えば、診断情報データとして、神経線維層102の厚みや網膜全体の厚み(図1(a)のT1やT2)を算出することにより、緑内障などの疾病の有無やその進行度、治療後の回復具合等を定量的に診断することができる。
ここで、神経線維層102の厚みを算出するためには、内境界膜103を検出するとともに、神経線維層102とその下部の層との境界(神経線維層境界104)を検出対象として検出し、それらの位置情報を認識する必要がある。
また、網膜全体の厚みを算出するためには、図1(b)に示すように、内境界膜103と網膜色素上皮層101の外側境界(網膜色素上皮層境界105)を検出対象として検出し、それらの位置情報を認識する必要がある。
つまり、緑内障などの疾病の有無やその進行度等を診断するにあたっては、検出対象として、内境界膜103、神経線維層境界104、網膜色素上皮層境界105を検出し、診断情報データとして、神経線維層厚及び網膜全体厚を算出することが有効である。
一方、図1(c)は、加齢黄斑変性の患者の網膜の黄斑部の断層像を示している。加齢黄斑変性の症例の場合、網膜色素上皮層101の下に新生血管やドルーゼンなどが発生する。このため、網膜色素上皮層101が押し上げられ、その境界が凹凸に変形する(つまり、網膜色素上皮層101に歪みが生じる)。したがって、加齢黄斑変性の有無は、眼部特徴として網膜色素上皮層101の歪みの有無を判定することで判断することができる。さらに、加齢黄斑変性であると判断した場合には、網膜色素上皮層101の変形度や網膜全体の厚みを算出することにより、その進行度を定量的に診断することができる。
なお、網膜色素上皮層101の変形度の算出においては、図1(d)に示すように、まず、網膜色素上皮層101の境界(網膜色素上皮層境界105)(実線)を検出対象として検出し、その位置情報を認識する。更に、正常であれば存在したであろう(正常と仮定した場合の)網膜色素上皮層101の境界の推定位置(破線:以下では正常構造106と呼ぶ)を検出対象として検出し、その位置情報を認識する。そして、網膜色素上皮層101の境界(網膜色素上皮層境界105)とその正常構造106とにより形成される部分(図1(d)の斜線部分)の面積やそれらの和(体積)等を算出することで網膜色素上皮層101の変形度を算出することができる。また、網膜全体の厚みは、図1(d)に示すように内境界膜103と網膜色素上皮層101の正常構造106とを検出対象として検出し、それらの位置情報を認識することで算出することができる。なお、以下では、図1(d)の斜線部分の面積(体積)を、網膜色素上皮層境界実測位置−推定位置間面積(体積)と称することとする。
このように、眼部特徴である網膜色素上皮層101の歪みの有無によって眼部の状態を判断し、加齢黄斑変性であると判断された場合には、検出対象として、内境界膜103、網膜色素上皮層境界105及びその正常構造106を検出する。そして、診断情報データとして、網膜全体厚及び網膜色素上皮層101の変形度(網膜色素上皮層境界実測位置−推定位置間面積(体積))を算出することが有効である。
一方、図1(e)は、黄斑浮腫の患者の網膜の黄斑部の断層像を示している。黄斑浮腫の症例の場合、網膜内に水分が貯留し、網膜にむくみ(浮腫)が生じる。特に、網膜中の細胞外に液体が貯留すると嚢胞107と呼ばれる塊状の低輝度領域が発生し、網膜が全体として厚くなる。そのため、黄斑浮腫の有無は、眼部特徴として嚢胞107の有無を判定することで判断することができる。また、黄斑浮腫であると判断した場合には、網膜全体の厚み(図1(e)のT2)を算出することにより、その進行度を定量的に診断することができる。
なお、上述したように、網膜全体の厚みT2を算出においては、網膜色素上皮層101の境界(網膜色素上皮層境界105)と内境界膜103とを検出対象として検出し、それらの位置情報を認識する。
このように、眼部特徴である嚢胞107の有無によって眼部の状態が、黄斑浮腫であると判断された場合には、検出対象として、内境界膜103、網膜色素上皮層境界105を検出し、診断情報データとして、網膜全体厚を算出することが有効である。
なお、加齢黄斑変性や黄斑浮腫においては、網膜内に血液中の脂質が集積することで生じる白斑と呼ばれる塊状の高輝度領域が形成される場合がある(図1(e)の黄斑浮腫の患者の網膜の断層像において参照番号108として図示)。そこで、以下では、眼部の状態として、加齢黄斑変性及び黄斑浮腫であるか否かを判断するにあたっては、眼部特徴として白斑108の有無も合わせて判定することとする。
なお、眼部特徴として白斑108が抽出された場合には、図1(e)のように白斑108より深度が大きい領域において測定光がブロックされ信号が減弱することとなる。このため、加齢黄斑変性または黄斑浮腫と判断された場合には、検出対象として網膜色素上皮層境界105を検出するにあたり、白斑の有無に応じて検出パラメータを変更しておくことが望ましい。
以上のように、緑内障、加齢黄斑変性、黄斑浮腫の有無、及び、各疾病の進行度を診断するにあたっては、眼部特徴(網膜色素上皮層の歪みの有無、嚢胞の有無、白斑の有無)に基づいて、眼部の状態を判断する。そして、判断した眼部の状態に応じて、取得すべき診断情報データ、検出すべき検出対象、検出対象を検出する際に設定されるべき検出パラメータ等を変更することが有効である。
図1(f)は、眼部の状態及び眼部特徴と、検出対象及び診断情報データとの関係をまとめた表である。以下、図1(f)に示す表に基づいて画像解析処理を実行する画像処理装置について詳説する。
なお、本実施形態では、検出対象として網膜色素上皮層境界105を検出する場合について説明するが、検出対象は、必ずしも網膜色素上皮層101の外側境界(網膜色素上皮層境界105)に限定されるものではない。例えば、他の層境界(外境界膜(不図示)や視細胞内節外節境界(不図示)、網膜色素上皮層101の内側境界(不図示)等)を検出するように構成してもよい。
また、本実施形態では、神経線維層厚として内境界膜103と神経線維層境界104との間の距離を算出する場合について説明するが、本発明はこれに限定されるものではない。代わりに、内網状層の外側境界104a(図1(b))を検出し、内境界膜103と内網状層の外側境界104aとの間の距離を算出するようにしてもよい。
<2.画像診断システムの構成>
次に、本実施形態に係る画像処理装置を備える画像診断システム200について説明する。図2は、本実施形態に係る画像処理装置201を備える画像診断システム200のシステム構成を示す図である。
図2に示すように画像処理装置201は、断層像撮像装置203及びデータサーバ202と、イーサネット(登録商標)等によるローカル・エリア・ネットワーク(LAN)204を介して接続されている。なお、これらの装置とは、インターネット等の外部ネットワークを介して接続されるように構成してもよい。
断層像撮像装置203は眼部の断層像を撮像する装置であり、当該装置には、例えばタイムドメイン方式もしくはフーリエドメイン方式のOCTが含まれる。断層像撮像装置203は不図示の操作者による操作に応じ、不図示の被検眼の断層像を3次元的に撮像する。また、撮像した断層像を画像処理装置201またはデータサーバ202へと送信する。
データサーバ202は、被検眼の断層像やその診断情報データ等を保存するサーバであり、断層像撮像装置203が出力する被検眼の断層像や、画像処理装置201が出力する診断情報データ等を保存する。また、画像処理装置201からの要求に応じ、被検眼の過去の断層像を画像処理装置201に送信する。
<3.画像処理装置のハードウェア構成>
次に、本実施形態に係る画像処理装置201のハードウェア構成について説明する。図3は、画像処理装置201のハードウェア構成を示す図である。図3において、301はCPU、302はRAM、303はROMである。また、304は外部記憶装置、305はモニタ、306はキーボード、307はマウス、308は外部装置(データサーバ202、断層像撮像装置203)との通信を行うためのインタフェース、309はバスである。
画像処理装置201において、以下に詳説する画像解析機能を実現するための制御プログラムやその制御プログラムにおいて用いるデータは、外部記憶装置304に記憶されているものとする。なお、これらの制御プログラムやデータは、CPU301の制御のもと、バス309を通じて適宜RAM302に取り込まれ、CPU301によって実行されるものとする。
<4.画像処理装置の機能構成>
次に、図4を用いて本実施形態に係る画像処理装置201における画像解析機能の機能構成について説明する。図4は画像処理装置201の画像解析機能の機能構成を示すブロック図である。図4に示すように、画像処理装置201は、画像解析機能として、画像取得部410と、記憶部420と、画像処理部430と、表示部470と、結果出力部480と、指示取得部490とを有する。
更に、画像処理部430は、眼部特徴取得部440と、変更部450と、診断情報データ取得部460とを有する。更に、変更部450は、判定部451と処理対象変更部454と処理方法変更部455とを有し、判定部451は、種類判定部452と状態判定部453とを有する。一方、診断情報データ取得部460は、層決定部461と定量化部462とを有する。以下、各部の機能の概要について説明する。
(1)画像取得部410及び記憶部420の機能
画像取得部410は、断層像撮像装置203またはデータサーバ202からLAN204を介して画像解析対象となる断層像を受信し、記憶部420に格納する。
記憶部420は、画像取得部410において取得された断層像を格納する。また、格納した断層像について、眼部特徴取得部440において処理することで得られた眼部の状態を判断するための眼部特徴及び検出対象を格納する。
(2)眼部特徴取得部440の機能
画像処理部430内の眼部特徴取得部440では、記憶部420に格納された断層像を読み出し、眼部の状態を判断するための眼部特徴である、嚢胞107及び白斑108を抽出する。また、眼部の状態を判断するための眼部特徴であるとともに、診断情報データの算出に用いられる検出対象である網膜色素上皮層境界105を抽出する。更に、眼部の状態に関わらず、検出対象となっている内境界膜103についても、眼部特徴取得部440にて抽出される。
なお、嚢胞107や白斑108の抽出方法としては、画像処理による方法と、識別器などのパターン認識による手法とがあるが、本実施形態における眼部特徴取得部440では、識別器による手法が用いるものとする。
なお、識別器により、嚢胞107や白斑108を抽出する方法は、以下の手順(i)〜(iv)により行われる。
(i)学習用の断層像における特徴量算出
(ii)特徴空間の作成
(iii)画像解析対象の断層像における特徴量算出
(iv)判断(特徴量ベクトルの特徴空間への写像)
具体的には、嚢胞107及び白斑108を抽出するための学習用の断層像より、嚢胞107及び白斑108の各局所領域における輝度情報を取得し、該輝度情報により特徴量を算出する。なお、特徴量の算出に際しては、各画素とその周辺領域を含めた領域を局所領域として輝度情報が取得されるものとする。また、取得された輝度情報に基づいて算出する特徴量には、局所領域全体の輝度情報の統計量や、局所領域のエッジ成分の輝度情報の統計量が含まれるものとする。また、当該統計量には、画素値の平均値、最大値、最小値、分散値、中央値、最頻値等が含まれるものとする。更に、局所領域のエッジ成分には、sobel成分やgabor成分が含まれるものとする。
このようにして学習用の断層像に基づいて算出された特徴量を用いて、特徴空間を作成した後、画像解析対象の断層像について、同様の手順により特徴量を算出し、当該作成した特徴空間へと写像する。
これにより、画像解析対象の断層像より抽出された眼部特徴が、白斑108もしくは嚢胞107、網膜色素上皮層101、その他に分類される。なお、分類に際して、眼部特徴取得部440では、自己組織化マップを用いて作成された特徴空間が用いられるものとする。
なお、ここでは眼部特徴の分類において自己組織化マップを用いる場合について説明したが、本発明は、この手法に限定されるものではない。例えばSupport Voctor Machine(SVM)やAdaBoostをはじめとする任意の公知の識別器を用いるようにしてもよい。
また、白斑108や嚢胞107などの眼部特徴の分類方法は上記に限定されるものではなく、画像処理により眼部特徴を分類するようにしてよい。例えば輝度情報と、点集中度フィルタなどの塊状構造を強調するフィルタの出力値と組み合わせることで以下のような分類を実行することができる。即ち、点集中度フィルタの出力が閾値Tc1以上で、かつ断層像上の輝度値が閾値Tg1以上の領域を白斑、点集中度フィルタの出力が閾値Tc2以上で、かつ断層像上の輝度値が閾値Tg2未満の領域を嚢胞と判定することで分類を実行することができる。
一方、眼部特徴取得部440による網膜色素上皮層境界105及び内境界膜103の抽出は以下の手順で行われる。なお、当該抽出に際しては、画像解析対象である3次元断層像を、2次元断層像(Bスキャン像)の集合と捉え、各2次元断層像それぞれに対して、以下の処理を行うものとする。
まず、着目する2次元断層像に対して平滑化処理を行い、ノイズ成分を除去する。次に2次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、抽出した複数の層境界の候補から一番上の線分を内境界膜103として選択する。また、一番下の線分を網膜色素上皮層境界105として選択する。
ただし、上記網膜色素上皮層境界105の抽出手順は一例であり、抽出手順はこれに限定されるものではない。例えば、このようにして選択された線分を初期値として、Snakesやレベルセット法等の可変形状モデルを適用することで、最終的に選択された線分を、網膜色素上皮層境界105または内境界膜103としてもよい。あるいは、グラフカット法を用いて抽出するようにしてもよい。なお、可変形状モデルやグラフカットを用いて抽出する方法は、3次元断層像に対して3次元的に実行するようにしてもよいし、あるいは各2次元断層像に対して2次元的に実行するようにしてもよい。更に、網膜色素上皮層境界105及び内境界膜103を抽出する方法は、眼部の断層像から層境界を抽出可能な方法であれば、いずれの方法を用いてもよい。
(3)変更部450内の判定部451の機能
変更部450では、眼部特徴取得部440において抽出された眼部特徴に基づいて、眼部の状態を判断するとともに、判断した眼部の状態に基づいて、診断情報データ取得部460において実行される画像解析アルゴリズムの変更を指示する。
このうち、変更部450に含まれる判定部451では、眼部特徴取得部440において抽出された眼部特徴に基づいて、眼部の状態の判断を行う。具体的には、種類判定部452において、眼部特徴取得部440における眼部特徴の分類結果に基づく、嚢胞107及び白斑108の有無の判定を行う。また、状態判定部453において、眼部特徴取得部440にて分類された網膜色素上皮層境界105についての、歪みの有無の判定と、当該判定結果と嚢胞107及び白斑108の有無の判定結果とに基づく、眼部の状態の判断とを行う。
(4)変更部450内の処理対象変更部454及び処理方法変更部455の機能
一方、変更部450に含まれる処理対象変更部454では、状態判定部453において判定された眼部の状態に応じて、検出対象を変更する。更に、変更した検出対象についての情報を、層決定部461に指示する。
処理方法変更部455では、状態判定部453にて白斑108が抽出されたと判定された場合にあっては、白斑108が存在する領域よりも深度が大きい領域での網膜色素上皮層境界105の検出パラメータの変更を層決定部461に指示する。また、網膜色素上皮層境界105に歪みがあると判定された場合にあっては、網膜色素上皮層境界の歪み部分の検出パラメータの変更を層決定部461に指示する。
つまり、眼部の状態が加齢黄斑変性または黄斑浮腫であると判断された場合には、処理方法変更部455では、網膜色素上皮層境界105をより精度よく検出しなおすべく(再検出すべく)、検出パラメータの変更を層決定部461に指示する。
(5)診断情報データ取得部460の機能
診断情報データ取得部460では、眼部特徴取得部440において抽出された検出対象を用いて、また、処理方法変更部455において指示があった場合には、当該指示に基づいて抽出した検出対象も用いて、診断情報データを算出する。
このうち、層決定部461では、眼部特徴取得部440において検出され、記憶部420に格納された検出対象を取得する。なお、処理方法変更部455より、検出対象についての変更指示があった場合には、当該指示された検出対象を検出したうえで、検出対象を取得する。また、処理方法変更部455より、検出パラメータの変更指示があった場合には、変更後の検出パラメータを用いて検出対象を検出しなおした(再検出した)うえで、検出対象を取得する。更に、層決定部461では、網膜色素上皮層境界の正常構造106を算出する。
また、定量化部462では、層決定部461において取得された検出対象に基づいて、診断情報パラメータを算出する。
具体的には、神経線維層境界104に基づき神経線維層102の厚み及び網膜層全体の厚みを定量化する。なお、定量化に際しては、まずxy平面上の各座標点において神経線維層境界104と内境界膜103とのz座標の差を求めることで、神経線維層102の厚み(図1(a)のT1)を算出する。また、同様に網膜色素上皮層境界105と内境界膜103とのz座標の差を求めることで、網膜層全体の厚み(図1(a)のT2)を算出する。また、y座標ごとにx軸方向の各座標点での層厚を加算することで、各断面における各層(神経線維層102及び網膜層全体)の面積を算出する。更に、求めた面積をy軸方向に加算することで各層の体積を算出する。更に、網膜色素上皮層境界の正常構造106と網膜色素上皮層境界105との間に形成される部分の面積または体積(網膜色素上皮層境界実測位置−推定位置間面積または体積)を算出する。
(6)表示部470及び結果出力部480及び指示取得部490の機能
表示部470では、検出した神経線維層境界104を断層像に重畳表示する。さらに、表示部470では、定量化した診断情報データを表示する。このうち層厚に関する情報については、3次元断層像全体(xy平面)に対する層厚の分布マップとして表示するようにしてもよいし、上記検出結果の表示と連動させて注目断面における各層の面積として表示するようにしてもよい。あるいは、各層の体積や、操作者がxy平面上において指定した領域の体積を算出し、それらを表示するようにしてもよい。
結果出力部480では、撮像日時と、画像処理部430によって得られた画像解析処理の結果(診断情報データ)等とを関連付けてデータサーバ202に送信する。
指示取得部490では、画像処理装置201による断層像についての画像解析処理を終了するか否かの指示を外部より受け付ける。なお、当該指示は、操作者より、キーボード306やマウス307等を介して入力される。
<5.画像処理装置における画像解析処理の流れ>
次に画像処理装置201における画像解析処理の流れについて説明する。図5は、画像処理装置201における画像解析処理の流れを示すフローチャートである。
ステップS510では、画像取得部410が断層像撮像装置203に対して断層像の取得要求を送信する。断層像撮像装置203では、当該取得要求に応じて対応する断層像を送信し、画像取得部410では当該送信された断層像をLAN204を介して受信する。なお、画像取得部410にて受信された断層像は記憶部420に格納される。
ステップS520では、眼部特徴取得部440が、記憶部420に格納された断層像を読み出し、該断層像から眼部特徴として内境界膜103、網膜色素上皮層境界105、白斑108及び嚢胞107を抽出する。また、抽出した眼部特徴を、記憶部420に格納する。
ステップS530では、種類判定部452が、ステップS520で抽出された眼部特徴を、白斑108もしくは嚢胞107、網膜色素上皮層境界105、その他に分類する。
ステップS540では、ステップS530において種類判定部452が行った眼部特徴の分類結果に応じて、状態判定部453が眼部状態の判断を行う。すなわち、眼部特徴が網膜色素上皮層境界105のみである(断層像上に白斑108及び嚢胞107のいずれも存在しない)と判定した場合には、第1の状態であると判断し、状態判定部453はステップS550へと進む。一方、眼部特徴に白斑108または嚢胞107が含まれると判定した場合には、状態判定部453はステップS565へと進む。
ステップS550では、ステップS530において種類判定部452により分類された網膜色素上皮層境界105について、状態判定部453が、歪みの有無を判定する。
ステップS550において、網膜色素上皮層境界105に歪みがないと判定された場合には、ステップS560へと進む。一方、ステップS550において、網膜色素上皮層境界105に歪みがあると判定された場合には、ステップS565へと進む。
ステップS560では、診断情報データ取得部460が、嚢胞107及び白斑108がなく、かつ網膜色素上皮層境界105の歪みがない場合(眼部特徴が正常である場合)の画像解析アルゴリズム(眼部特徴正常時処理)を実行する。つまり、眼部特徴正常時処理とは、換言すると、緑内障の有無及び緑内障の進行度等を定量的に診断するのに有効な診断情報データを算出するための処理である。なお、眼部特徴正常時処理についての詳細は後述する。
一方、ステップS565では、画像処理部430が、嚢胞107または白斑108または網膜色素上皮層境界105の歪みがある場合(つまり、眼部特徴に異常がある場合)の画像解析アルゴリズム(眼部特徴異常時処理)を実行する。つまり、眼部特徴異常時処理とは、換言すると、加齢黄斑変性または黄斑浮腫の有無及びその進行度等を定量的に診断するのに有効な診断情報データを算出するための処理である。なお、眼部特徴異常時処理についての詳細は後述する。
ステップS570では、指示取得部490が、被検眼に関する今回の画像解析処理結果をデータサーバ202へ保存するか否かについての指示を外部から取得する。この指示は、例えば、キーボード306やマウス307を介して操作者により入力される。保存する旨の指示がなされた場合にはステップS580へと進む。一方、保存する旨の指示がなされなかった場合には、ステップS590へ進む。
ステップS580では、結果出力部480が、撮像日時、被検眼を同定する情報、断層像、画像処理部430より得られた画像解析処理結果を関連付けてデータサーバ202へ送信する。
ステップS590では、指示取得部490が、画像処理装置201による断層像の画像解析処理を終了する旨の指示を外部から取得したか否かを判断する。画像解析処理を終了する旨の指示を取得したと判断した場合には画像解析処理を終了する。一方、画像解析処理を終了する旨の指示を取得しなかったと判断した場合には、ステップS510に戻り、次の被検眼に対する処理(または同一被検眼に対する再処理)を行う。
<6.眼部特徴正常時処理の流れ>
次に図6を参照しながら、眼部特徴正常時処理(ステップS560)の詳細について説明する。
ステップS610では、処理対象変更部454が、検出対象の変更を指示する。具体的には、検出対象として新たに神経線維層境界104を検出するよう指示する。なお、検出対象についての指示は上記に限られず、例えば内網状層の外側境界104aを新たに検出するように指示してもよい。
ステップS620では、層決定部461が、ステップS610で指示された検出対象、すなわち神経線維層境界104を断層像から検出するとともに、すでに検出済みの検出対象(内境界膜103、網膜色素上皮層境界105)を記憶部420より取得する。なお、神経線維層境界104は、例えば、内境界膜103のz座標値からz軸の正方向にスキャンしていき、輝度値またはエッジが閾値以上の点を抽出し、当該抽出した点を接続することにより検出される。
ステップS630では、定量化部462が、ステップS620で取得された検出対象に基づき神経線維層102及び網膜層全体の厚みを定量化する(診断情報データを算出する)。具体的には、まず、xy平面上の各座標点において神経線維層境界104と内境界膜103とのz座標の差を求めることで、神経線維層102の厚み(図1(a)のT1)を算出する。また、同様に網膜色素上皮層境界105と内境界膜103とのz座標の差を求めることで、網膜層全体の厚み(図1(a)のT2)を算出する。更に、y座標ごとにx軸方向の各座標点での層厚を加算することで、各断面における各層(神経線維層102及び網膜層全体)の面積を算出する。さらに求めた面積をy軸方向に加算することで各層の体積を算出する。
ステップS640では、表示部470が、ステップS620で取得された神経線維層境界104を断層像に重畳表示する。更に、ステップS630における定量化により得られた診断情報データ(神経線維層厚、網膜全体厚)を表示する。この表示は3次元断層像全体(xy平面)に対する層厚の分布マップとして提示してもよいし、上記検出対象の取得結果の表示と連動させて注目断面における各層の面積として表示してもよい。また層の体積を表示したり、操作者がxy平面上において指定した領域における層の体積を算出し、当該算出した体積を表示したりするようにしてもよい。
<7.眼部特徴異常時処理の詳細>
次に、眼部特徴異常時処理(ステップS565)の詳細について説明する。図7は、眼部特徴異常時処理の流れを示すフローチャートである。
ステップS710では、ステップS530において種類判定部452が行った眼部特徴の分類結果に応じて、状態判定部453が眼部の状態の判断を行う。すなわち、ステップS530において、眼部特徴として嚢胞107が含まれていると判定された場合には、状態判定部453では、眼部の状態が黄斑浮腫である(第3の状態である)と判断し、ステップS720へ進む。一方、ステップS530において、嚢胞107が含まれていないと判定された場合には、状態判定部453では眼部の状態が加齢黄斑変性である(第2の状態である)と判断し、ステップS725へ進む。
ステップS720では、層決定部461及び定量化部462が、黄斑浮腫の進行度等の診断に有効な診断情報データを算出するための処理(黄斑浮腫向け処理)を行う。なお、黄斑浮腫向け処理の詳細は後述する。
一方、ステップS725では、層決定部461及び定量化部462が、加齢黄斑変性の進行度等の診断に有効な診断情報データを算出するための処理(加齢黄斑変性向け処理)を行う。なお、加齢黄斑変性向け処理についての詳細は後述する。
ステップS730では、表示部470が、ステップS720またはステップS725で取得された検出対象や算出された診断情報データを表示する。なお、これらの処理はステップS640における処理と同様であるため、ここでは詳細な説明は省略する。
<8.黄斑浮腫向け処理の詳細>
次に、黄斑浮腫向け処理(ステップS720)の詳細について説明する。図8(a)は、黄斑浮腫向け処理の流れを示すフローチャートである。
ステップS810では、ステップS530において種類判定部452が行った眼部特徴の分類結果に応じて、処理方法変更部455が処理の分岐を行う。図1(e)を用いて上述したように眼部特徴として白斑108が含まれていた場合には、白斑108において測定光がブロックされる。この結果、白斑108よりも深度方向(z軸方向)に関し座標値が大きい領域では、輝度値が減弱してしまう(図1(e)の109参照)。このため、Bスキャン画像における横方向(x軸方向)に関して白斑108と同じ座標値であって、白斑108よりも深度が大きい領域については、網膜色素上皮層境界105検出時の検出パラメータを変更する。
具体的には、眼部特徴に白斑108が含まれる場合には、処理方法変更部455が、白斑108が存在する領域よりも深度が大きい領域での網膜色素上皮層境界105の検出パラメータを変更するよう層決定部461に指示する。その後、ステップS820に進む。一方、眼部特徴として白斑108が含まれていなかった場合にはステップS830に進む。
ステップS820では、層決定部461が、白斑108が存在する領域よりも深度が大きい領域における網膜色素上皮層境界105の検出パラメータを以下のように設定する。ただし、ここでは検出方法として可変形状モデルを用いるものとする。
すなわち、画像エネルギー(輝度値に関する評価関数)の重みを輝度値が減弱した領域109における輝度値の減弱具合に応じて増加させる。具体的には、輝度値が減弱した領域109内の輝度統計量Fと、輝度値が減弱していない領域内の輝度統計量Tとの比率T/Fに比例した値を、画像エネルギーの重みとして設定する。
なお、ここでは検出パラメータを変更する場合について説明したが、層決定部461における処理はこれに限られない。例えば、輝度値が減弱している領域109においては画像補正後に可変形状モデルを実行するなど、検出方法自体を変更するようにしてもよい。
ステップS830では、定量化部462が、ステップS820で設定された検出パラメータに基づいて、再度、網膜色素上皮層境界105の検出を行う。
ステップS840では、既に検出済みの検出対象(内境界膜103)を記憶部420より取得する。
ステップS850では、定量化部462が、ステップS830で検出した網膜色素上皮層境界105とステップS840で取得した内境界膜103とに基づき網膜全体厚を算出する。なお、ステップS850における処理はステップS630における処理と同様であるので、ここでは詳細な説明は省略する。
<9.加齢黄斑変性向け処理の詳細>
次に、加齢黄斑変性向け処理(ステップS725)の処理の詳細を説明する。図8(b)は、加齢黄斑変性向け処理の流れを示すフローチャートである。
ステップS815では、処理対象変更部454が、検出対象の変更を指示する。具体的には、検出対象として新たに、網膜色素上皮層境界の正常構造106を検出するよう指示する。
ステップS825では、処理方法変更部455が処理の分岐を行う。具体的には、眼部特徴として白斑108が含まれていた場合には、処理方法変更部455が白斑108が存在する領域よりも深度が大きい領域での網膜色素上皮層境界105の検出パラメータを変更するよう層決定部461に指示する。
一方、眼部特徴として白斑108や網膜色素上皮層境界105の歪みのいずれも含まれていなかった場合には、ステップS845に進む。
ステップS835では、層決定部461が、白斑108が存在する領域よりも深度が大きい領域における網膜色素上皮層境界105の検出パラメータを変更する。白斑108が存在する領域よりも深度が大きい領域における検出パラメータの変更処理は、ステップS820における処理と同様であるので、ここでは詳細な説明は省略する。
ステップS845では、処理方法変更部455が網膜色素上皮層境界の歪み部分の検出パラメータを変更するよう層決定部461に指示する。これは、眼部特徴として網膜色素上皮層境界105の歪みがあった場合には、当該歪みの程度が加齢黄斑変性の進行度を診断する際の指標となるため、網膜色素上皮層境界105は、より精密に求められる必要があるからである。このため、処理対象変更部454では、まず、網膜色素上皮層境界105のうち歪みが存在する範囲を指定する。そして、該指定した範囲における網膜色素上皮層境界105の検出パラメータを変更するよう層決定部461に指示する。そして、層決定部461では、網膜色素上皮層境界の歪み部分の検出パラメータを変更する。
なお、網膜色素上皮層境界105のうち、歪みがあると判定された領域における検出パラメータの変更処理は以下のように行う。ただし、ここではSnakes法を用いて網膜色素上皮層境界105の歪みがある領域を検出する場合について説明する。
具体的には、網膜色素上皮層境界105に相当する層境界モデルの形状エネルギーの重みを画像エネルギーに比べて相対的に小さく設定する。これにより、網膜色素上皮層境界105の歪みをより正確に取得することが可能となるからである。すなわち網膜色素上皮層境界105の歪みを表す指標を計算し、該指標に反比例した値を形状エネルギーの重みとして設定する。
なお、本実施形態では層境界モデルの変形時に用いられる評価関数(形状エネルギー及び画像エネルギー)の重みを、層内の各制御点で可変となるように設定することとするが、本発明はこれに限られない。例えば網膜色素上皮層境界105を構成する制御点列全ての形状エネルギーの重みを、画像エネルギーに比べて一様に小さく設定するようにしてもよい。
図8(b)に戻る。ステップS855では、層決定部461が、ステップS835、S845で設定された検出パラメータに基づいて、再度、網膜色素上皮層境界105の検出を行う。
ステップS855では、層決定部461が、ステップS855で検出した網膜色素上皮層境界105からその正常構造106を推定する。なお、正常構造106の推定に際しては、画像解析対象の3次元断層像を2次元断層像(Bスキャン像)の集合と捉え、各2次元断層像それぞれに対して正常構造の推定を行うこととする。
具体的には、各2次元断層像内で検出されている網膜色素上皮層境界105を表す座標点群に2次関数を当てはめることで正常構造106を推定する。
ここで、εiを、網膜色素上皮層境界105の層境界データのi番目の点のz座標ziと正常構造106のデータのi番目の点のz座標z’iとの差と定義すると、近似関数を求めるための評価式は、例えば以下のように表される。
M=minΣρ(εi)
ここでΣはiについての総和を表す。また、ρ()は重み関数である。一例として、図9に、3種類の重み関数を示す。図9において、横軸はx、縦軸はρ(x)である。なお、重み関数は図9に示したものが全てではなく、どのような関数を設定しても良い。そして、上記の式において、評価値Mが最小になるように関数を設定するものとする。
なお、ここでは入力した3次元断層像を2次元断層像(Bスキャン像)の集合と捉え、各2次元断層像それぞれに対して正常構造106を推定することとしたが、正常構造106の推定方法はこれに限らない。例えば3次元断層像に対して直接的に処理を行うようにしてもよい。この場合、ステップS530で検出した層境界の3次元的な座標点群に、上記と同様な重み関数の選択基準を用いて楕円のあてはめを行う。
また、ここでは、正常構造106を推定するにあたり、近似する形状として2次関数を用いることとしたが、正常構造106を近似する形状は2次関数に限定されず、任意の関数を用いて推定してよい。
再び、図8(b)に戻る。ステップS875では、既に検出済みの検出対象(内境界膜103)を記憶部420より取得する。
ステップS885では、定量化部462が、ステップS855で検出した網膜色素上皮層境界105とステップS875で取得した内境界膜とに基づき網膜層全体の厚みを定量化する。また、ステップS855で検出した網膜色素上皮層境界105と、ステップS865で推定した正常構造106との差異に基づき、網膜色素上皮層101の歪みを定量化する。具体的には、当該差異の総和や層境界点間角度の統計量(最大値等)を求めることにより定量化する。
以上の説明から明らかなように、本実施形態に係る画像処理装置は、取得した断層像の画像解析処理において、眼部の状態を判断するための眼部特徴を抽出する構成とした。そして、抽出した眼部特徴に基づいて、眼部の状態を判断し、該判断した眼部の状態に応じて、断層像から検出すべき検出対象を変更したり、検出時の検出パラメータを変更したりする構成とした。
このように眼部の状態に応じた画像解析アルゴリズムを実行することにより、緑内障や加齢黄斑変性、黄斑浮腫等の疾病の有無及び当該疾病の進行度を診断するのに有効な診断情報パラメータを、眼部の状態に関わらず高い精度で算出することが可能となった。
[第2の実施形態]
上記第1の実施形態では、画像解析対象が黄斑部の断層像であることを前提として、眼部特徴を抽出し、該抽出した眼部特徴に基づいて眼部の状態を判断する構成とした。しかしながら、画像解析対象となる断層像は、黄斑部の断層像に限定されず、例えば、黄斑部に加えて視神経乳頭部が含まれる広画角の断層像である場合もありうる。そこで、本実施形態では、画像解析対象となる断層像が黄斑部と視神経乳頭部とを含む広画角の断層像である場合において、各部位を特定したうえで、各部位ごとに画像解析アルゴリズムを実行する画像処理装置について説明する。
なお、画像診断システムの全体構成、画像処理装置のハードウェア構成については上記第1の実施形態と同様であるため、ここでは説明を省略する。
<1.黄斑部と視神経乳頭部とを含む広画角の断層像について>
はじめに、黄斑部と視神経乳頭部とを含む広画角の断層像について説明する。図10は、黄斑部と視神経乳頭部とを含む広画角の断層像を撮像した場合の、xy平面における撮像範囲を示した図である。
図10において、1001は視神経乳頭部を、1002は黄斑部を示している。視神経乳頭部1001は、その中心及び中心窩において、内境界膜103の深度が極大となり(すなわち、陥凹部となっており)、かつ、網膜血管が存在しているという解剖学的特徴を有している。
一方、黄斑部1002は、視神経乳頭部1001から約2乳頭径だけ離れた位置に存在し、その中心及び中心窩において、内境界膜103の深度が極大となる(すなわち、陥凹部となっている)という解剖学的特徴を有している。更に、黄斑部1002の場合、網膜血管は存在せず、中心窩において神経線維層厚が0になるという解剖学的特徴を有している。
このため、断層像から視神経乳頭部と黄斑部とを特定するにあたっては、これらの解剖学的特徴を利用する。なお、広画角の断層像に対する画像解析処理において診断情報データを算出するにあたっては、xy平面において以下のような座標系を設定する。
一般に、神経節細胞は解剖学的に視神経乳頭部1001と黄斑部1002とを結ぶ線分1003に対して対称に走行することが知られており、正常な患者の眼部の断層像においては、視神経線維層厚の分布も、当該線分1003に対して対称となっている。そこで、図10に示すように、視神経乳頭部1001と黄斑部1002とを結ぶ直線を横軸とし、当該横軸に直交する軸を縦軸として、直交座標系1005を設定する。
<2.各部位の眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係>
次に、各部位の眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係について説明する。なお、黄斑部における眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係は、上記第1の実施形態において図1を用いて説明済みであるため、ここでは説明を省略する。以下、視神経乳頭部における眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係について、黄斑部との相違点を中心に説明する。
図11(a)、(b)は、OCTにより撮像された網膜の視神経乳頭部の断層像の模式図(内境界膜103の拡大図)である。図11(a)、(b)において、1101(または1102)は視神経乳頭部の陥凹部である。本実施形態に係る画像処理装置では、黄斑部及び視神経乳頭部を特定するにあたり、それぞれの部位の陥凹部を抽出する。そのため、本実施形態に係る画像処理装置では、視神経乳頭部における診断情報データとして、当該陥凹部の形状について定量化して出力するよう構成されている。具体的には、診断情報データとして、陥凹部1101(または1102)の面積若しくは体積を算出するよう構成されている。
図11(c)は、各部位の眼部の状態及び眼部特徴と検出対象及び診断情報データとの関係をまとめた表である。以下、図11(e)に示す表に基づいて画像解析処理を実行する画像処理装置について詳説する。
<3.画像処理装置の機能構成>
図12は、本実施形態に係る画像処理装置の機能構成を示すブロック図である。上記第1の実施形態に係る画像処理装置201(図4)との差異点は、判定部1251内において部位判定部1256が設けられている点である。また、眼部特徴取得部1240が、眼部の状態を判断するための眼部特徴に加え、部位判定部1256による部位判定のための眼部特徴を抽出する点である。そこで、以下では、眼部特徴取得部1240と、部位判定部1256の機能について説明する。
(1)眼部特徴取得部1240の機能
眼部特徴取得部1240は、上記第1の実施形態の眼部特徴取得部440と同様、記憶部420から断層像を読み出し、部位判定のための眼部特徴として、内境界膜103と神経線維層境界104とを抽出するとともに、網膜血管を抽出する。網膜血管は、断層像を深度方向に投影した平面において、任意の公知の強調フィルタを適用することにより抽出される。
(2)部位判定部1256の機能
部位判定部1256では、眼部特徴取得部1240において抽出された部位判定のための眼部特徴に基づいて、眼部の解剖学的部位の判定を行い、視神経乳頭部及び黄斑部を特定する。具体的には、まず、視神経乳頭部の位置を判定するために以下の処理を行う。
はじめに、内境界膜103の深度が極大となる位置(x,y座標)を求める。視神経乳頭部及び黄斑部は、ともにその中心及び中心窩において深度が極大値を示すため、両者を区別する特徴として極大値発生位置の近傍、すなわち陥凹部内における網膜血管の有無を調べる。そして、網膜血管が存在する場合には視神経乳頭部と判定する。
続いて、黄斑部を特定する。上述したように、黄斑部の解剖学的特徴としては、
(i)視神経乳頭から約2乳頭径だけ離れた位置に存在する
(ii)中心窩(黄斑部の中心)において網膜血管が存在しない
(iii)中心窩(黄斑部の中心)において神経線維層厚が0となる
(iv)中心窩付近に陥凹部が存在する
等が挙げられる(ただし黄斑浮腫などの症例では(iv)は必ずしも成り立たない)。
従って、視神経乳頭部から約2乳頭径離れた領域において神経線維層厚、網膜血管の有無、内境界膜のz座標を求める。そして、網膜血管が存在せず、神経線維層厚が0である領域を黄斑部として特定する。なお、上記の条件に該当する領域が複数存在した場合は、耳側(右眼では視神経乳頭陥凹部よりx座標が小、左眼では視神経乳頭陥凹部よりx座標が大)で視神経乳頭陥凹部よりやや下側(inferior)に存在するものを黄斑部として選択する。
<4.画像処理装置における画像解析処理の流れ>
次に画像処理装置1201における画像解析処理の流れについて説明する。図13は、画像処理装置1201における画像解析処理の流れを示すフローチャートである。上記第1の実施形態に係る画像処理装置201における画像解析処理(図5)とは、ステップS1320〜S1375の処理工程のみが相違する。そこで、以下では、ステップS1320〜S1375の処理工程について説明する。
ステップS1320では、眼部特徴取得部1240が、部位判定のための眼部特徴として断層像から内境界膜103と神経線維層境界104とを抽出する。また、断層像を深度方向に投影して得られる画像から網膜血管を抽出する。
ステップS1330では、部位判定部1256が、ステップS1320において抽出された眼部特徴から解剖学的部位の判定を行い、視神経乳頭部と黄斑部とを特定する。
ステップS1340では、部位判定部1256が、ステップS1330において特定された視神経乳頭部及び黄斑部の位置から、画像解析対象の広画角の断層像における座標系を設定する。具体的には、図10に示したように、視神経乳頭部1001と黄斑部1002を結ぶ直線を横軸、該横軸に直交する軸を縦軸として、直交座標系1005を設定する。
ステップS1350では、ステップS1340で設定した座標系に基づいて、眼部特徴取得部1240が、各部位ごとに眼部の状態を判断するための眼部特徴を抽出する。ただし、視神経乳頭部に関しては、視神経乳頭中心から一定距離内にある網膜色素上皮層境界を眼部特徴として抽出する。一方、黄斑部に関しては上記第1の実施形態の場合と同様に、網膜色素上皮層境界105、嚢胞107、白斑108を抽出する。なお、黄斑部における眼部特徴の探索範囲は、黄斑部の中心窩から一定距離の範囲(探索範囲1004(図10参照))内に設定されているものとする。ただし、これらの探索範囲は眼部特徴の種類に応じて変えるようにしてもよい。例えば、白斑108は網膜血管から漏出した脂質等が集積したものであるため、発生部位は黄斑部に限定されない。このため、白斑に関しては探索範囲を他の眼部特徴の探索範囲よりも広く設定するようにする。
なお、眼部特徴取得部1240は、探索範囲1004内において同一処理パラメータ(例えば処理間隔)で眼部特徴の抽出を実行するように構成されている必要はない。例えば、加齢黄斑変性の好発部位や視力への影響が大きい部位(図10の探索範囲1004もしくは黄斑部1002)においては、処理間隔を細かく設定して抽出を実行するようにしてもよい。これにより、効率的な画像解析処理を行うことが可能となる。
ステップS1351では、ステップS1350において抽出された眼部特徴について、種類判定部452が、白斑108と、嚢胞107と、網膜色素上皮層境界105と、その他の領域とに分類することで、眼部特徴の種類を判定する。
ステップS1355では、ステップS1351において種類判定部452が行った眼部特徴の分類結果に応じて、状態判定部453が眼部状態の判断を行う。すなわち、眼部特徴が網膜色素上皮層境界105のみである(断層像上に白斑108及び嚢胞107のいずれも存在しない)と判定した場合には、状態判定部453はステップS1360へと進む。一方、眼部特徴に白斑108または嚢胞107が含まれていると判定した場合には、状態判定部453はステップS1375へと進む。
ステップS1360では、ステップS1351において種類判定部452により分類された網膜色素上皮層境界105について、状態判定部453が、歪みの有無を判定する。
ステップS1360において、網膜色素上皮層境界105に歪みがないと判定された場合には、ステップS1370へと進む。
一方、ステップS1360において、網膜色素上皮層境界105に歪みがあると判定された場合には、ステップS1365へと進む。
ステップS1365では、部位判定部1256が、ステップS1330において判定した部位が、視神経乳頭部であったか否かを判定する。ステップS1365において視神経乳頭部であったと判定された場合には、ステップS1370に進む。
ステップS1370では、画像処理装置1201が、黄斑部の場合にあっては、嚢胞107及び白斑108がなく、かつ網膜色素上皮層境界105の歪みがない場合(黄斑部が正常である場合)の画像解析アルゴリズム(黄斑部特徴正常時処理)を実行する。つまり、黄斑部特徴正常時処理とは、換言すると、黄斑部における緑内障の有無及び緑内障の進行度等を定量的に診断するのに有効な診断情報データを算出するための処理である。なお、黄斑部特徴正常時処理の詳細は、上記第1の実施形態において図6を用いて説明した眼部特徴正常時処理と基本的に同じであるため、ここでは説明を省略する。
ただし、図6に示す眼部特徴正常時処理では、ステップS620において、内境界膜103と、神経線維層境界104もしくは内網状層の外側境界104aと、網膜色素上皮層境界105とを取得または検出する処理を行った。これに対して、黄斑部特徴正常時処理(ステップS1370)では、図10の探索範囲1004に含まれる、内境界膜103と、神経線維層境界104もしくは内網状層の外側境界104aと、網膜色素上皮層境界105とを取得または検出する処理を行う。
一方、視神経乳頭部の場合にあっては、ステップS1370では、嚢胞107及び白斑108がなく、かつ網膜色素上皮層境界105の歪みがある場合(視神経乳頭部が異常である場合)の画像解析アルゴリズム(視神経乳頭部特徴異常時処理)を実行する。つまり、視神経乳頭部特徴異常時処理とは、換言すると、視神経乳頭部における陥凹部の形状を定量的に診断するのに有効な診断情報データを算出するための処理である。
なお、乳頭部特徴異常時処理は、上記第1の実施形態において図6を用いて説明した眼部特徴正常時処理と基本的に同じであるため、ここでは詳細な説明を省略する。ただし、図6に示す眼部特徴正常時処理では、ステップS630において、定量化部462が、ステップS620において取得した神経線維層境界104に基づいて神経線維層102の厚みと網膜層全体の厚みとを定量化する処理を行った。これに対して、乳頭部特徴異常時処理では、これらを定量化する処理に代えて、図11に示すような視神経乳頭部の陥凹部1101、1102の形状を示す指標を定量化する処理(陥凹部の面積若しくは体積を算出する処理)を行う。
一方、ステップS1355において、状態判定部453が、眼部特徴に白斑108または嚢胞107が含まれていると判定した場合、あるいはステップS1365において部位判定部1256が黄斑部であると判定した場合には、ステップS1375に進む。
ステップS1375では、画像処理部430が、黄斑部において眼部特徴として嚢胞107、白斑108または網膜色素上皮層境界105の歪みがあると判定された場合の、画像解析アルゴリズム(黄斑部特徴異常時処理)を実行する。なお、黄斑部特徴異常時処理は、上記第1の実施形態において図7及び図8を用いて説明した眼部特徴異常時処理と基本的に同じであるため、ここでは説明を省略する。
ただし、図8(b)に示す加齢黄斑変性向け処理では、ステップS815において、処理対象変更部454が、検出対象として新たに網膜色素上皮層境界の正常構造106を検出するよう層決定部461に指示した。これに対して、黄斑部特徴異常時処理では、図10の探索範囲1004について正常構造106を検出するよう層決定部461に指示する。
以上の説明から明らかなように、本実施形態に係る画像処理装置では、取得した広画角の断層像に対して、部位を判定し、判定した部位ごとに、眼部の状態に応じて検出すべき検出対象や検出時の検出パラメータを変更する構成とした。
これにより、広画角の断層像においても、緑内障や加齢黄斑変性、黄斑浮腫等の各種疾病の有無及び当該疾病の進行度を診断するのに有効な診断情報パラメータを高い精度で取得することが可能となった。
[第3の実施形態]
上記第1及び第2の実施形態では、診断情報データとして、神経線維層厚や網膜全体厚、網膜色素上皮層境界実測位置−推定位置間面積(体積)等を算出する構成としたが、本発明はこれに限定されない。例えば、撮像日時(撮像タイミング)の異なる断層像について、それぞれ診断情報データを求めておき、それらを対比することで経時変化を定量化し、新たな診断情報データ(経過診断情報データ)を出力するように構成してもよい。具体的には、撮像日時の異なる2つの断層像について、それぞれの断層像に含まれる所定の位置合わせ対象に基づいて位置合わせを行い、対応する診断情報データ間の差分を求めることで、2つの断層像間の経時変化を定量化する。なお、以下の説明では、位置合わせされる側の断層像を参照画像(Reference Image)(第1の断層像)、位置合わせのために変形・移動させる断層像を浮動画像(Floating Image)(第2の断層像)と呼ぶこととする。
なお、本実施形態では、参照画像、浮動画像ともに、上記第1の実施形態で説明した画像解析処理が実行されるこよにより算出された診断情報データが、データサーバ202に既に格納されているものとする。
以下、本実施形態の詳細について説明する。なお、画像診断システムの全体構成及び画像処理装置のハードウェア構成については上記第1の実施形態と同様であるため、ここでは説明を省略する。
<1.眼部の状態及び眼部特徴と位置合わせ対象、経過診断情報データとの関係>
はじめに、眼部の状態及び眼部特徴と位置合わせ対象及び経過診断情報データとの関係について説明する。図14(a)〜(f)は、OCTにより撮像された網膜の2つの断層像の模式図である。撮像日時(撮像タイミング)の異なる断層像において位置合わせを行うにあたり、本実施形態に係る画像処理装置では、眼部の状態ごとに、変形しにくい領域を位置合わせ対象として選択する。更に、当該選択した位置合わせ対象を用いることにより、眼部の状態に応じた位置合わせ処理(座標変換法、位置合わせパラメータ、位置合わせ類似度計算の重みが最適化された位置合わせ処理)を浮動画像に対して施していく。
図14(a)、(b)は、OCTにより撮像された網膜の視神経乳頭部の断層像の模式図(内境界膜103の拡大図)である。図14(a)、(b)において、1401(1402)は視神経乳頭部の陥凹部である。一般に神経線維層102や視神経乳頭部の陥凹部周辺の内境界膜103は、変形しやすい領域である。このため、視神経乳頭部を含む断層像において位置合わせを行うにあたっては、視神経乳頭部の陥凹部以外の内境界膜103、視細胞内節外節境界(IS/OS)及び網膜色素上皮層境界を位置合わせ対象として選択する(図14(a)、(b)の太線部分)。
図14(c)、(d)は、黄斑浮腫の患者の網膜の断層像を示している。黄斑浮腫の場合、変形しにくい領域としては、嚢胞107が位置する領域以外の内境界膜103と、中心窩付近を除く網膜色素上皮層境界105(図14(c)及び(d)の太線部分)が挙げられる。このため、黄斑浮腫であると判断された断層像において、位置合わせを行うにあたっては、嚢胞107が位置する領域以外の内境界膜103と、中心窩付近を除く網膜色素上皮層境界105とを位置合わせ対象として選択する。
図14(e)、(f)は、加齢黄斑変性の患者の網膜の断層像を示している。加齢黄斑変性の場合、変形しにくい領域としては、内境界膜103と、歪みが位置する領域以外の網膜色素上皮層境界105とが挙げられる(図14(e)及び(f)の太線部分)。このため、加齢黄斑変性であると判断された断層像において、位置合わせを行うにあたっては、内境界膜103と、歪みが位置する領域以外の網膜色素上皮層境界105とを位置合わせ対象として選択する。
なお、位置合わせ対象はこれに限られず、網膜色素上皮層境界の正常構造106を算出した場合にあっては、網膜色素上皮層境界の正常構造を位置合わせ対象としてもよい(図14(e)、(f)の太点線部分)。
図14(g)は、上記眼部の状態及び眼部特徴と位置合わせ対象、経過診断情報データとの関係をまとめた表である。以下、図14(g)に示す表に基づいて画像解析処理を実行する本実施形態に係る画像処理装置について詳説する。
<2.画像処理装置の機能構成>
はじめに、図15を用いて本実施形態に係る画像処理装置1501の機能構成について説明する。図15は、本実施形態に係る画像処理装置1501の機能構成を示すブロック図である。上記第1の実施形態に係る画像処理装置201(図4)との差異点は、診断情報データ取得部1560内において、層決定部461に代えて位置合わせ部1561が配されている点である。また、定量化部1562が、位置合わせ部1561において位置合わせした2つの断層像間の経時変化を定量化した経過診断情報データを算出する点である。そこで、以下では、位置合わせ部1561と定量化部1562の機能について説明する。
(1)位置合わせ部1561の機能
位置合わせ部1561では、処理対象変更部454からの指示(ここでは、眼部の状態に応じた位置合わせ対象についての指示)に基づいて、位置合わせ対象の選択を行う。また、処理方法変更部455からの指示(ここでは、眼部の状態に応じた位置合わせ処理についての指示)に基づいて、位置合わせ処理(座標変換法、位置合わせパラメータ、位置合わせ類似度計算の重みが最適化された位置合わせ処理)を実行する。これは、経過観察のために撮像日時の異なる断層像を位置合わせする場合、眼部の状態によって変形しやすい層や組織の種類、範囲が異なってくるからである。
具体的には、状態判定部453において、網膜色素上皮層境界105の歪みや、白斑108、嚢胞107が含まれていないと判定された場合には、位置合わせ対象として、視神経乳頭部の陥凹部以外の内境界膜103を選択する。また、視細胞内節外節境界(IS/OS)及び網膜色素上皮層を選択する。
また、網膜色素上皮層境界105の歪みや、白斑108、嚢胞107が含まれていない場合、網膜の変形は比較的小さくなるため、座標変換方法として剛体変換法を選択する。また、位置合わせパラメータとして並進(x、y、z)及び回転(α、β、γ)を選択する。ただし、座標変換法はこれに限定されず、例えば、Affine変換法等を選択するようにしてもよい。更に、網膜血管領域下の(網膜血管よりも深度が大きい領域における)領域(偽像領域)での位置合わせ類似度計算の重みを小さく設定する。
なお、このように網膜血管領域下の偽造領域における位置合わせ類似度計算の重みを小さく設定するのは以下のような理由による。
一般に、網膜血管より深度が大きい領域には輝度値が減弱した領域(偽像領域)が含まれるが、当該偽像領域は、光源の照射方向によりその発生する位置(方向)が異なってくる。このため、参照画像と浮動画像の撮像時の撮像条件の違いによっては偽像領域の発生位置が異なってくる場合がありえる。したがって、位置合わせ類似度計算時には偽像領域に関して重みを小さく設定することが有効となってくる。なお、重みが0とは、位置合わせ類似度計算の処理対象から除外することと等価である。
一方、状態判定部453において、嚢胞107が含まれていると判定された場合には、位置合わせ部1561では、位置合わせ対象として、内境界膜103と、中心窩付近を除く網膜色素上皮層境界105(図14(c)及び(d)太線部分)を選択する。
また、その場合、座標変換方法として剛体変換を選択し、位置合わせパラメータとして並進(x、y、z)及び回転(α、β、γ)を選択する。ただし、座標変換法はこれに限定されず、例えば、Affine変換法等を選択するようにしてもよい。更に、網膜血管領域下及び白斑領域下の偽像領域における位置合わせ類似度計算の重みを小さく設定する。そして、係る条件もとで、第1の位置合わせ処理を行う。
更に、第1の位置合わせ処理後は、座標変換方法として非剛体変換の一種であるFFD(Free From Deformation)を選択し、第2の位置合わせ処理を行う。なお、FFDでは参照画像及び浮動画像を各々局所ブロックに分割し、局所ブロック同士でブロックマッチングを行う。このとき、位置合わせ対象を含む局所ブロックについては、ブロックマッチングにおける探索範囲を第1の位置合わせ処理よりも狭く設定する。
一方、状態判定部453において、白斑108と、網膜色素上皮層境界の歪みが含まれていると判定された場合には、位置合わせ部1561では、位置合わせ対象として、内境界膜103と歪みが検出された領域を除く網膜色素上皮層境界105とを選択する。具体的には、図14(e)、(f)の太線部分を選択する。ただし、位置合わせ対象はこれに限られない。例えば、事前に網膜色素上皮層境界の正常構造106を求めておき、当該網膜色素上皮層境界の正常構造106(図14(e)、(f)の太点線部分)を選択するようにしてもよい。
また、白斑108と、網膜色素上皮層境界の歪みとが含まれていると判定された場合には、座標変換方法として剛体変換を選択し、位置合わせパラメータとして並進(x、y、z)及び回転(α、β、γ)を選択する。ただし、座標変換法はこれに限定されず、例えば、Affine変換法等を選択するようにしてもよい。更に、網膜血管領域下及び白斑領域下の偽像領域における位置合わせ類似度計算の重みを小さく設定する。そして、係る条件のもとで、第1の位置合わせを処理を行う。更に、第1の位置合わせ処理後は、座標変換方法としてFFDを選択し、第2の位置合わせ処理を行う。なお、FFDでは参照画像及び浮動画像を各々局所ブロックに分割し、局所ブロック同士でブロックマッチングを行う。
(2)定量化部1562の機能
定量化部1562では、位置合わせ処理後の断層像に基づいて、2つの断層像間の経時変化を定量化した経過診断情報パラメータを算出する。具体的には、参照画像及び浮動画像についての診断情報データをデータサーバ202より呼び出す。そして、浮動画像についての診断情報データを位置合わせ処理の結果(位置合わせ評価値)に基づいて処理し、参照画像についての診断情報データと対比する。これにより、神経線維層厚、網膜全体厚、網膜色素上皮層境界実測位置−推定位置間面積(体積)についての差分をそれぞれ算出することができる(つまり、定量化部1562は、差分算出手段として機能する)。
<3.画像処理装置における画像解析処理の流れ>
次に画像処理装置1501における画像解析処理の流れについて説明する。なお、画像処理装置1501における画像解析処理の流れは、基本的に、上記第1の実施形態に係る画像処理装置201の画像解析処理(図5)と同じである。ただし、上記第1の実施形態に係る画像処理装置201の画像解析処理(図5)とは、眼部特徴正常時処理(ステップS560)及び眼部特徴異常時処理(ステップS565)において相違する。このため、以下では、眼部特徴正常時処理(ステップS560)及び眼部特徴異常時処理(ステップS565)の詳細について説明する。なお、眼部特徴異常時処理(ステップS565)については、図7に示す詳細処理のうち、黄斑浮腫向け処理(ステップS720)及び加齢黄斑変性向け処理(ステップS725)のみが相違しているため、以下では、当該処理について説明する。
<眼部特徴正常時処理の流れ>
図16(a)は、本実施形態に係る画像処理装置1501における眼部特徴正常時処理の流れを示すフローチャートである。
ステップS1610では、位置合わせ部1561が、座標変換法及び位置合わせパラメータの設定を行う。なお、網膜色素上皮層境界の歪みや白斑、嚢胞がないと判定された場合に実行される眼部特徴正常時処理の場合、比較的網膜の変形が小さい浮動画像が画像解析対象となるため、座標変換法として剛体変換法を選択する。また、位置合わせパラメータとして並進(x、y、z)及び回転(α、β、γ)を選択する。
ステップS1620では、位置合わせ部1561が、位置合わせ対象として、視神経乳頭部の陥凹部以外の内境界膜103、視細胞内節外節境界(IS/OS)及び網膜色素上皮(RPE)層を選択する。
ステップS1630では、網膜血管領域下の偽像領域における位置合わせ類似度計算の重みを小さく設定する。具体的には参照画像及び浮動画像上で網膜血管のx、y座標と同じx、y座標を持ち、内境界膜103よりz座標の値が大きな領域それぞれの論理和(OR)によって規定される範囲に対して、位置合わせ類似度計算時の重みを0以上1.0未満の値に設定する。
ステップS1640では、位置合わせ部1561が、ステップS1610、S1620及びS1630にて設定された座標変換法、位置合わせパラメータ、位置合わせ対象及び重みを用いて位置合わせ処理を行うとともに、位置合わせ評価値を求める。
ステップS1650では、定量化部1562が、浮動画像についての診断情報データと参照画像についての診断情報データとをデータサーバ202より取得する。浮動画像についての診断情報データを、位置合わせ評価値に基づいて処理したうえで、参照画像についての診断情報データと対比することで、両者の経時変化を定量化し経過診断情報データを出力する。具体的には、網膜全体厚の差分を経過診断情報データとして出力する。
<黄斑浮腫向け処理の流れ>
次に、図16(b)を用いて黄斑浮腫向け処理の詳細について説明する。ステップS1613では、位置合わせ部1561が、座標変換法及び位置合わせパラメータの設定を行う。具体的には、座標変換法として剛体変換法を選択し、位置合わせパラメータとして並進(x、y、z)及び回転(α、β、γ)を選択する。
ステップS1623では、位置合わせ部1561が、位置合わせ対象を変更する。眼部特徴として嚢胞107が抽出された場合(眼部の状態が黄斑浮腫であると判断される場合)、黄斑部の中心窩付近で網膜色素上皮層境界が変形している可能性が高い。また、視細胞内節外節境界(IS/OS)は疾病の進行に伴い消滅する場合もある。そこで、位置合わせ対象として内境界膜103と、中心窩付近を除く網膜色素上皮層境界105(図14(c)及び(d)太線部分)とを選択する。
ステップS1633では、位置合わせ部1561が、網膜血管及び白斑108領域下の偽像領域に関して、位置合わせ類似度計算時の重みを小さく設定する。なお、網膜血管領域下の偽像領域に関する類似度計算法は、ステップS1630と同様であるため、ここでは説明は省略する。
具体的には下記領域の論理和(OR)によって規定される範囲に関し、位置合わせ類似度計算時の重みを0以上1.0未満に設定する。
・参照画像上で白斑108のx、y座標と同じx、y座標を持ち白斑108よりz座標の値が大きな領域
・浮動画像上で白斑108のx、y座標と同じx、y座標を持ち白斑108のz座標よりz座標の値が大きな領域
ステップS1643では、位置合わせ部1561が、ステップS1613〜S1633にて設定された座標変換法、位置合わせパラメータ、位置合わせ対象及び重みを用いて大まかな位置合わせ(第1の位置合わせ処理)を行う。また、位置合わせ評価値を求める。
ステップS1653では、位置合わせ部1561が、精密位置合わせ(第2の位置合わせ処理)を行うために、座標変換方法及び位置合わせパラメータの探索範囲の変更を行う。
ここでは、座標変換法として非剛体変換の一種であるFFD(Free From Deformation)に変更されるものとする。また、位置合わせパラメータの探索範囲を狭く設定する。なお、FFDの場合、参照画像及び浮動画像を各々局所ブロックに分割し、局所ブロック同士でブロックマッチングを行う。一方、黄斑浮腫においては、位置合わせの際に目印となる、変形しにくい層の種類や範囲は、図14(c)、(d)における太線部分となる。そこで、FFDの実行に際しては、図14(c)、(d)における太線部分を含む局所ブロックについてブロックマッチング時の探索範囲を狭く設定する。
ステップS1663では、位置合わせ部1561が、ステップS1633にて設定された座標変換法及び位置合わせパラメータの探索範囲に基づいて精密位置合わせを行うとともに、位置合わせ評価値を求める。
ステップS1673では、定量化部1562が、浮動画像についての診断情報データと参照画像についての診断情報データとをデータサーバ202より取得する。浮動画像についての診断情報データを、位置合わせ評価値に基づいて処理したうえで、参照画像についての診断情報データと対比することで、両者の経時変化を定量化し、経過診断情報データを出力する。具体的には、中心窩付近の網膜全体厚の差分を経過診断情報データとして出力する。
<加齢黄斑変性向け処理の流れ>
次に、図16(c)を用いて加齢黄斑変性向け処理の詳細について説明する。ステップS1615では、位置合わせ部1561が、座標変換法及び位置合わせパラメータを設定する。具体的には、座標変換法として剛体変換法を選択し、位置合わせパラメータとして並進(x、y、z)及び回転(α、β、γ)を選択する。
ステップS1625では、位置合わせ部1561が、位置合わせ対象を変更する。眼部特徴として網膜色素上皮層の歪みが抽出された場合(眼部の状態が加齢黄斑変性であると判断された場合)、網膜色素上皮層の歪みが抽出された範囲及びその近傍領域は変形しやすい。また、視細胞内節外節境界(IS/OS)は疾病の進行に伴い消滅する場合もありえる。そこで、位置合わせ対象として、内境界膜103と歪みが抽出された領域を除く網膜色素上皮層境界105と(図14(e)の太線部分及び図14(f)の太線部分)を選択する。なお、位置合わせ対象はこれに限られない。例えば、事前に網膜色素上皮層境界の正常構造106を求めておき、網膜色素上皮層境界の正常構造106(図14(e)、(f)の太点線部分)を選択するようにしてもよい。
ステップS1635では、位置合わせ部1561が、網膜血管及び白斑108領域下の偽像領域の位置合わせ類似度計算時の重みを小さく設定する。なお、位置合わせ類似度計算処理は、ステップS1623における処理と同様であるので、ここでは詳細な説明は省略する。
ステップS1645では、位置合わせ部1561が、ステップS1615〜S1635にて設定された座標変換法、位置合わせパラメータ、位置合わせ対象及び重みを用いて大まかな位置合わせ(第1の位置合わせ処理)を行う。また、位置合わせ評価値を求める。
ステップS1655では、位置合わせ部1561が、精密位置合わせ(第2の位置合わせ処理)を行うための座標変換方法及び位置合わせパラメータ空間内の探索方法の変更を行う。
ここでは、ステップS1635の場合と同様、座標変換法がFFDに変更され、位置合わせパラメータの探索範囲が狭く変更される。なお、加齢黄斑変性において、位置合わせの際に目印となる変形しにくい層の種類や範囲は、図14(e)、(f)に示す太線部分である。したがって、該太線部分を含む局所ブロックについてのブロックマッチング時の探索範囲が狭く設定されることとなる。
ステップS1665では、位置合わせ部1561が、ステップS1655にて設定された座標変換方法及び位置合わせパラメータの探索範囲に基づいて精密位置合わせを行い、位置合わせ評価値を求める。
ステップS1675では、浮動画像についての診断情報データと参照画像についての診断情報データとをデータサーバ202より取得する。浮動画像についての診断情報データを、位置合わせ評価値に基づいて処理したうえで、参照画像についての診断情報データと対比することで、両者の経時変化を定量化し経過診断情報データを出力する。具体的には、網膜血管に相当する領域、すなわち網膜色素上皮層境界実測位置−推定位置間面積(体積)の差分を経過診断情報データとして出力する。
以上の説明から明らかなように、本実施形態に係る画像処理装置では、撮像日時の異なる断層像について、眼部の状態に応じた位置合わせ対象を用いて位置合わせを行い、断層像間の経時変化を定量化する構成とした。
このように、眼部の状態に応じた画像解析アルゴリズムを実行することにより、緑内障や加齢黄斑変性、黄斑浮腫等の各種疾病の進行度を診断するのに有効な経過診断情報パラメータを、眼部の状態に関わらず高い精度で算出することが可能となった。
[他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 眼部の断層像を処理する画像処理装置であって、
    前記眼部における疾病の状態を前記断層像の情報から判断する判断手段と、
    前記判断手段により判断された前記眼部における疾病の状態に応じて、前記疾病の状態を定量的に示すための診断情報データの算出において用いられる検出対象または該検出対象を検出するためのアルゴリズムを変更する検出手段と
    を有することを特徴とする画像処理装置。
  2. 前記検出対象には、前記断層像の所定の層が含まれ、
    前記所定の層の形状が変化していた場合、または前記断層像に所定の組織を含まれていた場合に、前記検出手段は、前記検出対象に含まれる前記所定の層を検出するための検出パラメータを変更したうえで、前記所定の層を再検出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記所定の層の形状の変化の有無には、前記眼部を構成する網膜色素上皮層の歪みの有無が含まれ、前記所定の組織の有無には、白斑の有無または嚢胞の有無が含まれることを特徴とする請求項2に記載の画像処理装置。
  4. 前記判断手段は、
    前記眼部を構成する網膜色素上皮層の歪みがなく、かつ、前記白斑及び前記嚢胞がないと判定した場合に、第1の状態であると判断し、
    前記眼部を構成する網膜色素上皮層の歪みがある、または、前記嚢胞はないが前記白斑はあると判定された場合に、第2の状態であると判断し、
    前記嚢胞があると判定された場合に、第3の状態であると判断し、
    前記検出手段は、
    前記判断手段において前記第1の状態であると判断された場合には、前記検出対象として、内境界膜と、神経線維層境界と、網膜色素上皮層境界とを検出し、
    前記判断手段において前記第2の状態であると判断された場合には、前記検出対象として、内境界膜と、網膜色素上皮層境界と、前記網膜色素上皮層の歪みがないと仮定した場合の網膜色素上皮層境界と検出し、
    前記判断手段において、前記第3の状態であると判断された場合には、前記検出対象として、内境界膜と、網膜色素上皮層境界とを検出することを特徴とする請求項3に記載の画像処理装置。
  5. 前記検出手段は、
    前記判断手段において、前記眼部を構成する網膜色素上皮層の歪みがあると判定された場合には、該歪みがある領域の前記網膜色素上皮層境界を検出するための検出パラメータを変更したうえで、該網膜色素上皮層境界を再検出し、
    前記判断手段において、前記白斑があると判定された場合には、該判定された白斑に対して、深度方向に深い位置にある前記網膜色素上皮層境界を検出するための検出パラメータを変更したうえで、該網膜色素上皮層境界を再検出することを特徴とする請求項4に記載の画像処理装置。
  6. 前記算出手段は、
    前記判断手段において前記第1の状態であると判断された場合には、前記診断情報データとして、神経線維層厚と、網膜全体厚とを算出し、
    前記判断手段において前記第2の状態であると判断された場合には、前記診断情報データとして、網膜全体厚と、前記網膜色素上皮層境界と該網膜色素上皮層の歪みがないと仮定した場合の網膜色素上皮層境界との間の領域の面積または体積と、を算出し、
    前記判断手段において前記第3の状態であると判断された場合には、前記診断情報データとして、網膜全体厚を算出することを特徴とする請求項4に記載の画像処理装置。
  7. 内境界膜の陥凹部を抽出することにより、前記眼部の視神経乳頭部と黄斑部とを抽出し、該陥凹部における網膜血管の有無及び神経線維層厚に基づいて、視神経乳頭部と黄斑部とをそれぞれ特定する特定手段を更に有し、
    前記眼部の断層像は、前記特定手段により特定された各部位ごとに処理が実行されることを特徴とする請求項4に記載の画像処理装置。
  8. 前記算出手段により、前記診断情報データが算出された第1の断層像と、前記算出手段により、前記診断情報データが算出された断層像であって、該第1の断層像とは撮像タイミングの異なる第2の断層像とを、位置合わせする位置合わせ手段と、
    前記位置合わせ手段により位置合わせされた前記第1及び第2の断層像それぞれにおいて特定されている前記位置情報の差異を求めることにより、前記第1及び第2の断層像の診断情報データの差分を表す経過診断情報データを算出する差分算出手段と
    を有することを特徴とする請求項4に記載の画像処理装置。
  9. 前記位置合わせ手段は、
    前記検出手段により検出された前記検出対象のうち、前記判断手段において判断された前記眼部の疾病の状態に応じて選択される領域を基準として位置合わせを行い、
    前記判断手段において判断された前記眼部の疾病の状態に応じて選択される処理方法を用いて位置合わせを行うことを特徴とする請求項8に記載の画像処理装置。
  10. 眼部の断層像を処理する画像処理装置における画像処理方法であって、
    判断手段が、前記眼部における疾病の状態を前記断層像の情報から判断する判断工程と、
    検出手段が、前記判断工程において判断された前記眼部における疾病の状態に応じて、前記疾病の状態を定量的に示すための診断情報データの算出において用いられる検出対象または該検出対象を検出するためのアルゴリズムを変更する検出工程と
    を有することを特徴とする画像処理方法。
  11. 請求項10に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
  12. 請求項10に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶した記憶媒体。
JP2009278948A 2009-12-08 2009-12-08 画像処理装置及び画像処理方法 Expired - Fee Related JP5582772B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009278948A JP5582772B2 (ja) 2009-12-08 2009-12-08 画像処理装置及び画像処理方法
US12/941,351 US20110137157A1 (en) 2009-12-08 2010-11-08 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009278948A JP5582772B2 (ja) 2009-12-08 2009-12-08 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2011120656A true JP2011120656A (ja) 2011-06-23
JP2011120656A5 JP2011120656A5 (ja) 2013-01-10
JP5582772B2 JP5582772B2 (ja) 2014-09-03

Family

ID=44082690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009278948A Expired - Fee Related JP5582772B2 (ja) 2009-12-08 2009-12-08 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US20110137157A1 (ja)
JP (1) JP5582772B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153882A (ja) * 2012-01-27 2013-08-15 Canon Inc 画像処理システム、処理方法及びプログラム
JP2013208395A (ja) * 2012-03-30 2013-10-10 Canon Inc 画像処理装置及びその方法
JP2013215243A (ja) * 2012-04-04 2013-10-24 Canon Inc 画像処理装置及びその方法、プログラム
JP2015029559A (ja) * 2013-07-31 2015-02-16 キヤノン株式会社 撮影装置及び撮影方法
JP2015515894A (ja) * 2012-05-10 2015-06-04 カール ツアイス メディテック アクチエンゲゼルシャフト Oct血管造影データの解析および可視化
JP2016209199A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 撮像装置
JP2017104535A (ja) * 2015-12-02 2017-06-15 株式会社ニデック 眼科情報処理装置、および眼科情報処理プログラムに関する。
JP2017200613A (ja) * 2017-07-14 2017-11-09 キヤノン株式会社 画像処理装置及び画像処理方法
WO2018135174A1 (ja) * 2017-01-23 2018-07-26 株式会社トプコン 眼科装置
US10244937B2 (en) 2013-07-31 2019-04-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2019531817A (ja) * 2016-10-13 2019-11-07 トランスレイタム メディカス インコーポレイテッド 眼疾患の検出のためのシステム及び方法
CN111353970A (zh) * 2018-12-20 2020-06-30 奥普托斯股份有限公司 眼部图像的病理检测

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142428A (ja) * 2008-12-18 2010-07-01 Canon Inc 撮影装置及び撮影方法、プログラム、記録媒体
JP4909378B2 (ja) 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP5436076B2 (ja) 2009-07-14 2014-03-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5645432B2 (ja) * 2010-03-19 2014-12-24 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
JP5610884B2 (ja) 2010-07-09 2014-10-22 キヤノン株式会社 光断層撮像装置及び光断層撮像方法
JP5127897B2 (ja) * 2010-08-27 2013-01-23 キヤノン株式会社 眼科用画像処理装置及びその方法
EP2449957B1 (en) * 2010-11-05 2015-03-25 Nidek Co., Ltd. Control method of a fundus examination apparatus
JP5702991B2 (ja) 2010-11-19 2015-04-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5733960B2 (ja) 2010-11-26 2015-06-10 キヤノン株式会社 撮像方法および撮像装置
JP5701024B2 (ja) * 2010-11-26 2015-04-15 キヤノン株式会社 画像処理装置及び方法
JP5904711B2 (ja) 2011-02-01 2016-04-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5836634B2 (ja) 2011-05-10 2015-12-24 キヤノン株式会社 画像処理装置及び方法
JP6025311B2 (ja) 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
JP5955163B2 (ja) 2011-09-06 2016-07-20 キヤノン株式会社 画像処理装置および画像処理方法
JP2013075035A (ja) * 2011-09-30 2013-04-25 Canon Inc 光断層像撮像方法、光断層像撮像装置およびプログラム
JP5926533B2 (ja) * 2011-10-27 2016-05-25 キヤノン株式会社 眼科装置
JP5988772B2 (ja) 2012-01-20 2016-09-07 キヤノン株式会社 画像処理装置及び画像処理方法
JP6039185B2 (ja) 2012-01-20 2016-12-07 キヤノン株式会社 撮影装置
JP5936368B2 (ja) 2012-01-20 2016-06-22 キヤノン株式会社 光干渉断層撮影装置及びその作動方法
JP2013148509A (ja) 2012-01-20 2013-08-01 Canon Inc 画像処理装置及び画像処理方法
JP6146951B2 (ja) 2012-01-20 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法、撮影装置及び撮影方法
JP6061554B2 (ja) * 2012-01-20 2017-01-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP6226510B2 (ja) 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP6101048B2 (ja) 2012-02-20 2017-03-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP6114495B2 (ja) 2012-02-20 2017-04-12 キヤノン株式会社 画像表示装置及び画像表示方法、撮影システム
JP5947561B2 (ja) 2012-02-20 2016-07-06 キヤノン株式会社 画像形成装置及び画像形成方法
JP6025349B2 (ja) * 2012-03-08 2016-11-16 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
EP2693399B1 (en) * 2012-07-30 2019-02-27 Canon Kabushiki Kaisha Method and apparatus for tomography imaging
CN102860814B (zh) * 2012-08-24 2015-06-10 深圳市斯尔顿科技有限公司 一种oct合成眼底图视盘中心定位方法及设备
WO2014031086A1 (en) * 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
JP6116188B2 (ja) 2012-10-26 2017-04-19 キヤノン株式会社 眼底撮像装置
JP6092659B2 (ja) 2013-02-28 2017-03-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP6198410B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP6200168B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法
US9566000B2 (en) * 2013-03-15 2017-02-14 Neurovision Imaging Llc Method for detecting amyloid beta plaques and drusen
US9846311B2 (en) * 2013-07-30 2017-12-19 Jonathan Stephen Farringdon Method and apparatus for forming a visible image in space
US9943223B2 (en) * 2015-02-13 2018-04-17 University Of Miami Retinal nerve fiber layer volume analysis for detection and progression analysis of glaucoma
JP6470604B2 (ja) 2015-03-25 2019-02-13 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
US10719932B2 (en) * 2018-03-01 2020-07-21 Carl Zeiss Meditec, Inc. Identifying suspicious areas in ophthalmic data
JP7130989B2 (ja) * 2018-03-05 2022-09-06 株式会社ニデック 眼科画像処理装置、および眼科画像処理プログラム
US10973406B2 (en) 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
CN110335254B (zh) * 2019-06-10 2021-07-27 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质
US11819275B2 (en) 2020-12-16 2023-11-21 Canon Kabushiki Kaisha Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium
CN113222886B (zh) * 2021-03-03 2023-01-24 首都医科大学附属北京友谊医院 颈静脉球窝、乙状窦沟定位方法和智能颞骨影像处理系统
CN112991343B (zh) * 2021-04-30 2021-08-13 北京至真互联网技术有限公司 眼底图像黄斑区域的识别检测方法和装置及设备
CN113610004B (zh) * 2021-08-09 2024-04-05 上海擎朗智能科技有限公司 一种图像处理方法、机器人及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357866A (ja) * 2003-06-03 2004-12-24 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び表示制御方法
JP2009507537A (ja) * 2005-09-09 2009-02-26 カール ツァイス メディテック アクチエンゲゼルシャフト 病変組織のより有意義な解剖学的特徴を明らかにする生体画像データの処理方法
JP2009061203A (ja) * 2007-09-10 2009-03-26 Univ Of Tokyo 眼底観察装置、眼底画像処理装置及びプログラム
JP2009095550A (ja) * 2007-10-18 2009-05-07 Canon Inc 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2010094381A (ja) * 2008-10-17 2010-04-30 Canon Inc 画像処理装置、画像処理方法
JP2011092702A (ja) * 2009-09-30 2011-05-12 Nidek Co Ltd 眼底観察装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007084748A2 (en) * 2006-01-19 2007-07-26 Optovue, Inc. A method of eye examination by optical coherence tomography
US7768652B2 (en) * 2006-03-16 2010-08-03 Carl Zeiss Meditec, Inc. Methods for mapping tissue with optical coherence tomography data
JP4971864B2 (ja) * 2007-04-18 2012-07-11 株式会社トプコン 光画像計測装置及びそれを制御するプログラム
JP5025715B2 (ja) * 2009-12-08 2012-09-12 キヤノン株式会社 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357866A (ja) * 2003-06-03 2004-12-24 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び表示制御方法
JP2009507537A (ja) * 2005-09-09 2009-02-26 カール ツァイス メディテック アクチエンゲゼルシャフト 病変組織のより有意義な解剖学的特徴を明らかにする生体画像データの処理方法
JP2009061203A (ja) * 2007-09-10 2009-03-26 Univ Of Tokyo 眼底観察装置、眼底画像処理装置及びプログラム
JP2009095550A (ja) * 2007-10-18 2009-05-07 Canon Inc 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2010094381A (ja) * 2008-10-17 2010-04-30 Canon Inc 画像処理装置、画像処理方法
JP2011092702A (ja) * 2009-09-30 2011-05-12 Nidek Co Ltd 眼底観察装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153882A (ja) * 2012-01-27 2013-08-15 Canon Inc 画像処理システム、処理方法及びプログラム
JP2013208395A (ja) * 2012-03-30 2013-10-10 Canon Inc 画像処理装置及びその方法
JP2013215243A (ja) * 2012-04-04 2013-10-24 Canon Inc 画像処理装置及びその方法、プログラム
JP2015515894A (ja) * 2012-05-10 2015-06-04 カール ツアイス メディテック アクチエンゲゼルシャフト Oct血管造影データの解析および可視化
JP2015029559A (ja) * 2013-07-31 2015-02-16 キヤノン株式会社 撮影装置及び撮影方法
US10244937B2 (en) 2013-07-31 2019-04-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2016209199A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 撮像装置
JP2017104535A (ja) * 2015-12-02 2017-06-15 株式会社ニデック 眼科情報処理装置、および眼科情報処理プログラムに関する。
JP2019531817A (ja) * 2016-10-13 2019-11-07 トランスレイタム メディカス インコーポレイテッド 眼疾患の検出のためのシステム及び方法
JP7308144B2 (ja) 2016-10-13 2023-07-13 トランスレイタム メディカス インコーポレイテッド 眼疾患の検出のためのシステム及び方法
US11610311B2 (en) 2016-10-13 2023-03-21 Translatum Medicus, Inc. Systems and methods for detection of ocular disease
WO2018135174A1 (ja) * 2017-01-23 2018-07-26 株式会社トプコン 眼科装置
US11219363B2 (en) 2017-01-23 2022-01-11 Topcon Corporation Ophthalmic apparatus and ophthalmic optical coherence tomography method
JP2018117692A (ja) * 2017-01-23 2018-08-02 株式会社トプコン 眼科装置
JP2017200613A (ja) * 2017-07-14 2017-11-09 キヤノン株式会社 画像処理装置及び画像処理方法
CN111353970A (zh) * 2018-12-20 2020-06-30 奥普托斯股份有限公司 眼部图像的病理检测
CN111353970B (zh) * 2018-12-20 2024-05-14 奥普托斯股份有限公司 眼部图像的病理检测

Also Published As

Publication number Publication date
US20110137157A1 (en) 2011-06-09
JP5582772B2 (ja) 2014-09-03

Similar Documents

Publication Publication Date Title
JP5582772B2 (ja) 画像処理装置及び画像処理方法
US9943224B2 (en) Image processing apparatus and image processing method
KR101478598B1 (ko) 화상처리장치, 그 제어방법 및 컴퓨터 프로그램
JP6025311B2 (ja) 眼科診断支援装置および方法
US8699774B2 (en) Image processing apparatus, control method thereof, and program
US8770753B2 (en) Scanning and processing using optical coherence tomography
US9418423B2 (en) Motion correction and normalization of features in optical coherence tomography
Tian et al. Automatic anterior chamber angle assessment for HD-OCT images
JP5904711B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5697733B2 (ja) 3次元光コヒーレンストモグラフィを用いた視神経障害の検出
WO2008157406A1 (en) Pattern analysis of retinal maps for diagnosis of optic nerve diseases by optical coherence tomography
KR20130027506A (ko) 단층화상 관찰장치, 처리 방법 및 컴퓨터 판독 가능한 기억매체
EP2693399B1 (en) Method and apparatus for tomography imaging
JP2008073188A (ja) 画像解析システム、及び画像解析プログラム
JP2017127397A (ja) 画像処理装置、推定方法、システム及びプログラム
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Shang et al. Automated iris segmentation from anterior segment oct images with occludable angles via local phase tensor
EP3417401B1 (en) Method for reducing artifacts in oct using machine learning techniques
WO2011108995A1 (en) Automatic analysis of images of the anterior chamber of an eye
WO2022175945A1 (en) System and method for monitoring optic disc conditions
Stankiewicz et al. Novel full-automatic approach for segmentation of epiretinal membrane from 3D OCT images
JP2014014725A (ja) 画像処理装置、画像処理方法、及びプログラム
Pathan et al. A methodological review on computer aided diagnosis of glaucoma in fundus images
JP6506518B2 (ja) 眼科装置及びその制御方法
JP2015144963A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140715

R151 Written notification of patent or utility model registration

Ref document number: 5582772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees