JP2016140518A - 断層撮像装置、断層撮像方法、およびプログラム - Google Patents

断層撮像装置、断層撮像方法、およびプログラム Download PDF

Info

Publication number
JP2016140518A
JP2016140518A JP2015017908A JP2015017908A JP2016140518A JP 2016140518 A JP2016140518 A JP 2016140518A JP 2015017908 A JP2015017908 A JP 2015017908A JP 2015017908 A JP2015017908 A JP 2015017908A JP 2016140518 A JP2016140518 A JP 2016140518A
Authority
JP
Japan
Prior art keywords
image
nerve fiber
fiber bundle
map
tomographic imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015017908A
Other languages
English (en)
Other versions
JP2016140518A5 (ja
JP6598466B2 (ja
Inventor
宣博 戸松
Norihiro Tomatsu
宣博 戸松
好彦 岩瀬
Yoshihiko Iwase
好彦 岩瀬
佐藤 眞
Makoto Sato
眞 佐藤
住谷 利治
Toshiji Sumiya
利治 住谷
福原 誠
Makoto Fukuhara
誠 福原
敦司 後藤
Atsushi Goto
敦司 後藤
杉田 充朗
Mitsuo Sugita
充朗 杉田
ミハエル・ピルヒャー
Pircher Michael
クレメンス・ウォッシュ
Vass Clemens
クリストフ・ヒッツェンベルガ—
Hitzenberger Christoph
クリストフ・ヒッツェンベルガ―
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015017908A priority Critical patent/JP6598466B2/ja
Priority to PCT/JP2015/006231 priority patent/WO2016120933A1/en
Priority to US15/540,092 priority patent/US20180000341A1/en
Publication of JP2016140518A publication Critical patent/JP2016140518A/ja
Publication of JP2016140518A5 publication Critical patent/JP2016140518A5/ja
Application granted granted Critical
Publication of JP6598466B2 publication Critical patent/JP6598466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

【課題】神経線維層に生じる変異について、正確な表示を行うこと。【解決手段】断層撮像装置は、神経線維束マップを生成する生成部と、神経線維束マップ中の任意の神経線維束を指定する指定部と、指定された神経線維束の走向に沿ってパラメータを表示部に表示させる表示制御部と、を有する。【選択図】 図1

Description

本発明は、断層撮像装置、断層撮像方法、およびプログラムに関し、特に、被検眼の神経線維束に沿った網膜の特性情報を表示することが可能な断層撮像装置に関する。
近年、低コヒーレンス光による干渉を利用した断層画像撮像(OCT:Optical Coherence Tomography)装置(以下、OCT装置と記載)が実用化されている。このOCT装置は被検査物の断層画像を高分解能で且つ非侵襲に取得することができるため、OCT装置は、特に眼科領域において、被検眼の眼底の断層画像を得るうえで、必要不可欠な装置になりつつある。また、眼科領域以外でも、皮膚の断層観察や、内視鏡やカテーテルとして構成して、消化器、循環器の壁面断層画像撮像等が試みられている。
眼科用OCT装置においては、眼底組織の形状をイメージングする通常のOCT画像(輝度画像とも言う)に加えて、眼底組織の光学特性や動き等をイメージングする機能OCT画像の取得が試みられている。特に、神経線維層や網膜層の描出が可能な偏光OCT装置は、機能OCT装置の一つとして開発されており、緑内障や加齢黄斑変性などを対象とした研究が進められている。また、偏光OCT装置を用いて網膜層に生じた変異を検出し、疾患の進行や治療効果を判断するための研究も進められている。
緑内障の診断はこれまで視野計を用いる検査が広く行われている。これは緑内障が進行すると視野欠損が生じるという特徴を用いて、被検眼の視野範囲がどのように変化するかを検査するものである。近年では視野計による視野欠損の情報と、眼底カメラによる眼底写真に神経線維束の情報を合わせることで、視野欠損につながる変異を生じた神経線維束を検出する方法が開示されている(特許文献1)。
緑内障は進行すると、神経線維層の層厚が薄くなることが知られている。そこでOCT装置を用いた緑内障の診断では、視神経乳頭を中心とした領域を複数の領域に分割して、領域ごとの神経線維層厚の平均値を基に緑内障を検出する方法が研究されている(非特許文献1)。また、神経線維層は偏光特性を有することから、神経線維層の層厚が変化する前の特性変化を捉えることで、早期診断の指標とする研究も進められている(非特許文献2)。
上述したように、緑内障は神経線維層の変異に伴って視野欠損を生じる。また、神経線維層は視神経乳頭から放射状に走向する神経線維束と呼ばれる10〜60μm程度の束の集合体である。緑内障の進行は、神経線維層の特性に変化が生じ、次に神経線維層の構造変化によって層厚が薄くなり、その結果として視野欠損などの患者が自ら異常を認識できる状態へと変化していく。そのため、緑内障の診断および治療に際しては、神経線維層を構成する神経線維束のうち、どの神経線維束のどの部分に異常が生じているのかを出来るだけ早く確認する必要がある。また、その変化の過程を層厚情報、偏光特性情報など、複数の視点から捉えていくことが重要である。
特許文献1によると、視野計の測定結果に対し、眼底カメラによって取得される眼底画像に神経線維束の分布パターンを重ね合わせることで、どの部位の神経線維束に視野欠損につながる異常が生じているかを検出する方法が記載されている。神経線維束分布パターンについては既知のデータを用いる。この方法によると、患者の眼底画像上のどの位置の神経線維束に異常が生じているかを大まかに捉えることが可能であるが、使用する神経線維束分布パターンと患者の持つ実際の神経線維束の分布が完全に一致しないため、正確な場所を特定することが困難である。また、眼底の深さ位置に対する情報や、偏光特性に関する情報を取得することは出来ない。
非特許文献1および非特許文献2によると、視神経乳頭を中心として複数の領域に分割し、その領域内の神経線維層厚またはRetardationなどの偏光特性値を平均化し、値の大きさや変化を捉えることで異常が生じている場所を検出する方法が記載されている。しかしいずれも分割される領域の大きさでしか変化を捉えることは出来ず、どの部分で変化が生じているかを詳細に特定することは出来ない。また、任意の神経線維束に沿った情報を提示することは出来ない。
以上の課題を鑑みて、本発明は抽出した神経線維束に関係する複数の情報を提示することが可能な断層撮像装置を提供する。
上記の目的を達成するための、本発明による断層撮像装置は、以下の構成を構える。本発明の断層撮像装置は、神経線維束マップを生成する生成手段と、前記神経線維束マップ中の任意の神経線維束を指定する指定手段と、前記指定された神経線維束の走向に沿ってパラメータを表示手段に表示させる表示制御手段と、を有することを特徴とする。
本発明によれば、抽出した神経線維束に関係する複数の情報を提示することが可能な断層撮像装置を提供することができる。これにより、断層撮像装置において、緑内障の診断精度向上が期待できる。
本実施例における偏光OCT装置の全体構成の概略図である。 本実施例における信号処理部144で生成される画像の例を示す図である。 本実施例における撮像のフローを示す図である。 本実施例における神経線維層の抽出を説明する図である。 本実施例における神経線維束トレーシング方法を説明する図である。 本実施例における生成される画像の例を示す図である。 本実施例における結果出力画面の例を示す図である。 本実施例における神経線維束マップを生成するフローを示す図である。 本実施例における生成される画像の例を示す図である。 本実施例における線維束オリエンテーションマップの例を示す図である。 本実施例におけるフュージョンマップの生成を説明する図である。 本実施例におけるフュージョンマップの例を示す図である。
本発明の一実施例を、図面を用いて詳細に説明する。本実施例では特に、神経線維束マップを生成し、神経線維束をトレーシングする手段について説明する。なお、神経線維束マップとは神経線維束の走向に関する情報を抽出可能なマップのことであり、例えばオリエンテーションマップやフュージョンマップなどがある。なお、フュージョンマップについては実施例2において開示する。
(実施例1)
本実施例においては、偏光OCT装置の構成について図1を用いて説明する。
[装置の全体構成]
図1は、本実施例における断層撮像装置の一例である偏光OCT装置の全体構成の概略図である。本実施例ではSS(Swept Source)‐OCTによる偏光OCT装置について説明する。
<偏光OCT装置100の構成>
偏光OCT装置100の構成について説明する。光源101は波長掃引型(Swept Source:以下SS)光源であり、例えば、掃引中心波長1050nm、掃引幅100nmで掃引しながら光を出射する。
光源101から出射された光は、シングルモードファイバ(以下SMファイバと記載)102、偏光制御器103コネクタ104、SMファイバ105、ポラライザ106、偏波保持(Polarization Maintaining:PM)ファイバ(以下PMファイバと記載)107、コネクタ108、PMファイバ109を介して、ビームスプリッタ110に導かれ、測定光(OCT測定光とも言う)と参照光(OCT測定光に対応する参照光とも言う)に分岐される。ビームスプリッタ110の分岐比は、90(参照光):10(測定光)である。偏光制御器103は光源101から射出する光の偏光を所望の偏光状態へ変化させることが出来る。一方、ポラライザ106は特定の直線偏光成分のみを通過させる特性を持つ光学素子である。通常、光源101から射出される光は偏光度が高く、特定の偏光方向を持つ光が支配的であるが、ランダム偏光成分と呼ばれる、特定の偏光方向を持たない光が含まれている。このランダム偏光成分は偏光OCT画像の画質を悪化させることが知られており、ポラライザによってランダム偏光成分をカットする。なお、ポラライザ106を通過できるのは特定の直線偏光状態の光のみであるため、所望の光量が被検眼118に入射するように偏光制御器103によって偏光状態を調整する。
分岐された測定光は、PMファイバ111を介して出射され、コリメータ112によって平行光とされる。平行光となった測定光は1/4波長板113を透過したのち、被検眼118の眼底Erにおいて測定光を走査するガルバノスキャナ114、スキャンレンズ115、フォーカスレンズ116を介して被検眼118に入射する。ここで、ガルバノスキャナ114は単一のミラーとして図示したが、実際は被検眼118の眼底Erをラスタースキャンするように2枚のガルバノスキャナによって構成している。また、フォーカスレンズ116はステージ117上に固定されており、光軸方向に動くことで、フォーカス調整することが出来る。ガルバノスキャナ114とステージ117は駆動制御部145によって制御され、被検眼118の眼底Erの所望の範囲(断層画像の取得範囲、断層画像の取得位置、測定光の照射位置とも言う)で測定光を走査することが出来る。また1/4波長板113は、1/4波長板の光学軸と、その光学軸に対して直交する軸との間の位相を1/4波長分だけ遅延させる特性を持つ光学素子である。本実施例ではPMファイバ111より射出する測定光の直線偏光の方向に対して1/4波長板の光学軸を45°だけ光軸を回転軸として回転させ、被検眼118に入射する光を円偏光とする。なお、本実施例では詳細な説明はしていないが、眼底Erの動きを検出し、ガルバノスキャナ114のミラーを眼底Erの動きに追従させて走査させるトラッキング機能が付与されていることが望ましい。トラッキング方法については一般的な技術を用いて行うことが可能であり、リアルタイムで行うことも、ポストプロセッシングで行うことも可能である。例えば、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope:SLO)を用いる方法がある。これは眼底Erについて、SLOを用いて光軸に対して垂直な面内の2次元画像を経時的に取得し、画像中の血管分岐などの特徴箇所を抽出する。取得する2次元画像中の特徴箇所がどのように動いたかを眼底Erの移動量として算出し、算出した移動量をガルバノスキャナ114にフィードバックすることでリアルタイムトラッキングを行うことが出来る。
測定光は、ステージ117上に乗ったフォーカスレンズ116により、被検眼118に入射し、眼底Erにフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の光学経路をビームスプリッタ110に戻る。ビームスプリッタ110に入射した測定光の戻り光はPMファイバ126を経由し、ビームスプリッタ128に入射する。
一方、ビームスプリッタ110で分岐された参照光は、PMファイバ119を介して出射され、コリメータ120によって平行光とされる。参照光は1/2波長板121、分散補償ガラス122、NDフィルタ123、コリメータ124を介し、PMファイバ127に入射する。コリメータ124とPMファイバ127の一端はコヒーレンスゲートステージ125の上に固定されており、被検者の眼軸長の相違等に対応して光軸方向に駆動するように、駆動制御部145で制御される。1/2波長板121は、1/2波長板の光学軸と、その光学軸に対して直交する軸との間の位相を1/2波長分だけ遅延させる特性を持つ光学素子である。本実施例ではPMファイバ119より射出する参照光の直線偏光がPMファイバ127において長軸が45°傾いた偏光状態となるように調整する。なお本実施例では参照光の光路長を変更しているが、測定光の光路と参照光の光路との光路長差を変更出来ればよい。
PMファイバ127を通過した参照光はビームスプリッタ128に入射する。ビームスプリッタ128では参照光の戻り光と戻った測定光とが合波されて干渉光とされた上で二つに分割される。分割される干渉光は互いに反転した位相の干渉光(以下、正の成分および負の成分と表現する)となっている。分割された干渉光の正の成分はPMファイバ129、コネクタ131、PMファイバ133を経由して偏光ビームスプリッタ135に入射する。一方、干渉光の負の偏光成分はPMファイバ130、コネクタ132、PMファイバ134を経由して偏光ビームスプリッタ136に入射する。
偏光ビームスプリッタ135および136では、直交する二つの偏光軸に合わせて干渉光が分割され、垂直(Vertical)偏光成分(以下、V偏光成分)と水平(Horizontal)偏光成分(以下、H偏光成分)の二つの光にそれぞれ分割される。偏光ビームスプリッタ135に入射した正の干渉光は偏光ビームスプリッタ135において正のV偏光成分と正のH偏光成分の二つの干渉光に分割される。分割された正のV偏光成分はPMファイバ137を経由してディテクタ141に入射し、正のH偏光成分はPMファイバ138を経由してディテクタ142に入射する。一方、偏光ビームスプリッタ136に入射した負の干渉光は偏光ビームスプリッタ136において負のV偏光成分と負のH偏光成分に分割される。負のV偏光成分はPMファイバ139を経由してディテクタ141に入射し、負のH偏光成分はPMファイバ140を経由してディテクタ142に入射する。
ディテクタ141および142はいずれも差動検出器となっており、位相が180°反転した二つの干渉信号が入力すると、直流成分を除去し、干渉成分のみを出力する。
ディテクタ141で検出された干渉信号のV偏光成分とディテクタ142で検出された干渉信号のH偏光成分はそれぞれ光の強度に応じた電気信号として出力され、断層画像生成部の一例である信号処理部144に入力する。
<制御部143>
本装置全体を制御するための制御部143について説明する。制御部143は信号処理部144、駆動制御部145、表示部146、表示制御部149によって構成される。また、信号処理部144はさらに、眼底画像生成部147とマップ生成部148を持つ構成となっている。眼底画像生成部147は信号処理部144に送られる電気信号から輝度画像および偏光特性画像を生成する機能を有し、マップ生成部148は神経線維束マップおよび神経線維束トレースマップを生成する機能を有する。
駆動制御部145は上述の通りに各部を制御する。信号処理部144はディテクタ141、142から出力される信号に基づき、画像の生成、生成された画像の解析、解析結果の可視化情報の生成を行う。
信号処理部144で生成される画像や解析結果は表示制御部149に送られ、表示制御部149は表示部146の表示画面に表示させる。ここで、表示部146は、例えば液晶等のディスプレイである。なお、信号処理部144で生成された画像データは表示制御部149に送られた後、表示部146に有線で送信されても良いし、無線で送信されても良い。また、本実施例において表示部146等は制御部143に含まれているが、本発明はこれに限らず、制御部143とは別に設けられても良く、例えばユーザが持ち運び可能な装置の一例であるタブレットでも良い。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能に構成することが好ましい。
[画像処理]
次に、信号処理部144における画像生成について説明する。信号処理部144はディテクタ141、142から出力された干渉信号に対して、眼底画像生成部147において一般的な再構成処理を行うことで、各偏光成分に基づいた2つの断層画像である、H偏光成分に対応する断層画像と、V偏光成分に対応する断層画像を生成する。
まず眼底画像生成部147は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、眼底画像生成部147は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。その後、FFT処理を行う事によって断層信号を生成する。
以上の処理を2つの偏光成分の干渉信号に対して行うことにより、2つの断層画像が生成される。これらの断層信号および断層画像を基に、輝度画像および偏光特性画像を生成する。偏光特性画像とは、被検眼の偏光特性を画像化したもので、例えばリターデーション情報に基づく画像、オリエンテーション情報に基づく画像、複屈折情報に基づく画像などがある。また、リターデーション情報に基づく画像は、例えば、後述するリターデーション画像やリターデーションマップである。また、オリエンテーションに基づく画像は、例えば、後述するオリエンテーションマップである。また、輝度に基づく画像は、例えば、後述する輝度画像のマップ、神経線維層の厚さマップ、線維束オリエンテーションマップである。
<輝度画像の生成>
眼底画像生成部147は、前述した2つの断層信号から輝度画像を生成する。輝度画像は従来のOCTにおける断層画像と基本的に同じもので、その画素値rはディテクタ141、142から得られるH偏光成分の断層信号AHおよびV偏光成分の断層信号AVから式1によって計算される。
図2(a)に視神経乳頭部の輝度画像の例を示す。
また、ガルバノスキャナ114によってラスタースキャンすることにより、被検眼118の眼底ErのBスキャン画像を副走査方向に並べ、輝度画像のボリュームデータを生成する。
<リターデーション画像生成>
眼底画像生成部147は、互いに直行する偏光成分の断層画像からリターデーション画像を生成する。
リターデーション画像の各画素の値δは、断層画像を構成する各画素の位置において、垂直偏光成分と水平偏光成分の間の位相差を数値化したものであり、各断層信号AHおよびAVから式2によって計算される。
図2(b)は、このように生成された視神経乳頭部のリターデーション画像(偏光の位相差を示す断層画像とも言う)の例を示したものであり、各Bスキャン画像に対して式2を計算することによって得ることができる。図2(b)は、断層画像において位相差が生じる箇所をカラーで表示しており、濃淡の濃い場所は位相差が小さく、濃淡の淡い場所は位相差が大きいことを表している。そのため、リターデーション画像を生成することにより、複屈折性のある層を把握することが可能となる。
<リターデーションマップ生成>
眼底画像生成部147は、複数のBスキャン像に対して得たリターデーション(Retardation)画像からリターデーションマップを生成する。
まず、信号処理部144は、各Bスキャン画像において、網膜色素上皮(RPE)を検出する。RPEは偏光を解消する性質を持っているため、各Aスキャンを深度方向に沿って内境界膜(ILM)からRPEを含まない範囲でリターデーションの分布を調べ、その最大値を当該Aスキャンにおけるリターデーションの代表値とする。
眼底画像生成部147は、以上の処理を全てのリターデーション画像に対して行うことにより、リターデーションマップを生成する。
図2(c)に視神経乳頭部のリターデーションマップの例を示す。図において、濃淡の濃い場所は位相差が小さく、濃淡の淡い場所は位相差が大きいことを表している。視神経乳頭部の周りにおいて、複屈折性を持つ層としては網膜神経線維層(RNFL)であり、リターデーションマップは、RNFLの複屈折性とRNFLの厚みよって引き起こされる位相差を表している。そのため、RNFLが厚い個所では位相差が大きくなり、RNFLが薄い個所では位相差が小さくなる。したがって、リターデーションマップにより、眼底全体のRNFLの厚みを把握することが出来、緑内障の診断に用いることが出来る。
<複屈折マップ生成>
眼底画像生成部147は、先に生成されたリターデーション画像の各Aスキャン画像において、ILMから網膜神経線維層(RNFL)の範囲でリターデーションδの値を線形近似し、その傾きを当該Aスキャン位置に対応している網膜上の位置における複屈折として指定する。この処理を取得した全てのリターデーション画像に対して行うことで、複屈折を表すマップを生成する。
図2(d)に視神経乳頭領域の複屈折マップの例を示す。複屈折マップは、複屈折の値を直接マップ化するため、RNFLの厚さが変化しない場合であっても、その繊維構造が変化した場合に、複屈折の変化として描出することができる。
[処理動作]
次に本偏光OCT装置における処理動作について説明する。図3は、本偏光OCT装置における処理動作を示すフローチャートである。
<調整>
まず、ステップS101において、被検眼を本装置に配置した状態で、本装置と被検眼のアライメントを行う。なお、ワーキングディスタンス等のXYZ方向のアライメント、フォーカス、コヒーレンスゲートの調整等は一般的なOCTと同様であるのでその説明は省略する。
<撮像>〜<画像生成>
ステップS102〜S103において、光源101から光を射出し、測定光および参照光を生成する。測定光が被検眼118の網膜Erより反射、または散乱した戻り光と参照光との干渉光をディテクタ141および142で受光し、信号処理部144で前述のとおり各画像を生成する。
<神経線維束のトレーシング>
以下に信号処理部144の一機能であるマップ生成部148がステップS104において行う処理を説明する。
(神経線維層の抽出)
マップ生成部148は、ステップS103において生成した輝度画像を用いてセグメンテーションを行い、神経線維層を抽出する。
まずマップ生成部148は生成した輝度画像の二値化を行う。あらかじめ術者によって設定される閾値により、閾値以上のピクセルを1とし、閾値以下のピクセルは0とする。閾値は画像の画質に応じて術者が任意に設定可能である。二値化した画像を図4(a)に示す。
次に、二値化して生成した画像の中で、神経線維層に相当する領域のデータを抽出する。生成した二値化画像は神経線維層を含む広い空間の範囲で輝度値を持っており、神経線維層ではない網膜層に対しても輝度値を持つピクセルが存在する。神経線維層は網膜層の上層、すなわち硝子体側に存在するため、二値化画像の硝子体側に存在するピクセルを選択的に抽出する。
生成した二値化画像に対して、Aスキャン方向、すなわち画像の深さ方向に並ぶピクセル群に注目する。硝子体側から順にピクセルの値を確認し、最初に1の輝度値を有するピクセルから次に輝度値が0となるピクセルまでの間の連続して輝度値を持つピクセル群を抽出する。これをBスキャン画像内の全てのAスキャンに対して順次実施する。その結果、神経線維層を選択的に抽出することが出来る。神経線維層を抽出した画像を図4(b)に示す。
(オリエンテーションマップの作成)
マップ生成部148はオリエンテーションマップの作成を行う。オリエンテーションマップとは視神経乳頭から放射状に延びる神経線維束の走向を2次元的に表示するものである。すなわち、オリエンテーションマップを生成することで神経線維束の走向を可視化することが可能である。そこで、神経線維束の走向の分布を可視化するオリエンテーションマップを生成する。オリエンテーションとは、ある構造体に異方性が存在する場合において、その異方性の方向を表すパラメータのことである。神経線維層の場合、神経線維の束が視神経乳頭を中心として放射状に広がっている。また、神経線維束は異方性を持つ組織であり、走向方向と走向に対して垂直な方向で屈折率が異なるため、神経線維束に対して光が入射する場合、神経線維束の走向方向に沿って偏光した成分が走向に対して垂直な偏光成分に対して遅延する。この時、遅延した光に対応する偏光方向、すなわち神経線維束の走向方向が遅相軸となり、それと垂直な方向が進相軸となる。オリエンテーションは異方性を持つ構造体のうち、特に遅相軸の方向を示すパラメータであり、神経線維層の場合は神経線維束の方向を示すパラメータとなる。そのため、取得したOCT画像の各ピクセルに対してオリエンテーションを算出することで、そのピクセルにおける神経線維束の走向情報を得ることが可能である。オリエンテーションは各断層信号AHおよびAVの位相差ΔΦを利用して式3で求めることが出来る。
上記の処理を取得した全ての画像に対して行うことで、オリエンテーションマップを生成する。オリエンテーションマップの例を図4(c)に示す。
(視神経乳頭と黄斑の検出)
次にマップ生成部148は神経線維束のトレーシングを行う。まずマップ生成部148はステップS103において生成した輝度画像を基に、輝度画像マップを生成する。輝度画像マップは、生成した輝度画像に対し、Aスキャン方向、すなわち深さ方向の輝度値を平均し、それを2次元的に配置したものである。輝度画像マップを図5(a)に示す。
生成した輝度画像マップから視神経乳頭と黄斑を検出する。一般的にOCT断層像においては、視神経乳頭および黄斑周辺部位には高反射層が少ない。そのため、輝度画像マップにおいては視神経乳頭および黄斑周辺部位は他の部位に比べて輝度が低くなる。よって輝度値の低い領域を抽出することで、視神経乳頭と黄斑を検出することが可能である。検出に当たっては、輝度画像マップの輝度値に閾値を設け、閾値以下となる部位を抽出する。抽出した領域についてその重心を算出し、得られた座標をそれぞれ視神経乳頭と黄斑の中心とする。なお、閾値については視神経乳頭と黄斑が選択的に検出できるように験者が任意に設定して構わない。また、視神経乳頭および黄斑の検出方法については記載した方法に限定されない。一般的に行われるあらゆる検出方法が適応可能である。例えば、視神経乳頭および黄斑の検出に関し、輝度画像と結合した形状情報が利用可能である。また、本実施例においては信号処理部で自動的に検出する方法について記載したが、験者が患者のあらゆる眼底画像からマニュアルで抽出しても良い。
(基準座標の設定)
視神経乳頭と黄斑を検出すると、マップ生成部148は図5(b)に示すように生成したオリエンテーション画像に対して基準座標501を設定する。検出した視神経乳頭の中心と黄斑中心を結ぶ直線の向きを0°とし、視神経乳頭の中心を軸として右回りに正の角度となるような座標系を設定する。なお、本実施例では視神経乳頭と黄斑を結ぶ直線を基準座標としているが、これに限定されない。必要に応じてあらゆる座標系を設定することが可能である。また、本実施例では視神経乳頭を中心として右回りに正の角度となるよう座標系を設定しているが、これに限定されるものではなく、験者が任意に設定して構わない。
(神経線維束のトレーシング)
マップ生成部148は座標が決定すると、神経線維束のトレーシングを行う。トレーシングは視神経乳頭中心部から任意の距離の位置より開始する。これは、視神経乳頭部はくぼみとなっており、神経線維層が急激に落ち込むような構成になっていることから、視神経乳頭部ではオリエンテーションの値が不正確である可能性があるためである。そのため、本実施例においては図5(c)に示すように、視神経乳頭を中心として直径1.8mmの円502を描き、その円周上からトレーシングを開始する。また、本実施例ではトレーシングの基準位置は視神経乳頭と黄斑の中心を結ぶ基準座標の軸と視神経乳頭周りの円502の交点503とし、基準位置から円周を右回りに0°から359°とし、360°で再び0°と同じ位置となる。この円周上を1°刻みで分割し、全トレーシング本数を360本として各位置からトレーシングを行う。なお、トレーシングの開始位置およびトレーシングする神経線維束の本数についてはこれに限定されるものではない。術者が任意の手段によって開始位置やトレーシングする神経線維束の本数を決めて構わない。
次にマップ生成部148は円周上の各トレーシング開始位置からオリエンテーションの値に応じてトレーシングを行う。マップ生成部148はまず、0°の開始位置のピクセルにおけるオリエンテーションの値を基に、トレーシングする方向を決定する。その際、オリエンテーションの値には方向のみの情報が含まれ、距離に関する情報は含まれない。そのため、本実施例ではひとつのピクセルのオリエンテーション値によってトレーシングする距離を35μmとしている。これにより、次にオリエンテーションの値を抽出するピクセルの位置を決めることが可能である。つまり、マップ生成部148は0°の開始位置のピクセルにおけるオリエンテーションの値によってそのピクセルにおける神経線維束の方向を決め、所定の距離、本実施例においては35μmだけ進む。進んだ先の位置するピクセルでは神経線維束の向きは変化している。それに伴い、当該ピクセルにおけるオリエンテーションの値も変化している。そのため、再び当該ピクセルにおけるオリエンテーションの値からトレーシング方向を決定し、35μm進む。このように、進んだ先のピクセルにおいて同様にオリエンテーションの値から方向を決め、再び所定の距離を進むということを繰り返す。以上の方法により、まず0°の位置を通過する神経線維束のトレーシングを行うことが出来る。他の開始位置1°から359°についても同様に行うことで、視神経乳頭を中心とした円周上を通過する神経線維束のトレーシングを行うことが出来る。(図5(d))なお、本実施例ではひとつのピクセルについてトレーシングする距離を35μmとしたが、これに限定されるものではない。少なくともオリエンテーションマップのピクセルサイズ以上の距離であれば、術者が必要な分解能、精度に合わせて任意に設定することが可能である。
<画像解析>
以下にマップ生成部148がステップS105において行う処理を説明する。
(神経線維束トレースマップの作成)
マップ生成部148はすべての360本全ての神経線維束のトレーシングを行った後、神経線維束トレースマップの作成を行う。神経線維束トレースマップとは、トレーシングした全ての神経線維束を横軸に、神経線維束の長さを縦軸にとり、神経線維束の特性、例えば複屈折やリターデーション、厚さなどのパラメータを色によって表現したものである。
マップ生成部148はトレーシングした神経線維束それぞれに対して座標値を求め、その座標におけるリターデーション、複屈折、厚さの値をリターデーションマップ、複屈折マップ、厚さマップから抽出する。次にマップ生成部148はトレーシングした神経線維束を横軸に、それぞれの神経線維束の長さを縦軸とし、リターデーション、複屈折、厚さの値をカラーグラデーションとしてそれぞれ1枚の画像に表示する。このようなマップを作成することで、視神経乳頭からどのような角度で伸びている神経線維束が、どのような状態にあるのかを容易に確認することが出来る。リターデーションの神経線維束トレースマップを図6(a)に示す。
本実施例では、神経線維束トレースマップは、トレーシングした神経線維束を横軸とし、それぞれの神経線維束の長さを縦軸として表示されるが、これに限定されるものではない。必要に応じて縦軸および横軸を任意に設定することが可能である。
(神経線維束に沿った輝度画像の作成)
信号処理部144はトレーシングした神経線維束に沿った輝度画像の生成を行う。上述したように生成した輝度画像のボリュームデータに対し、トレーシングしたそれぞれの神経線維束の座標値の場所に相当するAスキャンデータを抽出し、神経線維束ごとに輝度断層画像として再構成する。神経線維束に沿った輝度画像を図6(b)に示す。
<画像出力>
ステップS105において神経線維束に沿った情報を取得したのち、ステップS106において信号処理部144は出力情報を表示制御部149に送られる。表示制御部149はさらに表示部146に送り、表示部146は受け取った各種情報の表示を行う。
(画像表示画面)
図7に本実施例における表示部146の表示例を示す。図において700は表示部146に表示されるウィンドウであり、表示領域705、706、707、708を有する。
表示領域705(第一の表示領域とも言う)には、眼底画像701が表示される。さらに表示領域705には表示される画像の種類を選択するためのボタン709〜713(選択部の一例)が表示され、輝度画像だけでなく偏光信号に基づく画像を表示可能としても良い。例えばリターデーションマップ、オリエンテーションマップ、複屈折マップ、神経線維層厚マップなど、測定光の光軸に対して垂直な面における各種の眼底画像が表示できる。なお、ボタン709〜713の代わりにメニューから画像の種類を選択するようにしても良い。図7においては、ボタン709が選択された状態を示しており、輝度画像のマップ表示を行っている例を示している。その他のボタン710〜713とその表示について説明する。術者がボタン710を押すとリターデーションマップを表示する。ボタン711を押すとオリエンテーションマップを表示する。ボタン712を押すと複屈折マップを表示する。ボタン713を押すと神経線維層厚マップを表示する。なお、輝度画像のマップ、リターデーションマップ、オリエンテーションマップ、複屈折マップ、神経線維層厚マップ等には、それぞれの画像の種類を示す表示形態(例えば、「Intensity」の文字、「Retardation」の文字、「Orientation」の文字、「Birefringence」の文字、「Thickness」の文字)を画像に重ねて表示させることが好ましい。これにより、術者が画像を誤って認識することを防ぐことが出来る。もちろん、画像に重ねて表示させずに画像の上側や横側などに表示させても良く、画像と対応させるように表示させればよい。
表示領域707(第二の表示領域とも言う)には、リターデーションの神経線維束トレースマップ703が表示される。表示領域707にはさらにボタン718〜720(選択部の一例)が表示され、リターデーションだけではなく、例えば複屈折、神経線維層厚さなどの神経線維束トレースマップを表示できる。本実施例においては、ボタン718を押すとリターデーションの神経線維束トレースマップを表示する。また、ボタン719を押すと複屈折の神経線維束トレースマップを表示する。また、ボタン720を押すと神経線維層厚の神経線維束トレースマップを表示する。なお、各種の神経線維束トレースマップには、それぞれの画像の種類を示す表示形態(例えば、「Retardation」の文字、「Birefringence」の文字、「Thickness」の文字)を画像に重ねて表示させることが望ましい。もちろん、画像に重ねて表示させずに画像の上側や横側などに表示させても良く、画像と対応させるように表示させればよい。これにより、術者が画像を誤って認識することを防ぐことが出来る。
表示領域706(第三の表示領域とも言う)には、神経線維束に沿った眼底断層画像702が表示される。表示領域706にはさらにボタン714〜717(選択部の一例)が表示され、輝度画像だけではなく偏光画像による断層画像を表示する。例えば、神経線維束に沿って、リターデーション画像、オリエンテーション画像、複屈折画像などが表示領域706に表示できる。本実施例においては、ボタン714を押すと選択した神経線維束に沿った輝度断層画像、ボタン715を押すと選択した神経線維束に沿ったリターデーション画像、ボタン716を押すと選択した神経線維束に沿ったオリエンテーション画像、ボタン717を押すと選択した神経線維束に沿った複屈折画像が表示される。なお、神経線維束に沿った眼底断層画像702にはそれぞれの画像の種類を示す表示形態(例えば、「Intensity」の文字、「Retardation」の文字、「Orientation」の文字、「Birefringence」の文字)を画像に重ねて表示させることが好ましい。これにより、術者が画像を誤って認識することを防ぐことが出来る。もちろん、画像に重ねて表示させずに画像の上側や横側などに表示させても良く、画像と対応させるように表示させればよい。
表示領域708(第四の表示領域とも言う)には、神経線維束に沿った特性情報704が表示される。表示領域708にはさらにボタン721〜723(選択部の一例)が表示され、術者が表示する情報を任意で変更することが出来る。本実施例においては、ボタン721を押すと選択した神経線維束に沿った位置におけるリターデーション情報をグラフ表示することが出来る。ボタン722を押すと選択した神経線維束に沿った位置における複屈折情報をグラフ表示することが出来る。ボタン723を押すと選択した神経線維束の走向に沿った位置における神経線維層厚情報をグラフ表示することが出来る。ボタン726を押すと選択した神経線維束に沿った位置における輝度情報をグラフ表示することが出来る。なお、各種の神経線維束トレースマップには、それぞれの画像の種類を示す表示形態(例えば、「Retardation」の文字、「Birefringence」の文字、「Thickness」の文字、「Intensity」の文字)を画像に重ねて表示させることが望ましい。もちろん、画像に重ねて表示させずに画像の上側や横側などに表示させても良く、画像と対応させるように表示させればよい。これにより、術者が画像を誤って認識することを防ぐことが出来る。
(操作手順)
まず術者はウィンドウ700の中の表示領域705に表示される眼底画像701の中の任意の場所を指定する。これは、マウスなどのポインタなど、任意の場所を指定可能ないかなる手法が使用できる。また、本実施例では任意の場所を指定する手法について説明したが、例えばそれぞれの神経線維束のリスト表示が行われ、その中から術者が任意の神経線維束を選択するような方式でも構わない。本実施例においてはボタン709を押して輝度画像を表示した状態で行っているが、ボタン710〜713を押すことで他の断層画像を用いて行うことも当然可能である。眼底画像701中の任意の場所が指定されると、表示部146は座標情報を信号処理部144に送り、その座標情報を基に信号処理部144は選択された場所を通る神経線維束724の情報を抽出する。抽出した情報は表示部146に送られ、表示領域706および708に表示される。またこの時、眼底画像701内における神経線維束の走向を術者が確認できるように、眼底画像701中の抽出された神経線維束724をハイライト表示する。また、同時に表示領域707において、神経線維束トレースマップ703の中で同一の神経線維束725を示す箇所についてハイライト表示するのが望ましい。術者は神経線維束に沿った眼底断層画像702および神経線維束に沿った特性情報704が表示されると、任意でボタン714〜717およびボタン721〜723、726を押すことで画像を切り替えることが出来る。
また、神経線維束トレースマップ703の任意の点を指定することで、同様に神経線維束に沿った眼底断層画像702および神経線維束に沿った特性情報704を表示することも可能である。その場合は、神経線維束トレースマップ703において任意の場所を指定すると、その座標情報が信号処理部144に送られ、当該座標を通る神経線維束725に関する情報を抽出する。なお本実施例ではボタン718を押してリターデーションの神経線維束トレースマップを使用しているが、これに限定されるものではなく、ボタン719、720を押すことで、他の神経線維束トレースマップを基に行うことも可能である。抽出した情報は表示部146に送られ、表示領域706および708に表示される。またこの時、神経線維束トレースマップ703内における神経線維束の位置を術者が確認できるように、神経線維束トレースマップ703中の抽出された神経線維束725をハイライト表示する。また、同時に表示領域705において、神経線維束トレースマップ703中の神経線維束725と同一の神経線維束である眼底画像701の中の神経線維束724を示す箇所について、ハイライト表示するのが望ましい。
以上、説明した偏光OCT装置を用いることで、神経線維束に沿った情報を表示することが可能となる。また、上述した偏光OCT装置を用いることで、それぞれの神経線維束の状態を個別に診断することが可能になるため、神経線維束欠損の早期検出につながる。また、神経線維束の欠損と視野欠損との関係を把握することが可能になる。また、全体的な神経線維束の状態をつかむことで緑内障の早期診断につながる。本実施例においてはSS−OCTにおける撮像及び表示としたが、これに限定されるものではなく、偏光OCT画像が撮像可能なあらゆる装置において本方法が適用可能である。また、本実施例においてはリターデーション画像、オリエンテーション画像、複屈折画像、輝度画像を用いた表示と特性情報の表示を行ったが、これに限定されない。網膜、脈絡膜など、眼底を構成する組織に関するあらゆる情報が本方法で適用可能である。また、本実施例ではオリエンテーションを用いて神経線維束の検出を行ったが、これに限定されるものではなく、神経線維束を検出可能なあらゆる方法が適用可能である。その場合は偏光OCT画像および輝度画像との位置合わせを行うことで本方法が適用できる。また、本実施例においては信号処理部144の中の一機能として眼底画像生成部147およびマップ生成部148を有しているが、信号処理部144において明確な機能および処理の区別がない場合は、信号処理部144のみで眼底画像生成およびマップ生成を行うような構成としても構わない。
(実施例2)
本実施例においては、線維束オリエンテーションマップおよびオリエンテーションマップの両方を用いてフュージョンマップを生成する方法について説明する。
[装置の全体構成と信号取得]
装置構成と信号取得については実施例1で説明した偏光OCT装置100と同じであるため、説明を省略する。
[画像処理]
線維束オリエンテーションマップおよびオリエンテーションマップを用いて神経線維束マップを生成するフローについて、図8を用いて説明する。
<調整>〜<撮像>
まず、ステップS801において、被検眼を本装置に配置した状態で、本装置と被検眼のアライメントを行い、次にステップS802において撮像を行う。撮像はガルバノスキャナ114をラスタースキャンし、ボリュームデータを取得する。また、撮像データの不安定性やノイズ成分を減らすため、後続の処理において複数の画像を用いた平均化処理を行うことが望ましい。そのため、本実施例では5枚の画像を取得する。調整および撮像については実施例1に記載した内容と同じであるため、説明を省略する。なお、取得枚数については5枚に限定されるものではなく、験者が任意に決定できる。また、本実施例では複数枚の撮像を行ったが、1枚のみの撮像で後の平均化処理を除いても構わない。
<画像生成>
次にステップS803において信号処理部144の一機能である眼底画像生成部147は取得した信号から輝度画像の生成を行う。輝度画像の生成方法については実施例1に記載した通りであるため、説明を省略する。
<セグメンテーション>
輝度画像を生成するとステップS804において信号処理部144の一機能であるマップ生成部148は輝度画像を用いてセグメンテーションを行い、図9(a)に示すように神経線維層に相当する領域のみを特異的に抽出する。神経線維層を特異的に抽出する方法については実施例1に記載した方法と同様であるため、説明を省略する。なお、本実施例には記載していないが、一般的な画像処理方法、例えばモルフォロジー処理などを加えることで、画像中の血管などの影響を減らすことが可能である。
<En faceマップの生成>
神経線維層を特異的に抽出すると、ステップS805においてマップ生成部148は輝度画像のマップ、リターデーションマップ、オリエンテーションマップ、神経線維層の厚さマップを生成する。
(輝度画像のマップの生成)
マップ生成部148は抽出した神経線維層のデータを基に、輝度画像マップを生成する。実施例1に記載した輝度画像のマップ生成と同様に、ステップS803において生成した輝度画像の各Aスキャン方向、すなわち深さ方向の輝度値を平均し、それを2次元的に配置したものである。
(神経線維層の厚さマップの生成)
マップ生成部148は抽出した神経線維層のデータを基に、神経線維層の厚さマップを生成する。神経線維層の厚さマップは、ステップS804において抽出した神経線維層のボリュームデータにおいて、神経線維層の上部と下部の間の光軸方向と垂直な面(xy面)におけるピクセルごとにAスキャン方向のボクセル数を数え、それを2次元的に表現したものである。本実施例ではウィンドウを設定して平均化処理を行っている。ステップS804で取得した神経線維層領域の輝度画像情報に対して、主走査方向(x方向)および副走査方向(y方向)に6ピクセル×2ピクセルのウィンドウを設け、そのウィンドウ内に含まれる全ピクセル数を平均することで代表値とする。ウィンドウを順次ずらしていくことで、xy面内のすべてのピクセルにおける厚さ情報を取得する。神経線維層の厚さマップの例を図9(b)に示す。
なお、本実施例ではxy面内で6ピクセル×2ピクセルのウィンドウを設定して処理をしたが、これに限定されるものではなく、験者が任意に設定可能である。また、他の一般的な平均化処理が適用可能である。
(リターデーションマップの生成)
マップ生成部148は、ステップS803において生成した複数のBスキャンのリターデーション画像うち、神経線維層の下部に相当する領域のリターデーションデータを用いてリターデーションマップを生成する。まずマップ生成部148は、ステップS804で抽出した神経線維層領域の座標値を各リターデーション画像に対して適用し、リターデーション画像における神経線維層領域を抽出する。各リターデーション画像はyスキャン方向に並べられ、神経線維層のリターデーション画像のボリュームデータを生成する。次に、神経線維層のリターデーション画像のボリュームデータに対して、xy面におけるウィンドウを設定する。ウィンドウ内に含まれる神経線維層の下部に相当する領域の全てのボクセルのリターデーションを平均し、当該ウィンドウにおける代表値とする。本実施例ではウィンドウのサイズを6ピクセル(x)×2ピクセル(y)としている。順次ウィンドウをずらしていき、最終的にリターデーションの分布を2次元画像として表示する。リターデーションマップの例を図9(c)に示す。
なお、本実施例ではウィンドウサイズを6ピクセル×2ピクセルとしたが、これに限定されるものではなく、験者が任意に設定可能である。また、平均化処理の方法については、他の一般的な平均化処理の手法が適用可能である。
本実施例では、神経線維層に相当する領域のリターデーションデータを用いてリターデーションマップを生成しているが、これに限定されるものではない。平均化処理のために、偏光状態にある神経線維層の下部に位置する層、一般的には神経線維層の下部から外網状層(outer plexiform layer)の範囲にある層のリターデーションデータを使用することが可能である。また、必要に応じて、験者は任意に領域を設定可能である。これにより、より高い信号対雑音比を有するリターデーションマップを生成することができる。
(オリエンテーションマップの生成)
マップ生成部148は、ステップS804において抽出した神経線維層領域におけるオリエンテーションマップを生成する。まず、マップ生成部148は実施例1にも記したように、ステップS802において取得した各断層信号AHおよびAVの位相差ΔΦをボリュームデータのピクセルごとに求め、オリエンテーションのボリュームデータを生成する。次に信号処理部144はxy面においてウィンドウを設け、ウィンドウ内の存在する全てのピクセルのオリエンテーションを平均し、得られる平均値をウィンドウの代表値とする。ウィンドウをずらしながら全てのピクセルに対して値を求め、それを2次元表示することでオリエンテーションマップを生成する。本実施例では6ピクセル(x)×2ピクセル(y)のウィンドウとし、ウィンドウ内に存在する全てのピクセルを平均することで代表値を求めている。オリエンテーションマップの例を図9(d)に示す。
なお、本実施例では6ピクセル×2ピクセルのウィンドウとして処理を行ったが、これに限定されない。ウィンドウサイズは験者が任意に設定可能である。また、平均化処理の方法についてもこれに限定されるものではなく、他の一般的な平均化処理の手法が適用可能である。
例えば、リターデーションおよび軸配向が、ストークスベクトルを平均化するように、組み合わされた形式で平均化する手法を適用することも可能である。
<レジストレーション>
次にマップ生成部148はステップS806において、複数の3次元データに対するレジストレーションの処理を行う。レジストレーションとは複数の画像に対して、相互の画像間のシフトや回転などの位置ズレを補正する処理のことである。
マップ生成部148は、xy面内のレジストレーションを行うため、ステップS805において生成した5枚の輝度画像のマップを用いる。生成した輝度画像のマップのうちの1枚を基準画像とし、基準画像と残りの4枚の輝度画像のマップとのxy面内における相互相関を計算し、相関係数を求める。この相関係数が最も高くなるように画像をシフトおよび回転させる。なお、基準画像は取得した複数の輝度画像のマップのうちのどれでも構わないが、構成する画像のノイズ成分が多いなど、画像のクオリティが低いと判断される画像を避け、験者が任意に選択して構わない。また、本実施例においては相関係数によるレジストレーションを行ったが、これに限定されるものではない。他の一般的なレジストレーション手法が適用可能である。
次にマップ生成部148はシフトおよび回転した4枚の輝度画像のマップに対して、偏光パラメータ(リターデーション、オリエンテーション)の値に関する補間を行うが、その際に以下の2つの点を考慮してウェイトを与える。
一つ目は、補間すべきピクセル(ターゲットピクセル)に対して近接する4つのピクセルとの間のx方向およびy方向の距離によるウェイトである。これは、一般的にバイリニア(bilinear)法と呼ばれる手法であり、2点間の距離に応じて線形的にターゲットピクセルの値を決めるものである。
二つ目は近接する4つのピクセルの偏光パラメータを算出したボクセル数によるウェイトである。これはステップS805において、各ピクセルにおける偏光パラメータの代表値を算出した際に使用したボクセルの数を考慮する方法である。これにより、ターゲットピクセルに対する平均されたボクセルからの寄与が、ボクセル数に関係なく同等となるため、ターゲットピクセルにおける偏光パラメータの正確性が向上する。
上記の方法は、ピクセルAにおける偏光パラメータをσ1、そこに含まれるボクセル数をN1、一方、ピクセルBにおける偏光パラメータをσ2、そこに含まれるボクセル数をN2とし、ターゲットピクセルからの距離の比をa:(1−a)とすると、ターゲットピクセルの偏光パラメータσは式4のように表現される。
以上の処理を生成した全ての輝度画像のマップに対して実行することで、複数の画像間におけるxy面内のレジストレーションを行うことが出来る。
なお、本実施例ではバイリニア法に加えてボクセル数によるウェイトをかける方法によって補間を行っているが、これに限定されるものではない。他の一般的に知られる補間方法はすべて適用可能である。
<ボリュームアベレージング>
マップ生成部148はステップS806において5セットのxy面内におけるレジストレーションを行うと、次に5セットのボリュームデータに対して偏光パラメータ及び神経線維層の厚さについて平均化処理を行う。平均化は互いに一致するピクセルの間で実施され、互いのマップを生成する際に使用したボクセルの数によってウェイトを与える。
なお、本実施例においてはボクセル数によるウェイトを与えて平均化を行っているがこれに限定されない。他の一般的に知られる平均化処理方法が適用可能である。
以上の処理を行うことで、5セットのボリュームデータから平均化したリターデーションマップ、オリエンテーションマップ、神経線維層の厚さマップを生成することが出来る。
<線維束オリエンテーションマップの生成>
マップ生成部148はステップS807において平均化処理した各種マップを生成すると、次にステップS808で線維束オリエンテーションマップの生成を行う。線維束オリエンテーションマップはステップS807において生成した神経線維層の厚さマップを用いて生成する。本実施例では、線維束オリエンテーションマップは神経線維層の厚さマップを用いて生成されるが、これに限定されるものではない。例えば、SLOインテンシティマップのように他の画像を用いることも可能である。
まず、マップ生成部148はステップS807において生成した神経線維層の厚さマップに対し、ハイパスフィルタをかける。具体的には神経線維層の厚さマップに対して15ピクセル×15ピクセルのウィンドウを設け、ウィンドウ内の厚さの平均値を神経線維層の厚さマップの当該ウィンドウ領域から減算する。すると、ウィンドウにおける平均厚さよりも厚い、または薄い領域が強調して表示される。この処理を神経線維層の厚さマップに対してウィンドウをずらしながら全て行うことで、神経線維層厚の局所変化マップを生成する。なお、この神経線維層厚の局所変化マップには主に2つの要素が含まれる。すなわち、神経線維束と血管のそれぞれによる厚さ変化である。神経線維束も血管も互いに管状構造であるが、血管の方が神経線維束よりも外径が大きい。そのため、神経線維層厚の局所変化マップに対して閾値を設け、厚さ変化の大きい部分を血管として、局所変化マップから除去する。その結果、神経線維層厚の局所変化マップには神経線維束に関連する厚さ変化情報のみが含まれることになる。つまり、神経線維層厚の局所変化マップに残る厚さ変化は神経線維束の凹凸を捉えたものであり、この凹凸に垂直な方向は、すなわち神経線維束の走向を示している。
なお、本実施例においては15ピクセル×15ピクセルのウィンドウを設定し、ウィンドウ内における厚さの平均値を減算することによって凹凸を検出したが、これに限定されるものではない。他の一般的に知られるハイパス処理方法がすべて適用可能である。また、ウィンドウサイズも験者が必要に応じて任意に設定可能である。
次にマップ生成部148は、神経線維層厚の局所変化マップの各画素における、厚さの勾配の方向を検出する。すなわち、その画素における神経線維束の走向方向を検出する。まず、神経線維層厚の局所変化マップに対して微分フィルタをかける。本実施例では微分フィルタにはSobelフィルタを使用する。その結果、神経線維層厚の局所変化マップの各ピクセルにおける凹凸の勾配の大きさや勾配の方向の情報が得られる。次に、各ピクセルに対して評価ウィンドウを設定する。本実施例では120ピクセル×120ピクセルの評価ウィンドウを設定する。次に最小二乗推定法によって、各ピクセルにおける厚さの勾配方向の代表値を決定する。この処理を神経線維層厚の局所変化マップの全ての画素に対して行うことにより、線維束オリエンテーションマップを生成することが出来る。線維束オリエンテーションマップの例を図10に示す。
なお、本実施例ではSobelフィルタを用いて神経線維層の厚さ変化の勾配を算出したが、これに限定されない。また、本実施例では120ピクセル×120ピクセルの評価ウィンドウを設定することで各ピクセルにおける厚さの勾配方向を決定したが、これに限定されるものではない。いずれの技術も一般的に指紋認証技術として知られるような、あらゆるパターン認識技術が適用可能である。
<フュージョンマップの生成>
マップ生成部148はステップS805でオリエンテーションマップと、ステップS808で線維束オリエンテーションマップを生成すると、フュージョンマップの生成を行う。これは、以下の理由による。ステップS805において生成したオリエンテーションマップは、視神経乳頭周辺部における神経線維層厚が十分あることから信頼できるオリエンテーション情報を示すが、黄斑周辺では神経線維層厚が薄いため、ノイズが多く、信頼性が低い。一方、ステップS808において生成した線維束オリエンテーションマップは、黄斑周辺においては太い血管などが少ないため、信頼できるオリエンテーション情報を示すが、視神経乳頭近傍では太い血管が多いためデータが抜けており、信頼できるデータではない。そのため、視神経乳頭周辺はオリエンテーションマップの情報を用い、一方で黄斑周辺は線維束オリエンテーションマップの情報を用いることで、視神経乳頭から黄斑までを含む広い眼底領域において神経線維束の走向を検出することが可能となる。そのため、オリエンテーションマップの視神経乳頭側と線維束オリエンテーションマップの黄斑側のマップを合成し、フュージョンマップを生成する。
線維束オリエンテーションマップおよびオリエンテーションマップを用いたフュージョンマップの生成処理を、図11を参照して説明する。
マップ生成部148はまず、2つの画像を結合させる位置を決定する。本実施例ではリターデーションマップ1101を基にその位置を決定する。マップ生成部148は視神経乳頭部と黄斑部の間において、第一のリターデーションを有するライン1102と第二のリターデーションを有するライン1103を抽出する。この時、第一のリターデーションと第二のリターデーションは異なる値を有し、値は験者が任意に設定可能である。本実施例では第一のリターデーションを5°、第二のリターデーションを7°としている。
次にマップ生成部148は第一のリターデーションを有するライン1102より黄斑側、すなわちリターデーションマップ1101において第一のリターデーションを有するライン1102よりも右側の領域に一致するように線維束オリエンテーションマップを配置する。一方、第二のリターデーションを有するライン1103よりも視神経乳頭側、すなわちリターデーションマップ1101において第二のリターデーションを有するライン1103よりも左側の領域に一致するようにオリエンテーションマップを配置する。そして、第一のリターデーションを有するライン1102と第二のリターデーションを有するライン1103に挟まれる領域については、オリエンテーションマップおよび線維束オリエンテーションマップを互いに線形補間し、2つのマップを結合する。このようにして生成しフュージョンマップを図12に示す。
なお、本実施例ではリターデーションマップを基に2つの画像の結合位置を決定したが、これに限定されない。結合位置は験者が必要に応じて任意のマップを基に決定して構わない。神経線維束の情報が失われない範囲で験者が任意に実施してよい。また、本実施例ではオリエンテーションマップと線維束オリエンテーションマップの間の領域については、互いの画像を線形補間することで実施したが、これに限定されない。他の一般的に知られるいかなる補間方法も適用可能である。
<神経線維束トレーシング>
フュージョンマップを生成すると、マップ生成部148はフュージョンマップを基に神経線維束のトレーシングを行う。神経線維束のトレーシングについては実施例1に記載した方法と同様であるため説明を省略する。
以上、説明した処理を行うことで、神経線維束のトレーシングを行うことが可能である。また、本実施例においてはリターデーション画像を用いてオリエンテーションマップと線維束オリエンテーションマップの接合位置を決定したが、これに限定されない。複屈折マップや神経線維層の厚さマップを用いて行うことも可能である。また、本実施例においてはオリエンテーションマップと線維束オリエンテーションマップの境界は5°のリターデーションを有するラインと7°のリターデーションを有するラインとしたが、これに限定されるものではない。境界は必要に応じて験者が任意に設定可能である。また、本実施例においては信号処理部144の中の一機能として眼底画像生成部147およびマップ生成部148を有しているが、信号処理部144において明確な機能および処理の区別がない場合は、信号処理部144のみで眼底画像生成およびマップ生成を行うような構成としても構わない。
143 制御部
144 信号処理部
145 駆動制御部
146 表示部
147 眼底画像生成部
148 マップ生成部
149 表示制御部

Claims (16)

  1. 神経線維束マップを生成する生成手段と、
    前記神経線維束マップ中の任意の神経線維束を指定する指定手段と、
    前記指定された神経線維束の走向に沿ってパラメータを表示手段に表示させる表示制御手段と、
    を有することを特徴とする断層撮像装置。
  2. 前記表示制御手段は前記表示手段に表示される前記指定された神経線維束をハイライト表示することを特徴とする請求項1に記載の断層撮像装置。
  3. 前記パラメータは、輝度情報、リターデーション情報、オリエンテーション情報、複屈折情報、層厚情報のいずれか一つを含むことを特徴とする請求項1または2に記載の断層撮像装置。
  4. 被検眼の眼底の輝度画像および偏光特性画像を生成する眼底画像生成手段を更に有し、
    前記生成手段は、前記輝度画像および前記偏光特性画像に基づいて、前記神経線維束マップを生成することを特徴とする請求項1乃至3のいずれか1項に記載の断層撮像装置。
  5. 被検眼の眼底の輝度画像および偏光特性画像を生成する眼底画像生成手段と、
    前記輝度画像および前記偏光特性画像に基づいて、神経線維束マップを生成する生成手段と、
    を有することを特徴とする断層撮像装置。
  6. 前記偏光特性画像は、リターデーションに基づく画像と、オリエンテーションに基づく画像とを含み、
    前記生成手段は、リターデーションに基づく前記画像に基づいて、前記輝度画像に基づく画像とオリエンテーションに基づく前記画像とを結合して、前記神経線維束マップを生成することを特徴とする請求項4または5に記載の断層撮像装置。
  7. 前記偏光特性画像は、リターデーションに基づく画像と、オリエンテーションに基づく画像とを含み、
    前記生成手段は、リターデーションに基づく前記画像に基づいて、前記輝度画像とオリエンテーションに基づく前記画像とが結合する位置を決定し、前記生成手段は、前記決定した位置に基づいて、前記輝度画像に基づく画像とオリエンテーションに基づく前記画像とを結合して、前記神経線維束マップを生成することを特徴とする請求項4乃至6のいずれか1項に記載の断層撮像装置。
  8. 前記神経線維束マップに基づいて、神経線維束をトレーシングするトレース手段を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の断層撮像装置。
  9. 被検眼の眼底の輝度画像および偏光特性画像を生成する眼底画像生成手段と、
    前記輝度画像および前記偏光特性画像に基づいて、神経線維束をトレーシングするトレース手段と、
    を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の断層撮像装置。
  10. 前記表示制御手段は、前記トレースされた神経線維束に基づいて、神経線維束トレースマップを表示手段に表示させることを特徴とする請求項8または9に記載の断層撮像装置。
  11. 被検眼の眼底の輝度画像および偏光特性画像を生成する眼底画像生成手段と、
    前記輝度画像および前記偏光特性画像に基づいて、神経線維束をトレーシングするトレース手段と、
    を有することを特徴とする断層撮像装置。
  12. 前記トレースされた神経線維束に基づいて、神経線維束トレースマップを表示手段に表示させる表示制御手段を更に有することを特徴とする請求項11に記載の断層撮像装置。
  13. 神経線維束マップを生成し、
    前記神経線維束マップ中の任意の神経線維束を指定し、
    前記指定された神経線維束の走向に沿ってパラメータを表示手段に表示させる、ことを特徴とする断層撮像方法。
  14. 被検眼の眼底の輝度画像および偏光特性画像を生成し、
    前記輝度画像および前記偏光特性画像に基づいて、神経線維束マップを生成する、ことを特徴とする断層撮像方法。
  15. 被検眼の眼底の輝度画像および偏光特性画像を生成し、
    前記輝度画像および前記偏光特性画像に基づいて、神経線維束をトレーシングする、ことを特徴とする断層撮像方法。
  16. 請求項13乃至15のいずれか1項に記載の断層撮像方法の工程をコンピュータに実行させるためのプログラム。
JP2015017908A 2015-01-30 2015-01-30 断層撮像装置、断層撮像方法、およびプログラム Active JP6598466B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015017908A JP6598466B2 (ja) 2015-01-30 2015-01-30 断層撮像装置、断層撮像方法、およびプログラム
PCT/JP2015/006231 WO2016120933A1 (en) 2015-01-30 2015-12-15 Tomographic imaging apparatus, tomographic imaging method, image processing apparatus, image processing method, and program
US15/540,092 US20180000341A1 (en) 2015-01-30 2015-12-15 Tomographic imaging apparatus, tomographic imaging method, image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015017908A JP6598466B2 (ja) 2015-01-30 2015-01-30 断層撮像装置、断層撮像方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2016140518A true JP2016140518A (ja) 2016-08-08
JP2016140518A5 JP2016140518A5 (ja) 2018-02-08
JP6598466B2 JP6598466B2 (ja) 2019-10-30

Family

ID=55070098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015017908A Active JP6598466B2 (ja) 2015-01-30 2015-01-30 断層撮像装置、断層撮像方法、およびプログラム

Country Status (3)

Country Link
US (1) US20180000341A1 (ja)
JP (1) JP6598466B2 (ja)
WO (1) WO2016120933A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018023602A (ja) * 2016-08-10 2018-02-15 大日本印刷株式会社 眼底画像処理装置
JP2018102757A (ja) * 2016-12-27 2018-07-05 株式会社ニデック 眼科解析装置、眼科oct、および、眼科解析プログラム
CN110448267A (zh) * 2019-09-06 2019-11-15 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法
JP2020511712A (ja) * 2017-03-10 2020-04-16 フィンガープリント カーズ アクティエボラーグ 指紋画像における劣化データの抑制

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015117241A1 (en) * 2014-02-05 2015-08-13 British Columbia Cancer Agency Branch Systems for optical imaging of biological tissues
US10620372B2 (en) * 2016-01-25 2020-04-14 Nippon Telegraph And Telephone Corporation Alignment apparatus and alignment method
US10653310B2 (en) 2017-02-28 2020-05-19 Canon Kabushiki Kaisha Imaging apparatus, control method for an imaging apparatus, and program
US10973406B2 (en) 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
WO2020160439A1 (en) * 2019-02-01 2020-08-06 Children's National Medical Center System and method for intraoperative, non-invasive nerve identification using snapshot polarimetry
US11819275B2 (en) 2020-12-16 2023-11-21 Canon Kabushiki Kaisha Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008272256A (ja) * 2007-04-27 2008-11-13 Univ Of Tsukuba 偏光感受型光コヒーレンストモグラフィー装置、該装置の信号処理方法、及び該装置における表示方法
JP2010125291A (ja) * 2008-12-01 2010-06-10 Nidek Co Ltd 眼科撮影装置
JP2013165960A (ja) * 2012-01-20 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2014042649A (ja) * 2012-08-27 2014-03-13 Canon Inc 画像処理装置及び画像処理方法
JP2014232103A (ja) * 2013-05-01 2014-12-11 キヤノン株式会社 偏光octの偏光データを処理する方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112114A (en) * 1991-12-16 2000-08-29 Laser Diagnostic Technologies, Inc. Eye examination apparatus employing polarized light probe
JP3508112B2 (ja) 1993-09-21 2004-03-22 株式会社トプコン 眼底疾患解析装置
US5868134A (en) * 1993-09-21 1999-02-09 Kabushiki Kaisha Topcon Retinal disease analyzer
US9326719B2 (en) * 2004-05-24 2016-05-03 Board Of Regents, The University Of Texas System Measurement of neural functionality using phase sensitive optical coherence reflectometry
US7798647B2 (en) * 2007-09-18 2010-09-21 Carl Zeiss Meditec, Inc. RNFL measurement analysis
WO2010009450A1 (en) * 2008-07-18 2010-01-21 Doheny Eye Institute Optical coherence tomography device, method, and system
JP5723093B2 (ja) * 2009-11-25 2015-05-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP6188297B2 (ja) * 2012-01-25 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9545196B2 (en) * 2012-05-04 2017-01-17 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
JP2014110884A (ja) * 2012-10-30 2014-06-19 Canon Inc 画像処理装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008272256A (ja) * 2007-04-27 2008-11-13 Univ Of Tsukuba 偏光感受型光コヒーレンストモグラフィー装置、該装置の信号処理方法、及び該装置における表示方法
JP2010125291A (ja) * 2008-12-01 2010-06-10 Nidek Co Ltd 眼科撮影装置
JP2013165960A (ja) * 2012-01-20 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2014042649A (ja) * 2012-08-27 2014-03-13 Canon Inc 画像処理装置及び画像処理方法
JP2014232103A (ja) * 2013-05-01 2014-12-11 キヤノン株式会社 偏光octの偏光データを処理する方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Retinal nerve fiber layer birefringence evaluated with polarization sensitive spectral domain OCT an", JOURNAL OF BIOPHOTONICS, vol. 1, no. 2, JPN6018046403, 18 February 2008 (2008-02-18), pages 129 - 139, ISSN: 0004026463 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018023602A (ja) * 2016-08-10 2018-02-15 大日本印刷株式会社 眼底画像処理装置
JP2018102757A (ja) * 2016-12-27 2018-07-05 株式会社ニデック 眼科解析装置、眼科oct、および、眼科解析プログラム
JP2020511712A (ja) * 2017-03-10 2020-04-16 フィンガープリント カーズ アクティエボラーグ 指紋画像における劣化データの抑制
JP7291080B2 (ja) 2017-03-10 2023-06-14 フィンガープリント カーズ アナカタム アイピー アクチボラグ 指紋画像における劣化データの抑制
CN110448267A (zh) * 2019-09-06 2019-11-15 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法
CN110448267B (zh) * 2019-09-06 2021-05-25 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法

Also Published As

Publication number Publication date
JP6598466B2 (ja) 2019-10-30
US20180000341A1 (en) 2018-01-04
WO2016120933A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
JP6598466B2 (ja) 断層撮像装置、断層撮像方法、およびプログラム
JP5192250B2 (ja) 眼底観察装置
JP4971864B2 (ja) 光画像計測装置及びそれを制御するプログラム
JP4971863B2 (ja) 光画像計測装置
JP5138977B2 (ja) 光画像計測装置
JP6624945B2 (ja) 画像形成方法及び装置
JP4896794B2 (ja) 光画像計測装置、それを制御するプログラム及び光画像計測方法
JP5231085B2 (ja) 眼科情報処理装置及び眼科検査装置
JP4940070B2 (ja) 眼底観察装置、眼科画像処理装置及びプログラム
JP4969925B2 (ja) 眼底観察装置
US10769789B2 (en) Image processing apparatus and image processing method
EP3081148B1 (en) Image processing apparatus and method of operation of the same
JP5415812B2 (ja) 光画像計測装置及びその制御方法
JP6685706B2 (ja) 画像処理装置及び画像処理方法
JP2009089792A (ja) 眼底観察装置及び眼底画像処理装置
KR20130085978A (ko) 화상처리장치 및 화상처리방법
JP6682291B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016055122A (ja) 光コヒーレンストモグラフィー装置、oct解析処理装置、及びプログラム
JP6849776B2 (ja) 情報処理装置及び情報処理方法
JP7204345B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6758825B2 (ja) 画像処理装置およびその作動方法
JP2023128334A (ja) 情報処理装置、光コヒーレンストモグラフィ装置、情報処理方法、及びプログラム
JP2021087817A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R151 Written notification of patent or utility model registration

Ref document number: 6598466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151