JP2019150554A - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP2019150554A
JP2019150554A JP2018213270A JP2018213270A JP2019150554A JP 2019150554 A JP2019150554 A JP 2019150554A JP 2018213270 A JP2018213270 A JP 2018213270A JP 2018213270 A JP2018213270 A JP 2018213270A JP 2019150554 A JP2019150554 A JP 2019150554A
Authority
JP
Japan
Prior art keywords
image
blood vessel
layer
motion contrast
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018213270A
Other languages
English (en)
Inventor
牧平 朋之
Tomoyuki Makihira
朋之 牧平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2019/007571 priority Critical patent/WO2019172043A1/ja
Publication of JP2019150554A publication Critical patent/JP2019150554A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】 血管の評価に適した血管の分離を可能とする。【解決手段】 画像処理装置は、検眼の複数の断層画像からモーションコントラスト画像を生成する生成手段と、前記モーションコントラスト画像の深さ方向に交わる方向における画素列の代表値を取得する取得手段と、前記代表値に基づいて、前記モーションコントラスト画像のセグメンテーションを行う処理手段と、を備える。【選択図】 図3

Description

本明細書の開示は、画像処理装置およびその制御方法に関する。
低コヒーレンス光による干渉を利用した光干渉断層撮像装置(Optical Coherence Tomography:以下、OCT装置)が眼科機器として実用化されている。OCT装置は、眼底の網膜の3次元構造を撮像、描出が可能である。
例えば、網膜の各層の分離を行うために深さ方向の輝度の変化から層境界を検出することが知られていた(特許文献1)。
近年は、単に網膜構造のみならず、連続して取得された断層像間の信号の変化を検出して網膜の血管を非浸襲に描出するOCTアンギオグラフィー(OCT Angiograpy:以下、OCTA)が開発されている(特許文献2)。
特開2016−152962号公報 特開2018−89160号公報
特許文献2には、OCTAによる血管画像(OCTA画像)を生成する際に抽出する血管の深度範囲を容易に指定するための構成が開示されている。しかしながら、血管の評価に適した血管の分離方法については開示がない。
本明細書の開示は、血管の評価に適した血管の分離方法を提供することを目的の1つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本発明の画像処理装置は、被検眼の複数の断層画像からモーションコントラスト画像を生成する生成手段と、前記モーションコントラスト画像の深さ方向に交わる方向における画素列の代表値を取得する取得手段、前記代表値に基づいて、前記モーションコントラスト画像のセグメンテーションを行う処理手段とを有する。
本明細書の開示によれば、血管の評価に適した血管の分離ができる。
装置構成の一例を示す図である。 スキャンパターンの一例を示す図である。 血管に相当する部分の積算値の一例を示す図である。 血管を用いた層分離の手順の一例を示す図である。 OCTA画像の取得手順の一例を示す図である。 血管に相当する部分の積算値の一例を示す図である。 血管を用いた層分離の手順の一例を示す図である。 血管に相当する部分の積算値の一例を示す図である。 OCTA画像の一例を示す図である。 表示態様の一例を示す図である。 画角の広いOCT画像の一例を示す図である。
以下、本発明の一実施形態を、図面を用いて詳細に説明する。以下の説明は本質的に、説明的及び例示的なものにすぎず、いかなる形でも、本開示及びその用途又は使用を限定することを意図していない。実施形態において示されるコンポーネントの相対的構成、並びに、ステップ、数値表現及び数値は、別段の具体的な指示がない限り、本開示の範囲を限定しない。当業者によってよく知られている技法、方法及びデバイスは、以下で論考する実施形態を可能にするために当業者がこれらの詳細を知る必要がないので、詳細に論考されていない場合がある。
(実施形態1)
本発明の実施形態1として、本発明を適用した眼底断層画像を処理する画像処理装置について、図面を用いて詳細に説明する。
[ハード構成]
図1(a)は眼底断層画像を撮像するOCT光学系の装置構成の一例を示す図である。
図1(a)において、光源001はSLD光源であり、光源001から出射された低コヒーレンス光は、カプラ002によって、所望の分岐比の下、測定光と参照光とに分岐される。
カプラ002により分岐された測定光は、コリメータレンズ021よりコリメート光となり、サンプル光学系102へ出射される。サンプル光学系102には、フォーカスレンズ022、角度可変であるXガルバノメトリックミラー023とYガルバノメトリックミラー024、対物レンズ系を形成するレンズ025、レンズ026が配置されている。これらを経由して被検眼027の眼底上に、測定光によるビームスポットが形成される。ここで、眼底上に導かれたビームスポットは、Xガルバノメトリックミラー023とYガルバノメトリックミラー024が駆動されることにより、眼底上で2次元に走査される。被検眼027の眼底で反射散乱した測定光は、サンプル光学系102を介した後、カプラ002へ導かれる。
一方、カプラ002により分岐された参照光は、参照光学系103へ導かれ、コリメータレンズ031によりコリメート光となり、NDフィルター032を通過することにより所定光量に減衰される。その後、参照光はコリメートされた状態を保持したまま、光軸方向に移動可能でサンプル光学系102との光路長差を補正することができるミラー033により反射され、同じ光路へ折り返される。折り返された参照光は、NDフィルター032、コリメータレンズ031を介した後、カプラ002へ導かれる。また、参照光の偏光状態が、偏光制御器003により測定光の偏光状態に対応するように調整される。
カプラ002へ戻ってきた測定光と参照光は、カプラ002により合波され、検出系(もしくは分光器046)104に導かれる。合波された光はコリメータレンズ042によりコリメート光として出射され、回折格子043にて分光された後、レンズ044を介してラインセンサ045で受光され、光強度に応じた干渉信号として出力される。尚、ラインセンサ045は、各受光素子が回折格子043によって分光された光の波長成分に対応して受光するように配置されている。
図1(b)は、図1(a)に示したOCT光学系及び画像処理装置を含む眼科システム構成の一例を示す図である。
OCT光学系にはフォーカスレンズ022を移動させるためのフォーカス駆動部061が設けられており、Xガルバノメトリックミラー023、Yガルバノメトリックミラー024を駆動するためのガルバノ駆動部062が設けられている。更に、ミラー033を光軸方向に移動させるためのミラー駆動部063が設けられており、偏光制御部003を駆動するための偏光調整駆動部064が設けられている。各駆動部と光源001、ラインセンサ045、サンプリング部051、メモリ052、信号処理部053、操作入力部056、表示部の一例であるモニタ055などは、制御部054に接続され、制御部054により眼科システム全体の動きが制御されている。ここで、画像処理装置は信号処理部053,制御部054を含むものである。
なお、サンプリング部051、メモリ052、モニタ055および操作入力部056の少なくとも1つを画像処理装置が含むこととしてもよい。また、信号処理部053および制御部054は、画像処理装置に備えられたCPU等のプロセッサが、メモリに記憶されたプログラムを実行することで実現される。更に、CPU等のプロセッサはメモリ052に記憶されたプログラムを実行することでサンプリング部051として機能することとしてもよい。
ラインセンサ045からの出力信号は、ガルバノ駆動部062によって駆動されたガルバノメトリックミラーの任意の駆動位置に応じて、サンプリング部051により干渉信号として出力される。続いて、ガルバノ駆動部062によってガルバノメトリックミラー023,024の駆動位置がオフセットされ、その位置における干渉信号が出力される。以降はこの繰り返しで干渉信号が次々に生成される。
サンプリング部051でサンプリングされた干渉信号は、メモリ052にガルバノメトリックミラーの駆動位置とともに記憶される。メモリ052に記憶された干渉信号は、信号処理部053により周波数解析され、被検眼027の眼底の断層像となる。断層像は、表示制御部の一例である制御部054によりモニタ055に表示される。ガルバノメトリックミラー023,024の駆動位置の情報によって、3次元の眼底ボリューム像を生成し、モニタ055に表示するようにしてもよい。
制御部054は、撮像中の任意のタイミングでバックグラウンドデータを取得する。バックグラウンドデータとは、被検眼027に測定光が入射しない状態の信号、即ち参照光のみの信号を指す。例えば、ガルバノ駆動部062によりガルバノメトリックミラー023、024を駆動して、サンプル光学系102から測定光が戻らないように測定光の位置を調整した状態で信号取得を行うことで、バックグラウンドデータを取得する。
[スキャンパターン例]
次に、図2を用いて本実施形態のスキャンパターンの一例を説明する。なお、以下に例示する数値は一例であり他の数値に変更することができる。また、OCTA画像の取得が不要な場合には本スキャン例を用いなくともよい。
図2(a)は任意のスキャンパターンについて示す図であり、図2(b)は本実施形態で具体的に実行した数値を反映させたスキャンパターンを示す図である。血流によるOCT干渉信号の時間変化を計測するため、同じ場所で且つ所定時間間隔で複数回の計測が必要となる。本実施形態では、OCT光学系は同じ場所でのBスキャンをm回繰り返しつつ、n箇所のyポジションに移動するスキャンを行う。
具体的なスキャンパターンを図2(a)に示す。眼底平面上でy1〜ynのn箇所のyポジションにおいて、Bスキャンをm回繰り返す。mが大きいと同じ場所での計測回数が増えるため、血流(血流のある領域)の検出精度が向上する。その一方でスキャン時間が長くなり、スキャン中の眼の動き(固視微動)により画像にモーションアーチファクトが発生する問題と被検者の負担が増える問題が生じる。
本実施形態では両者のバランスを考慮してm=4(図2(b))として実施した。なお、OCT装置のAスキャン速度、被検眼027の眼底表面画像の運動解析の結果に応じて、繰り返し数mを変更してもよい。ここで、繰り返しの所定間隔を大きくとると早い血流の検出が困難になる。一方、繰り返しの所定間隔を小さくすると毛細血管等の遅い血流の検出能力が下がることになる。
本実施形態では、所定間隔として約2.5msecとした。ただし、本実施形態では、所定時間として血流の検出が行えれば良く、例えば、約1msecから約4msec(場合によっては数十msec)の範囲内が好ましく、より好ましくは約2msecから約3msecの範囲内である。この繰り返し間隔も注目する血管に対応して調整することが望ましい。
図2(a)においてpは1つのBスキャンにおけるAスキャンのサンプリング数を示している。すなわち、p×nにより眼底平面画像サイズが決定される。p×nが大きいと、同じ計測ピッチであれば広範囲がスキャンできるが、スキャン時間が長くなり、上述のモーションアーチファクトおよび患者負担の問題が生じる。本実施形態では両者のバランスを考慮してn=p=300として実施した。なお、上記n,pは適宜任意に変更が可能である。
また、図2(a)におけるΔxは隣り合うxポジションの間隔(xピッチ)であり、Δyは隣り合うyポジションの間隔(yピッチ)である。本実施形態ではxピッチ、yピッチは眼底における照射光のビームスポット径の1/2として決定し、本実施形態では、10μm(図2(b))とする。xピッチ、yピッチを眼底上のビームスポット径の1/2とすることで、生成する画像を高精細に形成することができる。
xピッチ、yピッチを眼底上のビームスポット径の1/2より小さくしても、生成する画像の精細度をそれ以上高くする効果は小さい。逆にxピッチ、yピッチを眼底上のビームスポット径の1/2より大きくすると精細度は悪化するが、小さなデータ容量で広い範囲の画像を取得することができる。臨床上の要求に応じてxピッチ、yピッチを任意に変更してもよい。本実施形態のスキャン範囲は、x方向がp×Δx=3mm、y方向がn×Δy=3mmである(図2(b)参照)。
[実施例1:輝度画像を用いた血管層分離]
上述の眼科システムを用い、複数のOCT画像を取得し、画像内の輝度変化を抽出し、輝度変化の積算をx方向で実施することで、血管の層分離を実施した例について記述する。ここで、本実施形態において、血管の評価に適するように分離することを血管の層分離と記載し、層分離された血管を血管層とも記載する。なお、以下に記載する数値は例示であり、他の値とすることとしてもよい。
信号処理部053は、図3(a)に示す様にOCT画像301〜304(眼底の同一箇所から得られたOCT画像4枚:m=4)を取得する。図3(a)に示す様に、紙面に対して、水平方向がx方向、鉛直方向がz方向、紙面垂直方向がy方向、奥行き方向がt(時間)の経過を表示している。
信号処理部053は、取得したOCT画像301〜304の位置合わせを実施し、加算平均処理を実施する。すなわち、信号処理部053は、加算平均画像を取得する。信号処理部053は、OCT画像301と加算平均画像との差分を計測する(差分画像301’の取得)。同様に、信号処理部053は、OCT画像302〜304と加算平均画像との差分をそれぞれ計測することで差分画像302’〜304’を取得する。信号処理部053は、差分画像301’〜304’の画像を重ね合せ処理(例えば加算処理)することで輝度変化画像である画像310(図3(b)参照)を取得する。なお、破線311は説明のための線であり画像310には含まれない。
画像310において、輝度変化の位置に傾向があり、x方向に輝度変化の点が並んでいる。信号処理部053は、輝度変化の並びを層と見なし、輝度変化層312〜317の領域(分割領域)に分割する。信号処理部053は、y方向における輝度変化部分の間隔およびx方向における輝度変化部分の直線性から各分割領域へ分類することができる。特に、輝度変化層が顕著に並んでいる輝度変化層314の輝度を直線近似し、平行移動させた線が、破線(近似直線)311である。信号処理部053は、例えば内顆粒層における輝度変化の点(血管)の配列から近似直線である破線311を定義する。信号処理部053は、例えば、輝度断層像から層境界を検出し、層境界から内顆粒層を特定する。信号処理部053は、特定された内顆粒層に対応する位置を画像310で特定し、x方向における輝度変化部分を直線近似することで近似直線である破線311を定義することができる。
信号処理部053は、破線311に沿った方向に、画像310の輝度変化値を積算する。すなわち、信号処理部053は、眼底の断層を示す輝度変化画像(血管強調画像)から深さ方向に交わる方向の画素列の画素値の代表値を取得する取得手段の一例に相当する。ここで、積算値は画素列の画素値の代表値の一例であり、画像310は血管強調画像の一例である。また、画素列をなす輝度変化値の中には、他の画素変化値とは形状が大きく異なるものがある。例えば、図3(b)の輝度変化層313に含まれる楕円形状の輝度変化値の部分(図3(b)では2か所)である。これは縦(深さ方向)に走行する血管であるため代表値を求める際には除外するようにしてもよい。縦方向の長さが平均の長さより、例えば、2倍以上の部分を除外するようにすればよい。
この積算された輝度変化を示すグラフが図3(c)である。各々の層に該当するグラフのピーク位置に同様の輝度変化層の番号312〜317を記入した。網膜の断層に対応する層としては、ピーク312の血管層は神経線維層に位置する血管層であり、ピーク313の血管層は内網状層に血管層であり、ピーク314の血管層は内顆粒層付近に位置する血管層であり、ピーク315の血管層は外網状層付近に位置する血管層である。ピーク316の血管層は、視細胞層より強膜側に位置しており、脈絡膜層の視細胞層側に位置する血管層(脈絡膜毛細血管版)であり、ピーク317の血管層は脈絡膜層に位置する血管層である。
以上の処理フローについて、図4を用いて説明する。
ステップS401において、信号処理部053はOCT画像をm枚(例えば4枚)取得する。ステップS402において、信号処理部053は、m枚のOCT画像の位置合わせを実施し、m枚のOCT画像を加算平均し、1枚の加算平均画像を取得する。
ステップS403において、信号処理部053は、m枚のOCT画像と1枚の加算平均画像との差分データ(画像)を各々取得する(m枚取得)。本実施例では、差分の絶対値を差分データとして取得する。
ステップS404において、信号処理部053は、m枚の差分データ(画像)を加算平均し、1枚の差分加算平均画像を取得する。ステップS405において、信号処理部053は差分加算平均画像内の輝度変化層を抽出する。
ステップS406において、信号処理部053は、例えば、各層の硝子体側から3番目の輝度変化層について、直線近似を実施することにより近似直線を定義する。ステップS407において、信号処理部053は、直線近似により定義した近似直線の軸方向の画素列の各輝度変化値を積算する。ステップS408において、信号処理部053は、積算データをグラフ化する。ステップS409において、信号処理部053は、グラフ内のピーク(例えば6本)の情報(輝度値、半値幅、分散値、位置等)を取得する。ステップS410において、信号処理部053は情報(輝度値、半値幅、分散値、位置等)をメモリ052に保存する。
そして、信号処理部053は例えばピーク位置を中心としてz方向の正負それぞれに分散値を幅として持たせた層を血管層として特定する。すなわち、信号処理部053は、代表値に基づいて眼底のセグメンテーションを行う処理部の一例に相当する。なお、分散値に所定の係数をかけたものを血管層の幅としてもよい。また、分散値ではなく標準偏差を用いることとしてもよい。
なお、図3(c)のグラフから、各ピーク位置に隣接する極小値までのピーク位置からの距離を血管層の幅としてもよい。また、血管層の中心はピーク位置ではなく、破線311のx方向の中心または端部等の所定の位置を各ピーク位置に合わせたものであってもよい。
また、制御部054は、信号処理部053が取得した血管層の中心位置および血管層の幅を示す線の少なくとも一方を輝度断層画像または画像310に重畳してモニタ055に表示させることとしてもよい。さらに、制御部054は、信号処理部053が取得した血管層内の輝度変化部分と血管層外の輝度変化部分とは色など異なる表示形態で表示させることとしてもよい。
このような血管層に関する情報(血管層の中心および幅)の重畳表示は全ての層に関して実施してもよいし、一部の層のみで実施することとしてもよい。例えば、ユーザにより指定された深さ位置のみ血管層に関する情報を表示することとしてもよい。
本実施例では、ステップS406において、第三層目の輝度変化層を直線近似したが、各層の直線近似値の平均、又は、他の層の情報をもとに直線近似しても良い。更には、輝度を積算する方向がx軸方向と同一の場合は、ステップS406の処理を割愛しても良い。
信号処理部034は、上記のようにして得られた血管層を用いて輝度のEnFace画像を生成することとしてもよい。
上記の実施例によれば、輝度変化部分を考慮して層分離が行われるため、血管の評価に適した層分離が実行される。また、本実施例により生成されたEnFace画像は、所望の血管の特徴を示すものであり、血管の評価に適したEnFace画像となる。
[実施例2:MC画像を用いた血管層分離]
[MC画像の取得]
まず、MC(モーションコントラスト画像)画像の生成方法について説明する。一枚のOCTA画像(モーションコントラスト画像)を生成する方法について、図5を用い説明する。ここで、信号処理部053は、被検眼の略同一部位の所定の時間間隔で撮像された複数の断層情報を用いて、略同一部位のモーションコントラスト情報を生成する。そして、信号処理部053は、モーションコントラスト情報における深さ範囲の一部の情報を用いて、モーションコントラスト正面画像を生成する。
まず、ステップS501において、信号処理部053はポジションyにおける繰り返しBスキャン干渉信号(m枚分)を抜き出す。ステップS502において、信号処理部053はj番目の断層データ(情報)を抜き出す。ステップS503において、信号処理部053は取得したバックグラウンドデータを上記干渉信号から減算する。
ステップS504において、信号処理部053は、バックグラウンドを減算した干渉信号に対して波数関数に変換処理を施し、フーリエ変換を行う。本実施例では高速フーリエ変換(FFT:Fast Fourier Transform)を適用する。ここで、ゼロパディング処理を施しておけば、フーリエ変換後の階調性が増し、後述するステップ509において位置合わせ精度を向上させることが出来る。
ステップS505において、信号処理部053は、ステップS504にて実行したフーリエ変換によって得られる複素信号の絶対値を計算する。この値が当該スキャンの断層像の画素値(輝度値)となる。ステップS506において、信号処理部053はインデックスjが、所定数(m)に到達したかを判断する。すなわち、ポジションyでの断層画像の輝度計算がm回繰り返されたかを判断する。所定数に満たない場合はS502に戻り、同一Y位置における断層画像の輝度計算を繰り返す。所定数に達した場合は、次ステップへ進む。
また、ステップS507において、信号処理部053はあるyポジションにおけるmフレームの同一断層画像の中で、画像の類似度を計算する。具体的には、信号処理部053はmフレームの断層画像の内、任意の一枚をテンプレートとして選択し、残りのm−1フレームの画像との相関値を算出する。
ステップS508において、信号処理部053はステップS507で算出した相関値の中で、他の画像との相関が一定の閾値以上である相関の高い画像を選択する。閾値は任意に設定が可能であり、被検者の瞬きや固視微動によって画像としての相関が低下したフレームを排除することができように設定する。
前述したように、OCTAでは、被検眼組織のうち流れのある組織(例えば血液)と流れのない組織の間の対比を、画像間の局所相関値に基づき区別する技術である。即ち、流れの無い組織では画像間で相関が高いという前提の上で流れのある組織を抽出するため、画像全体として相関が低い場合、あたかも画像全体が流れのある組織であるかのように誤認識してしまう。このステップではそうした誤認識を回避するために、予め画像として相関の低い断層画像を排除し、相関の高い画像のみを選択する。画像選択の結果、同一ポジションyで取得されたmフレームの画像は適宜取捨選択され、qフレームの画像となる。ここで、qの取りうる値は、1≦q≦mである。
また、ステップS509において、信号処理部053は、ステップS508にて選択されたqフレームの断層画像の位置合わせを行う。位置合わせ用のテンプレートとして選択するフレームは、互いに全ての組み合わせで相関を計算し、フレーム別に相関係数の和を求め、その和が最大となるフレームを選択してもよい。
次に、テンプレートでフレーム毎に照合し位置ずれ量(δX、δY、δθ)を求める。具体的にはテンプレート画像の位置と角度を変えながら類似度を表す指標であるNormalized Cross−Correlation(NCC)を算出し、この値が最大となるときの画像位置の差を位置ずれ量として求める。
本実施例では、類似度を表す指標は、テンプレートとフレーム内の画像の特徴の類似性を表す尺度であれば種々変更が可能である。例えばSum of Absolute Difference(SAD)、Sum of Squared Difference(SSD)、Zero−means Normalized Cross−Correlation(ZNCC)、Phase Only Correlation(POC)、Rotation Invariant Phase Only Correlation(RIPOC)等を用いてもよい。
次に、信号処理部053は位置ずれ量(δX、δY、δθ)に応じて位置補正をテンプレート以外の(q−1)フレームに適用し、フレームの位置合わせを行う。qが1である場合はこのステップは実行されない。
また、ステップS510において、信号処理部053はMC値を算出する。本実施例では、ステップS508で選択し、ステップS509で位置合わせを行ったqフレームの輝度画像間において、同じ位置のピクセルごとに分散値を計算し、その分散値をMC値(モーションコントラスト値)とする。MC値の求め方は種々あり任意の方法を用いることができる。
なお、本実施例においてMC値は同一Y位置での複数の断層画像の各ピクセルの変化(フーリエ変換後の輝度・位相等)を表す指標であれば適用が可能である。尚、q=1の時、即ち、瞬きや固視微動の影響のために画像として相関が低く、同一ポジションyの位置においてMC値の算出が不可能な場合は異なる処理を行う。例えば、MC値を0としてステップを終了しても良いし、前後y−1、y+1の画像におけるMC値が得られる場合、前後の分散値から値を補間しても良い。この場合、正しく計算できなかったMC値は補完値であるとして異常を通知しても良い。また、MC値の計算が出来なかったY位置を記憶しておき、自動で再スキャンを行っても良い。或いは、自動の再スキャンを行うことをせず、再測定を促す警告を出しても良い。
ステップS511において、信号処理部053はステップS509にて位置合わせを行った輝度画像を平均し、平均輝度画像を生成する。
ステップS512において、信号処理部053は、ステップS510で出力したMC値の閾値処理をする。閾値の値は信号処理部053がステップS511で出力した平均輝度画像から、ノイズフロアでランダムノイズのみが表示されている領域を抽出し、標準偏差σを計算し、ノイズフロアの平均輝度値+2σと設定する。
信号処理部053は、各輝度値が、上記閾値以下の領域に対応したMC値を0に設定する。この閾値処理により、ランダムノイズに由来するMC値を除去することでノイズを軽減することができる。閾値の値は小さいほどMC値の検出感度は上がる一方、ノイズ成分も増す。また、大きいほどノイズは減るがMC値の検出感度は下がる。本実施例では、閾値をノイズフロアの平均輝度値+2σとして設定したが、閾値はこれに限るものではない。
ステップS513において、信号処理部053はインデックスkが、所定数(n)に到達したかを判断する。すなわち、n箇所の全てのY位置において、画像相関度計算、画像選択、位置合わせ、平均輝度の算出、MC値の算出、及び閾値処理を行ったかを判断する。所定数に満たない場合はステップS501に戻り、所定数に到達した場合は、次のステップS514へ進む。
ステップS513を終了した時点で、すべてのY位置での断層画像における平均輝度画像とn箇所のY位置における近接した複数のモーションコントラスト情報のセットであるMC値3次元ボリュームデータが生成されたことになる。ステップS514では生成された3次元のMC値(モーションコントラスト情報)に対し、深さ方向に積算したモーションコントラスト正面画像、いわゆる通称OCTA正面画像を生成する。この時、OCTA正面画像の生成にあたり、積算する深さ範囲は任意に設定して良い。例えば、ステップS511にて生成された平均輝度画像を元に眼底網膜の層境界を抽出し、所望の層を含むようにOCTA正面画像を生成することが好適である。OCTA正面画像を生成した後、信号処理部053は信号処理フローを終了する。
以上説明した装置構成、撮像方法、信号処理手順を用いることにより、所望領域においてOCTAの撮像と、OCTA画像の生成が可能となる。本実施例では、m=4の条件下でOCTA画像(モーションコントラスト画像)を取得している。
取得したOCTA画像の一例を図6に示す。例えば、黄斑部を撮像した3次元のMC情報に対して、積算する深さ範囲を網膜表層側数層に限定すると図6(a)の如くの網膜表層のOCTA正面画像が得られ黄斑周辺の眼底血管601が抽出できる。もちろん本発明が対象とする深さ範囲は網膜表層のみに限るものではなく、深さ範囲を網膜深層、脈絡膜等に指定したOCTA正面画像から各々の層の血管を抽出できることは言うまでもない。
上記のようにして生成されたMC画像から血管層分離を行う例について説明する。
信号処理部053は、図6(a)の様に、m=4のOCT画像601(眼底の同一箇所から得られたOCT画像4枚)を取得する。図6(a)に示す様に、紙面に対して、水平方向がx方向、鉛直方向がz方向、紙面垂直方向がy方向、奥行き方向がt(時間)の経過を表示している。
図5のフローに準じ、信号処理部053は図6(b)に示すMC画像610を取得する。MC画像610は血管強調画像の一例である。図6(b)のMC画像610において、信号処理部053はx方向に輝度の積算値を計測する。信号処理部053は、輝度の計算を実施する際、血管の層が傾いていることがある為、事前に、血管の層の傾きθ(シータ)を計測する。計測方法は、θを順次傾け(MC画像自体を傾けても良いし、積算方向自体を傾けてもよい)、輝度ピーク(例えばピーク617)が最大になるθを検出する等を行い傾きθが得られる。
本実施例では、傾きθは3°で、破線611の傾きを有していることが分かった。傾きθを考慮したx方向のMC画像の輝度積算値は、図6(c)の様に得られた。すなわち、図6(c)は、破線611の方向にMC画像310を積算した値のプロファイルである。図6(c)の各々のピーク612〜617は、図(b)の612〜617に該当している。網膜の断層に対応する層としては、ピーク612の血管層は神経線維層に位置する血管層であり、ピーク613の血管層は内網状層に血管層であり、ピーク614の血管層は内顆粒層付近に位置する血管層であり、ピーク615の血管層は外網状層付近に位置する血管層である。ピーク616の血管層は視細胞層より強膜側に位置しており、脈絡膜層の視細胞層側に位置する血管層(脈絡膜毛細血管板)であり、ピーク617の血管層は脈絡膜層に位置する血管層である。
以上の処理フローについて、図7を用い、説明する。
ステップS701において、信号処理部053は、図5に示すフローチャートに従ってMC画像を取得する。ステップS702において、信号処理部053は、MC画像の輝度をx方向(y方向でも良い)に積算し、グラフ化する。信号処理部053は、グラフ化した後、ピークが最大になるように、MC画像または積算方向を傾ける。ピークが最大になる傾きθを取得する。
ステップS703において、信号処理部053は、MC画像をθ傾け、x方向に積算する。ステップS704において、信号処理部053は、MC画像をθ傾け、x方向に積算する。ステップS705において、信号処理部053は積算データをグラフ化する。ステップS706において、グラフ化したデータから、ピーク情報(輝度値、半値幅、分散値、位置など)を取得する。
ステップS706において、信号処理部053はピーク情報をメモリ052に保存する。そして、信号処理部053は例えばピーク位置を中心としてz方向の正負それぞれに分散値を幅として持たせた層を血管層として特定する。なお、分散値に所定の係数をかけたものを血管層の幅としてもよい。また、分散値ではなく標準偏差を用いることとしてもよい。なお、図6(c)のグラフから各ピーク位置に隣接する極小値までピーク位置からの距離を血管層の幅としてもよい。また、血管層の中心はピークの位置ではなく、破線611のx方向の中心または端部等の所定の位置を各ピーク位置に合わせたものであってもよい。
また、制御部054は、信号処理部053が取得した血管層の中心位置および血管層の幅を示す線の少なくとも一方を輝度断層画像または画像610に重畳してモニタ055に表示させることとしてもよい。さらに、制御部054は、信号処理部053が取得した血管層内の輝度変化部分と血管層外の輝度変化部分とは色など異なる表示形態で表示させることとしてもよい。
このような血管層に関する情報(血管層の中心および幅)の重畳表示は全ての層に関して実施してもよいし、一部の層のみで実施することとしてもよい。例えば、ユーザにより指定された深さ位置のみ血管層に関する情報を表示することとしてもよい。
本実施例では、MC画像の輝度分布が傾いていた為、ステップS702を実施したが、傾いていない際は、ステップS702が無くても良い。また、MC画像を傾けるのではなく、積算方向を傾けることとしてもよい。
信号処理部034は、上記のようにして得られた血管層を用いて輝度のEnFace画像を生成することとしてもよい。
血管層に基づくEnface画像を図9に示す。ピーク612に該当する血管層の平面画像は図9(a)の様になる。ピーク613に該当する血管層の平面画像は図9(b)の様になる。ピーク614に該当する血管層の平面画像は図9(c)の様になる。ピーク615に該当する血管層の平面画像は図9(d)の様になる。ピーク616に該当する血管層の平面画像は図9(e)の様になる。ピーク617に該当する血管層の平面画像は図9(f)の様になる。
本実施例の様に、血管層によるEnface画像を表示している為、従来の、網膜層による分離に比べて、血管のみの情報が抽出できる為、血管の診断に非常に有効である。特に、眼底黄斑部の無血管領域(FAZ)はピーク615に対応する図9(c)に示すEnFaca画像で明確に確認でき、FAZ901を容易に計測できる。
信号処理部053は、図9(c)に示すEnFaca画像からFAZ901の大きさを計測することができる。なお、FAZを取得する際は、第三層の血管(図9(c))から計測する、等、信号処理部053は診断目的により適切な血管層を適宜抽出することとしてもよい。
以上の様に、本実施例によれば、無血管領域の抽出など、各血管層の情報を正確に取得することができる。眼底FAZを取得する際は、第三層の血管(図9(c))から計測する、等、適宜、診断により、適切な血管層を抽出する。
図7(b)の様に、血管層でEnface画像を提供する際、血管層の名称を表示(本実施例では、上位より1〜6と数字でナンバリングし、本表示層は“第5層”と記している)することで、医師に分かり易く情報を提供できる。
図7(b)の例では、MC画像751およびMCのEnFace画像752および表示する画像を選択するためのUI750が制御部054の制御によりモニタ055に表示されている。
同様に、図7(c)の様に、第6層の血管層を表示する際、MC画像から取得したグラフを並列に表示することで、どのピークに該当した層なのかを分かり易く表示している。図7(c)の例ではMC画像のX方向のモーションコントラスト値の積算値を示すプロファイル780とMCのEnFace画像781が、制御部054の制御によりモニタ055に表示されている。
上記の実施例によれば、血管部分を考慮して層分離が行われるため、血管の評価に適した血管分離が実行される。また、本実施例により生成されたEnFace画像は、所望の血管の特徴を示すものであり、血管の評価に適したEnFace画像となる。
以上、本実施例では、x方向のプロファイルで血管層分離を実施したが、y方向のプロフィルで血管層分離を実施しても同様の効果が得られる。更に、積算するx方向のデータ量は少ない方がz方向のばらつきが少なく、血管層分離が可能となる。その為、x方向について、分割領域を所望の値に設定し、各血管層を抽出しても良い。
[実施例3]
実施例1,2に示した技術により血管を血管の層で分離することができる。本実施例では血管層の分離結果を用いて、各独立した血管層による検査結果を提供することが出来る。
例えば、同一被検眼に対して、経時変化を観察する際に、信号処理部053は、血管のピーク強度、ピークの半値幅、積分値、分散値などから変化率を算出することが出来る。そして、制御部054は、算出された各データをモニタ055に表示させることで、医師等はどの血管層において、新生血管や、血管の損失、欠損、が発生しているかを早期に検出できる。
血管層の分布(ピーク半値幅)の情報は本実施例の様に、血管層を分離して、解析することのみで得ることが出来る情報である。具体的な疾患画像例として、図8を用い説明する。
図8(a)の画像801はMC信号のみを表示した画像である。図8(a)の黒点802はOCT画像で時間的変化を有したエリア(点)である。黒点803も同様である。黒点802は網膜表層部の血管で、黒点803は脈絡膜のエリアの血管である。
図8(a)の画像において、信号処理部053は、a、b、c、d、e、fの矢印位置の血管をx方向で輝度加算(黄斑部は曲線)すると、図8(b)のデータが取得できる。このa、b、c、dの矢印の位置は、輝度断層画像のAスキャン方向のプロファイルのピーク位置から特定することが可能である。なお、a、b、c、dの矢印の位置を特定するためのAスキャンは複数のAスキャンの積算値を用いることとしてもよい。
本来、血管層dとeの間には血管はない。しかし、本実施例の黒点804の様に、血管が存在しない領域に血管の信号が得られた際には、信号処理部053は、新生血管と判定することが出来る。信号処理部053は、図6(c)の様なグラフの場合は、半値幅が増える、分散値が増える、ピークが新たに発生する、などの事象に基づいて、新生血管をより精度高く、検出できる。
[実施例4]
本実施例では実施例2等で生成した各血管層のEnFace画像を用いて新たな情報を提供する。
従来では、血管層分離を実施していない為、血管層毎のデータの合成または差分処理が出来なかったが、本実施例を用いると、容易に実施できる。
例えば、信号処理部053は、図9(a)の画像と、図9(e)の画像との比較処理又は合成処理を実施することで、血管層の連携を確認することが可能な画像を生成出来る。その他、図9(a)と図9(e)の差分等、図9(a)〜(f)の画像を用い、新生血管、血管瘤、を検出する為に合成処理または差分処理を実施することで注目血管の描出が実施できる。
本実施例は、経時変化についても、同様の処理を実施することで、精度の高い経時変化に関する情報(病変部の状態の変化等)を提供することが出来る。
[実施例5]
本実施例では、網膜層情報と、血管情報を用い、診断情報を提供する例について説明する。
実施例1と同様に、図10(a)の様に、信号処理部053は、OCT画像1001を取得する。信号処理部053は、OCT画像から黒の破線1002の様に、各網膜層のセグメンテーション1002を実施する。その後、実施例1と同様に、信号処理部053は、図10(b)のように、MC画像1010を取得する。図10(b)に示すMC画像610上にセグメンテーション結果1002を重畳させると、各層境界を示す破線1018〜1023の様になる。
本実施例においても、信号処理部053は、実施例2等と同様に血管層分離を実施し、各血管層1012〜1017が取得できる。なお、各セグメンテーションを直線近似し、傾きの平均値を血管層の傾きθとして算出し、MC画像上の輝度を傾きθの軸方向に積算する。積算データ(図示せず)は図6(c)とほぼ同様の結果となった。
図10(b)の様に、網膜層の分離情報がある為、血管層の位置情報がより明確にユーザに伝達することが出来る。特に、図10(b)の破線1023は視細胞層であり、血管層1016、1017が明確に脈絡膜の血管であることが分かり、脈絡膜の血管が視細胞層を超えるような疾患が特に判定しやすくなる。表示結果例を図10(c)に示す。
図10(c)のボタン1051の様に、ユーザにより、画像の選択が可能で、選択した画像が表示され、imageボタンで、各画像が重畳され、相関が視認できる。図10(c)の様に、MC画像1052や、解析データ1053も表示してもよい。
なお、制御部054は、輝度断層画像から得られた網膜層境界および実施例2等で得られた血管層に関する情報(血管層の中心および幅)をMC画像上に重畳することとしてもよい。また、制御部054は、MC画像ではなく輝度断層画像上に輝度断層画像から得られた網膜層境界および血管層に関する情報(血管層の中心および幅)を重畳させることとしてもよい。
なお、制御部054は、第1〜第6層のいずれの血管層であるのかを示す情報(例えば層の数字)を併せてモニタ055に表示させることとしてもよい。モニタ055に表示される血管層に関する情報は血管層の中心および血管層の幅の一方のみであってもよい。なお、血管層外かつ輝度断層像から得られた層境界内の血管部分を、血管層内かつ輝度断層像から得られた網膜層境界内の血管部分とは色など異なる表示形態でモニタ055に表示させるとしてもよい。
[実施例6]
本実施例は、脈絡膜の血管層の下端を脈絡膜層と強膜の境界と定義し、視細胞層1023から脈絡膜血管層1017の血管端の距離を計測し、脈絡膜の計測を実施した例について、説明する。
具体的には、図10(b)において、信号処理部053は、ピーク1017の最下端(z軸方向:強膜側)の集合を線1024(図10(a)参照)で結ぶことで、脈絡膜血管の最下端をセグメンテーションする。
RPE層を示す破線1023と脈絡膜血管の最下端1024の幅(厚み)を計測し、厚み分布を図10(d)の1050の様に示すことで、脈絡膜層厚を計測し、且つ、眼底における厚み分布を表示することで、健常眼データベースのデータや、前回の検査データ(経時変化)、と比較することで、正常・異常の判定や、経時変化の様子を視認することが出来る。
以上の様に、OCT画像を用い、網膜の血管層を抽出することで、疾患の早期診断、血管の異常を正確に数値で把握することが出来る。
[実施例7]
図3(c)取得した血管情報、血管層(輝度変化層)312〜317を用い、以下の様に解析する。まず、血管層312〜317の各々のピーク312’〜317’を算出し、ピーク間距離情報を取得する。ピーク間情報から、対象とする被検眼が疾患である可能性を示唆(表示)する。例えば、血管層間隔を正常眼データと比較し、異なる際は、黄斑疾患であることを示唆する、等である。
更に、図9に示す様に、血管層(312〜317)において、Enface画像を作成する際に、各々の血管輝度グラフにおいて、FWHM(半値幅)の領域を血管層と定義し、Enface画像を出力すると、血管の形状がより良く描写される。
また、図7(b)の様に、網膜層を基準とした血管層の位置情報を提供することで、網膜疾患を示唆することが出来る。例えば、近視眼においては、眼球形状が変形することが知られている。特に、眼軸が伸びることがあり、その際に、血管の位置は変化せず、網膜だけが菲薄化する為、内境界膜(718)を基準に、血管層312〜317の位置情報を表示することで、網膜の変形(疾患)を早期に発見することが可能となる。
[実施例8]
図3(b)の破線311の様に、血管層抽出の際、直線の傾きを計測していたが、画角が広い図11に示したOCT画像1101の様な画像の場合は、RPE(色素上皮層)1102の様な主要な層を反映し、この層の近似曲線を求めて、求めた近似曲線に沿った画素列の輝度値を積算し血管ピークを抽出しても良い。特に、RPE(色素上皮層)を用いることで良好な結果が得られる。なお、視神経乳頭部の領域は、輝度値の積算は行わないようにするとよい。
[変形例]
上記の各実施例においては、血管層を検出するためにx方向に輝度値を積算していたが、加算平均を行うこととしてもよい。積算値および加算平均値は代表値の一例に相当する。
(その他の実施形態)
以上、実施形態例を詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
なお、上述した実施例および変形例は適宜組み合わせて実施してもよい。
053 信号処理部
054 制御部
055 モニタ

Claims (12)

  1. 被検眼の複数の断層画像からモーションコントラスト画像を生成する生成手段と、
    前記モーションコントラスト画像の深さ方向に交わる方向における画素列の代表値を取得する取得手段と、
    前記代表値に基づいて、前記モーションコントラスト画像のセグメンテーションを行う処理手段とを有することを特徴とする画像処理装置。
  2. 前記代表値は、前記モーションコントラスト画像の少なくとも網膜に対応する領域において、深さ方向に交わる画素列ごとの画素値の積算値または加算平均値を含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記処理手段は、前記代表値をグラフ化した場合の複数のピークを求める手段を含み、
    前記求めた複数のピークに基づいて、セグメンテーションを行うことを特徴とする請求項2に記載の画像処理装置。
  4. 前記モーションコントラスト画像は3次元の画像であり、前記セグメンテーションの結果に基づいて、セグメンテーションされた複数の分割領域から、画像を生成する分割領域を選択する手段と、
    前記選択された分割領域の画素値を深さ方向に積算した画像を生成する手段とを更に有することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記画素列は、前記モーションコントラスト画像において所定の角度を有する近似直線、又は、近似曲線に沿った画素列であることを特徴とする請求項2に記載の画像処理装置。
  6. 前記所定の角度は、特定の領域の画素列に基づいて生成される近似直線が、前記深さ方向となす角度であることを特徴とする請求項5に記載の画像処理装置。
  7. 前記モーションコントラスト画像から血管の位置、輝度、輝度分布の少なくともいずれかの情報を得ることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記モーションコントラスト画像から血管を抽出する手段を更に有し、
    前記処理手段は、抽出した血管を血管層としてセグメンテーションすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記モーションコントラスト画像から血管を抽出する手段を更に有し、
    前記処理手段は、前記抽出した血管の最下端を脈絡膜の血管とし、脈絡膜をセグメンテーションすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  10. 前記血管層の間隔を求める手段と、
    前記求めた間隔を、データベースのデータ、又は、前回の検査データと比較する手段とを更に有することを特徴とする請求項8に記載の画像処理装置。
  11. 前記代表値は、前記深さ方向の長さが所定の条件を満たす画素値を除いた前記画素列の画素値の積算値または加算平均値であることを特徴とする請求項2に記載の画像処理装置。
  12. 被検眼の複数の断層画像からモーションコントラスト画像を生成する生成工程と、
    前記モーションコントラスト画像の深さ方向に交わる方向における画素列の代表値を取得する取得工程と、
    前記代表値に基づいて、前記モーションコントラスト画像のセグメンテーションを行う処理工程とを有することを特徴とする画像処理装置の制御方法。
JP2018213270A 2018-03-05 2018-11-13 画像処理装置およびその制御方法 Pending JP2019150554A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007571 WO2019172043A1 (ja) 2018-03-05 2019-02-27 画像処理装置およびその制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018038849 2018-03-05
JP2018038849 2018-03-05

Publications (1)

Publication Number Publication Date
JP2019150554A true JP2019150554A (ja) 2019-09-12

Family

ID=67947462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018213270A Pending JP2019150554A (ja) 2018-03-05 2018-11-13 画像処理装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP2019150554A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199848A1 (ja) * 2022-04-13 2023-10-19 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199848A1 (ja) * 2022-04-13 2023-10-19 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム

Similar Documents

Publication Publication Date Title
KR102046309B1 (ko) 화상생성장치, 화상생성방법, 및 기억매체
US10660515B2 (en) Image display method of providing diagnosis information using three-dimensional tomographic data
US10022047B2 (en) Ophthalmic apparatus
US9044167B2 (en) Image processing device, imaging system, image processing method, and program for causing computer to perform image processing
US10383516B2 (en) Image generation method, image generation apparatus, and storage medium
JP6584126B2 (ja) 画像生成装置、画像生成方法およびプログラム
US10354385B2 (en) Optical coherence tomography (OCT) data processing method, storage medium storing program for executing the OCT data processing method, and processing device
WO2016110917A1 (en) Image processing apparatus and image processing method for polarization-sensitive optical coherence tomography
WO2019171986A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6682291B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023038280A (ja) 血流計測装置
JP2019150554A (ja) 画像処理装置およびその制御方法
US20230108071A1 (en) Systems and methods for self-tracking real-time high resolution wide-field optical coherence tomography angiography
JP6870723B2 (ja) Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。
JP6976818B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019172043A1 (ja) 画像処理装置およびその制御方法
JP2018191761A (ja) 情報処理装置、情報処理方法及びプログラム
JP6992031B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6992030B2 (ja) 画像生成装置、画像生成方法およびプログラム
JP7327954B2 (ja) 画像処理装置および画像処理方法
JP2023128334A (ja) 情報処理装置、光コヒーレンストモグラフィ装置、情報処理方法、及びプログラム
JP2020037010A (ja) 眼科装置、表示制御方法およびプログラム
JP2020103440A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2017144047A (ja) 撮影装置及びその駆動方法、並びに、プログラム