JP2010179043A - 光構造観察装置及びその構造情報処理方法 - Google Patents

光構造観察装置及びその構造情報処理方法 Download PDF

Info

Publication number
JP2010179043A
JP2010179043A JP2009027434A JP2009027434A JP2010179043A JP 2010179043 A JP2010179043 A JP 2010179043A JP 2009027434 A JP2009027434 A JP 2009027434A JP 2009027434 A JP2009027434 A JP 2009027434A JP 2010179043 A JP2010179043 A JP 2010179043A
Authority
JP
Japan
Prior art keywords
edge
edge element
image
line
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009027434A
Other languages
English (en)
Inventor
Naoto Kaneshiro
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009027434A priority Critical patent/JP2010179043A/ja
Publication of JP2010179043A publication Critical patent/JP2010179043A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

【課題】ノイズ等の影響を効果的に抑制して光立体構造情報より所望の境界層のエッジ要素を検出し、該エッジ要素に基づき境界層のエッジラインを適切に補間し抽出する。
【解決手段】処理部22は、光構造情報検出部220、深さ断面画像抽出部223、境界層エッジ要素抽出部224、欠落領域判定部225、補間ライン生成部226、補間候補ライン生成部227、探索領域設定部228、探索領域エッジ要素抽出部229、エッジ要素確度判定部230、確度格納部231、エッジライン画像生成部232、基準深さ断面画像抽出部234、補間ライン補正部235、表示制御部236及びI/F部237を備えて構成される。
【選択図】図5

Description

本発明は光構造観察装置及びその構造情報処理方法に係り、特に層構造を有する計測対象の特定層のエッジラインの抽出に特徴のある光構造観察装置及びその構造情報処理方法に関する。
従来、生体組織の光断層画像を取得する際に、OCT(Optical Coherence Tomography)計測を利用した光断層画像取得装置が用いられることがある。この光断層画像取得装置は、光源から射出された低コヒーレント光を測定光と参照光とに分割した後、該測定光が測定対象に照射されたときの測定対象からの反射光、もしくは後方散乱光と参照光とを合波し、該反射光と参照光との干渉光の強度に基づいて光断層画像を取得するものである。
上記のOCT計測には、大きくわけてTD−OCT(Time domain OCT)計測とFD−OCT(Fourier Domain OCT)計測の2種類がある。
TD−OCT計測は、参照光の光路長を変更しながら干渉光強度を測定することにより、測定対象の深さ方向の位置(以下、深さ位置という)に対応した反射光強度分布を取得する方法である。
一方、FD−OCT計測は、参照光と信号光の光路長は変えることなく、光のスペクトル成分毎に干渉光強度を測定し、ここで得られたスペクトル干渉強度信号を計算機にてフーリエ変換に代表される周波数解析を行うことで、深さ位置に対応した反射光強度分布を取得する方法である。TD−OCTに存在する機械的な走査が不要となることで、高速な測定が可能となる手法として、近年注目されている。
FD−OCT計測を行う装置構成で代表的な物としては、SD−OCT(Spectral Domain OCT)装置とSS−OCT(Swept Source OCT)の2種類が挙げられる。
ところで、OCT計測は上述したように特定の領域の光断層像を取得する方法であるが、内視鏡下では、例えば癌病変部を通常照明光内視鏡や特殊光内視鏡の観察により発見し、その領域をOCT測定することで、癌病変部がどこまで浸潤しているかを見わけることが可能となる。また、測定光の光軸を2次元的に走査することで、OCT計測による深さ情報と合わせて3次元的な情報を取得することができる。
OCT計測と3次元コンピュータグラフィック技術の融合により、マイクロメートルオーダの分解能を持つ3次元構造モデルを表示することが可能となる事から、以下ではこのOCT計測による3次元構造モデルを光立体構造像(あるいは光立体構造情報)と呼ぶ。
OCT計測は超音波計測に比べ、分解能が10μm程度と一桁高く、生体内部の詳細な断層像が得られるという利点がある。また、断層像に垂直な方向に位置をずらしながら複数画像を取得して3次元断層像を得ることができる。
例えば層構造を有する計測対象に対しては、OCT計測では構造情報に対して微分フィルタを適用し所望の境界層を検出することが行われる。この場合、ノイズ等の影響による境界層の欠落部分が生じることがあり、この欠落部分については、例えばユーザ入力により推定エッジの点を設定し、補間曲線で境界層を補間する技術が開示されている(特許文献1)。
特開2008−206684号公報
しかしながら、上記特許文献1の技術等では、境界層の欠落部分を単にユーザ入力により推定エッジの点を設定して曲線補間しているため、欠落部分におけるノイズ等の影響を排除しないままの補間となり、欠落部分の境界層を最適な補間ができないといった問題がある。
本発明は、このような事情に鑑みてなされたもので、ノイズ等の影響を効果的に抑制して光立体構造情報より所望の境界層のエッジ要素を検出し、該エッジ要素に基づき境界層のエッジラインを適切に補間し抽出することのできる光構造観察装置及びその構造情報処理方法を提供することを目的とする。
前記目的を達成するために、請求項1に記載の光構造観察装置は、低干渉光を用いて層構造を有する計測対象の深さ方向である第1の方向と該第1の方向に直交する第2の方向から成るスキャン面を走査して得られる前記計測対象の光構造情報を、前記スキャン面に略直交する方向である第3の方向に沿って位置をずらしながら複数取得して、取得した複数の前記光構造情報に基づいて光立体構造画像を構築する光構造観察装置において、前記光立体構造画像の前記第1の方向を有する深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出する特定境界層エッジ要素抽出手段と、前記特定境界層エッジ要素抽出手段にて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定するエッジ要素欠落判定手段と、前記エッジ要素欠落判定手段にて前記欠落領域があると判定した場合、所定のライン補間処理により前記欠落領域を補間する補間ラインを生成する補間ライン生成手段と、前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、前記所定のライン補間処理により補間候補ラインを生成する補間候補ライン生成手段と、前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定する探索領域設定手段と、前記探索領域内において前記エッジ要素を抽出する探索領域エッジ要素抽出手段と、前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段により抽出された前記エッジ要素に基づき、前記欠落領域のエッジライン画像を生成するエッジライン画像生成手段と、前記エッジライン画像を前記深さ断面画像上に重畳する画像重畳手段と、を備えて構成される。
請求項1に記載の光構造観察装置では、前記特定境界層エッジ要素抽出手段にて前記光立体構造画像の前記第1の方向を有する深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出し、前記エッジ要素欠落判定手段にて前記特定境界層エッジ要素抽出手段おいて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定し、前記補間ライン生成手段にて前記エッジ要素欠落判定手段において前記欠落領域があると判定した場合所定のライン補間処理により前記欠落領域を補間する補間ラインを生成し、前記補間候補ライン生成手段にて前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、前記所定のライン補間処理により補間候補ラインを生成し、前記探索領域設定手段にて前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定し、前記探索領域エッジ要素抽出手段にて前記探索領域内において前記エッジ要素を抽出し、前記エッジライン画像生成手段にて前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段により抽出された前記エッジ要素に基づき、前記欠落領域のエッジライン画像を生成し、前記画像重畳手段にて前記エッジライン画像を前記深さ断面画像上に重畳することで、ノイズ等の影響を効果的に抑制して光立体構造情報より所望の境界層のエッジ要素を検出し、該エッジ要素に基づき境界層のエッジラインを適切に補間し抽出することを可能とする。
請求項2に記載の光構造観察装置のように、請求項1に記載の光構造観察装置であって、前記エッジ要素欠落判定手段にて前記所定領域以上連続して欠落した前記欠落領域がないと判定した場合、前記エッジライン画像生成手段は所定のライン補間処理により補間して前記エッジライン画像を生成することが好ましい。
請求項3に記載の光構造観察装置のように、請求項1または2に記載の光構造観察装置であって、前記特定境界層エッジ要素抽出手段は、所定の第1の閾値に基づき前記エッジ要素を抽出し、前記探索領域エッジ要素抽出手段は、前記所定の第1の閾値より小さな値の所定の第2の閾値に基づき前記エッジ要素を抽出することが好ましい。
請求項4に記載の光構造観察装置のように、請求項1ないし3のいずれか1つに記載の光構造観察装置であって、前記エッジ画素欠落判定手段は、さらに前記探索領域エッジ要素抽出手段にて抽出した前記エッジ要素が所定領域以上連続して欠落した前記探索領域内の欠落領域の有無を判定することが好ましい。
請求項5に記載の光構造観察装置のように、請求項4に記載の光構造観察装置であって、前記探索領域エッジ要素抽出手段は、前記探索領域内の欠落領域内において、前記所定の第2の閾値より小さな値の所定の第3の閾値に基づき前記エッジ要素を抽出することが好ましい。
請求項6に記載の光構造観察装置のように、請求項1ないし5のいずれか1つに記載の光構造観察装置であって、前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段にて抽出した前記エッジ要素の確度を所定パラメータにより判定する確度判定手段をさらに備えることが好ましい。
請求項7に記載の光構造観察装置のように、請求項1ないし5のいずれか1つに記載の光構造観察装置であって、前記補間候補ライン生成手段は、異なる複数の前記補間候補ラインを生成することが好ましい。
請求項8に記載の光構造観察装置のように、請求項7に記載の光構造観察装置であって、前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段にて抽出した前記エッジ要素の確度を所定パラメータにより判定する確度判定手段をさらに備えることが好ましい。
請求項9に記載の光構造観察装置のように、請求項8に記載の光構造観察装置であって、前記エッジライン画像生成手段は、前記確度判定手段にて判定された前記エッジ要素の前記確度に基づく異なる画素属性の複数の前記エッジライン画像を生成し、前記画像重畳手段は、前記複数のエッジライン画像を選択的に前記深さ断面画像上に重畳することが好ましい。
請求項10に記載の光構造観察装置のように、請求項6、8、9のいずれか1つに記載の光構造観察装置であって、前記確度判定手段にて判定した確度が最大である前記エッジ要素からなる前記エッジライン画像を有する前記深さ断面画像を基準深さ断面画像として抽出する基準深さ断面画像抽出手段をさらに備え、前記補間ライン生成手段は、前記基準深さ断面画像に隣接する隣接深さ断面画像において前記欠落領域があると判定された場合、前記基準深さ断面画像の前記エッジライン画像を前記補間ラインとして生成することが好ましい。
請求項11に記載の光構造観察装置のように、請求項6、8、9、10のいずれか1つに記載の光構造観察装置であって、前記確度は、前記エッジ要素の連続性に基づく、長さ情報、曲率情報、フラクタル次元情報、空間周波数分布情報の少なくともいずれか1つに基づく情報パラメータにより判定されることが好ましい。
請求項12に記載の光構造観察装置のように、請求項11に記載の光構造観察装置であって、前記長さ情報の情報パラメータは、前記エッジ要素における、部分的連続長さの単純合計値、部分的連続長さに関連付けた重み付け合計値、あるいは部分的連続長さの最大値の少なくともいずれか1つにおける前記欠落領域に対する比率情報であることが好ましい。
請求項13に記載の光構造観察装置のように、請求項6、8、9、10、11,12のいずれか1つに記載の光構造観察装置であって、前記画像重畳手段は、前記深さ断面画像上に、前記探索領域エッジ要素抽出手段にて前記探索領域内において連続した所定以上の確度の前記エッジ要素が抽出できた場合には前記所定以上の確度の情報を告知する確度情報画像を、前記所定以上の確度の前記エッジ要素が抽出できない場合はエラーを告知するエラー画像を、それぞれ重畳することが好ましい。
請求項14に記載の光構造観察装置の構造情報処理方法は、低干渉光を用いて層構造を有する計測対象の深さ方向である第1の方向と該第1の方向に直交する第2の方向から成るスキャン面を走査して得られる前記計測対象の光構造情報を、前記スキャン面に略直交する方向である第3の方向に沿って位置をずらしながら複数取得して、取得した複数の前記光構造情報に基づいて光立体構造画像を構築する光構造観察装置の構造情報処理方法において、前記光立体構造画像の前記第1の方向を有する深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出する特定境界層エッジ要素抽出ステップと、前記特定境界層エッジ要素抽出ステップにて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定するエッジ要素欠落判定ステップと、前記エッジ要素欠落判定ステップにて前記欠落領域があると判定した場合、所定のライン補間処理により前記欠落領域を補間する補間ラインを生成する補間ライン生成ステップと、前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、前記所定のライン補間処理により補間候補ラインを生成する補間候補ライン生成ステップと、前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定する探索領域設定ステップと、前記探索領域内において前記エッジ要素を抽出する探索領域エッジ要素抽出ステップと、前記特定境界層エッジ要素抽出ステップ及び前記探索領域エッジ要素抽出ステップにより抽出された前記エッジ要素に基づき、前記欠落領域のエッジライン画像を生成するエッジライン画像生成ステップと、前記エッジライン画像を前記深さ断面画像上に重畳する画像重畳ステップと、を備えて構成される。
請求項14に記載の光構造観察装置の構造情報処理方法では、前記特定境界層エッジ要素抽出ステップにて前記光立体構造画像の前記第1の方向を有する深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出し、前記エッジ要素欠落判定ステップにて前記特定境界層エッジ要素抽出ステップにおいて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定し、前記補間ライン生成ステップにて前記エッジ要素欠落判定ステップにおいて前記欠落領域があると判定した場合所定のライン補間処理により前記欠落領域を補間する補間ラインを生成し、前記補間候補ライン生成ステップにて前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、前記所定のライン補間処理により補間候補ラインを生成し、前記探索領域設定ステップにて前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定し、前記探索領域エッジ要素抽出ステップにて前記探索領域内において前記エッジ要素を抽出し、前記エッジライン画像生成ステップにて前記特定境界層エッジ要素抽出ステップ及び前記探索領域エッジ要素抽出ステップにより抽出された前記エッジ要素に基づき、前記欠落領域のエッジライン画像を生成し、前記画像重畳ステップにて前記エッジライン画像を前記深さ断面画像上に重畳することで、ノイズ等の影響を効果的に抑制して光立体構造情報より所望の境界層のエッジ要素を検出し、該エッジ要素に基づき境界層のエッジラインを適切に補間し抽出することを可能とする。
以上説明したように、本発明によれば、ノイズ等の影響を効果的に抑制して光立体構造情報より所望の境界層のエッジ要素を検出し、該エッジ要素に基づき境界層のエッジラインを適切に補間し抽出することができるという効果がある。
第1の実施形態に係る画像診断装置を示す外観図 図1のOCTプロセッサの内部構成を示すブロック図 図2のOCTプローブの断面図 図1の内視鏡の鉗子口から導出されたOCTプローブを用いて光構造情報を得る様子を示す図 図2の処理部の構成を示すブロック図 図1のOCTプロセッサの処理部の作用の流れを示すフローチャート 図6のステップS4の処理を説明するための図 図6のステップS5の処理にて欠落領域が存在する特定境界層の一例を示す図 図6のステップS6の処理により補間ライン生成部226にて欠落領域Lに生成された補間ラインを示す図 図6のステップS7の処理により探索領域設定部にて補間ラインを中心として生成される探索領域を示す図 図6のステップS7の処理により探索領域設定部にて補間候補ライン生成部おいて生成された補間候補ラインを中心として生成される探索領域を示す第1の図 図6のステップS7の処理により探索領域設定部にて補間候補ライン生成部おいて生成された補間候補ラインを中心として生成される探索領域を示す第2の図 図6のステップS8において用いる方向別微分フィルタを示す図 図13の方向別微分フィルタにより抽出されるエッジ要素を示す図 図6のステップS8におけるエッジ要素のエッジトレースを説明する図 図5のエッジ要素確度判定部にて用いるエッジ要素の確度を判定するパラメータの一例を示す図 図5のエッジ要素確度判定部によるさらなる欠落領域のエッジ抽出を説明する図 図5のエッジライン画像生成部により欠落領域に生成されるエッジライン画像の一例を示す図 図5の基準深さ断面画像抽出部が基準深さ断面画像を抽出するための複数の深さ断面画像を示す図 図19にて抽出された基準深さ断面画像を示す図 図20の基準深さ断面画像に隣接する欠落領域を有する深さ断面画像を示す図 図2のモニタ装置に表示される合成画像を示す第1の図 図2のモニタ装置に表示される合成画像を示す第2の図
以下、添付図面を参照して、本発明に係る実施形態について詳細に説明する。
<画像診断装置の外観>
図1は本発明の実施形態に係る画像診断装置を示す外観図である。
図1に示すように、本実施形態において、画像診断装置10は、主として内視鏡100、内視鏡プロセッサ200、光源装置300、光構造観察装置としてのOCTプロセッサ400、及びモニタ装置500とから構成されている。尚、内視鏡プロセッサ200は、光源装置300を内蔵するように構成されていてもよく、内視鏡100と共に内視鏡装置を構成している。
内視鏡100は、手元操作部112と、この手元操作部112に連設される挿入部114とを備える。術者は手元操作部112を把持して操作し、挿入部114を被検者の体内に挿入することによって観察を行う。
手元操作部112には、鉗子挿入部138が設けられており、この鉗子挿入部138が先端部144の鉗子口156に連通されている。本発明に係る画像診断装置10では、OCTプローブ600を鉗子挿入部138から挿入することによって、OCTプローブ600を鉗子口156から導出する。OCTプローブ600は、鉗子挿入部138から挿入され、鉗子口156から導出される挿入部602と、術者がOCTプローブ600を操作するための操作部604、及びコネクタ410を介してOCTプロセッサ400と接続されるケーブル606から構成されている。
<内視鏡、内視鏡プロセッサ、光源装置の構成>
[内視鏡]
内視鏡100の先端部144には、観察光学系150、照明光学系152、及びCCD(不図示)が配設されている。
観察光学系150は、被検体を図示しないCCDの受光面に結像させ、CCDは受光面上に結像された被検体像を各受光素子によって電気信号に変換する。この実施の形態のCCDは、3原色の赤(R)、緑(G)、青(B)のカラーフィルタが所定の配列(ベイヤー配列、ハニカム配列)で各画素ごとに配設されたカラーCCDである。
[光源装置]
光源装置300は、可視光を図示しないライトガイドに入射させる。ライトガイドの一端はLGコネクタ120を介して光源装置300に接続され、ライトガイドの他端は照明光学系152に対面している。光源装置300から発せられた光は、ライトガイドを経由して照明光学系152から出射され、観察光学系150の視野範囲を照明する。
[内視鏡プロセッサ]
内視鏡プロセッサ200には、CCDから出力される画像信号が電気コネクタ110を介して入力される。このアナログの画像信号は、内視鏡プロセッサ200内においてデジタルの画像信号に変換され、モニタ装置500の画面に表示するための必要な処理が施される。
このように、内視鏡100で得られた観察画像のデータが内視鏡プロセッサ200に出力され、内視鏡プロセッサ200に接続されたモニタ装置500に画像が表示される。
<OCTプロセッサ、OCTプローブの内部構成>
図2は図1のOCTプロセッサの内部構成を示すブロック図である。
[OCTプロセッサ]
図2に示すOCTプロセッサ400及びOCTプローブ600は、光干渉断層(OCT:Optical Coherence Tomography)計測法による測定対象Sの光断層画像を取得するためのもので、測定のための光Laを射出する第1の光源(第1の光源ユニット)12と、第1の光源12から射出された光Laを測定光(第1の光束)L1と参照光L2に分岐するとともに、被検体である測定対象Sからの戻り光L3と参照光L2を合波して干渉光L4を生成する光ファイバカプラ(分岐合波部)14と、光ファイバカプラ14で分岐された測定光L1を測定対象まで導波するとともに測定対象Sからの戻り光L3を導波する回転側光ファイバFB1を備えるOCTプローブ600と、測定光L1を回転側光ファイバFB1まで導波するとともに回転側光ファイバFB1によって導波された戻り光L3を導波する固定側光ファイバFB2と、回転側光ファイバFB1を固定側光ファイバFB2に対して回転可能に接続し、測定光L1および戻り光L3を伝送する光コネクタ18と、光ファイバカプラ14で生成された干渉光L4を干渉信号として検出する干渉光検出部20と、この干渉光検出部20によって検出された干渉信号を処理して光構造情報を取得し、処理部22を有する。また、処理部22で取得された光構造情報に基づいて生成された画像はモニタ装置500に表示される。
なお、本実施形態では、例えば大腸の粘膜組織を測定対象Sとしており、内視鏡100及び内視鏡プロセッサ200等の内視鏡装置は、大腸の粘膜表面のピットパターンの内視鏡画像を得、また、OCTプロセッサ400及びOCTプローブ600は、大腸の粘膜内の所定の深さのピットパターン画像を得る。
また、OCTプロセッサ400は、測定の目印を示すためのエイミング光(第2の光束)Leを射出する第2の光源(第2の光源ユニット)13と、参照光L2の光路長を調整する光路長調整部26と、第1の光源12から射出された光Laを分光する光ファイバカプラ28と、光ファイバカプラ14で合波された戻り光L4およびL5を検出する検出器30aおよび30bと、処理部22への各種条件の入力、設定の変更等を行う操作制御部32とを有する。
なお、図2に示すOCTプロセッサ400においては、上述した射出光La、エイミング光Le、測定光L1、参照光L2および戻り光L3などを含む種々の光を各光デバイスなどの構成要素間で導波し、伝送するための光の経路として、回転側光ファイバFB1および固定側光ファイバFB2を含め種々の光ファイバFB(FB3、FB4、FB5、FB6、FB7、FB8など)が用いられている。
第1の光源12は、OCTの測定のための光(例えば、波長1.3μmのレーザ光あるいは低コヒーレンス光)を射出するものであり、この第1の光源12は周波数を一定の周期で掃引させながら赤外領域である、例えば波長1.3μmを中心とするレーザ光Laを射出する光源である。この第1の光源12は、レーザ光あるいは低コヒーレンス光Laを射出する光源12aと、光源12aから射出された光Laを集光するレンズ12bとを備えている。また、詳しくは後述するが、第1の光源12から射出された光Laは、光ファイバFB4、FB3を介して光ファイバカプラ14で測定光L1と参照光L2に分割され、測定光L1は光コネクタ18に入力される。
また、第2の光源13は、エイミング光Leとして測定部位を確認しやすくするために可視光を射出するものである。例えば、波長0.66μmの赤半導体レーザ光、波長0.63μmのHe−Neレーザ光、波長0.405μmの青半導体レーザ光などを用いることができる。そこで、第2の光源13としては、例えば赤色あるいは青色あるいは緑色のレーザ光を射出する半導体レーザ13aと、半導体レーザ13aから射出されたエイミング光Leを集光するレンズ13bを備えている。第2の光源13から射出されたエイミング光Leは、光ファイバFB8を介して光コネクタ18に入力される。
光コネクタ18では、測定光L1とエイミング光Leとが合波され、OCTプローブ600内の回転側光ファイバFB1に導波される。
光ファイバカプラ(分岐合波部)14は、例えば2×2の光ファイバカプラで構成されており、固定側光ファイバFB2、光ファイバFB3、光ファイバFB5、光ファイバFB7とそれぞれ光学的に接続されている。
光ファイバカプラ14は、第1の光源12から光ファイバFB4およびFB3を介して入射した光Laを測定光(第1の光束)L1と参照光L2とに分割し、測定光L1を固定側光ファイバFB2に入射させ、参照光L2を光ファイバFB5に入射させる。
さらに、光ファイバカプラ14は、光ファイバFB5に入射され後述する光路長調整部26によって周波数シフトおよび光路長の変更が施されて光ファイバFB5を戻った光L2と、後述するOCTプローブ600で取得され固定側光ファイバFB2から導波された光L3とを合波し、光ファイバFB3(FB6)および光ファイバFB7に射出する。
OCTプローブ600は、光コネクタ18を介して、固定側光ファイバFB2と接続されており、固定側光ファイバFB2から、光コネクタ18を介して、エイミング光Leと合波された測定光L1が回転側光ファイバFB1に入射される。入射されたこのエイミング光Leと合波された測定光L1を回転側光ファイバFB1によって伝送して測定対象Sに照射する。そして測定対象Sからの戻り光L3を取得し、取得した戻り光L3を回転側光ファイバFB1によって伝送して、光コネクタ18を介して、固定側光ファイバFB2に射出するようになっている。
光コネクタ18は、測定光(第1の光束)L1とエイミング光(第2の光束)Leとを合波するものである。
干渉光検出部20は、光ファイバFB6および光ファイバFB7と接続されており、光ファイバカプラ14で参照光L2と戻り光L3とを合波して生成された干渉光L4およびL5を干渉信号として検出するものである。
ここで、OCTプロセッサ400は、光ファイバカプラ28から分岐させた光ファイバFB6上に設けられ、干渉光L4の光強度を検出する検出器30aと、光ファイバFB7の光路上に干渉光L5の光強度を検出する検出器30bとを有している。
干渉光検出部20は、検出器30aおよび検出器30bの検出結果に基づいて、光ファイバFB6から検出する干渉光L4と光ファイバFB7から検出する干渉光L5をフーリエ変換することにより、測定対象Sの各深さ位置における反射光(あるいは後方散乱光)の強度を検出する。
処理部22は、干渉光検出部20で抽出した干渉信号から、測定位置におけるOCTプローブ600と測定対象Sとの接触している領域、より正確にはOCTプローブ600のプローブ外筒(後述)の表面と測定対象Sの表面とが接触しているとみなせる領域を検出し、さらに、干渉光検出部20で検出した干渉信号から光構造情報を取得し、取得した光構造情報に基づいて光立体構造像を生成すると共に、この光立体構造像に対して各種処理を施した画像をモニタ装置500へ出力する。処理部22の詳細な構成は後述する。
光路長調整部26は、光ファイバFB5の参照光L2の射出側(すなわち、光ファイバFB5の光ファイバカプラ14とは反対側の端部)に配置されている。
光路長調整部26は、光ファイバFB5から射出された光を平行光にする第1光学レンズ80と、第1光学レンズ80で平行光にされた光を集光する第2光学レンズ82と、第2光学レンズ82で集光された光を反射する反射ミラー84と、第2光学レンズ82および反射ミラー84を支持する基台86と、基台86を光軸方向に平行な方向に移動させるミラー移動機構88とを有し、第1光学レンズ80と第2光学レンズ82との距離を変化させることで参照光L2の光路長を調整する。
第1光学レンズ80は、光ファイバFB5のコアから射出された参照光L2を平行光にするとともに、反射ミラー84で反射された参照光L2を光ファイバFB5のコアに集光する。
また、第2光学レンズ82は、第1光学レンズ80により平行光にされた参照光L2を反射ミラー84上に集光するとともに、反射ミラー84により反射された参照光L2を平行光にする。このように、第1光学レンズ80と第2光学レンズ82とにより共焦点光学系が形成されている。
さらに、反射ミラー84は、第2光学レンズ82で集光される光の焦点に配置されており、第2光学レンズ82で集光された参照光L2を反射する。
これにより、光ファイバFB5から射出した参照光L2は、第1光学レンズ80により平行光になり、第2光学レンズ82により反射ミラー84上に集光される。その後、反射ミラー84により反射された参照光L2は、第2光学レンズ82により平行光になり、第1光学レンズ80により光ファイバFB5のコアに集光される。
また、基台86は、第2光学レンズ82と反射ミラー84とを固定し、ミラー移動機構88は、基台86を第1光学レンズ80の光軸方向(図2矢印A方向)に移動させる。
ミラー移動機構88で、基台86を矢印A方向に移動させることで、第1光学レンズ80と第2光学レンズ82との距離を変更することができ、参照光L2の光路長を調整することができる。
抽出領域設定手段及び2次元領域指定手段としての操作制御部32は、キーボード、マウス等の入力手段と、入力された情報に基づいて各種条件を管理する制御手段とを有し、処理部22に接続されている。操作制御部32は、入力手段から入力されたオペレータの指示に基づいて、処理部22における各種処理条件等の入力、設定、変更等を行う。
なお、操作制御部32は、操作画面をモニタ装置500に表示させてもよいし、別途表示部を設けて操作画面を表示させてもよい。また、操作制御部32で、第1の光源12、第2の光源13、光コネクタ18、干渉光検出部20、光路長ならびに検出器30aおよび30bの動作制御や各種条件の設定を行うようにしてもよい。
[OCTプローブ]
図3は図2のOCTプローブの断面図である。
図3に示すように、挿入部602の先端部は、プローブ外筒620と、キャップ622と、回転側光ファイバFB1と、バネ624と、固定部材626と、光学レンズ628とを有している。
プローブ外筒(シース)620は、可撓性を有する筒状の部材であり、光コネクタ18においてエイミング光Leが合波された測定光L1および戻り光L3が透過する材料からなっている。なお、プローブ外筒620は、測定光L1(エイミング光Le)および戻り光L3が通過する先端(光コネクタ18と反対側の回転側光ファイバFB1の先端、以下プローブ外筒620の先端と言う)側の一部が全周に渡って光を透過する材料(透明な材料)で形成されていればよく、先端以外の部分については光を透過しない材料で形成されていてもよい。
キャップ622は、プローブ外筒620の先端に設けられ、プローブ外筒620の先端を閉塞している。
回転側光ファイバFB1は、線状部材であり、プローブ外筒620内にプローブ外筒620に沿って収容されており、固定側光ファイバFB2から射出され、光コネクタ18で光ファイバFB8から射出されたエイミング光Leと合波された測定光L1を光学レンズ628まで導波するとともに、測定光L1(エイミング光Le)を測定対象Sに照射して光学レンズ628で取得した測定対象Sからの戻り光L3を光コネクタ18まで導波し、固定側光ファイバFB2に入射する。
ここで、回転側光ファイバFB1と固定側光ファイバFB2とは、光コネクタ18によって接続されており、回転側光ファイバFB1の回転が固定側光ファイバFB2に伝達しない状態で、光学的に接続されている。また、回転側光ファイバFB1は、プローブ外筒620に対して回転自在、及びプローブ外筒620の軸方向に移動自在な状態で配置されている。
バネ624は、回転側光ファイバFB1の外周に固定されている。また、回転側光ファイバFB1およびバネ624は、光コネクタ18に接続されている。
光学レンズ628は、回転側光ファイバFB1の測定側先端(光コネクタ18と反対側の回転側光ファイバFB1の先端)に配置されており、先端部が、回転側光ファイバFB1から射出された測定光L1(エイミング光Le)を測定対象Sに対し集光するために略球状の形状で形成されている。
光学レンズ628は、回転側光ファイバFB1から射出した測定光L1(エイミング光Le)を測定対象Sに対し照射し、測定対象Sからの戻り光L3を集光し回転側光ファイバFB1に入射する。
固定部材626は、回転側光ファイバFB1と光学レンズ628との接続部の外周に配置されており、光学レンズ628を回転側光ファイバFB1の端部に固定する。ここで、固定部材626による回転側光ファイバFB1と光学レンズ628の固定方法は、特に限定されず、接着剤により、固定部材626と回転側光ファイバFB1および光学レンズ628を接着させて固定されても、ボルト等を用い機械的構造で固定してもよい。なお、固定部材626は、ジルコニアフェルールやメタルフェルールなど光ファイバの固定や保持あるいは保護のために用いられるものであれば、如何なるものを用いても良い。
また、回転側光ファイバFB1およびバネ624は、後述する回転筒656に接続されており、回転筒656によって回転側光ファイバFB1およびバネ624を回転させることで、光学レンズ628をプローブ外筒620に対し、矢印R2方向に回転させる。また、光コネクタ18は、回転エンコーダを備え、回転エンコーダからの信号に基づいて光学レンズ628の位置情報(角度情報)から測定光L1の照射位置を検出する。つまり、回転している光学レンズ628の回転方向における基準位置に対する角度を検出して、測定位置を検出する。
さらに、回転側光ファイバFB1、バネ624、固定部材626、及び光学レンズ628は、後述する駆動部により、プローブ外筒620内部を矢印S1方向(鉗子口方向)、及びS2方向(プローブ外筒620の先端方向)に移動可能に構成されている。
また、図3左側は、OCTプローブ600の操作部604における回転側光ファイバFB1等の駆動部の概略を示す図である。
プローブ外筒620は、固定部材670に固定されている。これに対し、回転側光ファイバFB1およびバネ624は、回転筒656に接続されており、回転筒656は、モータ652の回転に応じてギア654を介して回転するように構成されている。回転筒656は、光コネクタ18に接続されており、測定光L1及び戻り光L3は、光コネクタ18を介して回転側光ファイバFB1と固定側光ファイバFB2間を伝送される。
また、これらを内蔵するフレーム650は支持部材662を備えており、支持部材662は、図示しないネジ孔を有している。ネジ孔には進退移動用ボールネジ664が咬合しており、進退移動用ボールネジ664には、モータ660が接続されている。したがって、モータ660を回転駆動することによりフレーム650を進退移動させ、これにより回転側光ファイバFB1、バネ624、固定部材626、及び光学レンズ628を図3のS1及びS2方向に移動させることが可能となっている。
OCTプローブ600は、以上のような構成であり、光コネクタ18により回転側光ファイバFB1およびバネ624が、図3中矢印R2方向に回転されることで、光学レンズ628から射出される測定光L1(エイミング光Le)を測定対象Sに対し、矢印R2方向(プローブ外筒620の円周方向)に対し走査しながら照射し、戻り光L3を取得する。エイミング光Leは、測定対象Sに、例えば青色、赤色あるいは緑色のスポット光として照射され、このエイミング光Leの反射光は、モニタ装置500に表示された観察画像に輝点としても表示される。
これにより、プローブ外筒620の円周方向の全周において、測定対象Sの所望の部位を正確にとらえることができ、測定対象Sを反射した戻り光L3を取得することができる。
さらに、光立体構造像を生成するための複数の光構造情報を取得する場合は、駆動部により光学レンズ628が矢印S1方向の移動可能範囲の終端まで移動され、断層像からなる光構造情報を取得しながら所定量ずつS2方向に移動し、又は光構造情報取得とS2方向への所定量移動を交互に繰り返しながら、移動可能範囲の終端まで移動する。
このように測定対象Sに対して所望の範囲の複数の光構造情報を得て、取得した複数の光構造情報に基づいて光立体構造像を得ることができる。
つまり、干渉信号により測定対象Sの深さ方向(第1の方向)の光構造情報を取得し、測定対象Sに対し図3矢印R2方向(プローブ外筒620の円周方向)に走査することで、第1の方向と、該第1の方向と直交する第2の方向とからなるスキャン面での光構造情報を取得することができ、さらには、このスキャン面に直交する第3の方向に沿ってスキャン面を移動させることで、光立体構造像を生成するための複数の光構造情報が取得できる。
図4は図1の内視鏡の鉗子口から導出されたOCTプローブを用いて光構造情報を得る様子を示す図である。図4に示すように、OCTプローブの挿入部602の先端部を、測定対象Sの所望の部位に近づけて、光構造情報を得る。所望の範囲の複数の光構造情報を取得する場合は、OCTプローブ600本体を移動させる必要はなく、前述の駆動部によりプローブ外筒620内で光学レンズ628を移動させればよい。
[処理部]
図5は図2の処理部の構成を示すブロック図である。図5に示すように、処理部22は、光構造情報検出部220、深さ断面画像抽出手段としての深さ断面画像抽出部223、特定境界層エッジ要素抽出手段としての境界層エッジ要素抽出部224、エッジ要素欠落判定手段としての欠落領域判定部225、補間ライン生成手段としての補間ライン生成部226、補間候補ライン生成手段としての補間候補ライン生成部227、探索領域設定手段としての探索領域設定部228、探索領域エッジ要素抽出手段としての探索領域エッジ要素抽出部229、確度判定手段としてのエッジ要素確度判定部230、確度格納部231、エッジライン画像生成手段としてのエッジライン画像生成部232、基準深さ断面画像抽出手段としての基準深さ断面画像抽出部234、エッジライン補正部235、画像重畳手段としての表示制御部236及びI/F部237を備えて構成される。
光構造情報検出部220は、干渉光検出部20で検出した干渉信号から光構造情報を検出し光立体構造像を生成するものである。
深さ断面画像抽出部223は、前記光立体構造画像の深さ断面画像を抽出するものである。
境界層エッジ要素抽出部224は、前記深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出するものである。
欠落領域判定部225は、前記境界層エッジ要素抽出部224にて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定するものである。なお、欠落領域判定部225は、欠落領域がない、あるいは前記エッジ要素が所定領域未満の欠落領域と判断すると、前記境界層エッジ要素抽出部224にて抽出した前記エッジ要素をエッジライン画像生成部232に出力する。
補間ライン生成部226は、前記欠落領域判定部225にて前記欠落領域があると判定した場合、所定のライン補間処理により前記欠落領域を補間する補間ラインを生成するものである。なお、補間ライン生成部226は、所定のライン補間処理として、例えばスプライン補間処理により補間ラインを生成する。
補間候補ライン生成部227は、前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、所定のライン補間処理により補間候補ラインを生成するものである。なお、補間候補ライン生成部227は、所定のライン補間処理として、例えばスプライン補間処理により補間候補ラインを生成する。
探索領域設定部228は、前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定するものである。
探索領域エッジ要素抽出部229は、前記探索領域内において前記エッジ要素を抽出するものである。
エッジ要素確度判定部230は、前記境界層エッジ要素抽出部224及び前記探索領域エッジ要素抽出部229にて抽出した前記エッジ要素の確度を所定パラメータにより判定するものである。
確度格納部231は、エッジ要素確度判定部230にて判定した前記エッジ要素の確度を前記深さ断面画に関連つけて格納するものである。
エッジライン画像生成部232は、前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段により抽出された前記エッジ要素に基づき、前記前記欠落領域のエッジライン画像を生成するものである。
基準深さ断面画像抽出部234は、エッジ要素確度判定部230にて判定した確度を格納している確度格納部231より前記エッジ要素の確度及び該確度に関連付けられている前記深さ断面画像を読み出し、確度が最大である前記エッジ要素からなる前記エッジライン画像を有する前記深さ断面画像を基準深さ断面画像として抽出するものである。
エッジライン補正部235は、前記基準深さ断面画像に隣接する隣接深さ断面画像において前記欠落領域があると判定された場合、前記基準深さ断面画像の前記エッジライン画像より補間ラインを補正し、補間候補ライン生成部227に補正したエッジライン補を出力するものである。
表示制御部236は、深さ断面画像抽出部223からの深さ断面画像、エッジライン画像生成部232からのエッジライン画像、及びエッジ要素確度判定部230からの確度情報画像のそれぞれを、I/F部237を介した操作制御部32の指定信号により選択的に合成あるいは重畳した合成画像をモニタ装置500に出力するものである。
I/F部237は、操作制御部32からの設定信号、指定信号を各部に送信する通信インターフェイス部である。
このように構成された本実施形態の作用を図6のフローチャートを用いて説明する。図6は図1のOCTプロセッサの処理部の作用の流れを示すフローチャートである。
術者は、内視鏡100、内視鏡プロセッサ200、光源装置300、OCTプロセッサ400、及びモニタ装置500の各部に電源を投入し、内視鏡100の鉗子口から導出されたOCTプローブ600の挿入部602の先端部を、例えば大腸の粘膜(測定対象S)に近づけて、OCTプローブ600により光走査を開始する。
そして、低干渉光を用いて層構造を有する計測対象の深さ方向である第1の方向と該第1の方向に直交する第2の方向から成るスキャン面を走査して得られる前記計測対象Sの光構造情報を、前記スキャン面に略直交する方向である第3の方向に沿って位置をずらしながら干渉光検出部20にて複数の干渉信号を取得する。
OCTプロセッサ400の処理部22は、図6に示すように、光構造情報検出部220が干渉光検出部20で検出した干渉信号から、断層像を構成するスキャン面での光構造情報を検出し(ステップS1)、光構立体造情報を生成する(ステップS2)。
処理部22は、深さ断面画像抽出部223にて前記光立体構造画像の前記第1の方向を有する深さ断面画像を抽出する(ステップS3)。
次に、処理部22は、境界層エッジ要素抽出部224にて前記深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出する(ステップS4)。
図7は図6のステップS4の処理を説明するための図である。具体的には、境界層エッジ要素抽出部224は、光構造情報(画像信号強度)を解析することで特定境界層を抽出する。つまり、境界層エッジ要素抽出部224は、図7に示すように、光立体構造像を構成するスキャン面920において、最初の光構造情報(画像信号強度)が強い部分951aが粘膜表面951であり、次の画像信号強度が強い部分950aが特定境界層としての粘膜筋板950に相当すると判断してスキャン面920全域を走査して特定境界層(粘膜筋板)950のエッジ要素を抽出する。エッジ要素の抽出は、例えば特開2008−004123号公報等の公知の手法によるエッジ検出、すなわち、画像信号エッジ強度の大きさに対する閾値処理(第1の検出基準Th1)を用いて、方向別微分フィルタでカーブ角度制限付きエッジ追跡手法によりエッジ要素検出する。方向別微分フィルタによるエッジ要素検出の詳細は後述する(図15参照)。
そして、処理部22は、欠落領域判定部225にて前記境界層エッジ要素抽出部224にて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定する(ステップS5)。
図8は図6のステップS5の処理にて欠落領域が存在する特定境界層の一例を示す図である。処理部22は、ステップS5において、欠落領域判定部225にて、図8に示すように、特定境界層950に所定領域(ΔL)以上連続して欠落した欠落領域Lがあると判定されると、処理をステップS6に移行する。
また、処理部22は、ステップS5において、欠落領域判定部225にて欠落領域がない、あるいは前記エッジ要素が所定領域(ΔL)未満の欠落領域と判断すると、処理をステップS9に移行する。
欠落領域判定部225にて欠落領域L(>ΔL)があると判定されると、処理部22は、補間ライン生成部226にて所定のライン補間処理により前記欠落領域を補間する補間ラインを生成し、さらに補間候補ライン生成部227にて前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、所定のライン補間処理により複数の補間候補ラインを生成する(ステップS6)。
図9は図6のステップS6の処理により補間ライン生成部226にて欠落領域Lに生成された補間ラインを示す図であり、処理部22は、補間ライン生成部226にて欠落領域Lに補間ライン700を生成する。
なお、補間ライン生成部226及び補間候補ライン生成部227は、所定のライン補間処理としては、例えばスプライン補間処理を実行する。
次に、処理部22は、探索領域設定部228にて前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定する(ステップS7)。
図10は図6のステップS7の処理により探索領域設定部にて補間ラインを中心として生成される探索領域を示す図であり、処理部22は、探索領域設定部228にて補間ライン700を中心とした所定幅Dの探索領域710を生成する。
図11及び図12は図6のステップS7の処理により探索領域設定部にて補間候補ライン生成部227おいて生成された補間候補ラインを中心として生成される探索領域を示す図であり、処理部22は、図11に示すように、探索領域設定部228にて補間候補ライン生成部227において生成された補間候補ライン701を中心とした所定幅Dの探索領域711を生成し、同様に、処理部22は、図12に示すように、探索領域設定部228にて補間候補ライン生成部227において生成された補間候補ライン702を中心とした所定幅Dの探索領域712を生成する。
なお、補間候補ライン生成部227は、3つ以上の補間候補ラインを生成することができ、処理部22は、探索領域設定部228にてこの3つ以上の補間候補ラインそれぞれを中心とした探索領域を生成する。
次に、処理部22は、探索領域エッジ要素抽出部229にて前記探索領域710〜712内において前記エッジ要素を抽出する(ステップS8)。エッジ要素の抽出は、例えば特開2008−004123号公報等の公知の手法によるエッジ検出、すなわち、画像信号エッジ強度の大きさに対する閾値処理(第2の検出基準Th2)を用いて、方向別微分フィルタでカーブ角度制限付きエッジ追跡手法によりエッジ検出する。
図13は図6のステップS8において用いる方向別微分フィルタを示す図であり、図14は図13の方向別微分フィルタにより抽出されるエッジ要素を示す図である。処理部22は、探索領域エッジ要素抽出部229にて、図13に示すように、中心のエッジ要素(0、0)に対してF1〜F4フィルタで示される方向別微分フィルタを適用し、図14に示すように、中心座標(0、0)のエッジ要素であるエッジ強度及びエッジ方向を抽出する。
このエッジ要素を探索領域設定部228にて設定した探索領域710〜712でのエッジトレース手順について、図15を用いて説明する。図15は図6のステップS8におけるエッジ要素のエッジトレースを説明する図である。なお、このエッジトレース手順は、補間ライン及び補間候補ラインに基づく、複数パターンのトレースラインにより実行される。
図15に示すように、探索領域エッジ要素抽出部229は、
(1)方向別微分フィルタ(Fkフィルタ)出力の最大値max( dk(i,j) )の2次元分布から極大点を求め、これを出発点xとする。(k=1〜4)。
(2)トレースラインにおける接線の方向を、その出発点xにおける探索基準ベクトルとする。
(3)探索基準ベクトルの方向を中心に±θの角度範囲かつ所定距離内の範囲を局所探索範囲とし、その探索範囲角度に相当する方向別微分フィルタ(Fnフィルタ)の出力の最大値max( dn(i,j) ) が所定の第2の閾値Th2以上となる場合、その画素を次の着目点とする(n=1〜3)。
(4)以後、トレースライン探索範囲内で(2)〜(3)の条件を満たす画素がなくなるまで繰り返す。
(5)出発点から逆方向に、上記(2)〜(4)を行う。
なお、第2の検出基準Th2は第1の検出基準Th1より緩くし、弱い信号でも拾うようにする。
次に、処理部22は、エッジ要素確度判定部230にて前記境界層エッジ要素抽出部224及び前記探索領域エッジ要素抽出部229にて抽出した前記エッジ要素の確度を所定パラメータにより判定し、確度格納部231にエッジ要素の確度を前記深さ断面画に関連つけて格納する(ステップS9)。
図16は図5のエッジ要素確度判定部にて用いるエッジ要素の確度を判定するパラメータの一例を示す図である。エッジ要素確度判定部230は、図16に示すように、前記境界層エッジ要素抽出部224及び前記探索領域エッジ要素抽出部229にて抽出した前記エッジ要素800に、例えば所定領域(ΔL)未満の欠落領域が複数存在する場合、連続している各エッジ要素(例えばL1〜L4)の単純合計の欠落領域長さに対する比率=確度(ΣL)、あるいは連続しているエッジ要素の最大長の欠落領域長さに対する比率=確度(Max−L)、または連続している各エッジ要素に所定の重み付けW処理を行い、その重み付けW合計の欠落領域長さに対する比率=確度(Σ重み)を確度パラメータとしてエッジ要素の確度を判定する。ここで、重みの例としては、エッジ要素の長さが大である程、重み値が大となる設定が望ましい。
また、エッジ要素の確度を判定する別の例としては、例えば、曲率の分布/フラクタル次元/空間周波数分布等の特徴をパラメータとし、正常部の特性(対象サンプル中の強い信号部分のライン/データベースにあるサンプル)と比較することで確度を判定するようにしてもよい。
図17は図5のエッジ要素確度判定部によるさらなる欠落領域のエッジ抽出を説明する図である。エッジ要素確度判定部230において、図17に示すように、最初の欠落領域Lにて抽出したエッジ要素に更なる欠落領域L1が発生した場合には、上記ステップS6〜S10の処理を繰り返す。その際、探索領域エッジ要素抽出部229は、ステップS8にて検出基準を下げて第2の検出基準Th2より小さい値の第3の検出基準Th3によりエッジ要素を抽出する。つまり、処理部22は、確度が最大となったトレースラインでの抽出されたエッジ要素を境界層として確定し、その欠落部分におけるエッジ要素抽出処理時に、上記同様に複数パターンのトレースラインの探索領域を設定する。
次に、処理部22は、エッジ要素確度判定部230による上記のごとくエッジ要素の確度の判定結果に基づき、所定長にわたりエッジ要素を検出できないエリアを、または局所的に確度の低いエリアがあるかどうか等、確度異常があるかどうか判断し(ステップS10)、確度異常がある場合には、浸潤の可能性が高いエリアとして、例えばモニタ装置500にエラー告知する(ステップS11)。
図18は図5のエッジライン画像生成部により欠落領域に生成されるエッジライン画像の一例を示す図である。確度異常がない場合には、処理部22は、図18に示すように、エッジライン画像生成部232にて一定確度以上のエッジ要素に基づいてエッジライン画像750を生成する(ステップS12)。なお、このエッジライン画像においては、所定領域(ΔL)未満の欠落領域はスプライン補間処理が行われ、該欠落領域に画像が生成される。
ここで、エッジライン画像生成部232は、補間ライン及び複数の補間候補ラインを中心とした複数パターンの探索領域の中で、確度が最大値を有する探索領域内におけるエッジ要素に基づき、エッジライン画像を生成する。
次に、処理部22は、I/F部237を介した操作制御部32からの指示信号に基づき、基準断層画像抽出するかどうか判断する(ステップS13)。処理部22は、基準断層画像抽出する場合は処理をステップS14に移行し、基準断層画像抽出する場合は処理をステップS15に移行する。
図19は図5の基準深さ断面画像抽出部が基準深さ断面画像を抽出するための複数の深さ断面画像を示す図である。また、図20は図19にて抽出された基準深さ断面画像を示す図、図21は図20の基準深さ断面画像に隣接する欠落領域を有する深さ断面画像を示す図である。
処理部22は、ステップS14において、図19に示すように、基準深さ断面画像抽出部234にてエッジ要素確度判定部230にて判定した確度を格納している確度格納部231より前記エッジ要素の確度及び該確度に関連付けられている前記深さ断面画像を読み出す。そして、処理部22は、図20に示すように、確度が最大である前記エッジ要素からなる前記エッジライン画像を有する前記深さ断面画像920(I)を基準深さ断面画像として抽出する。
さらに、処理部22は、ステップS14において、基準深さ断面920(I)に隣接する深さ断面画像920(I+1)において特定境界層の欠落領域があった場合は、図21に示すように、エッジライン補正部235にて基準深さ断面920(I)における抽出済み特定境界層のエッジライン画像を深さ断面画像920(I+1)の補間ラインとして所定距離内に探索範囲を限定して深さ断面画像920(I+1)のエッジライン画像の補正処理を行う。その次に隣接する深さ断面画像920(I+2)についても同様に、基準深さ断面画像を深さ断面画像920(I+1)に置き換えて、基準深さ断面画像における抽出済み特定境界層から所定距離内に探索範囲を限定して深さ断面画像920(I+2)のエッジライン画像の補正処理を行う。
次に、処理部22は、表示制御部236にて深さ断面画像抽出部223からの深さ断面画像、エッジライン画像生成部232からのエッジライン画像、及びエッジ要素確度判定部230からの確度情報画像のそれぞれを、I/F部237を介した操作制御部32の指定信号により選択的に合成あるいは重畳した合成画像をモニタ装置500に出力する(ステップS15)。
図22は図2のモニタ装置に表示される合成画像を示す第1の図であって、モニタ装置500がエッジライン画像R1を欠落領域に重畳表示すると共に、エッジライン画像R1の確度情報画像(粘膜筋板確度=80%、癌浸潤確度=20%等の文字画像)を表示した表示例を示している。図23は図2のモニタ装置に表示される合成画像を示す第2の図であって、モニタ装置500が例えば3つのエッジライン画像R1〜R3を欠落領域に色分け/線形状(実線〜破線、太さ変更、色調変更等)を行い重畳表示すると共に、エッジライン画像R1〜R3の確度情報画像を表示した表示例を示しているが、エッジライン画像R1〜R3を切り替えて表示するようにしてもよい。
なお、図17にて説明したように、最初の欠落領域Lにて抽出したエッジ要素に更なる欠落領域L1が発生した場合等に行う繰返し処理においては、確度が最大となったトレースラインに限定せず、上位m位まで候補として採用してもよい(m>1)。最終的な確度は、特定境界層の抽出領域が所定比率以上となった段階で行うようにしてもよい。
本実施形態においては、まず信号の強い領域について抽出し、次に抽出できなかった信号の弱い領域については抽出済み領域から推定したトレースライン領域に限定して、抽出条件を段階的に下げながら探索し、微小なエッジ構造の存在する比率により、境界層としての確度を導出する。探索用トレースラインを複数パターン分用意することで、局所的な強いノイズに影響されることなく、生体形状の多様な変動に頑健な境界層の抽出が可能となる。
このように本実施形態では、特定境界層の抽出処理において、欠落領域が発生した場合、該欠落領域において、エッジ要素を確度に応じて抽出し、確度の最も高いエッジ要素に基づいてエッジライン画像を生成し、欠落領域にエッジライン画像を重畳させるので、光断層画像において、ノイズが大となる深い領域での境界層の検出精度を向上させることができ、ノイズ等の影響を効果的に抑制して光立体構造情報より所望の特定境界層のエッジ要素を検出し、該エッジ要素に基づき特定境界層のエッジラインを適切に補間し抽出することができる。
なお、上記実施形態は、層構造を有する臓器であれば適用可能であり、例えば、大腸の粘膜筋板、軟骨の境界層等に適用可能である。
以上、本発明の光構造観察装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
10…画像診断装置、22…処理部、100…内視鏡、200…内視鏡プロセッサ、220…光構造情報検出部、223…深さ断面画像抽出部、224…境界層エッジ要素抽出部、225…欠落領域判定部、226…補間ライン生成部、227…補間候補ライン生成部、228…探索領域設定部、229…探索領域エッジ要素抽出部、230…エッジ要素確度判定部、231…確度格納部、232…エッジライン画像生成部、234…基準深さ断面画像抽出部、235…補間ライン補正部、236…表示制御部、237…I/F部

Claims (14)

  1. 低干渉光を用いて層構造を有する計測対象の深さ方向である第1の方向と該第1の方向に直交する第2の方向から成るスキャン面を走査して得られる前記計測対象の光構造情報を、前記スキャン面に略直交する方向である第3の方向に沿って位置をずらしながら複数取得して、取得した複数の前記光構造情報に基づいて光立体構造画像を構築する光構造観察装置において、
    前記光立体構造画像の前記第1の方向を有する深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出する特定境界層エッジ要素抽出手段と、
    前記特定境界層エッジ要素抽出手段にて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定するエッジ要素欠落判定手段と、
    前記エッジ要素欠落判定手段にて前記欠落領域があると判定した場合、所定のライン補間処理により前記欠落領域を補間する補間ラインを生成する補間ライン生成手段と、
    前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、前記所定のライン補間処理により補間候補ラインを生成する補間候補ライン生成手段と、
    前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定する探索領域設定手段と、
    前記探索領域内において前記エッジ要素を抽出する探索領域エッジ要素抽出手段と、
    前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段により抽出された前記エッジ要素に基づき、前記欠落領域のエッジライン画像を生成するエッジライン画像生成手段と、
    前記エッジライン画像を前記深さ断面画像上に重畳する画像重畳手段と、
    を備えたことを特徴とする光構造観察装置。
  2. 前記エッジ要素欠落判定手段にて前記所定領域以上連続して欠落した前記欠落領域がないと判定した場合、前記エッジライン画像生成手段は所定のライン補間処理により補間して前記エッジライン画像を生成する
    ことを特徴とする請求項1に記載の光構造観察装置。
  3. 前記特定境界層エッジ要素抽出手段は、所定の第1の閾値に基づき前記エッジ要素を抽出し、
    前記探索領域エッジ要素抽出手段は、前記所定の第1の閾値より小さな値の所定の第2の閾値に基づき前記エッジ要素を抽出する
    ことを特徴とする請求項1または2に記載の光構造観察装置。
  4. 前記エッジ画素欠落判定手段は、さらに前記探索領域エッジ要素抽出手段にて抽出した前記エッジ要素が所定領域以上連続して欠落した前記探索領域内の欠落領域の有無を判定する
    ことを特徴とする請求項1ないし3のいずれか1つに記載の光構造観察装置。
  5. 前記探索領域エッジ要素抽出手段は、前記探索領域内の欠落領域内において、前記所定の第2の閾値より小さな値の所定の第3の閾値に基づき前記エッジ要素を抽出する
    ことを特徴とする請求項4に記載の光構造観察装置。
  6. 前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段にて抽出した前記エッジ要素の確度を所定パラメータにより判定する確度判定手段
    をさらに備えたことを特徴とする請求項1ないし5のいずれか1つに記載の光構造観察装置。
  7. 前記補間候補ライン生成手段は、異なる複数の前記補間候補ラインを生成する
    ことを特徴とする請求項1ないし5のいずれか1つに記載の光構造観察装置。
  8. 前記特定境界層エッジ要素抽出手段及び前記探索領域エッジ要素抽出手段にて抽出した前記エッジ要素の確度を所定パラメータにより判定する確度判定手段
    をさらに備えたことを特徴とする請求項7に記載の光構造観察装置。
  9. 前記エッジライン画像生成手段は、前記確度判定手段にて判定された前記エッジ要素の前記確度に基づく異なる画素属性の複数の前記エッジライン画像を生成し、
    前記画像重畳手段は、前記複数のエッジライン画像を選択的に前記深さ断面画像上に重畳する
    ことを特徴とする請求項8に記載の光構造観察装置。
  10. 前記確度判定手段にて判定した確度が最大である前記エッジ要素からなる前記エッジライン画像を有する前記深さ断面画像を基準深さ断面画像として抽出する基準深さ断面画像抽出手段をさらに備え、
    前記補間ライン生成手段は、前記基準深さ断面画像に隣接する隣接深さ断面画像において前記欠落領域があると判定された場合、前記基準深さ断面画像の前記エッジライン画像を前記補間ラインとして生成する
    ことを特徴とする請求項6、8、9のいずれか1つに記載の光構造観察装置。
  11. 前記確度は、前記エッジ要素の連続性に基づく、長さ情報、曲率情報、フラクタル次元情報、空間周波数分布情報の少なくともいずれか1つに基づく情報パラメータにより判定される
    ことを特徴とする請求項6、8、9、10のいずれか1つに記載の光構造観察装置。
  12. 前記長さ情報の情報パラメータは、前記エッジ要素における、部分的連続長さの単純合計値、部分的連続長さに関連付けた重み付け合計値、あるいは部分的連続長さの最大値の少なくともいずれか1つにおける前記欠落領域に対する比率情報である
    ことを特徴とする請求項11に記載の光構造観察装置。
  13. 前記画像重畳手段は、前記深さ断面画像上に、前記探索領域エッジ要素抽出手段にて前記探索領域内において連続した所定以上の確度の前記エッジ要素が抽出できた場合には前記所定以上の確度の情報を告知する確度情報画像を、前記所定以上の確度の前記エッジ要素が抽出できない場合はエラーを告知するエラー画像を、それぞれ重畳する
    ことをさらに備えたことを特徴とする請求項6、8、9、10、11、12のいずれか1つに記載の光構造観察装置。
  14. 低干渉光を用いて層構造を有する計測対象の深さ方向である第1の方向と該第1の方向に直交する第2の方向から成るスキャン面を走査して得られる前記計測対象の光構造情報を、前記スキャン面に略直交する方向である第3の方向に沿って位置をずらしながら複数取得して、取得した複数の前記光構造情報に基づいて光立体構造画像を構築する光構造観察装置の構造情報処理方法において、
    前記光立体構造画像の前記第1の方向を有する深さ断面画像上の特定境界層のエッジラインのエッジ要素を抽出する特定境界層エッジ要素抽出ステップと、
    前記特定境界層エッジ要素抽出ステップにて抽出した前記エッジ要素が所定領域以上連続して欠落した欠落領域の有無を判定するエッジ要素欠落判定ステップと、
    前記エッジ要素欠落判定ステップにて前記欠落領域があると判定した場合、所定のライン補間処理により前記欠落領域を補間する補間ラインを生成する補間ライン生成ステップと、
    前記補間ラインの所定間隔毎の構成点位置を前記深さ断面画像上において所定範囲内にてランダムに位置ずれさせて、前記所定のライン補間処理により補間候補ラインを生成する補間候補ライン生成ステップと、
    前記補間ライン及び前記補間候補ラインのそれぞれのラインを中心とする、前記深さ断面画像上に所定の幅の複数の探索領域を設定する探索領域設定ステップと、
    前記探索領域内において前記エッジ要素を抽出する探索領域エッジ要素抽出ステップと、
    前記特定境界層エッジ要素抽出ステップ及び前記探索領域エッジ要素抽出ステップにより抽出された前記エッジ要素に基づき、前記欠落領域のエッジライン画像を生成するエッジライン画像生成ステップと、
    前記エッジライン画像を前記深さ断面画像上に重畳する画像重畳ステップと、
    を備えたことを特徴とする光構造観察装置の構造情報処理方法。
JP2009027434A 2009-02-09 2009-02-09 光構造観察装置及びその構造情報処理方法 Withdrawn JP2010179043A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009027434A JP2010179043A (ja) 2009-02-09 2009-02-09 光構造観察装置及びその構造情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009027434A JP2010179043A (ja) 2009-02-09 2009-02-09 光構造観察装置及びその構造情報処理方法

Publications (1)

Publication Number Publication Date
JP2010179043A true JP2010179043A (ja) 2010-08-19

Family

ID=42761048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009027434A Withdrawn JP2010179043A (ja) 2009-02-09 2009-02-09 光構造観察装置及びその構造情報処理方法

Country Status (1)

Country Link
JP (1) JP2010179043A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017537768A (ja) * 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
JP2020018840A (ja) * 2018-06-08 2020-02-06 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 光干渉断層撮影画像などの1つまたは複数の画像内の内腔およびアーチファクトの検出のための装置、方法および記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325831A (ja) * 2006-06-09 2007-12-20 Topcon Corp 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP2008206684A (ja) * 2007-02-26 2008-09-11 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325831A (ja) * 2006-06-09 2007-12-20 Topcon Corp 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP2008206684A (ja) * 2007-02-26 2008-09-11 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017537768A (ja) * 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
US10878572B2 (en) 2014-12-12 2020-12-29 Lightlab Imaging, Inc. Systems and methods to detect and display endovascular features
US11461902B2 (en) 2014-12-12 2022-10-04 Lightlab Imaging, Inc. Systems and methods to detect and display endovascular features
JP7434471B2 (ja) 2014-12-12 2024-02-20 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
JP2020018840A (ja) * 2018-06-08 2020-02-06 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 光干渉断層撮影画像などの1つまたは複数の画像内の内腔およびアーチファクトの検出のための装置、方法および記憶媒体
US11382516B2 (en) 2018-06-08 2022-07-12 Canon U.S.A., Inc. Apparatuses, methods, and storage mediums for lumen and artifacts detection in one or more images, such as in optical coherence tomography images

Similar Documents

Publication Publication Date Title
EP2163191A1 (en) Diagnostic imaging apparatus
JP5259374B2 (ja) 光構造観察装置及びその構造情報処理方法
JP2011078447A (ja) 光構造観察装置、その構造情報処理方法及び光構造観察装置を備えた内視鏡装置
JP5298352B2 (ja) 光構造像観察装置及び内視鏡装置
JP2010179042A (ja) 光構造観察装置及びその構造情報処理方法、光構造観察装置を備えた内視鏡システム
JP2010043994A (ja) 光プローブ及び3次元画像取得装置
JP5653087B2 (ja) 光断層画像化装置及びその作動方法
JP2010158343A (ja) 光立体構造解析装置及びその立体構造情報処理方法
JP2006026015A (ja) 光断層画像取得システム
JP5779461B2 (ja) 光干渉断層画像処理装置及びその作動方法
WO2011158849A1 (ja) 断層画像処理装置及び方法、並びに光干渉断層画像診断装置
JP5748281B2 (ja) 光干渉断層画像処理方法及びその装置
JP5405839B2 (ja) 光立体構造像観察装置、その作動方法及び光立体構造像観察装置を備えた内視鏡システム
JP2012013432A (ja) 断層画像処理装置及び方法、並びに光干渉断層画像診断装置
JP2012010776A (ja) 断層画像処理装置及び方法、並びに光干渉断層画像診断装置
JP2010179043A (ja) 光構造観察装置及びその構造情報処理方法
WO2011158848A1 (ja) 光断層画像化装置及び光断層画像化方法
JP5696178B2 (ja) 光断層画像化装置及びその作動方法
JP5752538B2 (ja) 光干渉断層画像処理方法及びその装置
JP5373389B2 (ja) 光構造情報取得装置及びその光干渉信号処理方法
JP5657941B2 (ja) 光断層画像化装置及びその作動方法
JP5812785B2 (ja) 光断層画像処理装置及び光断層画像処理装置の作動方法
JP2010185782A (ja) 光構造観察装置及びその構造情報処理方法
JP5405842B2 (ja) 光構造解析装置及びその作動方法
JP5400430B2 (ja) 生体断層画像生成装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130418

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20131009