JP2013144039A - 電子内視鏡システム、画像処理装置及び画像処理方法 - Google Patents

電子内視鏡システム、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2013144039A
JP2013144039A JP2012005850A JP2012005850A JP2013144039A JP 2013144039 A JP2013144039 A JP 2013144039A JP 2012005850 A JP2012005850 A JP 2012005850A JP 2012005850 A JP2012005850 A JP 2012005850A JP 2013144039 A JP2013144039 A JP 2013144039A
Authority
JP
Japan
Prior art keywords
spectral images
image
blood vessel
images
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012005850A
Other languages
English (en)
Other versions
JP5753105B2 (ja
Inventor
Hiroshi Yamaguchi
博司 山口
Takaaki Saito
孝明 齋藤
Takayuki Iida
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012005850A priority Critical patent/JP5753105B2/ja
Publication of JP2013144039A publication Critical patent/JP2013144039A/ja
Application granted granted Critical
Publication of JP5753105B2 publication Critical patent/JP5753105B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】撮像タイミングが異なる複数の分光画像から酸素飽和度を算出する場合において、簡易な構成で、複数の分光画像の正確な位置合わせを可能にする。
【解決手段】複数の分光画像PB1、PB2、PB3は、撮像タイミングが異なる撮像信号から取得される。血中ヘモグロビンの光吸収特性や生体組織の散乱特性は、波長依存性を持つため、各分光画像PB1、PB2、PB3は、コントラストに差が生じ、分光画像PB1と比較して分光画像PB2のコントラストが低い。位置合わせの前処理として、分光画像PB2のコントラストを、分光画像PB1に合わせるコントラスト調整を行う。
【選択図】図17

Description

本発明は、電子内視鏡を用いて血管に関する情報を取得する電子内視鏡システム、画像処理装置及び画像処理方法に関するものである。
医療分野において、電子内視鏡を用いた内視鏡診断が普及している。近年の内視鏡診断においては、白色光のもとで生体組織の表面の全体的な性状を観察する通常観察に加えて、特定の波長に制限された特殊光を用いた特殊光観察も行われるようになっている。
特殊光観察には各種のものがあるが、例えば、本出願人による特許文献1の内視鏡システムでは、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の大きさに差がある波長域の狭帯域光を利用して、その反射光を撮像して得られる分光画像に基づいて、血中ヘモグロビンの酸素飽和度を算出し、画像化している。
特許文献1の内視鏡システムでは、酸素飽和度の測定精度を上げるために、複数の狭帯域光の分光画像を取得して、各分光画像の対応する画素同士の輝度値を比較することで、血管の深さの違いによって生じるノイズの影響を排除している。
生体組織の反射光量は、血中ヘモグロビンによる吸収の他、主として血管以外の粘膜における散乱の影響を受ける。粘膜表層に入射した光は、血管以外の粘膜においては散乱して、減衰しながら粘膜深層に向かって進む。血管に到達した光の一部は血中ヘモグロビンによって吸収される。散乱した光は粘膜表層から出射して、これが反射光として観察される。粘膜表層から血管に到達するまでの距離が長いほど、すなわち血管の深さが深いほど、散乱による反射成分は多くなるので、酸素飽和度が同じでも、血管の深さが深いほど、反射光量は大きくなる。このように、生体組織の反射光量は、吸収と散乱による影響を受け、散乱による反射光量への影響は血管の深さによって変化する。さらに、生体組織の散乱係数は、長波長側に比べて短波長側で大きくなるというように、光の波長によって変化する波長依存性を有している。
こうした生体組織の光の吸収及び散乱特性を前提として、特許文献1の内視鏡システムでは、還元ヘモグロビンと酸化ヘモグロビンの吸光係数に差があり、かつ、散乱係数が異なる波長域を持つ2つの狭帯域光を利用することで、酸素飽和度と血管深さの2つの情報を取得している。これにより、血管深さの違いによるノイズの影響が除去された精度の高い酸素飽和度の情報を得ている。
複数の分光画像の輝度値の比較は、当然ながら、2つの分光画像に描出される同じ血管領域の画素同士で行われなければならない。特許文献1の内視鏡システムでは、複数の分光画像の取得方式として、生体組織に対して2つの狭帯域光を順次照射して撮像するという順次方式を採用しているため、撮像タイミングの時間差によって生じる、複数の分光画像の位置ズレが問題となる。特許文献1の内視鏡システムは、複数の分光画像に対して、血管の太さに応じた周波数フイルタリング処理を施して、血管領域が強調された強調画像を生成し、生成した強調画像に基づいて位置合わせを行っている。強調処理を施すことで、強調処理をしない場合に比べて精度の高い位置合わせを行うことができる。
特開2011−194151号公報
本出願人は、特許文献1に記載されているように、正確な酸素飽和度を画像化する技術の開発を進めているが、その過程において、以下に示すように、技術改良の余地があることが分かってきた。
特許文献1では、位置合わせの精度を上げるために、血管の太さに応じた周波数フイルタリングを施して強調画像を生成している。しかしながら、原画像である複数の分光画像間において、血管領域と他の領域のコントラストが変わってしまう場合には、各分光画像に対して同じ強調処理を施しても、一方の分光画像では強調されるが、他方では強調されない血管領域があるなど、比較対象の血管領域を同じように強調することができない場合があった。これは位置ズレの精度を低下させる原因となる。
コントラストの差が生じる原因は、複数の狭帯域光の光量の差や、生体組織が吸収や散乱に関して波長依存性を有していることなどが考えられる。光量の差を解消する対策については光源装置の光量を調節するという対策が考えられるが、光源装置には、キセノンランプなどの白色光源と色分離フイルタを組み合わせたものや、レーザやLEDなどの半導体光源を用いるものなど様々なものがあり、光源装置の種類によっては光量の調節がしづらいものもある。また、生体組織の波長依存性については変えようがない。そのため、コントラストの差が生じる複数の分光画像を前提として、各分光画像間の位置合わせの精度を改良する技術が模索されている。
また、特許文献1のように、血管の太さに応じて周波数フイルタリングを施す場合には、強調対象となる血管の太さを正確に把握する必要がある。撮影距離がほぼ一定であれば、分光画像における血管の太さを予め把握しておくことができるため問題は無い。しかしながら、内視鏡の移動によって撮影距離が変動する場合やズームレンズによって撮影倍率を変化させる場合には、撮影した分光画像における被写体の表示倍率が変化するので、分光画像に描出される血管の太さが大きく変化してしまう場合も考えられる。そのような場合には表示倍率の変化に応じて周波数フイルタリングの処理内容を変えるといった対策が必要になるため、構造の複雑化が懸念される。
本発明は、上記課題を鑑みてなされたもので、その目的は、撮像タイミングが異なる複数の分光画像から酸素飽和度を算出する場合において、簡易な構成で、複数の分光画像の正確な位置合わせを可能にすることにある。
本発明の電子内視鏡システムは、被検体内の血管を含む観察部位を撮像する電子内視鏡と、波長域が異なる少なくとも第1及び第2の照明光を前記観察部位に対して順次照射するための照明手段と、前記第1及び第2の照明光の照射タイミングに応じて前記電子内視鏡が順次出力する複数の撮像信号から、それぞれ前記第1及び第2の照明光に対応する第1及び第2の分光画像を取得する画像取得手段と、前記第1及び第2の分光画像における前記血管のコントラストの差に応じて、前記第1及び第2の分光画像を位置合わせするための前処理を行う前処理手段と、前記前処理後に、前記第1及び第2の分光画像のそれぞれにおける前記血管の形状を強調する強調処理を施して、前記第1及び第2の分光画像のそれぞれに対応する位置合わせ用画像を生成する強調処理手段と、前記第1及び第2の位置合わせ用画像に基づいて、前記第1及び第2の分光画像内のそれぞれの前記血管の位置が重なるように前記第1及び第2の分光画像同士の位置合わせを実行する位置合わせ手段と、前記位置合わせが実行された前記第1及び第2の分光画像に基づいて、前記血管の血中ヘモグロビンの酸素飽和度を算出する酸素飽和度算出手段とを備えていることを特徴とする。
前記前処理手段は、前記第1及び第2の分光画像の濃度ヒストグラムに基づいて前記コントラストを調べて、前記前処理を実行することが好ましい。
前記前処理手段は、前記第1及び第2の分光画像のうち前記コントラストが高い方を基準に低い方に対して前記前処理を施すことが好ましい。
前記前処理は、前記第1及び第2の分光画像同士のコントラストを合わせるコントラスト調整処理であることが好ましい。
前記強調処理は、予め設定されるしきい値と第1及び第2の画像の画素値とを比較して、前記しきい値を基準に前記第1及び第2の分光画像の画素値を振り分けて、前記第1及び第2の分光画像の階調数を減らすことにより前記第1及び第2の位置合わせ用画像を生成する階調低減処理であり、前記前処理は、前記コントラストの差に応じて前記しきい値を決定するしきい値決定処理であることが好ましい。
前記階調低減処理は二値化処理であり、前記第1及び第2の位置合わせ用画像は二値画像であることが好ましい。
第1及び第2の照明光は、少なくとも一方が青色領域において特定の波長域に制限された青色狭帯域光であることが好ましい。
前記照明手段は、前記第1及び第2の照明光に波長域が異なる第3の照明光を加えた3つの照明光を順次照射し、前記画像取得手段は、前記第1〜第3の照明光に対応する第1〜第3の分光画像を取得し、前記酸素飽和度算出手段は、前記第1〜第3の分光画像に基づいて前記酸素飽和度を算出することが好ましい。
例えば、第1の照明光は、波長域が440±10nmに制限された第1青色狭帯域光であり、第2の照明光は、波長域が470±10nmに制限された第2青色狭帯域光であり、第3の照明光は、波長域が410±10nmに制限された第3青色狭帯域光である。
前記照明手段は、第1〜第3の青色狭帯域光を発光する第1〜第3の半導体光源を有することが好ましい。
本発明の画像処理装置は、被検体内の血管を含む観察部位を撮像する電子内視鏡を用いて取得される画像を処理する画像処理装置において、波長域が異なる少なくとも第1及び第2の照明光を前記観察部位に対して順次照射して、前記第1及び第2の照明光の照射タイミングに応じて前記電子内視鏡が出力する複数の撮像信号から、それぞれ前記第1及び第2の照明光に対応する第1及び第2の分光画像を取得する画像取得手段と、前記第1及び第2の分光画像における前記血管のコントラストの差に応じて、前記第1及び第2の分光画像を位置合わせするための前処理を行う前処理手段と、前記前処理後に、前記第1及び第2の分光画像のそれぞれにおける前記血管の形状を強調する強調処理を施して、前記第1及び第2の分光画像のそれぞれに対応する位置合わせ用画像を生成する強調処理手段と、前記第1及び第2の位置合わせ用画像に基づいて、前記第1及び第2の分光画像内のそれぞれの前記血管の位置が重なるように前記第1及び第2の分光画像同士の位置合わせを実行する位置合わせ手段と、前記位置合わせが実行された前記第1及び第2の分光画像に基づいて、前記血管の血中ヘモグロビンの酸素飽和度を算出する酸素飽和度算出手段とを備えていることを特徴とする。
本発明の画像処理方法は、被検体内の血管を含む観察部位を撮像する電子内視鏡を用いて取得される画像を処理する画像処理方法において、波長域が異なる少なくとも第1及び第2の照明光を前記観察部位に対して順次照射して、前記第1及び第2の照明光の照射タイミングに応じて前記電子内視鏡が出力する複数の撮像信号から、前記第1及び第2の照明光に対応する第1及び第2の分光画像を取得する画像取得ステップと、前記第1及び第2の分光画像における前記血管のコントラストの差に応じて、前記第1及び第2の分光画像を位置合わせするための前処理を行う前処理ステップと、前記前処理後に、前記第1及び第2の分光画像のそれぞれにおける前記血管の形状を強調する強調処理を施して、前記第1及び第2の分光画像のそれぞれに対応する位置合わせ用画像を生成する強調処理ステップと、前記第1及び第2の位置合わせ用画像に基づいて、前記第1及び第2の分光画像内のそれぞれの前記血管の位置が重なるように前記第1及び第2の分光画像同士の位置合わせを実行する位置合わせステップと、前記位置合わせが実行された前記第1及び第2の分光画像に基づいて、前記血管の血中ヘモグロビンの酸素飽和度を算出する酸素飽和度算出ステップとを備えていることを特徴とする。
本発明によれば、撮像タイミングが異なる第1及び第2の分光画像に基づいて酸素飽和度を算出する場合において、第1及び第2の分光画像に対して、両者のコントラストの差に応じた前処理を行うから、簡単な構成で、複数の分光画像の正確な位置合わせを行うことができる。
本発明の電子内視鏡システムの外観図である。 電子内視鏡の先端部の正面図である。 電子内視鏡システムの電気的構成を示すブロック図である。 照明光の分光スペクトルを示すグラフである。 撮像素子のカラーマイクロフイルタの分光特性を示すグラフである。 照明光の照射タイミング及び撮像タイミングを示す説明図である。 機能画像処理部のブロック図である。 ヘモグロビンの吸収スペクトルを示すグラフである。 生体組織の散乱係数を示すグラフである。 ヘモグロビンの吸光スペクトルと照明光の波長の対応を示す説明図である。 各狭帯域光の輝度値と、酸素飽和度との関係を示すグラフである。 各狭帯域光の輝度値と、血管深さとの関係を示すグラフである。 第1及び2輝度比S1/S3,S2/S3と血管深さ及び酸素飽和度との相関関係を示すグラフである。 (A)は第1及び第2輝度比S1/S3,S2/S3から輝度座標系における座標(X,Y)を求める方法を、(B)は座標(X,Y)に対応する血管情報座標系の座標(U,V)を求める方法を説明する説明図である。 図13とは別の態様の相関関係を示すグラフである。 血管深さ画像と酸素飽和度画像の表示形態を示す説明図である。 位置合わせ処理の手順を示す説明図である。 複数の分光画像の濃度ヒストグラムの説明図である。 コントラスト調整処理の説明図である。 位置ズレ量検出処理の説明図である。 図17とは別の位置合わせ処理手順を示す説明図である。 しきい値決定処理の説明図である。
[第1実施形態]
図1に示すように、本発明の第1実施形態の内視鏡システム10は、被検体内の観察部位を撮像する電子内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を供給する光源装置13と、観察画像を表示するモニタ14とを備えている。プロセッサ装置12には、キーボードやマウスなどの操作入力部であるコンソール15が設けられている。
電子内視鏡システム10は、白色光のもとで観察部位を観察する通常観察モードと、機能情報観察モードの2つの動作モードを備えている。機能情報観察モードは、特殊光を利用して、生体組織に関する生体機能情報である、血中ヘモグロビンの酸素飽和度及び血管深さに関する情報を取得して、これらを画像化して観察するモードである。
電子内視鏡11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16は、先端から順に連設された、先端部19、湾曲部20、可撓管部21からなる。図2に示すように、先端部19の先端面には、観察部位に照明光を照射する照明窓22、観察部位で反射した像光が入射する観察窓23、観察窓23を洗浄するために送気・送水を行うための送気・送水ノズル24、鉗子や電気メスといった処置具を突出させる鉗子出口25などが設けられている。観察窓23の奥には、撮像素子44(図3参照)や結像用の光学系が内蔵されている。
湾曲部20は、連結された複数の湾曲駒からなり、操作部17のアングルノブ26を操作することにより、上下左右方向に湾曲動作する。湾曲部20が湾曲することにより、先端部19の向きが所望の方向に向けられる。可撓管部21は、食道や腸など曲がりくねった管道に挿入できるように可撓性を有している。挿入部16には、撮像素子44を駆動する駆動信号や撮像素子44が出力する撮像信号を通信する通信ケーブルや、光源装置13から供給される照明光を照明窓22に導光するライトガイド43(図3参照)が挿通されている。
操作部17には、アンブルノブ26の他、処置具を挿入するための鉗子口27、送気・送水操作を行う送気・送水ボタン、静止画像を撮影するためのレリーズボタンなどが設けられている。
ユニバーサルコード18には、挿入部16から延設される通信ケーブルやライトガイド43が挿通されており、一端には、プロセッサ装置12および光源装置13側にコネクタ28が取り付けられている。コネクタ28は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、通信用コネクタには通信ケーブルの一端が、光源用コネクタにはライトガイド43の一端がそれぞれ配設される。電子内視鏡11は、このコネクタ28を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図3に示すように、光源装置13は、半導体光源ユニット31と、これらを駆動制御する光源制御部32とを備えている。光源制御部32は、光源装置13の各部の駆動タイミングや同期タイミングなどの制御を行う。
半導体光源ユニット31は、青色領域において特定の波長域に制限された狭帯域光をそれぞれ発光する3つのレーザ光源LD1〜LD3を有している。図4に示すように、レーザ光源LD1は、波長域が440±10nmに、好ましくは445nmに制限された狭帯域光N1を発光する。レーザ光源LD2は、波長域が470±10nmに、好ましくは473nmに制限された狭帯域光N2を発光する。レーザ光源LD3は、波長域が400±10nmに、好ましくは405nmに制限された狭帯域光N3を発光する。レーザ光源LD1〜LD3としては、InGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。また、レーザ光源LD1〜LD3としては、高出力化が可能なストライプ幅(導波路の幅)が広いブロードエリア型のレーザダイオードが好ましい。
光源制御部32は、ドライバ33を介してレーザ光源LD1〜LD3の点灯、消灯、光量の制御を行う。レーザ光源LD1〜LD3が発光する光は、光ファイバ34によってコンバイナ36に導光される。コンバイナ36は、各光ファイバ34からの光を合波する機能を持つ光学部材であり、選択的に入射する各光ファイバ34からの光の光軸を1つに結合する。コンバイナ36の下流側には、蛍光体37が設けられている。
図4に示すように、蛍光体37は、445nmの狭帯域光N1によって励起されて、緑色領域から赤色領域に渡る波長域の蛍光FL1を発光する。蛍光体37は、狭帯域光N1の一部を吸収して蛍光FL1を発光するとともに、残りの狭帯域光N1を透過させる。蛍光体37を透過する狭帯域光N1は、蛍光体37によって拡散される。透過する狭帯域光N1と励起される蛍光FL1によって白色光が生成され、生成された白色光が通常観察モードにおける照明光として用いられる。
蛍光体37としては、例えば、YAG系、BAM(BgMgAl1017)系等の蛍光体が使用される。また、図4に示すように、蛍光体37は、473nmの狭帯域光N2によっても励起されて蛍光FL2を発光する。蛍光への変換効率は445nmの狭帯域光N1の方が高く、473nmの狭帯域光N2によって励起される蛍光FL2は、蛍光FL1と比較して光量が少ない。また、蛍光体37は、405nmの狭帯域光N3によってはほとんど励起されない。
図3において、蛍光体37の下流側には、集光レンズ38とロッドインテグレータ39が配置されている。集光レンズ38は、蛍光体37が発する光を集光して、ロッドインテグレータ39に入射させる。ロッドインテグレータ39は、入射した光を内部で多重反射させることにより面内光量分布を均一化して、光源装置13に接続された電子内視鏡11のライトガイド43の入射端に光を入射させる。
電子内視鏡11は、ライトガイド43、撮像素子44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、ライトガイド43の入射端が配置されたコネクタ28が光源装置13に接続されたときに、入射端が光源装置13のロッドインテグレータ39の出射端と対向する。
照明窓22の奥には、照明光の配光角を調整する照射レンズ48が配置されている。光源装置13から供給された光はライトガイド43により照射レンズ48に導光されて照明窓22から観察部位に向けて照射される。観察窓23の奥には、対物光学系51と撮像素子44が配置されている。観察部位で反射した像光は、観察窓23を通して対物光学系51に入射し、対物光学系51によって撮像素子44の撮像面44aに結像される。
撮像素子44は、CCDイメージセンサやCMOSイメージセンサなどからなり、フォトダイオードなどの画素を構成する複数の光電変換素子がマトリックスに配列された撮像面44aを有している。撮像素子44は、撮像面44aで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷はアンプによって電圧信号に変換されて読み出される。電圧信号は撮像信号として撮像素子44から出力されて、撮像信号はAFE45に送られる。
撮像素子44は、カラー撮像素子であり、撮像面44aには、図5に示すような分光特性を有するB、G、Rの3色のマイクロカラーフイルタが各画素に割り当てられている。マイクロカラーフイルタの配列は例えばベイヤー配列である。
図6に示すように、通常観察モードにおいては、撮像素子44は、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行なわれる。図6(A)に示すように、通常観察モードにおいては、蓄積タイミングに合わせてレーザ光源LD1が点灯し、照明光として狭帯域光N1と蛍光FL1とからなる白色光が観察部位に照射され、その反射光が撮像素子44に入射する。白色光はマイクロカラーフイルタで色分離されて、B画素が狭帯域光N1に対応する反射光を受光し、G画素が蛍光FL1の中のG成分を、R画素が蛍光FL1の中のR成分に対応する反射光を受光する。撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、通常観察モードに設定されている間、繰り返される。
機能情報観察モードにおいては、図6(B)に示すように、蓄積タイミングに合わせてレーザ光源LD1、LD2、LD3が順次点灯する。レーザ光源LD1が点灯すると、通常観察モードと同様に、照明光として狭帯域光N1と蛍光FL1とからなる白色光が観察部位に照射される。レーザ光源LD2が点灯すると、照明光として狭帯域光N2と蛍光FL2とからなる白色光が観察部位に照射される。レーザ光源LD3が点灯すると、照明光として狭帯域光N3が点灯して、狭帯域光N3が観察部位に照射される。
狭帯域光N1と蛍光FL1、又は狭帯域光N2と蛍光FL2によって生成される白色光は、マイクロカラーフイルタで色分離されて、B画素が狭帯域光N1又は狭帯域光N2に対応する反射光を受光し、G画素が蛍光FL1又は蛍光FL2の中のG成分を、R画素が蛍光FL1又は蛍光FL2の中のR成分に対応する反射光を受光する。狭帯域光N3の反射光は、B画素にのみ入射する。機能情報観察モードにおいても、通常観察モードと同様に、撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、機能情報観察モードに設定されている間、繰り返される。
AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、撮像素子44からの撮像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数に応じた階調値を持つデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラ56に接続されており、コントローラ56から入力されるベースクロック信号に同期して、撮像素子44に対して駆動信号を入力する。撮像素子44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
プロセッサ装置12は、コントローラ56の他、DSP(Digital Signal Processor)57、画像処理部58と、フレームメモリ59と、表示制御回路60を備えている。コントローラ56は、CPU、制御プログラムや制御に必要な設定データを記憶するROM、プログラムをロードして作業メモリとして機能するRAMなどからなり、CPUが制御プログラムを実行することにより、プロセッサ装置12の各部を制御する。
DSP57は、撮像素子44が出力する撮像信号を取得する。DSP57は、B、G、Rの各画素に対応する信号が混在した撮像信号を、3色の撮像信号に分離し、各色の撮像信号に対して画素補間処理を行って、B、G、Rの各色の分光画像を生成する。この他、DSP57は、ガンマ補正や、B、G、Rの各分光画像の撮像信号に対してホワイトバランス補正などの信号処理を施す。
フレームメモリ59は、DSP57が出力する画像データや、画像処理部58が処理した処理済みのデータを記憶する。表示制御回路60は、フレームメモリ59から画像処理済みの画像データを読み出して、コンポジット信号やコンポーネント信号などのビデオ信号に変換してモニタ14に出力する。
また、画像処理部58は、通常観察モードにおいては、DSP57によって色分離されたB、G、Rの分光画像B、G、Rに基づいて、通常観察画像を生成する。画像処理部58は、フレームメモリ59内の分光画像B、G、Rが更新される毎に、通常観察画像を生成する。
画像処理部58には、機能画像処理部61が設けられている。機能画像処理部61は、機能情報観察モードにおいて、狭帯域光N1、N2、N3の照射タイミングに合わせて順次取得される撮像信号に対応する3つの分光画像PB1、PB2、PB3に基づいて、血中ヘモグロビンの酸素飽和度StO2と、血管の深さDの情報を算出する。そして、算出した酸素飽和度を疑似カラーで画像化した酸素飽和度画像を生成する。分光画像PB1、PB2、PB3は、撮像素子44が出力する撮像信号から、狭帯域光N1、N2、N3の反射光量を表すB画素の信号を分離して生成されたものである。
図4及び図5に示すように、撮像素子44のB画素のマイクロカラーフイルタの分光特性は、青色領域の狭帯域光N1、N2、N3だけでなく、狭帯域光N1、N2によって励起される蛍光FL1、FL2の一部と重なっているため、各分光画像PB1、PB2の輝度値には、狭帯域光N1、N2の反射光量に加えて、蛍光FL1、FL3の一部の反射光量が含まれている。分光画像PB3の輝度値は、狭帯域光N3の反射光量を表す。
機能画像処理部61は、位置合わせ処理部63、輝度比算出部64、相関関係記憶部65、血管深さ−酸素飽和度算出部66と、血管深さ画像生成部67及び酸素飽和度画像生成部68を備えている。位置合わせ処理部63は、後述するように、分光画像PB1、PB2、PB3の3つの分光画像の位置合わせ処理を行う。
輝度比算出部64は、位置合わせ処理が行われた分光画像PB1、PB2、PB3をフレームメモリ59から読み出して、各分光画像PB1、PB2、PB3を照合して、分光画像PB1と分光画像PB3の第1輝度比S1/S3を求めるとともに、分光画像PB1と分光画像PB3の第2輝度比S2/S3を求める。
ここで、S1は分光画像PB1の画素の輝度値を、S2は分光画像PB2の画素の輝度値を、S3は分光画像PB3の画素の輝度値を表している。輝度値S3は、観察部位の明るさのレベルを表すものであり、輝度値S1、S2を比較するために、輝度値S1、S2の値を規格化するための参照信号である。
第1輝度比S1/S3と第2輝度比S2/S3は、各分光画像PB1、PB2、PB3間において、対応する全画素について算出される。分光画像PB1、PB2、PB3は、位置合わせが行われているので、血管領域の画素同士の輝度比を求めることができる。もちろん、血管領域を特定して、その部分のみについて、第1輝度比S1/S3と第2輝度比S2/S3を求めてもよい。
相関関係記憶部65は、第1及び第2輝度比S1/S3、S2/S3と、血管中の酸素飽和度及び血管深さとの相関関係を記憶している。この相関関係は、生体組織の光反射特性と、これまでの診断等で蓄積された多数の分光画像の分析により得られたものである。以下に、上記相関関係とそれを前提とした、酸素飽和度及び血管深さの算出方法について説明する。
生体組織の光反射特性は、具体的には、図8に示す、血中のヘモグロビンの吸光スペクトルで表される光吸収特性と、図9に示す、生体組織の光散乱特性である。
図8に示すように、ヘモグロビンは、照射する光の波長によって吸光係数μaが変化する光吸収特性を持っている。吸光係数μaは、ヘモグロビンの光の吸収の大きさである吸光度を表すもので、ヘモグロビンに照射された光の減衰状況を表すIexp(−μa×x)の式の係数である。ここで、Iは光源装置から観察部位の表層粘膜など生体組織に照射される光の強度であり、x(cm)は生体組織内の血管までの深さである。
ヘモグロビンの吸光スペクトルは、長波長側の赤色領域において低く、緑色領域や青色領域においてピークを持っている。波長が450nm以下の青色領域のピークは特に高い。このため、白色光の下では、緑色領域や青色領域が吸収されるので血液は赤く見える。このように、ヘモグロビンの吸光スペクトルは、波長依存性を有しており、異なる波長間では吸光係数μaが変わるので、波長が変化すれば輝度値も変化する。例えば、狭帯域光N1(445nm)と狭帯域光N2(473nm)をそれぞれ同じ光強度で、同じ太さ(血液量が同じ)の血管に照射しても、吸光係数μaが異なるので、それぞれの分光画像PB1、PB2に対応する輝度値S1、S2は異なる。
また、図8のグラフの縦軸を対数表示にした図10において、酸素と結合していない還元ヘモグロビン70と、酸素と結合した酸化ヘモグロビン71は、異なる吸光特性を持っており、同じ吸光係数μaを示す等吸収点(図10における各ヘモグロビン70、71の交点)を除いて、吸光係数μaに差が生じる。吸光係数μaに差があると、同じ光強度かつ同じ波長の光を照射しても、酸素飽和度が変化すれば、輝度値が変化する。例えば、445nmや473nm付近の波長の光である狭帯域光N1、N2では、どちらの波長域においても吸光係数μaに差があるため、酸素飽和度が変化すると、分光画像PB1、PB2の輝度値S1、S2は変化する。
ただし、445nm付近では、還元ヘモグロビン70の吸光係数μaの方が酸化ヘモグロビン71の吸光係数μaよりも高くなっており、一方、473nm付近では、酸化ヘモグロビンの方が還元ヘモグロビン70よりも高くなっており、両者の吸光係数μaの大小関係が逆転している。このため、445nmに対応する輝度値S1は、酸素飽和度が高いほど、高くなるのに対して、473nmに対応する輝度値S2は、酸素飽和度が高いほど、低くなる。
一方、波長405nmは、ヘモグロビンの吸光スペクトルにおいて等吸収点であるため、405nmに対応する輝度値S3は、酸素飽和度が変化しても、光強度が同じであれば一定である。
また、生体組織の散乱特性は、図9に示すように、散乱係数μSが波長依存性を持っている。散乱は主として血管以外の粘膜で生じる。散乱係数μSは、短波長側で高く、特に450nm以下の領域では急激に大きくなる。そして、長波長に向かって単調減少する。
消化管内の粘膜に対して波長λの光を照射したときの反射率Rは、散乱係数μSが大きいほど、また、血管深さDが深いほど、高くなる。血管が深いと、粘膜表層から血管までの距離が長く、粘膜に入射した光が血管に到達するまでの間に散乱によって反射するためである。血管が深いほど血管に到達する光量は小さくなり、血管とその周辺の血管が存在しない粘膜とのコントラストは小さくなる。また、血中ヘモグロビン(血液)による光の吸収については、吸光係数μaが高く、また、血管が太いほど(血液量が多いほど)、光の吸収が多いため、反射率Rは小さくなる。
分光画像の輝度値は、反射率Rによって決まる値であり、反射率Rが高いほど高く、反射率Rが低いほど小さい。以上を前提とすると、血管の太さが同じ(血液量が同じ)場合には、2つの狭帯域光N1(445nm)及び狭帯域光N2(473nm)は、散乱係数μSが異なるため、血管深さDの変化に対する反射率Rの変化量が異なる。また、狭帯域光N1と狭帯域光N2では、還元ヘモグロビン70と酸化ヘモグロビン71のそれぞれの吸光係数μaの差の大きさも異なるため、酸素飽和度StO2の変化に対する反射率Rの変化量も異なる。このような散乱係数μSに差があり、かつ、各ヘモグロビン70、71の吸光係数μaの差の大きさが異なる2種類の波長の光の輝度値(反射率Rによって決まる)を比較することで、酸素飽和度StO2と血管深さDの2種類の情報を取得することができる。言い換えれば、酸素飽和度StO2及び血管深さDのそれぞれについて、相互間の影響を排除した精度の高い情報を取得することができる。
狭帯域光N1(445nm)、N2(473nm)、N3(405nm)の3つの光の輝度値S1、S2、S3と、酸素飽和度StO2及び血管深さDのそれぞれとの関係は、具体的には以下のような関係となる。
まず、酸素飽和度StO2との関係について、輝度値S1と酸素飽和度StO2の関係は、図10のヘモグロビンの吸光スペクトルに示したように、波長445nmでは還元ヘモグロビン70の方が酸化ヘモグロビン71よりも吸光係数μaが高いので、図11の<S1−S>のグラフに示すように、右肩上がりのグラフになり、酸素飽和度StO2が高いほど、輝度値S1は高くなる。そして、波長473では、還元ヘモグロビン70と酸化ヘモグロビン71のそれぞれの吸光係数μaの大小関係が逆転しているため、輝度値S2と酸素飽和度StO2の関係は、図11の<S2−S>のグラフに示すように、右肩下がりのグラフになり、酸素飽和度StO2が高いほど、輝度値S2は低くなる。波長405nmは等吸収点であるため、図11の<S3−S>のグラフに示すように、酸素飽和度StO2が変化しても、輝度値S3は一定である。
<S1−S>、<S2−S>、<S3−S>のグラフから、第1輝度比S1/S3、第2輝度比S2/S3のそれぞれと酸素飽和度StO2の関係は、図11の<S1/S3−S>、<S2/S3−S>のようになる。<S1/S3−S>のグラフに示すように、第1輝度比S1/S3と酸素飽和度StO2の関係は、酸素飽和度StO2が高いほど、第1輝度比S1/S3は高い。一方、<S1/S3−S>のグラフに示すように、第2輝度比S2/S3と酸素飽和度StO2の関係は、酸素飽和度StO2が高いほど、第2輝度比S2/S3は高い。
次に、狭帯域光N1(445nm)、N2(473nm)、N3(405nm)の3つの光の輝度値S1、S2、S3と、血管深さDとの関係は、図12に示すようになる。
輝度値S1、S2、S3のそれぞれと血管深さDの関係については、図12の<S1−D>、<S2−D>、<S3−D>のグラフに示すように、輝度値S1、S2、S3のいずれも、右肩上がりとなり、血管深さDが深いほど高くなる。これは、上述のとおり、血管が深い位置にあるほど、粘膜表層から血管までの距離が長く、粘膜に入射した光が血管に到達するまでの間に散乱によって反射する光量が多くなり、反射率が高くなるためである。
ただし、輝度値S1、S2、S3は、それぞれ散乱係数μSが異なるため、グラフの傾きは異なる。グラフの傾きは、散乱係数μSが高い順に大きくなる。すなわち、輝度値S3(405nm)の傾きが最も大きく、次が輝度値S1(445nm)で、輝度値S3(473nm)が最も小さい。また、血管の深さDが同じ場合の輝度値を比較すると、散乱係数μSが大きいほど、輝度値は大きくなる。結果として、散乱係数μSが高いほど、輝度値が飽和する血管深さDが浅く、輝度値S3が最も浅い位置で飽和する。
<S1−D>、<S2−D>、<S3−D>のグラフから、第1輝度比S1/S3及び第2輝度比S2/S3のそれぞれと血管深さDの関係は、図12の<S1/S3−D>、<S2/S3−D>のグラフに示すようになる。<S1/S3−D>のグラフに示すように、第1輝度比S1/S3と血管深さDの関係は、血管深さDが深いほど、第1輝度比S1/S3は低い。同様に、<S1/S3−D>のグラフに示すように、第2輝度比S2/S3と血管深さDの関係も、第1輝度比S1/S3と同様に、血管深さDが深いほど、第2輝度比S2/S3は低い。
図12に示すように、第1輝度比S1/S3及び第2輝度比S2/S3のそれぞれと、酸素飽和度StO2との関係(図12の<S1/S3−S>、<S1/S3−S>のグラフ)と、第1輝度比S1/S3及び第2輝度比S2/S3のそれぞれと、血管深さDとの関係(図12の<S1/S3−D>、<S1/S3−D>のグラフ)を統合すると、第1及び第2輝度比S1/S3,S2/S3を表す輝度座標系66と、酸素飽和度及び血管深さを表す血管情報座標系67との対応関係が得られる。
輝度座標系66は、XYの2軸を持つXY座標系であり、X軸に第1輝度比S1/S3が割り当てられ、Y軸には第2輝度比S2/S3が割り当てられている。
血管情報座標系67は、輝度座標系66上に設けられたUVの2軸を持つUV座標系であり、U軸は血管深さDに、V軸は酸素飽和度StO2に割り当てられている。U軸は、血管深さDが輝度座標系66に対して正の相関関係があることから、正の傾きを有している。このU軸に関して、右斜め上に行くほど血管は浅いことを、左斜め下に行くほど血管が深いことを示している。一方、V軸は、酸素飽和度StO2が輝度座標系66に対して負の相関関係を有することから、負の傾きを有している。このV軸に関して、左斜め上に行くほど酸素飽和度StO2が低いことを、右斜め下に行くほど酸素飽和度StO2が高いことを示している。また、血管情報座標系67においては、U軸とV軸とは交点Pで交差している。
相関関係記憶部61(図7参照)は、図13に示すような、輝度座標系66と、血管情報座標系67との対応関係を表す相関関係のデータを記憶している。
輝度比算出部60は、分光画像PB1、PB2、PB3のそれぞれから、画面内の位置が対応する画素を読み出して、画素毎に第1輝度比S1/S3及び第2輝度比S2/S3を算出する。輝度比算出部60は、算出した第1輝度比S1/S3及び第2輝度比S2/S3の1対の輝度比のデータを画素毎に、血管深さ−酸素飽和度算出部62に対して出力する。血管深さ−酸素飽和度算出部62は、第1及び第2輝度比S1/S3,S2/S3が入力されると、相関関係記憶部61に記憶された相関関係を参照して、入力された第1及び第2輝度比S1/S3,S2/S3に対応する酸素飽和度StO2と血管深さDを特定する。
血管深さ−酸素飽和度算出部62に入力された第1輝度比S1/S3及び第2の輝度比S2/S3を、それぞれ第1輝度比をS1/S3、第2輝度比をS2/S3とすると、血管深さ−酸素飽和度算出部62は、次のようにして、酸素飽和度StO2と血管深さDを特定する。
血管深さ−酸素飽和度算出部62は、図14(A)に示すように、輝度座標系66において、第1及び第2輝度比S1/S3,S2/S3に対応する座標(X,Y)を特定する。座標(X,Y)が特定されたら、図14(B)に示すように、血管情報座標系67において、特定した座標(X,Y)を、酸素飽和度の座標軸であるV軸と、血管深さの座標軸であるU軸にそれぞれ射影して、座標(U,V)を特定する。これにより、1つの画素について、血管深さ情報U及び酸素飽和度情報Vが求まる。血管深さ−酸素飽和度算出部62は、こうした処理を1画面分の全画素について繰り返して、全画素に対する血管深さ情報U及び酸素飽和度情報Vを求める。
以上説明したように、散乱係数μSに差があり、かつ、各ヘモグロビン70、71の吸光係数μaの差の大きさが異なる2種類の波長の光(N1、N2)の輝度値S1、S2と、各輝度値S1、S2を比較するための参照光(N3)の輝度値S3を利用することで、酸素飽和度StO2と血管深さDについて、相互の影響を排除した精度の高い情報を取得することができる。これは2種類の光の反射率Rを比較することに他ならないので、酸素飽和度StO2及び血管深さDの変化に対する変化量の差が大きいほど、比較される輝度値S1、S2の差も大きくなり、S/N比が高くなり、精度の高い情報を得ることができる。比較される輝度値S1、S2を求めるための2種類の光については、本例の狭帯域光N1、N2のように、散乱係数μSの差が大きく、かつ、各ヘモグロビン70、71の吸光係数μaの差が大きな、波長を選択することが好ましい。
上記例では、狭帯域光N1、N2のように、還元ヘモグロビン70と酸化ヘモグロビン71の吸光係数μaの大小関係が逆転している波長域を持つ2つの光を利用する例で説明したが、吸光係数μaの差があれば大小関係が逆転していなくても構わない。例えば、比較する輝度値S1、S2を得るための2つの波長を、ともに、還元ヘモグロビン70の吸光係数μaの方が酸化ヘモグロビン71よりも高い波長の光を利用する場合には、酸素飽和度StO2と輝度値Sの関係は、2つの波長ともに、445nmの狭帯域光N1と同様に、右肩上がりとなる。その場合には、図15に示すように、血管座標系67の傾きが変化して右肩上がりとなる。
図15に示す例は、吸光係数μaの大小関係が逆転している場合と比較すると、信号値(輝度比)の差が小さくなるため、その分S/N比は低くなる。そのため、S/N比を上げる観点からは、上記例の狭帯域光N1、N2のように、吸光係数μaの大小関係が逆転している2つの波長を選択することが好ましい。
また、2つの輝度値S1、S2を規格化するための参照信号を得るための参照光として、等吸収点の波長の光である狭帯域光N3を使用しているが、参照光は観察部位の明るさのレベルが分かればよいので、等吸収点の波長でなくてもよい。また、白色光でもよいし、白色光から色分離したG色光やR色光を用いてもよい。
図7において、血管深さ画像生成部67は、内部メモリを有しており、内部メモリには、血管深さの程度に応じてカラー情報が割り当てられたカラーテーブル67aが記憶されている。カラーテーブル67aには、例えば、血管の深さが表層のときは青、中層のときは緑、深層のときは赤というように、血管深さの程度に応じて、明瞭に区別することができる色が割り当てられている。ここでいう血管深さは、狭帯域光N1、N2の深達度の範囲内における深さである。狭帯域光N1、N2は、青色領域であるため、観察部位の表面からの深達度は、より波長が長い赤色領域の光に比べて短いため、狭帯域光N1、N2によって、主として表層領域内の深さの程度を判別することができる。血管深さ画像生成部67は、カラーテーブル67aから、血管深さ−酸素飽和度算出部67で算出された血管深さ情報Uに対応するカラー情報を特定する。
血管深さ画像生成部67は、血管領域内の全ての画素についてカラー情報が特定されると、カラー情報を、通常観察画像に合成することで、通常観察画像に反映させる。通常観察画像としては、例えば、狭帯域光N1とそれによって励起される蛍光FL1とからなる白色光によって取得される画像データを用いる。これにより、通常観察画像に対して血管深さの情報が反映された血管深さ画像が生成される。生成された血管深さ画像は再度フレームメモリ59に記憶される。なお、カラー情報は、通常観察画像にではなく、機能情報観察モードにおいて得られる、分光画像PB1、PB2、PB3のいずれか、あるいはこれらを合成した合成画像に対して反映させてもよい。
酸素飽和度画像生成部68は、内部メモリを有しており、内部メモリには、酸素飽和度の程度に応じてカラー情報が割り当てられたカラーテーブル68aが記憶されている。カラーテーブル68aには、例えば、低酸素飽和度であるときにはシアン、中酸素飽和度であるときにはマゼンダ、高酸素飽和度であるときにはイエローというように、酸素飽和度の程度に応じて、明瞭に区別することができる色が割り当てられている。酸素飽和度画像生成部64は、血管深さ画像生成部と同様に、カラーテーブル68aから血管深さ−酸素飽和度算出部で算出された酸素飽和度情報Vに対応するカラー情報を特定する。そして、このカラー情報を通常観察画像に反映させることにより、酸素飽和度画像を生成する。生成された酸素飽和度画像は、血管深さ画像と同様、フレームメモリ59に記憶される。なお、血管深さ画像と同様に、酸素飽和度画像は、通常観察画像の代わりに、分光画像PB1、PB2、PB3やこれらの合成画像をベースにカラー情報を反映させたものでもよい。
表示制御回路60は、通常観察画像と同様に、フレームメモリ59から血管深さ画像や酸素飽和度画像を読み出して、これをビデオ信号に変換してモニタ14に出力する。機能情報観察モードにおける画像の表示形態としては様々なパターンが考えられる。
例えば、図16に示すように、モニタ14の一方の側に通常観察画像の表示画像72を表示させ、他方の側に、血管深さ画像の表示画像73または酸素飽和度画像の表示画像74のいずれかを表示させるようにしてもよい。表示画像73と表示画像74の切り替えは、例えばコンソール15の操作によって行われる。もちろん、表示画像73、74を同時に表示してもよい。表示画像73では、表層血管75が青色で、中層血管76が緑色で、深層血管77が赤色で表示される。また、酸素飽和度画像74では、低酸素飽和度を示す血管80がシアンで、中酸素飽和度を示す血管81がマゼンダで、高酸素飽和度を示す血管82がイエローで表示される。
なお、血管深さ情報と酸素飽和度情報は、画像に代えて又は加えて、文字情報として表示してもよい。また、酸素飽和度を画像化しているが、酸素飽和度画像には、上記例で示した形態に代えて、又はそれに加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスを画像化したものも含まれる。
また、本例では、酸素飽和度の算出において、狭帯域光N1、N2として、青色領域の狭帯域光を使用している。青色領域の光が使用される理由は、腫瘍の良悪鑑別などの病変部の診断においては、中深層よりも表層血管の性状の把握が重要である場合も多く、表層血管の性状を詳細に把握できる観察方法が望まれているためである。こうした要請に応えるため、本発明においては、深達度が浅く、表層血管の情報を良好に取得できる青色領域の光が採用される。
そして、狭帯域光が使用される理由は次のとおりである。図8、図10に示すヘモグロビンの吸光スペクトルで明らかなように、青色領域においては、緑色領域や赤色領域と比較して、吸光度の変化が急峻であり、波長が少しずれると、吸光度が大きく変化する。また、各ヘモグロビン70、71の吸光度の大小関係に逆転が生じる等吸収点の間隔も狭い。波長域が広いと、大小関係が逆転する2つの領域の信号が混合して、輝度値が平均化されてしまうため、精度の高い情報が得られない。そのため、青色領域の光を利用して表層血管の血管情報を得るためには、2つの等吸収点の間隔に近い幅の波長域、好ましくは、2つの等吸収点の間隔に収まる波長域を持つ狭い狭帯域光を用いる必要がある。
また、表層血管は、中深層血管と比較して細いため、照射される光量が不足しがちであり、表層血管を観察する場合には、光量が大きな光源が必要になる。
このように、表層血管に関する血管情報の測定精度を高めるには、青色領域の狭帯域光で、かつ高い光量の光を発する光源が適しており、こうした理由から、本例においては、高出力の狭帯域光N1、N2を発光可能なレーザ光源LD1、LD2を採用している。
次に、機能情報観察モードにおいて、酸素飽和度及び血管深さの算出の前に、位置合わせ処理部63が実行する位置合わせ処理について説明する。図6(B)に示すように、狭帯域光N1、N2、N3の照射タイミング及びその反射光の撮像タイミングが異なるため、取得される分光画像PB1、PB2、PB3は、手ぶれ、視野の移動、心拍や呼吸などによる患者の体動によって、位置ズレが生じる。酸素飽和度の算出に当たっては、各分光画像PB1、PB2の対応する画素の輝度値を比較するため、位置合わせ処理部63は、位置合わせを行って、各分光画像PB1、PB2、PB3間の位置ズレを解消する。
図17に示すように、位置合わせ処理部63は、最初に、分光画像PB1、PB2、PB3を、フレームメモリ59から読み出して、コントラスト調整処理を施す。コントラスト調整処理は、位置合わせ用画像を生成するための前処理である。そして、コントラストを調整後、前処理が済んだ処理済みの分光画像PB1、PB2、PB3に対して二値化処理を施して、位置合わせ用画像である二値画像EPB1、EPB2、EPB3を生成する。そして、二値画像EPB1、EPB2、EPB3に基づいて、位置ズレ量検出処理を行う。最後に、位置合わせ用画像で検出された位置ズレ量に基づいて、原画像である分光画像PB1、PB2、PB3の位置合わせ処理を行う。
図18に示すように、位置合わせ処理部63は、コントラスト調整処理を行う際に、分光画像PB1、PB2、PB3について、それぞれの濃度ヒストグラムを求める。周知のように、濃度ヒストグラムは、横軸に画素値(輝度値)を、縦軸に頻度を取ったグラフである。分光画像PB1、PB2、PB3のそれぞれには、表層血管86と中深層血管87が描出されている。
狭帯域光N1、N2、N3は、それぞれ445nm、473nm、405nmの青色領域の波長域を持つ。これらの波長域は、ヘモグロビンの吸光係数が高いため、表層血管86、中深層血管87の領域では、狭帯域光N1、N2、N3の反射光量が小さく、輝度値も低い。一方、血管が存在しない領域はヘモグロビンによる吸収が無いため、反射光量が大きく、輝度値が高い。そのため、分光画像PB1、PB2、PB3において、表層血管86、中深層血管87は、その周辺の血管が存在しない領域と比較して、濃度が高い。
また、狭帯域光N1、N2、N3は青色領域の波長域を持つため、散乱が強く、深達度が低いため、中深層血管87まで到達する光量は少なく、表層血管86における吸収が多い。そのため、分光画像PB1、PB2、PB3において、中深層血管87と比べて、表層血管86の濃度が高く描出される。そのため、分光画像PB1、PB2、PB3の濃度ヒストグラムは、濃度が高い順(画素値が低い順)に、表層血管86のピークa、中深層血管87のピークb、血管が存在しない粘膜のピークcの3つのピークを持つ。
また、図8、図10に示すヘモグロビンの吸光スペクトルで明らかなように、狭帯域光N2(473nm)は、狭帯域光N1、N2と比較して、ヘモグロビンの吸収係数μaが低いため、相対的にヘモグロビンによる吸収が少ない。そのため、分光画像PB2は、分光画像PB1、PB3と比較すると、血管と血管が存在しない粘膜とのコントラストが低い。これは、濃度ヒストグラムにおいては、画素値の最大値(max)と最小値(min)の幅であるダイナミックレンジDRの違いとして現れる。分光画像PB2のダイナミックレンジDR2は、分光画像PB1、PB3のダイナミックレンジDR1、DR3よりも狭い。
分光画像PB1、PB2、PB3の位置合わせを行う場合には、白と黒に二値化されるが、コントラストに差があると、例えば、コントラストが高い分光画像PB1、PB3の二値画像EPB1、EPB3においては黒に振り分けられる血管領域が、コントラストが低い分光画像PB2の二値画像EPB2においては白に振り分けられてしまう場合がある。この場合には、同じ値を示すべき領域が異なる値を示すことになるため、位置合わせの精度の低下を招く。
そのため、図19に示すように、位置合わせ処理部63は、分光画像PB1、PB2、PB3間においてコントラスト調整処理を施して、各分光画像PB1、PB2、PB3のコントラストを合わせる。図19においては、分光画像PB1及び分光画像PB2間のコントラストを合わせる例を示している。
位置合わせ処理部63は、内部メモリを有しており、内部メモリには、階調補正テーブル63aが記憶されている。階調補正テーブル63aは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有している。コントラストを上げるためには、処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるようにすればよいので、図19に示す略S字形状の階調補正カーブに基づいて階調補正を行えば、コントラストを上げることができる(DRが広がる)。反対に、逆S字形状の階調補正カーブを使用すれば、コントラストが下がる(DRが狭くなる)。
コントラスト調整処理において、位置合わせ処理部63は、最もコントラストが低い分光画像PB2に対してコントラストが高い分光画像PB1を基準画像とし、分光画像PB2のコントラストが基準画像のコントラストに一致するように調整レベルを決定する。位置合わせ処理部63は、分光画像PB1と分光画像PB2の濃度ヒストグラムに基づいて、それぞれのダイナミックレンジDR1、DR2を判定し、分光画像PB2のダイナミックレンジDR2が、ダイナミックレンジDR1にほぼ一致するように階調補正テーブル63aの階調補正カーブを生成する。生成した階調補正カーブを適用して、分光画像PB2に対してコントラスト調整処理を施すことで、分光画像PB2のダイナミックレンジDR2を、分光画像PB1のダイナミックレンジDR1に合わせる。これにより、分光画像PB2において、血管領域と血管が存在しない領域の濃度差が広がって、明瞭な識別が可能になる。
図19においては、分光画像PB1、PB2間のコントラスト調整処理を説明したが、位置合わせ処理部63は、分光画像PB1、PB3に対してもコントラスト調整処理を行う。分光画像PB1、PB3間のコントラスト調整処理においては、分光画像PB1を基準画像として、分光画像PB3のコントラストを調整する。これにより、分光画像PB1、PB2、PB3の2つの分光画像のコントラストをほぼ一致させることができる。なお、位置合わせ処理部63が、濃度ヒストグラムに基づいて、2つの分光画像のコントラストの差が所定の許容範囲にあるか否かを判定して、許容範囲内の場合には、コントラスト調整処理をせず、許容範囲外の場合にのみコントラスト調整処理を実行してもよい。例えば、分光画像PB1、PB3間のコントラストの差が許容範囲である場合には、分光画像PB1、PB3に対してはコントラスト調整処理を行わなくてもよい。
位置合わせ処理部63は、図17で示したように、コントラスト調整処理を施した分光画像PB1、PB2、PB3に対して二値化処理を施し、しきい値を基準に画素値を白と黒の二値に振り分けて二値画像EPB1、EPB2、EPB3を生成する。しきい値は、血管領域が黒、血管が存在しない領域が白になるような値が設定される。例えば、濃度ヒストグラムの中深層血管のピークbと粘膜のピークcの間の谷をしきい値として設定する。なお、青色領域の狭帯域光では、中深層血管87と比較して、表層血管86がより明瞭に描出されるので、表層血管86のピークaと中深層血管87のピークbの間の谷をしきい値として設定してもよい。
位置合わせ処理部63は、二値化処理後に、二値画像EPB1、EPB2、EPB3に基づいて、位置ズレ量検出処理を行う。位置ズレ量検出処理では、例えば、ブロックマッチングの手法で画像間の動きベクトルを求めて、求めた動きベクトルを位置ズレ量として検出する。
具体的には、図20に示すように、二値画像EPB1と二値画像EPB2の2つの画像の一方、例えば二値画像EPB1を基準画像として、基準画像の画面内において代表点91を設定し、各代表点の周囲に例えば9×9画素程度の小領域をブロック92として設定する。代表点91は、例えば画面内に9つ設定され、ブロック92も代表点91の数に応じて9つ設定される。一方、二値画像EPB2においては、各代表点91と同じ座標位置を基準にブロック92よりも大きなサーチエリア93を設定する。そして、二値画像EPB2のサーチエリア93内において、二値画像EPB1のブロック92の画素値の積算値と、相関が高い領域を探索する。探索方法としては、例えば、二乗誤差SSD(Sum of Squared Difference)が利用される。
二乗誤差SSDは、ブロック92内の積算値と、サーチエリア93においてブロック92と同じ大きさのブロックの積算値とをそれぞれ二乗して、両者の差分をとることによって求められる。二乗誤差SSDが小さいほど両者の相関が高いと判定される。図20において、サーチエリア93内において、ブロック92と最も相関が高い領域がブロック94と判定された場合には、ブロック92の代表点91の座標と、ブロック94の代表点96の座標に基づいて動きベクトル97を求める。位置合わせ処理部63は、こうした処理を各ブロックについて行い、求めた各動きベクトル97を平均した値を、画像全体の位置ズレ量として検出する。なお、本例においては二乗誤差SSDを利用しているが、各ブロックの誤差の絶対値SAD(Sum of Absolute Difference)を利用してもよい。また、本例においては、直線移動方向に関する位置ズレ量のみを求めているが、回転方向に関する位置ズレ量を求めてもよい。
位置合わせ処理部63は、検出した位置ズレ量を、分光画像PB1、PB2に対して適用して位置合わせを行う。具体的には、各分光画像PB1、PB2のそれぞれの原点Oを位置ズレ量に基づいて調節して、各画素の座標を変換する。位置合わせ処理部63は、二値画像EB1、EB3に対しても同様の処理を行って、分光画像PB1、PB3の位置合わせを行う。
機能画像処理部61は、位置合わせが行われた分光画像PB1、PB2、PB3に基づいて、図13、14において説明した手順で、輝度比(S1/S3、S2/S3)を算出し、算出した輝度比に基づいて酸素飽和度及び血管深さを算出して、画像化を行う。
本発明では、位置合わせの前処理として、コントラスト調整処理を行っているため、分光画像PB1、PB2、PB3のコントラスト差が解消される。位置合わせ用画像である二値画像EB1、EB2、EB3を作成したときに、同じ血管領域が一方においては強調され、他方においては強調されないといったことが無くなり、二値画像EB1、EB2、EB3において同じように血管領域が強調される。そのため、コントラスト調整処理を行わない場合と比べて、位置ズレ量の検出精度が上がり、分光画像PB1、PB2、PB3の各画素の位置を正確に対応させることができる。これにより、血管領域同士の輝度値の比較を正確に行うことができるので、酸素飽和度や血管深さの算出精度が上がる。
酸素飽和度や血管深さといった生体機能情報を算出する場合は、単に2つの画像を合成して合成画像を生成する場合と比べて、位置合わせの精度は非常に高い精度が求められる。そのため、位置合わせの高精度化に寄与するコントラスト調整処理は、生体機能情報を算出する際には特に有用性が高い。
また、本例においては、酸素飽和度の算出に際して、青色領域の狭帯域光N1、N2、N3を使用している。上述したように、青色領域においては、波長の変化に対する、ヘモグロビンの吸光係数μaや散乱係数μSの変化が急峻である。そのため、狭帯域光N1、N2、N3のように、青色領域において異なる波長の光を用いた場合には、各分光画像PB1、PB2、PB3のコントラストの差も大きくなりがちである。そのため、本発明は、表層血管を観察するために青色領域における複数の狭帯域光を使用する場合に特に有効である。
さらに、本例においては、狭帯域光N1、N2、N3の光源としてレーザ光源LD1、LD2、LD3を使用しているが、現状においては、3つの光源の中で最も長波長のレーザ光源LD2は、レーザ光源LD1、LD3と比べて、出力が相対的に低い。これも、分光画像PB2のコントラストが、他の分光画像PB1、PB3と比較して、低くなる原因の1つである。したがって、本例のレーザ光源LD1(405nm)、LD2(473nm)、LD3(405nm)のように、出力差がある複数の光源を使用する場合に、本発明は特に有効である。
また、本発明によれば、血管の太さに応じた周波数フイルタリング処理を行う特許文献1のように血管の太さを把握する必要はないため、血管の太さが表示倍率によって変化する場合にも対応できる。表示倍率が変化した場合に処理の内容を変える必要もないので、構成が複雑化することも無い。
[第2実施形態]
上記実施形態では、画像間のコントラストの差に応じた前処理として、ダイナミックレンジを広げてコントラストを合わせるコントラスト調整処理を説明したが、コントラスト調整処理に代えて、前処理として、二値化処理のしきい値を決定する処理を行ってもよい。
図21に示すように、位置合わせ処理部63は、分光画像PB1、PB2、PB3のコントラストの差に応じて二値化処理のしきい値を決定する。例えば、図22に示すように、コントラストが高い分光画像PB1の濃度ヒストグラムに基づいて、コントラストが低い分光画像PB2の二値化処理のしきい値Th2を決定する。
分光画像PB2のように血管のコントラストが低い場合には、その濃度ヒストグラムと、コントラストが高い分光画像PB1の濃度ヒストグラムとを比較すると、表層血管86や中深層血管87の血管領域のピークa、bと、血管が存在しない粘膜のピークcとの境界(谷間)が不明瞭になる場合がある。谷間が不明瞭だと、設定したしきい値Th2が、血管領域と血管が存在しない領域を区別するには不適切な値に設定されてしまうことがある。しきい値Th2が不適切な値に設定されると、二値画像EPB1においては血管領域(黒)に振り分けられる画素が、二値画像EPB2においては血管が存在しない領域(白)に振り分けられてしまう。
そこで、位置合わせ処理部63は、ピークがはっきりしている分光画像PB1の濃度ヒストグラムに基づいて、例えば表層血管86のピークaと粘膜のピークcの画素値の差Δd1と、分光画像PB1において設定したしきい値Th1のそれぞれの値に基づいて、分光画像PB2のしきい値Th2を決定する。例えば、分光画像PB1の画素値の差Δd1としきい値Th1の比を求めて、その比と同じになるように、分光画像PB2のΔd2に対するしきい値Th2を求める。式で表すと、Th2=Th1×Δd2/Δd1となる。
位置合わせ処理部63は、求めたしきい値Th2に基づいて、分光画像PB2に対して二値化処理を施して、二値画像EPB1を生成する。これによれば、分光画像PB2のように、コントラストが低く、濃度ヒストグラムにおけるピークが不明瞭な場合でも、適切なしきい値Th2を求めることができる。しきい値Th2は、分光画像PB1のしきい値Th1に基づいて決められるので、分光画像PB1、PB2において、血管領域とそれ以外に振り分ける基準を合わせることができる。このため、コントラスト調整処理を行う場合と同様の効果が得られる。
なお、しきい値Th2の決め方としては、上記以外の方法として、例えば、次のような方法が考えられる。まず、しきい値Th2を適当に決めた後、二値画像EPB2を生成して、二値画像EPB1との間でパターンマッチングを行う。パターンマッチングは、画像内の一部の血管形状などのパターンを抽出して行ってもよいし、画像全体で行ってもよい。
この場合には、位置合わせ処理部63は、パターンマッチングの結果に基づいて、両者の一致度を評価する。各画像EPB1、EPB2間において画素値の差が少ないほど一致度は高い。位置合わせ処理部63は、一致度が所定の許容範囲内か否かを判定して、許容範囲内であれば、二値化を行ったしきい値Th2を最終的な値として確定する。許容範囲外の場合には、しきい値Th2の値を再設定して二値化を行い、パターンマッチングを行って一致度を評価する。こうした処理を一致度が許容範囲に収まるまで繰り返す。
なお、このようなパターンマッチングの一致度を評価してしきい値Th2を決定する方法は、文字やマークなどの比較的単純なパターンの場合には短時間で処理することができるが、血管などの複雑な形状の場合には処理に非常に時間がかかることが懸念される。そのため、処理時間を短縮する観点からは、上記例のように、分光画像PB1の濃度ヒストグラムに基づいて、分光画像PB2のしきい値Th2を決定する方法が好ましい。本例においては、分光画像PB1と分光画像PB2の位置合わせを例に説明しているが、分光画像PB1と分光画像PB3間でも同様であるため、説明を省略する。なお、第2実施形態と第1実施形態を組み合わせてもよい。
上記第1及び第2実施形態においては、位置合わせ用画像として二値画像を生成する例で説明したが、二値画像以外でもよい。本発明において二値化処理は、血管形状など画像内における輪郭や形状といった特徴量を強調することで、ブロックマッチングなどを用いて位置合わせを行う際の精度を上げるための処理であるから、輪郭や形状といった特徴量が強調される処理であればよい。そのため、例えば、画素値を、白、黒に加えてグレーの三値に振り分ける三値化処理により三値画像を生成して、これを位置合わせ用画像としてもよい。原画像と比較して輪郭や形状が明瞭になるならば、三値以上でもよく、原画像の階調数(例えば8ビットであれば256階調)を低減する階調低減処理が行われればよい。しきい値を三値以上に振り分ける場合には、しきい値が複数になるが、複数のしきい値の全部について、上記手順でしきい値を決定してもよいし、そのうちの1つに上記手順を適用してもよい。
また、上記第1実施形態においては、階調低減処理に代えて、エッジ強調処理を実行してもよい。エッジ強調処理は、周知のように、画像内において輪郭部分など濃度変化の激しい部分を強調する処理であり、例えば、ラプラシアンフイルタを用いたフイルタ処理がある。この場合には、位置合わせ処理部63は、位置合わせ用画像として、二値画像の代わりに、エッジ強調処理が施された画像を用いて位置ズレ量を検出する。
上記実施形態では、照明光として青色領域の光を用いた例で説明したが、特許文献1(特開2011−194151号公報)に記載されているように、中深層血管の観察に適した、波長が500nm台の緑色領域の光を用いた場合にも適用することができる。
上記実施形態では、半導体光源としてレーザダイオードからなるレーザ光源を例示したが、レーザダイオードの代わりにLEDを使用したLED光源でもよい。また、照明部としては、半導体光源の代わりに、キセノンランプやハロゲンランプなどの白色光源と、白色光源からの白色光を狭帯域光N1、N2、N3に分光する分光フイルタを有するロータリフイルタとを組み合わせたものでもよい。この場合には、撮像素子としてはモノクロの撮像素子が使用される。そして、各狭帯域光N1、N2、N3は、ロータリフイルタの回転に同期して順次照射され、各狭帯域光N1、N2、N3に対応する反射光がモノクロの撮像素子によって順次に撮像される。
なお、上記実施形態では、光源装置とプロセッサ装置が別体で構成される例で説明したが、2つの装置を一体で構成してもよい。また、本発明は、撮像素子と超音波トランスデューサが先端部に内蔵された超音波内視鏡と画像処理を行うプロセッサ装置からなるシステム、カプセル内視鏡と画像処理を行うプロセッサ装置からなるシステム等、他の形態の内視鏡システムにも適用することができる。
10 電子内視鏡システム
14 モニタ
31 半導体光源ユニット
32 光源制御部
44 撮像素子
57 DSP
58 画像処理部
61 機能画像処理部
63 位置合わせ処理部
63a 階調補正テーブル
LD1〜LD3 レーザ光源
PB1〜PB3 分光画像
EPB1〜EPB1 二値画像

Claims (12)

  1. 被検体内の血管を含む観察部位を撮像する電子内視鏡と、
    波長域が異なる少なくとも第1及び第2の照明光を前記観察部位に対して順次照射するための照明手段と、
    前記第1及び第2の照明光の照射タイミングに応じて前記電子内視鏡が順次出力する複数の撮像信号から、それぞれ前記第1及び第2の照明光に対応する第1及び第2の分光画像を取得する画像取得手段と、
    前記第1及び第2の分光画像における前記血管のコントラストの差に応じて、前記第1及び第2の分光画像を位置合わせするための前処理を行う前処理手段と、
    前記前処理後に、前記第1及び第2の分光画像のそれぞれにおける前記血管の形状を強調する強調処理を施して、前記第1及び第2の分光画像のそれぞれに対応する位置合わせ用画像を生成する強調処理手段と、
    前記第1及び第2の位置合わせ用画像に基づいて、前記第1及び第2の分光画像内のそれぞれの前記血管の位置が重なるように前記第1及び第2の分光画像同士の位置合わせを実行する位置合わせ手段と、
    前記位置合わせが実行された前記第1及び第2の分光画像に基づいて、前記血管の血中ヘモグロビンの酸素飽和度を算出する酸素飽和度算出手段とを備えていることを特徴とする電子内視鏡システム。
  2. 前記前処理手段は、前記第1及び第2の分光画像の濃度ヒストグラムに基づいて前記コントラストを調べて、前記前処理を実行することを特徴とする請求項1記載の電子内視鏡システム。
  3. 前記前処理手段は、前記第1及び第2の分光画像のうち前記コントラストが高い方を基準に低い方に対して前記前処理を施すことを特徴とする請求項2記載の電子内視鏡システム。
  4. 前記前処理は、前記第1及び第2の分光画像同士のコントラストを合わせるコントラスト調整処理であることを特徴とする請求項1〜3のいずれか1項に記載の電子内視鏡システム。
  5. 前記強調処理は、予め設定されるしきい値と第1及び第2の画像の画素値とを比較して、前記しきい値を基準に前記第1及び第2の分光画像の画素値を振り分けて、前記第1及び第2の分光画像の階調数を減らすことにより前記第1及び第2の位置合わせ用画像を生成する階調低減処理であり、
    前記前処理は、前記コントラストの差に応じて前記しきい値を決定するしきい値決定処理であることを特徴とする請求項1〜4のいずれか1項に記載の電子内視鏡システム。
  6. 前記階調低減処理は二値化処理であり、前記第1及び第2の位置合わせ用画像は二値画像であることを特徴とする請求項5記載の電子内視鏡システム。
  7. 第1及び第2の照明光は、少なくとも一方が青色領域において特定の波長域に制限された青色狭帯域光であることを特徴とする請求項1〜6のいずれか1項に記載の電子内視鏡システム。
  8. 前記照明手段は、前記第1及び第2の照明光に波長域が異なる第3の照明光を加えた3つの照明光を順次照射し、
    前記画像取得手段は、前記第1〜第3の照明光に対応する第1〜第3の分光画像を取得し、
    前記酸素飽和度算出手段は、前記第1〜第3の分光画像に基づいて前記酸素飽和度を算出することを特徴とする請求項7に記載の電子内視鏡システム。
  9. 第1の照明光は、波長域が440±10nmに制限された第1青色狭帯域光であり、第2の照明光は、波長域が470±10nmに制限された第2青色狭帯域光であり、第3の照明光は、波長域が410±10nmに制限された第3青色狭帯域光であることを特徴とする請求項8に記載の電子内視鏡システム。
  10. 前記照明手段は、第1〜第3の青色狭帯域光を発光する第1〜第3の半導体光源を有することを特徴とする請求項9記載の電子内視鏡システム。
  11. 被検体内の血管を含む観察部位を撮像する電子内視鏡を用いて取得される画像を処理する画像処理装置において、
    波長域が異なる少なくとも第1及び第2の照明光を前記観察部位に対して順次照射して、
    前記第1及び第2の照明光の照射タイミングに応じて前記電子内視鏡が出力する複数の撮像信号から、それぞれ前記第1及び第2の照明光に対応する第1及び第2の分光画像を取得する画像取得手段と、
    前記第1及び第2の分光画像における前記血管のコントラストの差に応じて、前記第1及び第2の分光画像を位置合わせするための前処理を行う前処理手段と、
    前記前処理後に、前記第1及び第2の分光画像のそれぞれにおける前記血管の形状を強調する強調処理を施して、前記第1及び第2の分光画像のそれぞれに対応する位置合わせ用画像を生成する強調処理手段と、
    前記第1及び第2の位置合わせ用画像に基づいて、前記第1及び第2の分光画像内のそれぞれの前記血管の位置が重なるように前記第1及び第2の分光画像同士の位置合わせを実行する位置合わせ手段と、
    前記位置合わせが実行された前記第1及び第2の分光画像に基づいて、前記血管の血中ヘモグロビンの酸素飽和度を算出する酸素飽和度算出手段とを備えていることを特徴とする画像処理装置。
  12. 被検体内の血管を含む観察部位を撮像する電子内視鏡を用いて取得される画像を処理する画像処理方法において、
    波長域が異なる少なくとも第1及び第2の照明光を前記観察部位に対して順次照射して、
    前記第1及び第2の照明光の照射タイミングに応じて前記電子内視鏡が出力する複数の撮像信号から、前記第1及び第2の照明光に対応する第1及び第2の分光画像を取得する画像取得ステップと、
    前記第1及び第2の分光画像における前記血管のコントラストの差に応じて、前記第1及び第2の分光画像を位置合わせするための前処理を行う前処理ステップと、
    前記前処理後に、前記第1及び第2の分光画像のそれぞれにおける前記血管の形状を強調する強調処理を施して、前記第1及び第2の分光画像のそれぞれに対応する位置合わせ用画像を生成する強調処理ステップと、
    前記第1及び第2の位置合わせ用画像に基づいて、前記第1及び第2の分光画像内のそれぞれの前記血管の位置が重なるように前記第1及び第2の分光画像同士の位置合わせを実行する位置合わせステップと、
    前記位置合わせが実行された前記第1及び第2の分光画像に基づいて、前記血管の血中ヘモグロビンの酸素飽和度を算出する酸素飽和度算出ステップとを備えていることを特徴とする画像処理方法。
JP2012005850A 2012-01-16 2012-01-16 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法 Active JP5753105B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012005850A JP5753105B2 (ja) 2012-01-16 2012-01-16 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012005850A JP5753105B2 (ja) 2012-01-16 2012-01-16 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JP2013144039A true JP2013144039A (ja) 2013-07-25
JP5753105B2 JP5753105B2 (ja) 2015-07-22

Family

ID=49040252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012005850A Active JP5753105B2 (ja) 2012-01-16 2012-01-16 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法

Country Status (1)

Country Link
JP (1) JP5753105B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015016013A1 (ja) * 2013-07-31 2015-02-05 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
JP2016067775A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067776A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067777A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017184861A (ja) * 2016-04-01 2017-10-12 富士フイルム株式会社 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
US10039439B2 (en) 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
WO2019203153A1 (ja) * 2018-04-20 2019-10-24 日本電信電話株式会社 成分濃度測定装置および成分濃度測定方法
CN111818837A (zh) * 2018-03-05 2020-10-23 奥林巴斯株式会社 内窥镜系统
CN112149529A (zh) * 2020-02-11 2020-12-29 友达光电股份有限公司 真伪指纹识别装置、方法以及非暂态计算机可读记录介质
CN112236067A (zh) * 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
US20210334941A1 (en) * 2019-01-24 2021-10-28 Fujifilm Corporation Endoscope apparatus
WO2022066601A1 (en) * 2020-09-25 2022-03-31 Boston Scientific Scimed, Inc. Color extrapolation from monochrome image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002085344A (ja) * 2000-09-20 2002-03-26 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2010220794A (ja) * 2009-03-24 2010-10-07 Fujifilm Corp 内視鏡画像回転装置および方法並びにプログラム
JP2011194151A (ja) * 2010-03-23 2011-10-06 Fujifilm Corp 電子内視鏡システム
JP2011234844A (ja) * 2010-05-10 2011-11-24 Olympus Corp 制御装置、内視鏡装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002085344A (ja) * 2000-09-20 2002-03-26 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2010220794A (ja) * 2009-03-24 2010-10-07 Fujifilm Corp 内視鏡画像回転装置および方法並びにプログラム
JP2011194151A (ja) * 2010-03-23 2011-10-06 Fujifilm Corp 電子内視鏡システム
JP2011234844A (ja) * 2010-05-10 2011-11-24 Olympus Corp 制御装置、内視鏡装置及びプログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6053079B2 (ja) * 2013-07-31 2016-12-27 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
WO2015016013A1 (ja) * 2013-07-31 2015-02-05 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
JP2018000994A (ja) * 2013-07-31 2018-01-11 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
JPWO2015016013A1 (ja) * 2013-07-31 2017-03-02 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
JP2017042629A (ja) * 2013-07-31 2017-03-02 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
US10039439B2 (en) 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
JP2016067777A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067776A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067775A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017184861A (ja) * 2016-04-01 2017-10-12 富士フイルム株式会社 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
US10986980B2 (en) 2016-04-01 2021-04-27 Fujifilm Corporation Image processing device, method for operating same, endoscope processor device, and method for operating same
CN111818837B (zh) * 2018-03-05 2023-12-08 奥林巴斯株式会社 内窥镜系统
CN111818837A (zh) * 2018-03-05 2020-10-23 奥林巴斯株式会社 内窥镜系统
JP2019190896A (ja) * 2018-04-20 2019-10-31 日本電信電話株式会社 成分濃度測定装置および成分濃度測定方法
WO2019203153A1 (ja) * 2018-04-20 2019-10-24 日本電信電話株式会社 成分濃度測定装置および成分濃度測定方法
CN112236067A (zh) * 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
US20210334941A1 (en) * 2019-01-24 2021-10-28 Fujifilm Corporation Endoscope apparatus
US11957316B2 (en) * 2019-01-24 2024-04-16 Fujifilm Corporation Endoscope apparatus
CN112149529A (zh) * 2020-02-11 2020-12-29 友达光电股份有限公司 真伪指纹识别装置、方法以及非暂态计算机可读记录介质
CN112149529B (zh) * 2020-02-11 2023-12-12 友达光电股份有限公司 真伪指纹识别装置、方法以及非暂态计算机可读记录介质
WO2022066601A1 (en) * 2020-09-25 2022-03-31 Boston Scientific Scimed, Inc. Color extrapolation from monochrome image sensor

Also Published As

Publication number Publication date
JP5753105B2 (ja) 2015-07-22

Similar Documents

Publication Publication Date Title
JP5753105B2 (ja) 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法
US11062442B2 (en) Vascular information acquisition device, endoscope system, and vascular information acquisition method
US11224335B2 (en) Image capturing system and electronic endoscope system
JP5395725B2 (ja) 電子内視鏡システム
JP5616303B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5623469B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5914496B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP5302984B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5762344B2 (ja) 画像処理装置及び内視鏡システム
JP5623470B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5774531B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム
JP6100674B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2016174976A (ja) 内視鏡システム
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
JP5829568B2 (ja) 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6325707B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6454755B2 (ja) 内視鏡システム
JP5965028B2 (ja) 内視鏡システム
JP6970777B2 (ja) 内視鏡システム
JP6694046B2 (ja) 内視鏡システム
JP2022009755A (ja) 内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150521

R150 Certificate of patent or registration of utility model

Ref document number: 5753105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250