JP2011254936A - 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法 - Google Patents

電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法 Download PDF

Info

Publication number
JP2011254936A
JP2011254936A JP2010130846A JP2010130846A JP2011254936A JP 2011254936 A JP2011254936 A JP 2011254936A JP 2010130846 A JP2010130846 A JP 2010130846A JP 2010130846 A JP2010130846 A JP 2010130846A JP 2011254936 A JP2011254936 A JP 2011254936A
Authority
JP
Japan
Prior art keywords
narrowband
tracking target
blood vessel
light
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010130846A
Other languages
English (en)
Other versions
JP5634755B2 (ja
Inventor
Hiroshi Yamaguchi
博司 山口
Takayuki Iida
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010130846A priority Critical patent/JP5634755B2/ja
Priority to US13/108,086 priority patent/US8585586B2/en
Publication of JP2011254936A publication Critical patent/JP2011254936A/ja
Application granted granted Critical
Publication of JP5634755B2 publication Critical patent/JP5634755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】病変部などの追跡対象を精度良く且つ確実に追跡する。
【解決手段】体腔内に広帯域光BBを照射したときの広帯域光画像63を、一定時間毎に取得する。追跡モード時においては、広帯域光画像63には指定領域枠Raが表示される。この指定領域枠Ra内に病変部などの部位が入ったときに、操作部に設けられたロックオンスイッチを押圧する。このロックオンスイッチの押圧に応じて、指定領域枠内の部位が追跡対象Sとして指定されるとともに、この追跡対象Sの血管情報が算出される。追跡対象の指定後は、挿入部16や先端部16aを動かすことによって、ロックオン時の広帯域光画像63とは別の広帯域光画像64を新たに取得する。この新たに取得した広帯域光画像64において、追跡対象Sの血管情報を含むエリアRa´を検出する。この検出を繰り返すことによって、広帯域画像64を取得する一連の流れにおいて追跡対象Sを追跡する。
【選択図】図5

Description

本発明は、体腔内における病変部などの追跡対象を追跡する電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法に関する。
近年の医療分野では、電子内視鏡を用いた診断や治療が数多く行なわれている。電子内視鏡は、被検者の体腔内に挿入される細長の挿入部を備えており、この挿入部の先端にはCCDなどの撮像装置が内蔵されている。また、電子内視鏡は光源装置に接続されており、光源装置で発せられた光は、挿入部の先端から体腔内部に対して照射される。このように体腔内部に光が照射された状態で、体腔内の被写体組織が、挿入部の先端の撮像装置によって撮像される。撮像により得られた画像は、電子内視鏡に接続されたプロセッサ装置で各種処理が施された後、モニタに表示される。
このように電子内視鏡を用いることによって、被検者の体腔内の画像をリアルタイムに取得することができる。リアルタイムに得られる体腔内の撮像画像からは、被写体組織全体だけでなく、微細血管、深層血管、ピットパターン(腺口構造)、陥凹や隆起といった凹凸構造などの被写体組織の各部位をも観察することができる。診断時には、被写体組織全体や被写体組織の各部位などの状況から、腫瘍部位などの病変部が存在するか否かを判断する。
体腔内の画像から病変部を発見した場合には、術者は、その発見した病変部が他の場所に転移しているかどうかなどを調べるため、内視鏡先端部を上下左右に動かしたり、体腔内の奥側に更に挿入したり又は引き出したりすることによって、発見した病変部の周囲を撮像する。このとき、内視鏡先端部を上下左右に動かしたりすることで、最初に発見した病変部を見失ってしまうことがある。これを防ぐためには、特許文献1のように、体腔内の画像から病変部を特徴点として検出し、その検出した特徴点を追跡することで、病変部を見失なわないようにすることができる。
特開2002−95625号公報
特許文献1では、特徴点を追跡する際、病変部などのパターンを認識した上で、追跡を行っているものと思われる。しかしながら、パターン認識に基づいて追跡した場合には、新たに取得する画像から、その認識したパターンに類似する部分を正確に且つ確実に検出することは困難な場合がある。したがって、パターン認識に基づく追跡対象の追跡は、精度の面で劣ることがある。
本発明は、診断の状況に応じて、医師が内視鏡画像を拡大したり又は遠景したり、内視鏡先端部を上下左右に動かしたりしても、病変部などの追跡対象を精度良く且つ確実に追跡することができる電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法を提供することを目的とする。
本発明の電子内視鏡システムは、体腔内の撮像により得られる撮像信号に基づき、内視鏡画像を一定時間毎に順次取得する内視鏡画像取得手段と、内視鏡画像の中から追跡対象を指定する追跡対象指定手段と、白色光の波長帯域とは異なる特定の波長帯域を有する特殊光を体腔内に照射する特殊光照射手段と、特殊光を照射したときに得られる撮像信号から、追跡対象の生体情報を取得する生体情報取得手段と、追跡対象の指定後に取得した内視鏡画像において、生体情報取得手段で取得した追跡対象の生体情報を使って追跡対象を追跡する追跡手段を備えることを特徴とする。
前記追跡対象指定手段は、内視鏡画像内に指定領域枠を表示する表示手段と、指定領域枠内の部位を追跡対象をとして指定するロックオン手段とを備えることが好ましい。前記生体情報取得手段は、前記追跡対象指定手段で指定された時点での追跡対象の生体情報を記憶する記憶手段を備えることが好ましい。
前記生体情報取得手段は、生体情報として、血管深さ、血液濃度、酸素飽和度の3つの血管情報のうち少なくともいずれか一つを取得することが好ましい。前記特殊光照射手段は、波長400nmから600nmまでの間で互いに異なる波長帯域を少なくとも3つ含む照明光であって前記波長帯域には青色帯域と緑色帯域が含まれる照明光を、体腔内の血管を含む被写体組織に照射可能であり、前記生体情報取得手段は、前記照明光を照射したときに得られる撮像信号に含まれる狭帯域信号であって、互いに異なる波長帯域を持つ狭帯域光にそれぞれ対応する複数の狭帯域信号を取得する第1狭帯域信号取得手段と、前記複数の狭帯域信号に基づいて、血管深さに関する血管深さ情報及び血液濃度に関する血液濃度情報を含む血管情報を求める第1血管情報取得手段とを備えていることが好ましい。
前記狭帯域信号取得手段は、互いに異なる波長帯域を有する青色帯域の第1及び第2の狭帯域光に対応する第1及び第2狭帯域信号と、緑色帯域の第3狭帯域光に対応する第3の狭帯域信号とを取得することが好ましい。前記第1狭帯域光の波長帯域は405±10nmであり、前記第2狭帯域光の波長帯域は470±10nmであり、前記第3狭帯域光の波長帯域は560±10nmであることが好ましい。
前記特殊光照射手段は、中心波長が450nm以下の波長領域を含む照明光を、体腔内の血管を含む被写体組織に照射可能であり、前記生体情報取得手段は、前記照明光を照射したときに得られる撮像信号に含まれる狭帯域信号であって、互いに異なる波長帯域を持ち、少なくとも一方の中心波長が450nm以下である複数の狭帯域光にそれぞれ対応する複数の狭帯域信号を取得する第2狭帯域信号取得手段と、前記複数の狭帯域信号に基づいて、血管深さ情報及び酸素飽和度に関する酸素飽和度情報を含む血管情報を求める第2血管情報取得手段とを備えることが好ましい。前記複数の狭帯域信号は、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでいることが好ましい。
前記特殊光照射手段は、体腔内の被写体組織から蛍光を発生させる励起光を照射することが可能であり、前記生体情報取得手段は、励起光の照射によって発生した蛍光を撮像することによって、生体情報として、前記蛍光に関する蛍光情報を取得することが好ましい。前記生体情報取得手段は、生体情報として、ピットパターンを取得することが好ましい。
本発明の電子内視鏡用のプロセッサ装置は、内視鏡画像の中から追跡対象が追跡対象指定手段で指定された後に、白色光の波長帯域とは異なる特定の波長帯域を有する特殊光を体腔内に照射したときに受信した撮像信号から、追跡対象の生体情報を取得する生体情報取得手段と、追跡対象の指定後に取得した内視鏡画像において、生体情報取得手段で取得した追跡対象の生体情報を使って追跡対象を追跡する追跡手段とを備えることを特徴とする。
本発明の追跡方法は、体腔内の撮像により得られる撮像信号に基づき、内視鏡画像を一定時間毎に順次取得する内視鏡画像取得ステップと、内視鏡画像の中から追跡対象を指定する追跡対象指定ステップと、白色光の波長帯域とは異なる特定の波長帯域を有する特殊光を体腔内に照射する特殊光照射ステップと、特殊光を照射したときに得られる撮像信号から、追跡対象の生体情報を取得する生体情報取得ステップと、追跡対象の指定後に取得した内視鏡画像において、生体情報取得手段で取得した追跡対象の生体情報を使って追跡対象を追跡する追跡ステップとを備えることを特徴とする。
本発明によれば、追跡対象の生体情報を用いて追跡を行なっているため、内視鏡画像を拡大したり又は遠景したり、内視鏡先端部を上下左右に動かしたりしても、追跡対象の追跡を精度良く且つ確実にすることができる。
本発明の電子内視鏡システムの外観図である。 本発明の電子内視鏡システムの電気的構成を示すブロック図である。 (A)は通常観察モード時または追跡対象指定処理におけるCCDの撮像動作を、(B)は血管情報取得処理時におけるCCDの撮像動作を、(C)は追跡対象検出処理時におけるCCDの撮像動作を説明する説明図である。 モニタに表示される体腔内の画像図である。 体腔内での内視鏡の挿入状態とその挿入状態で撮像された体腔内壁面の状態を説明する説明図であり、(B)は(A)の挿入位置よりも更に奥側で撮像されたことを表している。 体腔内での内視鏡の挿入状態とその挿入状態で撮像された体腔内の状態を説明する説明図であり、(B)は(A)の挿入位置よりも更に奥側で撮像されたことを表している。 体腔内での内視鏡の挿入状態とその挿入状態で撮像された体腔内壁面の状態を説明する説明図であり、(B)は(A)の挿入位置よりも手前側で撮像されたことを表しており、(C)は(B)の挿入位置よりも奥側で撮像されたことを表している。 第1及び2輝度比S1,S2と血管深さ及び血液濃度との相関関係を示すグラフである。 ヘモグロビンの吸収係数を示すグラフである。 第3及び4輝度比S3,S4と血管深さ及び酸素飽和度との相関関係を示すグラフである。 (A)は輝度座標系における第1及び第2輝度比の座標(S1,S2)を、(B)は座標(S1,S2)に対応する血管情報座標系の座標(K,L)を求める方法を説明する説明図である。 (A)は輝度座標系における第3及び第4輝度比の座標(S3,S4)を、(B)は座標(S3,S4)に対応する血管情報座標系の座標(U,V)を求める方法を説明する説明図である。 本発明の作用を示すフローチャートである。 本発明の本実施形態とは別の実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 別の実施形態の電子内視鏡システムで用いられる回転フィルタの概略図である。
図1に示すように、本発明の電子内視鏡システム10は、被検者の体腔内を撮像する電子内視鏡11と、撮像により得られた信号に基づいて体腔内の被写体組織の画像を生成するプロセッサ装置12と、体腔内を照射する光を供給する光源装置13と、体腔内の画像を表示するモニタ14とを備えている。電子内視鏡11は、体腔内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16の先端には、複数の湾曲駒を連結した湾曲部19が形成されている。湾曲部19は、操作部のアングルノブ21を操作することにより、上下左右方向に湾曲動作する。湾曲部19の先端には、体腔内撮影用の光学系等を内蔵した先端部16aが設けられており、この先端部16aは、湾曲部19の湾曲動作によって体腔内の所望の方向に向けられる。
ユニバーサルコード18には、プロセッサ装置12および光源装置13側にコネクタ24が取り付けられている。コネクタ24は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、電子内視鏡11は、このコネクタ24を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図2に示すように、光源装置13は、広帯域光源30と、シャッター31と、シャッター駆動部32と、第1〜第4狭帯域光源33〜35、38と、カプラー36と、光源切替部37とを備えている。広帯域光源30はキセノンランプ、白色LED、マイクロホワイト光源などであり、波長が赤色領域から青色領域(約470〜700nm)にわたる広帯域光BBを発生する。広帯域光源30は、電子内視鏡11の使用中、常時点灯している。広帯域光源30から発せられた広帯域光BBは、集光レンズ39により集光されて、広帯域用光ファイバ40に入射する。
シャッター31は、広帯域光源30と集光レンズ39との間に設けられており、広帯域光BBの光路に挿入されて広帯域光BBを遮光する挿入位置と、挿入位置から退避して広帯域光BBが集光レンズ39に向かうことを許容する退避位置との間で移動自在となっている。シャッター駆動部32はプロセッサ装置内のコントローラー62に接続されており、コントローラー62からの指示に基づいてシャッター31の駆動を制御する。
第1〜第4狭帯域光源33〜35,38はレーザーダイオードやLEDなどであり、第1狭帯域光源33は波長が400±10nmに、好ましくは405nmに制限された青色帯域の狭帯域の光(以下「第1狭帯域光N1」とする)を、第2狭帯域光源34は波長が470±10nmに、好ましくは473nmに制限された青色帯域の狭帯域の光(以下「第2狭帯域光N2」とする)を、第3狭帯域光源35は波長が560±10nmに、好ましくは560nmに制限された緑色帯域の狭帯域の光(以下「第4狭帯域光N4」とする)を、第4狭帯域光源38は、波長が440±10nmに、好ましくは445nmに制限された狭帯域の光(以下「第1狭帯域光N1」とする)を発生する。第1〜第4狭帯域光源33〜35,38はそれぞれ第1〜第4狭帯域用光ファイバ33a〜35a,38aに接続されており、各光源で発せられた第1〜第4狭帯域光N1〜N4は第1〜第4狭帯域用光ファイバ33a〜35a,38に入射する。
カプラー36は、電子内視鏡内のライトガイド43と、広帯域用光ファイバ40及び第1〜第4狭帯域用光ファイバ33a〜35a,38aとを連結する。これにより、広帯域光BBは、広帯域用光ファイバ40を介して、ライトガイド43に入射することが可能となる。また、第1〜第4狭帯域光N1〜N4は、第1〜第4狭帯域用光ファイバ33a〜35a,38aを介して、ライトガイド43に入射することが可能となる。
光源切替部37はプロセッサ装置内のコントローラー62に接続されており、コントローラー62からの指示に基づいて、第1〜第4狭帯域光源33〜35,38をON(点灯)またはOFF(消灯)に切り替える。通常観察モードでは、広帯域光BBが体腔内に照射されて広帯域光画像の撮像が行なわれる一方、第1〜第4狭帯域光源33〜35,38はOFFにされる。これに対して、病変部などの追跡対象を追跡する追跡モードでは、追跡対象指定処理、血管情報取得処理、追跡対象検出処理の3つの処理が存在し、各処理によって、それぞれ光の照射方法が異なる。
追跡対象指定処理は、追跡対象をロックオンによって指定するまでの処理であり、通常観察モードと同様、広帯域光BBを体腔内に照射して広帯域光画像の撮像を行なう一方、第1〜第4狭帯域光源33〜35,38はOFFにされる。追跡対象がロックオンされた後に切り替えられる血管情報取得処理は、追跡対象の血管情報を取得する処理であり、この血管情報取得処理に切り替えられると、シャッター31を挿入位置にセットして、体腔内への広帯域光BBの照射を停止する。広帯域光BBの照射が停止されると、第1狭帯域光源33が光源切替部37によりONに切り替えられる。そして、第1狭帯域光N1が体腔内に照射された状態で、被写体組織の撮像が行なわれる。撮像が完了すると、コントローラー62から光源切替の指示がなされ、第1狭帯域光源33がOFFに、第2狭帯域光源34がONに切り替えられる。そして、第2狭帯域光N2を体腔内に照射した状態での撮像が完了すると、同様にして、第2狭帯域光源34がOFFに、第3狭帯域光源35がONに切り替えられる。そして、第3狭帯域光N3を体腔内に照射した状態での撮像が完了すると、第3狭帯域光源35がOFFに、第4狭帯域光源38がONに切り替えられる。そして、第4狭帯域光N4を体腔内に照射した状態での撮像が完了すると、第4狭帯域光源38がOFFに切り替えられる。
血管情報取得処理後に切り替えられる追跡対象検出処理は、ロックオン後に取得した広帯域光画像の中から追跡対象を検出する処理であり、この追跡対象検出処理に切り替えられると、シャッター31が退避位置にセットされる。そして、体腔内に広帯域光BBを一定時間照射した後に、シャッター31を挿入位置にセットして、体腔内への広帯域光BBの照射を停止する。広帯域光BBの照射が停止されると、血管情報取得処理と同様に、第1〜第4狭帯域光源33〜35、38を順次ONに切り替えて、第1〜第4狭帯域光N1〜N4を一定時間体腔内に照射する。その第1〜第4狭帯域光N1〜N4の照射毎には、血管情報取得処理と同様に、CCD44によって撮像を行なう。
電子内視鏡11は、ライトガイド43、CCD44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、入射端が光源装置内のカプラー36に挿入されており、出射端が先端部16aに設けられた照射レンズ48に向けられている。光源装置13で発せられた光は、ライトガイド43により導光された後、照射レンズ48に向けて出射する。照射レンズ48に入射した光は、先端部16aの端面に取り付けられた照明窓49を通して、体腔内に照射される。体腔内で反射した広帯域光BB及び第1〜第4狭帯域光N1〜N4は、先端部16aの端面に取り付けられた観察窓50を通して、集光レンズ51に入射する。
CCD44はモノクロのCCDであり、集光レンズ51からの光を撮像面44aで受光し、受光した光を光電変換して信号電荷を蓄積する。そして、蓄積した信号電荷を撮像信号として読み出し、読み出した撮像信号をAFE45に送る。ここで、CCD44に広帯域光BBが入射したときの撮像信号を広帯域撮像信号とし、CCD44に第1〜4狭帯域光N1〜N4が入射したときの撮像信号を第1〜第4狭帯域撮像信号とする。
AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、CCD44からの撮像信号に対して相関二重サンプリング処理を施し、CCD44の駆動により生じたノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数のデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラー62に接続されており、コントローラー62から指示がなされたときにCCD44に対して駆動信号を送る。CCD44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。通常観察モードに設定されている場合、図3(A)に示すように、1フレームの取得期間内で、広帯域光BBを光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を広帯域撮像信号として読み出すステップとの合計2つの動作が行なわれる。この動作は、通常観察モードに設定されている間、繰り返し行なわれる。
これに対して、通常観察モードから追跡モードに切り替えられた場合には、まず追跡対象指定処理に設定される。この追跡対象指定処理では、図3(A)の通常観察モードと同様の動作によって、広帯域撮像信号が読み出される。この動作は、追跡対象指定処理に設定されている間、繰り返し行われる。
次に、追跡対象指定処理から血管情報取得処理に切り替えられると、図3(B)に示すように、1フレームの取得期間内で、第1狭帯域光N1を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第1狭帯域撮像信号として読み出すステップとの合計2つの動作が行なわれる。第1狭帯域撮像信号の読み出しが完了すると、1フレームの取得期間内で、第2狭帯域光N2を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第2狭帯域撮像信号として読み出すステップとが行なわれる。
第2狭帯域撮像信号の読み出しが完了すると、1フレームの取得期間内で、第3狭帯域光N3を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第3狭帯域撮像信号として読み出すステップとが行なわれる。第3狭帯域撮像信号の読み出しが完了すると、1フレームの取得期間内で、第4狭帯域光N4を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第4狭帯域撮像信号として読み出すステップとが行なわれる。
次に、血管情報取得処理から追跡対象検出処理に切り替えられると、図3(C)に示すように、まず最初に、1フレームの取得期間内で、図3(A)の通常観察モードと同様の動作によって、広帯域撮像信号が読み出される。広帯域撮像信号の読み出しが完了すると、図3(B)の血管情報取得処理と同様の動作によって、第1〜第4狭帯域撮像信号が読み出される。広帯域撮像信号の読出→第1〜第4狭帯域撮像信号の読出の一連の動作は、追跡対象検出処理に設定されている間、繰り返し行われる。
図2に示すように、プロセッサ装置12は、デジタル信号処理部55(DSP(Digital Signal Processor))と、フレームメモリ56と、内視鏡画像生成部57と、表示制御回路58と、追跡部60と、を備えており、コントローラー62が各部を制御している。DSP55は、電子内視鏡のAFE45から出力された広帯域撮像信号及び第1〜第4狭帯域撮像信号に対し、色分離、色補間、ホワイトバランス調整、ガンマ補正などを行うことによって、広帯域画像データ及び第1〜第4狭帯域画像データを作成する。フレームメモリ56は、DSP55で作成された広帯域画像データ及び第1〜第4狭帯域画像データを記憶する。
内視鏡画像生成部は、フレームメモリ56に記憶された広帯域画像データに基づき広帯域光画像63を生成する。表示制御回路58は、フレームメモリ56から広帯域光画像63を読み出し、図4に示すように、読み出した広帯域光画像63をモニタ14に表示する。
追跡部60は、追跡対象Sを指定するために用いられる指定領域枠Raを設定する指定領域枠設定部65と、第1〜第4狭帯域画像データに基づき追跡対象Sの血管情報を算出する血管情報算出部66と、血管情報算出部66で算出した血管情報を記憶するロックオン情報記憶部67と、算出した血管情報に基づき、追跡対象Sの指定後に取得した広帯域光画像63から追跡対象Sを検出する追跡対象検出部68とを備えている。
指定領域枠設定部65では、指定領域枠Raの大きさなどを設定し、指定領域枠Raをモニタ14上に表示させる。これにより、追跡対象Sの指定が可能となる。ここで、追跡対象Sを指定する際には、まず、図4に示すような指定領域枠Ra内に追跡対象予定の病変部などが入るように、術者が操作部のアングルノブ21(図1参照)などを操作する。そして、指定領域枠Ra内に病変部などが入ったときに、操作部17に設けられたロックオンスイッチ25(図1参照)を押す。これにより、指定領域枠Ra内の病変部などが追跡対象Sとして指定される(ロックオン)。
血管情報算出部66は、第1〜第4狭帯域画像データに基づいて、血管深さ、血液濃度、酸素飽和度の3つの血管情報を求める。この血管情報算出部の具体的構成については後で詳細に述べる。ロックオン情報記憶部67は、血管情報算出部66で算出した追跡対象Sの血管情報を記憶する。
追跡対象検出部68は、ロックオン後に取得した広帯域光画像64の中から、血管情報算出部66で求めた血管情報またはロックオン情報記憶部67に記憶した血管情報を有するエリアを検出する。このようにロックオン時に求めた追跡対象Sの血管情報を用いることで、ロックオン後に得られる広帯域光画像64の中から、追跡対象Sを追跡することができる。
例えば、図5(A)に示すように、体腔の壁面にある病変部を追跡対象Sとしてロックオンした場合であって、このロックオンした追跡対象Sの血管情報が「血管深さ:中、血液濃度:高、酸素飽和度:低」である場合には、ロックオン後に得られる広帯域光画像64の中から、血管情報が「血管深さ:中、血液濃度:高、酸素飽和度:低」であるエリアを検出する。そして、ロックオン後に、術者が挿入部16を奥側に更に押し込んで、図5(B)に示すような広帯域光画像64が得られた場合には、その広帯域光画像64の中から、血管情報が「血管深さ:中、血液濃度:高、酸素飽和度:低」であるエリアRa´を検出する。これにより、追跡対象Sを追跡することができる。
また、図6(A)に示すように、体腔内の奥側に小さな病変部を発見した場合には、この病変部を追跡対象Sとしてロックオンし、追跡対象Sの血管情報を求めておく。そして、図6(B)に示すように、求めた追跡対象の血管情報から、追跡対象Sを追跡する。したがって、術者は、追跡対象Sの追跡状況を把握した状態で、挿入部16を押し込んだり、先端部16aを上下左右方向に移動させることができるため、容易且つ迅速に先端部16aを追跡対象Sである病変部に接近させることができる。
また、図7(A)に示すように、体腔内の壁面に発見した病変部の近くに、転移などによって別の病変部が無いか調べるような場合には、その発見した病変部を追跡対象Sとしてロックオンしておく。ロックオン時には、追跡対象Sの血管情報を求めるとともに、求めた血管情報をロックオン情報記憶部67に記憶しておく。そして、図7(B)に示すように、挿入部16を押し込んだり又は引き出したりすることによって、別の病変部が存在するかどうかを調べる。そして、再度、最初に発見した病変部を確認したりする場合には、先端部16aがその病変部の近くに戻るように、挿入部16を動かす。そして、図7(C)に示すように、広帯域光画像69の中から、ロックオン情報記憶部67に記憶した血管情報を有するエリアRa´を検出する。これにより、一度モニタ14上から最初に発見した病変部が消えたとしても、本発明の追跡対象Sの追跡機能によって、その病変部を再度確認することができる。
図2に示すように、血管情報算出部66は、輝度比算出部70と、血管深さ−血液濃度相関関係記憶部71と、血管深さ−酸素飽和度相関関係記憶部72と、血管深さ−血液濃度算出部73と、血管深さ−酸素飽和度算出部74とを備えている。輝度比算出部70は、フレームメモリ56に記憶した第1〜第4狭帯域光画像データから、血管が含まれる血管領域を特定する。なお、血管領域の特定方法としては、例えば、血管部分の輝度値とそれ以外の輝度値の差から血管領域を求める方法がある。
そして、輝度比算出部70は、血管領域内の同じ位置の画素について、血管領域内の同じ画素の位置について、第1及び第2狭帯域画像データ間の第1輝度比S1(Log(B1/B2))を求めるとともに、第3及び第2狭帯域画像データ間の第2輝度比S2(Log(G/B2))を求める。ここで、B1は第1狭帯域光画像データの画素の輝度値を、B2は第2狭帯域光画像データの画素の輝度値を、Gは第3狭帯域光画像データの画素の輝度値を表している。さらに、第4及び第1狭帯域画像データ間の第3輝度比S3(B4/B1)を求めるとともに、第2及び第1狭帯域画像データ間の第4輝度比S4(B2/B1)を求める。ここで、B4は第4狭帯域光画像データの画素の輝度値を表している。
血管深さ−血液濃度相関関係記憶部71は、第1及び第2輝度比S1,S2と、血管中の血液濃度(ヘモグロビンインデックス)及び血管深さとの相関関係を記憶している。この相関関係は、これまでの診断等で蓄積された多数の第1〜第3狭帯域光画像データを分析することにより得られたものである。
血管深さ−血液濃度相関関係記憶部71は、図8に示すように、第1及び第2輝度比S1,S2を表す輝度座標系79の座標と、血液濃度及び血管深さを表す血管情報座標系80の座標との対応付けによって、相関関係を記憶している。血管情報座標系80は輝度座標系79上に設けられたKL座標系であり、K軸は血管深さを、L軸は血液濃度を表している。K軸は、血管深さが輝度座標系79に対して正の相関関係があることから、正の傾きを有している。このK軸に関して、左斜め下に行くほど血管は浅いことを、右斜め上に行くほど血管が深いことを示している。また、L軸は、血液濃度が輝度座標系79に対して正の相関関係を有することから、正の傾きを有している。このL軸に関して、左斜め下に行くほど血液濃度が高いことを、右斜め上に行くほど血液濃度が低いことを示している。
血管深さ−酸素飽和度相関関係記憶部72は、第3及び第4輝度比S3,S4と、血管中の酸素飽和度及び血管深さとの相関関係を記憶している。この相関関係は、血管が図9に示すヘモグロビンの吸光係数を有する場合の相関関係であり、これまでの診断等で蓄積された多数の第1、第2、第4狭帯域光画像データを分析することにより得られたものである。図9に示すように、血管中のヘモグロビンは、照射する光の波長によって吸光係数μaが変化する吸光特性を持っている。吸光係数μaは、ヘモグロビンの光の吸収の大きさである吸光度を表すもので、ヘモグロビンに照射された光の減衰状況を表すIexp(−μa×x)の式の係数である。ここで、Iは光源装置から被写体組織に照射される光の強度であり、x(cm)は被写体組織内の血管までの深さである。
また、酸素と結合していない還元ヘモグロビン82と、酸素と結合した酸化ヘモグロビン83は、異なる吸光特性を持っており、同じ吸光度(吸光係数μa)を示す等吸収点(図9における各ヘモグロビン82,83の交点)を除いて、吸光度に差が生じる。吸光度に差があると、同じ血管に対して、同じ強度かつ同じ波長の光を照射しても、輝度値が変化する。また、同じ強度の光を照射しても、波長が異なれば吸光係数μaが変わるので、輝度値が変化する。
以上のようなヘモグロビンの吸光特性を鑑みると、酸素飽和度によって吸光度に違いが出る波長が445nmと473nmにあること、及び血管深さ情報抽出のためには深達度の短い短波長領域が必要となることから、第1、第2、第4狭帯域光N1,N2,N4には、中心波長が450nm以下の波長領域を持つ狭帯域光を少なくとも1つ含めることが好ましい。また、酸素飽和度が同じでも、波長が異なれば吸収係数の値も異なり、粘膜中の深達度も異なっている。したがって、波長によって深達度が異なる光の特性を利用することで、輝度比と血管深さの相関関係を得ることができる。
血管深さ−酸素飽和度相関関係記憶部72は、図10に示すように、第3及び第4輝度比S3,S4を表す輝度座標系85の座標と、酸素飽和度及び血管深さを表す血管情報座標系86の座標との対応付けによって、相関関係を記憶している。血管情報座標系86は輝度座標系85上に設けられたUV座標系であり、U軸は血管深さを、V軸は酸素飽和度を表している。U軸は、血管深さが輝度座標系85に対して正の相関関係があることから、正の傾きを有している。このU軸に関して、右斜め上に行くほど血管は浅いことを、左斜め下に行くほど血管が深いことを示している。一方、V軸は、酸素飽和度が輝度座標系85に対して負の相関関係を有することから、負の傾きを有している。このV軸に関して、左斜め上に行くほど酸素飽和度が低いことを、右斜め下に行くほど酸素飽和度が高いことを示している。
また、血管情報座標系86においては、U軸とV軸とは交点Pで直交している。これは、第1狭帯域光N1の照射時と第2狭帯域光N2の照射時とで吸光の大小関係が逆転しているためである。即ち、図9に示すように、波長が440±10nmである第4狭帯域光N4を照射した場合には、還元ヘモグロビン82の吸光係数は、酸素飽和度が高い酸化ヘモグロビン83の吸光係数よりも大きくなるのに対して、波長が470±10nmである第2狭帯域光N2を照射した場合には、酸化ヘモグロビン83の吸光係数のほうが還元ヘモグロビン82の吸光係数よりも大きくなっているため、吸光の大小関係が逆転している。なお、第1、第2、第4狭帯域光N1,N2,N4に代えて、吸光の大小関係が逆転しない狭帯域光を照射したときには、U軸とV軸とは直交しなくなる。また、波長が400±10nmである第1狭帯域光N1を照射したときには、酸化ヘモグロビンと還元ヘモグロビンの吸光係数はほぼ等しくなっている。
血管深さ−血液濃度算出部73は、図11(A)に示すように、輝度座標系79において、観測値である第1及び第2輝度比S1,S2に対応する座標(S1,S2)を特定する。座標(S1,S2)が特定されたら、図11(B)に示すように、血管情報座標系80において、座標(S1,S2)に対応する座標(K,L)を特定する。これにより、血管領域内の所定位置の画素について、血管深さ情報K及び血液濃度情報Lが求まる。
血管深さ−酸素飽和度算出部74は、図12(A)に示すように、輝度座標系85において、観測値である第3及び第4輝度比S3,S4に対応する座標(S3,S4)を特定する。座標(S3,S4)が特定されたら、図12(B)に示すように、血管情報座標系86において、座標(S3,S4)に対応する座標(U,V)を特定する。これにより、血管領域内の所定位置の画素について、血管深さ情報U及び酸素飽和度情報Vが求まる。
次に、本発明の作用について、図13に示すフローチャートに沿って説明する。まず、コンソール23の操作により、通常観察モードから追跡モードに切り替える。追跡モードに切り替えられると、モニタ14上には指定領域枠Raが表示される。そして、追跡対象Sのロックオン(追跡対象Sの指定)がなされるまで、体腔内に広帯域光BBを照射する追跡対象指定処理に移る。この追跡対象指定処理では、術者は、病変部などの追跡対象Sが指定領域枠Ra内に入るように、挿入部16を更に押し込んだり、操作部のアングルノブ21などを操作して先端部16aを上下左右方向に移動させる。追跡対象Sが指定領域枠Ra内に入ったら、術者はロックオンスイッチ25を押圧する。
ロックオンスイッチ25が押圧されると、追跡対象Sの血管情報を求める血管情報取得処理に移る。血管情報取得処理では、まず、シャッター駆動部32はシャッター31を挿入位置にセットすることにより、体腔内への広帯域光BBの照射を停止する。そして、第1〜第4狭帯域光源33〜35、38を一定時間毎に順次ONに切り替え、一定時間毎に第1〜第4狭帯域光N1〜N4を体腔内に照射する。そして、第1〜第4狭帯域光N1〜N4の照射毎に撮像を行なうことによって、第1〜第4狭帯域撮像信号を取得する。撮像により得られた第1〜第4狭帯域撮像信号は、AFE45を介して、DSP55に送られる。DSP55では第1〜第4狭帯域撮像信号に基づいて第1〜第4狭帯域画像データが生成される。生成された第1〜第4狭帯域画像データは、フレームメモリ56に記憶される。
そして、血管情報算出部66は、フレームメモリ56に記憶された第1〜第4狭帯域画像データに基づいて、追跡対象Sの血管情報を算出する。血管情報としては、血管深さ、血液濃度、酸素飽和度の3つが求められる。算出された追跡対象Sの血管情報は、ロックオン情報記憶部67に記憶される。血管情報がロックオン情報記憶部67に記憶されると、血管情報取得処理が終了し、自動的に追跡対象検出処理に移る。
追跡対象検出処理では、広帯域光BBの照射→第1狭帯域光N1の照射→第2狭帯域光N2の照射→第3狭帯域光N3の照射→第4狭帯域光N4の照射の一連の動作が繰り返し行われるように、シャッター31及び第1〜第4狭帯域光源33〜35、38が駆動制御される。これにより、ロックオン後には、一定時間毎に、広帯域画像データおよび第1〜第4狭帯域画像データが得られる。そして、モニタ14には、得られた広帯域画像データに基づいて、広帯域光画像63が表示される。
また、血管情報算出部66は、得られた第1〜第4狭帯域画像データに基づき、ロックオン後に得られる広帯域光画像64について、画像全体で体腔内の血管情報を算出する。追跡対象検出部68は、広帯域光画像64の中から、ロックオン情報記憶部67に記憶された血管情報を有するエリアRa´が存在するか否かを検出する。存在した場合には、そのエリアRa´に合わせて指定領域枠Raを表示させることによって、そのエリアRa´内にある部位がロックオンによって指定された追跡対象Sであることを術者に知らせる。これにより、追跡対象Sを追跡することができる。そして、追跡モードが通常観察モードに切り替ええられるまでの間、これまでと同様の処理が繰り返されることによって、追跡対象Sの追跡が継続される。そして、追跡モードが通常観察モードに切り替えられると、追跡対象Sの追跡が終了する。
一方、広帯域光画像64の中に、ロックオン情報記憶部67に記憶された血管情報を有するエリアRa´が存在しない場合には、追跡対象Sが検出されるまで、これまでと同様の処理が繰り返される。
なお、本実施形態では、広帯域光源に加え、第1〜第4狭帯域光源を用いて、広帯域光BBおよび第1〜第4狭帯域光の照射を行なったが、これに代えて、図14に示すように、広帯域光源30と、広帯域光源からの広帯域光BBのうち通常観察モードおよび追跡モードで使用する光を透過させるフィルタを備えた回転フィルタ100を用いて、広帯域光BBおよび第1〜第4狭帯域光の照射を行なってもよい。回転フィルタ100は、広帯域光源30と集光レンズ39との間に設けられており、回転軸100aを中心として一定速度で回転する。また、回転フィルタ100は、回転軸100aに取り付けられたフィルタ切替部101によって、その径方向に移動自在となっている。
図15に示すように、回転フィルタ100は、広帯域光源30からの広帯域光BBのうち通常観察モードおよび追跡モードの追跡対象指定処理時に使用する光を透過させる第1エリア102と、広帯域光BBのうち血管情報取得処理時に使用する光を透過させる第2エリア103と、広帯域光BBのうち追跡対象検出処理時に使用する光を透過させる第3エリア104とが設けられている。したがって、モードや処理を切り替える際には、フィルタ切替部101で回転フィルタ100を径方向に移動させ、切り替えようとするモードや処理に対応するエリアが広帯域光BBの光路上に位置するようにする。
第1エリア102には、広帯域光BBをそのまま透過させる広帯域光透過フィルタ105が設けられている。第2エリア103には、広帯域光BBのうち、第1狭帯域光N1のみを透過させる第1狭帯域光透過フィルタ106と、第2狭帯域光のみを透過させる第2狭帯域光透過フィルタ107と、第3狭帯域光のみを透過させる第3狭帯域光透過フィルタ108と、第4狭帯域光のみを透過させる第4狭帯域光透過フィルタ109とが、この順序で周方向に沿って設けられている。第3エリアには、広帯域光透過フィルタ105と、第1〜第4狭帯域光透過フィルタ106〜109とが、この順で周方向に沿って設けられている。
なお、本実施形態では、追跡対象が1つの場合について説明したが、追跡対象は複数存在してもよい。追跡対象を複数にした場合には、追跡対象が1の場合と同様に、各追跡対象毎に血管情報を求め、それぞれの血管情報を記憶しておく必要がある。また、本実施形態では、血管深さ、血液濃度、酸素飽和度の3つを使って追跡対象の追跡を行なったが、それらのうち少なくともいずれか1つだけで追跡を行なってもよい。
また、本実施形態では、追跡対象の血管情報を使って追跡を行なったが、追跡対象の血管情報の他に、ピットパターンや血管形状や血管太さなどの生体情報を使って追跡を行なってもよい。また、体腔内の被写体組織のうち、コラーゲン、NADH、FADなどの自家蛍光成分を有する部位を追跡対象としてもよい。この場合には、自家蛍光成分となる追跡対象に対して励起光(例えば405nmの狭帯域光)を照射して自家蛍光を発生させ、その発生した自家蛍光の光強度などの蛍光情報を使って追跡を行なう。さらには、ポルフィリン誘導体などの腫瘍親和性光感受性物質(蛍光薬剤)を患者に投与した場合には、その蛍光薬剤が蓄積した腫瘍患部などを追跡対象としてもよい。この場合には、蛍光薬剤が蓄積した腫瘍患部に対して励起光(例えば405nmの狭帯域光)を照射して蛍光を発生させ、その発生した蛍光の光強度などの蛍光情報を使って追跡を行なう。
また、本実施形態では、追跡対象検出処理時においては、ロックオン後に取得した広帯域光画像全体で体腔内の血管情報を求めたが、追跡対象の動きがある程度予測できる場合には、その予想される追跡対象の動きの範囲内だけで血管情報を求めてもよい。また、本実施形態では、追跡モードに切り替えたときに、モニタに指定領域枠を表示し、この指定領域内に入った部位を追跡対象として指定したが、これに代えて、追跡モードに切り替えた時点では、モニタには指定領域枠を表示せず、マウスやコンソールなどを使って、モニタに表示されるポインタで病変部などを指定した時点で、その指定した病変部の周りに指定領域枠を表示するようにしてもよい。
なお、本発明は、挿入部等を有する挿入型の電子内視鏡の他、CCDなどの撮像素子等をカプセルに内蔵させたカプセル型の電子内視鏡に対しても適用することができる。
10 電子内視鏡システム
30 広帯域光源
33〜35,38 第1〜第4狭帯域光源
44 CCD
57 内視鏡画像生成部
60 追跡部
63 広帯域光画像
65 指定領域枠設定部
66 血管情報算出部
67 ロックオン情報記憶部
68 追跡対象検出部
70 輝度比算出部
71 血管深さ−血液濃度相関関係記憶部
72 血管深さ−血液濃度算出部
73 血管深さ画像生成部
74 血液濃度画像生成部
Ra 指定領域枠
S 追跡対象

Claims (13)

  1. 体腔内の撮像により得られる撮像信号に基づき、内視鏡画像を一定時間毎に順次取得する内視鏡画像取得手段と、
    内視鏡画像の中から追跡対象を指定する追跡対象指定手段と、
    白色光の波長帯域とは異なる特定の波長帯域を有する特殊光を体腔内に照射する特殊光照射手段と、
    特殊光を照射したときに得られる撮像信号から、追跡対象の生体情報を取得する生体情報取得手段と、
    追跡対象の指定後に取得した内視鏡画像において、生体情報取得手段で取得した追跡対象の生体情報を使って追跡対象を追跡する追跡手段とを備えることを特徴とする電子内視鏡システム。
  2. 前記追跡対象指定手段は、
    内視鏡画像内に指定領域枠を表示する表示手段と、
    指定領域枠内の部位を追跡対象として指定するロックオン手段とを備えることを特徴とする請求項1記載の電子内視鏡システム。
  3. 前記生体情報取得手段は、前記追跡対象指定手段で指定された時点での追跡対象の生体情報を記憶する記憶手段を備えることを特徴とする請求項1または2記載の電子内視鏡システム。
  4. 前記生体情報取得手段は、生体情報として、血管深さ、血液濃度、酸素飽和度の3つの血管情報のうち少なくともいずれか一つを取得することを特徴とする請求項1ないし3いずれか1項記載の電子内視鏡システム。
  5. 前記特殊光照射手段は、波長400nmから600nmまでの間で互いに異なる波長帯域を少なくとも3つ含む照明光であって前記波長帯域には青色帯域と緑色帯域が含まれる照明光を、体腔内の血管を含む被写体組織に照射可能であり、
    前記生体情報取得手段は、
    前記照明光を照射したときに得られる撮像信号に含まれる狭帯域信号であって、互いに異なる波長帯域を持つ狭帯域光にそれぞれ対応する複数の狭帯域信号を取得する第1狭帯域信号取得手段と、
    前記複数の狭帯域信号に基づいて、血管深さに関する血管深さ情報及び血液濃度に関する血液濃度情報を含む血管情報を求める第1血管情報取得手段とを備えていることを特徴とする請求項4記載の電子内視鏡システム。
  6. 前記狭帯域信号取得手段は、互いに異なる波長帯域を有する青色帯域の第1及び第2の狭帯域光に対応する第1及び第2狭帯域信号と、緑色帯域の第3狭帯域光に対応する第3の狭帯域信号とを取得することを特徴とする請求項5記載の電子内視鏡システム。
  7. 前記第1狭帯域光の波長帯域は405±10nmであり、前記第2狭帯域光の波長帯域は470±10nmであり、前記第3狭帯域光の波長帯域は560±10nmであることを特徴とする請求項6記載の電子内視鏡システム。
  8. 前記特殊光照射手段は、中心波長が450nm以下の波長領域を含む照明光を、体腔内の血管を含む被写体組織に照射可能であり、
    前記生体情報取得手段は、
    前記照明光を照射したときに得られる撮像信号に含まれる狭帯域信号であって、互いに異なる波長帯域を持ち、少なくとも一方の中心波長が450nm以下である複数の狭帯域光にそれぞれ対応する複数の狭帯域信号を取得する第2狭帯域信号取得手段と、
    前記複数の狭帯域信号に基づいて、血管深さ情報及び酸素飽和度に関する酸素飽和度情報を含む血管情報を求める第2血管情報取得手段とを備えることを特徴とする請求項4ないし7いずれか1項記載の電子内視鏡システム。
  9. 前記複数の狭帯域信号は、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでいることを特徴とする請求項8記載の電子内視鏡システム。
  10. 前記特殊光照射手段は、体腔内の被写体組織から蛍光を発生させる励起光を照射することが可能であり、
    前記生体情報取得手段は、励起光の照射によって発生した蛍光を撮像することによって、生体情報として、前記蛍光に関する蛍光情報を取得することを特徴とする請求項1ないし9いずれか1項記載の電子内視鏡システム。
  11. 前記生体情報取得手段は、生体情報として、ピットパターンを取得することを特徴とする請求項1ないし10いずれか1項記載の電子内視鏡システム。
  12. 体腔内の撮像により得られる撮像信号に基づき、内視鏡画像を一定時間毎に順次取得する内視鏡画像取得手段から、前記撮像信号を受信する受信手段と、
    内視鏡画像の中から追跡対象が追跡対象指定手段で指定された後に、白色光の波長帯域とは異なる特定の波長帯域を有する特殊光を体腔内に照射したときに受信した撮像信号から、追跡対象の生体情報を取得する生体情報取得手段と、
    追跡対象の指定後に取得した内視鏡画像において、生体情報取得手段で取得した追跡対象の生体情報を使って追跡対象を追跡する追跡手段とを備えることを特徴とする電子内視鏡用のプロセッサ装置。
  13. 体腔内の撮像により得られる撮像信号に基づき、内視鏡画像を一定時間毎に順次取得する内視鏡画像取得ステップと、
    内視鏡画像の中から追跡対象を指定する追跡対象指定ステップと、
    白色光の波長帯域とは異なる特定の波長帯域を有する特殊光を体腔内に照射する特殊光照射ステップと、
    特殊光を照射したときに得られる撮像信号から、追跡対象の生体情報を取得する生体情報取得ステップと、
    追跡対象の指定後に取得した内視鏡画像において、生体情報取得手段で取得した追跡対象の生体情報を使って追跡対象を追跡する追跡ステップとを備えることを特徴とする追跡方法。
JP2010130846A 2010-06-08 2010-06-08 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 Active JP5634755B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010130846A JP5634755B2 (ja) 2010-06-08 2010-06-08 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
US13/108,086 US8585586B2 (en) 2010-06-08 2011-05-16 Electronic endoscope system, processor for electronic endoscope, and target tracing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010130846A JP5634755B2 (ja) 2010-06-08 2010-06-08 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014206429A Division JP5844447B2 (ja) 2014-10-07 2014-10-07 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2011254936A true JP2011254936A (ja) 2011-12-22
JP5634755B2 JP5634755B2 (ja) 2014-12-03

Family

ID=45064980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010130846A Active JP5634755B2 (ja) 2010-06-08 2010-06-08 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Country Status (2)

Country Link
US (1) US8585586B2 (ja)
JP (1) JP5634755B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230647A (ja) * 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
WO2020036224A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020039931A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 内視鏡システム及び医療画像処理システム
WO2020066941A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
JP5616304B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
CN106037624B (zh) 2010-09-08 2018-09-07 Kpr美国有限责任公司 具有成像组件的导管
JP5405445B2 (ja) * 2010-12-17 2014-02-05 富士フイルム株式会社 内視鏡装置
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
USD717340S1 (en) 2012-09-07 2014-11-11 Covidien Lp Display screen with enteral feeding icon
USD716841S1 (en) 2012-09-07 2014-11-04 Covidien Lp Display screen with annotate file icon
USD735343S1 (en) 2012-09-07 2015-07-28 Covidien Lp Console
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
JP6039639B2 (ja) * 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP2017513664A (ja) * 2014-04-05 2017-06-01 サージセンス コーポレイション 組織酸素化のマッピングのための装置、システム、および方法
JP6243364B2 (ja) * 2015-01-26 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
WO2016158276A1 (ja) 2015-04-02 2016-10-06 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム及びその作動方法
WO2019016912A1 (ja) * 2017-07-20 2019-01-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
JP7270658B2 (ja) * 2019-02-13 2023-05-10 オリンパス株式会社 画像記録装置、画像記録装置の作動方法および画像記録プログラム
CN114745545A (zh) * 2022-04-11 2022-07-12 北京字节跳动网络技术有限公司 一种视频插帧方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10216080A (ja) * 1997-02-04 1998-08-18 Olympus Optical Co Ltd 内視鏡用画像処理装置
JPH10323322A (ja) * 1997-05-26 1998-12-08 Olympus Optical Co Ltd 三次元計測内視鏡装置
JP2000262459A (ja) * 1999-03-18 2000-09-26 Olympus Optical Co Ltd 内視鏡装置
JP2003535659A (ja) * 2000-06-19 2003-12-02 ユニヴァーシティ オブ ワシントン 走査型単一光ファイバシステムを用いる医療用画像化、診断および治療
JP2007505645A (ja) * 2003-09-16 2007-03-15 パーセプトロニクス メディカル インク 自動化内視鏡装置、診断方法及び用法
JP2010094152A (ja) * 2008-10-14 2010-04-30 Fujifilm Corp 電子内視鏡システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748259B1 (en) * 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
JP2002095625A (ja) 2000-09-22 2002-04-02 Fuji Photo Film Co Ltd 内視鏡装置
JP4343594B2 (ja) * 2003-06-23 2009-10-14 オリンパス株式会社 内視鏡装置
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
BRPI0609099A2 (pt) * 2005-05-12 2010-02-17 Olympus Medical Systems Corp aparelho de observação biológica
US20090091614A1 (en) * 2005-05-13 2009-04-09 Olympus Medical Systems Corp. Biological observation apparatus
JP5191090B2 (ja) * 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
EP1938274A2 (en) * 2005-09-12 2008-07-02 D.V.P. Technologies Ltd. Medical image processing
US8593513B2 (en) * 2008-04-02 2013-11-26 Fujifilm Corporation Image capturing apparatus having first and second light reception sections, image capturing method, and computer-readable medium
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10216080A (ja) * 1997-02-04 1998-08-18 Olympus Optical Co Ltd 内視鏡用画像処理装置
JPH10323322A (ja) * 1997-05-26 1998-12-08 Olympus Optical Co Ltd 三次元計測内視鏡装置
JP2000262459A (ja) * 1999-03-18 2000-09-26 Olympus Optical Co Ltd 内視鏡装置
JP2003535659A (ja) * 2000-06-19 2003-12-02 ユニヴァーシティ オブ ワシントン 走査型単一光ファイバシステムを用いる医療用画像化、診断および治療
JP2007505645A (ja) * 2003-09-16 2007-03-15 パーセプトロニクス メディカル インク 自動化内視鏡装置、診断方法及び用法
JP2010094152A (ja) * 2008-10-14 2010-04-30 Fujifilm Corp 電子内視鏡システム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230647A (ja) * 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
JP7009636B2 (ja) 2018-08-17 2022-01-25 富士フイルム株式会社 内視鏡システム
WO2020036224A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
CN112566538A (zh) * 2018-08-17 2021-03-26 富士胶片株式会社 内窥镜系统
JPWO2020036224A1 (ja) * 2018-08-17 2021-08-26 富士フイルム株式会社 内視鏡システム
US11867896B2 (en) 2018-08-20 2024-01-09 Fujifilm Corporation Endoscope system and medical image processing system
WO2020039931A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 内視鏡システム及び医療画像処理システム
JP7280270B2 (ja) 2018-08-20 2023-05-23 富士フイルム株式会社 内視鏡システム
JPWO2020039931A1 (ja) * 2018-08-20 2021-09-09 富士フイルム株式会社 内視鏡システム及び医療画像処理システム
CN112752535A (zh) * 2018-09-26 2021-05-04 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
JP7047122B2 (ja) 2018-09-26 2022-04-04 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11627864B2 (en) 2018-09-26 2023-04-18 Fujifilm Corporation Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
JPWO2020066941A1 (ja) * 2018-09-26 2021-08-30 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020066941A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112752535B (zh) * 2018-09-26 2024-04-05 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法

Also Published As

Publication number Publication date
US8585586B2 (en) 2013-11-19
US20110301443A1 (en) 2011-12-08
JP5634755B2 (ja) 2014-12-03

Similar Documents

Publication Publication Date Title
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5460488B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
JP5438571B2 (ja) 電子内視鏡システム
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5393554B2 (ja) 電子内視鏡システム
JP5395725B2 (ja) 電子内視鏡システム
JP5074044B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP5457247B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5405373B2 (ja) 電子内視鏡システム
JP5274591B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2013005533A1 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP5667917B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6581984B2 (ja) 内視鏡システム
JP2013017769A (ja) 生体情報取得システムおよび生体情報取得方法
JP5762344B2 (ja) 画像処理装置及び内視鏡システム
US9596982B2 (en) Endoscope system and composite image generation method
JP5774531B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム
JP2011200572A (ja) 電子内視鏡システム
JP2013146484A (ja) 電子内視鏡システム、画像処理装置、画像処理方法及び画像処理プログラム
JP2012152460A (ja) 医療システム、医療システムのプロセッサ装置、及び画像生成方法
JP2016174976A (ja) 内視鏡システム
JP5844447B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP2012130506A (ja) 光計測システムおよび光計測方法
JP2012130505A (ja) 光計測システムおよび光計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141015

R150 Certificate of patent or registration of utility model

Ref document number: 5634755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250