JP2017113184A - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents

内視鏡システム及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP2017113184A
JP2017113184A JP2015250538A JP2015250538A JP2017113184A JP 2017113184 A JP2017113184 A JP 2017113184A JP 2015250538 A JP2015250538 A JP 2015250538A JP 2015250538 A JP2015250538 A JP 2015250538A JP 2017113184 A JP2017113184 A JP 2017113184A
Authority
JP
Japan
Prior art keywords
image
calibration
light
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015250538A
Other languages
English (en)
Other versions
JP6408457B2 (ja
Inventor
典雅 繁田
Norimasa Shigeta
典雅 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015250538A priority Critical patent/JP6408457B2/ja
Priority to EP16878362.9A priority patent/EP3395227A4/en
Priority to PCT/JP2016/086341 priority patent/WO2017110469A1/ja
Publication of JP2017113184A publication Critical patent/JP2017113184A/ja
Priority to US15/993,599 priority patent/US11399751B2/en
Application granted granted Critical
Publication of JP6408457B2 publication Critical patent/JP6408457B2/ja
Priority to US17/847,180 priority patent/US20220322974A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00195Optical arrangements with eyepieces
    • A61B1/00197Optical arrangements with eyepieces characterised by multiple eyepieces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、従来よりも確実かつ正確に生体情報観察モードを校正できる内視鏡システム及び内視鏡システムの作動方法を提供する。
【解決手段】内視鏡システム10は、生体情報観察モードを校正する校正モード時に、校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光する光源部20と、校正用照明光を用いて得る校正用画像を用いて生体情報観察モードにおいて使用するデータの補正量を算出する補正量算出部76と、補正量を用いてデータを補正することにより、生体情報観察モードを校正する校正部77と、校正モード時に、白色光を用いて観察対象を撮影して得る白色光画像を表示部に表示する表示制御部66と、を備える。
【選択図】図6

Description

本発明は、観察対象の生体情報を算出する内視鏡システム及び内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に観察対象を撮像するだけでなく、血管や腺管構造等の特定の組織や構造を強調した観察画像を得る内視鏡システムが普及している。こうした内視鏡システムは、例えば、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像に分光推定処理を施したりする。その結果、特定の組織や構造を強調した観察画像を得る。
また、近年においては、観察対象を撮像して得る画像に基づいて生体情報を得る内視鏡システムもある。例えば、血中ヘモグロビンの酸素飽和度(生体情報)を用いた病変部の診断が行われつつある。酸素飽和度を算出する方法としては、例えば、特許文献1に記載されているように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域の光を観察対象に照射して得る画像を取得し、少なくともこの画像を含む複数の画像(以下、本撮影画像という)を用いて所定の演算値を算出し、この演算値と酸素飽和度とを対応付ける相関関係を用いて酸素飽和度を算出する方法がある。
上記のような演算値と酸素飽和度のとの相関関係は、食道、胃、または大腸などの各種部位の違い、または、男女の別もしくは大人と子供などの患者の違いなどに起因して異なる場合がある。これに対して、特許文献1においては、実際に酸素飽和度を用いて体内の観察を行う前に、その患者及び部位の正常部を撮影(以下、プレ撮影という)し、複数の画像(以下、プレ撮影画像という)を得て、正常部の酸素飽和度を算出する。そして、その患者及び部位の実際の正常部の酸素飽和度と、相関関係が定める一般的な正常部の酸素飽和度の基準値(例えば70%)との差分を算出し、算出した差分に基づいて相関関係を補正する。これにより、特許文献1においては、部位や患者の個体差等によらず、正確に酸素飽和度を算出できるように、酸素飽和度を算出し、その値を示す画像を生成及び表示する観察モード(以下、酸素飽和度観察モードという)を校正している。
この他、白色光を用いて得る白色光画像と、いわゆる狭帯域光や蛍光等の特殊光を用いて得る特殊光画像と、を交互に取得し、特殊光画像を処理して得られる注目領域を白色光画像上において強調表示する内視鏡システムが知られている(特許文献2)。
特開2013−022341号公報(特許5426620号公報) 特開2011−104011号公報
酸素飽和度観察モード時に酸素飽和度の算出に使用する複数の本撮影画像を得るためには、照明光の波長等を変えて観察対象を複数回撮影する必要がある。これらの撮影の間に観察対象に動きがあると、各本撮影画像の観察対象の位置ずれに起因して酸素飽和度の算出精度が低下する。このため、本撮影画像は、基本的には、全てほぼ同時に得られたとみなせるように、できるかぎり短期間のうちに連続して取得することが好ましい。
酸素飽和度観察モードを校正する際も複数のプレ撮影画像が必要になるので、これら複数のプレ撮影画像を撮影する間に観察対象に動きがあれば、校正の精度が低下する。このため、本撮影画像と同様に、基本的には、観察対象の動きがないうちに複数のプレ撮影画像を得ることが好ましい。特に、校正が不正確であると、その後に算出する酸素飽和度が全て不正確になってしまうので、酸素飽和度観察モードを正確に校正することは、酸素飽和度の算出精度が低下しないようにするよりもさらに重要である。
特許文献1の場合、酸素飽和度観察モードを校正することで、それ以前の酸素飽和度観察モードの校正をしない内視鏡システムよりも正確に酸素飽和度を算出できるようになっているが、校正精度にまでは言及していない。また、特許文献2は、白色光画像と特殊光画像を交互に得ているが、酸素飽和度観察モードはないので、当然ながら、酸素飽和度観察モードの校正についても言及がない。
また、特許文献1においては、生体情報の1つである酸素飽和度を観察しているが、本撮影画像を複数使用して、酸素飽和度以外の生体情報を算出する他の生体情報観察モードを設ける場合も同様である。すなわち、上記と同様に、複数のプレ撮影画像を観察対象の動きがないうちに取得して、正確に生体情報観察モードを校正する必要がある。
本発明は、生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、従来よりも確実かつ正確に生体情報観察モードを校正できる内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、観察対象の生体情報を観察する生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、校正モード時に、校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光する光源部と、校正用照明光を用いて観察対象を撮像して得る校正用画像を用いて生体情報観察モードにおいて使用するデータの補正量を算出する補正量算出部と、補正量を用いてデータを補正することにより、生体情報観察モードを校正する校正部と、校正モード時に、白色光を用いて観察対象を撮影して得る白色光画像を表示部に表示する表示制御部と、を備える。
生体情報は、観察対象の酸素飽和度であることが好ましい。
校正用画像の一部を、生体情報観察モードの校正に使用する領域に設定する領域設定部を備え、表示制御部は、領域設定部が設定した領域を白色光画像に重畳表示することが好ましい。
校正モード時に、複数の校正用画像を取得し、かつ、複数の白色光画像を取得することが好ましい。
複数の白色光画像の光量比を算出する光量比算出部と、光量比算出部が算出した光量比を用いて、複数の校正用画像の光量比を補正する光量比補正部と、を備えることが好ましい。
観察対象の動き量を算出する動き量算出部と、動き量を用いて、複数の校正用画像の位置ずれを補正する位置ずれ補正部と、を備えることが好ましい。
補正量算出部は、複数の校正用画像のうち一部の校正用画像を用い、かつ、使用する校正用画像の組み合わせを変更することにより、複数の補正量を算出し、校正部は、複数の補正量、または、複数の補正量のうち1つを用いて生体情報観察モードにおいて使用するデータを補正することが好ましい。
観察対象の動き量を算出する動き量算出部を備え、校正部は、動き量を用いて複数の補正量を重み付け平均した値を用いて生体情報観察モードにおいて使用するデータを補正することが好ましい。
観察対象の動き量を算出する動き量算出部を備え、動き量を用いて複数の補正量のなかから選択した1つの補正量を用いて、校正部は、生体情報観察モードにおいて使用するデータを補正することが好ましい。
光源部は、複数の校正用照明光のうち、補正量の算出精度への寄与が最も大きい組み合わせの2つの校正用照明光の発光間隔を、他の校正用照明光の発光間隔よりも短くすることが好ましい。
本発明の内視鏡システムの作動方法は、観察対象の生体情報を観察する生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムの作動方法において、光源部が、校正モード時に、校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光するステップと、補正量算出部が、校正用照明光を用いて観察対象を撮像して得る校正用画像を用いて生体情報観察モードにおいて使用するデータの補正量を算出するステップと、校正部が、補正量を用いてデータを補正することにより、生体情報観察モードを校正するステップと、表示制御部が、校正モード時に、白色光を用いて観察対象を撮影して得る白色光画像を表示部に表示するステップと、を備える。
本発明の内視鏡システム及び内視鏡システムの作動方法においては、校正モードの際に、単に校正用画像を取得するだけでなく、白色光画像を取得して表示する。このため、複数の校正用画像を取得している間に、観察対象に動きがあった場合や、校正には不適当な部分を撮影してしまっている場合等、校正が正確に行えない状況を容易に察知して、校正用画像を取得し、校正をやり直すことができる。このため、本発明の内視鏡システム及び内視鏡システムの作動方法は、従来よりも確実かつ正確に、生体情報観察モードを校正できる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 酸素飽和度観察モード(生体情報観察モード)時の発光パターンである。 校正モード時の発光パターンである。 カラーフィルタの分光透過率を示すグラフである。 特殊処理部のブロック図である。 演算値と酸素飽和度との相関関係を表す第1特徴空間である。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 黄色色素の吸光係数を示すグラフである。 補正量の算出に使用する第2特徴空間である。 特殊観察モードの動作の流れを示すフローチャートである。 校正モードの動作の流れを示すフローチャートである。 酸素飽和度観察モード(生体情報観察モード)の動作の流れを示すフローチャートである。 第2実施形態の特殊処理部のブロック図である。 使用領域を重畳表示した白色光画像である。 第3実施形態の特殊処理部のブロック図である。 第4実施形態の特殊処理部のブロック図である。 第5実施形態の校正モードにおける発光パターンである。 変形例の特殊処理部のブロック図である。 変形例の特殊処理部のブロック図である。 変形例の特殊処理部及びその周辺のブロック図である。 変形例の特殊処理部のブロック図である。 校正モードの発光パターンである。 校正モードの発光パターンである。 広帯域光源と回転フィルタを用いる内視鏡システムのブロック図である。 回転フィルタの構成を示す説明図である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13bが設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常観察モードと特殊観察モードを有する。通常観察モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像(以下、通常画像という)をモニタ18に表示する観察モードである。
特殊観察モードは、生体情報観察モードと校正モードとを含む。生体情報観察モードは、観察対象の生体情報を観察する(少なくとも生体情報を観察し得る状態で観察対象を観察する)観察モードである。生体情報とは、例えば、酸素飽和度や、血管の密度等の数値情報や、“特定の深さにある血管の像”のように、観察可能な組織等のなかから一部の組織等を抽出した結果の像情報等である。本実施形態においては、生体情報観察モードは、観察対象の酸素飽和度を算出する酸素飽和度観察モードであるから、酸素飽和度観察モードは、観察対象を撮像して得る複数の本撮影画像を用いて観察対象の酸素飽和度を算出し、算出した酸素飽和度の値を、疑似カラーを用いて示す画像(以下、酸素飽和度画像という)を生成して、モニタ18に表示する。酸素飽和度画像は生体情報画像の一例であり、生体情報観察モードにおいて他の生体情報を算出や抽出等(以下、算出等という)する場合には、算出等する生体情報に関する生体情報画像を生成及び表示する。
校正モードは、生体情報観察モードを校正するモードである。校正モードは、少なくとも生体情報観察モードにおいて生体情報を算出等する前に自動的に行う。また、校正モードにおいては、明らかな病変等がない正常部をプレ撮影し、プレ撮影において得たプレ撮影画像を用いて生体情報の算出等に用いるデータの補正量を算出する。そして、算出した補正量を用いて生体情報の算出等に用いるデータを補正することにより、生体情報観察モードを校正する。
すなわち、生体情報観察モードは酸素飽和度観察モードであるため、校正モードは酸素飽和度観察モードを校正する。すなわち、校正モードにおいては、プレ撮影画像を用いて、酸素飽和度観察モードにおいて酸素飽和度の算出に用いるデータの補正量ΔDを算出する。そして、算出した補正量ΔDを用いて酸素飽和度の算出に用いるデータを補正する。酸素飽和度の算出に用いるデータは、例えば、複数の本撮影画像を用いて算出する演算値と、酸素飽和度とを対応付ける相関関係である。なお、校正モードは、コンソール19等からの操作入力により、生体情報観察モード中に任意のタイミングで実行できる。すなわち生体情報観察モードの実行中に、必要に応じて任意に校正モードを割り込ませて実行できる。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
BS光源20aは、中心波長が約450±10nm、波長帯域が約420nm〜500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長が約540±20nm、波長帯域が約480nm〜600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長が約640±20nm、波長帯域が約600nm〜650nmに及ぶ赤色光Rを発光する赤色光源である。
光源制御部22は、光源部20を構成する各光源20a〜20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は、通常観察モードにおいて使用する通常観察用照明光と、特殊観察モードの生体情報観察モードにおいて使用する生体情報観察用照明光と、校正モードにおいて使用する校正用照明光と、を発光する。すなわち、生体情報観察モードは酸素飽和度観察モードであるため、生体情報観察用照明光は、酸素飽和度観察用照明光である。
通常観察モードの場合、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察用照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。本実施形態においては、通常観察モードの場合、光源部20は上記白色光を常時発光するが、観察対象の撮影タイミング(以下、撮影フレームという)に合わせて、白色光を発光しても良い。
酸素飽和度観察モードの場合、光源制御部22は、第1パターンと第2パターンで各光源20a〜20dの点灯または消灯を交互に繰り返す。第1パターンは、BL光源20bを単独で点灯する発光パターンである。このため、第1パターンの際には、第2青色光BLが照明光になる。一方、第2パターンは、BS光源20aと、G光源20cと、R光源20dを同時に点灯するパターンである。このため、第2パターンの際には、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光が照明光になる。したがって、酸素飽和度観察モードでは、図3に示すように、第2青色光BLと白色光が撮影フレームに合わせて交互に繰り返し発光する。
第1パターンの照明光である第2青色光BLを用いて観察対象を撮像して得る本撮影画像は、観察対象に照射した際に、直接的に最も多くの酸素飽和度の情報を担持することになる。一方、第2パターンの照明光である白色光を用いて観察対象を撮像して得る本撮影画像は、第2青色光BLが担持する酸素飽和度の情報をより正確に算出するために用いる。したがって、酸素飽和度用照明光とは、第2青色光BLのことである。
校正モードの場合、光源制御部22は、基本的に、BS光源20a、BL光源20b、G光源20c、及びR光源20dをそれぞれ単独で順次点灯する。また、光源制御部22は、これらの各光源20a〜20dをそれぞれ単独で点灯する間または前後に少なくとも1回は、BS光源20a、G光源20c、及びR光源20dを同時点灯する。したがって、校正モードにおいては、光源部20は、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rを順次発光し、かつ、これら各色光の間または前後に少なくとも1回は白色光を発光する。これらの照明光のうち、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rが、酸素飽和度観察モード(生体情報観察モード)の校正に使用する校正用照明光である。そして、校正用照明光を発光する間または前後に発光する白色光は、各校正用照明光を用いて校正用画像を得る際にモニタ18に表示する白色光画像202(図15参照)を得るための照明光である。
本実施形態の校正モードにおいては、校正用照明光は、第1青色光BS、第2青色光BL、緑色光G、赤色光Rの順に順次点灯する。また、これら各色の校正用照明光を点灯する間に白色光を必ず1回発光することにより、光源部20は白色光の発光を複数回挿入する。したがって、本実施形態の校正モードにおいては、図4に示すように、光源部20は、第1青色光BS、白色光、第2青色光BL、白色光、緑色光G、白色光、及び赤色光Rをこの順に撮影フレームに合わせて発光する。校正モードを繰り返す場合にはこの発光パターンを繰り返す。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13bの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図5に示すように、青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380〜560nmの波長帯域の光を透過する。青色カラーフィルタの透過率は、波長460〜470nm付近においてピークになる。緑色カラーフィルタは、主として緑色帯域の光、具体的には、460〜470nmの波長帯域の光を透過する。赤色カラーフィルタは、主として赤色帯域の光、具体的には、580〜760nmの波長帯域の光を透過する。
イメージセンサ48を用いて観察対象を撮影すると、1回の撮影において最大で、B画素において撮影して得るB画像(青色画像)、G画素において撮像して得るG画像(緑色画像)、及び、R画素において撮影して得るR画像(赤色画像)の3種類の画像を得ることができる。通常観察モードの場合、使用する通常観察用照明光は白色光なので、表1に示すように、Bc画像、Gc画像、及びRc画像が得られる。Bc画像は、主に通常観察用照明光が含む第1青色光BSの反射光等を用いて観察対象を撮影した画像であり、Gc画像は、主に通常観察用照明光が含む緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、Rc画像は、主に通常観察用照明光が含む赤色光Rの反射光等を用いて観察対象を撮影した画像である。
Figure 2017113184
一方、本実施形態の特殊観察モードにおいては、生体情報観察モードである酸素飽和度観察モードと、校正モードとでは、照明光の種類や発光パターンが異なるので各モードで異なる画像が異なる。酸素飽和度観察モードの場合、照明光は、撮影フレームに合わせて交互に第2青色光BL(酸素飽和度用照明光)と白色光とで切り替わる。このため、表2に示すように、第2青色光BLを用いて、B1画像、G1画像、及びR1画像を取得し、白色光を用いてB2画像、G2画像、及びR2画像を得る。B1画像は、第2青色光BLの反射光等を用いてB画素において観察対象を撮影して得る画像である。同様に、G1画像は、第2青色光BLの反射光等を用いてG画素において観察対象を撮影して得る画像であり、R1画像は第2青色光BLの反射光等を用いてR画素において観察対象を撮影して得る画像である。但し、第2青色光BLの反射光は、G画素の緑色カラーフィルタやR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、第2青色光BLを照明光に使用する撮影フレームにおいては、実質的に得られる画像はB1画像だけである。また、白色光を照明光に使用する撮影フレームは、通常観察モードと同様の画像が得られるが、区別のため、酸素飽和度観察モードにおいて白色光を照明光に使用する撮影フレームにおいて得る各画像をB2画像、G2画像、及びR2画像という。なお、酸素飽和度観察モードにおいて取得するB1画像、G1画像、R1画像、B2画像、G2画像、及びR2画像は、本撮影画像である。
Figure 2017113184
校正モードの場合、撮影フレームに合わせて、照明光は、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rの順に切り替わり、これらの間に白色光を照明光に使用した撮影フレームを挿入する。表3に示すように、第1青色光BSを照明光に使用する撮影フレームにおいては、Bp画像、Gp画像、及びRp画像を得る。Bp画像は、第1青色光BSの反射光等を用いてB画像において観察対象を撮影して得る画像である。同様に、Gp画像は、第1青色光BSの反射光等を用いてG画像において観察対象を撮影して得る画像であり、Rp画像は、第1青色光BSの反射光等を用いてR画像において観察対象を撮影して得る画像である。但し、第1青色光BSの反射光は、G画素の緑色カラーフィルタやR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、第1青色光BSを照明光に使用する撮影フレームにおいては、実質的に得られる画像はBp画像だけである。
また、第2青色光BLを照明光に使用する撮影フレームにおいては、Bq画像、Gq画像、及びRq画像を得る。Bq画像は、第2青色光BLの反射光等を用いてB画像において観察対象を撮影して得る画像である。同様に、Gq画像は、第2青色光BLの反射光等を用いてG画像において観察対象を撮影して得る画像であり、Rq画像は、第2青色光BLの反射光等を用いてR画像において観察対象を撮影して得る画像である。但し、第2青色光BLの反射光は、G画素の緑色カラーフィルタやR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、第2青色光BLを照明光に使用する撮影フレームにおいては、実質的に得られる画像はBq画像だけである。
Figure 2017113184
表4に示すように、校正モードにおいて、緑色光Gを照明光に使用する撮影フレームでは、Br画像、Gr画像、及びRr画像を得る。Gr画像は、緑色光Gの反射光等を用いてG画素において観察対象を撮影して得る画像である。同様に、Br画像は、緑色光Gの反射光等を用いてB画素において観察対象を撮影して得る画像であり、Rr画像は、緑色光Gの反射光等を用いてR画素において観察対象を撮影して得る画像である。但し、緑色光Gは、B画素の青色カラーフィルタ及びR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、緑色光Gを照明光に使用する撮影フレームにおいては、実質的に得られる画像はGr画像だけである。
また、校正モードにおいて、赤色光Rを照明光に使用する撮影フレームにおいては、Bs画像、Gs像、及びRs画像が得られる。Rs画像は、赤色光Rの反射光等を用いてR画素において観察対象を撮影して得る画像である。同様に、Bs画像は、赤色光Rの反射光等を用いてB画素において観察対象を撮影して得る画像であり、Gs画像は、赤色光Rの反射光等を用いてG画素において観察対象を撮影して得る画像である。但し、赤色光Rは、B画素の青色カラーフィルタ及びG画素の緑色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、赤色光Rを照明光に使用する撮影フレームにおいては、実質的に得られる画像はRs画像だけである。
Figure 2017113184
また、表5に示すように、校正モードにおいて白色光を照明光に使用する撮影フレームにおいては、Bt画像、Gt画像、及びRt画像を得る。Bt画像は、主に白色光が含む第1青色光BSの反射光等を用いてB画素において観察対象を撮影して得る画像である。同様に、Gt画像は、主に白色光が含む緑色光Gの反射光等を用いてG画素において観察対象を撮影して得る画像であり、Rt画像は、主に白色光が含む赤色光Rの反射光等を用いてR画素において観察対象を撮影して得る画像である。したがって、これらの画像は、通常観察モードにおいて得るBc画像、Gc画像、Rc画像と同じものであるが、区別のためにそれぞれBt画像、Gt画像、及びRt画像という。なお、校正モードにおいて取得するBp画像、Gp画像、Rp画像、Bq画像、Gq画像、Rq画像、Bs画像、Gs画像、Rs画像、Bt画像、Gt画像、及びRt画像は、プレ撮影画像である。また、これらの画像のうち、Bp画像、Bq画像、Gr画像、及びRs画像は、酸素飽和度観察モードの校正に実際に使用する校正用画像である。
Figure 2017113184
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する。
制御部52は、モード切り替えスイッチ13aからモード切り替え信号の入力を受けて、光源制御部22及びイメージセンサ48に制御信号を入力することにより、観察モードを切り替える。また、特殊観察モードのなかでは、酸素飽和度観察モードと校正モードとを切り替える。この他、制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等もする。
画像取得部54は、イメージセンサ48から観察対象の画像を取得する。通常観察モードの場合、画像取得部54は、撮影フレーム毎にBc画像、Gc画像、及びRc画像を取得する。本実施形態の特殊観察モードの場合、酸素飽和度観察モード(生体情報観察モード)においては、画像取得部54は、照明光に第2青色光BLを使用する撮影フレームにおいては、B1画像、G1画像、及びR1画像を取得し、照明光に白色光を使用する撮影フレームにおいては、B2画像、G2画像、及びR2画像を取得する。一方、校正モードにおいては、画像取得部54は、第1青色光BSを照明光に使用する撮影フレームにBp画像、Gp画像、及びRp画像を取得し、第2青色光BLを照明光に使用する撮影フレームにBq画像、Gq画像、及びRq画像を取得し、緑色光Gを照明光に使用する撮影フレームにBr画像、Gr画像、及びRr画像を取得し、かつ、赤色光Rを照明光に使用する撮影フレームにBs画像、Gs画像、及びRs画像を取得する。さらに、これらの間に挿入する白色光を照明光に使用した撮影フレームにおいては、Bt画像、Gt画像、及びRt画像を取得する。
また、画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、通常処理部62と、特殊処理部63とを有する。通常処理部62は、通常観察モード時に作動し、上記各種処理を施した1撮影フレーム分のBc画像、Gc画像、及びRc画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部66は、通常処理部62から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常画像の動画を用いて観察対象を観察できる。
特殊処理部63は、図6に示すように、演算値算出部70、データ記憶部71、生体情報算出部72、画像生成部73、校正情報算出部75、補正量算出部76、及び校正部77を備える。これらのうち、演算値算出部70、生体情報算出部72、及び画像生成部73は酸素飽和度観察モードの際に機能する。
演算値算出部70は、画像取得部54から生体情報観察モードにおいて得る本撮影画像を取得し、本撮影画像を用いて生体情報算出部72が生体情報の算出に用いる演算値を算出する。すなわち、生体情報観察モードは酸素飽和度観察モードであり、酸素飽和度を生体情報として算出するので、演算値算出部70は、画像取得部54から酸素飽和度観察モードにおいて得る本撮影画像を取得し、本撮影画像を用いて生体情報算出部72が酸素飽和度の算出に用いる演算値を算出する。より具体的には、演算値算出部70は、酸素飽和度観察モード時に画像取得部54から、B1画像、B2画像、G2画像、及びR2画像を取得する。そして、G2画像に対するB1画像の比B1/G2と、G2画像に対するR2画像の比R2/G2と、をそれぞれ画素ごとに算出する。これらの比B1/G2、及び、比R2/G2が、酸素飽和度の算出に用いる演算値である。
データ記憶部71は、演算値算出部70が算出する上記演算値を用いて、生体情報算出部72が生体情報を算出する際に使用するデータを記憶する。すなわち、酸素飽和度を生体情報として算出するので、データ記憶部71は、演算値算出部70が算出する上記演算値と、酸素飽和度との相関関係を、LUT等の形式で記憶している。図7に示すように、この相関関係を、縦軸Log(B1/G2)及び横軸Log(R2/G2)を用いて形成する第1特徴空間において表すと、酸素飽和度が同じ値の点を結ぶ等値線が、ほぼ横方向に沿って形成される。また、等値線は、酸素飽和度が大きくなるほど縦軸方向の下方に位置する。例えば、酸素飽和度が100%の等値線83は、酸素飽和度が0%の等値線84よりも下方に位置する。
上記相関関係は、図8に示す酸化ヘモグロビン(グラフ86)及び還元ヘモグロビン(グラフ87)の吸光特性と密接に関連している。具体的には、第2青色光BLの波長(約470±10nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きいので、ヘモグロビンの酸素飽和度に起因して吸光量が変化する。このため、第2青色光BLは、酸素飽和度の情報を取り扱いやすい。したがって、照度ムラ等の補正のためにG2画像を用いてB1画像を規格化した比B1/G2を用いれば、酸素飽和度を算出できる。しかし、比B1/G2は酸素飽和度だけでなく、血液量にも依存する。そこで、比B1/G2に加えて、主として血液量に依存して変化する比R2/G2を用いることで、血液量に影響されることなく、酸素飽和度を算出できるようにしている。なお、G2画像に含まれる緑色光Gの波長(約540±20nm)は、ヘモグロビンの吸光係数が比較的高いので、血液量に起因して吸光係数が変化しやすい波長である。
なお、上記第1特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションをした結果として予め得られる。また、データ記憶部71は、比B1/G2及び比R2/G2と、酸素飽和度との相関関係を記憶しているが、データ記憶部71はこの他の相関関係を記憶しておくことができる。例えば、B1画像、B2画像、G2画像、及びR2画像に基づく上記とは異なる他の演算(例えば差分処理)をした結果として得る演算値(以下、他の演算値という)を用いて酸素飽和度を算出する場合、データ記憶部71は、この他の演算値を酸素飽和度に対応付ける相関関係を記憶しておくことができる。
生体情報算出部72は、データ記憶部71が記憶するデータを参照し、演算値算出部70が算出した演算値を用いて生体情報を算出等する。本実施形態では、生体情報算出部72は酸素飽和度算出部として機能する。具体的には、生体情報算出部72は、データ記憶部71が記憶する相関関係を参照し、比B1/G2及び比R2/G2に対応する酸素飽和度を画素ごとに算出する。例えば、特定画素の比B1/G2及び比R2/G2に対応する酸素飽和度は、データ記憶部71が記憶する相関関係を参照すると「40%」である。したがって、生体情報算出部72は、この特定画素の酸素飽和度を「40%」と算出する。
なお、比B1/G2及び比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、比B1/G2及び比R2/G2の各値の組み合わせが、酸素飽和度100%の上限の等値線83(図7参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線84(図7参照)よりも上方に分布したりすることはほとんどない。万が一、比B1/G2及び比R2/G2の各値の組み合わせが、上限の等値線83より下方に分布する場合には、生体情報算出部72はその画素の酸素飽和度を100%と算出する。同様に、比B1/G2及び比R2/G2の各値の組み合わせが、下限の等値線84より上方に分布する場合には、生体情報算出部72は、その画素の酸素飽和度を0%と算出する。また、比B1/G2及びR2/G2に対応する点が上限の等値線83と下限の等値線84との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことを表示しても良いし、酸素飽和度を算出しないようにしても良い。
画像生成部73は、生体情報観察モードの場合、生体情報算出部72が算出した生体情報を表す生体情報画像を生成する。すなわち、画像生成部73は、生体情報算出部72において算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部73は、B2画像、G2画像、及びR2画像を取得し、これらの画像に対して酸素飽和度に応じたゲインを画素ごとに施す。例えば、画像生成部73は、酸素飽和度が60%以上の画素にはB2画像、G2画像、及びR2画像のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素には、B2画像に対して「1」未満のゲインを乗じ、G2画像及びR2画像に対しては「1」以上のゲインを乗じる。その後、画像生成部73は、上記のようにゲインを施したB2画像、G2画像、及びR2画像を用いてカラーの酸素飽和度画像を生成する酸素飽和度画像する。画像生成部73が生成した酸素飽和度画像は、表示制御部66が取得し、モニタ18に順次表示する。
画像生成部73が生成した酸素飽和度画像においては、高酸素の領域(本実施形態においては、酸素飽和度が60%以上100%以下の領域)は、通常画像と同様、自然な色になる。一方、酸素飽和度が特定値を下回る低酸素の領域(本実施形態においては酸素飽和度が0%以上60%未満)は、通常画像とは異なる色(いわゆる疑似カラー)になる。なお、本実施形態においては、酸素飽和度観察モードの場合に、画像生成部73は、低酸素の領域だけを疑似カラー化するゲインを乗じているが、高酸素の領域においても酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素の領域と高酸素の領域を、酸素飽和度60%を境界にして分けているが、この境界も任意である。
一方、校正モードにおいては、特殊処理部63の各部のうち、校正情報算出部75、補正量算出部76、校正部77、及び画像生成部73が機能する。
校正情報算出部75は、画像取得部54からプレ撮影画像を取得し、プレ撮影画像を用いて、生体情報観察モードの校正に使用する生体情報(以下、校正情報という)を算出する。校正情報とは、例えば、観察対象の部位や状態等を表す観察対象に固有の生体情報である。具体的には、校正情報算出部75は、まず、画像取得部54から少なくともBp画像、Bq画像、Gr画像、及びRs画像を取得する。そして、観察対象に付着した黄色色素(ビリルビンやステルコビリン等)に関連し、かつ、酸素飽和度への依存性が低い生体情報と、酸素飽和度観察モードの校正に使用するその他の生体情報と、を算出する。黄色色素に関連するとは、黄色色素の付着量または濃度に相関があることをいう。また、酸素飽和度への依存性が低いとは、酸素飽和度の値に起因して、黄色色素情報の値が概ね変化しないことをいう。
より具体的には、校正情報算出部75は、まず、Gr画像に対するBp画像の比Bp/Grと、Gr画像に対するBq画像の比Bq/Grと、Gr画像に対するRs画像の比Rs/Grと、を画素ごとに算出する。
Bp画像は第1青色光BSに対応する画像であり、第1青色光BSの波長帯域(中心波長約450±10nm)は、ヘモグロビンの吸光係数が比較的高く、かつ、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい等吸収波長である(図8参照)。このため、Bp画像は、酸素飽和度に起因しては値が変化しにくい画像である。また、第1青色光BSは、図9に示すように、黄色色素の吸光係数が概ね最も高くなる波長帯域を有しているので、黄色色素の付着量または濃度に応じて吸光量が変化しやすい。これらのことから、照度ムラ等の補正のためにGr画像を用いてBp画像を規格化した比Bp/Grの値は、酸素飽和度に起因してはほとんど変化しないものの、黄色色素の付着量または濃度に起因して変化する。なお、Gr画像に対応する緑色光Gの波長帯域は、血液量に起因して吸光量が変化しやすい波長帯域なので、比Bp/Grは血液量に起因して変化する。
また、Bq画像は第2青色光BLに対応する画像であり、第2青色光BLの波長帯域(約470±10nm)は、ヘモグロビンの吸光係数が比較的高く、かつ、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域である(図8参照)。このため、Bq画像は、酸素飽和度に起因して変化しやすい画像である。また、第2青色光BLの波長帯域は、黄色色素の吸収ピークからはややずれているものの、他の波長帯域と比べれば、大きな吸光係数を有している(図9参照)。これらのことから、照度ムラ等の補正のためにGr画像を用いてBq画像を規格化した比Bq/Grの値は、酸素飽和度と、黄色色素の付着量または濃度と、に起因して値が変化する。また、Gr画像は血液量に依存性があるので、比Bq/Grの値は血液量に起因して変化する。
一方、Rs画像は、赤色光Rに対応する画像であり、赤色光Rの波長帯域(中心波長約640±20nm)は、第1青色光BSや第2青色光BLの波長帯域に比べれば、ヘモグロビンの吸光係数はごく小さい(図8参照)。このため、Rs画像は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差があるものの、吸光量が少なすぎるので、実質的には酸素飽和度には依存性がない。また、黄色色素に関しても、赤色光Rの波長帯域における黄色色素の吸光係数は、第1青色光BSや第2青色光BLの波長帯域に比べるとごく小さい値なので、Rs画像は、黄色色素の付着量または濃度に起因してはほとんど変化しない。したがって、照度ムラ等の補正のためにGr画像を用いてRs画像を規格化した比Rs/Grの値は、酸素飽和度にも黄色色素の付着量や濃度にもほとんど依存しない。但し、比Rs/Grは、Gr画像の血液量依存性を反映して、血液量に起因して変化する。
上記のことから、少なくとも比Bp/Grは、観察対象に付着した黄色色素に関連し、かつ、酸素飽和度への依存性が低い生体情報に該当する。しかし、本実施形態においては、校正情報算出部75は、より正確に観察対象に付着した黄色色素に関連し、かつ、酸素飽和度への依存性がより低い生体情報(以下、黄色色素情報という)Vyを、下記式Aに基づいて算出する。位相φは、式Aに基づく演算により得られる黄色色素情報Vyが、酸素飽和度が変化しても一定になるように予め調整した既知量である。校正情報算出部75は、この位相φの調整後の黄色色素情報Vyと、比Rs/Grを、校正情報として補正量算出部76に入力する。
[式A] Vy=(Bp/Gr)×cosφ+(Bq/Gr)×sinφ
補正量算出部76は、予め定められた基準情報と、校正情報算出部75が算出した校正情報とから、生体情報の算出に用いるデータの補正量を算出する。すなわち、補正量算出部76は、黄色色素情報Vyを用いて、酸素飽和度の算出に用いる相関関係の補正量ΔDを算出する。また、校正情報算出部75が算出した校正情報を使用することで、補正量算出部76は、補正量の算出に、実質的に校正用画像を用いている。基準情報とは、本実施形態の場合、ほぼ黄色色素がないといえる状態において取得した黄色色素情報Vyと比Rs/Grの相関関係である。基準情報を構成する黄色色素情報Vyは、ほぼ黄色色素がないといえる状態において取得したこれらのBp画像、Bq画像、及びGr画像を用いて、酸素飽和度に起因した変化がないように位相φを調整することにより、式Aにしたがって算出する黄色色素情報Vyである。この過程において、式Aの位相φも定まる。基準情報は、例えば生体を模したファントム等を撮影や、シミュレーション等により予め定めることができる。なお、上記の通り、生体情報観察モードにおいて生体情報の算出に用いるデータとは、本実施形態においては、データ記憶部71が記憶する相関関係である。
図10に示すように、補正量算出部76は、縦軸を黄色色素情報Vyとし、横軸をLog(Rs/Gr)とした第2特徴空間を用いて補正量ΔDを算出する。横軸に用いる比Rs/Grは血液量を表すので、第2特徴空間は血液量に対する黄色色素情報Vyの分布を表し、第2特徴空間において黄色色素情報Vyが等しい点を結ぶ線は、黄色色素の濃度(または付着量)が等しい等値線(以下、等濃度線という)である。
基準情報は、第2特徴空間に基準等濃度線94を形成する。このため、実際に黄色色素がなければ、観察対象を実際にプレ撮影して得る黄色色素情報Vy及び比Rs/Grが第2特徴空間内に定める点は、基準等濃度線94にのる。しかし、黄色色素があれば、その付着量または濃度に起因して、基準等濃度線94からずれた位置にある別の等濃度線96上にのる。したがって、第2特徴空間において、観察対象を実際にプレ撮影して得る黄色色素情報Vy及び比Rs/Grが表す点がのる等濃度線96と、基準等濃度線94と、縦軸方向に沿った差分ΔZが、黄色色素の付着量または濃度を表す。したがって、補正量算出部76は、基準等濃度線94と等濃度線96の差分ΔZを算出し、所定の係数αをかけることにより、補正量ΔD(=ΔZ×α)を算出する。なお、係数αは、差分ΔZを、データ記憶部71が記憶する相関関係の補正に適した値にスケール変換するための値である。黄色色素の付着量または濃度が小さいほど黄色色素情報Vyの値が大きくなるので、第2特徴空間の等濃度線は、基準等濃度線94の下方に形成される。
校正部77は、補正量算出部76が算出した補正量ΔDを用いて、生体情報の算出等で使用するデータを補正することにより、生体情報観察モードを校正する。本実施形態においては、校正部77は、補正量ΔDを用いて、データ記憶部71が記憶する相関関係を補正することにより、酸素飽和度観察モードを校正する。具体的には、校正部77は、第1特徴空間(図7参照)において、全ての等値線に縦軸のLog(B1/G2)の値に補正量ΔDを加算する。すなわち、校正部77は、第1特徴空間の全ての等値線を補正量ΔDだけ縦軸上方にシフトする。こうして校正部77が補正した第1特徴空間には、部位や実際の状態等の実際の観察対象に固有の誤差要因(本実施形態においては黄色色素の付着量または濃度)が反映される。したがって、酸素飽和度観察モードにおいて、校正部77が補正した第1特徴空間を用いることにより、生体情報算出部72は、観察対象に固有の誤差要因に依らない正確な酸素飽和度を算出できる。
上記のように、校正情報算出部75、補正量算出部76、及び校正部77を用いて生体情報観察モード(酸素飽和度観察モード)を校正する一方、校正モードにおいては、画像生成部73は、画像取得部54からBt画像、Gt画像、及びRt画像(すなわち校正モード中に白色光を用いて得られる画像)を順次取得する。そして、画像生成部73は、1撮影フレーム分のBt画像、Gt画像、及びRt画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、白色光画像202を生成する。この白色光画像202は、校正モード中に生成することを除けば、通常観察モードの通常画像と同じである。したがって、白色光画像202を用いれば、自然な色合いの観察対象を観察できる。
表示制御部66は、校正モード時には、画像生成部73が生成する上記白色光画像202を順次取得して、モニタ18に表示する。このため、校正モードにおいてプレ撮影画像を撮影している最中であっても、白色光画像202、あるいは白色光画像202からなる動画を用いて、途切れることなく、観察対象の観察を継続できる。
次に、特殊観察モードの一連の動作の流れを、図11〜図13に示すフローチャートに沿って説明する。まず、図11に示すように、モード切り替えスイッチ13aを操作して、特殊観察モードに切り替えると(S10)、制御部52は、光源制御部22及びイメージセンサ48に制御信号を入力することにより、校正モードを実行する(S11)。校正モードにおいては、プレ撮影して得るプレ撮影画像を用いて、酸素飽和度の算出に使用する相関関係を補正することにより、酸素飽和度観察モード(生体情報観察モード)を校正する。さらに、校正モードにおいては、プレ撮影画像を得る合間に、白色光を用いて観察対象を撮影し、白色光画像202をモニタ18に表示する。このため、医師等は、白色光画像202(または白色光画像202からなる動画)を見て、酸素飽和モードの校正が正確に行えたか否かを判断する(S12)。具体的には、プレ撮影が不適切な条件において行われると酸素飽和度の校正が正確に行えないので、校正モード中にモニタ18に表示する白色光画像202を見て、プレ撮影が適切に行われたことを確認する。例えば、観察対象に明らかな病変がないか等の撮影位置に関する条件や、明るさが適切か、観察対象に動きに起因して観察対象が不鮮明になっていないか等、撮影の状況に関する条件を、プレ撮影画像とほぼ同時に得られた白色光画像202から判断する。
白色光画像202からして、プレ撮影が適切に行えておらず、生体情報観察モードが正確に校正されていない可能性があると判断した場合(S12:NO)、コンソール19等からの操作入力により、再び校正モードを実行する。一方、白色光画像202からして、プレ撮影が適切に行えており、生体情報観察モードが観察対象に合わせて正確に校正できたと判断した場合(S12:YES)、コンソール19等からの操作入力により、本実施形態の生体情報観察モードである酸素飽和度観察モードに移行する(S13)。酸素飽和度観察モードにおいては、内視鏡システム10は本撮影を行って得る本撮影画像を用いて酸素飽和度を算出し、酸素飽和度の値を、疑似カラーを用いて示す酸素飽和度画像をモニタ18に表示する。このため、医師等は、酸素飽和度画像を見て診断する。酸素飽和度画像を用いて診断する際に、酸素飽和度の値が全体的に高い、あるいは全体的に低い等、示された酸素飽和度の値に疑義があり、校正し直す必要があれば(S14)、コンソール19等からの操作入力により、再び校正モード(S13)に移行し、酸素飽和度観察モードを再校正する。また、内視鏡システム10は、モード切り替えスイッチ13aの操作により、酸素飽和度観察モードを終了するまで(S15)、酸素飽和度観察モードを繰り返し実行し、継続的に酸素飽和度画像をモニタ18に表示する。
図12に示すように、校正モード(図11のステップS11)においては、まず、光源部20が第1青色光BSを発光し(S21)、イメージセンサ48はこの第1青色光BSを用いて、自動的に観察対象をプレ撮影し、画像取得部54は酸素飽和度観察モードの校正に使用するBp画像を取得する(S22)。次いで、光源部20は白色光を発光する(S23)。このため、Bp画像を得た次の撮影フレームにおいては、イメージセンサ48は白色光を用いて自動的に観察対象を撮影し、画像取得部54はBt画像、Gt画像、及びRt画像を取得する(S24)。プレ撮影の途中であるが、画像生成部73は、ここにおいて得るBt画像、Gt画像、及びRt画像を用いて白色光画像202を生成し、表示制御部66は白色光画像202をモニタ18に表示する(S25)。
白色光画像202を得た撮影フレームの次の撮影フレームにおいては、光源部20は第2青色光BLを発光する(S26)。そして、イメージセンサ48は第2青色光BLを用いて自動的に観察対象を撮影し、画像取得部54は、酸素飽和度観察モードの校正に必要なBq画像を取得する(S27)。Bq画像を得た次の撮影フレームにおいては、光源部20は、次のプレ撮影画像を得るための照明光を発光するのではなく、再び白色光を発光する(S28)。このため、イメージセンサ48は白色光を用いて観察対象を自動的に撮影し、画像取得部54は再びBt画像、Gt画像、及びRt画像を取得する(S29)。画像生成部73は、これらのBt画像、Gt画像、及びRt画像から白色光画像202を生成し、表示制御部66は生成した白色光画像202をモニタ18に表示する(S30)。
次の撮影フレームにおいては、光源部20は緑色光Gを発光する(S31)。そして、イメージセンサ48はこの緑色光Gを用いて自動的に観察対象を撮影し、画像取得部54は、酸素飽和度観察モードの校正に必要なGr画像を取得する(S32)。次いで、光源部20は、白色光を再び発光し(S33)、イメージセンサ48が白色光を用いて自動的に観察対象を撮影して、画像取得部54がBt画像、Gt画像、及びRt画像を取得する(S34)。このため、画像生成部73はこれらを用いて白色光画像202を生成し、表示制御部66が白色光画像202をモニタ18に表示する(S35)。
そして、次の撮影フレームにおいて、光源部20は赤色光Rを発光し(S36)、イメージセンサ48がこの赤色光Rを用いて自動的に観察対象を撮影して、画像取得部54が酸素飽和度観察モードの校正に必要な最後の画像であるRs画像を取得する(S37)。
上記のように、白色光画像202の生成及び表示を挿入しつつ、酸素飽和度観察モードの校正に必要な複数のプレ撮影画像(すなわちBp画像、Bq画像、Gr画像、及びRs画像)を取得すると、校正情報算出部75はこれらのプレ撮影画像を用いて、観察対象の部位や状態等を表す観察対象に固有の生体情報を校正情報として算出する(S38)。校正情報算出部75が校正情報を算出すると、補正量算出部76は、校正情報算出部75が算出した校正情報を用いて酸素飽和度の算出に使用する相関関係を補正することにより、酸素飽和度観察モードを校正する(S40)。
図13に示すように、酸素飽和度観察モード(図11のステップS13)においては、光源部20は、まず、第2青色光BLを発光する(S51)。そして、イメージセンサ48は第2青色光BLを用いて自動的に観察対象を撮影し、画像取得部54は、酸素飽和度の算出に必須のB1画像を取得する(S52)。その後、次の撮影フレームにおいては、光源部20は白色光を発光し(S53)、イメージセンサ48がこの白色光を用いて自動的に観察対象を撮影することにより、画像取得部54は、酸素飽和度の算出及び酸素飽和度画像の生成に必要なB2画像、G2画像、及びR2画像を取得する(S54)。
こうしてB1画像、B2画像、G2画像、及びR2画像が得られたら、演算値算出部70が酸素飽和度の算出に必要な演算値を算出する(S55)。具体的には、演算値算出部70は、比B1/G2と比R2/G2をそれぞれ画素ごとに算出する。
そして、生体情報算出部72は、データ記憶部71の相関関係を参照し、演算値算出部70が算出した比B1/G2及び比R2/G2から、観察対象の酸素飽和度を画素ごとに算出する(S56)。当然ながら、生体情報算出部72は、データ記憶部71が予め記憶するデフォルトの相関関係でなはなく、校正モードにおいて校正部77が補正した相関関係を使用する。このため、観察対象に固有の誤差要因の影響を受けないので、生体情報算出部72が算出した酸素飽和度は正確である。
生体情報算出部72が酸素飽和度を算出すると、画像生成部73は、B2画像、G2画像、及びR2画像に対して酸素飽和度に応じたゲインを施し、酸素飽和度の値を、疑似カラーを用いて表す酸素飽和度画像を生成し、表示制御部66が酸素飽和度画像をモニタ18に表示する(S57)。
上記のように、内視鏡システム10は、生体情報観察モードと、この生体情報観察モードを校正する校正モードと、を有しており、校正モード時には、単にプレ撮影画像を得て、生体情報観察モードを校正するだけでなく、プレ撮影画像を得る合間(または前後)に、白色光画像202を生成及び表示する。このため、医師等は、校正モード中においても、観察対象を継続して観察できる。
さらに、校正モード中にモニタ18に表示する白色光画像202は、プレ撮影画像とほぼ同時に取得するので、プレ撮影画像を得る合間または前後の観察対象の状態を表している。このため、医師等は、校正モード中の白色光画像202の表示により、プレ撮影が適切に行えたかどうか、すなわち、生体情報観察モードである酸素飽和度観察モードが正確に校正されたか否かを判断する機会が得られる。
特殊観察モードへの切り替え時に自動的に行う校正モードにおいてプレ撮影に失敗し、校正が正確でなかった場合にそのまま酸素飽和度観察モード(生体情報観察モード)を実行すれば、当然、酸素飽和度は不正確なので酸素飽和度画像を診断に利用できない。これに対して、内視鏡システム10においては、校正モード中に白色光画像202を表示することで、校正が適切にできたかどうかを判断する機会があるので、必要であれば、酸素飽和度観察モードに移行する前に、再度校正モードを実行して、酸素飽和度観察モードを確実かつ正確に校正できる。したがって、内視鏡システム10においては、校正が再度必要になるような観察対象の変化(例えば、粘液の分泌等)がなければ、酸素飽和度観察モードに移行した時点において、酸素飽和度を確実かつ正確に算出できるようになっている。
なお、上記第1実施形態においては、補正量算出部76は、第2特徴空間を用いて補正量ΔDを算出しているが、補正量ΔDは、Bp画像、Bq画像、Gr画像、及びRs画像に対してマトリックス処理と1D−LUT(1 Dimensional Look Up Table)とを組み合わせた変換処理をして算出することもできる。
上記第1実施形態においては、黄色色素の付着量または濃度に関して酸素飽和度観察モードを校正しているが、他の観察対象に固有の状態等について酸素飽和度観察モードを校正できる。この場合、校正情報算出部75は、黄色色素の付着量または濃度に関する生体情報の代わりに、校正の対象とする観察対象に固有の状態等に関する生体情報を校正情報として算出すれば良い。補正量算出部76や校正部77の動作は上記第1実施形態と同様である。
上記第1実施形態の校正モードにおいては、プレ撮影画像を得るために、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rを発光する間に、全て白色光を発光して白色光画像202を得ているが(図4参照)、これらの白色光を発光するタイミングのうちいずれかを省略できる。また、第1青色光BSの発光前に、白色光を発光して白色光画像202を得ても良いし、赤色光Rの発行後にも白色光を跛行して白色光画像202を得ても良い。すなわち、校正モード中に、少なくとも1回白色光を発光して、白色光画像202を生成及び表示できれば良い。
上記第1実施形態の校正モードにおいては、白色光画像202を除けば、プレ撮影画像を、Bp画像、Bq画像、Gr画像、及びRs画像の順に取得するが(図12参照)、プレ撮影画像の取得順序は任意である。例えば、Rs画像、Bq画像、Bp画像、及びGr画像の順にプレ撮影画像を取得できる。但し、これらのプレ撮影画像の中でも、Bp画像とBq画像とで観察対象のずれ(動き)があると、酸素飽和度観察モードの校正精度が特に低下しやすい。このため、できる限りBp画像とBq画像は連続して取得することが好ましい。すなわち、複数の校正用照明光のうち、酸素飽和度観察モードの校正に使用する補正量ΔDの算出精度への寄与が最も大きい組み合わせの2つの校正用照明光の発光間隔を、他の校正用照明光の発光間隔よりも短くすることが好ましい。もちろん、あくまでもプレ撮影画像の取得順に関してBp画像とBq画像を連続して取得するのであって、白色光画像202を生成及び表示するための撮影フレームをBq画像とBq画像の間に挿入して構わない。
[第2実施形態]
第1実施形態においては、プレ撮影画像の全体を使用して生体情報観察モード(酸素飽和度観察モード)を校正しているが、プレ撮影画像の全体ではなく、プレ撮影画像の一部だけを使用して生体情報観察モードを校正できる。このように、プレ撮影画像の一部を使用して生体情報観察モードを校正する場合、図14に示すように、特殊処理部63に、校正モードの際に作動する領域設定部201を設ける。
領域設定部201は、画像取得部54から、生体情報観察モードである酸素飽和度観察モードの校正に使用するプレ撮影画像(すなわちBp画像、Bq画像、Gr画像、及びRs画像)を取得し、これらのプレ撮影画像の一部を、酸素飽和度観察モードの校正に使用する領域(以下、使用領域という)203(図15参照)に設定する。領域設定部201がプレ撮影画像に対して使用領域203を設定した場合、校正情報算出部75は、領域設定部201が設定した使用領域203についてだけ校正情報を算出する。これにより、補正量算出部76も使用領域について補正量ΔDの算出することになるので、校正部77が行う相関関係の補正(すなわち酸素飽和度観察モードの校正)には、プレ撮影画像の全体ではなく、プレ撮影画像の一部である使用領域203だけが使用される。このように、プレ撮影画像の一部に使用領域203を設定し、プレ撮影画像の全体ではなく、使用領域203だけを使用して酸素飽和度観察モードを校正すると、校正の誤差要因を低減できるので、酸素飽和度観察モードをより正確に校正できる。
領域設定部201は、例えば、プレ撮影画像から、明るすぎる部分(ハレーションを起こしている部分)や、暗すぎる部分(光量不足により黒く潰れてしまっている部分)、残渣や残液が付着している部分等の校正の誤差要因になる部分を検出し、これらを除いた領域を使用領域203に設定する。領域設定部201は、観察対象の形状等から判断して病変等がないといえる正常部を検出し、検出した正常部を使用領域203に設定することもできる。また、領域設定部201は、照度ムラが起きやすい画像の周縁部や、観察対象の奥の方の部分の一定範囲を除いた領域を使用領域203に設定できる。この他、コンソール19等からの操作入力により、手動で使用領域203を設定することもできる。
上記のように、領域設定部201がプレ撮影画像の一部を使用領域203に設定し、使用領域203だけを酸素飽和度観察モードの校正に使用する場合には、画像生成部73は、領域設定部201から、領域設定部201が設定した使用領域203の位置及び範囲の情報(以下、位置情報という)を取得する。例えば、図15に示すように、表示制御部66は、白色光画像202をモニタ18に表示する際に、位置情報に基づいて、領域設定部201が設定した使用領域203を白色光画像202に重畳表示する。
こうして使用領域203を白色光画像202に重畳表示すると、どの領域を酸素飽和度観察モードの校正に使用したかを視認できる。したがって、医師等は、白色光画像202を用いて、観察対象の動き等の誤差要因になり得る状態かどうかを確認する他、使用領域203が不適切でないかを確認し、領域設定部201が設定した使用領域203が不適切な場合には、酸素飽和度の校正をやり直すことができる。
上記第2実施形態においては、領域設定部201は、プレ撮影画像を用いて使用領域203を検出及び設定しているが、この代わりに、領域設定部201は、白色光画像202を用いて使用領域203を設定することができる。
上記第2実施形態においては、使用領域203を白色光画像202に重畳表示しているが、さらに、補正量ΔDの数値や補正量ΔDの数値を示すインジケータを白色光画像202に重畳表示してもよい。具体的な補正量ΔDの数値等も酸素飽和度観察モードの校正が正確に行われたか否かの判断材料になるからである。例えば、補正量ΔDが極端に大きい場合には、撮影した箇所全体に病変が広がっている等、観察対象の状態が正常な状態から程遠い可能性がある。補正量ΔDの具体的な数値等を見れば、こうした異常性を察知することができる。補正量ΔDの数値等の重畳表示は、第1実施形態の場合にも有効である。
[第3実施形態]
第1実施形態においては、光源部20は、校正モード時に、プレ撮影画像を得るための校正用照明光を順次発光する間に、白色光の発光を複数回挿入する。これにより、モニタ18には、白色光を発光した各撮影フレームにおいて得る画像から、それぞれ白色光画像202を生成及び表示している。
このように、校正モードにおいて、光源部20が、プレ撮影画像を得るための校正用照明光を順次発光する間に白色光の発光を複数回挿入し、白色光画像202を複数得る場合には、図16に示すように、特殊処理部63には、さらに、校正モード時に作動する動き量算出部301と位置ずれ補正部302を設けることが好ましい。
動き量算出部301は、画像生成部73が生成する白色光画像202を順次取得し、取得した複数の白色光画像202から観察対象の動き量を算出する。具体的には、動き量算出部301は、順次取得する2つの白色光画像202のマッチングにより、これらの白色光画像202間の観察対象の動きを表す複数のベクトル(以下、動きベクトル)を検出する。そして、これらの動きベクトルから、観察対象の移動や回転、変形等の方向及び大きさを算出する。こうして算出する観察対象の移動や回転、変形等の方向及び大きさが動き量である。
位置ずれ補正部302は、動き量算出部301が算出した動き量を用いて、校正用画像の観察対象の位置ずれを補正する。すなわち、位置ずれ補正部302は、校正用画像であるBp画像、Bq画像、Gr画像、及びRs画像の観察対象の位置ずれを補正する。
例えば、校正モードにおいて最初に得る白色光画像202(図12のステップS25において得る白色光画像202)と、次に得る白色光画像202(図12のステップS30において得る白色光画像202)とから動き量を算出すると、この動き量は、最初に得る白色光画像202と次に得る白色光画像202の前後に取得したBp画像、Bq画像、及びGr画像間の観察対象の動き量に概ね等しい。同様に、校正モードにおいて2番目に得る白色光画像202(図12のステップS30において得る白色光画像202)と、3番目に得る白色光画像202(図12のステップS35において得る白色光画像202)とから動き量を算出すると、この動き量は、これらの前後に取得したBq画像、Gr画像、及びRs画像間の観察対象の動き量に概ね等しい。したがって、これらの動き量を用いれば、Bp画像、Bq画像、Gr画像、及びRs画像の観察対象に多少の動きがあっても、これらの各画像間の観察対象の位置ずれを補正できる。
校正情報算出部75は、上記のように位置ずれ補正部302を用いて観察対象の位置ずれを補正したBp画像、Bq画像、Gr画像、及びRs画像を用いて校正情報を算出する。このため、観察対象の位置ずれを補正しない場合よりも、正確に校正情報を算出できる。したがって、本実施形態においては、観察対象の動きに起因する誤差を低減できるので、酸素飽和度観察モードの校正がより正確になる。
なお、上記第3実施形態においては、動き量算出部301は、画像生成部73が生成した白色光画像202を用いて動き量を算出するが、動き量算出部301は、白色光画像202の代わりに、白色光画像202を生成するための画像を用いて動き量を算出できる。具体的には、画像生成部73は、Bt画像、Gt画像、及びRt画像を用いて白色光画像202を生成するので、動き量算出部301は、Bt画像、Gt画像、またはRt画像のいずれか、または全てを用いて、動き量を算出できる。
[第4実施形態]
上記第3実施形態においては、校正モードにおいて、複数の白色光画像202から動き量を算出して校正用画像の観察対象の位置ずれを補正しているが、この代わりに、複数の白色光画像202の光量比を算出し、算出した光量比を用いて、校正用画像の光量比を補正しても良い。
この場合、図17に示すように、特殊処理部63に、校正モード時に機能する光量比算出部401及び光量比補正部402を設ける。光量比算出部401は、画像生成部73から白色光画像202を順次取得し、それらの光量比を算出する。画像の光量とは、例えば、全画素または一部の画素の輝度の平均値(以下、平均輝度という)であり、画像の光量比とは、対比する画像の平均輝度の比である。したがって、複数の白色光画像202の光量比とは、各白色光画像202の平均輝度の比である。
光量比補正部402は、光量比算出部401が算出した光量比を用いて、校正用画像の光量比を補正する。例えば、光量比算出部401が、校正モードにおいて最初に得る白色光画像202(図12のステップS25において得る白色光画像202)と、次に得る白色光画像202(図12のステップS30において得る白色光画像202)との光量比を算出すると、この光量比は、概ね、これらの白色光画像202の前後に取得するBp画像、Bq画像、及びGr画像の光量の変化を表す。また、光量比算出部401が、校正モードにおいて2番目に得る白色光画像202(図12のステップS30において得る白色光画像202)と、3番目に得る白色光画像202(図12のステップS35において得る白色光画像202)との光量比を算出すると、この光量比は、概ね、これらの白色光画像202の前後に取得するBq画像、Gr画像、及びRs画像の光量の変化を表す。したがって、これらの光量比を用いることで、光量比補正部402は、Bp画像、Bq画像、Gr画像、及びRs画像の光量比を補正できる。
そして、校正情報算出部75は、上記のように光量比補正部402を用いて光量比を補正したBp画像、Bq画像、Gr画像、及びRs画像を用いて校正情報を算出する。このため、照明光を第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rの間において発光量にばらつきがあった等の理由で、Bp画像、Bq画像、Gr画像、及びRs画像の光量に変化があるとしても、本実施形態においては、これら各校正用画像の光量比を補正するので、正確に校正情報を算出できる。したがって、本実施形態においては、校正用画像の光量変化に起因する誤差を低減できるので、酸素飽和度観察モードの校正がより正確になる。
なお、上記第4実施形態においては、光量比算出部401は、画像生成部73が生成した白色光画像202を用いて光量比を算出しているが、光量比算出部401は、白色光画像202の代わりに、白色光画像202を生成するための画像を用いて光量比を算出できる。具体的には、画像生成部73は、Bt画像、Gt画像、及びRt画像を用いて白色光画像202を生成するので、光量比算出部401は、Bt画像、Gt画像、またはRt画像のいずれか、または全てを用いて、光量比を算出できる。
なお、上記第4実施形態は、第3実施形態とも組み合わせることができる。すなわち、校正モードにおいて得る複数の白色光画像202から、動き量と光量比を両方とも算出し、これらを用いて、校正用画像の観察対象の位置ずれを補正し、かつ、校正用画像の光量比を補正できる。この場合、第3実施形態の動き量算出部301及び位置ずれ補正部302と、第4実施形態の光量比算出部401及び光量比補正部402と、を特殊処理部63に設ければ良い。
[第5実施形態]
上記第1〜第4実施形態の校正モードにおいては、1セットの校正用画像(1組のBp画像、Bq画像、Gr画像、及びRs画像)を取得して酸素飽和度観察モードを校正するが、校正モードにおいては複数セットの校正用画像を得るようにしても良い。例えば、図18に示すように、第1実施形態と同様に第1青色光BS、白色光、第2青色光BL、緑色光G、及び、赤色光Rの発光を1セットとして、例えば、第1セットから第5セットまでをまとめて実行できる。各光の発光時に得る画像は第1実施形態と同様なので、上記の場合、校正用画像に限って言えば、Bp画像、Bq画像、Gr画像、及びRs画像を1セットとして、5セット分の校正用画像が得られる。
このように、校正モード時に、複数セット分の校正用画像を得ると、これらのうち一部の校正用画像を用い、かつ、使用する校正用画像の組み合わせを変更することにより、複数の補正量ΔDを算出できる。上記の5セット分の校正用画像を得る場合には、補正量算出部76は、少なくとも、第1セットの校正用画像を使用して算出した校正情報を用いることで、第1セットの校正用画像に起因した第1セットの補正量(以下、区別のため、補正量ΔD1という。他のセットについても同様である。)を算出できる。同様に、第2セットの補正量ΔD2と、第3セットの補正量ΔD3と、第4セットの補正量ΔD4と、第5セットの補正量ΔD5を算出できる。
そして、例えば、上記補正量ΔD1〜ΔD5の平均値を上記第1実施形態の補正量ΔDにすれば、データのばらつき等に起因する誤差を低減し、上記第1実施形態よりもさらに正確な補正量ΔDを算出できる。したがって、本実施形態のように、校正モード時に複数セット分の校正用画像を得るようにすることで、より正確に酸素飽和度観察モードを校正できる。
なお、上記第5実施形態においては、セットごとに補正量ΔD1〜ΔD5を算出しているが、異なるセットにおいて得た校正用画像を組み合わせて用いることで補正量を算出することもできる。例えば、第1セットにおいて得るBq画像、Gr画像、及びRs画像と、第2セットにおいて得るBp画像と、を用いて補正量ΔDを算出できる。また、第1セットにおいて得るGr画像及びRs画像と、第2セットにおいて得るBp画像及びBq画像と、を用いて補正量を算出できる。同様に、2撮影フレーム分ずつ、使用する校正用画像を変更することで、全部で12個の補正量ΔDを算出できる。このように、異なるセットにおいて得た校正用画像を組み合わせて算出する補正量ΔDも加えて、5以上の補正量ΔDを平均すれば、補正量ΔDは上記第5実施形態よりもさらに正確な値になる。したがって、結果として、酸素飽和度観察モードをさらに正確に校正できる。
また、上記第5実施形態及び変形例においては、校正モードにおいて複数の補正量ΔDを算出した後、これらを平均しているが、平均する代わりに、複数の補正量ΔDの中央値等を校正部77が用いる補正量ΔDにしてもよい。
上記第5実施形態のように、校正モードにおいて複数セット分の校正用画像を取得して複数の補正量Δを算出する場合には、図19に示すように、特殊処理部63には、さらに動き量算出部511を設けることが好ましい。この動き量算出部511は、第3実施形態の動き量算出部301と同様に、画像生成部73から白色光画像202を順次取得し、取得した複数の白色光画像202間の観察対象の動き量を算出する。但し、動き量算出部511は、算出した動き量を補正量算出部76に入力する。
そして、補正量算出部76においては、上記第5実施形態の通り、複数の補正量ΔDを算出し、かつ、算出した複数の補正量ΔDを、動き量を用いて重み付け平均した値を、校正部77において使用する補正量ΔDとする。例えば、セットごとに5個の補正量ΔD1〜ΔD5を算出し、第1セットから第5セットの各動き量(または各セットの動き量の平均値等)がそれぞれα1〜α5である場合、補正量算出部76は、これらの動き量α1〜α5を各セットの補正量ΔD1〜ΔD5にそれぞれ乗じて平均し、校正部77において使用する補正量ΔDを算出する。このように、動き量を用いて重み付け平均した値を用いて校正部77が相関関係を補正すれば、上記第5実施形態よりもさらに正確に酸素飽和度観察モードを校正できる。
また、補正量算出部76は、上記のように動き量を用いて重み付けをして複数の補正量ΔDを平均する代わりに、動き量を用いて、複数の補正量ΔDのなかから、酸素飽和度観察モードの校正に最適な補正量ΔDを選択することもできる。例えば、セットごとに5個の補正量ΔD1〜ΔD5を算出し、第1セットから第5セットの各動き量(または各セットの動き量の平均値等)がそれぞれα1〜α5であり、かつ、これらの動き量α1〜α5のなかで第3セットの動き量α3が最小であるとすると、補正量算出部76は、第3セットの補正量ΔD3を、校正部77が使用する補正量ΔDに選択する。このように、動き量が最も小さいセットの補正量ΔD、あるいは、動き量が最も小さい組み合わせの校正用画像を使用して算出した補正量ΔDを選択して、酸素飽和度観察モードの補正に使用すれば、重み付け平均をする場合よりも簡易に、かつ、第5実施形態よりも正確に、酸素飽和度観察モードを校正できる。
図20に示すように、動き量算出部511の代わりに、第4実施形態と同様に複数の白色光画像202の光量比を算出する光量比算出部521を設けても良い。但し、光量比算出部521は、例えばセットごとに、複数の光量比を算出する。この場合、光量比算出部521が算出する光量比を、動き量算出部511が算出する動き量の代わりに使用できる。すなわち、光量比算出部521が算出する光量比を用いて、複数の補正量ΔDに重み付けして平均し、校正部77において使用する補正量ΔDを算出することができる。また、光量比算出部521が算出する光量比を用いて、複数の補正量ΔDのなかから、酸素飽和度観察モードの校正に最適な補正量ΔD(例えば、光量比が最小になるセットの補正量ΔD)を選択することができる。
なお、上記第5実施形態においては、校正モード中に何セットの校正用画像を得るかを定めているが、この代わりに、校正モードを実行する時間を定めても良い。例えば、校正モードの継続時間を5秒等と設定し、この時間内に、白色光画像202を取得する時間も含め、できる限り校正用画像を多く取得するようにしても良い。
上記第1〜第5実施形態においては、観察モードを特殊観察モードに切り替えた際に、自動的に校正モードを実行しているが、校正モードは自動実行せずに、特殊観察モードに切り替えた際には自動的に酸素飽和度観察モードを実行し、校正モードは酸素飽和度観察モード中に任意に実行するようにしてもよい。
例えば、図21に示すように、プロセッサ装置16に、酸素飽和度画像を順次取得して動き量を算出する動き量算出部611と、動き量算出部611が算出した動き量を用いて校正モードを実行するか否かを判定する判定部612を設けるとよい。判定部612は、例えば、動き量が閾値以下になって観察対象の動きが小さいときに、校正モードを実行すると判定し、その旨の制御信号を制御部52に入力することにより、酸素飽和度観察モード中に校正モードを自動的に挿入する。このように、動き量を用いて酸素飽和度観察モードの校正に最適な状況を判定し、校正モードの校正に最適な状況になったときに校正モードを実行すれば、酸素飽和度観察モードの校正が成功しやすい。
動き量算出部611は、酸素飽和度画像から動き量を算出しているが、酸素飽和度画像の代わりに、酸素飽和度画像を生成するための画像(B1画像、B2画像、G2画像、及びR2画像)を用いて動き量を算出することができる。また、判定部612は、校正モードを実行すると判定した場合、制御部52に制御信号を入力することで、酸素飽和度観察モード中に自動的に校正モードを挿入するが、この代わりに、校正モードに適した状況であることをモニタ18等の表示(メッセージ等)を用いて報知し、校正モードへの手動切替を促しても良い。また、動き量算出部611及び判定部612は特殊処理部63に設けても良い。
図22に示すように、特殊処理部63に、粘膜の状態を判定する粘膜判定部621を設ければ、粘膜判定部621の判定結果にしたがって、酸素飽和度観察モード中に校正モードを挿入することができる。粘膜判定部621は、例えば、画像取得部54からB1画像、B2画像、G2画像、またはR2画像を取得し、これらのいずれか、または全てを用いて、観察対象の粘膜の状態を検出する。そして、病変の疑いがある隆起等の変異形状や変異構造がない場合に、観察対象の粘膜が校正モードに適した状態にあると判定し、校正モードの実行を促す制御信号を制御部52に入力する。これにより、酸素飽和度観察モード中に自動的に校正モードを挿入することができる。
粘膜判定部621は、粘膜の色を判定しても良い。例えば、病変の疑いがある変色(例えば発赤)等がない場合や、内視鏡12が食道から胃に入った等により、粘膜の色の変化し、観察対象が異なる器官になったと判定した場合に、粘膜判定部621は校正モードの実行を促す制御信号を制御部52に入力して、酸素飽和度観察モード中に自動的に校正モードを挿入することができる。なお、粘膜判定部621を設ける場合も、自動的に校正モードを挿入する代わりに、校正モードに適した状況であることをモニタ18等の表示(メッセージ等)を用いて報知し、校正モードへの手動切替を促すようにしてもよい。
上記第1〜第5実施形態においては、校正モード時に、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rをそれぞれ単独発光して校正用画像を得ているが、一部の光を同時に発光し、一部の校正用画像を同時に取得することができる。例えば、図23に示すように、緑色光Gと赤色光Rを同時に発光して、Gr画像とRs画像を同時に取得することができる。また、図24に示すように、第1青色光BSと緑色光Gと赤色光Rを同時発光して、Bp画像とGr画像とRs画像を同時に取得し、第2青色光BLを単独発光して、Bq画像だけ別に取得することができる。同様に、第1青色光BSを単独発光してBp画像を取得し、第2青色光BLと緑色光Gと赤色光Rを同時発光してBq画像とGr画像とRs画像を同時に取得することができる。すなわち、B画素において受光する第1青色光BSと第2青色光BLをそれぞれ異なる撮影フレームにおいて発光して、Bp画像とBq画像が別々に得られれば、その他の校正用画像は同時に得ることができる。
上記第1〜第5実施形態においては、基本的に1回の校正モードにおいて酸素飽和度観察モードを校正するが、校正モードを手動または自動で複数回実行する場合には、以前に実行した校正モードにおける校正結果に重ねて校正することができる。すなわち、校正モードを複数回実行する場合には、常にデータ記憶部71が予め記憶するデフォルトの相関関係を補正するのではなく、以前の校正モードにおいて補正した相関関係を補正することができる。こうすれば、1回の校正モードにおける校正精度が多少低くても、段階的に校正精度を向上することができる。
上記第1〜第5実施形態においては、生体情報観察モードは酸素飽和度観察モードであるが、本発明は、酸素飽和度以外の生体情報を算出等する生体情報観察モードにも適用可能である。
上記第1〜第5実施形態においては、校正モードにおいて色(波長)が異なる複数の校正用照明光を使用しているが、同じ色の校正用照明光を用いて観察対象を複数回撮影して得る複数のプレ撮影画像を用いて生体情報観察モードの校正をすることができる。
上記第1〜第5実施形態においては、光源部20が複数の光源20a〜20dを有し、これらが発光する光を重ね合わせて照明光を形成しているが、この他に、光源部20は、広帯域光源が発する光から一部の成分を抽出して使用することにより照明光を形成することができる。例えば、図25に示す内視鏡システム670は、第1実施形態の各光源20a〜20d及び光源制御部22の代わりに、光源部20に、広帯域光源676と、回転フィルタ677と、フィルタ切り替え部678と、を備える。また、内視鏡システム670においては、イメージセンサ48は、カラーフィルタが設けられていないモノクロのセンサである。これ以外は、第1実施形態の内視鏡システムと同様である。
広帯域光源676はキセノンランプや白色LED等であり、波長帯域が青色から赤色に及ぶ白色光を発光する。回転フィルタ677は、広帯域光源676の光路中に回転自在に配置されており、広帯域光源676が発光した白色光の帯域を制限し、一部の成分を照明光としてライトガイド41に入射する。
図26に示すように、回転フィルタ677は円形であり、その内周と外周にそれぞれ帯域制限フィルタを有している。内周の帯域制限フィルタ(以下、内側フィルタという)688は周方向に沿って4区画に区切ってあり、各区画には、第1青色光BSを透過するBSフィルタ688aと、緑色光Gを透過するGフィルタ688bと、赤色光Rを透過するRフィルタ688cがそれぞれ設けられている。外周の帯域制限フィルタ(以下、外側フィルタという)689は周方向に沿って5区画に区切ってあり、各区画には、第1青色光BSを透過するBSフィルタ689aと、第2青色光BLを透過するBLフィルタ689bと、緑色光Gを透過するGフィルタ689cと、赤色光Rを透過するRフィルタ689dと、白色光を透過するWフィルタ689eと、がそれぞれ設けられている。
フィルタ切り替え部678は、制御部52が入力する制御信号にしたがって、観察モードに応じて、広帯域光源676の光路に対して回転フィルタ677の位置を切り替える。また、フィルタ切り替え部678は、観察モードに応じて回転フィルタ677の回転速度の調整もする。通常観察モードの場合、フィルタ切り替え部678は、内側フィルタ688を広帯域光源676の光路中に配置し、撮影フレームに合わせて回転フィルタ677を回転する。BSフィルタ688aが広帯域光源676の光路の通過する撮影フレームにおいては、Bc画像を得ることができる。同様に、Gフィルタ688bが広帯域光源676の光路の通過する撮影フレームにおいては、Gc画像を得ることができ、Rフィルタ688cが広帯域光源676の光路を通過する撮影フレームにおいては、Rc画像を得ることができる。
一方、特殊観察モードの場合、フィルタ切り替え部678は、外側フィルタ689を広帯域光源676の光路中に配置し、撮影フレームに合わせて回転フィルタ677を回転する。これにより、校正モードにおいては、外側フィルタ689の各フィルタ689a〜689eが広帯域光源676の光路を通過する各撮影フレームにおいて、Bp画像、Bq画像、Gr画像、Rs画像、及び白色光画像202を得ることができる。また、酸素飽和度観察モードにおいては、外側フィルタ689のBSフィルタ689a、BLフィルタ689b、Rフィルタ689c、及びRフィルタ689dが広帯域光源676の光路を通過する各撮影フレームにおいて、B1画像、B2画像、G2画像、及びR2画像をそれぞれ得ることができる。
回転フィルタ677の上記構成は一例である。例えば、外側フィルタ689のWフィルタ689eの区画を増やし、BSフィルタ689aとBLフィルタ689bの間、BLフィルタ689bとGフィルタ689cの間、及び、Gフィルタ689cとRフィルタ689dの間にもそれぞれWフィルタ689eを配置すれば、校正モードにおいて、第1実施形態と同様に、各校正用画像の間または前後の撮影フレームにおいて白色光画像202を得ることができる。この他、画像生成部73がBq画像、Gr画像、及びRs画像から白色光画像202を生成するようにすれば、Wフィルタ689eを省略することもできる。また、外側フィルタ689をさらに内外周で分割して、校正用モード用の部分と、酸素飽和度観察モード用の部分とを設けても良い。
上記第1〜第5実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図27に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡700は、光源部702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源部702は、光源部20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1〜第5実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、生成した酸素飽和度画像等は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。
10,670 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a スイッチ
13b ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20,702 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48,704 イメージセンサ
52,703 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61,706 画像処理部
62 通常処理部
63 特殊処理部
66 表示制御部
70 演算値算出部
71 データ記憶部
72 生体情報算出部
73 画像生成部
75 校正情報算出部
76 補正量算出部
77 校正部
83 等値線
84 等値線
86,87 グラフ
94 基準等濃度線
96 等濃度線
201 領域設定部
202 白色光画像
203 使用領域
301,511,611 動き量算出部
302 位置ずれ補正部
401,521 光量比算出部
402 光量比補正部
612 判定部
621 粘膜判定部
676 広帯域光源
677 回転フィルタ
678 フィルタ切り替え部
688,689 帯域制限フィルタ
688a,689a BSフィルタ
688b,689c Gフィルタ
688c,689d Rフィルタ
689b BLフィルタ
689e Wフィルタ
700 カプセル内視鏡
708 送受信アンテナ

Claims (11)

  1. 観察対象の生体情報を観察する生体情報観察モードと、前記生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、
    前記校正モード時に、前記校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光する光源部と、
    前記校正用照明光を用いて前記観察対象を撮像して得る複数の校正用画像を用いて前記生体情報観察モードにおいて使用するデータの補正量を算出する補正量算出部と、
    前記補正量を用いて前記データを補正することにより、前記生体情報観察モードを校正する校正部と、
    前記校正モード時に、前記白色光を用いて前記観察対象を撮影して得る白色光画像を表示部に表示する表示制御部と、
    を備える内視鏡システム。
  2. 前記生体情報は、前記観察対象の酸素飽和度である請求項1に記載の内視鏡システム。
  3. 前記校正用画像の一部を、前記生体情報観察モードの校正に使用する領域に設定する領域設定部を備え、
    前記表示制御部は、前記領域設定部が設定した前記領域を前記白色光画像に重畳表示する請求項1または2に記載の内視鏡システム。
  4. 前記校正モード時に、複数の前記校正用画像を取得し、かつ、複数の前記白色光画像を取得する請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 複数の前記白色光画像の光量比を算出する光量比算出部と、
    前記光量比算出部が算出した前記光量比を用いて、複数の前記校正用画像の光量比を補正する光量比補正部と、
    を備える請求項4に記載の内視鏡システム。
  6. 前記観察対象の動き量を算出する動き量算出部と、
    前記動き量を用いて、複数の前記校正用画像の位置ずれを補正する位置ずれ補正部と、
    を備える請求項4に記載の内視鏡システム。
  7. 前記補正量算出部は、複数の前記校正用画像のうち一部の前記校正用画像を用い、かつ、使用する前記校正用画像の組み合わせを変更することにより、複数の前記補正量を算出し、
    前記校正部は、複数の前記補正量、または、複数の前記補正量のうち1つを用いて前記生体情報観察モードにおいて使用する前記データを補正する請求項4に記載の内視鏡システム。
  8. 前記観察対象の動き量を算出する動き量算出部を備え、
    前記校正部は、前記動き量を用いて複数の前記補正量を重み付け平均した値を用いて前記生体情報観察モードにおいて使用する前記データを補正する請求項7に記載の内視鏡システム。
  9. 前記観察対象の動き量を算出する動き量算出部を備え、
    前記動き量を用いて複数の前記補正量のなかから選択した1つの前記補正量を用いて、前記校正部は、前記生体情報観察モードにおいて使用する前記データを補正する請求項7に記載の内視鏡システム。
  10. 前記光源部は、複数の前記校正用照明光のうち、前記補正量の算出精度への寄与が最も大きい組み合わせの2つの前記校正用照明光の発光間隔を、他の前記校正用照明光の発光間隔よりも短くする請求項4〜9のいずれか1項に記載の内視鏡システム。
  11. 観察対象の生体情報を算出する生体情報観察モードと、前記生体情報観察モードを校正する校正モードと、を有する内視鏡システムの作動方法において、
    光源部が、前記校正モード時に、前記校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光するステップと、
    補正量算出部が、前記校正用照明光を用いて前記観察対象を撮像して得る校正用画像を用いて前記生体情報観察モードにおいて使用するデータの補正量を算出するステップと、
    校正部が、前記補正量を用いて前記データを補正することにより、前記生体情報観察モードを校正するステップと、
    表示制御部が、前記校正モード時に、前記白色光を用いて前記観察対象を撮影して得る白色光画像を表示部に表示するステップと、
    を備える内視鏡システムの作動方法。
JP2015250538A 2015-12-22 2015-12-22 内視鏡システム及び内視鏡システムの作動方法 Active JP6408457B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015250538A JP6408457B2 (ja) 2015-12-22 2015-12-22 内視鏡システム及び内視鏡システムの作動方法
EP16878362.9A EP3395227A4 (en) 2015-12-22 2016-12-07 ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR THE ENDOSCOPE SYSTEM
PCT/JP2016/086341 WO2017110469A1 (ja) 2015-12-22 2016-12-07 内視鏡システム及び内視鏡システムの作動方法
US15/993,599 US11399751B2 (en) 2015-12-22 2018-05-31 Endoscope system and method of operating endoscope system
US17/847,180 US20220322974A1 (en) 2015-12-22 2022-06-23 Endoscope system and method of operating endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015250538A JP6408457B2 (ja) 2015-12-22 2015-12-22 内視鏡システム及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2017113184A true JP2017113184A (ja) 2017-06-29
JP6408457B2 JP6408457B2 (ja) 2018-10-17

Family

ID=59090024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015250538A Active JP6408457B2 (ja) 2015-12-22 2015-12-22 内視鏡システム及び内視鏡システムの作動方法

Country Status (4)

Country Link
US (2) US11399751B2 (ja)
EP (1) EP3395227A4 (ja)
JP (1) JP6408457B2 (ja)
WO (1) WO2017110469A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068121A (zh) * 2018-09-04 2018-12-21 珠海康弘医疗科技有限公司 三维成像系统、三维成像系统校准方法及装置
WO2023067922A1 (ja) * 2021-10-20 2023-04-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023119856A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7021183B2 (ja) * 2017-03-03 2022-02-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019172231A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
TWI811643B (zh) * 2021-03-08 2023-08-11 偉詮電子股份有限公司 影像色彩亮度補償方法及影像色彩亮度補償系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341025A (ja) * 2005-06-10 2006-12-21 Olympus Corp 歯科用撮像装置
JP2013022341A (ja) * 2011-07-25 2013-02-04 Fujifilm Corp 内視鏡システムおよび内視鏡システムの駆動方法
WO2015064436A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 キャリブレーション方法及び内視鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106509A2 (en) * 2005-04-04 2006-10-12 Hadasit Ltd. Medical imaging method and system
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5802364B2 (ja) 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5616304B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5829568B2 (ja) * 2012-04-11 2015-12-09 富士フイルム株式会社 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
WO2014034184A1 (ja) * 2012-09-03 2014-03-06 オリンパスメディカルシステムズ株式会社 走査型内視鏡システム
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP6471173B2 (ja) * 2014-11-19 2019-02-13 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
JP6597635B2 (ja) * 2014-12-09 2019-10-30 ソニー株式会社 照明装置及び照明装置の作動方法並びに画像取得システム
EP3278710B1 (en) 2015-04-02 2020-04-22 FUJIFILM Corporation Processor device and endoscopic system
JP6448509B2 (ja) * 2015-10-30 2019-01-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017085793A1 (ja) * 2015-11-17 2017-05-26 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341025A (ja) * 2005-06-10 2006-12-21 Olympus Corp 歯科用撮像装置
JP2013022341A (ja) * 2011-07-25 2013-02-04 Fujifilm Corp 内視鏡システムおよび内視鏡システムの駆動方法
WO2015064436A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 キャリブレーション方法及び内視鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068121A (zh) * 2018-09-04 2018-12-21 珠海康弘医疗科技有限公司 三维成像系统、三维成像系统校准方法及装置
WO2023067922A1 (ja) * 2021-10-20 2023-04-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023119856A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
WO2017110469A1 (ja) 2017-06-29
US20220322974A1 (en) 2022-10-13
JP6408457B2 (ja) 2018-10-17
US11399751B2 (en) 2022-08-02
EP3395227A4 (en) 2019-01-09
EP3395227A1 (en) 2018-10-31
US20180271412A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6408457B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
EP2550910B1 (en) Endoscope system
JP6437943B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6412252B2 (ja) プロセッサ装置及び内視鏡システム
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6561000B2 (ja) 内視鏡システム及びその作動方法
US11510599B2 (en) Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target
JP2010005095A (ja) 内視鏡装置における距離情報取得方法および内視鏡装置
JP6744712B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JPWO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6840737B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6731110B2 (ja) 内視鏡システム及びその作動方法
JP2019030406A (ja) 内視鏡システム
JP6744713B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2016120026A (ja) 内視鏡システム及びその作動方法
WO2023119856A1 (ja) 内視鏡システム及びその作動方法
JP2018171544A (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180920

R150 Certificate of patent or registration of utility model

Ref document number: 6408457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250