JP2017158627A - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Download PDF

Info

Publication number
JP2017158627A
JP2017158627A JP2016043420A JP2016043420A JP2017158627A JP 2017158627 A JP2017158627 A JP 2017158627A JP 2016043420 A JP2016043420 A JP 2016043420A JP 2016043420 A JP2016043420 A JP 2016043420A JP 2017158627 A JP2017158627 A JP 2017158627A
Authority
JP
Japan
Prior art keywords
image
correction value
unit
correction
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016043420A
Other languages
English (en)
Other versions
JP6437943B2 (ja
Inventor
拓明 山本
Hiroaki Yamamoto
拓明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016043420A priority Critical patent/JP6437943B2/ja
Priority to EP16893616.9A priority patent/EP3427636A4/en
Priority to PCT/JP2016/086016 priority patent/WO2017154292A1/ja
Publication of JP2017158627A publication Critical patent/JP2017158627A/ja
Priority to US16/056,560 priority patent/US11179024B2/en
Application granted granted Critical
Publication of JP6437943B2 publication Critical patent/JP6437943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00117Optical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】補正値算出用画像を得る際に、撮影の条件が適切であるか否かの判断を支援する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。
【解決手段】内視鏡システム10は、生体情報の算出に使用するデータ等の補正値を算出する補正値算出部72と、補正値の算出の可否、または、補正値の使用の可否を判断する判断基準となる指標値102を1種類または複数種類算出する指標値算出部75と、指標値102を表示する表示部と、補正値を算出する指示、または、補正値を用いて補正を実行する指示を入力する入力部74と、補正値を算出する指示を得て補正値算出部72が補正値を算出した場合、または、補正を実行する指示を得た場合に、補正値を用いて補正する補正部73と、を備える。
【選択図】図3

Description

本発明は、内視鏡を用いて観察対象を撮影して得る内視鏡画像を用いて演算する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、内視鏡を用いて観察対象を撮影して内視鏡画像を得るだけでなく、内視鏡画像を用いて血管等の組織や腺管構造等の構造を強調した表示用の画像(以下、観察画像という)を生成及び表示する内視鏡システムが普及している。また、近年においては、内視鏡画像を用いて生体情報を得る内視鏡システムもある。例えば、血中ヘモグロビンの酸素飽和度(生体情報)を用いた病変部の診断が行われつつある。例えば、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域の光等を観察対象に照射して複数の内視鏡画像を取得し、これら複数の内視鏡画像を用いて所定の演算をして酸素飽和度を算出する方法がある(特許文献1及び特許文献2)。
酸素飽和度等の生体情報は、食道、胃、もしくは大腸等の部位の違い、または、患者の性別若しくは年齢といった患者の個体差に起因して異なる場合がある。このため、特許文献1の内視鏡システムにおいては、実際に観察する患者及び部位を撮影した内視鏡画像を用いて、酸素飽和度の算出に使用するデータを補正(キャリブレーション)しておくことによって、観察する部位の違いや患者の個体差等に依らずに、正確な酸素飽和度を算出できるようにしている。また、特許文献2の内視鏡システムにおいては、現在と過去の酸素飽和度を比較して、算出した酸素飽和度を補正し、正確な酸素飽和度を求めるようにしている。
特開2013−022341号公報 特開2015−139657号公報
酸素飽和度等の生体情報の算出に使用するデータ等を補正するためには、当然ながら、どの程度補正すればよいかを表す補正値を求める必要がある。例えば生体情報として酸素飽和度を算出する場合、特許文献2の内視鏡システムのように、患者及び部位に関して過去の酸素飽和度等のデータを蓄積している場合を除けば、特許文献1の内視鏡システムのように、通常はリアルタイムに患者を撮影して得た内視鏡画像を用いて補正値を求めなければならない。
また、補正値が不正確な場合、この不正確な補正値を用いて補正したデータ等を使用して生体情報を算出すれば、当然に、算出した生体情報も不正確になる。このため、補正値の算出に使用する内視鏡画像(以下、補正値算出用画像という)は、補正値の算出誤差が許容範囲に収まる適切な条件において観察対象を撮影した画像でなければならない。
しかしながら、補正値算出用画像を得る際に、撮影の条件が適切であるか否かをリアルタイムに判断するのは容易ではない。例えば、観察対象に動きがある状況で観察対象を撮影して得た内視鏡画像を補正値算出用画像として用いると、補正値の算出誤差が大きくなってしまうので、動きがない状況で観察対象を撮影して得た内視鏡画像を補正値算出用画像として用いることが好ましい。しかし、生体である観察対象の動きを停止することはできないので、補正値算出用画像を得る際の撮影条件としてどの程度の動きまでが補正値の算出の際に許容できるのかをリアルタイムに判断する必要がある。これは補正値の算出方法等に精通していなければできない判断であるから、内視鏡システムの使用者である医師等にとっては通常は困難な判断である。照明光の光量等の他の撮影の条件についても同様である。
本発明は、補正値算出用画像を得る際に、撮影の条件が適切であるか否かの判断を支援する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、内視鏡を用いて観察対象を撮影した内視鏡画像を取得する画像取得部と、内視鏡画像を用いて、内視鏡画像、内視鏡画像を用いて算出する生体情報、または、生体情報の算出に使用するデータの補正値を算出する補正値算出部と、内視鏡画像を用いて、補正値の算出の可否、または、補正値の使用の可否を判断する判断基準となる指標値を1種類または複数種類算出する指標値算出部と、指標値を表示する表示部と、補正値を算出する指示、または、補正値を用いて、内視鏡画像、生体情報、もしくは、データの補正を実行する指示を入力する入力部と、補正値を算出する指示を得て補正値算出部が補正値を算出した場合、または、補正を実行する指示を得た場合に、補正値を用いて、内視鏡画像、生体情報、または、データを補正する補正部と、を備える。
指標値を用いて、補正値の算出または補正値の使用の可否を判定する判定部を備え、表示部は、指標値に加え、判定部の判定結果を表示することが好ましい。
指標値算出部が複数種類の指標値を算出する場合、判定部は、指標値ごとに補正値の算出または補正値の使用の可否を判定し、表示部は、指標値と判定部の判定結果とをそれぞれ表示することが好ましい。
判定部が補正値の算出または補正値の使用を不可と判定した場合に、表示部に内視鏡画像の撮影条件に関する改善指示を表示する改善指示部を備える好ましい。
改善指示部は、改善指示の表示後に、撮影条件が改善したか否かを判定する改善判定をし、かつ、改善判定の結果を表示部に表示することが好ましい。
画像取得部は、内視鏡を用いて各々異なるタイミングにおいて観察対象を撮影した複数の内視鏡画像を取得し、補正値算出部は、複数の内視鏡画像を用いて補正値を算出し、指標値算出部は、1または複数の内視鏡画像を用いて指標値を算出することが好ましい。
画像取得部は、照明光または照明光の照射条件を変え、かつ、異なるタイミングにおいて観察対象を撮影した複数の内視鏡画像を取得することが好ましい。
画像取得部は、内視鏡画像として、補正値の算出に使用する補正値算出用画像と、生体情報の算出に使用する生体情報算出用画像と、を取得し、補正値算出部は、内視鏡画像のうち、補正値算出用画像を用いて補正値を算出し、かつ、指標値算出部は、内視鏡画像のうち、補正値算出用画像を用いて指標値を算出することが好ましい。
画像取得部は、内視鏡画像として、生体情報の算出に使用する生体情報算出用画像を取得し、補正値算出部は、生体情報算出用画像を用いて補正値を算出し、かつ、指標値算出部は、補正値算出部が補正値の算出に使用する生体情報算出用画像を用いて指標値を算出することが好ましい。
入力部は、表示部に表示する入力画面、または、操作部であることが好ましい。
指標値算出部は、内視鏡画像間で比較した観察対象の動き量、1つの内視鏡画像内における観察対象の動き量、明るさ、画素値、または、付着物の有無もしくは付着量について、指標値を算出することが好ましい。
本発明のプロセッサ装置は、内視鏡を用いて観察対象を撮影した内視鏡画像を取得する画像取得部と、内視鏡画像を用いて、内視鏡画像、内視鏡画像を用いて算出する生体情報、または、生体情報の算出に使用するデータの補正値を算出する補正値算出部と、内視鏡画像を用いて、補正値の算出の可否、または、補正値の使用の可否を判断する判断基準となる指標値を1種類または複数種類算出する指標値算出部と、表示部に指標値を表示する表示制御部と、補正値を算出する指示を得て補正値算出部が補正値を算出した場合、または、補正を実行する指示を得た場合に、補正値を用いて、内視鏡画像、生体情報、または、データを補正する補正部と、を備える。
本発明の内視鏡システムの作動方法は、画像取得部が、内視鏡を用いて観察対象を撮影した内視鏡画像を取得するステップと、補正値算出部が、内視鏡画像を用いて、内視鏡画像、内視鏡画像を用いて算出する生体情報、または、生体情報の算出に使用するデータの補正値を算出するステップと、指標値算出部が、内視鏡画像を用いて、補正値の算出の可否、または、補正値の使用の可否を判断する判断基準となる指標値を1種類または複数種類算出するステップと、表示部が、指標値を表示するステップと、補正値を算出する指示を得て補正値算出部が補正値を算出した場合、または、補正を実行する指示を得た場合に、補正部が、補正値を用いて、内視鏡画像、生体情報、または、データを補正するステップと、を備える。
本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、補正値の算出の可否、または、補正値の使用の可否を判断する判断基準となる指標値を算出して表示部に表示するので、補正値算出用画像を得る際に、撮影の条件が適切であるか否かの判断を支援することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 特殊処理部のブロック図である。 第1実施形態における特殊画像生成部のブロック図である。 演算値と酸素飽和度との相関関係を表す特徴空間である。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 特殊観察モード(酸素飽和度観察モード)のフローチャートである。 指標値を表示したモニタの表示画面である。 酸素飽和度画像を表示したモニタの表示画面である。 複数種類の指標値を表示したモニタの表示画面である。 変形例の特殊画像生成部のブロック図である。 変形例の特殊画像生成部のブロック図である。 第2実施形態における特殊処理部のブロック図である。 判定結果を表示したモニタの表示画面である。 指標値ごとに判定結果を表示したモニタの表示画面である。 第3実施形態における特殊処理部のブロック図である。 改善指示を表示したモニタの表示画面である。 改善判定の結果を表示したモニタの表示画面である。 変形例の内視鏡システムのブロック図である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、観察対象を撮影する内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13bが設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常観察モードと特殊観察モードを有する。通常観察モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの観察画像(以下、通常観察画像という)をモニタ18に表示する観察モードである。
特殊観察モードは、内視鏡12を用いて観察対象を撮影した内視鏡画像を用いて、観察対象の生体情報を算出及び表示し、または、観察対象の特定の組織もしくは構造を強調等した観察画像を生成及び表示する。以下においては、観察対象の生体情報を算出及び表示する場合の特殊観察モードを、生体情報観察モードといい、観察対象の特定の組織もしくは構造を強調等した観察画像を生成及び表示する場合の特殊観察モードを、強調観察モードという。なお、これらは例であり、特殊観察モードは、観察対象の生体情報を算出及び表示し、かつ、観察対象の特定の組織もしくは構造を強調等した観察画像を生成及び表示することができる。
生体情報とは、通常観察画像からは一見して知得することが容易でない生体に関する情報であり、例えば、酸素飽和度または血管の密度等の観察対象に関する数値的な情報である。また、強調観察モードにおける「特定の組織もしくは構造の強調等」には、観察可能な組織または構造の中から、1または複数種類の特定の組織または構造を強調等することのみならず、1種類の特定の組織または構造の中から、一部の共通の特性を有する組織または構造を強調等することを含む。すなわち、強調観察モードにおいては、観察可能な組織または構造のうち、例えば血管という特定の組織を強調等するが、設定によっては、全ての血管を強調等するのではなく、例えば粘膜表面等の所定の基準点からの特定の深さにある血管のみを選択的に強調等することができる。また、例えば、強調観察モードにおいては、太さが特定の範囲内にある血管のみを選択的に強調等することができる。
また、特殊観察モードは、上記のように、内視鏡画像を用いて、生体情報を算出及び表示し、または、特定の組織もしくは構造を強調等して表示する動作(以下、本動作という)の他に、補正動作を含む。補正動作は、「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」の補正をする動作である。
補正動作時に、上記「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」の補正に使用する内視鏡画像が補正値算出用画像である。本実施形態においては、補正動作時に、内視鏡12を用いて各々異なるタイミングにおいて観察対象を撮影して得る複数の内視鏡画像が補正値算出用画像である。
具体的には、生体情報観察モードの場合、「本動作において使用する内視鏡画像」とは、本動作において生体情報の算出に用いる内視鏡画像(以下、生体情報算出用画像という)、または、本動作において算出した生体情報を表示する観察画像の生成に用いる内視鏡画像である。また、強調観察モードの場合には、「本動作において使用する内視鏡画像」とは、本動作において強調等する組織もしくは構造の特定に用いる内視鏡画像、または、本動作において特定の組織もしくは構造を強調等した観察画像の生成に用いる内視鏡画像である。
「本動作において算出する生体情報」とは、特殊観察モードが生体情報観察モードの場合に算出する酸素飽和度等の生体情報である。また、「本動作において生体情報の算出に使用するデータ」とは、内視鏡画像の他に、生体情報の算出に使用するデータである。例えば、生体情報として酸素飽和度を算出する場合、複数の内視鏡画像を用いて算出する演算値を、酸素飽和度に対応付けるためのデータテーブルまたは変換関数等である。
なお、「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」の補正は、正確な生体情報を算出するための、または、正確に特定の組織や構造を強調等するために行う特殊観察モードの校正(キャリブレーション)である。
特殊観察モードの一例である生体情報観察モードにおいては、内視鏡システム10は、内視鏡画像を用いて演算し、その演算結果を生体情報に対応付ける予め用意したデータを用いて、目的とする生体情報を算出する。これが、生体情報観察モードの本動作である。一方、補正動作においては、内視鏡画像を用いて補正値を算出する。そして、算出した補正値を用いて、「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」を補正する。これにより、生体情報観察モードの場合には、本動作において、生体情報を正確に算出することができ、強調観察モードの場合には、特定の組織もしくは構造を正確に強調等した観察画像を生成及び表示することができる。
以下、本実施形態においては、特殊観察モードは酸素飽和度を算出及び表示する生体情報観察モードである。すなわち、本実施形態の特殊観察モードは、酸素飽和度観察モードである。酸素飽和度観察モードは、本動作において、複数の内視鏡画像を用いて、酸素飽和度と相関がある演算値を算出する。そして、算出した演算値と、演算値を酸素飽和度に対応付けるデータとを用いて酸素飽和度を算出する。その後、複数の内視鏡画像と、算出した酸素飽和度とを用いて、酸素飽和度の値を疑似カラーを用いて示す観察画像(以下、酸素飽和度画像110(図9参照)という)を生成及び表示する。また、本実施形態の酸素飽和度観察モードは、補正動作において、内視鏡12を用いて各々異なるタイミングにおいて観察対象を撮影して得る複数の内視鏡画像(補正値算出用画像)を用いて補正値を算出する。そして、算出した補正値を用いて、本動作時に酸素飽和度の算出に使用するデータ(すなわち、上記「演算値を酸素飽和度に対応付けるデータ」)を補正する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、各観察モードの観察画像や観察画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する入力部74(図2または図3参照)の1つである。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
BS光源20aは、中心波長が約450±10nm、波長帯域が約420nm〜500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長が約540±20nm、波長帯域が約480nm〜600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長が約640±20nm、波長帯域が約600nm〜650nmに及ぶ赤色光Rを発光する赤色光源である。
光源制御部22は、光源部20を構成する各光源20a〜20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は、通常観察モードにおいて使用する通常観察用照明光と、特殊観察モードにおいて使用する特殊観察用照明光と、を発光する。
通常観察モードの場合、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察用照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。本明細書においては、白色光には、白色光とみなすことができる擬似白色光を含む。また、本実施形態においては、通常観察モードの場合、光源部20は上記白色光を常時点灯するが、撮影フレームに合わせて、白色光を発光しても良い。
特殊観察用照明光は、本動作において用いる本動作用照明光と、補正動作において用いる補正動作用照明光と、を含む。本動作用照明光及び補正動作用照明光は、特殊観察モードの実際的態様に応じて、それぞれ、1または複数の色の光(波長、波長帯域、または分光スペクトルが異なる複数種類の光)を含む。また、本動作用照明光と補正動作用照明光とは、特殊観察モードの実際的態様によっては、互いに異なる場合があり、また、互いに等しい場合がある。
本実施形態の特殊観察モードである酸素飽和度観察モードにおいては、光源制御部22は本動作において第1パターンと第2パターンで各光源20a〜20dの点灯及び消灯を交互に繰り返す。第1パターンは、BL光源20bを単独で点灯する発光パターンである。このため、第1パターンの際には、第2青色光BLが特殊観察用照明光になる。一方、第2パターンは、BS光源20aと、G光源20cと、R光源20dを同時に点灯するパターンである。このため、第2パターンの際には、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光が特殊観察用照明光になる。したがって、酸素飽和度観察モードは、本動作において、第2青色光BLと白色光を撮影フレームに合わせて交互に発光する。
また、光源制御部22は、補正動作においても上記第1パターンと第2パターンの点灯及び消灯を撮影フレームに合わせて交互に繰り返す。したがって、本実施形態の特殊観察モードである酸素飽和度観察モードにおいては、本動作用照明光と補正動作用照明光は等しく、発光のパターンも同じである。このように、補正動作においても、本動作用照明光と等しい補正用照明光を発光するのは、補正動作においても酸素飽和度を算出し、補正動作において算出した酸素飽和度を補正値として、本動作において酸素飽和度の算出に用いるデータの補正をするからである。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13bの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380〜560nmの波長帯域の光を透過する。青色カラーフィルタの透過率は、波長460〜470nm付近においてピークになる。緑色カラーフィルタは、主として緑色帯域の光、具体的には、460〜470nmの波長帯域の光を透過する。赤色カラーフィルタは、主として赤色帯域の光、具体的には、580〜760nmの波長帯域の光を透過する。
イメージセンサ48を用いて観察対象を撮影すると、最大で、B画素において撮影して得るB画像(青色画像)、G画素において撮像して得るG画像(緑色画像)、及び、R画素において撮影して得るR画像(赤色画像)の3種類の内視鏡画像を同時に得ることができる。通常観察モードの場合、使用する通常観察用照明光は白色光であり、青色、緑色、及び赤色の成分を含むので、撮影フレーム毎に、B画像、G画像、及びR画像を得ることができる。
一方、本実施形態の特殊観察モードにおける特殊観察用照明光は、撮影フレーム毎に、第2青色光BLと、第1青色光BS、緑色光G、及び赤色光Rからなる白色光とで切り替わる。このため、特殊観察用照明光が第2青色光BLである撮影フレームにおいては実質的にB画像のみが得られる。また、特殊観察用照明光が白色光である撮影フレームにおいてはB画像、G画像、及びR画像が得られる。以下、特殊観察用照明光が第2青色光BLである撮影フレームで取得するB画像をB1画像といい、特殊観察用照明光が白色光である撮影フレームにおいて取得するB画像、G画像、及びR画像を、それぞれB2画像、G2画像、及びR2画像という。
B1画像と、B2画像、G2画像、及びR2画像は、内視鏡12を用いて各々異なるタイミングにおいて観察対象を撮影した内視鏡画像であり、相互の撮影タイミングの関係においてマルチフレーム画像という場合がある。例えば、本実施形態の酸素飽和度観察モードにおいては、B1画像、B2画像、G2画像、及びR2画像はそれぞれがマルチフレーム画像である。また、複数のマルチフレーム画像という場合には、例えば、B1画像と、B2画像、G2画像、またはR2画像のうちのいずれか1以上の画像とを組み合わせた2以上の内視鏡画像である。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する。
制御部52は、モード切り替えスイッチ13aからモード切り替え信号の入力を受けて、光源制御部22及びイメージセンサ48に制御信号を入力することにより、観察モードを切り替える。この他、制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的制御も行う。
画像取得部54は、イメージセンサ48から観察対象の画像を取得する。通常観察モードの場合、画像取得部54は、撮影フレーム毎に、B画像、G画像、及びR画像の組を取得する。また、特殊観察モードの場合、画像取得部54は、撮影フレーム毎に、各撮影フレームにおける特殊観察用照明光に応じた画像を取得する。例えば、特殊観察モードの場合、画像取得部54は、照明光または照明光の照射条件を変え、かつ、異なるタイミングにおいて観察対象を撮影した複数の内視鏡画像を取得する。本実施形態の特殊観察モードである酸素飽和度観察モードの場合、画像取得部54は、少なくとも、B1画像と、B2画像、G2画像、及びR2画像の組とを撮影フレーム毎に交互に取得する。
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、通常処理部62と、特殊処理部63とを有する。通常処理部62は、通常観察モード時に作動し、上記各種処理を施した1撮影フレーム分のB画像、G画像、及びR画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常観察画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部66は、通常処理部62から通常観察画像を順次取得し、取得した通常観察画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常観察画像の動画を用いて観察対象を観察できる。
特殊処理部63は、図3に示すように、特殊観察画像生成部71、補正値算出部72、補正部73、及び、指標値算出部75を備える。
特殊観察画像生成部71は、本動作において、画像取得部54から取得する内視鏡画像を用いて、特殊観察モードの実際的態様に応じた観察画像(以下、特殊観察画像という)を生成する。特殊観察モードが生体情報観察モードである場合、特殊観察画像生成部71は、内視鏡画像を用いて生体情報を算出し、かつ、生体情報を表す特殊観察画像(以下、生体情報画像という)を生成する。特殊観察モードが強調観察モードである場合、特殊観察画像生成部71は、内視鏡画像を用いて、特定の組織または構造を抽出等(選択その他、強調等しない他の組織または構造と区別する処理を含む)し、かつ、抽出等した特定の組織または構造を強調等した特殊観察画像(以下、強調観察画像という)を生成する。
また、特殊観察画像生成部71は、補正動作において、内視鏡画像を用いて、上記特殊観察画像の代わりに自然な観察画像を生成する。ここでいう自然な観察画像とは、特定の組織または構造が強調等しておらず、かつ、生体情報の表示のために着色等をしていない観察画像である。すなわち、特殊観察画像生成部71は、補正動作において、通常観察モードの通常観察画像と同様の観察画像101(以下、「通常観察画像」という。図8参照)を生成する。
特殊観察画像生成部71は、生成した特殊観察画像または通常観察画像101を、表示制御部66を介して、モニタ18に表示する。すなわち、モニタ18は、本動作においては特殊観察画像を表示し、補正動作においては通常観察画像101を表示する。なお、表示制御部66は、必要に応じて、特殊観察画像または通常観察画像101に関連する情報、医師等の判断を支援する情報、及び、操作入力のボタン等もモニタ18に表示する。例えば、酸素飽和度画像110をモニタ18に表示する際には、表示制御部66は、疑似カラーの色と酸素飽和度との対応関係を示すインジケータ(酸素飽和度画像110に関連する情報)をモニタ18に表示する。医師等の判断を支援する情報とは、例えば、指標値算出部75が算出する指標値102(図8参照)である。
補正値算出部72は、画像取得部54から取得する内視鏡画像を補正値算出用画像として用いて、「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」の補正に使用する補正値を算出する。補正値算出部72が、「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」のうち、どの対象の補正に使用する補正値を算出するかは、特殊観察モードの実際的態様に依存する。
補正部73は、補正値算出部72が算出した補正値を用いて、「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」を補正する。当然ながら、補正値算出部72が、「本動作において使用する内視鏡画像」を対象とする補正値を算出した場合、補正部73は、補正値算出部72が算出した補正値を用いて「本動作において使用する内視鏡画像」を補正する。「本動作において算出する生体情報」、または、「本動作において生体情報の算出に使用するデータ」の場合も同様である。
補正値算出部72による補正値の算出、または、補正部73による補正値の使用(すなわち補正の実行)のうち少なくともいずれか一方の処理は、入力部74からの指示の入力を待って行う。入力部74は、設定に応じて、補正値を算出する指示(以下、補正値算出指示という)、または、補正値を用いて「本動作において使用する内視鏡画像」、「本動作において算出する生体情報」、もしくは「本動作において生体情報の算出に使用するデータ」の補正を実行する指示(以下、補正実行指示という)を特殊処理部63に入力する。したがって、補正部73が補正値を用いて補正するタイミングは、補正値算出指示を得て補正値算出部72が補正値を算出した場合、または、補正部73が補正実行指示を得た場合である。
入力部74が補正値算出指示を入力する設定の場合、入力部74から補正値算出指示の入力があるまでは、補正値算出部72は補正値を算出しない。このため、補正部73は、補正値算出部72が補正値を算出するまでは、補正を実行しない。一方、特殊処理部63が入力部74から補正値算出指示の入力があった場合には、補正値算出部72は補正値を算出する。そして、補正部73は、補正値算出部72が算出した補正値を用いて自動的に補正を実行する。
入力部74が補正実行指示を入力する設定の場合、入力部74から補正実行指示の入力があるまでは、補正部73は補正を実行しない。そして、入力部74から補正実行指示の入力があった場合に、補正部73は補正を実行する。入力部74が補正実行指示を入力する設定の場合、補正値算出部72は、入力部74から補正実行指示の入力前においても、補正値を適宜算出することができる。この場合、補正実行指示は、既に算出した補正値の使用を許可する指示でもある。また、補正値算出部72は、入力部74から補正実行指示の入力があったときに、補正値を算出してもよい。
入力部74は、モニタ18に表示する入力画面(グラフィカルユーザーインターフェース(GUI))、または、内視鏡システム10に含む操作部である。内視鏡システム10に含む「操作部」には、内視鏡12の一部を構成する操作部12bの他、フットスイッチ(図示しない)またはコンソール19等の内視鏡12とは別体になっている操作デバイスを含む。また、内視鏡システム10に含む「操作部」には、内視鏡12に接続する操作デバイスのみならず、プロセッサ装置16または光源装置14に接続する操作デバイスも含む。すなわち、内視鏡システム10に含む「操作部」には、直接的または間接的に、特殊処理部63に補正値算出指示または補正実行指示を入力可能な全ての操作デバイスを含む。本実施形態においては、入力部74はGUIであり、かつ、補正値算出部72に補正値算出指示を入力する。
指標値算出部75は、画像取得部54から取得する内視鏡画像を用いて、1種類または複数種類の指標値102を算出する。指標値102とは、補正値の算出の可否、または、補正値の使用の可否を判断する判断基準となる数値である。但し、補正値の算出の可否の判断基準とする場合も、補正値の使用の可否の判断基準とする場合も、指標値102は実質的に同じである。入力部74が補正算出指示を入力する設定の場合は、指標値102は補正値の算出の可否を判断する判断基準となり、入力部74が補正実行指示を入力する設定の場合は、指標値102は、補正値の使用の可否を判断する判断基準となる。
より具体的には、指標値算出部75は、内視鏡画像間で比較した観察対象の動き量(以下、画像間動き量という)、1つの内視鏡画像内における観察対象の動き量(以下、画像内動き量という)、観察対象もしくは内視鏡画像の明るさ、内視鏡画像の画素値、または、付着物の有無もしくは付着量のうちいずれか1以上について指標値102を算出する。
画像間動き量とは、例えば、B1画像とB2画像等、内視鏡12を用いて各々異なるタイミングで取得した内視鏡画像を比較した際の観察対象の移動、回転、もしくは変形の向きや大きさ、または、これらを用いて演算して得る複合的数値である。移動等の向きや大きさは、複数の内視鏡画像間の対応する点について算出する。複数点について、移動等の向きや大きさを算出する場合には、それらの平均値、中央値、または最大値等の統計量を動き量にすることができる。なお、画像間動き量には、撮影位置の変化、及び、撮影角度の変化に起因した観察対象の動き(内視鏡12の動きに起因した相対的な観察対象の動き)の大きさ等に関する情報も自動的に含んでいる。
画像内動き量とは、内視鏡画像を撮影した際の観察対象の移動、回転、もしくは変形に起因した内視鏡画像の不鮮明度を表す数値であり、例えば内視鏡画像を周波数解析して得られる数値である。画像内動き量には、内視鏡画像を撮影した際の撮影位置の変化、及び、撮影角度の変化に起因した観察対象の動き(内視鏡12の動きに起因した相対的な観察対象の動き)の大きさ等に関する情報も自動的に含んでいる。
観察対象もしくは内視鏡画像の明るさとは、例えば、観察対象もしくは内視鏡画像の全体もしくは特定の部分(例えば中央部分)の輝度もしくは明度等である。指標値算出部75は、例えば、内視鏡画像の全体または特定の部分にある画素の輝度または明度等の平均値または中央値等の統計量を、明るさに関する指標値102として算出する。
内視鏡画像の画素値とは、例えば、特定の画素の画素値、または、内視鏡画像の特定の部分もしくは全体における画素値の平均値、中央値、最大値、もしくは最小値等の統計量である。指標値算出部75は、内視鏡画像の特定の部分または全体における画素値の出現頻度、画素値の分布、または、画素値の分布に関する統計量(標準偏差等)等を、内視鏡画像の画素値に関する指標値102として算出することができる。
付着物とは、例えば、残渣、粘液、または散布等(散布の他、塗布、注入または内視鏡12を用いない投与等を含む)した薬剤である。付着物の付着量とは、付着物がある箇所の個数、面積、色、または濃度(付着物に起因した着色濃度)等である。
指標値算出部75は、少なくとも補正動作において上記指標値102を算出する。表示制御部66は、指標値算出部75から指標値102を取得すると、観察画像(通常観察画像101もしくは特殊観察画像)に並べて、または、重畳して、モニタ18に表示する。このため、医師等は、観察画像とともに、リアルタイムに指標値算出部75が算出した指標値102を知ることができる。そして、指標値102を見れば、補正値の算出に適した状況か否か(すなわち補正値の算出の可否)、または、補正値算出部72が算出した補正値を使用して適切に補正できるか否か(すなわち補正値の使用の可否)を容易に判断することができる。指標値102を見て、補正値の算出に適した状況である、あるいは、補正値算出部72が算出した補正値を使用して適切に補正できると判断した場合には、入力部74を用いて補正値算出指示または補正実行指示を特殊処理部63に入力することにより、補正値を算出し、あるいは、補正を実行する。
本実施形態の特殊観察モードは酸素飽和度観察モードなので、図4に示すように、特殊観察画像生成部71は、演算値算出部81、データ記憶部82、酸素飽和度算出部83、及び、画像生成部84を備える。
演算値算出部81は、画像取得部54から複数の内視鏡画像を取得し、これら複数の内視鏡画像を用いて、酸素飽和度算出部83が酸素飽和度の算出に用いる演算値を算出する。具体的には、演算値算出部81は、B1画像、B2画像、G2画像、及びR2画像を取得する。そして、G2画像に対するB1画像の比B1/G2と、G2画像に対するR2画像の比R2/G2と、をそれぞれ画素ごとに算出する。これらの比B1/G2及び比R2/G2が酸素飽和度の算出に用いる演算値である。
データ記憶部82は、演算値算出部81が算出した上記演算値を用いて、酸素飽和度算出部83が酸素飽和度を算出する際に使用するデータを記憶する。すなわち、データ記憶部82は、演算値と酸素飽和度との相関関係をLUT等の形式で記憶している。図5に示すように、この相関関係を、縦軸Log(B1/G2)及び横軸Log(R2/G2)を用いて形成する特徴空間において表すと、酸素飽和度が同じ値の点を結ぶ等値線が、概ね横方向に沿って形成される。また、等値線は、酸素飽和度が大きくなるほど縦軸方向の下方に位置する。例えば、酸素飽和度が100%の等値線93は、酸素飽和度が0%の等値線94よりも下方に位置する。
上記相関関係は、図6に示す酸化ヘモグロビン(グラフ96)及び還元ヘモグロビン(グラフ97)の吸光特性と密接に関連している。具体的には、第2青色光BLの波長(約470±10nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きいので、ヘモグロビンの酸素飽和度に起因して吸光量が変化する。このため、第2青色光BLは、酸素飽和度の情報を取り扱いやすい。したがって、照度ムラ等の補正のためにG2画像を用いてB1画像を規格化した比B1/G2を用いれば、酸素飽和度を算出できる。しかし、比B1/G2は酸素飽和度だけでなく、血液量にも依存する。そこで、比B1/G2に加えて、主として血液量に依存して変化する比R2/G2を用いることで、血液量に影響されることなく、酸素飽和度を算出できるようにしている。なお、G2画像に含まれる緑色光Gの波長(約540±20nm)は、ヘモグロビンの吸光係数が比較的高いので、血液量に起因して吸光係数が変化しやすい波長である。
なお、上記特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションをした結果として予め得られる。また、データ記憶部82は、比B1/G2及び比R2/G2と、酸素飽和度との相関関係を記憶しているが、データ記憶部82はこの他の相関関係を記憶しておくことができる。例えば、B1画像、B2画像、G2画像、及びR2画像に基づく上記とは異なる他の演算(例えば差分処理)をした結果として得る演算値(以下、他の演算値という)を用いて酸素飽和度を算出する場合、データ記憶部82は、この他の演算値を酸素飽和度に対応付ける相関関係を記憶しておくことができる。
酸素飽和度算出部83は、データ記憶部82が記憶するデータである上記相関関係と、演算値算出部81が算出した演算値と、を用いて酸素飽和度を算出する。具体的には、酸素飽和度算出部83は、データ記憶部82が記憶する相関関係を参照し、比B1/G2及び比R2/G2に対応する酸素飽和度を画素ごとに算出する。例えば、ある画素の比B1/G2及び比R2/G2に対応する酸素飽和度は、データ記憶部82が記憶する相関関係を参照すると「40%」である。したがって、酸素飽和度算出部83は、この画素における酸素飽和度を「40%」と算出する(図5参照)。データ記憶部82が記憶する相関関係が補正部73によって補正された場合には、酸素飽和度算出部83は、補正後の相関関係を参照して酸素飽和度を算出する。
なお、比B1/G2及び比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、比B1/G2及び比R2/G2の各値の組み合わせが、酸素飽和度100%の上限の等値線93(図5参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線94(図5参照)よりも情報に分布したりすることはほとんどない。万が一、比B1/G2及び比R2/G2の各値の組み合わせが、上限の等値線93よりも下方に分布する場合には、酸素飽和度算出部83はその画素の酸素飽和度を上限の「100%」と算出する。同様に、比B1/G2及び比R2/G2の各値の組み合わせが、下限の等値線93よりも上方に分布する場合には、酸素飽和度算出部83は、その画素の酸素飽和度を「0%」と算出する。また、比B1/G2及び比R2/G2に対応する点が上限の等値線93と下限の等値線94との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことを表示しても良いし、酸素飽和度を算出しないようにしても良い。
画像生成部84は、本動作においては、画像取得部54から取得する複数の内視鏡画像と、酸素飽和度算出部83が算出した酸素飽和度と、を用いて酸素飽和度画像110を生成する。より具体的には、画像生成部84は、B2画像、G2画像、及びR2画像を取得し、これらの内視鏡画像に対して酸素飽和度に応じたゲインを画素ごとに施す。例えば、画像生成部84は、酸素飽和度が60%以上の画素にはB2画像、G2画像、及びR2画像のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素には、B2画像に対して「1」未満のゲインを乗じ、G2画像及びR2画像に対しては「1」以上のゲインを乗じる。その後、画像生成部84は、上記のようにゲインを施したB2画像、G2画像、及びR2画像を用いてカラーの観察画像を生成する。このように、酸素飽和度に応じて画素ごとにゲインを施したB2画像、G2画像、及びR2画像を用いて生成した観察画像が酸素飽和度画像110である。画像生成部84は、生成した酸素飽和度画像110を、表示制御部66を介してモニタ18に順次表示する。
画像生成部84が生成した酸素飽和度画像110においては、高酸素の領域(本実施形態においては酸素飽和度が60%以上100%以下の領域)は、通常観察画像101と同様、自然な色になる。一方、酸素飽和度が特定値を下回る低酸素の領域(本実施形態においては酸素飽和度が0%以上60%未満の領域)は、算出した酸素飽和度の値に応じて、通常観察画像101とは異なる色に着色した疑似カラーになる。なお、本実施形態においては、酸素飽和度観察モードの場合に、画像生成部84は、低酸素の領域だけを疑似カラー化するゲインを乗じているが、高酸素の領域においても酸素飽和度に応じたゲインを施し、酸素飽和度画像110の全体を疑似カラー化しても良い。また、低酸素の領域と高酸素の領域を、酸素飽和度60%を境界にして分けているが、この境界の酸素飽和度の値も任意である。
本動作においては上記のように酸素飽和度画像110を生成するのに対し、補正動作においては、画像生成部84は通常観察画像101を生成する。具体的には、補正動作においては、画像生成部84は、画像取得部54から、B2画像、G2画像、及びR2画像を取得し、これらの内視鏡画像を用いてカラーの観察画像を生成する。このように、画像取得部54から取得したB2画像、G2画像、及びR2画像をそのまま使用して生成した観察画像は、酸素飽和度観察モード時の通常観察画像101である。すなわち、画像生成部84が生成する通常観察画像101は、通常観察モード時に通常処理部62で生成する通常観察画像とほぼ同様に、観察対象を自然な色で表す。画像生成部84は、補正動作において生成した通常観察画像101を表示制御部66を介してモニタ18に順次表示する。
本実施形態の補正動作においては、入力部74はGUIであり、かつ、補正値算出部72に対して補正値算出指示を入力する。また、補正部73は、データ記憶部82に記憶した相関関係(酸素飽和度の算出に用いるデータ)を補正する。このため、補正値算出部72は、演算値と酸素飽和度の相関関係を補正するための補正値を算出する。
具体的には、補正値算出部72は、画像取得部54から、B1画像、B2画像、G2画像、及びR2画像を取得する。そして、これらの複数の内視鏡画像を用いて、G2画像に対するB1画像の比B1/G2と、G2画像に対するR2画像の比R2/G2と、をそれぞれ画素ごとに算出する。すなわち、補正値算出部72は、演算値算出部81と同様の演算値を算出する。その後、算出した演算値と、データ記憶部82に予め記憶した補正前の相関関係(以下、デフォルトの相関関係という)を用いて、酸素飽和度算出部83と同様に画素ごとに酸素飽和度を算出して、その代表値を求める。代表値とは、本実施形態においては平均値であるが、中央値や最頻値等、その他の統計量を代表値とすることができる。
補正値算出部72が取得した複数の内視鏡画像が補正値の算出に適した状況において観察対象を撮影して得たものであれば、上記代表値は、概ね一定の値になる。例えば、補正動作のために明らかな病変がない適切な箇所を撮影しており、かつ、撮影条件が適切であれば、酸素飽和度の代表値は特定の値(観察部位にもよるが例えば概ね70%程度)になる。また、特徴空間内での各等値線の形状及び相互関係は、観察対象の個体差等に依らず概ね一定である。したがって、補正値算出部72が算出した酸素飽和度の代表値と、この特定の値を比較すれば、デフォルトの相関関係を特徴空間内でどの程度シフトすれば、観察対象の酸素飽和度を正確に算出することができるようになるかを求めることができる。このデフォルトの相関関係のシフト量及びシフト方向が補正値算出部72が算出する補正量である。
補正部73は、補正値算出部72が算出したシフト量及びシフト方向にしたがってデフォルトの相関関係を補正する。そして、本動作において、酸素飽和度算出部83は、この補正後の相関関係を用いて酸素飽和度を算出する。
次に、本実施形態の特殊観察モードである酸素飽和度観察モードの一連の動作の流れを、図7に示すフローチャートに沿って説明する。まず、モード切り替えスイッチ13aを操作して、酸素飽和度観察モードに切り替えると(S10)、特殊処理部63は補正動作を開始する(S11)。補正動作が開始すると、画像取得部54は、複数の内視鏡画像を順次取得する(S12)。そして、特殊観察画像生成部71は、画像生成部84において通常観察画像101を生成する(S13)。一方、指標値算出部75は、画像取得部54から取得する複数の内視鏡画像を用いて、指標値102を算出する(S14)。このため、表示制御部66は、画像生成部84から通常観察画像101を取得し、かつ、指標値算出部75から指標値102を取得して、これらをモニタ18に表示する(S15)。例えば、図8に示すように、表示制御部66は、通常観察画像101に並べて、指標値102をモニタ18に表示する。また、表示制御部66は、補正実行指示を入力するためのGUIである補正実行ボタン103もモニタ18に表示する。本実施形態においては、補正実行ボタン103が入力部74である。
上記のように、補正動作において、モニタ18が通常観察画像101及び指標値102を表示すると、医師等は、通常観察画像101及び指標値102を見て、補正に適切な状況か否か、すなわち、明らかな病変がない適切な箇所を撮影しており、かつ、撮影条件が適切か否かを判断する(S16)。医師等は、明らかな病変がない適切な箇所を撮影しているか否かは、通常観察画像101を見れば判断することができる。また、医師等は、通常観察画像101を見れば、撮影条件が補正に適切か否かも判断することができるが、モニタ18にはこの判断を支援する指標値102を表示しているので、医師等は、指標値102に基いて、撮影条件が適切か否かをより確実に判断することができる。
通常観察画像101及び指標値102を見て、補正に適切な状況でないと判断した場合、医師等は、補正実行ボタン103を押さない。このため、内視鏡システム10は、ステップS12からステップS15を繰り返し行って(S16:NO)、通常観察画像101及び指標値102を順次更新する。この場合、医師等は、通常観察画像101及び指標値102が更新される様子を観察しながら、補正に適切な状況になるように、撮影位置等を調整する。
一方、通常観察画像101及び指標値102を見て、補正に適切な状況であると判断した場合(S16:YES)、医師等は、コンソール19を用いてポインタ104(図8参照)を操作し、入力部74として機能する補正実行ボタン103を押して補正値算出部72に補正値算出指示を入力する(S17)。補正値算出指示の入力に応じて、補正値算出部72は、画像取得部54から取得した複数の内視鏡画像を用いて補正値を算出する(S18)。そして、補正部73は、補正値算出部72が算出した補正値を用いて、データ記憶部82が記憶する相関関係の補正を実行する(S19)。その後、制御部52は、酸素飽和度観察モードの補正動作を終了して本動作に移行する(S20)。
本動作に移行すると、特殊観察画像生成部71は、画像取得部54から複数の内視鏡画像を改めて取得し(S21)、これらの複数の内視鏡画像を用いて演算値算出部81において演算値を算出する(S22)。そして、酸素飽和度算出部83は、演算値と、データ記憶部82から補正部73が補正した補正後の相関関係を用いて、画素ごとに酸素飽和度を算出する(S23)。酸素飽和度算出部83が酸素飽和度を算出すると、画像生成部84は、酸素飽和度算出部83が算出した酸素飽和度と、複数の内視鏡画像と、を用いて酸素飽和度画像110(図9参照)を生成し、図9に示すように、表示制御部66を介してモニタ18に酸素飽和度画像110を表示する(S24)。このとき、表示制御部66は、酸素飽和度画像110の色と、酸素飽和度の関係を示すインジケータ111を酸素飽和度画像110に並べて表示する。これら本動作の動作(S21〜S24)は、特殊観察モードの終了まで繰り返し行う(S25)。
上記のように、内視鏡システム10は、特殊観察モードの補正動作において、指標値102を算出てモニタ18に表示して判断を支援するので、補正動作において撮影条件が補正値算出用画像の取得及び補正実行に適切であるかを容易に判断することができる。特に、医師等は通常観察画像101だけからは撮影条件が補正値算出用画像の取得及び補正実行に適切であるかを判断するのが難しい場合でも、指標値102を見れば、容易に判断できる。したがって、内視鏡システム10によれば、従来の内視鏡システムよりも、補正値の算出及び相関関係等の補正が結果的に失敗していたというような不具合が起きにくい。そして、本動作においてモニタ18に表示する酸素飽和度画像110は、酸素飽和度算出部83は補正後の相関関係を用いて酸素飽和度を算出したことに起因して、観察対象の個体差等によらず正確な値を示す。
上記第1実施形態において、指標値算出部75は1つの指標値102を算出してモニタ18に表示しているが(図8参照)、図10に示す第1指標値102A、第2指標値102B、及び第3指標値102Cのように、指標値算出部75は、複数種類の指標値102を算出して、モニタ18に表示することが好ましい。複数の観点から、撮影条件が補正値算出用画像の取得及び補正実行に適切であるかを判断でき、その結果、より確実に正確な酸素飽和度を算出できるようになるからである。なお、第1指標値102A、第2指標値102B、及び第3指標値102Cは、画像間動き量、画像内動き量、観察対象もしくは内視鏡画像の明るさ、内視鏡画像の画素値、または、付着物の有無もしくは付着量のうちいずれかである。図10において、第1指標値102A、第2指標値102B、及び第3指標値102Cの3個の算出及び表示しているが、これら全てに関して、あるいはこれらのうち任意の2個に関して指標値102を算出及び表示してもよい。
上記第1実施形態において、補正部73は「本動作において酸素飽和度の算出に用いるデータ」である相関関係を補正しているが、補正部73は、「本動作において使用する内視鏡画像」または「本動作において算出する生体情報」を補正することができる。
補正部73が「本動作において使用する内視鏡画像」を補正する場合、図11に示すように、補正部73は、本動作において演算値算出部81が用いる内視鏡画像を画像取得部54から取得する。そして、補正後の内視鏡画像を演算値算出部81に入力する。こうすれば、上記第1実施形態と同様に、正確な酸素飽和度を算出できるようになる。なお、この場合の補正値算出部72は、例えば、酸素飽和度の代表値が、デフォルトの相関関係を参照した際に特定の値(例えば70%)になるように、B1画像、G2画像、及びR2画像の1以上に施すゲインを算出し、このゲインを補正値として補正部73に入力する。
また、補正部73が「本動作において算出する生体情報」を補正する場合、図12に示すように、補正部73は、酸素飽和度算出部83が算出した酸素飽和度を取得する。そして、補正後の酸素飽和度を、画像生成部84に入力する。こうすれば、上記第1実施形態と同様に、正確な酸素飽和度を示す酸素飽和度画像110を生成及び表示できる。なお、この場合の補正値算出部72は、例えば、上記第1実施形態と同様に、酸素飽和度の代表値と、特定の値(例えば70%)の差分等を補正値として算出する。補正部73は、酸素飽和度算出部83が算出した酸素飽和度に、補正値を加減乗除等することで、正確な酸素飽和度の値に補正することができる。
[第2実施形態]
第1実施形態においては、モニタ18に指標値102を表示しているが、さらに、指標値102の値が補正値の算出または補正値の使用について、「OK(可)」または「NG(不可)」どちらを示しているのかを明示することが好ましい。こうすれば、指標値102の数値が表す意味を考えなくても、その意味を容易に捉えることができる。したがって、撮影条件が補正に適切か否かの判断をより効率的に支援することができる。
この場合、図13に示すように、特殊処理部63には、判定部201を設ける。判定部201は、指標値算出部75から指標値102を取得して、補正値の算出または補正値の使用の可否(補正実行の可否)を判定する。具体的には、判定部201は、指標値102と、指標値102の種類に応じて予め定めた閾値と、を比較する。例えば、判定部201は、指標値102が閾値で定める範囲内の場合には、指標値102は補正値の算出または補正値の使用を「OK」と判定する。一方、指標値102が閾値で定める範囲外の場合には、指標値102は補正値の算出または補正値の使用について、判定部201は「NG」と判定する。
そして、判定部201は、上記「OK」または「NG」の判定結果202(図14参照)を、表示制御部66に入力する。このため、図14に示すように、表示制御部66は、指標値102に加えて、判定結果202(図14において「OK」)を表示する。医師等は、指標値102を見れば、補正に適切な状況か否かを判断できるが、判定結果202があることにより、さらに確実かつ容易に判断できる。
なお、判定部201の判定結果202は、補正に適切な状況か否か判断基準という点において、指標値102と同じ意義を有するから、判定結果202は表示形態が異なる指標値102の一種である。このため、図14において、指標値102と判定結果202の両方をモニタ18に表示しているが、判定結果202のみを第1実施形態における指標値102として表示しても良い。本明細書においては、図14のように、指標値102と判定結果202を並列表示する等、これらの区別が必要な場合を除き、指標値102を表示するという場合には、指標値102のみを表示する場合、判定結果202のみを表示する場合、及び、指標値102と判定結果202を両方表示する場合を含む。
第2実施形態において、複数種類の指標値102を算出及び表示する場合には、判定部201は、指標値102ごとに補正値の算出または補正値の使用の可否を判定する。そして、指標値102ごとの判定結果202をモニタ18に表示する。例えば、図15に示すように、第1指標値102A、第2指標値102B、及び第3指標値102Cの3個の指標値102を算出及び表示する際には、第1指標値102Aについての判定結果202A、第2指標値102Bについての判定結果202B、及び、第3指標値102Cについての判定結果202Cをそれぞれモニタ18に表示する。こうすれば、判定結果202A、202B、202Cのうちいずれかが、補正に適切な状況でないことを示す「NG」である場合に、NG判定となっている指標値102を把握できるので、どのような撮影条件を改善すれば良いかを直ちに理解することができる。したがって、補正に適切な状況でない場合でも、医師等はむやみに撮影位置等の条件を変更することなく、一定の指針にしたがって、撮影条件を適切かつ効率的に調整して、速やかに補正に適切な状況にすることができる。
なお、判定に使用する閾値は、指標値102ごとに異なっていても良い。また、第2実施形態においては、判定結果202を「OK」または「NG」のメッセージで表示しているが、インジケータ、文字、図形、アイコンまたは表示灯等(表示灯等を模したモニタ18上の表示を含む)の点灯または消灯を用いて判定結果202を表示してもよい。例えば、判定結果202が「NG」の場合に赤色に点灯し、判定結果202が「OK」の場合に緑色に点灯する表示灯によって判定結果202を示すことができる。インジケータによって判定結果202を表示する場合には、判定部201が判定に使用する閾値を段階的に設け、どの段階に属するかを表示すると良い。例えば、インジケータで判定結果202を表示する際には、不可、可、良、及び特良等の複数段階の判定結果202を、色やゲージの長さ等を用いて特に視覚的に捉えやすく表示することができる。
[第3実施形態]
第2実施形態においては、指標値102及び判定結果202をモニタ18に表示するが、判定結果202が「NG」の場合には、判定結果202が「NG」となった指標値102の種類に応じて、内視鏡画像の撮影条件に関する改善指示302(図17参照)をさらに表示することが好ましい。改善指示302があれば、撮影条件をより適切かつ効率的に調整して、速やかに補正に適切な状況にすることができるからである。
この場合、図16に示すように、特殊処理部63には、判定部201に加えて、改善指示部301を設ける。改善指示部301は、判定部201から、指標値102と判定結果202を取得する。そして、改善指示部301は、判定結果202が「NG」の場合に、判定結果202が「NG」となった指標値102の種類と、判定部201が使用する閾値との関係に基いて、モニタ18に改善指示302を表示する。改善指示302は、内視鏡画像の撮影条件に関する指示であり、例えば、「NG」であった判定結果202を「OK」とするための指針を示すメッセージである。
例えば、図17に示すように、指標値102が明るさに関するものであり、かつ、判定部201の判定結果202が「NG」である場合に、指標値102と判定部201が使用する閾値の関係において、このNG判定が内視鏡画像が暗すぎることが原因であるときには、改善指示部301は、「明るい箇所を撮影して下さい」という改善指示302をモニタ18に表示する。逆に、NG判定が、内視鏡画像が明るすぎることが原因であれば、改善指示部301は、「暗い箇所を撮影して下さい」という改善指示302をモニタ18に表示する。
この他、指標値102が画像間動き量または画像内動き量に関するものであり、かつ、判定部201の判定結果202が「NG」である場合、指標値102と判定部201が使用する閾値の関係において、このNG判定が観察対象または内視鏡12の動きが大きすぎることが原因であるときには、改善指示部301は、「動きの少ないところで撮影して下さい」という改善指示302をモニタ18に表示する。同様に、指標値102が付着物の有無もしくは付着量に関するものであり、かつ、判定部201の判定結果202が「NG」である場合、改善指示部301は、「観察対象を洗浄して下さい」と、付着物の除去を促す改善指示302をモニタ18に表示する。また、撮影距離が近すぎると、内視鏡画像の中央部分は暗くなる。このため指標値102が内視鏡画像の中央部分の明るさに関するものであり、かつ、判定部201の判定結果202が「NG」である場合、改善指示部301は、「撮影距離をあけて下さい」等、撮影距離の調整を促す改善指示302をモニタ18に表示する。なお、複数種類の指標値102を算出し、各々について判定をする場合も同様に、指標値102及び判定結果202ごとに改善指示302を表示する。
改善指示部301は、改善指示302をモニタ18に表示した後、さらに、判定結果202が「NG」であった指標値102に関する撮影条件が改善したか否かを判定する改善判定し、この改善判定の結果をモニタ18に表示することが好ましい。例えば、改善判定の結果303は、図18に示すようにメッセージ等で表示する。改善判定は、例えば、内視鏡画像、または、指標値102及び判定結果202を取得して行う。
なお、上記第1〜第3実施形態においては、本動作と補正動作とで取得する複数の内視鏡画像に違いがないが、内視鏡システム10は、本動作と補正動作とで異なる複数の内視鏡画像を取得し、本動作と補正動作をそれぞれ行うことができる。
具体的には、上記第1〜第3実施形態においては、画像取得部54が、補正動作及び本動作において取得する内視鏡画像は同じであり、補正値算出用画像であり、かつ、生体情報算出用画像である。このため、補正動作においては、補正値算出部72は、生体情報算出用画像を用いて補正値を算出し、かつ、指標値算出部75は、補正値算出部72が補正値の算出に使用する生体情報算出用画像を用いて指標値102を算出しているといえる。
一方、内視鏡システム10は、特殊観察モードの内容によっては、補正動作用照明光と本動作用照明光とで、撮影フレーム毎に使用する光の色(波長、波長帯域、または分光スペクトルが異なる場合を含む)及び取得する内視鏡画像の数等を任意に変えることができる。この場合、画像取得部54は、内視鏡画像として、補正値算出用画像と、生体情報算出用画像と、を取得することになる。そして、補正値算出部72は、これらの内視鏡画像のうち、補正値算出用画像を用いて補正値を算出し、かつ、指標値算出部75は、これらの内視鏡画像のうち、補正値算出用画像を用いて指標値を算出することができる。
上記第1〜第3実施形態においては、光源部20が複数の光源20a〜20dを有し、これらが発光する光を重ね合わせて照明光を形成しているが、この他に、光源部20は、広帯域光源が発する光から一部の成分を抽出して使用することにより照明光を形成することができる。例えば、図19に示す内視鏡システム670は、第1実施形態の各光源20a〜20d及び光源制御部22の代わりに、光源部20に、広帯域光源676と、回転フィルタ677と、フィルタ制御部678と、を備える。また、内視鏡システム670においては、イメージセンサ48は、カラーフィルタが設けられていないモノクロのセンサである。これ以外は、第1〜第3実施形態の内視鏡システム10と同様である。
広帯域光源676はキセノンランプや白色LED等であり、波長帯域が青色から赤色に及ぶ白色光を発光する。回転フィルタ677は、広帯域光源676の光路中に回転自在に配置されており、広帯域光源676が発光した白色光の帯域を制限し、一部の成分を照明光としてライトガイド41に入射する。このため、回転フィルタ677を適宜区切り、各区画に、例えば、第1青色光BSを透過する光学フィルタ、第2青色光BLを透過するフィルタ、緑色光Gを透過するフィルタ、及び赤色光Rを透過するフィルタを設ける。そして、フィルタ制御部678は、観察モード及び撮影フレームに合わせて、回転フィルタ677を位置や回転を制御する。これにより、第1実施形態等と同様に、特殊観察モードの場合にはB1画像、B2画像、G画像、及びR画像を、通常観察モードの場合にはB画像、G画像、及びR画像を得ることができる。
上記第1〜第3実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図20に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡700は、光源部702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源部702は、光源部20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1〜第3実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、生成した酸素飽和度画像等の観察画像は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。
上記第1〜第3実施形態においては、通常観察モードから特殊観察モードに観察モードを切り替えた際に補正動作をするが、補正動作は、観察モードを特殊観察モードに切り替えたタイミング以外にも任意のタイミングで実施することができる。例えば、コンソール19等からの操作入力により、強制的に補正動作を行わせることができる。この機能は、任意のタイミングで補正をやり直したいときに有益である。
上記第1〜第3実施形態においては、画像取得部54は、異なるタイミングにおいて観察対象を撮影した複数の内視鏡画像を取得し、補正値算出部72は、複数の内視鏡画像を用いて補正値を算出し、かつ、指標値算出部75は、複数の内視鏡画像を用いて指標値102を算出しているが、これは第1〜第3実施形態の特殊観察モードが酸素飽和度観察モードだからである。例えば、酸素飽和度観察モードを他の態様で実施する場合、または、特殊観察モードが酸素飽和度観察モード以外の場合には、特殊観察モードの実際的態様に応じて、画像取得部54は補正動作の際に1の内視鏡画像を取得し、かつ、補正値算出部72はこの1の内視鏡画像を用いて補正値を算出することができる。また、上記第1〜第3実施形態のように、画像取得部54が異なるタイミングにおいて観察対象を撮影した複数の内視鏡画像を取得し、かつ、補正値算出部72が複数の内視鏡画像を用いて補正値を算出する場合であっても、指標値算出部75は、画像取得部54が取得する複数の内視鏡画像のうち1の内視鏡画像を用いて指標値102を算出することができる。
10、670 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a スイッチ
13b ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48、704 イメージセンサ
52、703 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61、706 画像処理部
62 通常処理部
63 特殊処理部
66 表示制御部
71 特殊観察画像生成部
72 補正値算出部
73 補正部
74 入力部
75 指標値算出部
81 演算値算出部
82 データ記憶部
83 酸素飽和度算出部
84 画像生成部
93、94 等値線
96、97 グラフ
101 通常観察画像
102 指標値
102A 第1指標値
102B 第2指標値
102C 第3指標値
103 補正実行ボタン
104 ポインタ
110 酸素飽和度画像
111 インジケータ
201 判定部
202、202A、202B、202C 判定結果
301 改善指示部
302 改善指示
303 改善判定の結果
676 広帯域光源
677 回転フィルタ
678 フィルタ制御部
700 カプセル内視鏡
702 光源部
708 送受信アンテナ

Claims (13)

  1. 内視鏡を用いて観察対象を撮影した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて、前記内視鏡画像、前記内視鏡画像を用いて算出する生体情報、または、前記生体情報の算出に使用するデータの補正値を算出する補正値算出部と、
    前記内視鏡画像を用いて、前記補正値の算出の可否、または、前記補正値の使用の可否を判断する判断基準となる指標値を1種類または複数種類算出する指標値算出部と、
    前記指標値を表示する表示部と、
    前記補正値を算出する指示、または、前記補正値を用いて、前記内視鏡画像、前記生体情報、もしくは、前記データの補正を実行する指示を入力する入力部と、
    前記補正値を算出する指示を得て前記補正値算出部が前記補正値を算出した場合、または、前記補正を実行する指示を得た場合に、前記補正値を用いて、前記内視鏡画像、前記生体情報、または、前記データを補正する補正部と、
    を備える内視鏡システム。
  2. 前記指標値を用いて、前記補正値の算出または前記補正値の使用の可否を判定する判定部を備え、
    前記表示部は、前記指標値に加え、前記判定部の判定結果を表示する請求項1に記載の内視鏡システム。
  3. 前記指標値算出部が複数種類の前記指標値を算出する場合、
    前記判定部は、前記指標値ごとに前記補正値の算出または前記補正値の使用の可否を判定し、
    前記表示部は、前記指標値と前記判定部の判定結果とをそれぞれ表示する請求項2に記載の内視鏡システム。
  4. 前記判定部が前記補正値の算出または前記補正値の使用を不可と判定した場合に、前記表示部に前記内視鏡画像の撮影条件に関する改善指示を表示する改善指示部を備える請求項2または3に記載の内視鏡システム。
  5. 前記改善指示部は、前記改善指示の表示後に、前記撮影条件が改善したか否かを判定する改善判定をし、かつ、前記改善判定の結果を前記表示部に表示する請求項4に記載の内視鏡システム。
  6. 前記画像取得部は、前記内視鏡を用いて各々異なるタイミングにおいて前記観察対象を撮影した複数の前記内視鏡画像を取得し、
    前記補正値算出部は、複数の前記内視鏡画像を用いて前記補正値を算出し、
    前記指標値算出部は、1または複数の前記内視鏡画像を用いて前記指標値を算出する請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記画像取得部は、照明光または照明光の照射条件を変え、かつ、異なるタイミングにおいて前記観察対象を撮影した複数の前記内視鏡画像を取得する請求項6に記載の内視鏡システム。
  8. 前記画像取得部は、前記内視鏡画像として、前記補正値の算出に使用する補正値算出用画像と、前記生体情報の算出に使用する生体情報算出用画像と、を取得し、
    前記補正値算出部は、前記内視鏡画像のうち、前記補正値算出用画像を用いて前記補正値を算出し、かつ、
    前記指標値算出部は、前記内視鏡画像のうち、前記補正値算出用画像を用いて前記指標値を算出する請求項7に記載の内視鏡システム。
  9. 前記画像取得部は、前記内視鏡画像として、前記生体情報の算出に使用する生体情報算出用画像を取得し、
    前記補正値算出部は、前記生体情報算出用画像を用いて前記補正値を算出し、かつ、
    前記指標値算出部は、前記補正値算出部が前記補正値の算出に使用する前記生体情報算出用画像を用いて前記指標値を算出する請求項7に記載の内視鏡システム。
  10. 前記入力部は、前記表示部に表示する入力画面、または、操作部である請求項1〜9のいずれか1項に記載の内視鏡システム。
  11. 前記指標値算出部は、前記内視鏡画像間で比較した前記観察対象の動き量、1つの前記内視鏡画像内における前記観察対象の動き量、明るさ、画素値、または、付着物の有無もしくは付着量について、前記指標値を算出する請求項1〜10のいずれか1項に記載の内視鏡システム。
  12. 内視鏡を用いて観察対象を撮影した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて、前記内視鏡画像、前記内視鏡画像を用いて算出する生体情報、または、前記生体情報の算出に使用するデータの補正値を算出する補正値算出部と、
    前記内視鏡画像を用いて、前記補正値の算出の可否、または、前記補正値の使用の可否を判断する判断基準となる指標値を1種類または複数種類算出する指標値算出部と、
    表示部に前記指標値を表示する表示制御部と、
    前記補正値を算出する指示を得て前記補正値算出部が前記補正値を算出した場合、または、前記補正を実行する指示を得た場合に、前記補正値を用いて、前記内視鏡画像、前記生体情報、または、前記データを補正する補正部と、
    を備えるプロセッサ装置。
  13. 画像取得部が、内視鏡を用いて観察対象を撮影した内視鏡画像を取得するステップと、
    補正値算出部が、前記内視鏡画像を用いて、前記内視鏡画像、前記内視鏡画像を用いて算出する生体情報、または、前記生体情報の算出に使用するデータの補正値を算出するステップと、
    指標値算出部が、前記内視鏡画像を用いて、前記補正値の算出の可否、または、前記補正値の使用の可否を判断する判断基準となる指標値を1種類または複数種類算出するステップと、
    表示部が、前記指標値を表示するステップと、
    前記補正値を算出する指示を得て前記補正値算出部が前記補正値を算出した場合、または、前記補正を実行する指示を得た場合に、補正部が、前記補正値を用いて、前記内視鏡画像、前記生体情報、または、前記データを補正するステップと、
    を備える内視鏡システムの作動方法。
JP2016043420A 2016-03-07 2016-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Active JP6437943B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016043420A JP6437943B2 (ja) 2016-03-07 2016-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP16893616.9A EP3427636A4 (en) 2016-03-07 2016-12-05 ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND METHOD OF OPERATING ENDOSCOPE SYSTEM
PCT/JP2016/086016 WO2017154292A1 (ja) 2016-03-07 2016-12-05 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US16/056,560 US11179024B2 (en) 2016-03-07 2018-08-07 Endoscope system capable of correcting image, processor device, and method for operating endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043420A JP6437943B2 (ja) 2016-03-07 2016-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2017158627A true JP2017158627A (ja) 2017-09-14
JP6437943B2 JP6437943B2 (ja) 2018-12-12

Family

ID=59789103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043420A Active JP6437943B2 (ja) 2016-03-07 2016-03-07 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US11179024B2 (ja)
EP (1) EP3427636A4 (ja)
JP (1) JP6437943B2 (ja)
WO (1) WO2017154292A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171464A1 (ja) * 2020-02-27 2021-09-02 オリンパス株式会社 処理装置、内視鏡システム及び撮像画像の処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10835102B2 (en) * 2016-07-28 2020-11-17 Verily Life Sciences Llc Tunable color-temperature white light source
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
WO2019155816A1 (ja) * 2018-02-09 2019-08-15 富士フイルム株式会社 内視鏡システム
WO2020117982A1 (en) * 2018-12-05 2020-06-11 Intuitive Surgical Operations, Inc. Determining chromophore concentrations in tissues
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
WO2024034253A1 (ja) * 2022-08-12 2024-02-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998044839A1 (en) * 1997-04-03 1998-10-15 National Research Council Of Canada Method of assessing tissue viability using near-infrared spectroscopy
US7459696B2 (en) * 2003-04-18 2008-12-02 Schomacker Kevin T Methods and apparatus for calibrating spectral data
US8644911B1 (en) * 2006-06-30 2014-02-04 Hypermed Imaging, Inc. OxyVu-1 hyperspectral tissue oxygenation (HTO) measurement system
JP5030639B2 (ja) * 2007-03-29 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置の処置具位置制御装置
JP2009142552A (ja) * 2007-12-17 2009-07-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
US8300093B2 (en) * 2009-01-12 2012-10-30 Fujifilm Corporation Endoscope image processing method and apparatus, and endoscope system using the same
US8382666B1 (en) * 2009-06-03 2013-02-26 Vioptix, Inc. Medical device probe connector
WO2011112559A2 (en) * 2010-03-08 2011-09-15 Bruce Adams System, method and article for normalization and enhancement of tissue images
JP5452300B2 (ja) * 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
EP2659837A1 (en) * 2010-09-08 2013-11-06 Fujifilm Corporation Body motion detection device, as well as radiographic imaging apparatus
JP5331904B2 (ja) * 2011-04-15 2013-10-30 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2012247356A (ja) * 2011-05-30 2012-12-13 Canon Inc 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。
JP5426620B2 (ja) 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
EP2754379B1 (en) * 2011-09-05 2019-07-03 FUJIFILM Corporation Endoscope system and image display method
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
US9183427B2 (en) * 2011-09-29 2015-11-10 Hoya Corporation Diagnostic system
US10722155B2 (en) * 2013-05-30 2020-07-28 Hoya Corporation Method and device for generating image showing concentration distribution of biological substances in biological tissue
EP3045100A1 (en) * 2013-09-09 2016-07-20 Olympus Corporation Image display device, image display method, and image display program
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
WO2015083459A1 (ja) * 2013-12-05 2015-06-11 オリンパス株式会社 立体内視鏡システム
JP6092792B2 (ja) * 2014-01-20 2017-03-08 富士フイルム株式会社 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP5887367B2 (ja) 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP5992936B2 (ja) * 2014-02-27 2016-09-14 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
EP3117757B1 (en) * 2014-03-12 2020-02-19 FUJIFILM Corporation Endoscope system
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP6204314B2 (ja) * 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
JP6356051B2 (ja) * 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法
JP2016192985A (ja) * 2015-03-31 2016-11-17 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6362274B2 (ja) * 2015-07-14 2018-07-25 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171464A1 (ja) * 2020-02-27 2021-09-02 オリンパス株式会社 処理装置、内視鏡システム及び撮像画像の処理方法

Also Published As

Publication number Publication date
JP6437943B2 (ja) 2018-12-12
EP3427636A1 (en) 2019-01-16
EP3427636A4 (en) 2019-03-20
WO2017154292A1 (ja) 2017-09-14
US20180368658A1 (en) 2018-12-27
US11179024B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
JP6437943B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
US20220322974A1 (en) Endoscope system and method of operating endoscope system
JP6744712B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US10702136B2 (en) Endoscope system, processor device, and method for operating endoscope system
WO2017183339A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JPWO2018066347A1 (ja) 内視鏡システム及びその作動方法
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
JP6218709B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6744713B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2016185398A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181115

R150 Certificate of patent or registration of utility model

Ref document number: 6437943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250