JP2018139846A - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP2018139846A
JP2018139846A JP2017035840A JP2017035840A JP2018139846A JP 2018139846 A JP2018139846 A JP 2018139846A JP 2017035840 A JP2017035840 A JP 2017035840A JP 2017035840 A JP2017035840 A JP 2017035840A JP 2018139846 A JP2018139846 A JP 2018139846A
Authority
JP
Japan
Prior art keywords
image
inspection
unit
still image
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017035840A
Other languages
English (en)
Inventor
久保 雅裕
Masahiro Kubo
雅裕 久保
小澤 聡
Satoshi Ozawa
聡 小澤
岳一 龍田
Takeichi Tatsuta
岳一 龍田
昌之 蔵本
Masayuki Kuramoto
昌之 蔵本
誠 杉▲崎▼
Makoto Sugisaki
誠 杉▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017035840A priority Critical patent/JP2018139846A/ja
Priority to US15/904,434 priority patent/US20180242818A1/en
Priority to EP18158902.9A priority patent/EP3366191B1/en
Publication of JP2018139846A publication Critical patent/JP2018139846A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736Gastroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging

Abstract

【課題】ガイドラインで定められた画像の撮影を支援することができる内視鏡システム及びその作動方法を提供する。【解決手段】検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する。検査時撮影条件取得部104が、検査画像の取得タイミングに得られる検査時撮影条件を取得する。静止画保存要求信号出力部108が、検査時撮影条件が、検査領域毎に予め定められた基準画像を得るための基準撮影条件を満たす場合に、検査画像の静止画の保存を要求するための静止画保存要求信号を出力する。【選択図】図25

Description

本発明は、検診センターやクリニックで行われるスクリーニングで用いられる内視鏡システム及びその作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。
近年、内視鏡検査をスクリーニング検査として実施する施設が増えつつあり、内視鏡検査を実施する医師が必ずしも経験豊富ではない場合においても、正しい診断が行えるように質の高い検査が求められている。そこで、内視鏡の経験が豊富でない場合でも、客観的に判断を行うことができるように、適正なレベルで消化管の内部をくまなく画像撮影するためのガイドライン(マニュアル)が定められている(例えば、「対策型検診のための胃内視鏡検診マニュアル 2015年度版(P56〜P63)」参照)。また、撮影した画像は、その後、ガイドラインに沿って撮影されているかのどうかのダブルチェックも行われている。
胃の検査に関するガイドラインにおいては、例えば、以下が定められている。
・咽頭から十二指腸までで40コマ程度の撮影数が必要
・観察の順序(ルート)を一定にする
・観察していないところ(盲点)がないこと(噴門部全周、大部・前提部の後壁・小弯部)
・胃の膨らませ方が十分であること(定圧送気)
・適切な明るさで撮影されていること
・粘膜が除去されていること
・ランドマークを含めたシーンが撮影されていること
ただし、ガイドラインに沿った撮影をするためには、内視鏡の操作に関して一定の技術と経験が必要となる。例えば、図32及び図33に示すように、ガイドラインに定められた噴門直下や胃角部の部位を撮影しようとする場合は、内視鏡の先端部を大きく回転させるアングル操作が必要となる。また、ガイドラインでは、ひだとひだの間に隠れた病変部の撮影も求められており、このような場合には、適切な空気圧の送気ガスを吹き付けることによって、ひだを広げて病変部の有無の確認を行う必要がある。このように、ガイドラインに定められた撮影や操作を行うことは、専門医でなくても経験が浅い医師には容易でなく、ガイドライン通りに撮影できる支援技術が求められていた。
これに対して、特許文献1〜3に示すように、いくつかの技術が示されている。特許文献1では、ガイドラインで定められた画像の枚数が規定数に達していない場合には、必要な画像を動画像から抽出することを行っている。また、特許文献2では、内視鏡の挿入部の挿入長を検出し、その挿入長に応じて必要な画像を自動的に撮影するようにしている。また、特許文献3では、所定の検査部位における画像の枚数が予定撮像枚数と一致していない場合に、アラートを発生させて、ユーザーに画像の取り損ねを通知するようにしている。
特開2012−70938号公報 特開2012−70937号公報 特開2012−70936号公報
しかしながら、特許文献1〜3の支援技術だけでは、ガイドライン通りに撮影が行われているかどうかは分かりにくい。例えば、特許文献1では、動画像からガイドラインに必要な画像を抽出しているが、動画像がガイドラインで決められた位置で撮影されていない場合には、画像を抽出することができない。また、特許文献2では、挿入長に応じて自動で撮影を行っているが、挿入長は、患者の体格差によって変わり得ることから、挿入長に応じて撮影した位置が、ガイドラインで定められた位置と一致しない場合もあり得る。また、特許文献3では、アラートを受けて、撮影の取り直しを行おうとする場合であっても、経験の浅い医師の場合には、ガイドライン通りに撮影できる何らかの支援がないと、ガイドライン通りに撮影できない場合がある。
本発明は、ガイドラインで定められた画像の撮影を支援することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、検査領域毎に予め定められた基準画像を得るための基準撮影条件を記憶する基準撮影条件記憶部と、基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得する画像取得部と、検査画像の取得タイミングに得られる検査時撮影条件を取得する検査時撮影条件取得部と、検査時撮影条件が基準撮影条件を満たす場合に、検査画像の静止画の保存を要求するための静止画保存要求信号を出力する静止画保存要求信号出力部と、検査画像を表示する表示部とを備える。
基準画像を複数記憶する基準画像記憶部と、基準画像記憶部から検査画像に対応する基準画像を選択する基準画像選択部とを備え、表示部は、静止画保存要求信号が出力された場合に、基準画像選択部で選択された基準画像を表示することが好ましい。基準画像を複数記憶する基準画像記憶部と、基準画像記憶部から検査画像に対応する基準画像を選択する基準画像選択部と、基準画像選択部で選択された基準画像と検査画像の類似度を算出する類似度算出部とを備え、表示部は、静止画保存要求信号が出力された場合に、類似度を表示することが好ましい。
静止画保存要求信号が出力され、且つ静止画取得指示部の操作が行われた場合に、検査画像の静止画を保存用画像記憶部に記憶する制御を行う静止画記憶制御部を有することが好ましい。表示部は、特定の検査領域において検査画像の静止画が得られた場合には、特定の検査領域における検査画像の静止画が保存用画像記憶部に保存済みであることを、検査対象マップ上に表示することが好ましい。
表示部は、静止画保存要求信号が出力され、且つ検査画像の静止画を保存用記憶部に記憶しない場合に、内視鏡の操作に関する操作支援情報を表示することが好ましい。検査時撮影条件が基準撮影条件を満たす場合に検査画像の静止画を自動で取得する自動撮影モードへの切替を行うモード切替部を有することが好ましい。
基準撮影条件は、基準画像を得るためのスコープ位置情報又はスコープ操作情報の少なくとも1つであり、検査時撮影条件は、検査画像を得るためのスコープ位置情報又はスコープ操作情報の少なくとも1つであることが好ましい。スコープ操作情報には、内視鏡のアングル角度又は回転量、観察対象との距離、内視鏡の挿入部の挿入長、内視鏡の挿入部の形状が少なくとも1つ含まれることが好ましい。
本発明の内視鏡システムの作動方法は、画像取得部が、検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得するステップと、検査時撮影条件取得部が、検査画像の取得タイミングに得られる検査時撮影条件を取得するステップと、静止画保存要求信号出力部が、検査時撮影条件が、基準画像を得るための基準撮影条件を満たす場合に、検査画像の静止画の保存を要求するための静止画保存要求信号を出力するステップとを有する。
本発明によれば、ガイドラインで定められた画像の撮影を支援することができる。
内視鏡システムの外観図である。 上部消化管をスクリーニングする場合の手順を示す説明図である。 ガイドラインに定められた検査領域を示す説明図である。 内視鏡システムの機能を示すブロック図である。 内視鏡の挿入部の挿入長を測定するための測定用目盛りを示す説明図である。 内視鏡の挿入部の挿入長と検査領域との関係を示す説明図である。 内視鏡の挿入部の挿入長と検査領域(検査部位)との関係を示す表である。 検査支援モード用処理部の機能を示すブロック図である。 基準画像との比較を許可する検査画像を判定する方法を示すフローチャートである。 複数の特徴量を組み合わせた総合類似度により基準画像と検査画像の類似度を示した表である。 類似度が表示された検査支援画像の画像図である。 類似度により検査画像がガイドラインに沿った画像か否かを判定する方法を示すフローチャートである。 警告表示が行われている検査支援画像の画像図である。 操作支援情報が表示された検査支援画像の画像図である。 検査画像の静止画の保存の有無が検査対象マップ上に表示された検査支援画像の画像図である。 一部の検査領域に取り残しがある場合の検査支援画像の画像図である。 検査画像の静止画の保存の有無が検査対象マップ上に表示され、且つスコープ操作情報が表示された検査支援画像の画像図である。 基準画像が表示された検査支援画像の画像図である。 基準画像、スコープ位置情報、及びスコープ操作情報が表示された検査支援画像の画像図である。 基準画像が表示され、且つ検査画像の静止画の保存の有無が検査対象マップ上に表示された検査支援画像の画像図である。 基準画像と類似度が表示された検査支援画像の画像図である。 基準画像の表示とともに警告表示が行われている検査支援画像の画像図である。 基準画像の表示とともに操作支援情報が表示された検査支援画像の画像図である。 同一の検査領域における今回と前回の検査画像を表示する検査支援画像の画像図である。 自動撮影モード用処理部の機能を示すブロック図である。 ガイドラインに定められた40枚の基準画像を得るための基準撮影条件を示す表である。 検査画像の静止画を自動的に取得する自動撮影モードのフローを示すフローチャートである。 検査画像の自動取得が行われた場合に表示されるモニタの画像図である。 自動的に取得した検査画像の静止画の保存を行うフローを示すフローチャートである。 検査画像の静止画を保存した場合に表示されるモニタの画像図である。 検査画像の静止画の保存を行わなかった場合に表示されるモニタの画像図である。 撮影アシストモード用処理部の機能を示すブロック図である。 検査画像の静止画の取得タイミングをアシストする撮影アシストモードのフローを示すフローチャートである。 静止画の取得タイミングを報知するモニタの画像図である。 静止画の取得タイミングが報知された場合に静止画の保存を行うフローを示すフローチャートである。 ガイドラインに定められた検査領域である噴門直下を撮影する場合の内視鏡の形状を示す説明図である。 ガイドラインに定められた検査領域である胃角部を撮影する場合の内視鏡の形状を示す説明図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール(キーボード)19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画取得指示部13b、観察モードの切り替え操作に用いるモード切替部13c、ズーム倍率の変更操作に用いるズーム操作部13dを設けている。
内視鏡システム10は、観察モードとして、通常光モードと、特殊光モードと、検査支援モードとを有している。観察モードが通常光モードである場合、白色光のような通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた画像信号に基づき、通常光画像をモニタ18に表示する。また、観察モードが特殊光モードである場合、通常光と発光スペクトルが異なる特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた画像信号に基づき、特殊光画像をモニタ18に表示する。
また、観察モードが検査支援モードである場合、検査用照明光を発光する。そして、ガイドラインにおいて検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために、検査用照明光で照明中の検査領域内の観察対象を撮像して検査画像を取得する。この検査画像は、モニタ18に表示される。検査支援モードは、スクリーニング時に、検診用のガイドラインで定められた画像を確実に撮影することができるように支援するモードである。この検査支援モードでは、ガイドラインで定められた基準画像との類似度を表示することによって、ガイドライン通りに撮影できているかどうかが確認できるようになっている。なお、検査用照明光は、通常光又は特殊光と同じであってもよく、異なってもよい。また、基準画像に「相当する」とは、基準画像の構図などが類似していることなどをいう。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、関心領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
なお、胃や食道などの上部消化管を、ガイドラインに沿って、スクリーニングする場合には、図2に示すように、まず、内視鏡12の挿入部12aを管腔に対して押し込んでいき、食道Es、胃Stを通じて、十二指腸Duoの検査最深位置P0まで挿入する。この検査最深位置P0に到達したときに、ガイドラインに沿った静止画の取得を開始する。まず、術者は、静止画取得指示部13bを操作して、検査最深位置P0における観察画像の静止画を撮影する。その後は、内視鏡12の挿入部12aを徐々に引き抜きつつ、ガイドラインで定められた検査領域で静止画の撮影を行う。検査領域のうち十二指腸Duo及び胃Stの部分の撮影が完了したら、次に、挿入部12aを食道Esに移動させ、食道Esの検査領域で静止画の撮影を行う。これら静止画の撮影が完了したら、挿入部12aを体腔外へと引き出す。なお、大腸などの下部消化管に関しても同様の手順でスクリーニングを行うことが好ましい。
なお、ガイドラインで定められた検査領域としては、図3に示すように、例えば、十二指腸Duo、胃St、食道Esについて、A1〜A13の13の検査領域がある。A1、A2は十二指腸Duoの検査領域であり、A1は十二指腸吸後部以下、A2は十二指腸球部である。A3〜A10は胃Stの検査領域であり、A3は幽門前部、A4は幽門前庭部、A5は胃角部、A6は胃体下部、A7は胃体中部、A8は胃体上部、A9は胃底部(胃弓隆部)、A10は胃噴門部である。A11〜A13は食道Esの検査領域であり、A11は食道下部、A12は食道中部、A13は食道上部である。
図4に示すように、光源装置14は、観察対象の照明に用いる照明光として、通常光、特殊光、検査用照明光を発する光源部20と、光源部20を制御する光源制御部22とを備えている。光源部20は、LED(Light Emitting Diode)等の半導体光源、キセノンランプ、ハロゲンランプである。この光源部20においては、複数色の光を発光する場合には、LEDが複数色分用いられる他、キセノンランプ等の広帯域光を複数の色に分離する色分離フィルタが用いられる。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
光源部20が発した照明光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵され、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとが設けられている。ライトガイド24を伝搬した照明光は、照明光学系30aを介して、観察対象を照明する。
撮像光学系30bは、観察対象からの反射光、散乱光、及び蛍光等の各種の光が入射する撮像センサ32を有している。撮像センサ32は観察対象の像が結像して、画像信号を出力する。出力された画像信号はプロセッサ装置16に送信される。なお、撮像センサ32は、RGBカラー撮像センサやCMYGカラー撮像センサなどのカラーの撮像センサの他、カラーフィルタを設けていないモノクロセンサがある。撮像センサ32としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等を利用可能である。
また、図5に示すように、内視鏡12の挿入部12aの外周面には、体内への挿入部12aの挿入長を測定するための測定用目盛り40が設けられている。この測定用目盛り40は、挿入部12aの長手方向に沿って所定ピッチ(例えば、1cm刻み)で設けられた点から構成される。この測定用目盛り40は、患者の口(上部内視鏡の場合)や肛門(下部内視鏡の場合)に設けられた目盛り検出センサ42で検出され、目盛り検出センサ42はプロセッサ装置16と有線又は無線で接続されており、目盛り検出センサ42での検出情報は、プロセッサ装置16に送信される。なお、図5では、患者が口に咥えたマウスピースMPに目盛り検出センサ42が設けられている。
図4に示すように、プロセッサ装置16は、画像信号取得部50と、画像処理部52と、表示制御部54と、静止画記憶制御部55と、保存用画像記憶部56と、スコープ位置情報算出部57と、スコープ操作情報算出部58とを備えている。画像信号取得部(本発明の「画像取得部」に対応する)50は、内視鏡12から、各観察モードに対応した画像信号を取得する。画像処理部52は、通常光モード用処理部60と、特殊光モード用処理部62と、検査支援モード用処理部64とを備えている。通常光モード用処理部60は、通常光モード時に得られる画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理などの通常光モード用画像処理を行う。これにより、自然な色合いの通常光画像が得られる。通常光画像は、表示制御部54に入力される。また、静止画取得指示部13bが操作された場合には、その時点での通常光画像の静止画が、静止画記憶制御部55によって、保存用画像記憶部56に記憶される。
特殊光モード用処理部62は、特殊光モード時に得られる画像信号に対して、通常光モード用画像処理と異なる特殊光モード用画像処理を行って、特殊光画像を得る。特殊光モード用画像処理については、通常光モード用処理画像と処理内容(色変換処理、色彩強調処理、及び構造強調処理など)は同様であるものの、処理条件が異なっている。特殊光画像は、病変部の視認性が他の部位よりも高くなっている。特殊光画像は表示制御部54に入力される。また、静止画取得指示部13bが操作された場合には、その時点での特殊光画像の静止画が、静止画記憶制御部55によって、保存用画像記憶部56に記憶される。
検査支援モード用処理部64は、検査支援モード時に得られる画像信号に対して、検査支援モード用画像処理を行って、検査画像を得る。検査画像は表示制御部54に入力される。検査支援モード用画像処理は、静止画取得指示部13bが操作されない場合は、検査画像はそのまま表示制御部54に入力する。一方、静止画取得指示部13bが操作された場合には、ガイドライン通りに撮影できているかどうかを確認するための検査支援画像を生成する。この検査支援画像は検査画像とともに表示制御部54に入力される。そして、検査支援画像をユーザーが確認し、更に、静止画取得指示部13bが操作されることで、そのときの検査画像の静止画が、静止画記憶制御部55によって、保存用画像記憶部56に記憶される。検査支援モード用処理部64の詳細については後述する。
表示制御部54は、画像処理部52から入力された画像をモニタ18に表示する制御を行う。これにより、モニタ18上には観察モードに対応する画像が表示される。すなわち、通常光モードであれば、通常光画像がモニタ18に表示され、特殊光モードであれば、特殊光画像がモニタ18に表示される。また、検査支援モードの場合には、検査画像がモニタ18に表示されるとともに、静止画取得指示部13bが操作されたときに、検査画像に加えて検査支援画像が表示される。
スコープ位置情報算出部57は、目盛り検出センサ42での検出情報に基づいて、内視鏡12の挿入部12aの挿入長を算出する。また、スコープ位置情報算出部57は、挿入部12aの挿入長に基づいて、内視鏡12の先端部12dが検査領域A1〜A13のいずれに位置しているかを示すスコープ位置情報を算出する。スコープ位置情報算出部57は、図6及び図7に示すように、挿入長がL0とL1の間にある場合には、先端部12dは検査領域A1に位置し、挿入長がL1とL2の間にある場合は、先端部12dは検査領域A2に位置する。
また、挿入長がL2とL3の間にある場合は、先端部12dは検査領域A3に位置する。挿入長がL3とL4の間にある場合は、先端部12dは検査領域A4に位置する。挿入長がL4とL5の間にある場合は、先端部12dは検査領域A5に位置する。挿入長がL5とL6の間にある場合は、先端部12dは検査領域A6に位置する。挿入長がL6とL7の間にある場合は、先端部12dは検査領域A7に位置する。挿入長がL7とL8の間にある場合は、先端部12dは検査領域A8に位置する。挿入長がL8とL9の間にある場合は、先端部12dは検査領域A9に位置する。挿入長がL9とL10の間にある場合は、先端部12dは検査領域A10に位置する。
また、挿入長がL10とL11の間にある場合は、先端部12dは検査領域A11に位置する。挿入長がL11とL12の間にある場合は、先端部12dは検査領域A12に位置する。挿入長がL12とL13の間にある場合は、先端部12dは検査領域A13に位置する。
なお、被検者の体格によって、挿入長と検査領域との位置関係は異なることを考慮し、スコープ位置情報算出部57では、体格差によって、挿入長と検査領域との位置関係をキャリブレーションすることが好ましい。例えば、検査領域A3のような幽門部での挿入長と予め定めたキャリブレーション用幽門部挿入長とを比較し、それらの違いを元に、挿入長と検査領域との位置関係を補正してもよい。また、検査領域A3のような幽門部と、検査領域10の噴門部との間の距離と、予め定めたキャリブレーション用幽門、噴門間距離とを比較し、それらの違い元に、挿入長と検査領域との位置関係を補正してもよい。
スコープ操作情報算出部58は、内視鏡12の操作に関する情報を示すスコープ操作情報を算出する。スコープ操作情報には、内視鏡12の先端部12dのアングル角度又は回転量、観察対象との距離(観察距離)、挿入長、内視鏡の形状などが含まれる。アングル角度又は回転量については、アングルノブ13aの操作量など操作部12bの操作情報に基づいて算出される。また、観察距離については、検査画像の画素値の平均値などに基づいて算出される。挿入長は、上記したように、スコープ位置情報算出部57によって算出される。内視鏡の形状については、内視鏡の先端部12dに設けた磁気センサ(図示しない)を用いて算出することが好ましい。磁気センサは先端部12dの他、先端部12dから等間隔に挿入部12aに複数設けてもよい。
検査支援モード用処理部64は、図8に示すように、検査支援モード用画像処理を行う検査支援モード用画像処理部70の他に、静止画取得指示部13bが操作されたときに作動する処理部として、ボケブレ判定部72と、欠陥領域除去部73と、基準画像選択部74と、類似度算出部76と、検査支援画像生成部78とを備えている。なお、検査支援モードでは、検査画像の静止画がガイドラインに沿った画像であるかどうかを確認してから、その静止画を保存用画像記憶部56に記憶するようにしている。
そのため、検査画像の静止画の撮影は、仮撮影と本撮影の2段階で行われる。デフォルトは仮撮影の状態に設定されており、静止画取得指示部13bが操作されると、仮撮影が行われる。この仮撮影の後に、更に、静止画取得指示部13bを操作すると本撮影が行われ、取得した検査画像の静止画が保存用画像記憶部56へ記憶される。保存用画像記憶部56への記憶後は、再び仮撮影の状態に復帰する。
ボケブレ判定部72は、図9に示すように、仮撮影された検査画像の静止画にピンボケやブレが生じているか否かを判定する。ボケブレ判定部72では、ボケやブレを判定するために、仮撮影された検査画像の静止画のピンボケやブレを示すボケブレ指標値を算出する。ボケブレ指標値の算出方法としては、例えば、ボケやブレと画像の空間周波数とは関連性があることから、検査画像の空間周波数に基づいてボケブレ指標値を算出する方法がある。
ボケブレ判定部72は、算出したボケブレ指標値が閾値を超えている場合には、検査画像にボケブレが発生していると判定する。このようにボケブレが発生している検査画像は、基準画像との比較を正確に行うことが難しいため、ユーザーに対して、検査画像の撮りなおしを促すガイダンスをモニタ18に表示する。一方、ボケブレ判定部72は、算出したボケブレ指標値が閾値以下である場合には、ボケブレは基準画像との比較等に影響する程のものでないと判定され、基準画像との比較が許可される。この場合には、検査画像を欠陥領域除去部73に送信する。
欠陥領域除去部73は、検査画像から、観察対象上における汚れやハレーションなどの欠陥領域を除去する。例えば、検査画像において画素値が一定値以上の高画素領域は、ハレーション領域として認識し、この部分の領域を隣接領域の画素値と置き換える。欠陥領域除去後の検査画像は、基準画像選択部74に送信される。
基準画像選択部74は、検査領域A1〜A13毎に予め定められた複数の基準画像を記憶する基準画像記憶部74aを備えている。基準画像選択部74は、基準画像記憶部74aに記憶された基準画像と、ボケブレ判定済み又は欠陥領域除去済みの検査画像との比較処理を行う。比較処理はパターンマッチング等により行う。この比較処理に基づいて、基準画像記憶部74aの中から、検査画像に対応する基準画像を選択する。選択された基準画像と検査画像は、類似度算出部76に送信される。
また、基準画像記憶部74aでは、検査支援モード用処理部64で使用している検査支援モード用画像処理に合わせて基準画像の状態を変更できるように、基準画像をRAWデータ形式で記憶している。したがって、基準画像選択部74では、検査画像との比較処理を行う前に、基準画像記憶部74aに記憶している基準画像に対して、検査支援モード用画像処理(本発明の「特定の画像処理」に対応する)を施してから、その検査支援モード用画像処理が施された基準画像と検査画像との比較処理を行う。なお、基準画像選択部74では、検査支援モード用画像処理を施す前の画像とRAWデータ形式の基準画像との比較処理を行うようにしてもよい。また、RAWデータとは、色調強調処理などの各種画像処理(本実施形態では通常光モード用画像処理、特殊光モード用画像処理、検査支援モード用画像処理)が施されていない状態の画像データをいう。
類似度算出部76は、基準画像の画像データと検査画像の画像データに基づいて、基準画像と検査画像の類似度を算出する。算出した基準画像との類似度は検査支援画像生成部78に送信される。類似度の算出方法としては、例えば、基準画像の画像データに含まれるノイズと検査画像の画像データに含まれるノイズとを比較し、それらノイズの量の差が小さいほど類似度が高いとされる。また、基準画像の画像データに含まれるヒダなどの構造と検査画像の画像データに含まれる構造や噴門、幽門などのランドマークとを比較し、似たような構造があればあるほど類似度が高いとされる。また、基準画像に、内視鏡12の挿入部12aが写り込んでいる場合には挿入部12aの有無によって類似度を決定することが好ましい。この場合、検査画像に挿入部12aが含まれている場合には、類似度を高くする。更には、基準画像の画像データと検査画像の画像データを比較するだけでなく、スコープ操作情報も加えて、類似度を算出するようにしてもよい。このようにスコープ操作情報も加えることで、類似度を正確に算出することができるようになる。
また、類似度の算出方法として、画像の色などの特徴量を用いる方法が考えられるが、1つの特徴量だけだと類似度を正確に算出することが困難であるため、複数の特徴量を組み合わせた総合類似度を用いて、類似度を正確に算出できるようにする。例えば、特徴量として、色の特徴量A、構造の特徴量B、ランドマークの特徴量Cを用いる場合には、それら特徴量A〜Cを重み付けして加算することにより、総合類似度を算出する。
なお、上記の総合類似度は、基準画像選択部74において、基準画像の選択に用いてもよい。例えば、図10に示すように、基準画像が1〜40枚ある場合、それら40枚の基準画像について、検査画像との特徴量A〜Cの類似度(図10では類似度を%(パーセント)で表示)を算出し、算出した特徴量A〜Cの類似度に基づいて総合類似度を算出する。そして、総合類似度が最も高い基準画像を選択するようにする。この場合、総合類似度が最も高い基準画像は基準画像No.38であるので、この基準画像No.38を選択する。
検査支援画像生成部78は、検査画像と基準画像との類似度に基づいて、検査支援画像を生成する。生成された検査支援画像は表示制御部54に送信され、モニタ18に表示される。図11に示すように、検査支援画像においては、検査画像とともに、基準画像との類似度(例えば、幽門部の基準画像との類似度が「80%」)が表示される。図12に示すように、ユーザーは、検査画像と基準画像との類似度を確認し、類似度が特定の条件(例えば、一定値以上)を満たすことを確認した場合に、検査画像がガイドラインに沿った画像(基準相当画像)であると判断し、再度、静止画取得指示部13bを操作する本撮影を行う。これにより、検査画像は保存用画像記憶部56に記憶される。なお、基準画像との類似度が、一定値以上など特定の条件を満たさない場合には、図13に示すように、表示制御部54によって、警告表示80をモニタ18上に行うようにしてもよい。
一方、類似度が特定の条件を満たさないなど、ユーザーが、検査画像がガイドラインに沿った画像(基準相当画像)でないと判断した場合には、静止画取得指示部13bを一定時間以上操作しない、又は内視鏡12やコンソール19に設けられた検査画像不採用ボタン(図示しない)を操作することにより、検査画像の保存用画像記憶部56への記憶を見送る。この場合には、検査支援画像の表示を停止し、再度、検査画像の静止画の撮り直しを行う。
検査画像の静止画の撮り直しを行う場合には、ユーザーに対して、ガイドラインに沿った検査画像(類似度が特定の条件を満たす検査画像)を取得できるように、内視鏡12の操作を支援するための操作支援情報を、表示制御部54によってモニタ18に表示することが好ましい。操作支援情報としては、ガイドラインに沿った検査画像を得るために、アングル角度や挿入長をどの程度調整すればよいかの情報や、観察対象に対して吹き付ける送気ガスの送気圧をどの程度にすればよいかの情報が含まれる。例えば、図14の場合であれば、アングル角度と挿入長に関する操作支援情報82が表示されている。操作支援情報については、基準画像との類似度が特定の条件を満たさない場合に、自動的にモニタ18に表示するようにしてもよい。
なお、検査支援画像では、検査画像、及び基準画像との類似度の表示に加えて、各検査領域において、検査画像の取得が成功又は失敗したのかが分かる表示を行うようにしてもよい。図15に示すように、検査支援画像においては、検査画像及び基準画像との類似度の他、検査領域A1〜A13をマップ化した検査対象マップ90にて、検査画像の保存用画像記憶部56への保存の有無に関する表示を、表示制御部54により行っている。この検査支援画像では、検査領域A1、A2の検査画像について保存済みである旨の表示(図15では「OK」の表示)がされ、検査領域A3、A4の検査画像について静止画は取得したものの保存用画像記憶部56への保存がされていない旨の表示(図15では「NG」の表示)がされている。ここで、OKの領域とNGの領域は、それぞれ異なる色で表示することが好ましい(例えばOKの領域は「青色」、NGの領域は「黄色」で表示する)。なお、検査領域に関する情報は、スコープ位置情報から取得する。
なお、検査支援画像において、検査画像の静止画の保存の有無を表示するようにした場合には、検査画像の撮り損ないも発見することができるようになる。図16に示すように、検査領域A1〜A10、A12の検査画像について保存済みの表示がされ、A10とA12の間の検査領域A11について保存済みの表示されていない場合には、この検査領域A11(下部食道)の撮影を取り損ねたことが分かる。このような場合には、内視鏡12の挿入部12aを再度押し込んで、検査領域A11(下部食道)の撮影を行うようにする。
なお、図17に示すように、検査支援画像では、検査画像、及び基準画像との類似度の表示に加えて、スコープ操作情報84やスコープ位置情報86に関する情報を表示するようにしてもよい。この検査支援画像では、スコープ操作情報として、挿入長とアングル角度が表示されているとともに、基準画像が得られる場合の基準挿入長と基準アングル角度も合わせて表示されている。また、スコープ位置情報として、内視鏡の先端部12dがいずれの検査領域に位置しているかの表示がなされている(例えば、検査領域A3)。更には、検査支援画像では、スコープ操作情報のうち内視鏡12の挿入部12aの形状を用いて、検査対象である胃において、挿入部12aがどのような形状で挿入されているかの表示がされている。
[第2実施形態]
第1実施形態では、検査支援画像において、検査画像とともに基準画像との類似度を表示するようにしているが、第2実施形態では、図18に示すように、基準画像との類似度の表示に代えて、基準画像(例えば、幽門部の基準画像)を表示するようにしてもよい。この場合には、ユーザーは、検査画像が、基準画像と同じ構図になるように、内視鏡12を操作し、同じ構造となったときに、静止画取得指示部13bを操作して検査画像の静止画の取得を行う。更には、図19に示すように、検査支援画像では、検査画像と基準画像の他、スコープ操作情報84とスコープ位置情報86も合わせて表示するようにしてもよい。この場合には、ユーザーは、スコープ操作情報を見ながら、内視鏡12を操作し、基準画像の構造に合わせることになる。
また、図20に示すように、検査支援画像では、検査画像と基準画像の他、検査対象マップ90を表示し、この検査対象マップ90において、検査画像の保存用画像記憶部56への保存の有無に関する表示を行うようにしてもよい。保存の有無に関する表示は、第1実施形態と同様に、保存用画像記憶部56への検査画像の保存が完了した検査領域についてはOKの表示をし、検査画像の静止画を取得したものの保存用画像記憶部56への検査画像の保存が完了していない検査領域についてはNGの表示を行う。
また、図21に示すように、検査支援画像では、検査画像と基準画像(例えば、幽門部の基準画像)の他、基準画像との類似度(幽門部の基準画像との類似度が「80%」)を算出して表示するようにしてもよい。この場合には、基準画像だけでなく、類似度も用いることで、更に確実にガイドラインに沿った画像(基準相当画像)を撮影することができるようになる。このように類似度を算出した場合には、第2実施形態において、類似度が特定の条件を満たさない場合の各種のユーザー支援が可能となる。
例えば、図22に示すように、検査支援画像において、検査画像、基準画像、及び類似度の他に、類似度が特定の条件を満たさないことの警告表示80を行ってもよい。また、図23に示すように、検査支援画像において、ガイドラインに沿った検査画像の撮影に必要な操作支援情報82を表示するようにしてもよい。このように、基準画像と類似度に加えて、警告表示80や操作支援情報82を表示することで、更に確実にガイドラインに沿った画像(基準相当画像)を撮影することができるようになる。さらに、操作部12bのアングルノブ13aにLED(Light Emitting Diode)などの発光部材を内蔵して回転方向等が分かるように点灯させる機能を追加して、内視鏡操作を支援してもよい。
なお、上記実施形態では、1回の内視鏡検査において、ガイドライン通りに撮影を行うことができるように、基準画像との類似度の表示、又は基準画像の表示を行うようにしているが、その後の経過観察においても、有効な診断ができるように、同一の検査領域で取得タイミングが異なる複数の検査画像をモニタ18に表示することが好ましい。この場合には、初期の検査で病変部が発見され、その後に経過観察を行うことができるようにするため、初期の検査で検査画像を保存用画像記憶部56に記憶する際には、スコープ位置情報又はスコープ操作情報とを関連付けて記憶することが好ましい。
図24に示すように、経過観察時においては、病変部が発見された位置でのスコープ位置情報又はスコープ操作情報を予め設定しておき、その病変部が発見された位置に内視鏡の先端部12dが達した場合に、検査画像とともに、前回の検査画像を表示する。また、前回の検査画像に加えて、今回の経過観察時における病変部(ポリープ)の大きさと、前回の経過観察時における病変部(ポリープ)の大きさを表示する。更には、基準画像を表示するようにしてもよい。
[第3実施形態]
第1及び第2実施形態では、ユーザーによる仮撮影で検査画像の静止画を取得したときに、基準画像との類似度又は基準画像を表示し、それら類似度や基準画像を確認してから、本撮影を行って検査画像の静止画を保存用画像記憶部に記憶するようにしているが、これに代えて、第3実施形態では、検査画像の動画表示中に、検査画像の取得タイミングに得られる検査時撮影条件が、基準画像を得るための基準撮影条件を満たしたときに、自動的に仮撮影を行って検査画像の静止画を取得する。
第3実施形態の内視鏡システム10では、検査支援モードに代えて、検査時撮影条件が基準撮影条件を満たしたときに、自動的に検査画像の静止画を取得する自動撮影用モードが設けられている。そのため、図25に示すように、内視鏡システム10のプロセッサ装置16においては、第1及び第2実施形態の検査支援モード用処理部64に代えて、自動撮影モード用処理部100が設けられている。なお、自動撮影モードへの切替は、モード切替部13cにより行われる。
自動撮影モード用処理部100は、第1及び第2実施形態で示した基準画像選択部74、類似度算出部76、及び検査支援画像生成部78に加えて、自動撮影モード用画像処理部102と、検査時撮影条件取得部104と、撮影条件判定部106と、静止画保存要求信号出力部108とを備えている。なお、第3実施形態では、検査画像と基準画像との比較は行わないため、ボケブレ判定部72、欠陥領域除去部73は設けないが、検査時撮影条件と基準撮影条件との比較に加えて、検査画像と基準画像の比較を行う場合には、ボケブレ判定部72、欠陥領域除去部73も合わせて行うことが好ましい。
自動撮影モード用画像処理部102は、自動撮影モード時に得られる画像信号に対して、自動撮影モード用画像処理を行う。自動撮影モード用画像処理は、第1及び第2実施形態の検査支援モード用画像処理と同様であり、この自動撮影モード用画像処理を行うことによって、検査画像が得られる。検査画像は、表示制御部54に入力され、モニタ18に動画表示される。
検査時撮影条件取得部104は、検査画像を取得したときの撮影条件を、検査時撮影条件として取得する。この検査時撮影条件には、検査画像を取得したときのスコープ位置情報又はスコープ操作情報が少なくともいずれかが含まれる。したがって、検査時撮影条件取得部104は、所定フレーム分の検査画像を取得する毎に、スコープ位置情報算出部57及びスコープ操作情報算出部58にアクセスし、スコープ位置情報又スコープ操作情報を取得する。
撮影条件判定部106は、検査時撮影条件が、基準画像を得るための基準撮影条件を満たしているか否かの判定を行う。撮影条件判定部106は、ガイドラインに定められた基準画像を得るための基準撮影条件を記憶する基準撮影条件記憶部106aを備えている。例えば、基準画像が1〜40枚ある場合には、図26に示すように、基準画像No.1を得るための基準撮影条件として、基準画像No.1の基準撮影条件が記憶されており、他の基準画像No.2〜基準画像No.40についても、それら基準画像を得るための基準撮影条件として、基準画像No.2の基準撮影条件〜基準画像No.40の基準撮影条件が記憶されている。
なお、基準撮影条件には、基準画像を得るためのスコープ位置情報又はスコープ操作情報が少なくともいずれかが含まれる。また、検査時撮影条件が基準撮影条件を満たすとは、例えば、以下のことをいう。撮影条件が挿入長である場合には、検査画像を取得した時の挿入長Lxが、所定の基準画像を得るための挿入長Lyを含む一定範囲Ly1〜Ly2(Ly2>Ly1)に含まれる場合に、検査時撮影条件が基準撮影条件を満たすという。
静止画保存要求信号出力部108は、撮影条件判定部106において、検査時撮影条件が、基準撮影条件記憶部106aに記憶された複数の基準撮影条件のいずれかを満たすと判定された場合に、図27に示すように、表示制御部54又は静止画記憶制御部55に対して、検査画像の静止画の保存用画像記憶部56への保存を要求する静止画保存要求信号を出力する。なお、撮影条件判定部106において、検査時撮影条件が基準撮影条件のいずれも満たさないと判定された場合には、ユーザーは、ガイドラインに定められた検査部位に位置するように内視鏡12を操作して、検査時撮影条件の再取得を行う。
表示制御部54は、静止画保存要求信号を受けて、図28に示すように、検査画像とともに、その検査画像を静止画として保存するかどうかを確認するための確認メッセージ120をモニタ18に表示させる。また、静止画保存要求信号が出力された場合には、基準画像選択部74は、検査時撮影条件を満たす基準撮影条件に対応する基準画像を、基準画像記憶部74aから選択する。この選択された基準画像は、表示制御部54によってモニタ18に表示される(図28では「幽門部の基準画像」を表示している)。なお、第3実施形態の基準画像記憶部74aにおいては、基準撮影条件から基準画像を選択できるように、基準画像は基準撮影条件と関連付けて記憶されている。
また、類似度算出部76は、静止画保存要求信号出力時に基準画像選択部74で選択された基準画像と検査画像との類似度を算出する。算出された類似度は、表示制御部54によってモニタ18に表示される(図28では「幽門部の基準画像との類似度(80%)」が表示されている)。
静止画記憶制御部55は、図29に示すように、静止画保存要求信号を受信し、且つ、ユーザーが、モニタ18に表示された検査画像の静止画がガイドラインに沿った画像(基準相当画像)であると判断して、静止画取得指示部13bの操作が行われた場合に、検査画像の静止画を保存用画像記憶部56に記憶する制御を行う。検査画像の静止画の保存を行った場合には、図30に示すように、表示制御部54が、静止画を保存した旨の保存完了メッセージ122でモニタ18上に表示させる。また、表示制御部54は、静止画の保存を行った検査領域を、検査対象マップ90上で表示させる。この検査対象マップ90では、検査領域A1〜A13のうち静止画の保存が行われた検査領域にOKの表示がなされている。
一方、静止画記憶制御部55は、静止画保存要求信号を受信したものの、ユーザーが、モニタ18に表示された検査画像の静止画が検査画像の静止画がガイドラインに沿った画像(基準相当画像)でないと判断し、静止画保存要求信号の受信から一定時間内に、静止画取得指示部13bの操作が行われなかった場合には、検査画像の保存用画像記憶部56への保存は行われない。また、静止画保存要求信号を受信したものの、内視鏡12やコンソール19に設けられた検査画像不採用ボタン(図示しない)が操作された場合にも、検査画像の保存用画像記憶部56への保存は行われない。なお、自動取得した検査画像の静止画の保存を行わない場合には、検査画像の静止画の取得を手動で行う手動撮影モードに自動的に切り替えるようにしてもよい。この場合には、手動撮影モードに切り替えた旨をモニタ18に表示することが好ましい。
以上のように、検査画像の保存用画像記憶部56への保存を行わない場合には、静止画として保存するかどうかを確認するための確認メッセージ120の表示も停止させる。この確認メッセージ120の代わりに、図31に示すように、ガイドラインに沿った画像(基準相当画像)の撮影に必要な操作支援情報82をモニタ18に表示させる。そして、ユーザーは、モニタ18上の操作支援情報82を確認しながら、内視鏡12を操作し、検査時撮影条件の再取得を行う。
[第4実施形態]
第3実施形態では、検査時撮影条件が基準撮影条件を満たしたときに、検査画像の静止画を自動的に取得するようにしているが、第4実施形態では、検査時撮影条件が基準撮影条件を満たしたときに、検査画像の静止画の取得タイミングであることを報知、即ち、シャッタータイミングであることを報知することにより、ユーザーによる検査画像の静止画の取得(撮影)を支援する。
第4実施形態の内視鏡システム10では、第1及び第2実施形態の検査支援モードに代えて、検査時撮影条件が基準撮影条件を満たす場合に、検査画像の静止画の取得タイミングを報知する撮影アシストモードが設けられている。そのため、図32に示すように、内視鏡システム10のプロセッサ装置16においては、第1及び第2実施形態の検査支援モード用処理部64に代えて、撮影アシストモード用処理部200が設けられている。なお、撮影アシストモードへの切替は、モード切替部13cにより行われる。また、第4実施形態においては、撮影アシストモードに加えて、第3実施形態の自動撮影モードを設け、撮影アシストモードと自動撮影モードとの間でモード切替を行うようにしてもよい。
撮影アシストモード用処理部200は、第1及び第2実施形態で示した基準画像選択部74、類似度算出部76、及び検査支援画像生成部78と、第3実施形態で示した検査時撮影条件取得部104、撮影条件判定部106に加えて、撮影アシストモード用画像処理部202、静止画取得タイミング報知部204を備えている。なお、第4実施形態では、検査画像と基準画像との比較は行わないため、ボケブレ判定部72、欠陥領域除去部73は設けないが、検査時撮影条件と基準撮影条件との比較に加えて、検査画像と基準画像の比較を行う場合には、ボケブレ判定部72又は欠陥領域除去部73による処理を合わせて行うことが好ましい。
撮影アシストモード用画像処理部202は、撮影アシストモード時に得られる画像信号に対して、撮影アシストモード用画像処理を行う。撮影アシストモード用画像処理は、第1及び第2実施形態の検査支援モード用画像処理と同様であり、この撮影アシストモード用画像処理を行うことによって、検査画像が得られる。検査画像は表示制御部54に入力され、モニタ18に動画表示される。
第4実施形態においても、第3実施形態と同様に、検査画像を取得したときの撮影条件を、検査時撮影条件として検査時撮影条件取得部104により取得する。そして、この取得した検査時撮影条件が基準撮影条件をみたすか否かの判定を、撮影条件判定部106により行う。なお、検査時撮影条件は、検査画像を取得したときのスコープ位置情報又はスコープ操作情報の少なくともいずれかが含まれることから、所定フレーム分の検査画像を得る毎に、スコープ位置情報算出部57及びスコープ操作情報算出部58にアクセスして、スコープ位置情報又はスコープ操作情報を取得する。
静止画取得タイミング報知部204は、撮影条件判定部106において、検査時撮影条件が基準撮影条件を満たすと判定した場合に、図33に示すように、検査画像の静止画の取得タイミングであることを報知する。なお、撮影条件判定部106において、検査時撮影条件が基準撮影条件のいずれも満たさないと判定された場合には、ユーザーは、ガイドラインに定められた検査部位に位置するように内視鏡12を操作して、検査時撮影条件の再取得を行う。
図34に示すように、静止画の取得タイミングであること、即ち、シャッタータイミングの報知210は、表示制御部54を介して、モニタ18に表示される。また、静止画の取得タイミングが報知された場合には、第3実施形態と同様に、基準画像選択部74により、検査時撮影条件を満たす基準撮影条件に対応する基準画像を選択する。そして、この選択された基準画像(図34では「幽門部の基準画像」)をモニタ18に表示する。また、類似度算出部76は、基準画像選択部74で選択された基準画像と検査画像の類似度を算出する。この算出した類似度(図34では「幽門部の基準画像との類似度(80%)」)もモニタ18に表示される。なお、操作部12bにおける静止画取得指示部13bをLED(Light Emitting Diode)内蔵ボタン等で構成し、静止画の取得タイミングのときに、静止画取得指示部13bに内蔵したLEDを点灯することによって、静止画の取得タイミングを報知するようにしてもよい。
静止画記憶制御部55は、図35に示すように、静止画の取得タイミングが報知され、且つユーザーが、モニタ18に表示された検査画像の静止画が検査画像の静止画がガイドラインに沿った画像(基準相当画像)であると判断して、静止画取得指示部13bの操作が行われた場合には、第3実施形態のように、検査画像の静止画を保存用画像記憶部56に記憶する制御を行う。なお、検査画像の静止画の保存を行った場合には、第3実施形態のように、静止画の保存を行った検査領域を、検査対象マップ90上で表示することが好ましい(図30参照)。
一方、静止画記憶制御部55は、静止画の取得タイミングが報知されたものの、ユーザーが、モニタ18に表示された検査画像の静止画が検査画像の静止画がガイドラインに沿った画像(基準相当画像)でないと判断して、その報知から一定時間内に静止画取得指示部13bの操作が行われなかった場合(その他、第3実施形態で示した検査画像不採用ボタンが操作された場合)には、検査画像の静止画の保存用画像記憶部56への保存は行われない。この場合には、ユーザーは、ガイドラインに定められた検査部位に位置するように内視鏡12を操作して、検査時撮影条件の再取得を行う。なお、静止画の保存を行わない場合には、第3実施形態のように、ガイドラインに沿った画像(基準相当画像)の撮影に必要な操作支援情報82をモニタ18に表示することが好ましい(図31参照)。
上記実施形態において、画像処理部52のような各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画取得指示部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
22 光源制御部
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 撮像センサ
42 検出センサ
50 画像信号取得部
52 画像処理部
54 表示制御部
55 静止画記憶制御部
56 保存用画像記憶部
57 スコープ位置情報算出部
58 スコープ操作情報算出部
60 通常光モード用処理部
62 特殊光モード用処理部
64 検査支援モード用処理部
70 検査支援モード用画像処理部
72 ボケブレ判定部
73 欠陥領域除去部
74 基準画像選択部
74a 基準画像記憶部
76 類似度算出部
78 検査支援画像生成部
80 警告表示
82 操作支援情報
84 スコープ操作情報
86 スコープ位置情報
90 検査対象マップ
100 自動撮影モード用処理部
102 自動撮影モード用画像処理部
104 検査時撮影条件取得部
106 撮影条件取得部
108 基準撮影条件記憶部
108 静止画保存要求信号出力部
120 確認メッセージ
122 保存完了メッセージ
200 撮影アシストモード用処理部
202 撮影アシストモード用画像処理部
204 静止画取得タイミング報知部
210 シャッタータイミングの報知

Claims (10)

  1. 検査領域毎に予め定められた基準画像を得るための基準撮影条件を記憶する基準撮影条件記憶部と、
    前記基準画像に相当する基準相当画像を得るために前記検査領域を撮像して検査画像を取得する画像取得部と、
    前記検査画像の取得タイミングに得られる検査時撮影条件を取得する検査時撮影条件取得部と、
    前記検査時撮影条件が前記基準撮影条件を満たす場合に、前記検査画像の静止画の保存を要求するための静止画保存要求信号を出力する静止画保存要求信号出力部と、
    前記検査画像を表示する表示部とを備える内視鏡システム。
  2. 前記基準画像を複数記憶する基準画像記憶部と、
    前記基準画像記憶部から前記検査画像に対応する基準画像を選択する基準画像選択部とを備え、
    前記表示部は、前記静止画保存要求信号が出力された場合に、前記基準画像選択部で選択された基準画像を表示する請求項1記載の内視鏡システム。
  3. 前記基準画像を複数記憶する基準画像記憶部と、
    前記基準画像記憶部から前記検査画像に対応する基準画像を選択する基準画像選択部と、
    前記基準画像選択部で選択された基準画像と前記検査画像の類似度を算出する類似度算出部とを備え、
    前記表示部は、前記静止画保存要求信号が出力された場合に、前記類似度を表示する請求項1記載の内視鏡システム。
  4. 前記静止画保存要求信号が出力され、且つ静止画取得指示部の操作が行われた場合に、前記検査画像の静止画を保存用画像記憶部に記憶する制御を行う静止画記憶制御部を有する請求項1ないし3いずれか1項記載の内視鏡システム。
  5. 前記表示部は、特定の検査領域において前記検査画像の静止画が得られた場合には、前記特定の検査領域における検査画像の静止画が前記保存用画像記憶部に保存済みであることを、検査対象マップ上に表示する請求項4記載の内視鏡システム。
  6. 前記表示部は、前記静止画保存要求信号が出力され、且つ前記検査画像の静止画を保存用記憶部に記憶しない場合に、内視鏡の操作に関する操作支援情報を表示する請求項1ないし5いずれか1項記載の内視鏡システム。
  7. 前記検査時撮影条件が前記基準撮影条件を満たす場合に検査画像の静止画を自動で取得する自動撮影モードへの切替を行うモード切替部を有する請求項1ないし6いずれか1項記載の内視鏡システム。
  8. 前記基準撮影条件は、前記基準画像を得るためのスコープ位置情報又はスコープ操作情報の少なくとも1つであり、前記検査時撮影条件は、前記検査画像を得るためのスコープ位置情報又はスコープ操作情報の少なくとも1つである請求項1ないし7いずれか1項記載の内視鏡システム。
  9. 前記スコープ操作情報には、内視鏡のアングル角度又は回転量、観察対象との距離、前記内視鏡の挿入部の挿入長、前記内視鏡の挿入部の形状が少なくとも1つ含まれる請求項8記載の内視鏡システム。
  10. 画像取得部が、検査領域毎に予め定められた基準画像に相当する基準相当画像を得るために検査領域を撮像して検査画像を取得するステップと、
    検査時撮影条件取得部が、前記検査画像の取得タイミングに得られる検査時撮影条件を取得するステップと、
    静止画保存要求信号出力部が、前記検査時撮影条件が、前記基準画像を得るための基準撮影条件を満たす場合に、前記検査画像の静止画の保存を要求するための静止画保存要求信号を出力するステップとを有する内視鏡システムの作動方法。
JP2017035840A 2017-02-28 2017-02-28 内視鏡システム及びその作動方法 Pending JP2018139846A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017035840A JP2018139846A (ja) 2017-02-28 2017-02-28 内視鏡システム及びその作動方法
US15/904,434 US20180242818A1 (en) 2017-02-28 2018-02-26 Endoscope system and method of operating the same
EP18158902.9A EP3366191B1 (en) 2017-02-28 2018-02-27 Endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017035840A JP2018139846A (ja) 2017-02-28 2017-02-28 内視鏡システム及びその作動方法

Publications (1)

Publication Number Publication Date
JP2018139846A true JP2018139846A (ja) 2018-09-13

Family

ID=61521346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017035840A Pending JP2018139846A (ja) 2017-02-28 2017-02-28 内視鏡システム及びその作動方法

Country Status (3)

Country Link
US (1) US20180242818A1 (ja)
EP (1) EP3366191B1 (ja)
JP (1) JP2018139846A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241735A1 (ja) 2020-05-28 2021-12-02 富士フイルム株式会社 内視鏡プロセッサ装置
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021164490A (ja) * 2018-04-10 2021-10-14 オリンパス株式会社 医療システム
JP6924727B2 (ja) * 2018-06-25 2021-08-25 富士フイルム株式会社 内視鏡装置
WO2021024301A1 (ja) * 2019-08-02 2021-02-11 Hoya株式会社 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
WO2021090358A1 (ja) * 2019-11-05 2021-05-14 オリンパス株式会社 内視鏡装置、表示用画像出力方法、及びプログラム
US11957302B2 (en) * 2021-05-24 2024-04-16 Verily Life Sciences Llc User-interface for visualization of endoscopy procedures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004016268A (ja) * 2002-06-12 2004-01-22 Toshiba Corp 超音波診断装置、超音波プローブ、及び超音波診断におけるナビゲーション情報提供方法
JP2009077765A (ja) * 2007-09-25 2009-04-16 Fujifilm Corp 内視鏡システム
JP2012070937A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8348429B2 (en) * 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
JP5346856B2 (ja) * 2010-03-18 2013-11-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP5542021B2 (ja) 2010-09-28 2014-07-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、及びプログラム
US8870751B2 (en) 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
JP5492729B2 (ja) * 2010-09-28 2014-05-14 富士フイルム株式会社 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
JP5587932B2 (ja) * 2012-03-14 2014-09-10 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN104780826B (zh) * 2013-03-12 2016-12-28 奥林巴斯株式会社 内窥镜系统
US9672608B2 (en) * 2013-08-22 2017-06-06 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004016268A (ja) * 2002-06-12 2004-01-22 Toshiba Corp 超音波診断装置、超音波プローブ、及び超音波診断におけるナビゲーション情報提供方法
JP2009077765A (ja) * 2007-09-25 2009-04-16 Fujifilm Corp 内視鏡システム
JP2012070937A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241735A1 (ja) 2020-05-28 2021-12-02 富士フイルム株式会社 内視鏡プロセッサ装置
JP7440629B2 (ja) 2020-05-28 2024-02-28 富士フイルム株式会社 内視鏡プロセッサ装置
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP3366191B1 (en) 2021-11-17
US20180242818A1 (en) 2018-08-30
EP3366191A1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
EP3366191B1 (en) Endoscope system
JP2018139848A (ja) 内視鏡システム及びその作動方法
JP6688243B2 (ja) 内視鏡システム及びその作動方法
CN110325100B (zh) 内窥镜系统及其操作方法
WO2018159347A1 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP5139606B2 (ja) 診断支援装置及び診断支援装置の制御方法
US20190183360A1 (en) Methods and devices suitable for imaging blood-containing tissue
JP2009213627A (ja) 内視鏡検査システム及びその検査方法
US20190082936A1 (en) Image processing apparatus
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2012070937A (ja) 内視鏡システム
US11503982B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
US10462440B2 (en) Image processing apparatus
JP2012020028A (ja) 電子内視鏡用プロセッサ
JP2019136241A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2021241735A1 (ja) 内視鏡プロセッサ装置
JP7397176B2 (ja) 画像処理装置及びその作動方法
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
JP2020171599A (ja) 画像生成装置、コンピュータプログラム及び画像生成方法
JP2017221276A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707