JP2020069300A - 医療診断支援装置、内視鏡システム、及び医療診断支援方法 - Google Patents

医療診断支援装置、内視鏡システム、及び医療診断支援方法 Download PDF

Info

Publication number
JP2020069300A
JP2020069300A JP2018207122A JP2018207122A JP2020069300A JP 2020069300 A JP2020069300 A JP 2020069300A JP 2018207122 A JP2018207122 A JP 2018207122A JP 2018207122 A JP2018207122 A JP 2018207122A JP 2020069300 A JP2020069300 A JP 2020069300A
Authority
JP
Japan
Prior art keywords
discrimination
detection
result
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018207122A
Other languages
English (en)
Other versions
JP7038641B2 (ja
Inventor
麻依子 遠藤
Maiko ENDO
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018207122A priority Critical patent/JP7038641B2/ja
Priority to US16/591,585 priority patent/US11464394B2/en
Publication of JP2020069300A publication Critical patent/JP2020069300A/ja
Application granted granted Critical
Publication of JP7038641B2 publication Critical patent/JP7038641B2/ja
Priority to US17/944,201 priority patent/US11925311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

【課題】本発明は医療画像の認識結果の視認性が高い医療診断支援装置、内視鏡システム、及び医療診断支援方法を提供することを目的とする。【解決手段】本発明の一の態様に係る医療診断支援装置は、医療画像を時系順に取得する画像取得部と、医療画像に含まれる注目領域を検出する検出部と、医療画像の鑑別を行う鑑別部と、検出の結果と鑑別の結果とのうちいずれかを表示装置に表示させる表示制御部と、検出または鑑別が行われてから表示がされるまでの待機時間を設定する設定部と、を備え、表示制御部は、表示の対象が検出の結果と鑑別の結果との間で切り替えられた場合は、検出または鑑別が行われてから待機時間が経過した後に検出または鑑別の結果を表示させる。【選択図】 図7

Description

本発明は医療画像に対する認識を行ってその結果を表示する医療診断支援装置、内視鏡システム、及び医療診断支援方法に関する。
医療画像を用いた診断支援では、画像に対する認識を行い、その結果を表示装置に表示する場合がある。認識結果は例えば画像から検出された注目領域を強調表示することにより表示されるが、このような表示を行うタイミングを遅らせる技術が知られている。例えば特許文献1には、注目領域の検出が開始されたタイミングから第1時間経過後に入力される画像に対し強調処理を行う内視鏡画像処理装置が記載されている。
WO17/203560号公報
内視鏡等の医療機器による観察や診断では、取得した医療画像に対する認識内容(注目領域の検出、画像の鑑別等)や表示する対象(いずれの認識についての結果を表示するか、等)を切り替える場合がある。しかしながら、上述した特許文献1では注目領域を検出した際の強調表示を注目領域の位置情報及びサイズ情報(の少なくとも一方)に基づいて遅延させるだけで、認識や表示対象の切り替えは考慮されていないので、例えばある認識の後に他の認識を行い、その後再度当初の認識に復帰する場合、認識の切り替え直後は同じ被写体(注目領域等)についての認識結果が表示されてユーザが煩わしさを感じ、観察や診断の妨げになるおそれがある。このように、従来の技術では認識や表示対象の切り替えを行う場合の視認性が考慮されていなかった。
本発明はこのような事情に鑑みてなされたもので、医療画像の認識結果の視認性が高い医療診断装置、内視鏡システム、及び医療診断支援方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る医療診断支援装置は、医療画像を時系順に取得する画像取得部と、医療画像に含まれる注目領域を検出する検出部と、医療画像の鑑別を行う鑑別部と、検出の結果と鑑別の結果とのうちいずれかを表示装置に表示させる表示制御部と、検出または鑑別が行われてから表示がされるまでの待機時間を設定する設定部と、を備え、表示制御部は、表示の対象が検出の結果と鑑別の結果との間で切り替えられた場合は、検出または鑑別が行われてから待機時間が経過した後に検出または鑑別の結果を表示させる。第1の態様では、表示の対象が検出の結果と鑑別の結果との間で切り替えられた場合は、検出または鑑別が行われてから待機時間が経過した後に検出または鑑別の結果を表示させるので、切り替え直後に同じ被写体(注目領域等)についての認識結果が表示されてユーザが煩わしさを感じて観察や診断の妨げになることがなく、医療画像の認識結果の視認性が高い。
第1の態様において、切り替えにより検出と鑑別とのうち一方を行いその結果を表示してもよいし、両方の認識を並行して行い表示の対象(検出の結果または鑑別の結果)を切り替えてもよい。即ち、認識の切り替えにより表示の対象を切り替えてもよいし、認識を切り替えずに表示の対象を切り替えてもよい。なお、検出結果の表示は注目領域の検出位置、大きさ、形状等に応じて図形や記号を重畳表示する、位置座標を数値表示する、注目領域の色彩や階調を変更する等により行うことができ、鑑別結果の表示は文字、数字、図形、記号、色彩等により行うことができる。検出結果及び鑑別結果は医療画像に重畳表示してもよいし、画像とは別に表示(表示画面の別領域に表示、別画面に表示等)してもよい。なお、鑑別は検出の結果に関わらず医療画像の全体もしくは一部について行うことができる。
第1の態様において、医療画像は認識を行う際に撮影し取得してもよいし、あらかじめ撮影された画像を取得してもよい。即ち、画像の取得と認識及び表示とを並行して行ってもよいし、あらかじめ撮影及び記録された画像に対して事後的に認識及び表示を行ってもよい。また、画像取得部が取得する医療画像は、撮影画像に対し画像処理(特定の被写体や特定の色成分(周波数帯域)を強調する等)を施した画像でもよい。なお、第1の態様に係る医療診断支援装置は例えば画像診断支援システムや内視鏡システムのプロセッサ、医療画像処理用のコンピュータとして実現することができるが、このような態様には限定されない。
第1の態様において「医療画像を時系列順に取得する」には、例えば決められたフレームレートで複数フレームの医療画像を取得することが含まれる。なお、第1の態様に係る医療診断支援装置は、終了条件を満たすまで医療画像の処理(検出、鑑別、表示)を継続させる繰り返し制御部を備えていてもよい。また、第1の態様及び以下の各態様において、「注目領域」(ROI:Region Of Interest)は「関心領域」ともいう。また、第1の態様及び以下の各態様において、医療画像は医用画像ともいう。
第2の態様に係る医療診断支援装置は第1の態様において、医療画像を構成するフレーム間の動き量を推定する推定部を備え、設定部は推定した動き量に応じて待機時間を設定する。
第3の態様に係る医療診断支援装置は第2の態様において、設定部は、動き量がしきい値よりも大きい場合はしきい値に対応する待機時間よりも短い待機時間を待機時間として設定し、動き量がしきい値以下の場合はしきい値に対応する待機時間よりも長い待機時間を待機時間として設定する。第3の態様は、動き量が大きい場合は異なる被写体(注目領域等)が映っている可能性が高いため待機時間を短くし、動き量が小さい場合は同一の被写体が映っている可能性が高い(この場合、すぐに結果を表示するとユーザが煩わしさを感じ診断の妨げになるおそれがある)ため待機時間を長くするものである。
第4の態様に係る医療診断支援装置は第1から第3の態様のいずれか1つにおいて、医療画像から検出された注目領域の情報を記憶装置に記憶させる記憶制御部と、検出部が検出した注目領域が既に検出された注目領域であるか否かを、記憶された情報に基づいて判断する判断部と、をさらに備え、表示制御部は、検出部が検出した注目領域が既に検出された注目領域であると判断された場合は、待機時間が経過しても表示を行わない。既に検出された注目領域について繰り返し結果が表示されるとユーザが煩わしさを感じる可能性があるため、第4の態様ではそのような場合は待機時間が経過しても表示を行わないこととしている。
第5の態様に係る医療診断支援装置は第1から第4の態様のいずれか1つにおいて、ユーザの操作を受け付ける受付部をさらに備え、設定部は受け付けた操作に基づいて待機時間を設定する。第5の態様によれば、ユーザ(医師等)は所望の値を入力することができる。
第6の態様に係る医療診断支援装置は第5の態様において、設定部は、あらかじめ決められた複数の待機時間からユーザの操作により選択された待機時間を待機時間として設定する。第6の態様によれば、ユーザは待機時間を容易に設定することができる。
第7の態様に係る医療診断支援装置は第1から第6の態様のいずれか1つにおいて、表示制御部は、待機時間が経過するまでの間、検出の結果または鑑別の結果を表示させていないことを示す情報を表示装置に表示させる。ユーザは、結果が表示されていないと装置が正しく動作しているかどうか不安になる可能性があるが、第7の態様のように情報を表示させることでそのような不安を解消することができる。
第8の態様に係る医療診断支援装置は第1から第7の態様のいずれか1つにおいて、設定部は、表示の対象が鑑別の結果から検出の結果に切り替えられた場合の待機時間である第1の待機時間を待機時間として設定し、表示制御部は、表示の対象が鑑別の結果から検出の結果に切り替えられた場合は検出が行われてから第1の待機時間が経過した後に検出の結果を表示させる。設定部はユーザ操作に応じて第1の待機時間を設定してもよいし、ユーザ操作によらずに設定してもよい。
第9の態様に係る医療診断支援装置は第1から第8の態様のいずれか1つにおいて、設定部は、表示の対象が検出の結果から鑑別の結果に切り替えられた場合の待機時間である第2の待機時間を待機時間として設定し、表示制御部は、表示の対象が検出の結果から鑑別の結果に切り替えられた場合は鑑別が行われてから第2の待機時間が経過した後に鑑別の結果を表示させる。設定部はユーザ操作に応じて第2の待機時間を設定してもよいし、ユーザ操作によらずに設定してもよい。
第10の態様に係る医療診断支援装置は第1から第9の態様のいずれか1つにおいて、検出部と鑑別部のいずれかを作動させる作動制御部を備え、表示制御部は、作動の対象が検出部と鑑別部との間で切り替えられた場合は、表示の対象が検出の結果と鑑別の結果との間で切り替えられたと判断して作動により得られた検出の結果または鑑別の結果を表示させる。これにより、ユーザは作動対象の切り替えと別に表示の対象を切り替える必要がない。作動制御部は、ユーザの操作に応じていずれを作動させるか決定してもよい。
第11の態様に係る医療診断支援装置は第1から第9の態様のいずれか1つにおいて、検出部による検出と鑑別部による鑑別とを並行して行う。したがって検出の結果と鑑別の結果とが得られるが、表示の対象の切り替えにより、表示制御部が検出の結果または鑑別の結果を表示する。なお、「並行して行う」には、時系列順に取得した医療画像を構成するフレームに対し検出と鑑別の両方を行うことが含まれる。
第12の態様に係る医療診断支援装置は第1から第11の態様のいずれか1つにおいて、検出部は第1の階層型ネットワークを用いて検出を行い、鑑別部は第2の階層型ネットワークを用いて鑑別を行う。第12の態様は検出部及び鑑別部の構成の一態様を規定するものである。階層型ネットワークとしては、例えば深層学習等の機械学習により構成されたCNN(CNN:Convolutional Neural Network)を用いることができる。
上述した目的を達成するため、本発明の第13の態様に係る内視鏡システムは第1から第12の態様のいずれか1つに係る医療診断支援装置と、表示装置と、被検体に挿入される内視鏡スコープと、第1の照明光と、第1の照明光とは異なる第2の照明光とのうち一方を被検体に照射する光源装置と、を備える。第13の態様によれば、第1から第12の態様のいずれか1つに係る医療診断支援装置により検出及び鑑別を行いその結果を表示することができるので、医療画像の認識結果の視認性が高い。
第13の態様において、第1の照明光及び第2の照明光は通常光と特殊光(狭帯域光等)でもよいし、第1の特殊光と第2の特殊光でもよい。また、例えば波長帯域または分光スペクトルの少なくとも一方が同一でない場合に「照明光が異なる」に該当すると判断することができる。なお、第1,第2の照明光に加えて他の照明光(第3の照明光、第4の照明光等)を照射可能な光源装置を用いてもよい。
第13の態様において、光源から出射された光をそのまま照明光として用いてもよいし、光源から出射された光に特定の波長帯域を透過させるフィルタを適用して生成した光を照明光としてもよい。例えば、狭帯域光を照明光として用いる場合、狭帯域光用の光源から照射された光を照明光として用いてもよいし、白色光に対し特定の波長帯域を透過させるフィルタを適用して生成した光を照明光としてもよい。この場合、白色光に適用するフィルタを順次切り替えることで、異なる狭帯域光を異なるタイミングで照射してもよい。
第14の態様に係る内視鏡システムは第13の態様において、光源装置は、検出と鑑別との切り替えに連動して第1の照明光と第2の照明光とを切り替える。第14の態様によれば、ユーザは認識の切り替えと別に照明光の切替操作を行う必要がない。
第15の態様に係る内視鏡システムは第13の態様において、光源装置は、検出と鑑別との切り替えとは独立して第1の照明光と第2の照明光とを切り替える。照明光の切り替えはユーザの操作に応じて行うことができ、これによりユーザは所望の照明光により認識(検出または鑑別)を行うことができる。検出の際の照明光と鑑別の際の照明光とは同じでもよいし、違っていてもよい。
上述した目的を達成するため、本発明の第16の態様に係る医療診断支援方法は、医療画像を時系列順に取得する画像取得ステップと、医療画像に含まれる注目領域を検出する検出ステップと、医療画像の鑑別を行う鑑別ステップと、検出の結果と鑑別の結果とのうちいずれかを表示装置に表示させる表示制御ステップと、検出または鑑別が行われてから表示がされるまでの待機時間を設定する設定ステップと、を有し、表示制御ステップでは、表示の対象が検出の結果と鑑別の結果との間で切り替えられた場合は、検出または鑑別が行われてから待機時間が経過した後に検出または鑑別の結果を表示させる。第16の態様に係る医療診断支援方法は、第1の態様と同様に医療画像の認識結果の視認性が高い。
なお、第16の態様に係る医療診断支援方法に対し、第2から第12の態様と同様の構成をさらに含めてもよい。また、それら態様の医療診断支援方法を医療画像処理装置や内視鏡システムに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
以上説明したように、本発明の医療診断支援装置、内視鏡システム、及び医療診断支援方法は医療画像の認識結果の視認性が高い。
図1は、第1の実施形態に係る内視鏡システムの外観図である。 図2は、内視鏡システムの構成を示すブロック図である。 図3は、内視鏡の先端硬質部の構成を示す図である。 図4は、画像処理部の機能構成を示す図である。 図5は、検出部及び鑑別部に関する構成を示す図である。 図6は、畳み込みニューラルネットワークの構成例を示す図である。 図7は、第1の実施形態に係る医療診断支援方法の手順を示すフローチャートである。 図8は、待機時間の設定画面の例を示す図である。 図9は、待機時間の設定画面の他の例を示す図である。 図10は、動き量に応じた待機時間の設定画面の例を示す図である。 図11は、鑑別結果の表示例を示す図である。 図12は、待機期間が経過するまでの画面の例を示す図である。 図13は、検出結果の表示例を示す図である。 図14は、結果を表示していない状態であることを示す情報の表示例を示す図である。 図15は、第1の実施形態に係る医療診断支援方法の手順を示す他のフローチャートである。 図16は、画像処理部の機能構成の他の例を示す図である。 図17は、検出部及び鑑別部に関する構成の変形例を示す図である。 図18は、変形例における医療診断支援方法の手順を示すフローチャートである。
以下、添付図面を参照しつつ、本発明に係る医療診断支援装置、内視鏡システム、及び医療診断支援方法の実施形態について詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(医用画像処理装置、医療画像処理装置、医療診断支援装置、内視鏡システム)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡スコープ100(内視鏡スコープ、内視鏡本体)、プロセッサ200(プロセッサ、画像処理装置、医療画像処理装置、医療診断支援装置)、光源装置300(光源装置)、及びモニタ400(表示装置)から構成される。
<内視鏡スコープの構成>
内視鏡スコープ100は、手元操作部102(手元操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタン141、吸引ボタン142、及び各種の機能を割り付けられる機能ボタン143、及び撮影開始及び終了の指示操作(静止画像、動画像)を受け付ける撮影ボタン144が設けられている。機能ボタン143に認識内容(後述する検出と鑑別等)の切り替え、表示対象の設定あるいは切り替え、照明光の切り替え等の機能を割り付けてもよい。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。即ち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(撮像部)、照明部123、鉗子口126等が設けられる(図1〜図3参照)。
観察、処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから白色光及び/または特殊光としての狭帯域光(赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち1つ以上)を照射することができる。また、送気送水ボタン141の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系130の撮影レンズ132(撮影レンズ、撮像部)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1〜図3に示すように、先端硬質部116の先端側端面116Aには撮影レンズ132(撮像部)が配設されている。撮影レンズ132の奥にはCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子134(撮像素子、撮像部)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて、これらの要素により画像信号を出力する。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備える。撮像素子134の各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮影光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。なお、第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。なお、撮像素子134の各画素は紫色光源に対応した紫色カラーフィルタ及び/または赤外光源に対応した赤外用フィルタをさらに備えていてもよく、この場合紫及び/または赤外の画素信号を考慮して画像を生成することができる。
被検体(腫瘍部、病変部)の光学像は撮影レンズ132により撮像素子134の受光面(撮像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ200に出力されて映像信号に変換される。これにより、プロセッサ200に接続されたモニタ400に観察画像が表示される。
また、先端硬質部116の先端側端面116Aには、撮影レンズ132に隣接して照明部123の照明用レンズ123A、123Bが設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(観察光)をライトガイド170に入射させる。光源310は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源310R、緑色光源310G、青色光源310B、紫色光源310Vを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源310による照明光の照度は光源制御部350により制御され、必要に応じて照明光の照度を下げること、及び照明を停止することができる。
光源310は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光(通常光;第1の照明光の一例)を照明光(観察光)として照射することもできるし、いずれか1つもしくは2つを発光させることで特殊光としての狭帯域光(第2の照明光の一例)を照射することもできる。光源310は、赤外光(狭帯域光の一例)を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を照明光として照射してもよい。光源装置300は、光源制御部350の制御により、後述する検出と鑑別との切り替えに連動して第1の照明光と第2の照明光とを切り替えることもできるし、検出と鑑別との切り替えとは独立して第1の照明光と第2の照明光とを切り替えることもできる。連動して切り替えを行う場合、ユーザは認識の切り替えと別に照明光の切替操作を行う必要がなく、独立して切り替えを行う場合、ユーザは所望の照明光により認識(検出または鑑別)を行うことができる。このような照明光の切り替えは操作部208や機能ボタン143を介したユーザの操作に応じて行ってもよいし、ユーザの操作によらずに行ってもよい。
<光源の波長帯域>
光源310は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、400±10nm、440±10nm、470±10nm、または600nm以上750nm以下の波長帯域にピーク波長を有していてもよい。
また、光源310が発生する光は790nm以上820nm以下、または905nm以上970nm以下の波長帯域を含み、かつ、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有していてもよい。
また、光源310は、ピークが390nm以上470nm以下である励起光を照射する光源を備えていてもよい。この場合、被検体(生体)内の蛍光物質が発する蛍光の情報を有する医用画像(生体内画像)を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤(フルオレスチン、アクリジンオレンジ等)を使用してもよい。
光源310の光源種類(レーザ光源、キセノン光源、LED光源(LED:Light-Emitting Diode)等)、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組合せ及び/または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
また、本発明を実施する際に用いる撮像素子は撮像素子134のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光(観察光)の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を紫色、青色、緑色、赤色の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色、紫色等)により出射する照明光の波長を切り替えてもよい。また、1または複数の狭帯域光(緑色、青色等)を照射してロータリカラーフィルタ(緑色、青色等)により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光(第1狭帯域光、第2狭帯域光)でもよい。このように面順次(色順次)で撮像する場合、各色間で照明光の強度を変化させて画像を取得及び合成してもよいし、各色間で照明光の強度を一定にして取得した各色光の画像を重み付けして合成してもよい。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することにより、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<プロセッサの構成>
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡スコープ100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(医療診断支援装置、コンピュータ)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(医療画像、撮影画像)及びその認識結果等が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。即ち、CPU210は画像処理部としての機能を有する。通信制御部205は、図示せぬ病院内システム(HIS:Hospital Information System)、病院内LAN(Local Area Network)等との通信制御を行う。記録部207には、被写体の画像(医療画像、撮影画像)、注目領域の検出結果、画像の鑑別結果等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、注目領域の検出及び/または分類の結果に応じたメッセージ(音声)等をスピーカ209Aから出力する。また、音声処理部209(医療診断支援装置、受付部)は、ユーザの音声をマイク209Bにより集音し、どのような操作(認識の切り替え、表示対象の切り替え等)がなされたかを認識することができる。即ち、音声処理部209及びマイク209Bはユーザの操作を受け付ける受付部として機能する。
また、ROM211(ROM:Read Only Memory)は不揮発性の記憶素子(非一時的記録媒体)であり、本発明に係る医療診断支援方法をCPU210及び/または画像処理部204(医療診断支援装置、コンピュータ)に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。RAM212(RAM:Random Access Memory)は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。
<画像処理部の機能>
図4は画像処理部204の機能構成を示す図である。画像処理部204は画像取得部204A(画像取得部)、検出部204B(検出部)、鑑別部204C(鑑別部)、表示制御部204D(表示制御部)、設定部204E(設定部)、推定部204F(推定部)、記憶制御部204G(記憶制御部)、判断部204H(判断部)、受付部204I(受付部)、及び作動制御部204J(作動制御部)を有する。画像処理部204は医療画像解析処理部としても動作する。画像処理部204は、終了条件(ユーザによる終了指示操作等)を満たすまで医療画像の処理(検出、鑑別、表示)を継続させる繰り返し制御部を備えていてもよい。
画像処理部204は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるRGB(R:赤、G:緑、B:青)あるいはCMY(C:シアン、M:マゼンタ、Y:イエロー)の色情報に基づく演算により得ることができる。
また、画像処理部204は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像(医用画像)としての特徴量画像を取得及び表示してもよい。表示制御部204Dが特徴量画像生成部の機能を有していてもよい。また、画像処理部204は特定の波長帯域の色を信号処理で強調する信号処理部(例えば、赤みを帯びた色はより赤く、白っぽい色はより白くなるように色空間における色の拡張及び/または縮小を行い、粘膜の微妙な色の違いを強調する)を備えていてもよい。
<検出部及び鑑別部に関する構成>
図5は画像処理部204のうち主として検出部204B及び鑑別部204Cに関する構成を示す図である。検出部204Bは検出用CNN214(第1の階層型ネットワーク)を有し、鑑別部204Cは鑑別用CNN215(第2の階層型ネットワーク)を有する。検出用CNN214及び鑑別用CNN215は畳み込みニューラルネットワークであり、階層状のネットワーク構造を有する。検出用CNN214は学習により構成された認識器であって、医療画像から注目領域を検出する。また、鑑別用CNN215は学習により構成された認識器であり、医療画像の鑑別を行う。作動制御部204J(作動制御部)は、検出部204B(検出用CNN214)と鑑別部204C(鑑別用CNN215)のいずれかを作動させる。作動制御部204Jは、いずれを動作させるかを操作部208等を介したユーザ操作に応じて決定してもよいし、ユーザ操作によらずに決定してもよい。なお、図5は作動制御部204Jが検出部204Bを作動させ、画像取得部204Aが取得した内視鏡画像(医療画像)が検出用CNN214に入力される状態を示しているが、作動制御部204Jは鑑別部204Cを作動させ内視鏡画像を鑑別用CNN215に入力することもできる。この場合の処理の流れを図5中に点線で図示する。検出部204B、鑑別部204Cで処理された画像、検出結果及び鑑別結果は表示制御部204Dの制御によりモニタ400(表示装置)に表示される。
<検出用CNN及び鑑別用CNNの層構成>
上述したCNN(検出用CNN214、鑑別用CNN215)の層構成について説明する。なお、検出用CNN214と鑑別用CNN215とで共通の構成については検出用CNN214について説明するが、鑑別用CNN215についても同様の構成を採用することができる。図6の(a)部分に示す例では、検出用CNN214は入力層214Aと、中間層214Bと、出力層214Cとを含む。入力層214Aは内視鏡画像(例えば、通常光画像)を入力して特徴量を出力する。中間層214Bは畳み込み層216及びプーリング層217を含み、入力層214Aが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。検出用CNN214の層構成は畳み込み層216とプーリング層217とが1つずつ繰り返される場合に限らず、いずれかの層(例えば、畳み込み層216)が複数連続して含まれていてもよい。
<中間層における処理>
中間層214Bは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層216で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、1つのフィルタに対して1チャンネル(1枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層217で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小(または拡大)して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層214Bは、これらの処理を行う1または複数の層により構成することができる。
中間層214Bの層のうち、入力側に近い畳み込み層では低次の特徴抽出(エッジの抽出等)が行われ、出力側に近づくにつれて高次の特徴抽出(対象物の形状、構造等に関する特徴の抽出)が行われる。なお、セグメンテーションを行う場合は後半部分の畳み込み層でアップスケーリングされ、最後の畳み込み層では、入力した画像セットと同じサイズの「特徴マップ」が得られる。一方、物体検出を行う場合は位置情報を出力すればよいのでアップスケーリングは必須ではない。
なお、中間層214Bは畳み込み層216及びプーリング層217の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
<出力層における処理>
検出用CNN214では、出力層214Cは、中間層214Bから出力された特徴量に基づき、入力された医療画像に含まれる注目領域の位置検出を行ってその結果を出力する層である。検出用CNN214はセグメンテーションを行うので、出力層214Cは、中間層214Bから得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。即ち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。なお、物体検出を行う場合は画素レベルでの判断は必要なく、出力層214Cが対象物の位置情報を出力する。
鑑別用CNN215では、出力層214Cは医療画像の鑑別を実行して結果を出力する。例えば、出力層214Cは内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の3つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する3つのスコア(3つのスコアの合計は100%)として出力してもよいし、3つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお、鑑別用CNN215のように鑑別結果を出力する場合、中間層215Bが最後の1層または複数の層として全結合層218を有することが好ましい(図6の(b)部分を参照)。その他の層については、上述した検出用CNN214と同様の構成を用いることができる。
上述した構成の検出用CNN214は、画像とその画像における注目領域の位置に関する情報を用いた学習(例えば、深層学習等の機械学習)により構成することができる。同様に、鑑別用CNN215は画像とその画像のカテゴリに関する情報を用いた学習により構成することができる。
<プロセッサ等による画像処理部の機能の実現>
上述した画像処理部204の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、画像処理装置本体、サーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードをROM(Read Only Memory)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、医療画像の取得、検出及び鑑別、結果の表示制御を実行するためのプログラムを含む。ROMではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばRAM(Random Access Memory)が一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。
画像処理部204のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はCPU210の制御下で行われる。
<操作部の構成>
プロセッサ200は操作部208(受付部)を備えている。操作部208は図示せぬ照明光設定スイッチ、フットスイッチ等を備えており、使用する照明光(通常光(白色光)か狭帯域光等の特殊光か、狭帯域光の場合いずれの波長の狭帯域光を用いるか)を設定することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、待機時間の設定操作、認識(検出または鑑別)の設定及び切替操作、照明光の設定及び切替操作、動画像または静止画像の撮影指示(取得指示)等を行うことができる(動画像、静止画像の撮影指示は撮影ボタン144により行ってもよい)。これらの設定操作は上述したフットスイッチ等を介して行っても良いし、音声(マイク209B及び音声処理部209により処理できる)、視線、ジェスチャ等により行ってもよい。即ち、操作部208はユーザの操作を受け付ける受付部として機能する。
<記録部の構成>
記録部207(記録装置)は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、内視鏡画像(医療画像、医用画像)、注目領域の検出結果、医療画像の鑑別結果等を互いに関連付けて記録することができる。これらの画像及び情報は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
<表示装置の構成>
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により内視鏡画像、注目領域の検出結果、医療画像の鑑別結果等を表示する。また、モニタ400は撮影条件設定操作及び/または表示条件設定操作を行うための図示せぬタッチパネルを有する。
<医療診断支援方法>
上述した構成の内視鏡システム10を用いた医療診断支援方法について説明する。図7は第1の実施形態に係る医療診断支援方法の手順を示すフローチャートである。なお、図7は表示の対象が初期状態では鑑別結果で、その後検出結果に切り替えられた場合の処理を示している。
<待機時間の設定>
設定部204E(設定部)は、認識結果表示の待機時間を設定する(ステップS100:待機時間設定ステップ)。設定部204Eは、操作部208(受付部)が受け付けたユーザの操作に基づいて待機時間を設定することができる。例えば、図8に示すように、ユーザは表示の対象が鑑別の結果から検出の結果に切り替えられた場合の待機時間(第1の待機時間)をモニタ400に表示された待機時間設定画面の領域501に入力し、表示の対象が検出の結果から鑑別の結果に切り替えられた場合の待機時間(第2の待機時間)を領域502に入力することができる。なお、設定部204Eは第1の待機時間と第2の待機時間とを異なる値に設定してもよい(以下に示す例でも同様である)。
設定部204Eは、あらかじめ決められた複数の待機時間からユーザの操作により選択された待機時間を待機時間として設定してもよい。例えば、図9に示すように、ユーザはモニタ400に表示された待機時間設定画面のチェックボックス511をチェックすることにより第1の待機時間を選択し、チェックボックス512をチェックすることにより第2の待機時間を選択することができる。
設定部204Eは、医療画像を構成するフレーム間の動き量に基づいて第1の待機時間及び第2の待機時間を設定することもできる。この場合、推定部204F(推定部)がフレーム間の差分等に基づいて動き量を推定し、設定部204Eは推定した動き量に応じて待機時間を設定することができる。具体的には、例えば動き量がしきい値よりも大きい場合はしきい値に対応する待機時間よりも短い待機時間を待機時間として設定し、動き量がしきい値以下の場合はしきい値に対応する待機時間よりも長い待機時間を待機時間として設定する。このように設定するのは、動き量が大きい(動きが速い)場合は異なる被写体(注目領域等)が映っている可能性が高いため待機時間を短くし、動き量が小さい(動きが遅い)場合は同一の被写体が映っている可能性が高い(この場合、すぐに結果を表示するとユーザが煩わしさを感じ診断の妨げになるおそれがある)ため待機時間を長くするものである。しきい値、及びしきい値に対応する待機時間は複数設定してもよい。
図10は動き量に応じた待機時間をユーザの操作に基づいて設定する様子を示す図である。ユーザは、モニタ400に表示された待機時間設定画面の領域520に、「Fast」(動きが速い、即ち動き量が大きい)の場合、「Middle」(動きが中間、即ち動き量が中間)の場合、「Slow」(動きが遅い、即ち動き量が小さい)の場合の待機時間を入力することができる。待機時間の設定に関し、動き量は2段階(例えば「速い」と「遅い」)に分けてもよいし、3段階以上に細かく分けてもよい。このような設定は、第1,第2の待機時間について同様に行うことができる。なお、設定部204Eは、特定の動き量、例えば「Middle」の場合の動き量を上述したしきい値として待機時間を設定してもよい。この場合、設定部204Eは、推定した動き量がしきい値より大きい場合は「Fast」として「Middle」の待機時間よりも短い待機時間を設定し、推定した動き量がしきい値より小さい場合は「Slow」として「Middle」の待機時間よりも長い待機時間を設定することができる。
なお、注目領域の検出を通常光(白色光)で行い鑑別は特殊光(狭帯域光等)で行う等、認識の内容と照明光とが対応している場合があるため、使用する照明光に応じて待機時間を設定してもよい。また、照明光が通常光からLCI(Linked Color Imaging:登録商標)などの検出に用いる特殊光に変更された場合は、切り替え前後で同一の病変や注目領域を観察している可能性が高いため、待機時間をゼロに設定して報知情報(認識結果)を連続して表示することが好ましい。照明光に応じた待機時間の設定も、動き量の場合と同様にユーザの操作に応じて行ってもよいし、ユーザの操作によらずに行ってもよい。
このような待機時間の設定により、ユーザ(医師等)は所望の待機時間を容易に設定することができる。なお、待機時間の設定は処理の開始時だけでなく処理開始後に随時行うことができる。また、ステップS100では照明光、撮影条件等待機時間以外の条件を設定してもよい。
<医療画像の取得>
ステップS102では、操作部208等を介した設定(照明光の設定及び切り替え)に基づいて光源装置300が照明光を照射し、撮影光学系130により被検体の画像(内視鏡画像、医療画像)を撮影して、撮影した画像を画像取得部204Aが取得する(画像取得ステップ)。画像取得部204Aは、決められたフレームレートにより時系列順に複数の医療画像を取得することができる。なお、医療画像の鑑別を行う場合、例えば青色狭帯域光等の特殊光(第2の聡明光の一例)を照明光とすることができるが、他の照明光を用いてもよい。
<医療画像の認識(鑑別)>
作動制御部204Jは取得した医療画像を鑑別部204C(鑑別用CNN215)に入力し、鑑別部204Cは鑑別用CNN215により医療画像を鑑別(分類)する(ステップS104:鑑別ステップ)。鑑別は医療画像の全体もしくは一部について行うことができ、その結果に基づいてユーザ(医師等)が対象とする領域の良悪性等を判断する。注目領域が検出されている場合、その注目領域について鑑別を行ってもよい。鑑別部204Cは、どのような範囲を対象として鑑別を行うかを操作部208を介したユーザの操作に基づいて決定してもよいし、ユーザの操作によらずに決定してもよい。鑑別の例としては、病変の病種(過形成ポリープ、腺腫、粘膜内癌、浸潤癌など)、病変の範囲、病変のサイズ、病変の肉眼形、癌のステージ診断、管腔内の現在位置(上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、S状結腸、直腸等)等を挙げることができる。
表示制御部204Dは、このような鑑別の結果に応じてモニタ400(表示装置)に結果を表示させる(ステップS106:表示制御ステップ)。ステップS106の時点では表示の対象が初期状態(鑑別)のまま切り替えられていないので、すぐに(待機時間ゼロで)結果を表示してよい。図11は結果表示の例を示す図であり、医療画像806の鑑別結果を領域842に表示している(同図は、注目領域801が含まれる状態である)。図11の(a)部分、(b)部分、(c)部分は、鑑別結果がAdenoma(腺腫)、Neoplasm(腫瘍)、HP(Hyperplastic Polyp;過形成ポリープ)であった場合の例をそれぞれ示している。なお、表示制御部204Dは、鑑別結果の信頼度を示す情報(鑑別用CNN215により算出できる)を数値や図形(例えばバー表示)、記号、色彩等により表示してもよい。また、鑑別部204Cは、鑑別結果を示す情報を音声処理部209及びスピーカ209Aを介して音声で報知してもよい(検出部204Bも同様である)。
<医療画像の認識(検出)>
作動制御部204Jは、作動の対象が鑑別から検出に切り替えられるまで(ステップS108でNOの間)鑑別部204Cを作動させ、表示制御部204Dはその結果を表示させる。作動の対象が鑑別から検出に切り替えられたら(ステップS108でYES)、作動制御部204Jは検出部204Bを作動させて検出用CNN214に医療画像を入力する(ステップS110:画像取得ステップ)。光源装置300は、作動対象の切り替えに連動して照明光を切り替えてもよいし(例えば、鑑別での青色狭帯域光から検出での白色光に切り替える)、ユーザによる切り替え操作があるまで照明光を維持(作動対象の切り替えとは独立して照明光を切り替える)してもよい。
<注目領域の検出>
検出部204Bは、検出用CNN214(第1の階層型ネットワーク)が上述したセグメンテーションを行うことにより医療画像に含まれる注目領域を検出する(ステップS112:検出ステップ)。ステップS112で検出する注目領域(関心領域)の例としては、ポリープ、癌、大腸憩室、炎症、治療痕(EMR瘢痕(EMR:Endoscopic Mucosal Resection)、ESD瘢痕(ESD:Endoscopic Submucosal Dissection)、クリップ箇所等)、出血点、穿孔、血管異型性などを挙げることができる。なお、検出部204BはCNN以外の手法により注目領域を検出してもよい。例えば、取得した医療画像の画素の特徴量に基づいて注目領域を検出することができる。この場合、検出部204Bは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定し、検出対象画像の局所領域ごとに局所領域内の画素の特徴量(例えば色相)を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。同様に、鑑別部204Cも特徴量に基づいて鑑別を行ってもよい。
<検出結果の表示>
表示制御部204Dは、作動の対象が検出部と鑑別部との間で切り替えられた場合は、表示の対象が検出の結果と鑑別の結果との間で切り替えられたと判断して作動により得られた検出の結果を表示させるが、以下で説明するように結果の表示は検出が行われてから待機時間(第1の待機時間)が経過した後であり、また既に検出された注目領域である場合は結果を表示しない。認識結果を表示するまでの時間は、図12に示すように、表示制御部204Dは取得した医療画像806を認識結果なしでモニタ400に表示させる。表示制御部204Dは、待機時間が経過するまでの間、医療画像に加えて検出の結果を表示させていないことを示す情報をモニタ400(表示装置)に表示させてもよい(図14の例では、領域830に「結果表示を待機中」というメッセージを表示させている)。ユーザは、結果が表示されていないと装置が正しく動作しているかどうか不安になる可能性があるが、このように情報を表示させることでそのような不安を解消することができる。なお、情報を表示するかどうかを、操作部208を介したユーザの操作に応じて決めてもよい。
検出が行われたら、記憶制御部204Gは、医療画像から検出された注目領域の情報(例えば、形状、大きさ等の特徴量)を記録部207(記憶装置)に記憶させる(ステップS114:記憶制御ステップ)。後述するように、この情報に基づいて注目領域の同一性が判断される。表示制御部204Dは、注目領域が検出されたら経過時間のカウントを開始するが(ステップS116:表示制御ステップ)、第1の待機時間が経過するまで(ステップS118でNOの間)は検出の結果を表示せず、ステップS110〜S114の処理が繰り返される。第1の待機時間が経過したら(ステップS118でYES)、判断部204Hは検出部が検出した注目領域が既に検出された注目領域であるか否かを、ステップS114で記憶された情報に基づいて判断し(ステップS120:判断ステップ)、その結果「検出部が検出した注目領域は既に検出された注目領域と同一である」と判断された場合(ステップS120でYES)は、表示制御部204Dは検出結果を表示させずにステップS110に戻る。これにより、既に検出された注目領域について繰り返し結果が表示されてユーザが煩わしさを感じるのを防止することができる。なお、待機時間を注目領域の観察時間に対して十分長く設定することで事実上結果を表示しない場合も「結果を表示しない」に含めることができる。
ステップS120の判断が否定された場合(検出部が検出した注目領域が新たな注目領域である場合)は、表示制御部204Dは第1の待機時間が経過した後にモニタ400(表示装置)に検出結果を表示させる(ステップS120:表示制御ステップ)。図13は検出結果の表示例を示す図であり、医療画像806に含まれる注目領域801に対し、同図の(a)部分、(b)部分、(c)部分にそれぞれ示すように、注目領域801を囲む枠806A、マーカ806B、マーカ806C(注目領域の検出位置を示す情報の例)を表示している。なお、表示制御部204Dは、注目領域の検出結果を示す情報を音声処理部209及びスピーカ209Aを介して音声で報知してもよい。検出結果を表示または報知した後は、ステップS110に戻って検出を継続してもよいし、ステップS102に戻って鑑別を行ってもよい。
このように、表示の対象が鑑別の結果から検出の結果に切り替えられた場合は、検出が行われてから待機時間(第1の待機時間)が経過した後に検出の結果を表示させるので、切り替え直後に同じ被写体(注目領域等)についての認識結果が表示されてユーザが煩わしさを感じて観察や診断の妨げになることがなく、医療画像の認識結果の視認性が高い。
<表示の対象が検出の結果から鑑別の結果に切り替えられた場合>
図15のフローチャートを参照しつつ、表示の対象が検出の結果から鑑別の結果に切り替えられた場合の表示について説明する。この場合、上述したステップS100と同様に待機時間等の条件を設定し(ステップS200:設定ステップ)、ステップS110〜S114、S122と同様にステップS202〜S206(画像取得ステップ、検出ステップ、記憶制御ステップ、表示制御ステップ)で画像取得、注目領域の検出、記憶制御、検出結果の表示を行う。図7のフローチャートの場合と同様に、光源装置300は作動対象の切り替えに連動して照明光を切り替えてもよいし(例えば、検出での白色光から鑑別での青色狭帯域光に切り替える)、ユーザによる切り替え操作があるまで照明光を維持してもよい。表示の対象が検出の結果から鑑別の結果に切り替えられるまで(ステップS208でNOの間)これらの処理を繰り返し、切り替えがされたらステップS210に進む。ステップS210,S212(画像取得ステップ、鑑別ステップ)ではステップS102,S104と同様に医療画像の取得及び鑑別を行い、鑑別が行われたら経過時間のカウントを開始する(ステップS214:表示制御ステップ)。第2の待機時間が経過するまで(ステップS216でNOの間)ステップS210〜S214の処理を繰り返し、第2の待機時間が経過したら、表示制御部204Dは図11のように鑑別結果をモニタ400に表示させる(ステップS218:表示制御ステップ)。上述したように、第2の待機時間は第1の待機時間と同じでもよいし、異なっていてもよい(ゼロでもよい)。作動及び表示の対象が検出に切り替えられるまで(ステップS220でNOの間)ステップS210〜S214の処理を繰り返し、切り替え後は図7のステップS110以降と同様に処理を進める。
このように、表示の対象が検出の結果から鑑別の結果に切り替えられた場合は、鑑別が行われてから待機時間(第2の待機時間)が経過した後に鑑別の結果を表示させるので、切り替え直後に同じ被写体(注目領域等)についての認識結果が表示されてユーザが煩わしさを感じて観察や診断の妨げになることがなく、医療画像の認識結果の視認性が高い。なお、第2の待機時間が経過するまで図14のような表示を行ってもよい。
なお、見つけた病変に対して初めて鑑別を実施する場合などは、同一病変に対して検出から鑑別へと表示を切り替える場合でも、待機時間なしにすぐに鑑別結果を表示するほうがよい場合もある。この場合、ステップS200で待機時間(第2の待機時間)をゼロに設定することで、すぐに鑑別結果を表示することができる。同一病変であるか否かは、ステップS114及びステップS120について上述したように、記憶制御部204Gが注目領域の情報を記録部207に記憶させ、この情報に基づいて判断部204Hが判断することができる。
<検出及び鑑別に関する構成の変形例>
本発明に係る医療診断支援装置及び医療診断支援方法では、検出部による検出と鑑別部による鑑別とを並行して行い、表示の対象の切り替えにより検出の結果または鑑別の結果を表示してもよい。図16は、このような検出及び鑑別に関する構成の変形例における画像処理部204の機能ブロック図であり、図4に示す構成から作動制御部204Jが除かれている。また、図17は検出部204B及び鑑別部204Cに関する構成を示す図であり、画像取得部204Aが取得した医療画像が検出部204B及び鑑別部204Cの双方に入力される状態を示している。内視鏡システム10のその他の構成は図1〜3等について上述したものと同様である。なお、「並行して行う」には、時系列順に取得した医療画像を構成するフレームに対し検出と鑑別の両方を行うことが含まれる。
図18は変形例に係る医療診断支援方法のフローチャートであり、表示の対象が鑑別(初期状態)から検出に切り替えられた場合(図7に対応)の処理を示している。図18のフローチャートにおいて、ステップS300,S302(設定ステップ、画像取得ステップ)の処理はステップS100,S102とそれぞれ同様である。ステップS304では検出部204B及び鑑別部204Cにより検出及び鑑別を行い(検出ステップ、鑑別ステップ)、検出された注目領域の情報を記録部207(記憶装置)に記憶させる(ステップS305:記憶制御ステップ)。ステップS306(表示制御ステップ)における鑑別結果の表示はステップS106と同様に行うことができる(図11を参照)。これらの処理は、表示の対象が鑑別の結果から検出の結果に切り替えられるまで(ステップS308でNOの間)継続して行われる。
表示の対象が鑑別の結果から検出の結果に切り替えられると、ステップS310〜S314(画像取得ステップ、鑑別ステップ、検出ステップ、記憶制御ステップ)でステップS302〜S305と同様の処理が行われ、表示制御部204Dは経過時間のカウントを開始する(ステップS316:表示制御ステップ)。経過時間が第1の待機時間に達し(ステップS318でYES)、検出された注目領域が既に検出された注目領域と同一でない場合(ステップS320でNO)は、表示制御部204Dは図13と同様に検出結果をモニタ400に表示させる(ステップS322:表示制御ステップ)。第1の待機時間が経過するまでの間、図14に示すような情報の表示をしてもよい。また、検出結果を表示した後は検出を継続してもよいし、鑑別に復帰してもよい。なお、表示の対象が検出から鑑別に、そして再度検出に切り替えられた場合(図15と同様のケース)は、再度の切り替えによる検出が行われてから第2の待機時間が経過した後に検出結果を表示する。
このような検出及び鑑別に関する構成の変形例においても、表示の対象の切り替え直後に同じ被写体(注目領域等)についての認識結果が表示されてユーザが煩わしさを感じて観察や診断の妨げになることがなく、医療画像の認識結果の視認性が高い。
<認識及び表示の事後処理>
上述した実施形態では、医用画像の撮影と認識及び表示とを並行して(リアルタイムで)行う態様について説明したが、内視鏡システム10では、あらかじめ撮影及び記録された画像を事後的に処理(認識、表示等)することもできる。例えば、内視鏡システム10は、記録部207に記録されている内視鏡画像(時系列順に取得した医療画像)の各フレームについて認識及び表示を行うことができ、このような事後処理においても医療画像の認識結果の視認性を高めることができる。認識及び表示の事後処理は、撮像部分(内視鏡、光源装置、撮像部等)を備えていないプロセッサ等の装置(内視鏡システム10とは独立した装置)やコンピュータで行ってもよい。
(付記)
上述した第1の実施形態及び変形例に加えて、以下に記載の構成も本発明の範囲に含まれる。
(付記1)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記2)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記3)
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
(付記4)
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
(付記5)
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
(付記6)
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
(付記7)
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記8)
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
(付記9)
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記10)
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
(付記11)
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記12)
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
(付記13)
蛍光は、ピークが390以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
(付記14)
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
(付記15)
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記16)
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
(付記17)
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
(付記18)
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
(付記19)
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
(付記20)
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
(付記21)
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 内視鏡システム
100 内視鏡スコープ
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮影光学系
132 撮影レンズ
134 撮像素子
136 駆動回路
138 AFE
141 送気送水ボタン
142 吸引ボタン
143 機能ボタン
144 撮影ボタン
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
204A 画像取得部
204B 検出部
204C 鑑別部
204D 表示制御部
204E 設定部
204F 推定部
204G 記憶制御部
204H 判断部
204I 受付部
204J 作動制御部
205 通信制御部
206 ビデオ出力部
207 記録部
208 操作部
209 音声処理部
209A スピーカ
209B マイク
210 CPU
211 ROM
212 RAM
214 検出用CNN
215 鑑別用CNN
214A 入力層
214B 中間層
214C 出力層
215B 中間層
216 畳み込み層
217 プーリング層
218 全結合層
300 光源装置
310 光源
310B 青色光源
310G 緑色光源
310R 赤色光源
310V 紫色光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
501 領域
502 領域
511 チェックボックス
512 チェックボックス
520 領域
801 注目領域
806 医療画像
806A 枠
806B マーカ
806C マーカ
830 領域
842 領域
S100〜S322 医療診断支援方法の各ステップ

Claims (16)

  1. 医療画像を時系列順に取得する画像取得部と、
    前記医療画像に含まれる注目領域を検出する検出部と、
    前記医療画像の鑑別を行う鑑別部と、
    前記検出の結果と前記鑑別の結果とのうちいずれかを表示装置に表示させる表示制御部と、
    前記検出または前記鑑別が行われてから前記表示がされるまでの待機時間を設定する設定部と、を備え、
    前記表示制御部は、前記表示の対象が前記検出の結果と前記鑑別の結果との間で切り替えられた場合は、前記検出または前記鑑別が行われてから前記待機時間が経過した後に前記検出または前記鑑別の結果を表示させる医療診断支援装置。
  2. 前記医療画像を構成するフレーム間の動き量を推定する推定部を備え、
    前記設定部は前記推定した動き量に応じて前記待機時間を設定する請求項1に記載の医療診断支援装置。
  3. 前記設定部は、前記動き量がしきい値よりも大きい場合は前記しきい値に対応する待機時間よりも短い待機時間を前記待機時間として設定し、前記動き量が前記しきい値以下の場合は前記しきい値に対応する前記待機時間よりも長い待機時間を前記待機時間として設定する請求項2に記載の医療診断支援装置。
  4. 前記医療画像から検出された注目領域の情報を記憶装置に記憶させる記憶制御部と、
    前記検出部が検出した注目領域が既に検出された注目領域であるか否かを、前記記憶された情報に基づいて判断する判断部と、
    をさらに備え、
    前記表示制御部は、前記検出部が検出した注目領域が既に検出された注目領域であると判断された場合は、前記待機時間が経過しても前記表示を行わない請求項1から3のいずれか1項に記載の医療診断支援装置。
  5. ユーザの操作を受け付ける受付部をさらに備え、
    前記設定部は前記受け付けた前記操作に基づいて前記待機時間を設定する請求項1から4のいずれか1項に記載の医療診断支援装置。
  6. 前記設定部は、あらかじめ決められた複数の待機時間から前記ユーザの前記操作により選択された待機時間を前記待機時間として設定する請求項5に記載の医療診断支援装置。
  7. 前記表示制御部は、前記待機時間が経過するまでの間、前記検出の結果または前記鑑別の結果を表示させていないことを示す情報を前記表示装置に表示させる請求項1から6のいずれか1項に記載の医療診断支援装置。
  8. 前記設定部は、前記表示の対象が前記鑑別の結果から前記検出の結果に切り替えられた場合の待機時間である第1の待機時間を前記待機時間として設定し、
    前記表示制御部は、前記表示の対象が前記鑑別の結果から前記検出の結果に切り替えられた場合は前記検出が行われてから前記第1の待機時間が経過した後に前記検出の結果を表示させる請求項1から7のいずれか1項に記載の医療診断支援装置。
  9. 前記設定部は、前記表示の対象が前記検出の結果から前記鑑別の結果に切り替えられた場合の待機時間である第2の待機時間を前記待機時間として設定し、
    前記表示制御部は、前記表示の対象が前記検出の結果から前記鑑別の結果に切り替えられた場合は前記鑑別が行われてから前記第2の待機時間が経過した後に前記鑑別の結果を表示させる請求項1から8のいずれか1項に記載の医療診断支援装置。
  10. 前記検出部と前記鑑別部のいずれかを作動させる作動制御部を備え、
    前記表示制御部は、前記作動の対象が前記検出部と前記鑑別部との間で切り替えられた場合は、前記表示の対象が前記検出の結果と前記鑑別の結果との間で切り替えられたと判断して前記作動により得られた前記検出の結果または前記鑑別の結果を表示させる請求項1から9のいずれか1項に記載の医療診断支援装置。
  11. 前記検出部による前記検出と前記鑑別部による前記鑑別とを並行して行う請求項1から9のいずれか1項に記載の医療診断支援装置。
  12. 前記検出部は第1の階層型ネットワークを用いて前記検出を行い、前記鑑別部は第2の階層型ネットワークを用いて前記鑑別を行う請求項1から11のいずれか1項に記載の医療診断支援装置。
  13. 請求項1から12のいずれか1項に記載の医療診断支援装置と、
    前記表示装置と、
    被検体に挿入される内視鏡スコープと、
    第1の照明光と、前記第1の照明光とは異なる第2の照明光とのうち一方を前記被検体に照射する光源装置と、
    を備える内視鏡システム。
  14. 前記光源装置は、前記検出と前記鑑別との切り替えに連動して前記第1の照明光と前記第2の照明光とを切り替える請求項13に記載の内視鏡システム。
  15. 前記光源装置は、前記検出と前記鑑別との切り替えとは独立して前記第1の照明光と前記第2の照明光とを切り替える請求項13に記載の内視鏡システム。
  16. 医療画像を時系列順に取得する画像取得ステップと、
    前記医療画像に含まれる注目領域を検出する検出ステップと、
    前記医療画像の鑑別を行う鑑別ステップと、
    前記検出の結果と前記鑑別の結果とのうちいずれかを表示装置に表示させる表示制御ステップと、
    前記検出または前記鑑別が行われてから前記表示がされるまでの待機時間を設定する設定ステップと、を有し、
    前記表示制御ステップでは、前記表示の対象が前記検出の結果と前記鑑別の結果との間で切り替えられた場合は、前記検出または前記鑑別が行われてから前記待機時間が経過した後に前記検出または前記鑑別の結果を表示させる医療診断支援方法。
JP2018207122A 2018-11-02 2018-11-02 医療診断支援装置、内視鏡システム、及び作動方法 Active JP7038641B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018207122A JP7038641B2 (ja) 2018-11-02 2018-11-02 医療診断支援装置、内視鏡システム、及び作動方法
US16/591,585 US11464394B2 (en) 2018-11-02 2019-10-02 Medical diagnosis support device, endoscope system, and medical diagnosis support method
US17/944,201 US11925311B2 (en) 2018-11-02 2022-09-14 Medical diagnosis support device, endoscope system, and medical diagnosis support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018207122A JP7038641B2 (ja) 2018-11-02 2018-11-02 医療診断支援装置、内視鏡システム、及び作動方法

Publications (2)

Publication Number Publication Date
JP2020069300A true JP2020069300A (ja) 2020-05-07
JP7038641B2 JP7038641B2 (ja) 2022-03-18

Family

ID=70459937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018207122A Active JP7038641B2 (ja) 2018-11-02 2018-11-02 医療診断支援装置、内視鏡システム、及び作動方法

Country Status (2)

Country Link
US (2) US11464394B2 (ja)
JP (1) JP7038641B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
WO2022186111A1 (ja) * 2021-03-04 2022-09-09 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
WO2022186109A1 (ja) 2021-03-01 2022-09-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2022202401A1 (ja) 2021-03-22 2022-09-29 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210307597A1 (en) * 2018-07-23 2021-10-07 The Regents Of The University Of California Oral and oropharyngeal cancer screening system and methods of use
JP6994582B2 (ja) * 2018-09-13 2022-01-14 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
DE102020116473A1 (de) 2020-06-23 2021-12-23 Olympus Winter & Ibe Gmbh Verfahren zur endoskopischen Bildgebung, endoskopisches Bildgebungssystem und Softwareprogrammprodukt
KR102641492B1 (ko) * 2022-01-05 2024-02-27 주식회사 아이넥스코퍼레이션 내시경 영상을 이용한 용종 검출 방법, 장치 및 프로그램
KR102641489B1 (ko) * 2022-01-05 2024-02-27 주식회사 아이넥스코퍼레이션 내시경 영상을 이용한 용종 검출 방법, 장치 및 프로그램

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017153763A (ja) * 2016-03-03 2017-09-07 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
WO2018105062A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4575124B2 (ja) * 2004-11-29 2010-11-04 オリンパス株式会社 画像表示装置
JP4912787B2 (ja) * 2006-08-08 2012-04-11 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理装置の作動方法
US8090177B2 (en) * 2008-08-01 2012-01-03 Sti Medical Systems, Llc Methods for detection and characterization of atypical vessels in cervical imagery
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
JP5675187B2 (ja) * 2010-06-30 2015-02-25 オリンパス株式会社 蛍光観察装置
US20120035507A1 (en) * 2010-07-22 2012-02-09 Ivan George Device and method for measuring anatomic geometries
JP5611892B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6188721B2 (ja) * 2012-12-13 2017-08-30 オリンパス株式会社 蛍光観察装置
JP6479678B2 (ja) * 2012-12-21 2019-03-06 ボルケーノ コーポレイション マルチセンサ医療デバイスのための表示制御
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
JP6294255B2 (ja) * 2015-03-25 2018-03-14 富士フイルム株式会社 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
TWI569764B (zh) * 2015-05-20 2017-02-11 國立交通大學 用於微創手術的多器械影像辨識方法及系統
WO2017073338A1 (ja) * 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
WO2018078724A1 (ja) * 2016-10-25 2018-05-03 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018079116A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム
WO2018083879A1 (ja) * 2016-11-01 2018-05-11 オリンパス株式会社 生体観察システム
EP3590406A4 (en) * 2017-02-28 2020-04-01 Sony Corporation MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
JPWO2019054265A1 (ja) * 2017-09-15 2020-10-01 富士フイルム株式会社 医療画像処理装置
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019167623A1 (ja) * 2018-03-02 2019-09-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019187049A1 (ja) * 2018-03-30 2019-10-03 オリンパス株式会社 診断支援装置、診断支援方法及び診断支援プログラム
CN112040830A (zh) * 2018-06-19 2020-12-04 奥林巴斯株式会社 内窥镜图像处理装置和内窥镜图像处理方法
WO2019244247A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2021191314A (ja) * 2018-06-19 2021-12-16 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
EP3831272B1 (en) * 2018-07-27 2024-03-27 FUJIFILM Corporation Medical image processing device
WO2020039685A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理装置
JP7116176B2 (ja) * 2018-08-20 2022-08-09 富士フイルム株式会社 医療画像処理システム
US11069078B2 (en) * 2018-08-23 2021-07-20 Shenzhen Keya Medical Technology Corporation Method, device and system for generating a centerline for an object in an image
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
CN113395929A (zh) * 2019-02-08 2021-09-14 富士胶片株式会社 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP2017153763A (ja) * 2016-03-03 2017-09-07 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
WO2018105062A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
WO2022186109A1 (ja) 2021-03-01 2022-09-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2022186111A1 (ja) * 2021-03-04 2022-09-09 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
WO2022202401A1 (ja) 2021-03-22 2022-09-29 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Also Published As

Publication number Publication date
JP7038641B2 (ja) 2022-03-18
US11925311B2 (en) 2024-03-12
US11464394B2 (en) 2022-10-11
US20230016855A1 (en) 2023-01-19
US20200138265A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
JP7038641B2 (ja) 医療診断支援装置、内視鏡システム、及び作動方法
JP7430287B2 (ja) 医用画像処理装置及び内視鏡システム
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US11911007B2 (en) Image processing device, endoscope system, and image processing method
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
US20220151461A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US20230410303A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220308

R150 Certificate of patent or registration of utility model

Ref document number: 7038641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150