WO2021205778A1

WO2021205778A1 - 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法

Info

Publication number: WO2021205778A1
Application number: PCT/JP2021/007918
Authority: WO
Inventors: 駿平加門
Original assignee: 富士フイルム株式会社
Priority date: 2020-04-08
Filing date: 2021-03-02
Publication date: 2021-10-14
Also published as: EP4133991A1; US20230037178A1; EP4133991A4; JP7348386B2; JPWO2021205778A1; CN115397304A; US11954897B2

Abstract

認識処理による遅延がなく、また、安定した映像表示を行うことができる医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法を提供する。内視鏡プロセッサ装置（１２）は第１映像信号を生成する。認識処理用プロセッサ装置１４は、第１映像信号に基づく認識処理の結果を反映させて第２映像信号を生成する。ディスプレイ（１６）は、第２映像信号、又は、認識処理用プロセッサ装置（１４）からの第１映像切替信号に基づいて第２映像信号から切り替えられる第１映像信号のいずれか一方を表示する。第２映像信号による認識処理の結果表示が停止された場合に、認識処理の結果表示が停止中であることを表示する。

Description

医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法

　本発明は、ＡＩ（Artificial Intelligence）などの認識処理を用いる医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法に関する。

　現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、内視鏡画像などの医療画像から、ＡＩ（Artificial Intelligence）などの認識処理により注目領域を検出する機能（例えば、特許文献１）や、病変の種別を分類する診断支援機能が用いられつつある。このような診断支援機能は、病変の見落とし防止やユーザーの負担軽減に繋がるとして期待されている。

国際公開第２０１７／０７３３３８号特開２０１１－８７８２７号公報

　上記診断支援機能を実現するためには、内視鏡画像などの医療画像を処理する医療画像プロセッサ装置からの映像信号を、医療画像プロセッサ装置に接続された認識処理用プロセッサ装置に送信し、認識処理用プロセッサ装置で認識処理を行うことが考えられる。認識処理用プロセッサ装置での認識処理の結果は、注目領域の強調処理などが施されてディスプレイに表示される。

　しかしながら、認識処理の遅延によりユーザーの操作に悪影響を与えるおそれがある場合や、認識処理用プロセッサ装置の故障により映像信号が適切にディスプレイで表示されない場合がある。このような状況が生じるような、遅延がなく、また、安定した映像表示を行うことが求められていた。

　なお、特許文献２には、ファイリング装置に記録する第２映像信号に関する異常を検知しない場合には、第２映像信号（ＰＣ規格ビデオ信号）を表示し、前記異常を検視した場合には、第１映像信号（ＴＶ規格ビデオ信号）を表示することが記載されています。しかしながら、特許文献２には、認識処理の異常に関する記載はありません。

　本発明は、医療画像に基づいて認識処理を行う場合において、認識処理による遅延がなく、また、安定した映像表示を行うことができる医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法を提供することを目的とする。

　本発明の医療画像処理システムは、医療画像を順次取得し、医療画像から第１映像信号を生成する第１プロセッサと、第１プロセッサから第１映像信号を受信し、第１映像信号に対して認識処理を施し、認識処理の結果を表示するための認識処理用加工処理を第１映像信号に施して第２映像信号を生成する第２プロセッサと、ディスプレイとを備え、第２プロセッサは、第１映像切替信号を生成し、ディスプレイは、第２映像信号、又は、第１映像切替信号に基づいて第２映像信号から切り替えられる第１映像信号のいずれか一方を表示し、且つ、第２映像信号による認識処理の結果表示が停止された場合に、認識処理の結果表示が停止中であることを表示する。

　ディスプレイに設けられる第３プロセッサを備え、ディスプレイは、第１プロセッサから第１映像信号を受信し、且つ第２プロセッサから第２映像信号を受信し、ディスプレイが第２映像信号を表示している場合において、第３プロセッサが、第１映像切替信号に基づいて、ディスプレイでの表示を第２映像信号から第１映像信号に切り替えることが好ましい。

　第１プロセッサは、第２プロセッサから第１映像切替信号を受信した場合に、第２映像信号よりも第１映像信号を優先して表示するための第１映像優先信号をディスプレイに送信し、ディスプレイは、第１プロセッサから第１映像信号又は第１映像優先信号のいずれかを受信し、且つ第２プロセッサから第２映像信号を受信し、ディスプレイが第２映像信号を表示している場合において、第１映像優先信号に基づいて、ディスプレイでの表示を第２映像信号から第１映像信号に切り替えることが好ましい。

　第１プロセッサは、第１映像優先信号に基づいて第２映像信号から第１映像信号に切り替えて表示する場合には、第１映像信号に対して、停止表示用加工処理を施して得られる停止表示用加工処理済みの第１映像信号を生成し、且つ、第１映像信号として、停止表示用加工処理済みの第１映像信号をディスプレイに送信することが好ましい。

　第２プロセッサは、第１映像切替信号に基づいて、認識処理が実行中であると判定した場合には、第２映像信号を前記ディスプレイに送信し、第１映像切替信号に基づいて、認識処理が停止中であると判定した場合には、第１映像信号をディスプレイに送信し、ディスプレイは、第２プロセッサから第２映像信号が送信された場合に、第２映像信号をディスプレイに表示し、第２プロセッサから第１映像信号が送信された場合に、第１映像信号をディスプレイに表示することが好ましい。

　第２プロセッサは、第１映像切替信号に基づいてディスプレイで第１映像信号を表示する場合には、第１映像信号に対して、停止表示用加工処理を施して得られる停止表示用加工処理済みの第１映像信号を生成し、且つ、第１映像信号として、停止表示用加工処理済みの第１映像信号をディスプレイに送信することが好ましい。

　第２プロセッサは、ユーザーによる前記認識処理の停止入力、認識処理が異常状態、又は、ユーザーによる操作状況が特定の操作状況であることの少なくともいずれかに従って、認識処理の停止を実行することにより、認識処理の結果表示が停止することが好ましい。特定の操作状況には、処置具を用いるユーザーの処置動作が含まれることが好ましい。第２プロセッサは、認識処理を再開した場合には、第２映像切替信号を生成し、ディスプレイは、第２映像切替信号によって第１映像信号から切り替えられる第２映像信号を表示することが好ましい。

　本発明は、医療画像を順次取得し、医療画像から第１映像信号を生成する第１プロセッサと接続し、且つ、ディスプレイと接続する認識処理用プロセッサ装置において、第１プロセッサから医療画像を受信し、第１映像信号に対して認識処理を施し、認識処理の結果を表示するための認識処理用加工処理を第１映像信号に施して第２映像信号を生成する第２プロセッサを備え、第２プロセッサは、第１映像切替信号を生成し、第２映像信号、又は、第１映像切替信号に基づいて第２映像信号から切り替えられる第１映像信号のいずれか一方がディスプレイに表示され、且つ、第２映像信号による認識処理の結果表示が停止された場合に、認識結果の結果表示が停止中であることがディスプレイに表示される。

　本発明は、医療画像を順次取得し、医療画像から第１映像信号を生成する第１プロセッサと、第１プロセッサから第１映像信号を受信し、第１映像信号に対して認識処理を施し、認識処理の結果を表示するための認識処理用加工処理を第１映像信号に施して第２映像信号を生成する第２プロセッサと、ディスプレイとを備える医療画像処理システムの作動方法において、第２プロセッサは、第１映像切替信号を生成し、ディスプレイは、第２映像信号、又は、第１映像切替信号に基づいて第２映像信号から切り替えられる第１映像信号のいずれか一方を表示し、且つ、第２映像信号による認識処理の結果表示が停止された場合に、認処理の結果表示が停止中であることを表示する。

　本発明によれば、医療画像に基づいて認識処理を行う場合において、認識処理による遅延がなく、また、安定した映像表示を行うことができる。

内視鏡システム及び医療画像処理システムの機能を示すブロック図である。第１実施形態の医療画像処理システムの機能を示すブロック図である。認識処理用加工処理を示す説明図である。第２映像信号から第１映像信号に表示を切り替えることを示す説明図である。第１映像信号から第２映像信号に表示を切り替えることを示す説明図である。ユーザーインターフェースを示すブロック図である。異常状態検出部を示すブロック図である。操作状況認識部を示すブロック図である。第２実施形態の医療画像処理システムの機能を示すブロック図である。第３実施形態の医療画像処理システムの機能を示すブロック図である。診療支援装置を示すブロック図である。医療業務支援装置を示すブロック図である。

　［第１実施形態］
　図１に示すように、第１実施形態の医療画像処理システム１０は、内視鏡プロセッサ装置１２、認識処理用プロセッサ装置１４（認識処理用画像処理装置）、及びディスプレイ１６を備えている。

　内視鏡プロセッサ装置１２は、内視鏡システム２０の内部に設けられている。内視鏡システム２０は、内視鏡プロセッサ装置１２の他に、光源装置２２、及び、内視鏡２４を備えている。光源装置２２は、被写体内に照射するための照明光を内視鏡２４に供給する。内視鏡２４は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより、内視鏡画像を取得する。内視鏡２４が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。

　内視鏡プロセッサ装置１２は、内視鏡プロセッサ装置１２からの内視鏡画像を順次取得し、取得した内視鏡画像から第１映像信号を生成する。第１映像信号は、ディスプレイ１６に表示するための信号である。第１映像信号は、少なくとも認識処理用プロセッサ装置１４に送信される。なお、内視鏡システム２０において、内視鏡用のディスプレイ（図示しない）を設けた場合には、内視鏡用のディスプレイに第１映像信号を送信し、内視鏡用のディスプレイで第１映像信号を表示するようにしてもよい。

　本実施形態では、内視鏡２４からの内視鏡画像を取得する内視鏡プロセッサ装置１２を例に説明するが、内視鏡プロセッサ装置１２の他、各種の医療画像を取得して画像処理を行う医療画像処理装置に対しても適用が可能である。医療画像は静止画像または動画（いわゆる検査動画）である。医療画像が動画である場合、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画像を表示することのほか、動画を１または複数回、再生することを含む。また、医療画像には、医療画像処理装置の医療装置を用いて医師が撮影した画像の他、医療画像処理装置の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。

　また、医療画像処理装置は、複数の医療画像を取得し得る場合、これらの医療画像のうち１または複数の医療画像を選択的に取得できる。また、医療画像処理装置は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像処理装置は、任意に医療画像を取得できる。

　認識処理用プロセッサ装置１４は、内視鏡プロセッサ装置１２からの第１映像信号を受信し、第１映像信号に対して認識処理を施し、認識処理の結果を表示するための認識処理用加工処理を第１映像信号に施して第２映像信号を生成する。また、認識処理用プロセッサ装置１４は、認識処理を停止した場合には、第１映像切替信号を生成する。

　ディスプレイ１６は、認識処理用プロセッサ装置１４からの第２映像信号を表示すること、又は、第１映像切替信号によって第２映像信号から切り替えられる第１映像信号のいずれか一方を表示し、且つ、認識処理用プロセッサ装置１４において、第２映像信号による認識処理の結果表示が停止された場合に、認識処理の結果表示が停止中であることを表示する。なお、認識処理の結果表示が停止された場合としては、認識処理が停止することにより、認識処理の結果表示が停止する場合の他、認識処理そのものは実行中であるものの、認識処理の結果表示のみが停止する場合が含まれる。

　以下、認識処理が停止した場合における第２映像信号と第１映像信号の切替表示の詳細については、図２を用いて説明する。内視鏡プロセッサ装置１２は、医療画像から第１映像信号を生成する映像信号生成部１２ａを有する。認識処理用プロセッサ装置１４は、認識処理部１４ａと、認識処理用加工処理部１４ｂと、第１映像切替信号を生成する第１映像切替信号生成部１４ｃと、第２映像切替信号を生成する第２映像切替信号生成部１４ｄとを備えている。ディスプレイ１６は、表示部１６ａと、表示部１６ａの表示制御を行う表示制御部１６ｂとを備えている。なお、図２では、ディスプレイ１６への入力部を内視鏡プロセッサ装置１２からの入力と認識処理用プロセッサ装置１４からの入力の２系統としているが、ミキサーを用いて内視鏡プロセッサ装置１２からの入力と認識処理用プロセッサ装置１４からの入力を統合することにより、ディスプレイ１６への入力部を１系統としてもよい。

　なお、内視鏡プロセッサ１２では、第１映像信号の生成処理に関する第１プログラムが第１プログラム用メモリ（図示しない）に組み込まれている。第１プロセッサによって構成される第１制御部（図示しない）によって第１プログラムが動作することによって、映像信号生成部１２ａの機能が実現する。認識処理用プロセッサ装置１４では、認識処理などに関する第２プログラムが第２プログラム用メモリ（図示しない）に組み込まれている。第２プロセッサによって構成される第２制御部（図示しない）によって第２プログラムが動作することによって、認識処理部１４ａと、認識処理用加工処理部１４ｂと、第１映像切替信号を生成する第１映像切替信号生成部１４ｃと、第２映像切替信号を生成する第２映像切替信号生成部１４ｄとの機能が実現する。ディスプレイ１４では、表示制御に関する第３プログラムが第３プログラム用メモリ（図示しない）によって第３プログラムが動作することによって、表示制御部１６の機能が実現する。

　内視鏡プロセッサ装置１２では、映像信号生成部１２ａにて医療画像から第１映像信号を生成し、生成した第１映像信号を認識処理用プロセッサ装置１４に送信する。認識処理用プロセッサ装置１４において、認識処理部１４ａにて第１映像信号に基づいて認識処理を行う。認識処理部１４ａで行う認識処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストを用いた学習により得られる学習モデルによる処理とすることが好ましい。すなわち、学習モデルに対する第１映像信号の入力に対して、病変部のなどの注目領域の検出を出力することが好ましい。また、認識処理として、第１映像信号の色情報、画素値の勾配等で得られる特徴量を元に、注目領域の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。

　なお、認識処理で検出される注目領域は、例えば、がんに代表される病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。認識処理は、病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。

　認識処理用加工処理部１４ｂは、認識処理の結果に基づいて第１映像信号に認識処理用加工処理を施して第２映像信号を生成する。具体的には、認識処理として、注目領域の検出を行った場合には、図３に示すように、認識処理用加工処理として、注目領域ＲＯＩを囲むバンディングボックスＢＢを、第１映像信号ＰＳに対して加える処理を行う。これにより、第２映像信号ＰＳ２が得られる。第２映像信号はディスプレイ１６に送信される。ディスプレイ１６では、認識処理の結果表示として、注目領域ＲＯＩを囲むバンディングボックスＢＢが表示される。

　第１映像切替信号生成部１４ｃは、ディスプレイ１６での表示を第２映像信号から第１映像信号に切り替えるための第１映像切替信号を生成する。第１映像切替信号は、ユーザーなどの指示により認識処理を停止した場合に、ディスプレイ１６での表示を、認識処理の結果が反映されていない第１映像信号に切り替えることにより、ディスプレイ１６で、認識処理の結果を表示させないために用いられる。第１映像切替信号は、ディスプレイ１６に送信される。なお、第１映像切替信号は、認識処理を停止した場合にのみ生成してディスプレイ１６に送信する他、第１映像切替信号をＯＦＦ信号とＯＮ信号の２つの信号で構成し、認識処理を停止しない場合には、第２映像信号と第１映像信号の表示の切り替えを行わないＯＦＦ信号をディスプレイ１６に送り続け、認識処理を停止する場合には、第２映像信号と第１映像信号の表示を切り替えるＯＮ信号をディスプレイ１６に送信する。

　第２映像切替信号生成部１４ｄは、ディスプレイ１６での表示を第１映像信号から第２映像信号に切り替えるための第２映像切替信号を生成する。第２映像切替信号は、第１映像切替信号に基づいて第１映像信号をディスプレイ１６に表示している場合であって、ユーザーなどの指示により認識処理を再開する場合に、ディスプレイ１６での表示を、認識処理の結果が反映された第２映像信号に切り替えることにより、ディスプレイ１６で、認識処理を再開させるために用いられる。第２映像切替信号は、ディスプレイ１６に送信される。

　ディスプレイ１６において、表示制御部１６ｂは、第１映像切替信号に基づいて第１映像信号と第２映像信号の表示の切り替えを行わない場合には、認識処理の結果が反映された第２映像信号を表示部１６ａに表示する。一方、表示制御部１６ｂは、第１映像切替信号に基づいて第１映像信号と第２映像信号の表示の切り替えを行う場合には、図４に示すように、第１映像切替信号に基づく表示切替の指示に従って、表示部１６ａでの画像表示を、第２映像信号の表示から第１映像信号の表示に切り替える。この場合には、表示部１６ａには、認識処理の結果表示が停止中であること（「ＡＩ停止中」）が合わせて表示される。また、認識結果の結果表示が停止中であることの表示としては、「ＡＩ停止中」の表示の他に、認識処理用加工処理の実行が停止中であることを表示するようにしてもよい。

　本実施形態では、ディスプレイ１６において第１映像信号と第２映像信号とを切り替えて表示するため、認識処理が実行中であるかどうかをユーザーが把握することが難しい場合がある。例えば、ディスプレイ１６において注目領域ＲＯＩが表示されているにも関わらず、バウンディングボックスＢＢが表示されていない場合（図３参照）、ユーザーは、認識処理が実行していないのか、又は、認識処理が性能的に注目領域ＲＯＩを検出できていないかのかが判断することができない。ユーザーが意図しない認識処理の停止が発生した場合、支援機能が動作しないために、注目領域の見落としに繋がるリスクが生じる場合がある。そこで、上記の「ＡＩ停止中」ように、認識処理の結果表示をおこなっているかどうかをディスプレイ１６に表示することで、上記リスクを低減することができる。なお、図４では、認識処理の結果表示が停止中であることを文字情報で表示しているが、図形情報でもよいし、ディスプレイ１６のうち画像を表示する領域全体の表示形式を切り替える構成であってもよい。

　なお、図４の「ＡＩ」は、学習モデルを使用するArtificial Intelligenceを表している。また、認識処理が停止中であることに関する情報は、第１映像切替信号に含まれており、第１映像信号に重畳表示することが好ましい。

　また、表示制御部１６ｂは、第２映像切替信号に基づいて第１映像信号と第２映像信号の表示の切り替えを行う場合には、図５に示すように、第２映像切替信号に基づく表示切替の指示に従って、表示部１６ａでの画像表示を、第１映像信号の表示から第２映像信号の表示に切り替える。この場合には、第１映像信号から第２映像信号の表示に切り替わることにより、認識処理の結果表示が停止中であること（「ＡＩ停止中」）の表示が消灯する。

　なお、認識処理用プロセッサ装置１４において、認識処理を停止する場合には、ユーザーによる認識処理の停止入力、認識処理が異常状態、又は、ユーザーによる操作状況が特定の操作状況であることの少なくともいずれかに従って、認識処理の停止を実行することにより、認識処理の結果表示を停止することが好ましい。ユーザーによる認識処理の停止入力により、認識処理を停止する場合には、図６に示すように、認識処理用プロセッサ装置１４に接続されたユーザーインターフェース３０を用いて、停止入力を実行することが好ましい。

　なお、認識処理を行う場合、認識処理の時間に伴う遅延が発生する。このような遅延は、認識処理による支援が不必要なタイミングで、ユーザーに悪影響を与える恐れがある。例えば、見落とし防止を想定した支援機能はユーザーである医師による処置作業中は不必要となり、さらに、処置のような精緻な操作が必要となるタイミングでは上記遅延による悪影響は大きくなるおそれがある。そこで、このようなタイミングでは、ユーザーインターフェース３０を操作してユーザーは認識処理を停止する。このような認識処理の停止は、第１実施形態だけでなく、後述の第２、第３実施形態でも実現可能である。認識処理を停止している間は、認識処理の結果が反映されていない第１映像信号がディスプレイに表示される。なお、認識処理用プロセッサ装置１４では、認識処理を停止しているが、認識処理を停止せずに、第２映像信号から第１映像信号の表示切替のみを行うようにしてもよい。

　認識処理が異常状態であることに従って、認識処理を停止する場合には、図７に示すように、認識処理用プロセッサ装置１４に設けられた異常状態検出部１４ｅにより異常状態を検出した場合に、認識処理を停止することが好ましい。なお、異常状態とは、認識処理用プロセッサ装置１４の故障などが挙げられる。

　ユーザーによる操作状況が特定の操作状況であることに従って、認識処理を停止する場合には、図８に示すように、認識処理用プロセッサ装置１４に設けられた操作状況認識部１４ｆにより、特定の操作状況を認識した場合に、認識処理を停止することが好ましい。特定の操作状況には、病変部を切除するなどの処置具を用いるユーザーの処置動作が含まれることが好ましい。

　［第２実施形態］
　第１実施形態では、第１映像切替信号をディスプレイ１６に送信し、ディスプレイ１６側で第１映像信号と第２映像信号の表示切替を行っているが、第２実施形態では、第１映像切替信号を内視鏡プロセッサ装置１２に送信する。第２実施形態では、図９に示すように、内視鏡プロセッサ装置１２は、医療画像から第１映像信号を生成する映像信号生成部１２ａと、表示制御部１２ｂと、停止表示用加工処理部１２ｃとを有する。認識処理用プロセッサ装置１４は、認識処理部１４ａと、認識処理用加工処理部１４ｂと、第１映像切替信号を生成する第１映像切替信号生成部１４ｃと、第２映像切替信号を生成する第２映像切替信号生成部１４ｄとを備えている。ディスプレイ１６は、表示部１６ａを備えている。第１実施形態と第２実施形態とで同じ符号は、第１映像切替信号生成部１４ｃ及び第２映像切替信号生成部１４ｄを除いて、第１実施形態と第２実施形態でほぼ同様の機能を備えている。なお、第２実施形態においても、第１実施形態のユーザーインターフェース３０、異常状態検出部１４ｅ、及び操作状況認識部１４ｆを備えることが好ましい。

　第２実施形態では、第１映像切替信号生成部１４ｃは、第１映像切替信号を内視鏡プロセッサ装置１２に送信する。また、第２映像切替信号生成部１４ｄは、第２映像切替信号を内視鏡プロセッサ装置１２に送信する。内視鏡プロセッサ装置１２においては、表示制御部１２ｂは、認識処理用プロセッサ装置１４からの第１映像切替信号に基づいて、認識処理が停止したと判定した場合には、第２映像信号よりも第１映像信号を優先してディスプレイ１６で表示するための第１映像優先信号をディスプレイに送信する。また、表示制御部１２ｂは、認識処理用プロセッサ装置１４からの第２映像切替信号に基づいて、認識処理が再開したと判定した場合には、第１映像信号よりも第２映像信号を優先してディスプレイ１６で表示するための第２映像優先信号をディスプレイに送信する。

　第２実施形態では、ディスプレイ１６において、第１映像優先信号に基づいて第１映像信号と第２映像信号の表示の切り替えを行わない場合には、認識処理の結果が反映された第２映像信号を表示部１６ａに表示する。一方、第１映像優先信号に基づいて第１映像信号と第２映像信号の表示の切り替えを行う場合には、第１映像切替信号に基づく表示切替の指示に従って、表示部１６ａでの画像表示を、第２映像信号の表示から第１映像信号の表示に切り替える（図４参照）。この場合には、表示部１６ａには、認識処理の結果表示が停止中であること（「ＡＩ停止中」）が合わせて表示される。

　また、表示制御部１２ｂは、第２映像優先信号に基づいて第１映像信号と第２映像信号の表示の切り替えを行う場合には、第２映像優先信号に基づく表示切替の指示に従って、表示部１６ａでの画像表示を、第１映像信号の表示から第２映像信号の表示に切り替える（図５参照）。この場合には、第１映像信号から第２映像信号の表示に切り替わることにより、認識処理の結果表示が停止中であること（「ＡＩ停止中」）の表示が消灯する。

　なお、第２実施形態では、第１映像切替信号に基づく表示切替の指示に従って、表示部１６ａに第１映像信号を表示する場合には、内視鏡プロセッサ装置１２に設けられた停止表示用加工処理部１２ｃにより、第１映像信号に対して、認識処理が停止中であることを示す停止表示用加工処理を施して得られる停止表示用加工処理済みの第１映像信号を生成する。停止表示用加工処理済みの第１映像信号は、ディスプレイ１６に送信される。そして、第１映像優先信号に基づいて、第２映像信号から第１映像信号に表示を切り替える場合には、停止表示用加工処理済みの第１映像信号の表示に切り替えるようにする。

　［第３実施形態］
　第１実施形態では、第１映像切替信号をディスプレイ１６に送信し、ディスプレイ１６側で第１映像信号と第２映像信号の表示切替を行っているが、第３実施形態では、第１映像切替信号に基づいて、第１映像信号又は第２映像信号のいずれかをディスプレイ１６に送信する。

　第３実施形態では、図１０に示すように、内視鏡プロセッサ装置１２は、医療画像から第１映像信号を生成する映像信号生成部１２ａを有する。認識処理用プロセッサ装置１４は、認識処理部１４ａと、認識処理用加工処理部１４ｂと、第１映像切替信号を生成する第１映像切替信号生成部１４ｃと、第２映像切替信号を生成する第２映像切替信号生成部１４ｄと、表示制御部１４ｇと、停止表示用加工処理部１４ｈを備えている。ディスプレイ１６は、表示部１６ａを備えている。第１実施形態と第２実施形態とで同じ符号は、第１映像切替信号生成部１４ｃ及び第２映像切替信号生成部１４ｄを除いて、第１実施形態と第３実施形態でほぼ同様の機能を備えている。

　第３実施形態では、認識処理用プロセッサ装置１４においては、表示制御部１４ｇは、第１映像切替信号生成部１４ｃからの第１映像切替信号に基づいて、認識処理が実行中であると判定した場合には、第２映像信号をディスプレイ１６に送信する。一方、表示制御部１４ｇは、第１映像切替信号に基づいて、認識処理が停止中であると判定した場合には、第１映像信号をディスプレイに表示する。また、表示制御部１４ｇは、第２映像切替信号生成部１４ｄからの第２映像切替信号に基づいて、認識処理が再開したと判定した場合には、第２映像信号をディスプレイに送信する。

　第２実施形態では、ディスプレイ１６において、認識処理用プロセッサ装置１４からの第２映像信号を受信した場合には、第２映像信号を表示部１６ａに表示する。一方、ディスプレイ１６において、認識処理の停止により、認識処理用プロセッサ装置１４から、第２映像信号に代えて、第１映像信号を受信した場合には、第２映像信号から第１映像信号を切り替えて表示部１６ａに表示する。なお、認識処理用プロセッサ装置１４において、認識処理が停止している場合、表示部１６ａには、認識処理の結果表示が停止中であること（「ＡＩ停止中」）が表示される（図４参照）。一方、認識処理が実行中の場合、表示部１６ａには、認識処理の結果表示が停止中であること（「ＡＩ停止中」）の表示が消灯する（図５参照）。

　なお、第３実施形態では、認識処理用プロセッサ装置１４において、表示部１６ａに第１映像信号を表示する場合には、停止表示用加工処理部１４ｈにより、第１映像信号に対して、認識処理の結果表示が停止中であることを示す停止表示用加工処理を施して得られる停止表示用加工処理済みの第１映像信号を生成する。停止表示用加工処理済みの第１映像信号は、ディスプレイ１６に送信される。そして、ディスプレイ１６において、第２映像信号から第１映像信号に表示を切り替える場合には、停止表示用各処理済みの第１映像信号の表示に切り替えるようにする。

　なお、上記第１～第３実施形態におけるメリット、デメリット等に関して、以下説明する。第１実施形態（図２参照）では、認識処理用プロセッサ装置１４が故障しても、ディスプレイ１６では第１映像信号が表示されて映像が途切れることが無いというメリットがある。一方、ディスプレイ１６側で、第１映像信号と第２映像信号の表示切替制御を行う必要性があるため、ディスプレイ１６周りの構成が複雑になるというデメリットがある。

　また、第２実施形態（図９参照）では、第１実施形態と同様に、認識処理用プロセッサ装置１４が故障しても、ディスプレイ１６では第１映像信号が表示されて映像が途切れることが無いというメリットがある。一方、第１実施形態のデメリットである「ディスプレイ１６周りの構成が複雑になる」というデメリットは解消されるが、その代わりに、内視鏡プロセッサ装置１２と認識処理用プロセッサ装置１４との間に、第１映像切替信号など第１映像信号以外の信号を送信できる接続機構が必要となるというデメリットがある。

　また、第３実施形態（図１０参照）では、第１及び第２実施形態と異なり、ディスプレイ１６に送信される映像信号が、認識処理用プロセッサ装置１４からの１系統のみになるため、接続機構は第１～第３実施形態の中で最もシンプルになるというメリットがある。一方、認識処理用プロセッサ装置１４が故障した場合には、適切な映像信号をディスプレイ１６に送信することが難しくなるというデメリットがある。

　なお、図１１に示すように、内視鏡システム２０その他モダリティやＰＡＣＳ(Picture Archiving and Communication Systems)とを組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の医療画像処理システム１０を含むことができる。また、図１２に示すように、例えば内視鏡システム２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６３３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の医療画像処理システム１０を含むことができる。

　この他、医療画像処理システム１０、及び、内視鏡システム２０を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。

　医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。

　医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。

　特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。

　特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

　特定の波長帯域は、例えば、可視域の赤色帯域である。

　特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍまたは６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

　特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。

　特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

　医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。

　また、蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る蛍光を利用できる。

　医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。

　医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍまたは９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

　医療画像処理システムは、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。

　特定の波長帯域の信号は、通常光画像に含むＲＧＢまたはＣＭＹの色情報に基づく演算により得ることができる。

　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。

　内視鏡システム２０については、内視鏡２４としてカプセル内視鏡を使用できる。この場合、光源装置２２と、内視鏡プロセッサ装置１２の一部と、はカプセル内視鏡に搭載できる。

　上記実施形態及び変形例において、映像信号生成部１２ａ、表示制御部１２ｂ、停止表示用加工処理部１２ｃ、認識処理部１４ａ、認識処理用加工処理部１４ｂ、第１映像切替信号生成部１４ｃ、第２映像切替信号生成部１４ｄ、異常状態検出部１２ｅ、操作状況認識部１２ｆ、表示制御部１４ｇ、停止表示用加工処理部１４ｈ、表示制御部１６ｂといった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、画像処理などの処理を大量に並列に行うＧＰＵ (Graphical Processing Unit)などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０　医療画像処理システム
１２　内視鏡プロセッサ装置
１２ａ　映像信号生成部
１２ｂ　表示制御部
１２ｃ　停止表示用加工処理部
１４　認識処理用プロセッサ装置
１４ａ　認識処理部
１４ｂ　認識処理用加工処理部
１４ｃ　第１映像切替信号生成部
１４ｄ　第２映像切替信号生成部
１４ｅ　異常状態検出部
１４ｆ　操作状況認識部
１４ｇ　表示制御部
１４ｈ　停止表示用加工処理部
１６　ディスプレイ
１６ａ　表示部
１６ｂ　表示制御部
２０　内視鏡システム
２２　光源装置
２４　内視鏡
３０　ユーザーインターフェース
６１０　診断支援装置
６２１　第１検査装置
６２２　第２検査装置
６２３　第Ｎ検査装置
６２６　ネットワーク
６３０　医療業務支援装置

Claims

　医療画像を順次取得し、前記医療画像から第１映像信号を生成する第１プロセッサと、
　前記第１プロセッサから前記第１映像信号を受信し、前記第１映像信号に対して認識処理を施し、前記認識処理の結果を表示するための認識処理用加工処理を前記第１映像信号に施して第２映像信号を生成する第２プロセッサと、
　ディスプレイとを備え、
　前記第２プロセッサは、第１映像切替信号を生成し、
　前記ディスプレイは、前記第２映像信号、又は、前記第１映像切替信号に基づいて前記第２映像信号から切り替えられる第１映像信号のいずれか一方を表示し、且つ、前記第２映像信号による前記認識処理の結果表示が停止された場合に、前記認識処理の結果表示が停止中であることを表示する医療画像処理システム。
　前記ディスプレイに設けられる第３プロセッサを備え、
　前記ディスプレイは、前記第１プロセッサから前記第１映像信号を受信し、且つ前記第２プロセッサから前記第２映像信号を受信し、
　前記ディスプレイが前記第２映像信号を表示している場合において、前記第３プロセッサが、前記第１映像切替信号に基づいて、前記ディスプレイでの表示を前記第２映像信号から前記第１映像信号に切り替える請求項１記載の医療画像処理システム。
　前記第１プロセッサは、前記第２プロセッサから前記第１映像切替信号を受信した場合に、前記第２映像信号よりも前記第１映像信号を優先して表示するための第１映像優先信号を前記ディスプレイに送信し、
　前記ディスプレイは、前記第１プロセッサから前記第１映像信号又は前記第１映像優先信号のいずれかを受信し、且つ前記第２プロセッサから前記第２映像信号を受信し、
　前記ディスプレイが前記第２映像信号を表示している場合において、前記第１映像優先信号に基づいて、前記ディスプレイでの表示を前記第２映像信号から前記第１映像信号に切り替える請求項１記載の医療画像処理システム。
　前記第１プロセッサは、前記第１映像優先信号に基づいて前記第２映像信号から前記第１映像信号に切り替えて表示する場合には、前記第１映像信号に対して、停止表示用加工処理を施して得られる停止表示用加工処理済みの第１映像信号を生成し、且つ、前記第１映像信号として、前記停止表示用加工処理済みの第１映像信号を前記ディスプレイに送信する請求項３記載の医療画像処理システム。
　前記第２プロセッサは、
　前記第１映像切替信号に基づいて、前記認識処理が実行中であると判定した場合には、前記第２映像信号を前記ディスプレイに送信し、前記第１映像切替信号に基づいて、前記認識処理が停止中であると判定した場合には、第１映像信号を前記ディスプレイに送信し、
　前記ディスプレイは、前記第２プロセッサから前記第２映像信号が送信された場合に、前記第２映像信号を前記ディスプレイに表示し、前記第２プロセッサから前記第１映像信号が送信された場合に、前記第１映像信号を前記ディスプレイに表示する請求項１記載の医療画像処理システム。
　前記第２プロセッサは、前記第１映像切替信号に基づいて前記ディスプレイで前記第１映像信号を表示する場合には、前記第１映像信号に対して、停止表示用加工処理を施して得られる停止表示用加工処理済みの第１映像信号を生成し、且つ、前記第１映像信号として、前記停止表示用加工処理済みの第１映像信号を前記ディスプレイに送信する請求項５記載の医療画像処理システム。
　前記第２プロセッサは、ユーザーによる前記認識処理の停止入力、前記認識処理が異常状態、又は、ユーザーによる操作状況が特定の操作状況であることの少なくともいずれかに従って、前記認識処理の停止を実行することにより、前記認識処理の結果表示が停止する請求項１ないし６いずれか１項記載の医療画像処理システム。
　前記特定の操作状況には、処置具を用いる前記ユーザーの処置動作が含まれる請求項７記載の医療画像処理システム。
　前記第２プロセッサは、前記認識処理を再開した場合には、第２映像切替信号を生成し、
　前記ディスプレイは、前記第２映像切替信号によって前記第１映像信号から切り替えられる第２映像信号を表示する請求項１ないし８いずれか１項記載の医療画像処理システム。
　医療画像を順次取得し、前記医療画像から第１映像信号を生成する第１プロセッサと接続し、且つ、ディスプレイと接続する認識処理用プロセッサ装置において、
　前記第１プロセッサから前記医療画像を受信し、前記第１映像信号に対して認識処理を施し、前記認識処理の結果を表示するための認識処理用加工処理を前記第１映像信号に施して第２映像信号を生成する第２プロセッサを備え、
　前記第２プロセッサは、第１映像切替信号を生成し、
　前記第２映像信号、又は、前記第１映像切替信号に基づいて前記第２映像信号から切り替えられる第１映像信号のいずれか一方が前記ディスプレイに表示され、且つ、前記第２映像信号による前記認識処理の結果表示が停止された場合に、前記認識結果の結果表示が停止中であることが前記ディスプレイに表示される認識処理用プロセッサ装置。
　医療画像を順次取得し、前記医療画像から第１映像信号を生成する第１プロセッサと、
　前記第１プロセッサから前記第１映像信号を受信し、前記第１映像信号に対して認識処理を施し、前記認識処理の結果を表示するための認識処理用加工処理を前記第１映像信号に施して第２映像信号を生成する第２プロセッサと、
　ディスプレイとを備える医療画像処理システムの作動方法において、
　前記第２プロセッサは、第１映像切替信号を生成し、
　前記ディスプレイは、前記第２映像信号、又は、前記第１映像切替信号に基づいて前記第２映像信号から切り替えられる第１映像信号のいずれか一方を表示し、且つ、前記第２映像信号による前記認識処理の結果表示が停止された場合に、前記認処理の結果表示が停止中であることを表示する医療画像処理システムの作動方法。