JP2023015232A - 内視鏡システム - Google Patents

Abstract

【課題】時系列で得られる画像中に画像認識に不適な画像が含まれる場合にも、妥当性のある認識結果を提示することが可能な内視鏡システムを提供する。【解決手段】電子内視鏡とプロセッサ装置とを含む内視鏡システムであって、プロセッサ装置は、プロセッサとメモリとを備え、プロセッサは、電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像から画像認識を行い、医療画像から注目領域の検出及び分類のうち少なくとも一方を行い、時系列の医療画像に含まれる第１の医療画像が認識に不適な画像である場合に、第１の医療画像よりも先に取得された第２の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を第１の医療画像とともに表示させるための処理を行う。【選択図】図９

Description

本発明は、医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラムに係り、観察対象を撮影して得られる医療画像を用いて画像認識を行う画像処理技術に関する。

医療分野において、内視鏡システムを用いた検査が行われている。近年においては、画像解析の技術を用いることによって、医療画像に含まれる病変の認識を行うシステムが知られている。一般的な内視鏡システムでは、スコープの先端にあるカメラを用いて体腔を撮影し、撮影された観察画像をプロセッサ装置が受信してモニタ上に表示する。このときプロセッサ装置は、受信した画像の認識処理を行い、認識結果をユーザに報知することがある。

例えば、病変が撮影されている場合であれば、プロセッサ装置は、画像解析から、癌性であるか、非癌性であるかを認識し、その認識結果をユーザに報知する。このような機能を持つシステムは、医師等による診断所見などの意思決定を支援する。

特開２００４－１８０９３２号公報 特開２０１５－２０４９６０号公報 特開２０１４－０３０４８８号公報

しかしながら、例えば、スコープの操作、胎動、及び残渣のうち少なくとも１つの影響により、しばしば画像がボケけたり、ぶれたり、又は、病変部位が残渣に隠れてしまったりする。また、視野の確保等のために、送水装置を用いて観察部位に送水を行った場合にも、水の影響により、画像がぼけたり、病変部位に水がかぶったりする。このような「ボケた画像」、「ぶれた画像」、「残渣が含まれた画像」、又は、「被写体に水がかぶった画像」などから、画像解析によって病変等の認識を正確に行うことは困難であり、別の認識結果を示してしまう場合がある。かかる課題は、検査中に得られる動画のフレームごとに認識処理を行うなど、時系列で得られる画像ごとに認識処理を行い、その認識結果をリアルタイムでユーザに報知するシステムにおいて特に問題となる。

また、内視鏡システムに限らず、超音波診断装置など、時系列で得られる医療画像から認識処理を行うシステムについても、同様の課題がある。

本発明はこのような事情に鑑みてなされたもので、時系列で得られる画像中に画像認識に不適な画像が含まれる場合に、画像認識に不適な画像から得られた認識結果がユーザに提供されることを回避することが可能な医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラムを提供することを目的とする。

課題を解決するために、次の発明態様を提供する。

態様１に係る医療画像処理装置は、被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、を備える。

態様１によれば、時系列の医療画像の中で、ボケた画像など、画像認識に不適な画像の認識結果が、認識結果保存部に保存してある他の画像の認識結果に変更される。認識結果保存部には、画像認識に不適な画像以外の画像についての認識結果を保存することができる。これにより、不正確な認識結果の提示を回避して、時系列の中で妥当性のある認識結果を示すことができる。

時系列の医療画像は、動画であってもよいし、連写若しくはインターバル撮影などのように、特定の時間間隔で撮影される静止画であってもよい。

態様２は、態様１の医療画像処理装置において、画像認識部の認識結果に応じて、画像認識部の認識結果を保存するか否かを判定する判定部を備え、判定部の判定結果に従い、画像認識部の認識結果が認識結果保存部に保存される医療画像処理装置である。

判定部は、ボケた画像など、画像認識に不適な画像の認識結果について、認識結果保存部に保存しない旨の判定（非保存とする判定）を行い、画像認識に不適な画像以外の画像の認識結果について、認識結果保存部に保存する旨の判定を行うことができる。

態様３は、態様２の医療画像処理装置において、変更処理部は、判定部が認識結果を非保存とする判定を与えた医療画像についての画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する医療画像処理装置である。

態様４は、態様３の医療画像処理装置において、画像認識部は、画像取得部から取得された医療画像が認識に不適な画像であると認識するタスクを含み、判定部は、画像認識部が認識に不適な画像であると認識した場合に、不適な画像であると認識した医療画像についての認識結果を非保存とする判定を行う医療画像処理装置である。

態様５は、態様１から態様３のいずれか一態様の医療画像処理装置において、画像認識部は、画像取得部から取得された医療画像が認識に不適な画像であると認識するタスクを含み、変更処理部は、画像認識部が認識に不適な画像であると認識した場合に、画像認識部の認識結果を認識結果保存部に保存されている認識結果に変更する医療画像処理装置である。

態様６は、態様５の医療画像処理装置において、画像認識部が認識に不適な画像であると認識した医療画像についての認識結果は、認識結果保存部に非保存とされる医療画像処理装置である。

態様７は、態様４から態様６のいずれか一態様の医療画像処理装置において、不適な画像は、被写体がボケている画像である医療画像処理装置である。

態様８は、態様４から態様６のいずれか一態様の医療画像処理装置において、不適な画像は、被写体がぶれている画像である医療画像処理装置である。

態様９は、態様４から態様６のいずれか一態様の医療画像処理装置において、不適な画像は、被写体に水がかぶっている画像である医療画像処理装置である。

態様１０は、態様４から態様６のいずれか一態様の医療画像処理装置において、不適な画像は、被写体に残渣がある画像である医療画像処理装置である。

態様１１は、態様１から態様１０のいずれか一態様の医療画像処理装置において、画像認識部が行う画像認識には、注目領域を検出するタスクが含まれる医療画像処理装置である。

注目領域は、例えば、病変領域であってよい。

態様１２は、態様１から態様１１のいずれか一態様の医療画像処理装置において、画像認識部が行う画像認識には、画像分類が含まれる医療画像処理装置である。

態様１３は、態様１から態様１２のいずれか一態様の医療画像処理装置において、画像認識部は、画像取得部から取得された医療画像が認識に不適な画像であるか否かを認識する第１の認識部と、画像取得部から取得された医療画像から注目領域の検出、及び医療画像の画像分類のうち少なくとも一方の処理を行う第２の認識部と、を含み、第１の認識部が認識に不適な画像であると認識した医療画像について、第２の認識部における処理を不実施とする医療画像処理装置である。

態様１４は、態様１から態様１３のいずれか一態様の医療画像処理装置において、画像認識部は、時系列で取得される医療画像ごとに画像認識を行い、医療画像ごとに認識結果を出力する医療画像処理装置である。

態様１５は、態様１から態様１４のいずれか一態様の医療画像処理装置において、変更処理部による変更の処理を受けずに、画像認識部の認識結果が維持された医療画像についての認識結果が認識結果保存部に保存される医療画像処理装置である。

態様１６は、態様１から態様１５のいずれか一態様の医療画像処理装置において、変更処理部は、画像認識部の認識結果を、認識結果保存部に保存されている最新の認識結果に変更する医療画像処理装置である。

認識結果保存部に保存する認識結果は、都度、最新のものに更新されることが好ましく、認識結果保存部には直近の認識結果のみが保存されればよい。

態様１７は、態様１から態様１６のいずれか一態様の医療画像処理装置において、画像認識部の認識結果を表示する表示部を備え、画像認識部の認識結果に応じて、認識結果保存部に保存されている認識結果が表示部に表示される医療画像処理装置である。

態様１８は、態様１７の医療画像処理装置において、表示部は、認識結果保存部に保存されている認識結果を表示する場合に、認識結果保存部に保存されている認識結果であることを示す表示を行う医療画像処理装置である。

態様１９は、態様１８の医療画像処理装置において、認識結果保存部に保存されている認識結果であることを示す表示は、画像認識部の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも１つの表示形態を含む医療画像処理装置である。

態様２０は、態様１から態様１９のいずれか一態様の医療画像処理装置において、画像認識部の認識結果を認識結果保存部に保存されている認識結果に変更した医療画像の取得が一定期間続いた場合に、画像認識部の認識処理を停止する医療画像処理装置である。

態様２１は、態様１から態様２０のいずれか一態様の医療画像処理装置において、医療画像は、内視鏡から得られる内視鏡画像又は超音波診断装置から得られる超音波画像である医療画像処理装置である。

態様２２に係る医療画像処理方法は、被写体像を含む時系列の医療画像を取得する画像取得ステップと、医療画像から画像認識を行う画像認識ステップと、画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、画像認識ステップの認識結果に応じて、画像認識ステップの認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理ステップと、を含む。

態様２２の医療画像処理方法において、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ（工程）の要素として把握することができる。また、態様２２の医療画像処理方法は、医療画像処理装置の作動方法と理解してもよい。

態様２３に係る内視鏡システムは、体腔内を撮影する電子内視鏡と、電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、プロセッサ装置は、電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、を備える。

態様２３の内視鏡システムにおいて、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。

態様２４に係るプロセッサ装置は、電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、を備える。

態様２４のプロセッサ装置において、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。

態様２５に係る診断支援装置は、被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、画像認識部の認識結果を報知する報知部と、を備える。

態様２５の診断支援装置において、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。画像認識部の認識結果を表示する表示部は、報知部の一形態となり得る。

態様２６に係るプログラムは、コンピュータに、被写体像を含む時系列の医療画像を取得する画像取得ステップと、医療画像から画像認識を行う画像認識ステップと、画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、画像認識ステップの認識結果に応じて、画像認識ステップの認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理ステップと、を実行させる。

態様２６のプログラムにおいて、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ（機能）を実現するプログラム要素として把握することができる。

本発明によれば、時系列で得られる画像中に画像認識に不適な画像が含まれる場合に、画像認識に不適な画像から得られた認識結果がユーザに提供されることを回避することが可能である。

図１は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。 図２は、電子内視鏡の先端硬質部の先端面を示した正面図である。 図３は、内視鏡システムの制御系を示したブロック図である。 図４は、本発明の第一実施形態に係る医療画像処理装置の機能を示すブロック図である。 図５は、第一実施形態に係る医療画像処理装置の動作を示すフローチャートである。 図６は、本発明の第二実施形態に係る医療画像処理装置の機能を示すブロック図である。 図７は、第二実施形態に係る医療画像処理装置の動作を示すフローチャートである。 図８は、認識結果を表示する内視鏡診断支援画面の一例を示す図である。 図９は、認識結果を表示する内視鏡診断支援画面の他の例を示す図である。 図１０は、医療情報管理システムの構成例を示すブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

《内視鏡システムの構成例》
図１は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。内視鏡システム１０は、電子内視鏡１２と、光源装置１４と、プロセッサ装置１６と、を含む。プロセッサ装置１６には、表示装置１８と入力装置１９とが接続される。電子内視鏡１２は、「スコープ」、「電子スコープ」、或いは単に「内視鏡」と呼ばれる場合がある。

本例の電子内視鏡１２は、軟性内視鏡である。電子内視鏡１２は、挿入部２０と、操作部３０と、ユニバーサルコード４０と、を備えている。挿入部２０は、検査対象者の体腔内に挿入される部分である。挿入部２０は、先端側から順に、手元側に向かって、先端硬質部２２、湾曲部２４、及び軟性部２６を含んで構成される。先端硬質部２２の内部には、照明光学系と対物光学系と撮像素子等が配置されている。湾曲部２４は、アングルノブ３１の操作に応じて、基準の位置から上下左右の４方向へ円滑に曲がる構造になっている。軟性部２６の手元側を挿入部２０の基端部という。

操作部３０は、挿入部２０の基端部に設けられている。操作部３０は、術者によって操作される各種操作部材を含む。例えば、操作部３０には、湾曲部２４の湾曲操作に用いられるアングルノブ３１と、送気送水の操作を行うための送気送水ボタン３２と、吸引操作を行うための吸引ボタン３３と、が設けられている。術者は、アングルノブ３１を操作することにより、湾曲部２４を湾曲させて先端硬質部２２の向きを自在に変えることができる。操作部３０には、他に、観察モードの切り替え操作に用いられるモード切替スイッチ３４、ズーム操作部３５、及び被観察部位の静止画の撮影指示を行うための図示せぬ静止画撮影指示部が設けられている。

また、操作部３０には、処置具導入口３６が設けられている。処置具導入口３６は、挿入部２０内を挿通している図示せぬ処置具挿通路内に、図示せぬ処置具を挿入するための開口部である。処置具としては、例えば、生検鉗子、カテーテル、高周波スネアなどがあり得る。また、処置具には、カイドチューブ、トラカールチューブ、スライディングチューブなども含まれる。処置具導入口３６は、鉗子口と呼ばれる場合がある。

ユニバーサルコード４０は、電子内視鏡１２を光源装置１４及びプロセッサ装置１６に接続するためのコードである。ユニバーサルコード４０には、挿入部２０から延設されるケーブル及びライトガイドが挿通されている。挿入部２０から延設されるケーブルには、信号の伝達に用いる通信ケーブルと、電力供給に用いる給電ケーブルとが含まれる。ユニバーサルコード４０の一端には、コネクタ４２が設けられている。

コネクタ４２は、ビデオコネクタ４２Ａとライトガイドコネクタ４２Ｂとを備えた複合タイプのコネクタである。ビデオコネクタ４２Ａには、ケーブルの一端が配置されている。ビデオコネクタ４２Ａはプロセッサ装置１６に対して着脱自在に接続される。ライトガイドコネクタ４２Ｂには、ライトガイドの一端が配置されている。ライトガイドコネクタ４２Ｂは光源装置１４に対して着脱自在に接続される。また、ライトガイドコネクタ４２Ｂには、送水コネクタ４２Ｃが設けられ、送水コネクタ４２Ｃを介して送水タンク４４が接続される。

プロセッサ装置１６は、コネクタ４２を介して光源装置１４と電気的に接続されている。プロセッサ装置１６は、光源装置１４を含め内視鏡システム１０の動作を統括的に制御する。プロセッサ装置１６は、ユニバーサルコード４０内に挿通されたケーブルを介して電子内視鏡１２に給電を行い、かつ、撮像素子の駆動を制御する。また、プロセッサ装置１６は、電子内視鏡１２からケーブルを介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。プロセッサ装置１６で変換された画像データは、表示装置１８に内視鏡撮影画像（観察画像）として表示される。

図２は、電子内視鏡１２の先端硬質部２２の先端面２２Ａを示した正面図である。先端硬質部２２の先端面２２Ａには、照明窓５０と、観察窓５２と、鉗子出口５４と、送気送水用ノズル５６とが設けられている。図２には示されていないが、照明窓５０の奥には、光源装置１４からの光を導くライトガイド１２０の出射端１２２が配置されている（図３参照）。照明窓５０から被観察領域へ照明光が照射される。照明窓５０は、観察窓５２を挟んで対称な位置に２個配置されている。

観察窓５２は、被観察領域からの反射光を取り込み、被観察領域を撮像するための窓である。図２には示されていないが、観察窓５２の奥には、体腔内の被観察領域の像光を取り込むための対物光学系６０と撮像素子６２とが配置されている（図３参照）。

鉗子出口５４は、挿入部２０内に配設された図示せぬ鉗子チャンネルに接続され、操作部３０に設けられた処置具導入口３６（図１参照）に連通している。処置具導入口３６から挿入された処置具が鉗子出口５４から体腔内に出される。

送気送水用ノズル５６は、操作部３０に設けられた送気送水ボタン３２（図１参照）の操作に応じて、洗浄水又は空気を、観察窓５２及び／又は体腔内に向けて噴射する。なお、洗浄水及び空気は、光源装置１４に内蔵された送気送水装置から供給される。

図３は、内視鏡システム１０の制御系を示したブロック図である。電子内視鏡１２の先端硬質部２２には、対物光学系６０と、撮像素子６２と、アナログフロントエンド（ＡＦＥ：Analog Front End）回路６４と、タイミングジェネレータ（ＴＧ：Timing Generator）６５と、ＣＰＵ（Central Processing Unit）６６と、が設けられている。

対物光学系６０は、ズームレンズを用いて構成される。対物光学系６０と撮像素子６２の間に、図示しない導光用のプリズムが配置される。撮像素子６２は、ＣＭＯＳ（complementary metal oxide semiconductor）型の撮像素子であってもよいし、ＣＣＤ（Charged Coupled Device）型の撮像素子であってもよい。ここではＣＭＯＳ型の撮像素子を用いる例を説明する。

図示は省略するが、撮像素子６２は、複数の色セグメントからなるカラーフィルタを備えた単板カラー撮像方式の固体撮像素子である。カラーフィルタは、例えば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）を含むベイヤー配列の原色カラーフィルタであってよい。

撮像素子６２の撮像面には、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサが設けられている。撮像素子６２の撮像面に入射した光は各画素のフォトセンサに電荷として蓄積される。各画素のフォトセンサに蓄積された信号電荷量は、垂直走査回路及び水平走査回路（いずれも不図示）による垂直方向と水平方向の走査によって、画素信号として順次読み出され、所定のフレームレートで出力される。

タイミングジェネレータ６５は、ＣＰＵ６６の制御に基づき、撮像素子６２の駆動パルスと、アナログフロントエンド回路６４への同期パルスとを発生する。撮像素子６２の駆動パルスには、垂直走査パルス、水平走査パルス、及びリセットパルス等が含まれる。

撮像素子６２は、タイミングジェネレータ６５から入力される駆動パルスにより駆動され、対物光学系６０を介して撮像面に結像された光学像を光電変換して撮像信号として出力する。

アナログフロントエンド回路６４は、相関二重サンプリング（ＣＤＳ：correlated double sampling）回路と、自動ゲイン制御（ＡＧＣ：Automatic Gain Control）回路と、Ａ／Ｄ変換器とを含む。ＣＤＳ回路は、撮像素子６２から出力される撮像信号に対して相関二重サンプリング処理を施し、撮像素子６２で生じるリセット雑音及びアンプ雑音の除去を行う。

ＡＧＣ回路は、ＣＤＳ回路によりノイズ除去が行われた撮像信号を、ＣＰＵ６６から指定されたゲイン（増幅率）で増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路により増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。アナログフロントエンド回路６４にてデジタル化されて出力された撮像信号は、信号線を通してプロセッサ装置１６に入力される。

なお、撮像素子６２、アナログフロントエンド回路６４及びタイミングジェネレータ６５は、モノリシック集積回路として構成することができ、これらの各回路素子は、１つの撮像チップ６８に含まれる。本例の電子内視鏡１２に搭載される撮像チップ６８は、いわゆる「ＣＭＯＳセンサチップ」であり、図示せぬ支持基板上に実装されている。

プロセッサ装置１６は、ＣＰＵ７０と、ＲＯＭ（read-only memory）７２と、ＲＡＭ（Random Access Memory）７４と、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）７６と、表示制御回路７８とを備える。

ＣＰＵ７０は、プロセッサ装置１６内の各部を制御するとともに、内視鏡システム１０の全体を統括的に制御する。ＲＯＭ７２には、プロセッサ装置１６の動作を制御するための各種プログラムや制御用データが記憶される。ＲＡＭ７４には、ＣＰＵ７０により実行されるプログラム及びデータなどが一時記憶される。

デジタル信号処理回路７６は、ＣＰＵ７０の制御に基づき、アナログフロントエンド回路６４から入力された撮像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等の各種信号処理を施して、画像データを生成する。また、デジタル信号処理回路７６は、画像認識の処理を行う。デジタル信号処理回路７６は、画像処理部として機能する。また、デジタル信号処理回路７６は、画像認識の処理を行う画像認識部の機能を含んでいる。

デジタル信号処理回路７６から出力された画像データは、表示制御回路７８に入力される。表示制御回路７８は、デジタル信号処理回路７６から入力された画像データを、表示装置１８に対応した信号形式に変換し、表示装置１８の画面に表示させる。

表示装置１８は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせで
あってよい。表示装置１８は、プロセッサ装置１６の処理に必要な各種設定情報、又は、処理結果を示す情報などの各種情報を表示し得る。

表示装置１８と入力装置１９は、ユーザインターフェースとして機能する。入力装置１９は、例えば、キーボード、マウス、タッチパネル、操作ボタン、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置１９を用いて各種の指示及び／又は情報を入力することができる。プロセッサ装置１６は、入力装置１９から入力された指示及び／又は情報に応じて各種処理を実行し得る。

光源装置１４は、電子内視鏡１２内に挿通されたライトガイド１２０を通して体腔内を照明する光を発生する。光源装置１４は、第１光源１００と、第１光源駆動回路１０１と、第２光源１０２と、第２光源駆動回路１０３と、ＣＰＵ１０４と、合波部１０５とを含む。ＣＰＵ１０４は、プロセッサ装置１６のＣＰＵ７０と通信を行い、第１光源駆動回路１０１及び第２光源駆動回路１０３の制御を行う。

第１光源駆動回路１０１は、ＣＰＵ１０４からの指示に従い、第１光源１００を発光させる。第２光源駆動回路１０３は、ＣＰＵ１０４からの指示に従い、第２光源１０２を発光させる。

第１光源１００は、例えば、波長４４５ｎｍの青色レーザを発光するレーザダイオードである。第１光源１００は、第１光源駆動回路１０１によりパルス駆動されて発光量が制御される。第２光源１０２は、例えば、波長４０５ｎｍの青色レーザを発光するレーザダイオードである。第２光源１０２は、第２光源駆動回路１０３によりパルス駆動されて発光量が制御される。波長４０５ｎｍの青色光は、特殊光観察の際に使用される。

合波部１０５は、第１光源１００と第２光源１０２の夫々の出射光を合波してライトガイド１２０の入射端１２１に出射する。

ライトガイド１２０の出射端１２２と、電子内視鏡１２の照明窓５０との間には、蛍光体１２４が設けられている。ライトガイド１２０を通った青色レーザ光は蛍光体１２４に照射され、蛍光体１２４を励起状態にすると共に、その一部は蛍光体１２４を透過して青色光として照明窓５０から出射される。

蛍光体１２４は、青色レーザ光で励起され、光の波長帯域でいうと、青色と緑色の境界当たりの波長域から赤色の波長域までの広範囲の光（色としては黄色）を発光する。この黄色光と蛍光体１２４を透過する青色光とが混合されて白色光となり、照明窓５０を通して被写体を照明することになる。なお、蛍光体１２４を透過する青色光には、蛍光体１２４で発光する青色光も一部含む。

蛍光体１２４は、上述のように、波長４４５ｎｍの青色レーザ光の照射を受けた場合に黄色光を発光すると共に波長４４５ｎｍの青色光を透過するが、波長４０５ｎｍの青色レーザ光の照射を受けた場合にはその殆どを透過する性質を持つ。

即ち、波長４４５ｎｍの青色レーザ光と波長４０５ｎｍの青色レーザ光との混合割合を制御することで、蛍光体１２４を透過する青色光と、蛍光体１２４で発光する黄色光との割合を制御することが可能である。

白色光を用いて照明された被写体からの反射光を、撮像素子６２を用いて受光することにより、被写体のカラー画像が再現される。

上記のように構成された内視鏡システム１０を用いて体腔内を観察する際には、電子内視鏡１２と、光源装置１４と、プロセッサ装置１６と、表示装置１８の各電源をオンにして、電子内視鏡１２の挿入部２０を体腔内に挿入し、光源装置１４からの照明光で体腔内を照明しながら、撮像素子６２により撮像される体腔内の画像を表示装置１８の画面で観察することになる。

本例の内視鏡システム１０は、白色光観察モードと狭帯域光観察モードを有する。白色光観察モードは、照明光に白色光を用いて観察対象を撮像して得られる撮影画像を用いて、自然な色合いの観察画像を表示装置１８に表示するモードである。白色光観察モードで観察対象を撮像して得られる画像を「白色光観察画像」という。照明光は「観察光」と言い換えてもよい。

狭帯域光観察モードは、特定の波長帯域の狭帯域光を照明光として観察対象を撮像して得られる画像信号を用いて、例えば、観察対象の特定深さ領域に在る血管を強調した可視化画像を生成し、血管の観察に適した画像を表示装置１８に表示するモードである。狭帯域光観察モードで観察対象を撮像して得られる画像を「狭帯域光観察画像」という。

内視鏡システム１０は、使用する狭帯域光の波長帯域の種類又はその組み合わせが異なる複数種類の狭帯域光観察モードを有していてもよい。

《内視鏡システム１０における診断支援機能の概要》
プロセッサ装置１６は、電子内視鏡１２から受信した画像を画像認識する画像認識部を含む。画像認識の処理には、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）が用いられる。画像認識部は、例えば、画像内に含まれる病変をＮＩＣＥ分類又はＪＮＥＴ分類などに従って複数のカテゴリーに分類する画像分類のタスクを実施する。「ＮＩＣＥ」は、NBI（Narrow band imaging） International Colorectal Endoscopic の略語である。「ＪＮＥＴ」は、「the Japan NBI Expert Team」の略語である。

ＮＩＣＥ分類は、非拡大のＮＢＩによる分類であり、病変の色調（Color）、微小血管模様（Vessels）、及び表面模様（Surface pattern）の３項目の各項目について、Type1、Type２及びType３に分類される。Type1は過形成病変、Type2は腺腫～粘膜内癌、Type3はＳＭ（submucosa）深部浸潤癌の診断指標である。ＪＮＥＴ分類は、大腸腫瘍に対するＮＢＩ拡大内視鏡所見の分類である。ＪＮＥＴ分類は、「vessel pattern」と「surface pattern」の各項目について、Type1、Type2A、Type2B、及びType3に分類される。

画像認識部は、ＮＩＣＥ分類などの詳細な分類に代えて、又は、これと組み合わせて、単に「癌性」であるか「非癌性」であるかの２分類の認識を行ってもよい。

また、画像認識部では、病変の分類等の認識処理に加えて、入力された画像が画像認識に適切であるか不適切であるかの認識も行う。「画像認識に適切である」とは、認識の主目的である病変の分類等を行う認識の処理に適する画像であることを意味する。「画像認識に不適切である」とは、主目的である病変の分類等の認識に不適な画像であることを意味する。認識に不適な画像を例示すると、例えば、ボケている画像、ぶれている画像、被写体に水がかぶっている画像、残渣がある画像などである。認識に不適な画像を「不適切画像」という。

画像認識部は、例えば、認識に適する画像であるか、認識に不適な画像であるか２分類の認識を行い、「認識に適する画像である」と認識した場合に、ＮＩＣＥ分類のような分類タスクを実行する。或いはまた、画像認識部は、ＮＩＣＥ分類のような分類タスクの認識処理の中に、「認識に不適な画像」といった分類を追加してもよい。

プロセッサ装置１６は、認識結果が「認識に不適な画像」以外である場合は、認識結果を保存する。その後、次の画像がプロセッサ装置１６によって受信され、この新たに受信した画像について画像認識が行われる。プロセッサ装置１６は、新たに受信した画像の認識結果が「認識に不適な画像」であるとされた場合は、この認識結果を（「認識に不適な画像」であるとの認識結果を）、保存されている認識結果に変更する。

認識結果は、表示装置１８に表示させることができる。ここで、認識結果が、保存されていたもの（保存されていた前回の認識結果）に変更された場合は、認識結果の表示に際して、前回の認識結果であることがわかるような表示を行うことが好ましい。「前回の認識結果であることがわかるような表示」の具体例として、例えば、認識結果を示す情報の横にアイコンを表示する形態、若しくは、認識結果を示す情報の表示色を変更する形態などがあり得る。表示装置１８は「表示部」の一例である。また、表示装置１８は、画像認識部の認識結果を報知する「報知部」の一例である。

《第一実施形態に係る医療画像処理装置の構成》
プロセッサ装置１６は、本発明の実施形態に係る医療画像処理装置の一例である。図４は、本発明の第一実施形態に係る医療画像処理装置の機能を示すブロック図である。図４に示す医療画像処理装置１６０は、画像取得部１６２と、画像認識部１６４と、判定部１６６と、認識結果保存部１６８と、変更処理部１７０と、表示制御部１７２と、表示部１７４と、を備える。

画像取得部１６２は、電子内視鏡１２を用いて撮影された時系列の画像ＩＭ１、ＩＭ２、ＩＭ３・・・を取得するインターフェースである。画像取得部１６２は、例えば、ビデオコネクタ４２Ａが接続されるコネクタ端子であってもよいし、デジタル信号処理回路７６の信号入力端子であってもよい。また、画像取得部１６２は、プロセッサ装置１６に設けられた通信ネットワーク端子、外部記憶メディア用のメディアインターフェース端子、若しくは、外部機器の接続用端子、又は、これらの適宜の組み合わせであってもよい。

画像認識部１６４は、画像取得部１６２を介して取得した画像から画像認識を行う処理部である。画像認識部１６４は、第１の認識部１６４Ａと、第２の認識部１６４Ｂとを含む。第１の認識部１６４Ａは、入力された画像が画像認識に適切であるか不適切であるかの認識を行う。第２の認識部１６４Ｂは、入力された画像からＮＩＥＣ分類又はＪＮＥＴ分類などに従い画像分類の処理を行う。なお、第２の認識部１６４Ｂは、画像分類の処理に代えて、又は、これと組み合わせて、病変領域などの注目領域を検出する処理を行ってもよい。第１の認識部１６４Ａが行う認識処理を「第１の認識処理」という。第２の認識部１６４Ｂが行う認識処理を「第２の認識処理」という。第１の認識部１６４Ａ及び第２の認識部１６４Ｂの各々は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。画像認識部１６４は、機械学習によって学習した学習済みモデルを用いて構成される。

第１の認識部１６４Ａから得られた認識結果が「認識に適する画像」である場合に、第２の認識部１６４Ｂによる認識処理が実行される。第２の認識部１６４Ｂは、画像から特徴量を抽出し、画像の分類、注目領域の検出、セグメンテーション、及び類似度の計算のうち、少なくとも１つの処理を行う。例えば、第２の認識部１６４Ｂは、ＮＩＣＥ分類やＪＮＥＴ分類など予め定められた分類方法に従い、画像分類を行う。

認識結果保存部１６８は、画像認識部１６４の認識結果を保存する記憶部である。認識結果保存部１６８は、図２に示したＲＡＭ７４の記憶領域であってよい。認識結果保存部１６８は、ＲＡＭ７４以外の図示せぬメモリの記憶領域であってもよい。認識結果保存部１６８に保存される認識結果は、順次に最新の情報に更新される。認識結果保存部１６８には、最新の（直近の）認識結果のみが保存されればよい。

判定部１６６は、画像認識部１６４の認識結果に応じて、画像認識部１６４の認識結果を保存するか否かを判定する。本例の判定部１６６は、第１の認識部１６４Ａからの認識結果を基に、認識結果の保存又は非保存を判定する。

第１の認識部１６４Ａからの認識結果が「認識に適する画像」である場合は、第２の認識部１６４Ｂによる第２の認識処理が実行される。この場合、判定部１６６は、認識結果を保存すると判定し、第２の認識部１６４Ｂから得られた認識結果が認識結果保存部１６８に保存される。また、この第２の認識部１６４Ｂから得られた認識結果は、表示制御部１７２を介して表示部１７４に表示される。表示制御部１７２は、図２に示した表示制御回路７８に相当する。表示部１７４は、表示装置１８であってよい（図１及び図２参照）。また、表示部１７４は、表示装置１８とは別の表示装置であってもよい。

その一方、第１の認識部１６４Ａからの認識結果が「認識に不適な画像」である場合は、第２の認識部１６４Ｂによる第２の認識処理が中止される。すなわち、第１の認識部１６４Ａが認識に不適な画像であると認識した医療画像について、第２の認識部１６４Ｂにおける処理を不実施とする。この場合、判定部１６６は、認識結果を保存しない（非保存）と判定する。

変更処理部１７０は、画像認識部１６４の認識結果に応じて、画像認識部１６４の認識結果を、認識結果保存部１６８に保存されている認識結果に変更する。変更処理部１７０は、判定部１６６が認識結果を非保存とする判定を与えた画像についての認識結果を、認識結果保存部１６８に保存されている認識結果に変更する。

変更処理部１７０による変更後の認識結果は、表示制御部１７２を介して表示部１７４に表示される。

認識結果保存部１６８には、変更処理部１７０による変更の処理を受けずに、画像認識部１６４の認識結果がそのまま維持された画像についての認識結果が保存されることになる。変更処理部１７０は、画像認識部１６４の認識結果を、認識結果保存部１６８に保存されている最新の（直近の）認識結果に変更する。

画像認識部１６４の機能は、図２で説明したデジタル信号処理回路７６、若しくは、ＣＰＵ７０、又はこれらの組み合わせによって実現できる。判定部１６６及び変更処理部１７０の機能は、ＣＰＵ７０によって実現できる。

《第一実施形態に係る医療画像処理装置の動作》
図５は、第一実施形態に係る医療画像処理装置の動作を示すフローチャートである。医療画像処理装置の動作は、医療画像処理方法と理解してもよいし、医療画像処理装置の作動方法、若しくはプロセッサ装置の作動方法と理解してもよい。

ステップＳ１２において、画像取得部１６２は入力画像を受信する。ここでの入力画像は、電子内視鏡１２を用いて撮影された被写体像を含む医療画像であり、時系列で順次に撮影される時系列画像の１つの画像である。例えば、入力画像は、動画を構成する１フレームの画像である。ステップＳ１２は「画像取得ステップ」の一例である。

ステップＳ１４において、画像認識部１６４は、入力画像に対して第１の認識処理を行う。

ステップＳ１６において、ＣＰＵ７０は、第１の認識処理の認識結果を基に、入力画像が第２の認識処理に適切な画像であるか否かを判定する。ステップＳ１６の判定結果が「Ｙｅｓ判定」である場合、すなわち、入力画像が第２の認識処理に適する画像である場合は、ステップＳ１８に進む。ステップＳ１８において、画像認識部１６４は、第２の認識処理を行う。ステップＳ１４及びステップＳ１８は、「画像認識ステップ」の一例である。

ステップＳ２０において、ＣＰＵ７０は、画像認識部１６４から認識結果を得る。

ステップＳ２２において、ＣＰＵ７０は、ステップＳ２０にて得られた認識結果を、認識結果保存部１６８に保存する。ステップＳ２２には「認識結果保存ステップ」の一例である。

その一方、ステップＳ１６の判定結果が「Ｎｏ判定」である場合、すなわち、入力画像が第２の認識処理に不適な画像である場合は、ステップＳ２４に進む。

ステップＳ２４において、ＣＰＵ７０は、認識結果保存部１６８に保存された認識結果を取得する。ステップＳ２６において、ＣＰＵ７０は、第１の認識処理の認識結果を、認識結果保存部１６８に保存されていた認識結果に変更して、認識結果を得る。ステップＳ２４及びステップＳ２６は、「変更処理ステップ」の一例である。

ステップＳ２０又はステップＳ２６にて得られた認識結果は、表示部１７４に表示される。

ステップＳ２２又はステップＳ２６の後、図５のフローチャートを終了する。時系列で取得される入力画像ごとに、図５のフローチャートの処理が繰り返される。

このような構成によれば、時系列で得られる画像の中に、認識に不適な画像が一時的に含まれた場合に、認識結果保存部１６８に保存してある直近の認識結果を用いて、真実性の高い妥当な認識結果を提示することができる。

これにより、認識に不適な画像から、真実性の低い認識結果（誤った認識結果）が生成されユーザに提供されてしまうことを回避できる。

また、認識に不適な画像についての認識結果を変更した場合でも、その後、認識に適した画像が得られると、ステップＳ１８～Ｓ２２の処理が行われるため、精度の高い認識が可能である。

〈認識に不適な画像が一定期間継続して取得された場合の対処〉
図５のフローチャートには示していないが、プロセッサ装置１６は、認識に不適な画像が一定期間継続して取得された場合、つまり、画像認識部１６４の認識結果を認識結果保存部１６８に保存されている認識結果に変更した医療画像の取得が一定期間続いた場合に、画像認識部１６４の認識処理を停止してもよい。この場合、表示部１７４に、警告メッセージなどを表示して、ユーザに注意を喚起する構成が好ましい。表示部１７４は「報知部」の一例である。

図４に示した第一実施形態では「第１の認識処理」と「第２の認識処理」を段階的に実施する例を示したが、このような２段階の認識処理を行う構成に代えて、１回の認識処理で「認識に不適な画像」の分類を含む複数のカテゴリーに分類する構成を採用してもよい。

《第二実施形態に係る医療画像処理装置の構成》
図４に示した第一実施形態では「第１の認識処理」と「第２の認識処理」を段階的に実施する例を示したが、このような２段階の認識処理を行う構成に代えて、１回の認識処理で「認識に不適な画像」の分類を含む複数のカテゴリーに分類する構成を採用してもよい。

図６は、本発明の第二実施形態に係る医療画像処理装置の機能を示すブロック図である。図４に示した構成に代えて、図６に示す構成を採用することができる。図６において、図４に示した構成と同一又は類似する要素には同一の符号を付した。図４との相違点を説明する。

図６に示す医療画像処理装置１６０の画像認識部１６４は、画像取得部１６２を介して取得した画像から画像認識を行う処理部である。画像認識部１６４は、ＮＩＣＥ分類又はＪＮＥＴ分類のような分類方法に従う分類タスクの認識処理の中に、「認識に不適な画像」の分類を追加したカテゴリー分類のものとなっている。画像認識部１６４は、入力された画像から、１回の認識処理にて、「認識に不適な画像」の分類を含む画像分類の処理を行う。

判定部１６６は、画像認識部１６４の認識結果を基に、認識結果を保存するか否かを判定する。

《第二実施形態に係る医療画像処理装置の動作》
図７は、第二実施形態に係る医療画像処理装置の動作を示すフローチャートである。図７において、図５に示したフローチャートと同一又は類似のステップには同一のステップ番号を付し、重複する説明は省略する。図５との相違点を説明する。

図７に示すフローチャートは、図５のステップＳ１４、ステップＳ１６及びステップＳ１８に代えて、ステップＳ１５及びステップＳ１７を含む。

ステップＳ１５において、画像認識部１６４は、入力画像に対して認識処理を行う。ここで実施する認識処理は、例えば、ＮＩＣＥ分類又はＪＮＥＴ分類のような分類のカテゴリーに、「認識に不適な画像」のカテゴリーを追加した画像分類の処理である。

ステップＳ１７において、ＣＰＵ７０は、入力画像から目的とする認識ができたか否かを判定する。ここでいう「目的とする認識」とは、「認識に不適な画像」以外のカテゴリーを認識することである。ステップＳ１５の認識処理によって、「認識に不適な画像」であるとの認識結果が得られた場合には、ステップＳ１７の判定結果が「Ｎｏ判定」となる。一方、ステップＳ１５の認識処理によって、「認識に不適な画像」以外のカテゴリーの認識結果が得られた場合には、ステップＳ１７の判定結果が「Ｙｅｓ判定」となる。

ステップＳ１７の判定結果が「Ｙｅｓ判定」となった場合は、ステップＳ２０に進む。

ステップＳ２０において、ＣＰＵ７０は、画像認識部１６４の認識結果を得る。

ステップＳ２２において、ＣＰＵ７０は、ステップＳ２０にて得られた認識結果を、認識結果保存部１６８に保存する。

その一方、ステップＳ１７の判定結果が「Ｎｏ判定」である場合、ステップＳ２４に進む。

ステップＳ２４において、ＣＰＵ７０は、認識結果保存部１６８に保存された認識結果を取得する。ステップＳ２６において、ＣＰＵ７０は、画像認識部１６４の認識結果を、認識結果保存部１６８に保存されていた認識結果に変更して、認識結果を得る。

ステップＳ２０又はステップＳ２６にて得られた認識結果は、表示部１７４に表示される。

ステップＳ２２又はステップＳ２６の後、図７のフローチャートを終了する。時系列で取得される入力画像ごとに、図７のフローチャートの処理が繰り返される。

《認識結果の表示例》
図８は、表示部１７４に表示される内視鏡診断支援画面の一例である。図８に例示したウインドウ３００は、画像表示エリア３０１と、認識結果表示エリア３１０と、を含む。図８には、認識に適する画像が取得されている場合の表示例が示されている。画像表示エリア３０１には、電子内視鏡１２を用いて撮影された医療画像３０２の画像内容がリアルタイムで表示される。図８では、医療画像３０２の画像内に、病変領域３０３が含まれている例が示されている。なお、１枚の画像内に複数の病変領域が含まれる場合がある。

認識結果表示エリア３１０には、例えば、認識結果として「癌性」であるか、「非癌性」であるかを示す情報が表示される。また、認識結果表示エリア３１０には、例えば、ＮＩＥＣ分類に従った認識結果が表示される。

図９は、表示部１７４に表示される内視鏡診断支援画面の他の例である。図９には、認識に不適な画像が取得された場合の表示例が示されている。図９に示したウインドウ３００の画像表示エリア３０１に表示された医療画像３０２は、例えば、認識に不適な画像の一例としてボケた画像となっている。このような不鮮明な画像が取得された場合、画像認識部１６４から得られる認識結果が、認識結果保存部１６８に保存してある認識結果に変更される。認識結果表示エリア３１０には、変更後の認識結果、すなわち、認識結果保存部１６８に保存してある認識結果が表示される。

このとき、認識結果の表示の横に、前回の認識結果であることをユーザに知らせるアイコン３１２が表示される。

電子内視鏡１２から得られる画像が認識に適した画像に戻った場合には、図９の画面から、図８の画面に復帰する。

《認識結果保存部１６８に保存されている認識結果であることを示す表示の例》
認識結果保存部１６８に保存されている認識結果であることを示す表示は、画像認識部１６４の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも一つの表示形態を含むものであればよく、これらの任意の組み合わせであってよい。図９に示したアイコン３１２は、記号表示の一例である。異色表示には、文字の色を変える態様に限らず、背景色を変える態様も含まれる。

《本発明の実施形態による利点》
上述した実施形態の構成によれば、次のような作用効果が得られる。

（１）時系列の医療画像の中に、ボケた画像など認識に不適な画像が一時的に含まれた場合に、認識結果保存部１６８に保存してある直近の認識結果を用いて、真実性の高い妥当な認識結果を提示することができる。

（２）これにより、認識に不適な画像から、真実性の低い認識結果（誤った認識結果）が生成されユーザに提供されてしまうことを回避できる。

（３）また、認識に不適な画像についての認識結果を変更した場合でも、その後、認識に適した画像が得られると、ステップＳ２０～ステップＳ２２の処理が行われるため、精度の高い認識が可能である。

（４）本発明の実施形態によれば、医師等にとって有益な診断支援を行うことができる。

《第三実施形態：医療情報管理システムへの応用例》
本発明に係る医療画像処理装置は、図１に例示した内視鏡システム１０のプロセッサ装置１６に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。

図１０は、医療情報管理システムの構成例を示すブロック図である。医療情報管理システム２００は、画像取込端末２０２と、画像保存サーバ２０４と、情報管理装置２１０と、表示装置２１８と、入力装置２１９と、を備える。画像取込端末２０２、画像保存サーバ２０４及び情報管理装置２１０の各々は、電気通信回線２３０に接続される。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。

電気通信回線２３０は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。電気通信回線２３０は、有線及び無線の適宜の組み合わせによって構成される。

内視鏡システム１０のプロセッサ装置１６は、電気通信回線２３０に接続される。プロセッサ装置１６によって生成された医療画像は、電気通信回線２３０を介して、画像取込端末２０２、画像保存サーバ２０４、及び情報管理装置２１０のうち少なくとも１つに取り込まれる。例えば、プロセッサ装置１６によって生成された医療画像は、画像取込端末２０２に送られる。画像取込端末２０２は、プロセッサ装置１６から医療画像を受信する。

画像取込端末２０２は、プロセッサ装置１６から受信した医療画像を画像保存サーバ２０４に送る。また、画像取込端末２０２は、プロセッサ装置１６から受信した医療画像を情報管理装置２１０に送信してもよい。

画像保存サーバ２０４は、様々な医療画像のデータベースを格納しておく記憶装置の役割を果たす。画像保存サーバ２０４に代えて、クラウドストレージであってもよい。画像保存サーバ２０４には、医療画像の他に、医療画像に含まれる注目領域（関心領域）、注目すべき対象の有無、画像分類の結果などの画像解析結果を記憶してもよい。

なお、図１０には、１つの内視鏡システム１０を示したが、電気通信回線２３０には、複数の内視鏡システムを接続し得る。また、電気通信回線２３０には、内視鏡システムに限らず、超音波診断装置など、他の医療画像診断装置が接続されてもよい。超音波診断装置から得られる超音波画像は「医療画像」の一例である。

情報管理装置２１０は、例えば、コンピュータのハードウェア及びソフトウェアによって実現される。情報管理装置２１０には、表示装置２１８と入力装置２１９が接続されている。情報管理装置２１０は、図４又は図６に示した医療画像処理装置１６０の機能の一部又は全部を含んでよい。例えば、情報管理装置２１０は、画像取得部１６２、画像認識部１６４、判定部１６６、認識結果保存部１６８、変更処理部１７０及び表示制御部１７２の機能を含む。表示装置２１８は、表示部１７４として機能し得る。情報管理装置２１０の機能は、１台又は複数台のコンピュータによって実現することができ、また、クラウドコンピューティングによって実現することもできる。情報管理装置２１０は、画像保存サーバ２０４の機能を含んでいてもよい。また、画像取込端末２０２は、画像取得部１６２として機能し得る。なお、画像取込端末２０２を省略した構成も可能であり、その場合、画像保存サーバ２０４及び／又は情報管理装置２１０がプロセッサ装置１６から医療画像を取り込むよう構成される。

上記のように構成された医療情報管理システム２００によれば、電子内視鏡１２からリアルタイムで得られる医療画像に限らず、画像保存サーバ２０４に保存されている動画等の再生の際にも、図５又は図７で説明したフローチャートの処理を行うことができ、図８及び図９で説明したような認識結果の表示を行うことが可能である。

情報管理装置２１０は、例えば、病院内の手術室、検査室、若しくは、カンファレンス室などに設置してもよいし、院外施設の医療機関、若しくは研究機関などに設置してもよい。情報管理装置２１０は、診察、治療、診断などの支援を行うワークステーションであってもよいし、医療業務を支援する業務支援装置であってもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。

《各処理部及び制御部のハードウェア構成について》
図４及び図６で説明した医療画像処理装置１６０の画像取得部１６２、画像認識部１６４、判定部１６６、認識結果保存部１６８、変更処理部１７０、及び表示制御部１７２などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

《変形例１》
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。また、被写体像を含む時系列の医療画像を生成する装置は、電子内視鏡に限らず、例えば、超音波診断装置などであってもよい。

《変形例２》
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び／又は治療支援の概念を含む。

《内視鏡システムの観察光について》
観察光は、白色光、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。

〈第１例〉
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第２例〉
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、３９０ｎｍから４７０ｎｍである。

〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。

《観察光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び／又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

電子内視鏡に用いる撮像素子は、各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。

《特殊光画像の生成例》
プロセッサ装置１６は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置１６は、特殊光画像取得部として機能する。プロセッサ装置１６は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）、或いはシアン（Ｃ）、マゼンタ（Ｍ）、及びイエロー（Ｙ）の色情報に基づく演算を行うことで得ることができる。

《特徴量画像の生成例》
プロセッサ装置１６は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。

《コンピュータに医療画像処理装置の機能を実現させるプログラムについて》
上述の実施形態で説明した医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

また、上述の実施形態で説明した医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

《実施形態及び変形例等の組み合わせについて》
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

《付記》
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の構成発明の開示を含む。

（付記１）
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

医療画像解析処理部は、画像認識部を含んでよい。

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。

（付記４）
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する 医療画像処理装置。

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ或いはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。

（付記１９）
付記１から付記１８のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。

（付記２０）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

［その他］
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。

１０ 内視鏡システム
１２ 電子内視鏡
１４ 光源装置
１６ プロセッサ装置
１８ 表示装置
１９ 入力装置
２０ 挿入部
２２ 先端硬質部
２２Ａ 先端面
２４ 湾曲部
２６ 軟性部
３０ 操作部
３１ アングルノブ
３２ 送気送水ボタン
３３ 吸引ボタン
３４ モード切替スイッチ
３５ ズーム操作部
３６ 処置具導入口
４０ ユニバーサルコード
４２ コネクタ
４２Ａ ビデオコネクタ
４２Ｂ ライトガイドコネクタ
４２Ｃ 送水コネクタ
４４ 送水タンク
５０ 照明窓
５２ 観察窓
５４ 鉗子出口
５６ 送気送水用ノズル
６０ 対物光学系
６２ 撮像素子
６４ アナログフロントエンド回路
６５ タイミングジェネレータ
６６ ＣＰＵ
６８ 撮像チップ
７０ ＣＰＵ
７２ ＲＯＭ
７４ ＲＡＭ
７６ デジタル信号処理回路
７８ 表示制御回路
１００ 第１光源
１０１ 第１光源駆動回路
１０２ 第２光源
１０３ 第２光源駆動回路
１０４ ＣＰＵ
１０５ 合波部
１２０ ライトガイド
１２１ 入射端
１２２ 出射端
１２４ 蛍光体
１６０ 医療画像処理装置
１６２ 画像取得部
１６４ 画像認識部
１６４Ａ 第１の認識部
１６４Ｂ 第２の認識部
１６６ 判定部
１６８ 認識結果保存部
１７０ 変更処理部
１７２ 表示制御部
１７４ 表示部
２００ 医療情報管理システム
２０２ 画像取込端末
２０４ 画像保存サーバ
２１０ 情報管理装置
２１８ 表示装置
２１９ 入力装置
２３０ 電気通信回線
３００ ウインドウ
３０１ 画像表示エリア
３０２ 医療画像
３０３ 病変領域
３１０ 認識結果表示エリア
３１２ アイコン
ＩＭ１、ＩＭ２、ＩＭ３ 画像
Ｓ１２～Ｓ２６ 医療画像処理装置における処理のステップ

Claims (20)

1. 体腔内を撮影する電子内視鏡と、
   前記電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、
   前記プロセッサ装置は、
   プロセッサと、前記プロセッサが実行するプログラムが記憶されるメモリと、を備え、
   前記プロセッサは、前記プログラムを実行することにより、
   前記電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得し、
   前記医療画像から画像認識を行い、
   前記医療画像から注目領域の検出及び分類のうち少なくとも一方を行い、
   前記時系列の前記医療画像に含まれる第１の医療画像が認識に不適な画像である場合に、前記第１の医療画像よりも先に取得された第２の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を前記第１の医療画像とともに表示させるための処理を行う、
   内視鏡システム。
2. 前記プロセッサは、
   前記画像認識による認識結果を前記メモリに保存し、
   前記保存された前記認識結果を表示させるための処理を行い、
   前記画像認識の処理は、前記医療画像が認識に不適な画像であると認識するタスクを含む、
   請求項１に記載の内視鏡システム。
3. 前記プロセッサは、
   前記画像認識によって前記第１の医療画像が認識に不適な画像であると認識した場合に、前記第１の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を含む認識結果を表示させずに、前記第２の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を含む認識結果を前記第１の医療画像とともに表示させるための処理を行う、
   請求項２に記載の内視鏡システム。
4. 前記プロセッサは、
   前記画像認識による認識結果に応じて、前記画像認識の認識結果を保存するか否かを判定し、判定結果に従い、前記画像認識の認識結果を前記メモリに保存する、
   請求項２又は３に記載の内視鏡システム。
5. 前記プロセッサは、
   前記判定において認識結果を非保存とする判定を与えた前記医療画像についての前記画像認識の認識結果を表示させずに、前記メモリに保存されている認識結果を表示させるための処理を行う、請求項４に記載の内視鏡システム。
6. 前記プロセッサは、
   前記画像認識の処理により認識に不適な画像であると認識した場合に、前記不適な画像であると認識した前記医療画像についての認識結果を非保存とする判定を行う、
   請求項４又は５に記載の内視鏡システム。
7. 前記プロセッサが認識に不適な画像であると認識した前記医療画像についての認識結果は、前記メモリに非保存とされる、
   請求項２から６のいずれか一項に記載の内視鏡システム。
8. 前記プロセッサは、
   前記第１の医療画像についての認識結果を、前記第２の医療画像についての認識結果に変更する処理を行い、
   前記変更の処理を受けずに、前記画像認識の認識結果が維持された前記医療画像についての認識結果が前記メモリに保存される、
   請求項２から７のいずれか一項に記載の内視鏡システム。
9. 前記プロセッサは、
   前記第１の医療画像についての認識結果の代わりに、前記メモリに保存されている最新の前記第２の医療画像についての認識結果を表示させるための処理を行う、
   請求項２から８のいずれか一項に記載の内視鏡システム。
10. 前記画像認識の認識結果を表示する表示部を備え、
    前記画像認識の認識結果に応じて、前記メモリに保存されている前記第２の医療画像についての認識結果が前記表示部に表示される請求項２から９のいずれか一項に記載の内視鏡システム。
11. 前記プロセッサは、
    前記メモリに保存されている前記第２の医療画像についての認識結果を表示させる場合に、前記メモリに保存されている認識結果であることを示す表示を行わせる、
    請求項２から１０のいずれか一項に記載の内視鏡システム。
12. 前記メモリに保存されている認識結果であることを示す表示は、前記画像認識の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも１つの表示形態を含む、
    請求項１１に記載の内視鏡システム。
13. 前記プロセッサは、
    前記画像認識によって認識に不適な画像であると認識された前記医療画像の取得が一定期間続いた場合に、前記画像認識の認識処理を停止する、
    請求項１から１２のいずれか一項に記載の内視鏡システム。
14. 前記プロセッサは、
    前記画像認識によって認識に不適な画像であると認識された前記医療画像の取得が一定期間続いた場合に、ユーザへの注意を喚起するメッセージを表示させるための処理を行う、
    請求項１から１３のいずれか一項に記載の内視鏡システム。
15. 前記不適な画像は、被写体がボケている画像である、
    請求項１から１４のいずれか一項に記載の内視鏡システム。
16. 前記不適な画像は、被写体がぶれている画像である、
    請求項１から１４のいずれか一項に記載の内視鏡システム。
17. 前記不適な画像は、被写体に水がかぶっている画像である、
    請求項１から１４のいずれか一項に記載の内視鏡システム。
18. 前記不適な画像は、被写体に残渣がある画像である、
    請求項１から１４のいずれか一項に記載の内視鏡システム。
19. 前記画像認識の処理は、前記取得された前記医療画像が認識に不適な画像であるか否かを認識する第１の認識処理と、
    前記取得された前記医療画像から注目領域の検出、及び前記医療画像の画像分類のうち少なくとも一方の処理を行う第２の認識処理と、
    を含み、
    前記プロセッサは、
    前記第１の認識処理により認識に不適な画像であると認識した前記医療画像について、前記第２の認識処理を不実施とする、
    請求項１から１８のいずれか一項に記載の内視鏡システム。
20. 前記プロセッサは、
    前記医療画像から１回の認識処理で、認識に不適な画像の分類を含む複数のカテゴリーに分類する、
    請求項１から１９のいずれか一項に記載の内視鏡システム。

Images