JP2020175051A - 診断支援システム、及び診断支援用プログラム - Google Patents

Abstract

【課題】病変の見落としを防止しつつも、病変の分類を内視鏡の技能に従って適切なタイミングで実行することができる診断支援システムを提供する。【解決手段】この診断支援システムは、撮像装置により得られた画像を表示する表示部と、画像中において所定の特徴を有する特定部位を検出する特定部位検出部と、表示部において、特定部位検出部で特定された部位を囲う図形を表示する表示制御部と、特定部位に関し、所定の基準に従って組織診断の予測を行う組織診断予測部とを備える。制御部は、特定部位検出部によって特定部位を検出する検出アルゴリズムを実行している間において所定の条件が成立した場合、組織診断予測部によって組織診断の予測を実行する組織診断アルゴリズムを開始する。【選択図】図１

Description

本発明は診断支援システム、及び診断支援用プログラムに関する。

我が国における大腸癌の罹患率や死亡数は年々増加傾向にある。その予防や治療成績の向上には、腫瘍性ポリープを早期のうちに大腸内視鏡によって発見し、切除することが重要とされている。

しかし、腫瘍性ポリープの検査精度は、内視鏡医の技能や機械の性能に依存しているのが現状である。大腸の鋸歯状病変は、大腸過形成ポリープ（ＨＰ）、鋸歯状線種（ＴＳＡ）、広基性・無茎性鋸歯状病変（ＳＳＡ／Ｐ）に分類され得る。ＴＳＡは明らかな腫瘍性の病変である。一方、ＳＳＡ／Ｐは従前は病変とは考えられていなかったが、近年、前駆病変として注目されている。このため、ＳＳＡ／Ｐを的確に内視鏡画像から検出し、組織診断予測（分類）の対象とすることが求められている。

しかし、ＨＰとＳＳＡ／Ｐを的確に判別することは、熟練した内視鏡医でも難しく、また、画像処理装置において正確に分類することも困難である。そこで、内視鏡医の技能や機械の性能によらず、検査精度の向上を図ることができる診断支援システムが望まれている。このような問題は、大腸内視鏡検査に限らず他の人体組織の診断についても同様に発生している。

特許文献１には、内視鏡により消化管の粘膜細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、テクスチャ解析により、非腫瘍、腺腫、癌及びＳＳＡ／Ｐの識別を行う診断支援システムが開示されている。しかし、この特許文献１の技術は、高倍率撮像機能を有する内視鏡を用いて、超拡大画像に基づく診断支援を行うものであり、通常の内視鏡においても汎用的に利用できるものではない。また、超拡大画像を利用することを前提とするものであり、病変の見落としという問題に対して効果的な解決手段を提供するものではない。

特開２０１７−７０６０９号公報

本発明は、上記の課題に鑑みてなされたものであって、病変の見落としを防止しつつも、病変の分類を内視鏡の技能に従って適切なタイミングで実行することができる診断支援システムを提供することを目的とするものである。

上記の課題を解決するため、本発明に係る診断支援システムは、撮像装置により得られた画像を表示する表示部と、前記画像中において所定の特徴を有する特定部位を検出する特定部位検出部と、前記表示部において、前記特定部位検出部で特定された特定部位を囲う図形を表示する表示制御部と、前記特定部位に関し、所定の基準に従って組織診断の予測を行う組織診断予測部と、前記特定部位検出部によって前記特定部位を検出する検出アルゴリズムを実行している間において所定の条件が成立した場合、前記組織診断予測部によって組織診断の予測を実行する組織診断アルゴリズムを開始する制御部とを備えたことを特徴とする。

このシステムにおいて、画像の状態を判定する画像状態検出部を更に備えることができる。この場合、制御部は、画像状態検出部の判定結果に従い、検出アルゴリズムと組織診断アルゴリズムを並行して実行することができる。ここで画像状態検出部は、画像が静止状態にあるか否かを判定するよう構成されたものとすることができる。

また、組織診断予測部は、画像を構成する複数のフレーム間における前記図形の重なり率に基づいて前記部位において病変が存在する可能性を示す確信度を算出するよう構成されることができる。

本発明に係る診断支援システムによれば、病変の見落としを防止しつつも、病変の分類を内視鏡の技能に従って適切なタイミングで実行することができる診断支援システムを提供することができる。

第１の実施形態の診断支援システム１の概略図である。 第１の実施の形態の診断支援システム１の動作の概要を示す概略図である。 第１の実施の形態の診断支援システム１の動作の全体の手順を示すフローチャートである。 図３の画像取得（ステップＳ１６）の手順の詳細を説明するフローチャートである。 図３のフリーズ判定（ステップＳ１７）の手順の詳細を説明するフローチャートである。 図３のユーザインタフェース画面の描画（検出用）（ステップＳ１８）の手順の詳細を説明するフローチャートである。 図３のユーザインタフェース画面の描画（組織診断予測（分類）用）（ステップＳ１８）の手順の詳細を説明するフローチャートである。 図３のバウンディングボックス推定（ステップＳ２０）の手順の詳細を示すフローチャートである。 第２の実施形態の診断支援システム１の概略図である。 各実施の形態の変形例を示す概略図である。

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

まず、本発明の第１の実施の形態の診断支援システムについて詳細に説明する。

（ハードウエア構成）
図１は、第１の実施の形態の診断支援システム１のハードウエア構成を説明する概略図である。この診断支援システム１は、内視鏡１００（撮像装置）、プロセッサ２００、ディスプレイ３００、及び光源部４００から大略構成される。

内視鏡１００は、被検体の体内、例えば大腸に挿入可能に構成されて被写体を撮像し、その撮像された画像の画像信号をプロセッサ２００に伝送する機能を有する。プロセッサ２００は、内視鏡１００からの画像信号を受信して所定の信号処理を実行し、後述する検出や組織診断の予測を実行する。

内視鏡１００は、挿入部１０１、手元操作部１０２、屈曲部１０３、先端部１０４、ユニバーサルケーブル１０５、及びコネクタ部１０６を備えている。挿入部１０１は、可撓性を有し、その長手方向に沿ってライトガイド、各種配線及び送水管等を備えており、被検体の体内に挿入される。挿入部１０１は、その一端において手元操作部１０２と接続されている。手元操作部１０２は、例えば湾曲操作ノブ１０２Ａ及び操作ボタン１０２Ｂ等を備えている。操作ボタン１０２Ｂは、気流を送り込むための送気ボタン、水流を送り込むための送水ボタンの他、撮像中の画像から静止画像を取得するためのフリーズボタン１０２Ｂｆを含み得る。

挿入部１０１の先端には、屈曲可能に構成された屈曲部１０３が設けられている。手元操作部１０２に設けられた湾曲操作ノブ１０２Ａの回転操作に連動した操作ワイヤ（図示せず）の牽引によって屈曲部１０３は屈曲する。更に、屈曲部１０３の先端には、ＣＣＤやＣＭＯＳセンサ等の撮像素子を備えた先端部１０４が連結されている。先端部１０４は、湾曲操作ノブ１０２Ａの回転操作による屈曲部１０３の屈曲動作に応じてその向きが変更されるよう構成されている。

手元操作部１０２とコネクタ部１０６とは、ユニバーサルケーブル１０５により接続されている。ユニバーサルケーブル１０５は、その内部にライトガイドや各種配線を含んでいる。コネクタ部１０６は、内視鏡１００をプロセッサ２００に接続させるための各種コネクタを含んでいる。

プロセッサ２００は、内視鏡１００で撮像された画像に所定の画像処理を施してディスプレイ３００に表示させる。また、プロセッサ２００は、得られた画像の分析を行って、画像中から特定の部位を検出するとともに、検出された部位を、その性状に従って分類（組織診断予測）を行う。一例としてプロセッサ２００は、検出された部位を、大腸過形成ポリープ（ＨＰ）、鋸歯状線種（ＴＳＡ）、広基性・無茎性鋸歯状病変（ＳＳＡ／Ｐ）等に分類することが可能に構成される。

ディスプレイ３００は、例えば例えばユーザインタフェース（ＵＩ）３０１、観察画像表示部３０２、及びキャプチャ画像表示部３０３を表示画面に表示する。ＵＩ３０１は、例えば表示の内容、検出の手法、学習用データの収集の有無、その他本診断支援システムの動作に関する各種命令やパラメータを入力し、又は表示するためのインタフェースである。観察画像表示部３０２には、内視鏡１００が撮像している画像を表示する他、検出された特定部位の位置を示すバウンディングボックスＢＸが表示される。バウンディングボックスＢＸは、所定の特徴を有する特定部位の位置を示すための図形の一例であって、図示の例は矩形であるが、これに限定されるものではないことは言うまでもなく、ユーザにその存在を認知可能なものであればその形状は不問である。キャプチャ画像表示部３０３は、現在撮像中（リアルタイム）の画像ではなく、例えば現在撮像中のフレームよりも前のフレームをキャプチャ（保存）した後表示する部分である。キャプチャ画像表示部３０３は、新しい病変が検出された場合に、その検出結果をレポートとして出力する表示部としても機能し得る。

次に、プロセッサ２００の構成の詳細を、引き続き図１を参照して説明する。プロセッサ２００は、一例として、画像処理部２０１、インタフェース２０２、ハードディスクドライブ２０３、ＲＯＭ２０４、ＲＡＭ２０５、入力部２０６、インタフェース２０７、ＣＰＵ２０８、表示制御部２０９、特定部位検出部２１０、組織診断予測部２１１、画像状態検出部２１２、学習用データ生成部２１３を備えている。

画像処理部２０１は、内視鏡１００の固体撮像素子（図示せず）から受信した映像信号に対し所定の画像処理を行ってデジタル信号に変換する。デジタル信号に変換された映像信号は、インタフェース２０２を介してＣＰＵ２０８に取り込まれる。ハードディスクドライブ２０３は、本システムにおける診断支援システムの動作を制御するコンピュータプログラム、及びその動作に用いるデータ群を記憶する。大腸内視鏡データは、大腸内視鏡画像と、その病変に関する診断データとを含む。

ＲＯＭ２０４は、例えばこのコンピュータプログラムの設定ファイルや、その他装置の動作パラメータ等を記憶する記憶装置であり、ＲＡＭ２０５は、コンピュータプログラムをハードディスクドライブ２０３から読み出して記憶するとともに、コンピュータプログラムの動作中の処理データ等を一時記憶する記憶装置である。入力部２０６は、例えば周知のキーボード、マウス、テンキー、ジョイスティック、タッチパネル等、ユーザが各種の入力を行うための装置であり、インタフェース２０７を介してＣＰＵ２０８に対しデータの送信を行う。入力部２０６は、内視鏡１００に設けられる操作ボタン１０２Ｂも含む。その他、内視鏡１００及び／又はプロセッサ２００には、検査の終了を指示する終了ボタン（図示せず）を設けることもできる。

表示制御部２０９は、ディスプレイ３００上における画面表示を制御する制御部である。表示制御部２０９は、検出結果に従ってディスプレイ３００の表示状態を変更すると共に、入力部２０６からの入力に従ってもその表示状態を変化させることが可能なよう構成されている。

特定部位検出部２１０は、前述の学習用データによって定まる検出基準（検出用モデル）に従い、特定部位（病変、前駆病変等）を撮像画像の中から検出するモジュールであり、前述のコンピュータプログラムによりプロセッサ２００内にソフトウエア的に実現され得る。特定部位検出部２１０は、特定部位が検出されると、その撮像画像上での位置を含むデータをＣＰＵ２０８に出力する。表示制御部２０９は、ＣＰＵ２０８から当該情報を受信し、該当する箇所にバウンディングボックスＢＸを表示する。バウンディングボックスＢＸは、大腸内視鏡検査の間において多数ディスプレイ３００上で表示されるので、内視鏡医は、このバウンディングボックスＢＸの表示に注意しつつ、検査を続けることができる。なお、特定部位検出部２１０、組織診断予測部２１１、及び画像状態検出部２１２は、ソフトウエア的に実現される代わりに、ハードウエア、例えばＤＳＰ（Digital Signal Processor）等により実現されてもよい。

組織診断予測部２１１は、所定の条件が成立した場合において、特定部位検出部２１０で検出された特定部位に対し、組織診断予測用モデルに従い、組織診断予測（分類）を行う機能を有し、同様に前述のコンピュータプログラムによりプロセッサ２００内にソフトウエア的に実現され得る。ここで、所定の条件は、一例として、以下で説明するフリーズ状態が画像状態検出部２１２により検出された場合である。組織診断予測用モデルは、例えばロジスティック回帰、単純ベイズ分類器、サポートベクターマシン、ニューラルネットワークなどに基づいて生成され得るが、特定のものに限定されるものではない。ニューラルネットワークとしては、順伝播型ニューラルネットワークと再帰型（リカレント）ニューラルネットワークのいずれも利用することが可能である。なお、組織診断予測部２１１に加え、病変の種類を鑑別する病変鑑別部を更に備えても良い。

画像状態検出部２１２は、映像信号が所定の状態にあるか否かを検出するモジュールであり、同様にコンピュータプログラムによりプロセッサ２００内にソフトウエア的に実現され得る。例えば、画像状態検出部２１２は、撮像中の画像の単位時間当たりの変化が所定量未満であるか否かを検知する。図２に模式的に示すように、内視鏡１００により大腸の撮像が行われる場合、本システムのユーザである内視鏡医Ｄは、内視鏡１００の挿入部１０１を大腸ＬＢ内で出し入れする動作（矢印Ａ）を行う。この出し入れの動作により、先端部１０４が大腸ＬＢ内を移動することで、撮像画像は刻々と変化する。

しかし、内視鏡医Ｄが挿入部１０１を移動させる手を止めるか、又は前述のフリーズボタン１０２Ｂｆを押すと、撮像画像の変化は止まるか、又はその変化が微小となる。以下では、このように挿入部１０１の移動が止められたり、フリーズボタン１０２Ｂｆが押されたりすることにより、単位時間当たりの撮像画像の変化が所定値未満となった状態を、以下では「フリーズ状態（静止状態）」と称する。画像状態検出部２１２は、このようなフリーズ状態（静止状態）を検出する機能を有するモジュールである。具体的に画像状態検出部２１２は、あるフレーム（第１のフレーム）と、そのフレームよりも時間的に前のフレーム（第２のフレーム）との比較に基づいて、撮像画像がフリーズ状態か否かを判定することができる。なお、画像状態検出部２１２は、撮像中の画像が、白色光画像なのか、ＮＢＩ（Narrow Band Imaging（登録商標））画像なのか、それとも染色画像なのかも、フリーズ状態の検出と共に検出可能とされている。

この実施の形態では、特定部位検出部２１０は、検査の実行中常に動作しており、特定部位検出部２１０は、ユーザによる入力や検出の結果等に拘わらず（終了ボタン等を含む検査終了の指示が無い限り）、特定部位の検出を継続する。一方、組織診断予測部２１１は、特定の条件が成立した場合にのみ動作を開始し、特定部位検出部２１０における特定部位の検出と並行して、組織診断の予測を実行する。すなわち、ＣＰＵ２０８及びプログラムは、画像状態検出部２１２の判定結果に従い、特定部位検出部２１０による検出アルゴリズムと組織診断予測部２１１による組織診断アルゴリズムを並行して実行するよう構成されている。このように、この実施の形態では、特定部位検出部２１０を常時動作させる一方、組織診断予測部２１１は、特定の条件が成立した場合にのみ特定部位検出部２１０と並行して動作させることが可能とされており、これにより、特定部位の見落としを防止しつつも、内視鏡医のスキル等に合わせて適切なタイミングで組織診断の予測を実行することができる。

例えば、スキルが必ずしも高くない内視鏡医は、挿入部１０１の動きを頻繁に止めたり（又は遅くしたり）、頻繁にフリーズボタン１０２Ｂｆを押すことで、検出された測定部位に対し高い頻度で組織診断予測を実行することができる。これにより、特定部位の見落としも防ぎつつ、内視鏡医のスキルに応じ、高い頻度で組織診断予測の結果をディスプレイ３００に表示することができる。

一方、スキルが高い内視鏡医は、自身のスキルに合わせた速度で挿入部１０１を操作し、自身の診断スキルに合わせたタイミングで挿入部１０１の動きを適宜止めたり、目に止まった特定部位の位置でフリーズボタン１０２Ｂｆを押したりして、その特定部位の組織診断予測を実行することができる。特定部位検出部２１０による特定部位の検出は、内視鏡医のスキルに拘わらず、内視鏡１００により撮像される限り常時行われるが、組織診断予測部２１１が動作するタイミングは、内視鏡医のスキルによって異なる。スキルの高い内視鏡医がこのシステムにおいて検査を実行する場合、スキルが必ずしも高くない内視鏡医が検査を実行する場合に比べ、組織診断予測部２１１による組織診断予測が行われる頻度は小さくなる。すなわち、内視鏡医のスキルに合わせたタイミングで組織診断予測を行うことができる。換言すれば、本実施の形態のシステムによれば、スキルの高い内視鏡医にとっては不要な情報が表示されることを防止することができる。

（動作）
次に、図３〜図８のフローチャートを参照して、実施の形態の診断支援システムの動作を説明する。図３のフローチャートは、本システムの動作の全体の手順を示しており、図４〜図８は、図３のフローチャート中の一部のステップを更に詳細に説明している。これらのフローチャートに示す動作は、ハードディスクドライブ２０３に格納されたコンピュータプログラムに従って規定される。

（動作の全体概要）
図３に示すように、本診断支援システムによる検査が開始されると、まず、ＣＰＵ２０８は、ＲＯＭ２０４に格納された設定ファイルから、ソフトウエアにおける判定や検出に必要なパラメータを読み出す（ステップＳ１１）。そして、ユーザインタフェースを起動し（ステップＳ１２）、ディスプレイ３００の一部に表示する。

ステップＳ１２で読み出されたパラメータをＲＡＭ２０５に入力し記憶させた後、診断支援用プログラムの動作の開始を指示する操作が、ユーザによってなされる（ステップＳ１３）。開始を指示する操作は、ユーザインタフェース３０１上のアイコンをクリックすることによる指示であってもよいし、単に内視鏡１００に対する操作の開始を検知することにより、指示に替えてもよい。

操作の開始後、診断支援用プログラムは、ステップＳ１４において子スレッドを作成し、以後、親スレッドと子スレッドとが並行して実行される。親スレッド（ステップＳ１５〜Ｓ１９）は、終了ボタンが押されない限り常時継続される。一方、子スレッド（ステップＳ２０:バウンディングボックス推定）も、バウンディングボックスＢＸの表示処理に関しては常時継続して実行されるが、組織診断予測部２１１の動作に基づく組織診断予測は、フリーズ判定の結果が肯定的（ＹＥＳ）である場合にのみ実行される。フリーズ判定の結果が否定的（ＮＯ）である場合には、子スレッド（ステップＳ２０）では、特定部位の検出及びバウンディングボックスＢＸの表示のみが行われ、組織診断予測は実行されない。

親スレッド（ステップＳ１５〜Ｓ１９）では、終了ボタンが押されたか否かが判定され（ステップＳ１５）、押されていなければステップＳ１６に移行し、押されていれば、ステップＳ２１に移行して子スレッドを終了した後、動作は終了する。

ステップＳ１６では、内視鏡１００で撮像された画像が画像処理部２０１により取得される。取得された画像は子スレッドに渡される（子スレッドでの処理については後述する）。親スレッドでは、続くステップＳ１７において、撮像された画像がフリーズ状態にあるか否かが判定される。その判定結果は子スレッドに渡される。

続くステップＳ１８では、得られた画像上に、バウンディングボックスＢＸ、組織診断予測の結果（病変の種類に関する判定）を示す「ラベル」、及び組織診断予測の確信度（所定の病変に該当である可能性）などの情報を重畳したユーザインタフェース画面を描画し、ディスプレイ３００に表示する。なお、ラベル情報、及び確信度の情報は、組織診断予測部２１１により組織診断予測が実行されたタイミングでのみ受信され、描画される。組織診断予測が実行されていないタイミングにおいては、バウンディングボックスＢＸのみが表示される。なお、バウンディングボックスＢＸ、ラベル、確信度以外に、病変の部位、個数、良性／境界／悪性の判定などの情報が表示項目に含まれても良い。

こうして撮像され描画された画像データは、学習用データ生成部２１３において収集され、これらの画像データに基づいて、学習用データ生成部２１３において学習用データが生成される（ステップＳ１９）。学習用データは、予めハードディスクドライブ２０３にも保存されており、このような事前の学習用データと、新たに生成された学習用データとを合わせて新たな学習用データ群とすることができる。なお、ハードディスクドライブ２０３に事前に記憶されている学習用データのみを用い、このステップＳ１９は省略することもできる。

（画像取得（ステップＳ１６））
次に、図４を参照して、ステップＳ１６の画像取得の詳細について説明する。まず、ステップＳ３１において、画像処理部２０１のキャプチャボード（図示せず）から画像データ（例：１９２０×１９８０画素）が読み取られる。続いて、ステップＳ３２において、読み取られた画像データの所定の部分が、Configファイル等で指定された大きさに従って切り取られる。

次に、ステップＳ３２で切り取られた画像が、検出に適した大きさにリサイズされて検出分類用画像として生成されると共に、ディスプレイ３００での表示に適した大きさにリサイズされて表示用画像として生成される（ステップＳ３３、Ｓ３４）。

（フリーズ判定（ステップＳ１７））
続いて、図５を参照して、図３のステップＳ１７のフリーズ判定の詳細について説明する。フリーズ判定は、図１の画像状態検出部２１２において行われる。まず、ステップＳ１６（図４のステップＳ３４）で取得された表示用画像を、更に小さい画素数（例えば３０×３０画素）にリサイズし（ステップＳ４１）、更にグレースケール画像に変換する（ステップＳ４２）。

続いて、グレースケール画像の各画素の画素値と、それよりも時間的に前のフレーム中のグレースケール画像の各画素の画素値との重み付け和を計算する（ステップＳ４３）。そして、その重み付け和と現在のフレームの画素値との差分を計算する（ステップＳ４４）。

ステップＳ４５では、ステップＳ４４で計算された差分が、２回連続で閾値を下回ったか、又は最後に閾値を下回ってから２０フレーム以内であるか否かが判定される。ＹＥＳの場合、画像状態検出部２１２は、対象画像がフリーズ状態にあると判定し（ステップＳ４６）、フリーズとの判定結果を出力する。ＮＯの場合には、フリーズ状態ではないと判定する（ステップＳ４７）。そして、ステップＳ４４で計算された差分が、最後に閾値を下回ってから３０フレーム以上経過しているか否かが判断される（ステップＳ４８）。ＹＥＳであれば、３０フレーム前とは異なる箇所を撮影しているものと判断し、差分値等についての積算結果をクリア（消去）した上で（ステップＳ４９）、フリーズ状態ではないとの判定結果が出力されフリーズ判定は終了する。一方、ステップＳ４８の判定結果がＮＯであれば、積算結果はそのままとしつつ、フリーズ状態ではないという判定結果が出力され、同様のフリーズ判定動作が継続される。

（ユーザインタフェース描画（検出用）（ステップＳ１８））
続いて、図６のフローチャートを参照して、図３のステップＳ１８のユーザインタフェース画面の描画（フリーズ状態ではなく、特定部位の検出のみが継続される場合）の手順の詳細を説明する。換言すると、図６のフローチャートは、図３のフローチャートのステップＳ１７においてフリーズ状態ではないという判定がされた場合におけるステップＳ１８の動作の詳細を説明している。

図１のステップＳ１７において、画像状態検出部２１２によりフリーズ状態ではないという判定結果が得られると（図６のステップＳ５１）、ステップＳ５２へ移行する。なお、フリーズ状態であるという判定がされた場合には、組織診断予測のための分類用ユーザインタフェース画面の描画を行う。これについては後述する。

ステップＳ５２では、バウンディングボックスＢＸを描画すべき特定部位が検出されたか否かが検出される。このとき、確信度が閾値以下の特定部位については検出対象から除外され、バウンディングボックスＢＸも表示されない。

ステップＳ５２の判定結果がＹＥＳである場合、ステップＳ５３では、その特定部位の周囲にバウンディングボックスＢＸを描画する。検出された特定部位が複数個存在する場合、バウンディングボックスＢＸも複数個描画される。なお、バウンディングボックスＢＸの表示に対応して、プロセッサ２００は、図示しないスピーカから効果音を発生させることができる。

ステップＳ５２の判定結果がＮＯの場合、ステップＳ６１に移行して、ユーザインタフェース画面として描画済みの画像をディスプレイ３００に表示する。

ステップＳ５３でバウンディングボックスＢＸが描画されると、続くステップＳ５４では、バウンディングボックスＢＸの面積（複数個のバウンディングボックスＢＸがある場合、その面積の合計）が計算される。そして、その面積がディスプレイ３００の表示画面の中で占める割合が所定値以上であるか否か、例えば、表示画面の面積の１％以下であるか否かが判定される。

ステップＳ５４での判定結果がＹＥＳである場合には、ステップＳ５５に進み、当該フレームの表示を例えば５フレーム以上続ける。このように、バウンディングボックスＢＸの表示数が少ない場合には、複数フレーム（例えば５フレーム）に亘って表示することにより、ユーザにそのバウンディングボックスＢＸを認知され易くする。

一方、ステップＳ５４の判定結果がＮＯである場合（バウンディングボックスＢＸの面積が１％より大きい場合）には、ステップＳ５６に移行する。ステップＳ５６では、バウンディングボックスＢＸの表示とともに発せられる効果音の前回の再生から３０フレーム以内であるか否かが判定される。３０フレーム以内である場合、再度効果音を発することは、病変等の検出のために不要であり、ユーザに不快感を与える虞がある。このため、ステップＳ５６の判定結果がＹＥＳであれば、前述のステップＳ６１に移行して、効果音を発することなくＵＩ描画済の画像を表示して図６の動作を終了する。

一方、ステップＳ５６の判定結果がＮＯであれば、ステップＳ５７に移行する。ステップＳ５７では、前回の効果音の再生から４０フレーム以内であるか否かが判定される。すなわち、前回の効果音の再生から３０フレームを超えているが、４０フレーム以内である場合には（ステップＳ５７のＹＥＳ）、効果音を再生させ、その後効果音再生タイミングを計測するタイマの計数値をリセットして（ステップＳ５９）、ステップＳ６０に移行する。一方、前回の効果音の再生から４０フレームを超えている場合には（ステップＳ５７のＮＯ）、ステップＳ５８では、その画像をキャプチャ（保存）し、リアルタイムな画像を表示する画像表示部３０２の横にキャプチャ画像表示部３０３に表示すると共に、効果音を再生する。そして、ユーザインタフェース画面として描画済の画像をディスプレイ３００に表示する（ステップＳ６０）。なお、ステップＳ５７、Ｓ５８での判定基準である３０フレーム及び４０フレームは、あくまでも一例であり、他のフレーム数が判定基準として採用されてもよいことは言うまでもない。

（ユーザインタフェース描画（分類用）（ステップＳ１８））
続いて、図７のフローチャートを参照して、図３のステップＳ１８のユーザインタフェース画面の描画（フリーズ状態ではあり、検出された特定部位の組織診断予測（分類）が実行される場合）の手順の詳細を説明する。換言すると、図７のフローチャートは、図３のフローチャートのステップＳ１７においてフリーズ状態であると判定された場合におけるステップＳ１８の動作の詳細を説明している。

図１のステップＳ１７において、画像状態検出部２１２によりフリーズ状態であるとの判定結果が得られると（図７のステップＳ７１）、ステップＳ７２に移行する。なお、フリーズ状態ではないという判定がされた場合には、特定部位の検出のためのユーザインタフェース画面の描画を行う（図６で既に前述した動作）。

ステップＳ７２では、特定部位が画面中で検出されたか否かが判断される。検出がされない場合（ＮＯ）、ステップＳ７７に移行し、ユーザインタフェース画面として描画済みの画像をディスプレイ３００に表示する。

一方、ステップＳ７２で特定部位が画面中で検出されたと判断される場合（ＹＥＳ）、ステップＳ７３では、その検出された特定部位に係るバウンディングボックスＢＸ（１）と、過去のフレームで検出された特定部位に係るバウンディングボックスＢＸ（０）との重なり率Ｉｏｕが０．３以上であるか否かが判断される。重なり率が０．３以上であった場合、ラベル（病変の種類）に応じて、確信度が積算される。

このようにして確信度が積算され、その積算値が６００％以上となった場合（ステップＳ７４のＹＥＳ）、バウンディングボックスＢＸとともに、ラベル（病変の種類）、及び確信度がディスプレイ３００に表示される（ステップＳ７５）。一方、積算値が６００％に満たない場合には、ｃｌａｓｓｉｆｙｉｎｇ（分類中）との表示がディスプレイ３００になされ、同様の手順が継続される。

（バウンディングボックス推定（ステップＳ２０））
続いて、図８のフローチャートを参照して、バウンディングボックス推定（ステップＳ２０）の実行手順の詳細を説明する。このステップＳ２０では、図３で説明した通り、フリーズ状態の判定の結果に従って、特定部位の検出及びバウンディングボックスＢＸの表示のみを行う状態と、バインディングボックスＢＸの表示に加えて、当該特定部位について組織診断予測をも行う状態とが切り替えられる。

具体的に説明すると、まず、ステップＳ８１では、ステップＳ１７（図３）のフリーズ判定結果に従い、フリーズ状態であるか否かの判定がなされる。フリーズ状態と判定された場合（ステップＳ８１のＹＥＳ）、組織診断予測用モデルが適用され、このモデルに従って検出された特定部位に関して組織診断予測が実行される（ステップＳ８２）。一方、フリーズ状態ではないと判定された場合（ステップＳ８１のＮＯ）、特定部位の検出用モデルが適用され、このモデルに従って、特定部位の検出のみが実行される（ステップＳ８３）。

ステップＳ８４では、検出された特定部位に関し、上述のモデルに従って確信度が演算され、その確信度が閾値以下であるか否かが判断される。閾値以下であれば、その特定部位に関するバウンディングボックスＢＸは削除される。そして、続くステップＳ８５では、過去のｘ個のフレームで検出されたｙ個以上のバウンディングボックスＢＸとの関係で重なり率Ｉｏｕが閾値未満であるバウンディングボックスＢＸが削除される。これにより、特定部位である可能性が低い部分に関してバウンディングボックスＢＸが表示されることが抑制され、診断を容易にすることができる。その後、組織診断予測モデルが適用されている場合には、バウンディングボックスＢＸ、ラベル、及び確信度がディスプレイ３００に表示され、検出用モデルが適用されている場合にはバウンディングボックスＢＸのみが表示され、このステップＳ２０は終了する。

（効果）
以上説明したように、第１の実施の形態の診断支援システムによれば、特定部位の検出を継続している間において、撮像中の画像がフリーズ状態となったか否かを画像状態検出部２１２により検出し、その結果に従って適宜組織診断予測部２１１が動作する。このため、病変の見落としを防止しつつも、病変の分類を内視鏡の技能に従って適切なタイミングで実行することができる。

［第２の実施の形態］
図９は、第２の実施の形態の診断支援システム１のハードウエア構成を説明する概略図である。図９において、図１と同一の構成要素については同一の参照符号を付しているので、以下では重複する説明は省略する。この第２の実施の形態の診断支援システム１は、第１の実施の形態（図１）の画像状態検出部２１２に代えて（又はこれに追加して）、フリーズボタン検出部２１２Ａを備えている。第１の実施の形態では、撮像された画像自体を比較してフリーズ状態か否かを画像状態検出部２１２により判定する。第２の実施の形態では、これに代えて（又はこれに追加して）、内視鏡１００のフリーズボタン１０２Ｂｆ自体の操作信号をフリーズボタン検出部２１２Ａにおいて検出し、その結果に従って組織診断予測部２１１において組織診断の予測を実行する組織診断アルゴリズムを開始する。この形態によっても、第１の実施の形態と同様の効果を奏することができる。

［変形例］
上述の実施の形態では、診断支援システム１が内視鏡１００、プロセッサ２００、ディスプレイ３００、及び光源部４００を含む例を説明した。これらはあくまでも一例であり、発明の趣旨を逸脱しない範囲において様々な追加、変更、改変等が可能である。図１０の（Ａ）〜（Ｄ）は、変形例の一例をそれぞれ示している。なお、図１０（Ａ）〜（Ｄ）では、簡略化のため光源部４００の図示は省略している。

図１０（Ａ）は、プロセッサ２００がスタンドアロン型のサーバとして提供され、ディスプレイ３００と接続される例を示している。スタンドアロン型のサーバであるプロセッサ２００に、本実施の形態に係るソフトウエアがインストールされる。

図１０（Ｂ）は、プロセッサ２００が、クラウドに接続される医局サーバとして構成され、医局サーバは更にクラウドにより外部のサーバと接続され、本実施の形態に係るソフトウエアは外部サーバから供給される。医局サーバ（２００）は、内視鏡１００と直接接続されたベッドサイドＰＣ５００Ａと院内ネットワーク（ＬＡＮ等）を介して通信可能に接続され、このベッドサイドＰＣ５００Ａが、ディスプレイ３００としても機能する。医局サーバ２００とソフトウエアとは、同一の企業から提供されてもよいし、別々の企業から提供されてもよい。

図１０（Ｃ）は、内視鏡１００、ベッドサイドＰＣ５００Ｂ、及びサーバ２００により構成されＡ社から提供される内視鏡システムに対し、本実施の形態の、Ａ社とは別のＢ社が生産したソフトウエアが、当該内視鏡システムのオープンプラットフォームを利用する形でインストールされる場合を示している。

また、図１０（Ｄ）は、内視鏡１００を制御する支援診断システムとして、ベッドサイドＰＣ５００Ｃ（ディスプレイ３００含む）、及びスタンドアロン型のサーバ２００を含むシステムの例を示している。本実施の形態のソフトウエアは、サーバ２００にインストールされ得る。ベッドサイドＰＣ５００Ｃとサーバ２００とは、同一の企業から提供されてもよいし、複数企業の共同開発によるものであってもよい。

［その他］
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
置換をすることが可能である。

１…診断支援システム、 １００…内視鏡、 １０１…挿入部、 １０２…手元操作部、 １０２Ａ…湾曲操作ノブ、 １０２Ｂ…操作ボタン、 １０２Ｂｆ…フリーズボタン、 １０３…屈曲部、 １０４…先端部、 １０５…ユニバーサルケーブル、 １０６…コネクタ部、 ２００…プロセッサ、 ２０１…画像処理部、 ２０１…画像処理部、 ２０２…インタフェース、 ２０３…ハードディスクドライブ、 ２０４…ＲＯＭ、 ２０５…ＲＡＭ、 ２０６…入力部、 ２０７…インタフェース、２０８…ＣＰＵ、 ２０９…表示制御部、 ２１０…特定部位検出部、 ２１１…組織診断予測部、 ２１２…画像状態検出部、 ２１３…学習用データ生成部、 ３００…ディスプレイ、 ３０１…ユーザインタフェース、 ３０２…観察画像表示部、 ４００…光源部、 ＢＸ…バウンディングボックス。

Claims (7)

1. 撮像装置により得られた画像を表示する表示部と、
   前記画像中において所定の特徴を有する特定部位を検出する特定部位検出部と、
   前記表示部において、前記特定部位検出部で特定された特定部位を囲う図形を表示する表示制御部と、
   前記特定部位に関し、所定の基準に従って組織診断の予測を行う組織診断予測部と、
   前記特定部位検出部によって前記特定部位を検出する検出アルゴリズムを実行している間において所定の条件が成立した場合、前記組織診断予測部によって組織診断の予測を実行する組織診断アルゴリズムを開始する制御部と
   を備えたことを特徴とする診断支援システム。
2. 前記画像の状態を判定する画像状態検出部を更に備え、
   前記制御部は、前記画像状態検出部の判定結果に従い、前記検出アルゴリズムと前記組織診断アルゴリズムを並行して実行する、請求項１に記載の診断支援システム。
3. 前記画像状態検出部は、前記画像が静止状態にあるか否かを判定するよう構成された、請求項２に記載の診断支援システム。
4. 前記画像状態検出部は、前記画像を構成する第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの比較に基づいて、前記画像が静止状態か否かを判定する、請求項３に記載の診断支援システム。
5. 前記組織診断予測部は、
   前記画像を構成する複数のフレームの間における前記図形の重なり率に基づいて前記特定部位において病変が存在する可能性を示す確信度を算出するよう構成された、請求項１に記載の診断支援システム。
6. 前記特定部位検出部における特定部位の検出結果、又は前記組織診断予測部における組織診断の予測の結果の少なくともいずれか一方に基づいて学習用データを生成する学習用データ生成部を更に備える、請求項１に記載の診断支援システム。
7. 撮像装置により得られた画像を表示部に表示させるステップと、
   前記画像中において所定の特徴を有する特定部位を検出するステップと、
   前記表示部において、特定された特定部位を囲う図形を表示するステップと、
   前記特定部位に関し、所定の基準に従って組織診断の予測を行うステップと、
   前記特定部位を検出する検出アルゴリズムを実行している間において所定の条件が成立した場合、組織診断の予測を実行する組織診断アルゴリズムを開始するステップと
   をコンピュータに実行させることが可能に構成された、診断支援用プログラム。

Images