JP2023003458A - 検査支援装置、検査支援方法および検査支援プログラム - Google Patents

Abstract

【課題】検査の事情に応じて表示の切り替えを許容しつつ、病変の見落としを予防する検査支援装置を提供する。【解決手段】検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、カメラユニットで撮像された撮像画像を逐次取得する取得部と、撮像画像に基づいて体内の診断を行う診断部と、診断部が出力する診断結果を表示する表示部と、診断結果を表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付部と、受付部がオンモードの選択を受け付けた場合には、診断結果をリアルタイムに表示部に表示させ、オフモードの選択を受け付けた場合には、少なくともカメラユニットによる体内の検査が継続されている間は診断結果を表示部に表示させることなく記憶部に記憶させる制御部とを備える。【選択図】図３

Description

本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。

内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１参照）。また、検査支援装置を内視鏡システムに接続して、内視鏡システムが撮像した体内画像をリアルタイムで検査支援装置に分析させる利用態様も実用段階に至りつつある。

特開２０１９－４２１５６号公報

検査支援装置が演算する診断結果を表示部に表示させつつ検査を実施すれば、医師は、表示された診断結果に応じて特定部位を集中的に観察することができる等のメリットを享受する。一方で、内視鏡を被検者の体内に挿通する検査時間を短縮したい等の理由により、診断結果の表示までに多少の遅延が生じる診断結果の表示をオフにしたい場合もある。しかし、診断機能を完全にオフにしてしまうと、病変の見落としに対するリスクが増大してしまう。

本発明は、このような問題を解決するためになされたものであり、検査の事情に応じて表示の切り替えを許容しつつ、病変の見落としを予防する検査支援装置等を提供するものである。

本発明の第１の態様における検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、カメラユニットで撮像された撮像画像を逐次取得する取得部と、撮像画像に基づいて体内の診断を行う診断部と、診断部が出力する診断結果を表示する表示部と、診断結果を表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付部と、受付部がオンモードの選択を受け付けた場合には、診断結果をリアルタイムに表示部に表示させ、オフモードの選択を受け付けた場合には、少なくともカメラユニットによる体内の検査が継続されている間は診断結果を表示部に表示させることなく記憶部に記憶させる制御部と
を備える。

本発明の第２の態様における検査支援方法は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、診断結果を表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付ステップと、カメラユニットで撮像された撮像画像を逐次取得する取得ステップと、撮像画像に基づいて体内の診断を行う診断ステップと、受付ステップでオンモードの選択を受け付けた場合に、診断結果をリアルタイムに表示部に表示させる表示制御ステップと、受付ステップでオフモードの選択を受け付けた場合に、少なくともカメラユニットによる体内の検査が継続されている間は診断結果を表示部に表示させることなく記憶部に記憶させる記憶制御ステップとを有する。

本発明の第３の態様における検査支援プログラムは、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、診断結果を表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付ステップと、カメラユニットで撮像された撮像画像を逐次取得する取得ステップと、撮像画像に基づいて体内の診断を行う診断ステップと、受付ステップでオンモードの選択を受け付けた場合に、診断結果をリアルタイムに表示部に表示させる表示制御ステップと、受付ステップでオフモードの選択を受け付けた場合に、少なくともカメラユニットによる体内の検査が継続されている間は診断結果を表示部に表示させることなく記憶部に記憶させる記憶制御ステップとをコンピュータに実行させる。

本発明により、検査の事情に応じて表示の切り替えを許容しつつ、病変の見落としを予防する検査支援装置等を提供することができる。

内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。 検査支援装置のハードウェア構成図である。 各モードの表示画面の例を示す図である。 オンモードにおいて診断結果を表示するまでの処理を説明する図である。 オフモードのバックグラウンドモードにおいて診断結果を記憶するまでの処理を説明する図である。 検査中に記憶された診断結果を検査終了時に表示する表示画面の例を示す図である。 検査中に記憶された診断結果を検査終了時に表示する表示画面の他の例を示す図である。 モードの設定画面の例を示す図である。 オンモードにおける設定画面の例を示す図である。 オフモードにおける設定画面の例を示す図である。 演算処理部の処理手順を説明するフロー図であって、主にオンモードに設定された場合の処理手順を説明するフロー図である。 演算処理部の処理手順を説明するフロー図であって、主にオフモードに設定された場合の処理手順を説明するフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、内視鏡システム２００と本実施形態に係る検査支援装置１００を用いた内視鏡検査の様子を示す図であり、特に、検査支援装置１００が後述するオンモードで機能する様子を示す図である。内視鏡システム２００と検査支援装置１００は、共に診察スペースに設置されている。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃などの体内の器官へ挿通され、器官の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の器官への挿通や撮像操作は、医師によって行われる。

内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。

検査支援装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査支援装置１００へも送信する。すなわち、本実施形態における表示信号は、内視鏡システム２００が外部装置へ提供する画像信号の一例である。検査支援装置１００は、表示部として例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に逐次表示する。

医師は、検査支援装置１００がオンモードに設定されている場合は、カメラユニット２１０の操作に応じてリアルタイムで表示される撮像画像１２１を視認しながら検査を進める。医師は、検査支援装置１００に診断させたい対象箇所が撮像画像１２１として表示されるようにカメラユニット２１０を操作する。

検査支援装置１００は、オンモードにおいては、例えば医師による診断トリガーを検出すると、その時点における撮像画像１２１から後述する分析用ニューラルネットワークへ入力する画像データを生成する。そして、分析用ニューラルネットワークの出力から生成される診断結果を、コンピュータグラフィックスに変換してＣＧ指標１２２として表示モニタ１２０に表示する。図の例では、癌と推定される確率が７５％であるとの診断結果を示している。また、そのように判断をした領域を、撮像画像１２１に重畳する診断領域枠１２１ａにより示している。診断結果は一定時間に亘って表示され、その後、カメラユニット２１０が撮像するリアルタイムの撮像画像１２１に切り替えられる。

図２は、検査支援装置１００のハードウェア構成図である。検査支援装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査支援装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。

表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１やＣＧ指標１２２等を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク１５１の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。

入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置１００の設定を変更したり、検査に必要な情報を入力したりすることができる。

記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査支援装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、分析用ニューラルネットワーク１５１を記憶している。分析用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像内に病変が存在すると推定される領域とそれが病変であると推定する推定確率とを算出する学習済みモデルである。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と分析用ニューラルネットワーク１５１を記憶する記憶媒体が別々のハードウェアで構成されてもよい。

演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、診断部１１２、制御部１１３、受付部１１４、検出部１１５として機能し得る。取得部１１１は、内視鏡システム２００から送られてくる表示信号を逐次取得して各々を信号再生画像に展開する。さらに、前後する信号再生画像間の差分量が基準量以上となる変化領域を探索することにより、カメラユニット２１０で撮像された撮像画像を表す画像領域を確定する。取得部１１１は、画像領域を一旦確定させたら、その後に逐次取得する表示信号の当該画像領域から、フレーム画像としての撮像画像１２１を逐次生成する。

診断部１１２は、撮像画像１２１を診断画像として、記憶部１５０から読み出した分析用ニューラルネットワーク１５１へ入力し、画像内に存在する病変の疑いがある領域をその推定確率と共に出力させる。診断部１１２は、この出力に入力画像等を関連付けて診断結果を生成する。

制御部１１３は、表示画面の表示信号を生成して表示モニタ１２０の表示を制御したり、記憶部１５０に対するデータの読み書きを制御したり、入出力インタフェース１３０を介して外部機器と各種制御信号の送受信を制御したりする。特に、オンモード実行時には、診断部１１２が生成する診断結果をリアルタイムに表示モニタ１２０に表示させる。オフモードのバックグラウンドモード実行時には、少なくとも被検者の体内の検査が継続されている間は診断部１１２が生成する診断結果を表示モニタ１２０に表示させることなく記憶部１５０に記憶させる。

受付部１１４は、入力デバイス１４０を介して、オンモードとオフモードの選択をユーザである医師から受け付ける。検出部１１５は、カメラユニット２１０が被検者の体内に挿通される検査が終了したことを検出する。

さて、従来の検査支援装置においては、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取り込んで、医師による診断トリガーを検出したらその時点の撮像画像に基づいて診断を行い、その結果を直ちに表示させていた。すなわち、医師は、カメラユニットの操作に合わせて、リアルタイムで診断結果を視認するという利用態様が一般的であった。一方で、被検者の疾患状態や検査の性質等によっては、カメラユニットを被検者の体内に挿通する検査時間をできる限り短くしたいという要請がある。具体的には、被検者が高齢であったり、持病を有していたり、服薬の都合であったりする。このような場合においては、診断トリガーを与えるためにカメラユニットを静止させる時間や病変の推定確率を演算する演算処理の時間を許容できないことがある。このような事情がある場合においては、検査支援装置はオフにされていた。

しかし、検査支援装置をオフにしてしまうと、医師の診断を補助する本来の機能を享受できず、病変の見落としに対するリスクが増大してしまう。また、小規模、中規模の診療所においては、生検を行えない場合も多く、検査支援装置を積極的に活用したいという要請がありながら、それに応えられなくなる。あるいは、医師が先の検査でオフにしたまま次の検査でオンにし忘れる単純ミスも起こり得る。

そこで、本実施形態における検査支援装置１００は、これまでのオンモードに加えて、２つのオフモードを採用する。２つのオフモードは、バックグラウンドモードと完全オフモードであり、初期設定としては、医師がオフモードを選択した場合にはバックグラウンドモードに切り替えられる。

オンモードは、診断結果をリアルタイムに表示させるモードである。オフモードのうちバックグラウンドモードは、診断部１１２による診断処理は実行するものの、体内検査が続く間はその診断結果を表示せず記憶部１５０に記憶させるモードである。オフモードのうち完全オフモードは、診断部１１２による診断処理を行わないモードである。なお、本実施形態においてリアルタイムに表示するとは、実時間に対して画像処理や診断処理に要する処理時間分の遅延を許容するものであり、連続的に処理を行って直ちに表示するものであればよい。例えば、診断処理中にプログレスバーを表示して処理の進捗を示しつつ、処理の完了後にその診断結果を直ちに表示するような場合も、リアルタイムの表示と表現する。

図３は、各モードの表示画面の例を示す図である。具体的には、いずれもカメラユニット２１０が被検者の体内に挿通されている検査時の表示画面の例である。図３（Ａ）は、オンモードが実行されている場合の表示画面の例である。オンモードが実行されている場合には、カメラユニット２１０が撮像する撮像画像をリアルタイムに表示する待機表示状態と、特定の撮像画像に対して診断した診断結果を表示する結果表示状態の、主に２つの表示状態が存在する。

図３（Ａ）の左図は、待機表示状態の例を示す。待機表示状態においては、逐次更新される撮像画像１２１が左側に配置され、診断待機状態を表す待機指標１２２ａが右側に配置されている。逐次更新される撮像画像１２１は、カメラユニット２１０が撮像する撮像画像をほぼ遅延なしに表示するいわゆるライブ表示である。待機指標１２２ａは、オンモードであることを示す「ＯＮ」と、診断待機状態であることを示す「ＡＩ Ｒｅａｄｙ」のテキストを含むコンピュータグラフィックスであり、ＣＧ指標１２２の一態様である。このようなオンモードにおける表示態様をオンモードライブ表示という。

図３（Ａ）の右図は、結果表示状態の例を示す。結果表示状態においては、診断画像として用いた撮像画像１２１が左側に配置され、診断結果を表す結果指標１２２ｂが右側に配置されている。結果指標１２２ｂは、病変であると推定される推定確率の数値（図の例では「８５％」）と、病変の種類（図の例では「Ｃａｎｃｅｒ」）のテキストを含むコンピュータグラフィックスであり、ＣＧ指標１２２の一態様である。また、病変であると推定した領域がわかるように、診断領域枠１２１ａを撮像画像１２１に重畳している。結果表示状態は一定時間（例えば２秒）に亘って継続し、その後診断待機状態の表示に戻る。

図３（Ｂ）は、オフモードのうちバックグラウンドモードが実行されている場合の表示画面の例である。バックグラウンドモードにおいては、逐次更新される撮像画像１２１が左側に配置され、オフモードかつバックグラウンドモードであることを表す第１オフ指標１２２ｃが右側に配置されている。逐次更新される撮像画像１２１は、オンモードライブ表示と同様に、カメラユニット２１０が撮像する撮像画像をほぼ遅延なしに表示するいわゆるライブ表示である。第１オフ指標１２２ｃは、オフモードであることを示す「ＯＦＦ」と、バックグラウンドで診断処理を行うことを示す「Ｂａｃｋｇｒｏｕｎｄ Ｐｒｏｃｅｓｓｉｎｇ」のテキストを含むコンピュータグラフィックスであり、ＣＧ指標１２２の一態様である。バックグラウンドモードにおいては、逐次更新される撮像画像１２１を表示すると共に、表示領域全体にグレーの網掛けを施し、一目でオフモードかつバックグラウンドモードであることを認識できるようにしている。このようなオフモードにおける表示態様をオフモードライブ表示という。

図３（Ｃ）は、オフモードのうち完全オフモードが実行されている場合の表示画面の例である。完全オフモードにおいては、完全オフモードであることを表す第２オフ指標１２２ｄが右側に寄せて配置されている。第２オフ指標１２２ｄは、オフモードであることを示す「ＯＦＦ」のみのテキストを含むコンピュータグラフィックスであり、ＣＧ指標１２２の一態様である。完全オフモードにおいては、逐次更新される撮像画像１２１を表示することなく、また、表示領域全体にグレーの網掛けを施し、一目でオフモードかつ完全オフモードであることを認識できるようにしている。

図４は、オンモードにおいて診断結果を表示するまでの処理を説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して展開する信号再生画像２２５は、内視鏡システム２００のシステムモニタ２２０で表示されている表示画像と同様である。信号再生画像２２５は、撮像画像２２１と検査情報２２２を含む。検査情報２２２は、例えばテキスト情報である。

信号再生画像２２５の画像領域のいずれの領域が撮像画像を表す画像領域であるかが、上述のように確定されていると、取得部１１１は、その確定された画像領域を切り出して撮像画像１２１とする。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。

取得部１１１は、切出した撮像画像１２１が診断対象の画像でない場合には、当該撮像画像１２１を制御部１１３へ引き渡す。制御部１１３は、図３（Ａ）を用いて説明した待機表示状態の表示画面を実現するために、撮像画像１２１を逐次更新して表示モニタ１２０へ表示する。取得部１１１は、切出した撮像画像１２１が診断対象の画像である場合には、当該撮像画像１２１を制御部１１３へ引き渡すと共に診断部１１２へ引き渡す。

診断部１１２は、分析用ニューラルネットワーク１５１の仕様等に応じて、撮像画像１２１を調整して診断画像を生成する。特に、オンモードにおいては、診断結果を表示するまでの遅延時間をできる限り短縮したいという要請から、分析用ニューラルネットワーク１５１の演算量を軽減すべく、撮像画像１２１の画素を間引いて画像サイズを縮小した診断画像を生成する。そして、診断部１１２は、生成した診断画像の画像データを分析用ニューラルネットワーク１５１へ入力して、診断画像内に病変が存在する推定確率を算出させる。分析用ニューラルネットワーク１５１は、画像内に存在する病変の疑いがある領域をその推定確率と共に診断結果として出力する。図４の例においては、推定確率６０％を示す左上の領域と、推定確率８５％を示す中央付近の領域が出力されている。診断部１１２は、診断結果を制御部１１３へ引き渡す。

制御部１１３は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１２から受け取った診断結果とを、予め設定された表示基準に従って展開、配列して表示モニタ１２０へ表示する。具体的には、図３（Ａ）を用いて説明した結果表示状態の態様で表示する。表示基準は、例えば、診断結果の中に複数の病変が検出された場合に、推定確率が最も大きいものを選択するといった基準や、診断画像の中央に近い領域で検出された病変ほど優先して表示するといった基準が考えられる。また、生成された診断画像が不鮮明であって診断結果の信用性が疑わしい場合や、推定確率が事前に設定された閾値を超えるものが存在しない場合などには、診断結果を表示しないという表示基準を設定することもできる。表示基準は、観察部位や検査の目的等に応じて適宜設定されればよい。また、複数の病変が検出された場合には、それぞれの病変に応じて、結果指標１２２ｂと診断領域枠１２１ａを順次切り替えて表示してもよい。

図５は、オフモードのバックグラウンドモードにおいて診断結果を記憶するまでの処理を説明する図である。取得部１１１は、オンモードと同様に、内視鏡システム２００から送られてくる表示信号を取得して展開した再生画像２２５から撮像画像１２１を切り出す。制御部１１３は、図３（Ｂ）を用いて説明したバックグラウンドモードの表示画面を実現するために、逐次更新される撮像画像１２１を表示モニタ１２０へ表示する。

取得部１１１は、切出した撮像画像１２１が診断対象の画像である場合には、当該撮像画像１２１を診断部１１２へ引き渡す。診断部１１２は、分析用ニューラルネットワーク１５１の仕様等に応じて、撮像画像１２１を調整して診断画像を生成する。バックグラウンドモードにおいては、診断結果を直ちに表示する必要がないので、オンモードにおける画像サイズに比べて大きな画像サイズに調整してもよい。すなわち、撮像画像１２１に対する間引き率を抑えて、より撮像画像１２１に近い高精細な診断画像を生成してもよい。演算処理部１１０の処理能力が許せば間引くことなく撮像画像１２１をそのまま診断画像としてもよい。高精細な診断画像を用いれば、診断精度の向上が期待できる。

診断部１１２は、生成した診断画像の画像データを分析用ニューラルネットワーク１５１へ入力して、診断画像内に病変が存在する推定確率を算出させる。分析用ニューラルネットワーク１５１は、画像内に存在する病変の疑いがある領域をその推定確率と共に診断結果として出力する。診断部１１２は、診断結果を制御部１１３へ引き渡す。

制御部１１３は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１２から受け取った診断結果とを、予め設定された記憶基準に従って記憶部１５０へ記憶する。記憶基準については後に詳述する。なお、オンモードにおいては、診断結果と共に診断画像を生成した撮像画像１２１を一定時間に亘って静止画表示したが、バックグラウンドモードにおいては診断結果を表示しないので、診断画像を生成した撮像画像１２１の静止画表示は行わない。

バックグラウンドモードにおいて、検出部１１５がカメラユニット２１０による体内の検査が終了したことを検出すると、制御部１１３は、記憶部１５０に記憶させた診断結果を読み出して表示モニタ１２０へ表示させる。検出部１１５は、例えば、撮像画像１２１の輝度の急激な変化を捉えることにより、カメラユニット２１０が口腔から排出されたタイミングを検出する。あるいは、信号再生画像２２５に含まれる検査情報２２２を読み取ることにより、検査の終了を検出してもよい。

図６は、検査中に記憶された診断結果を検査終了時に表示する表示画面の例を示す図である。図６のうち上図は、記憶された診断結果をサムネイル表示した表示画面の例であり、下図は、特定のサムネイル画像が選択されたときの表示画面の例である。

図６の上図は、病変が検出された場合に記憶するとの記憶基準が設定されている場合の診断結果の表示例である。すなわち、制御部１１３は、診断部１１２から受け取った診断結果が病変検出を含むものであれば記憶部１５０へ記憶し、病変検出を含まないものであれば破棄する。そして、検出部１１５が検査終了を検出すると、制御部１１３は、記憶した診断結果を読み出し、「悪性病変」と「良性またはその他の病変」に分類してサムネイル表示する。具体的には、診断結果と共に関連付けて記憶された、その診断の元となる撮像画像１２１から病変領域を含むように切り出したサムネイル画像１６１に、画像番号１６２を重畳する。そして、その診断結果が悪性病変であれば「悪性病変」のタイトル１２３の下に配列して表示し、良性またはその他の病変であれば「良性またはその他の病変」のタイトル１２３の下に配列して表示する。

医師は、特定のサムネイル画像１６１を詳細に確認したい場合に、入力デバイス１４０を用いて当該サムネイル画像１６１を選択する。制御部１１３は、特定のサムネイル画像１６１の選択を受け付けると、サムネイル画像１６１に対応する高精細画像１６０をもとの撮像画像１２１から生成し、サムネイル画像１６１よりも大きく診断結果１６３と共に表示モニタ１２０に表示する。

図７は、検査中に記憶された診断結果を検査終了時に表示する表示画面の他の例を示す図である。具体的には、診断部１１２が診断した診断結果のすべてを記憶するとの記憶基準が設定されている場合の表示例である。そのため、表示画面は、図示するように「悪性病変」、「良性またはその他の病変」に加えて「異常所見なし」の分類を含む。制御部１１３は、病変が検出されなかった診断結果については、その診断の元となる撮像画像１２１のサムネイル画像１６１に画像番号１６２を重畳して、「異常所見なし」のタイトル１２３の下に配列して表示する。

表示画面の右下にはスクロール指標１２７が配置されており、図の例では「異常所見なし」のサムネイル画像１６１が下方に続くことを示している。医師は、スクロール指標１２７を選択することにより表示画面をスクロールさせて他のサムネイル画像１６１を確認することができる。なお、図６の例と同様に、医師が特定のサムネイル画像１６１を選択すると、制御部１１３は、当該サムネイル画像１６１に対応する高精細画像１６０を診断結果１６３と共に表示モニタ１２０に表示する。

なお、図６の例も図７の例も、記憶部１５０へ記憶された診断結果のすべてを表示する例であったが、記憶部１５０へ記憶された診断結果の一部を選択して表示してもよい。すなわち、診断結果を記憶部１５０へ記憶する記憶基準と、検査終了時に表示モニタ１２０へ表示する選択基準を異ならせてもよい。例えば、診断部１１２が診断した診断結果のすべてを記憶するとの記憶基準が設定されている場合であっても、表示モニタ１２０へ表示する選択基準は、病変であると推定する推定確率が閾値以上のものに限ると設定してもよい。なお、検査終了時に表示モニタ１２０へ表示されない診断結果であっても、また、そもそも検査終了時にいずれの診断結果も表示モニタ１２０へ表示させない設定であっても、医師は、記憶部１５０に記憶された診断結果を、検査終了後に任意に読み出して確認することができる。

次に、検査開始前に医師が行うモードの設定操作について、いくつかの設定画面を示しつつ説明する。受付部１１４は、入力デバイス１４０を介して、モード設定に関する医師の選択を受け付ける。図８は、モードの設定画面の例を示す図である。モードの設定画面は、「Ｍｏｄｅ設定」のタイトル１２３と、「Ｏｎ Ｍｏｄｅ」「Ｏｆｆ Ｍｏｄｅ」の選択項目１２５と、選択項目１２５のそれぞれを排他的に選択指定するためのラジオボタン１２４が配置されている。検査支援装置１００は、受付部１１４が「Ｏｎ Ｍｏｄｅ」の選択を受け付けた場合にはオンモードで動作し、「Ｏｆｆ Ｍｏｄｅ」の選択を受け付けた場合には、後述する「完全オフ」の選択を受け付けない限り、オフモードのバックグラウンドモードで動作する。

図９は、モード設定画面で「Ｏｎ Ｍｏｄｅ」が選択された場合に遷移する表示画面であり、オンモードにおける設定画面の例を示す図である。オンモードにおける設定画面では、医師は、オンモードにおいてどのようなタイミングで診断部１１２に診断処理を実行させるかについて設定できる。

図の例では、「Ｏｎ Ｍｏｄｅ設定」のタイトル１２３の下に、「トリガー指定」と「周期観察」のそれぞれがチェックボックス１２６と共に選択可能に表示されている。「トリガー指定」は、例えば医師が内視鏡システムに設けられた静止ボタンを押し続けることにより撮像画像１２１が静止画像となり、取得部１１１がこのような静止画期間を検出した場合に、それをトリガーとして診断部１１２が診断処理を開始するものである。すなわち、医師が診断を要求したと判断した場合に、診断処理を開始する設定である。したがって、「トリガー指定」が選択された場合には、診断結果は、その内容に依らず一律に表示されることが好ましい。

「周期観察」は、設定された周期に従って継続的に診断処理を実行するものである。「周期観察」の設定に対しては、「周期」と「表示基準」の入力ボックス１２８が設けられており、それぞれ、診断処理を実行する周期（秒）と、診断結果を表示するか否かの推定確率の閾値（％）を設定できるようになっている。図の例では、３秒ごとに診断処理が実行され、その診断結果において推定確率が４０％以上と算出された病変部位が存在する場合に診断結果を表示するように設定されている。なお、医師は、「トリガー指定」と「周期観察」の両方のチェックボックス１２６を選択すれば、自身のトリガーでも設定した周期でも、診断処理を実行させることができる。

図１０は、モード設定画面で「Ｏｆｆ Ｍｏｄｅ」が選択された場合に遷移する表示画面であり、オフモードにおける設定画面の例を示す図である。モード設定画面で「Ｏｆｆ Ｍｏｄｅ」が選択されると、まず、左上図の設定画面に遷移する。左上図の設定画面では、「Ｏｆｆ Ｍｏｄｅ設定」のタイトル１２３と共に、完全オフモードを選択するラジオボタン１２４、バックグラウンドモードで動作させる場合の周期と記憶基準に関する選択項目１２５、入力ボックス１２８が配置されている。

「完全オフ」のラジオボタン１２４が選択されると、右上図の表示画面へ遷移する。完全オフモードでは、バックグラウンドモードに係る設定に関する領域は網掛け表示となる。完全オフモードでは、診断部１１２による診断処理が実行されず、検査終了後に診断結果を振り返ることもできないので、より意識的に選択される必要がある。そのため、初期設定では、オフモードが選択されるとバックグラウンドモードがまず設定されるようにして、完全オフモードは、バックグラウンドモードが設定される階層よりも深い階層で選択を受け付けるようにしている。このようなユーザインタフェースを採用することにより、医師が不注意に完全オフモードを選択することを防止している。

左上図の表示画面に戻る。バックグラウンドモードでは、医師は、診断部１１２による診断処理を実行させる周期を設定することができる。例えば、図示するようにチェックボックス１２６に「２」秒と入力されると、診断部１１２は、２秒ごとに診断画像を生成して診断処理を実行する。このように、バックグラウンドモードにおける周期を、オンモードにおいて周期観察を行う場合の周期と異ならせることができる。すなわち、取得部１１１が取得する撮像画像１２１に対して診断部１１２が診断処理を実行する割合を異ならせることができる。オンモードにおける診断結果のリアルタイム表示は、検査の進行を中断する側面があるので、診断処理の頻度を抑える方が都合が良いとも言える。一方で、オフモードのバックグラウンドモードでは、検査の進行を中断することがないので、より多く診断処理を実行しても構わない。このように、検査の事情に応じて診断処理を実行する割合を適宜異ならせることができれば、検査支援装置１００の利便性が向上する。

また、医師は、記憶基準を設定することができる。記憶基準は、撮像画像および診断結果の少なくともいずれかに対して設定される基準であり、制御部１１３は、この設定された記憶基準を満たす場合に診断結果を記憶部１５０に記憶させる。記憶基準としては、まず、診断処理を実行して得た診断結果のすべてを記憶させる場合と、閾値以上の推定確率を示した診断結果に限って記憶させる場合のいずれかを選択できる。推定確率の閾値はチェックボックス１２８によりその値を指定できる。推定確率が閾値以上である診断結果に限って記憶すれば、検査後に医師が診断結果を確認する段階において、作業の軽減を図ることができる。一方で、オンモードにおいて表示基準として設定する推定確率の閾値に比べて、記憶基準として設定する推定確率の閾値を低い値に設定することもできる。バックグラウンドモードにおいては、検査結果のリアルタイム表示を行わないので、推定確率の閾値を低い値に設定しても、検査の進行を妨げる恐れがない。このように、互いに関連する設定項目であっても、表示基準と記憶基準をそれぞれの性質に応じて異ならせてもよい。

左上図の表示画面においてスクロール指標１２７を選択すると、左中図の表示画面に遷移し、医師は、撮像画像に対する記憶基準を設定することができる。図の例では、「解像度指定」と「観察部位指定」を設定できる。「解像度指定」は、取得部１１１が取得した撮像画像１２１が高解像の画像である場合に限って診断処理を実行することを指定するものである。「あり」のラジオボタン１２４が選択されればそのような制限が採用され、「なし」のラジオボタン１２４が選択されれば制限なく診断処理が実行される。解像度は、例えば、撮像画像１２１が含む高周波成分によって評価され、高周波成分が予め設定されている閾値以上の割合を占める場合に「高解像」と判断する。診断画像が生成される元画像となる撮像画像１２１を高解像の画像に限れば、分析用ニューラルネットワーク１５１が出力する推定確率の信頼度も向上する。

なお、撮像画像１２１に対する記憶基準は、診断結果を記憶部１５０へ記憶する時点で撮像画像１２１が記憶基準を満たすか否かを判断してもよいし、取得部１１１が撮像画像１２１を取得した時点で記憶基準を満たすか否かを判断してもよい。診断結果を記憶部１５０へ記憶する時点で判断すれば、他の記憶基準（例えば、推定確率の閾値）によってそもそも記憶しないと判断された場合に、撮像画像に対する解像度等の評価演算を省くことができる。取得部１１１が撮像画像１２１を取得した時点で判断すれば、診断部１１２による診断処理を省くことができる。

「観察部位指定」は、取得部１１１が取得した撮像画像１２１が指定した観察部位の画像である場合に限って診断処理を実行することを指定するものである。すなわち、診断部位を特定の器官に限定するものである。「あり」のラジオボタン１２４が選択されればそのような制限が採用され、「なし」のラジオボタン１２４が選択されれば制限なく診断処理が実行される。「あり」が選択された場合には、右中図に示すように、観察部位を指定するためのウィンドウ１２９が現れる。

ウィンドウ１２９は、「観察部位指定」のタイトル１２３、観察部位を示す選択項目１２５、それぞれの選択項目を排他的に選択し得るラジオボタン１２４、スクロール指標１２７を含む。選択項目１２５としては、「自動」「食道」「胃」などが用意されている。「自動」は、例えば、用意されている分析用ニューラルネットワーク１５１が特定の観察部位を対象にした学習モデルであるか否かを確認し、特定の観察部位を対象とした学習モデルであれば、その観察部位を指定部位とするものである。あるいは、内視鏡システム２００において観察部位が指定された場合に、信号再生画像２２５に現れる検査情報２２２に当該観察部位に関する文字情報が含まれる場合には、その文字情報を読み取って観察部位を指定部位とするものである。「食道」「胃」などの具体的な観察部位が指定された場合には、その指定に従う。ウィンドウ１２９で観察部位が指定されると、左中図の表示画面に戻り、指定された観察部位のテキストが「指定部位：胃」のように現れる。

このように観察部位が指定されると、診断部１１２は、取得部１１１から引き渡された撮像画像１２１が設定された観察部位を撮像したものであるかを判断する。そして、制御部１１３は、診断部１１２が設定された観察部位を撮像したものであると判断した場合に限り、診断結果を記憶部１５０に記憶させる。なお、診断部１１２は、診断処理に先立って、取得部１１１から引き渡された撮像画像１２１が設定された観察部位を撮像したものであるか否かを判断し、設定された観察部位でないと判断した場合には、診断処理を行わないようにしてもよい。診断部１１２は、取得部１１１から引き渡された撮像画像１２１が設定された観察部位を撮像したものであるか否かを判断する場合に、分析用ニューラルネットワーク１５１とは別に用意された部位判定用ニューラルネットワークを用いてもよい。例えば、観察部位として「胃」が指定された場合には、診断部１１２は、入力された画像が胃である確率を出力する部位判定用ニューラルネットワークを用いて、取得部１１１から引き渡された撮像画像１２１を判断する。そして、部位判定用ニューラルネットワークが出力する確率が閾値以上である場合に限って、当該撮像画像を分析用ニューラルネットワーク１５１へ入力して診断処理を実行する。

左中図の表示画面において、スクロール指標１２７が選択されると、左下図の表示画面に遷移する。左下図の表示画面は、検査終了時の一覧表示と診断結果の記憶先の設定に関する。「一覧表示」は、図６および図７を用いて説明した、検査終了時にサムネイル表示を用いて診断結果を一覧表示するか否かを指定するものである。「あり」のラジオボタン１２４が選択されれば一覧表示が実行され、「なし」のラジオボタン１２４が選択されれば一覧表示は実行されない。「記憶先指定」は、診断結果をいずれの記憶媒体に記憶するかを指定するものである。これまでの説明では診断結果を内蔵メモリである記憶部１５０に記憶するものとして説明したが、記憶先は記憶部１５０でなくても構わない。外部媒体を指定することもできる。外部媒体としては、例えばネットワークに接続されたクラウドサーバであってもよい。外部媒体のチェックボックス１２６が選択された場合には、ＩＰアドレスを設定する設定画面が現れるようにしてもよい。

次に、演算処理部１１０が実行する主な処理についての処理手順の一例を、フロー図を用いて説明する。図１１は、演算処理部１１０の処理手順を説明するフロー図であって、主にオンモードに設定された場合の処理手順を説明するフロー図である。フローは、検査支援装置１００が起動され、検査支援プログラムが実行された時点から開始する。

受付部１１４は、ステップＳ１０１で、入力デバイス１４０を介して医師から各種設定を受け付ける。医師は、図８から図１０を用いて説明したユーザインタフェースを通じて、検査の目的に合った設定を行う。設定の受付けが完了したらステップＳ１０２へ進む。

制御部１１３は、ステップＳ１０２で、オンモードに設定されたかオフモードに設定されたかを確認する。オンモードに設定されていればステップＳ１０３へ進み、オフモードに設定されていれば図１２のステップＳ１２１へ進む。ここではまずオンモードに設定された場合について説明する。

ステップＳ１０３へ進むと、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１０４で、信号再生画像２２５から撮像画像１２１を切り出して制御部１１３へ引き渡す。制御部１１３は、ステップＳ１０５で、図３（Ａ）左図の例のように、表示モニタ１２０に撮像画像１２１を逐次更新して表示させるオンモードライブ表示を実行する。

取得部１１１は、ステップＳ１０６で、生成した撮像画像１２１が診断対象画像であるか否かを判断する。例えば、トリガー指定が設定されている場合には、生成した撮像画像１２１が連続して一定期間の間静止画状態であったか否かを判断する。診断対象画像であると判断した場合には撮像画像１２１を診断部１１２へ引き渡してステップＳ１０７へ進み、診断対象画像でないと判断した場合にはステップＳ１１０へ進む。

ステップＳ１０７へ進むと、診断部１１２は、取得部１１１から引き渡された撮像画像１２１から診断画像を生成し、診断処理を実行する。具体的には、分析用ニューラルネットワーク１５１を用いて病変の疑いがある領域とその推定確率を算出する。そして、これらの診断結果を制御部１１３へ引き渡す。制御部１１３は、ステップＳ１０８で、引き渡された診断結果が、ステップＳ１０１で設定された、あるいは予め規定された表示基準に合致するか否かを判断する。

例えば、オンモードが周期観察で実行されている場合に、表示基準が４０％以上と指定されているときには、診断結果が含む推定確率が４０％以上であれば表示基準に合致し、４０％未満であれば表示基準に合致しないと判断する。表示基準に合致しないと判断した場合には、診断結果を表示することなくステップＳ１１０へ進む。表示基準に合致すると判断した場合にはステップＳ１０９へ進み、制御部１１３は、診断結果を図３（Ａ）右図のように表示する。そして、結果表示の状態を一定時間に亘って継続したら、ステップＳ１１０へ進む。

検出部１１５は、ステップＳ１１０で、カメラユニット２１０による体内検査が終了したか否かを検出する。終了を検出していなければステップＳ１０３へ戻り、オンモードによる検査を継続する。終了を検出したら規定された終了処理を実行して一連の処理を終了する。

図１２は、演算処理部１１０の処理手順を説明するフロー図であって、主にオフモードに設定された場合の処理手順を説明するフロー図であって、図１１のステップＳ１０２に続くフローである。

制御部１１３は、ステップＳ１２１で、バックグラウンドモードに設定されたか完全オフモードに設定されたかを確認する。バックグラウンドモードに設定されていればステップＳ１２２へ進み、完全オフモードに設定されていればステップＳ１３１へ進む。

ステップＳ１２２へ進むと、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１２３で、信号再生画像２２５から撮像画像１２１を切り出して制御部１１３へ引き渡す。制御部１１３は、ステップＳ１２４で、図３（Ｂ）の例のように、表示モニタ１２０に網掛けを施しつつ撮像画像１２１を逐次更新して表示させるオフモードライブ表示を実行する。

取得部１１１は、ステップＳ１０６で、生成した撮像画像１２１が診断対象画像であるか否かを判断する。例えば、周期が２秒に設定されている場合には、生成した撮像画像１２１がそのタイミングに一致するか否かを判断する。また、観察部位が指定されている場合には、取得部１１１は当該撮像画像１２１を診断部１１２へ引き渡し、そこに写る部位が指定された観察部位であるか否かの判断を委ねる。診断対象画像であると判断した場合には撮像画像１２１を診断部１１２へ引き渡してステップＳ１２６へ進み、診断対象画像でないと判断した場合にはステップＳ１２９へ進む。

ステップＳ１２６へ進むと、診断部１１２は、取得部１１１から引き渡された撮像画像１２１から診断画像を生成し、診断処理を実行する。具体的には、分析用ニューラルネットワーク１５１を用いて病変の疑いがある領域とその推定確率を算出する。そして、これらの診断結果を制御部１１３へ引き渡す。制御部１１３は、ステップＳ１２７で、引き渡された診断結果が、ステップＳ１０１で設定された、あるいは予め規定された記憶基準に合致するか否かを判断する。

例えば、解像度指定が「あり」に設定されている場合に、診断画像の元画像となった撮像画像１２１が高解像でないと判断された場合には、記憶基準に合致しないと判断する。記憶基準に合致しないと判断した場合には、診断結果を記憶することなくステップＳ１２９へ進む。記憶基準に合致すると判断した場合にはステップＳ１２８へ進み、制御部１１３は、診断結果を記憶部１５０等の記憶部に記憶する。記憶処理が完了したら、ステップＳ１２９へ進む。

検出部１１５は、ステップＳ１２９で、カメラユニット２１０による体内検査が終了したか否かを検出する。終了を検出していなければステップＳ１２２へ戻り、バックグラウンドモードによる検査を継続する。終了を検出したらステップＳ１３０へ進む。

ステップＳ１３０へ進むと、制御部１１３は、記憶部に記憶させた診断結果を読み出し、図６または図７の例のように表示モニタ１２０へ表示させる。その後、受付部１１４が表示終了の指示を受け付けたら、規定された終了処理を実行して一連の処理を終了する。

ステップＳ１２１からステップＳ１３１へ進んだ場合には、制御部１１３は、図３（Ｃ）のように完全オフモードの表示を行う。完全オフモードの表示を行っている間は、定期的にステップＳ１３１へ進み、検出部１１５がカメラユニット２１０による体内検査が終了したか否かを検出する。終了を検出していなければステップＳ１３１へ戻り、完全オフモード表示を継続する。終了を検出したら規定された終了処理を実行して一連の処理を終了する。

以上本実施形態を説明したが、ここで説明したユーザインタフェースは一例であり、各種設定項目の受付けや情報の提供が可能な態様であればこれに限らない。例えば、ユーザである医師の音声を認識する音声入力や、ウェアラブルグラスに提供情報を重畳する拡張現実（ＡＲ）技術などを採用してもよい。また、以上で設定項目は一例であり、検査装置の仕様等に応じて適宜取捨選択され得る。

また、本実施形態の変形例として、次のような実施形態も採用し得る。すなわち、上述の実施形態におけるオンモードの実行時に、並列してバックグラウンドモードも実行する実施形態である。例えば、医師による診断トリガーを検出したら実行する診断処理については、診断結果を表示するまでの遅延時間をできる限り短縮したいという要請から、撮像画像１２１の画素を多く間引いて画像サイズを縮小した診断画像を用いる。一方で、検査終了後に確認するために、検査中には診断結果を表示しない周期的な診断処理については、診断精度の確保を優先して、撮像画像１２１の画素をあまり間引かずに画像サイズを縮小した診断画像を用いる。

このように、リアルタイムに表示モニタ１２０に表示する診断結果のための演算処理（第１の診断処理）と、より演算量を必要とする、検査中は診断結果を表示部に表示することなく記憶部に記憶しておく診断結果のための演算処理（第２の診断処理）を並列的に実行すれば、検査支援装置の利便性を向上させることができる。このような検査支援装置の構成は次のように纏めることができる。

［別態様の構成］
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、
前記カメラユニットで撮像された撮像画像を逐次取得する取得部と、
前記撮像画像に基づいて前記体内の診断を行う診断部と、
前記診断部が出力する診断結果を表示する表示部と
を備え、
前記診断部は、前記体内の検査中にリアルタイムに前記診断結果を前記表示部に表示させるための第１の診断処理と、前記体内の検査後に前記診断結果を提示するための第２の診断処理を実行し、
第２の診断処理は第１の診断処理よりも演算量が多い検査支援装置。

このような検査支援装置であれば、検査中にでもいち早く診断結果を確認したいという要請と、精度の高い診断結果を得たいという要請のいずれにも応えることができる。精度の高い診断結果を得るためには、演算量が増え、その分処理時間も増大するが、少なくとも診断対象となる撮像画像１２１が取得できれば、リアルタイムの表示という制限が無い以上、診断処理を完遂させることができる。高精度の診断結果を得るための処理は、診断画像の間引き量に限らず、例えば、用いる分析用ニューラルネットワークを切り替えるなどしてもよい。具体的には、精度よりも演算速度を優先する第１の診断処理用の第１ニューラルネットワークと、演算速度よりも精度を優先する第２の診断処理用の第２ニューラルネットワークを用意すればよい。

なお、このような変形例に係る実施形態においても、上述の記憶基準や表示基準を設定し得る。上述の実施形態においては、「オンモード」「オフモード」のモードを前提として設定を受け付ける態様であったが、「第１の診断処理」「第２の診断処理」に対する設定として受け付けるように再構成することができる。この場合、例えば、第２の診断処理に対して解像度や観察部位の指定を受け付けるようにすることができる。

以上説明した本実施形態においては、内視鏡システム２００と検査支援装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査支援装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部装置に提供する画像信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。なお、本実施形態における診断部による診断は、あくまで医師の診断を補助するものであり、最終的な決定は医師によって行われる。

１００…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…診断部、１１３…制御部、１１４…受付部、１１５…検出部、１２０…表示モニタ、１２１…撮像画像、１２１ａ…診断領域枠、１２２…ＣＧ指標、１２２ａ…待機指標、１２２ｂ…結果指標、１２２ｃ…第１オフ指標、１２２ｄ…第２オフ指標、１２３…タイトル、１２４…ラジオボタン、１２５…選択項目、１２６…チェックボックス、１２７…スクロール指標、１２８…入力ボックス、１２９…ウィンドウ、１３０…入出力インタフェース、１４０…入力デバイス、１５０…記憶部、１５１…分析用ニューラルネットワーク、１６０…高精細画像、１６１…サムネイル画像、１６２…画像番号、１６３…診断結果、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２１…撮像画像、２２２…検査情報、２２５…信号再生画像、２５０…接続ケーブル

Claims (18)

1. 被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、
   前記カメラユニットで撮像された撮像画像を逐次取得する取得部と、
   前記撮像画像に基づいて前記体内の診断を行う診断部と、
   前記診断部が出力する診断結果を表示する表示部と、
   前記診断結果を前記表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付部と、
   前記受付部が前記オンモードの選択を受け付けた場合には、前記診断結果をリアルタイムに前記表示部に表示させ、前記オフモードの選択を受け付けた場合には、少なくとも前記カメラユニットによる前記体内の検査が継続されている間は前記診断結果を前記表示部に表示させることなく記憶部に記憶させる制御部と
   を備える検査支援装置。
2. 前記制御部は、前記オフモードの選択を受け付けた場合には、前記撮像画像および前記診断結果の少なくともいずれかに対して予め設定された記憶基準を満たす場合に、前記診断結果を前記記憶部に記憶させる請求項１に記載の検査支援装置。
3. 前記記憶基準は、前記診断結果が含む病変と推定する推定確率が閾値以上であることを含む請求項２に記載の検査支援装置。
4. 前記記憶基準は、前記撮像画像の解像度が閾値以上であることを含む請求項２または３に記載の検査支援装置。
5. 前記受付部は、前記記憶基準の設定を前記ユーザから受け付ける請求項２から４のいずれか１項に記載の検査支援装置。
6. 前記制御部は、前記受付部が前記オンモードの選択を受け付けた場合には、前記撮像画像および前記診断結果の少なくともいずれかに対して予め設定された表示基準を満たす場合に、前記診断部が前記診断に用いた前記撮像画像と共に前記診断結果を前記表示部へ所定時間に亘って表示させる請求項２から５のいずれか１項に記載の検査支援装置。
7. 前記記憶基準と前記表示基準は、互いに異なる請求項６に記載の検査支援装置。
8. 前記診断部は、前記受付部が前記オンモードの選択を受け付けた場合と前記オフモードの選択を受け付けた場合で、前記取得部が取得する前記撮像画像に対して前記診断を行う割合を異ならせる請求項１から７のいずれか１項に記載の検査支援装置。
9. 前記診断部は、前記取得部が取得した前記撮像画像が予め設定された診断部位を撮像したものであるかを判断し、
   前記制御部は、前記オフモードの選択を受け付けた場合には、前記診断部が前記診断部位を撮像したものであると判断した場合に、前記診断結果を前記記憶部に記憶させる請求項１から８のいずれか１項に記載の検査支援装置。
10. 前記診断部位は、前記診断部が用いる学習モデルに基づいて設定される請求項９に記載の検査支援装置。
11. 前記診断部位は、前記取得部が前記内視鏡システムから取得する前記撮像画像以外の画像領域に含まれる文字情報に基づいて設定される請求項９に記載の検査支援装置。
12. 前記カメラユニットによる前記体内の検査が終了したことを検出する検出部を備え、
    前記制御部は、前記オフモードの選択を受け付けた場合には、前記検出部が前記検査の終了を検出した後に、前記記憶部に記憶させた前記診断結果を読み出して前記表示部へ表示させる請求項１から１１のいずれか１項に記載の検査支援装置。
13. 前記制御部は、病変と推定する推定確率が閾値以上である前記診断結果に限って前記表示部へ表示させる請求項１２に記載の検査支援装置。
14. 前記受付部は、前記オフモードについてバックグラウンドモードと完全オフモードに区分して受け付け、
    前記制御部は、前記受付部が前記バックグラウンドモードの選択を受け付けた場合には、前記診断結果を前記表示部に表示させることなく記憶部に記憶させ、前記完全オフモードの選択を受け付けた場合には、前記診断部に前記診断を行わせない請求項１から１３のいずれか１項に記載の検査支援装置。
15. 前記受付部は、バックグラウンドモードよりも深い階層で前記完全オフモードの選択を受け付ける請求項１４に記載の検査支援装置。
16. 前記制御部は、前記バックグラウンドモードであるか前記完全オフモードであるかを区別して視認できるように前記オフモードである旨を前記表示部に表示する請求項１４または１５に記載の検査支援装置。
17. 被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、
    診断結果を表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付ステップと、
    前記カメラユニットで撮像された撮像画像を逐次取得する取得ステップと、
    前記撮像画像に基づいて前記体内の診断を行う診断ステップと、
    前記受付ステップで前記オンモードの選択を受け付けた場合に、前記診断結果をリアルタイムに前記表示部に表示させる表示制御ステップと、
    前記受付ステップで前記オフモードの選択を受け付けた場合に、少なくとも前記カメラユニットによる前記体内の検査が継続されている間は前記診断結果を前記表示部に表示させることなく記憶部に記憶させる記憶制御ステップと
    を有する検査支援方法。
18. 被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、
    診断結果を表示部へ表示させるオンモードと表示させないオフモードの選択をユーザから受け付ける受付ステップと、
    前記カメラユニットで撮像された撮像画像を逐次取得する取得ステップと、
    前記撮像画像に基づいて前記体内の診断を行う診断ステップと、
    前記受付ステップで前記オンモードの選択を受け付けた場合に、前記診断結果をリアルタイムに前記表示部に表示させる表示制御ステップと、
    前記受付ステップで前記オフモードの選択を受け付けた場合に、少なくとも前記カメラユニットによる前記体内の検査が継続されている間は前記診断結果を前記表示部に表示させることなく記憶部に記憶させる記憶制御ステップと
    をコンピュータに実行させる検査支援プログラム。

Images