JP2018183420A - 内視鏡画像観察支援システム - Google Patents

Abstract

【課題】読影者による画像観察を効率的に実施させるための技術を提供する。
【解決手段】再生済画像記録部６６は、再生処理部４８により再生表示された内視鏡画像に関する情報を記録する。表示画像決定部４４は、操作受付部４２が表示画像の変更操作を受け付けると、再生済画像記録部６６に記録された情報を参照して、表示する内視鏡画像を決定する。画像表示部４６は、表示画像決定部４４により決定された表示画像を表示する。操作受付部４２が変更操作を受け付けたときに表示されている内視鏡画像が、既に再生された画像範囲であることを示す始点画像および終点画像で特定される再生済範囲に含まれている場合、表示画像決定部４４は、始点画像または終点画像を、表示する内視鏡画像として決定する。
【選択図】図２

Description

本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。

特許文献１は、時系列に沿って被検体内を撮像した画像群内の画像を表示する画像表示領域と、画像群内の各画像の時間的な位置を示すタイムバーと、画像表示領域内に現に表示される現表示画像のタイムバー上の時間的な位置を示すスライダとを備えた画像表示装置を開示する。

特許文献２は、カプセル内視鏡で撮影された複数の画像から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて基準画像による判定対象画像の被覆率を算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う画像処理技術を開示する。

特開２００８−３６０２８号公報 特開２０１３−１８３８７４号公報

カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。

本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。

上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された内視鏡画像の観察を支援する観察支援システムであって、再生モードで内視鏡画像を再生表示する再生処理部と、再生処理部により再生表示された内視鏡画像に関する情報を記録する再生済画像記録部と、ユーザから表示画像の変更操作を受け付ける操作受付部と、操作受付部が変更操作を受け付けると、再生済画像記録部に記録された情報を参照して、表示する内視鏡画像を決定する表示画像決定部と、表示画像決定部により決定された表示画像を表示する画像表示部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、読影者による画像観察を効率的に実施させるための支援技術を提供できる。

実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。 管理サーバおよび記録装置の構成を示す図である。 内視鏡画像の読影画面の例を示す図である。 内視鏡画像のオーバービュー画面の例を示す図である。 画像の時間位置を説明するための図である。 内視鏡画像の読影画面の例を示す図である。 再生済範囲の例を示す図である。

図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。

カプセル内視鏡検査において、患者は腹部にアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像ＩＤおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置４に送信する。

受信装置４には、記録媒体５が内蔵されており、受信装置４は受信した画像ファイルを記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像ファイルが記録媒体５に記録される。

画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤおよび撮影時刻情報を対応付けられて記録媒体５に記録される。

患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像ファイルを読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。

管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよい。なお記録装置１２は、端末装置２０に設けられてもよい。

複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。

管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。

カプセル内視鏡検査の目的の一つは、消化管における出血点を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。

また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。

画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。

管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。

実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。

（第２再生モード）
第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。

（第３再生モード）
第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。

（第４再生モード）
第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。

第１〜第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。

端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。

図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、画面生成部４０、操作受付部４２、表示画像決定部４４、画像表示部４６、再生処理部４８および記録内容管理部５０を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６および圧縮処理部３８を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。

記録装置１２は、内視鏡画像記録部６０、検査情報記録部６２、観察内容記録部６４および再生済画像記録部６６を備える。内視鏡画像記録部６０は、画像処理部３２により画像処理を施された内視鏡画像を記録する。検査情報記録部６２は、内視鏡検査に関する情報を記録する。観察内容記録部６４は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。再生済画像記録部６６は、ユーザによる読影時に再生処理部４８により再生表示された内視鏡画像に関する情報を記録する。

管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

ＲＡＷ画像取得部３０は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶する。画像処理部３２は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。

＜赤み画像の特定＞
赤み判定部３４は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部３４は、特定した赤み画像の画像ＩＤを、圧縮処理部３８に提供する。

＜画像要約処理＞
画像要約処理部３６は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部３６は、最初に撮影された画像を基準画像として設定する。画像要約処理部３６は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部３６は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。

画像要約処理部３６は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部３６は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。

一方で、画像要約処理部３６は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部３６は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部３６は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。

基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部３６は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部３８に提供する。

＜内視鏡ＲＡＷ画像の圧縮処理＞
赤み判定部３４および画像要約処理部３６による画像解析処理は、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部３８は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部６０に記録する。たとえば圧縮処理部３８は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

圧縮処理部３８は、圧縮した画像ファイルに、赤み判定部３４および画像要約処理部３６から提供された解析結果を示す情報を付加する。具体的に圧縮処理部３８は、赤み判定部３４から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部３８は、画像要約処理部３６による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。

実施例では、赤み判定部３４および画像要約処理部３６が、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部３４および画像要約処理部３６が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部６０には、画像処理部３２により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部６０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。

以下、読影時に表示装置２２に表示される画面について説明する。
ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部６２に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、画面生成部４０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。

図３は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部４０は、図４に示すオーバービュー画面を生成して、表示装置２２に表示させる。

再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図３には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。

再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。

ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。

再生処理部４８は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度にしたがって、再生領域１００に内視鏡画像を再生表示する。再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、再生処理部４８は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生処理部４８は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生処理部４８が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。

ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、５枚のキャプチャ画像１２８ａ〜１２８ｅが選択されている様子が示される。

画面生成部４０は、一端を撮影開始時刻、他端を撮影終了時刻とするマーク表示領域１２０を再生領域１００の下方に表示する。実施例においてマーク表示領域１２０は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてマーク表示領域１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。

赤色画像表示ボタン１２６は、マーク表示領域１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、画面生成部４０は、赤み画像の撮影時刻に、赤色マークを表示する。マーク表示領域１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。

拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。

なおユーザはマーク表示領域１２０に、部位の開始位置を示すためのマークを付加できる。ユーザは、再生領域１００で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されるとマーキングボタン（図示せず）を操作して、各部位の開始位置をマーク表示領域１２０上にマーキングする。このマーキング処理を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。また医師Ｂとは異なるユーザが内視鏡画像を観察する際にも、マーキング処理を行われていることで、円滑な画像観察を行えるようになる。マーキングは、胃、十二指腸、空腸、大腸の入口を撮影した画像に対して行われることが一般的である。

画面左上隅にあるオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部４０は、オーバービュー画面を生成して、表示装置２２に表示させる。オーバービュー画面では、画像要約処理により特定された複数の基準画像から抽出された画像が表示される。

図４は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域１３２には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約６万枚の内視鏡画像から約２万枚の基準画像が特定されているとき、画面生成部４０は、約２万枚の基準画像を所定の間隔で抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、２千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をＮ枚、オーバービュー画面に含める画像枚数をＭ枚とすると、画面生成部４０は、時系列に並べた基準画像を（Ｎ／Ｍ）枚ごとに１枚の画像を抽出する。たとえばＮ＝２万枚、Ｍ＝２千枚であるとき、画面生成部４０は、撮影時刻順に基準画像を１０枚ごとに１枚を抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域１３２において格子状に配列され、ユーザはページ送りボタン１４０ａ、１４０ｂを操作して、画像を切り替えることができる。

オーバービュー画面に表示される内視鏡画像は基準画像であり、互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。またオーバービュー画面は検査全体を俯瞰的に示すため、各部位の開始位置の特定、つまりマーキング処理を行う際に使い勝手がよい。オーバービュー画面では、ユーザが一つの画像を選択して所定の操作を行うと、その画像に時間的に前後する複数枚の静止画像が表示される機能が設定されている。そのためユーザは、各部位の入口近傍の画像を選択して、その前後画像を表示させることで、各部位の開始位置を示す画像を特定して、効率よくマーキング処理を行うことができる。ユーザは、まず図４に示すオーバービュー画面でマーキング処理を行ってから、図３に示す読影画面で画像観察を行ってもよい。

図３に示す読影画面に戻る。ユーザは読影に際し、第２〜第４再生モードのいずれかを選択して、再生ボタン１０４ａを操作する。ここではユーザが第２再生モード選択ボタン１１０を選択して、内視鏡画像を等速再生させるものとする。操作受付部４２が、再生ボタン１０４ａの操作を受け付けると、再生処理部４８が、設定された再生モードで内視鏡画像を再生領域１００に再生表示する。

ユーザは気になる画像を見つけると、しばらく再生表示を継続させてから、一時停止ボタンを操作する。このとき操作受付部４２が一時停止ボタンの操作を受け付け、再生処理部４８が再生表示を一時停止する。それからユーザは、画像を確認するために、逆再生ボタン１０４ｂを操作し、またはマウスホイールを手前に回転させる。操作受付部４２が逆再生ボタン１０４ｂの操作またはマウスホイールの回転操作を受け付けると、再生処理部４８が内視鏡画像を逆再生表示する。

図５（ａ）は、ユーザが、１：００：００の時間位置にある画像から３：００：００の時間位置にある画像まで順方向に再生表示させた状態を示す。時間位置は、撮影開始時刻に対する相対的な時間で特定される位置を意味し、ここでは撮影開始位置を０：００：００と設定しているため、１：００：００の時間位置にある画像は、撮影開始から１時間後に撮影された画像であることを示す。

図５（ｂ）は、ユーザが３：００：００の時間位置で逆再生表示を開始し、２：１５：００の時間位置にある画像まで逆方向に再生表示させた状態を示す。ユーザは、２：１５：００の時間位置にある病変撮影画像をキャプチャする。キャプチャした画像は、キャプチャ画像表示領域１２８に表示される。ユーザは、画像をキャプチャした後、引き続き画像観察を行う。

図５（ｂ）に示すように、２：１５：００〜３：００：００の間の画像は観察済であるため、ユーザは３：００：００の時間位置から画像観察を行いたい。ユーザはマーク表示領域１２０におけるスライダ１２２を３：００：００の位置まで動かしてから再生表示を再開させればよいが、マーク表示領域１２０に３：００：００の位置までが観察済であることを示す情報が表示されていない場合には、実際にはどこまでスライダ１２２を動かせばよいか知ることができない。また仮に観察済であることを示す情報が表示されていたとしても、ちょうど３：００：００の位置となるようにスライダ１２２を手動で動かすことは、それほど容易ではない。

そこで実施例の管理サーバ１０は、再生済の画像に関する情報を記憶しておき、簡単な操作で時間位置を変更できる仕組みを提供する。
図２に戻り、再生済画像記録部６６は、再生処理部４８により再生表示された内視鏡画像に関する情報を記録する。記録する情報は、内視鏡画像を特定できる情報であればよく、内視鏡画像の画像ＩＤが代表的であるが、内視鏡画像の撮影時刻情報であってもよい。再生処理部４８は、再生表示した画像の画像ＩＤを再生済画像記録部６６に提供し、再生済画像記録部６６が、再生済画像の画像ＩＤを記録して、始点画像および終点画像で特定される再生済範囲を管理する。再生済範囲は、既に再生された画像範囲であることを意味する。

図３において、順方向ジャンプボタン１３４ａおよび逆方向ジャンプボタン１３４ｂは、再生領域１００に表示されている画像を変更するためのボタンであり、表示画像の時間位置を所定位置までジャンプさせる機能をもつ。図５（ｂ）に示すように表示画像の時間位置が２：１５：００である場合、ユーザが順方向ジャンプボタン１３４ａを操作すると、図５（ｃ）に示すように、表示画像の時間位置は、再生済範囲の終点位置である３：００：００に変更され、再生領域１００には、３：００：００の時間位置にある画像が表示される。一方で、ユーザが逆方向ジャンプボタン１３４ｂを操作すると、図５（ｄ）に示すように、表示画像の時間位置は、再生済範囲の始点位置である１：００：００に変更され、再生領域１００には、１：００：００の時間位置にある画像が表示される。以下、このジャンプ処理について説明する。

操作受付部４２は、順方向ジャンプボタン１３４ａまたは逆方向ジャンプボタン１３４ｂの操作を、表示画像の変更操作として受け付ける。操作受付部４２が順方向ジャンプボタン１３４ａまたは逆方向ジャンプボタン１３４ｂの操作を受け付けると、表示画像決定部４４は、再生済画像記録部６６に記録された情報を参照して、再生領域１００に表示する内視鏡画像を決定する。このとき表示画像決定部４４は、操作受付部４２がジャンプボタン操作を受け付けたときに表示されている内視鏡画像にもとづいて、表示する内視鏡画像を決定する。

具体的に表示画像決定部４４は、２：１５：００の時間位置にある画像が、始点画像および終点画像で特定される再生済範囲に含まれているか否かを判定する。この例では、１：００：００〜３：００：００の時間位置にある画像の画像ＩＤが、再生済画像の画像ＩＤとして再生済画像記録部６６に記録されている。そこで表示画像決定部４４は、１：００：００の時間位置にある始点画像と、３：００：００の時間位置にある終点画像で特定される再生済範囲に、ジャンプボタン操作を受け付けたときに表示されている２：１５：００の時間位置にある画像が含まれていることを判定する。

操作受付部４２が順方向ジャンプボタン１３４ａの操作を受け付けた場合、表示画像決定部４４は、再生済範囲の終点画像である３：００：００の時間位置にある画像を表示画像として決定し、画像表示部４６は、この終点画像を再生領域１００に表示する（図５（ｃ）参照）。また操作受付部４２が逆方向ジャンプボタン１３４ｂの操作を受け付けた場合、表示画像決定部４４は、再生済範囲の始点画像である１：００：００の時間位置にある画像を表示画像として決定し、画像表示部４６は、この始点画像を再生領域１００に表示する（図５（ｄ）参照）。

このようにユーザが順方向ジャンプボタン１３４ａまたは逆方向ジャンプボタン１３４ｂを操作すると、画像表示部４６は、再生済範囲の終点画像または始点画像を即座に再生領域１００に表示する。なおスライダ１２２は、終点画像または始点画像の時間位置に自動的に移動される。これによりユーザは、ジャンプ表示後の終点画像から順方向の再生表示を、またはジャンプ表示後の始点画像から逆方向の再生表示をただちに行うことができ、画像観察を効率よく進めることが可能となる。

順方向ジャンプボタン１３４ａおよび逆方向ジャンプボタン１３４ｂの操作は、マウスを使用して行われる。ユーザがジャンプボタンにマウスポインタをあてたとき、ジャンプ先となる画像の時間位置が表示されるようにしてもよい。

図６は、内視鏡画像の読影画面の例を示す図である。ユーザが順方向ジャンプボタン１３４ａにマウスポインタ１４２をあてると、画面生成部４０は、ジャンプ先となる画像の時間位置を表示するジャンプ先時刻表示欄１４４を順方向ジャンプボタン１３４ａの近傍に配置する。ジャンプ先時刻表示欄１４４は、マウスポインタ１４２がジャンプボタン上に配置されている間だけ表示され、マウスポインタ１４２がジャンプボタン上から外されると、非表示とされる。

画面生成部４０は、タイムバーであるマーク表示領域１２０において、再生済範囲と未再生範囲とを区別できるように、再生済画像の時間位置の表示態様と、未再生画像の時間位置の表示態様とを異ならせてよい。この例では画面生成部４０が、１：００：００〜３：００：００の再生済範囲に、再生済マーク１４６を表示している。実施例において赤色画像表示ボタン１２６が操作されると、赤み画像の撮影時刻に赤色マークが表示されることを説明したが、再生済マーク１４６は、異なる色のマーク、たとえば青色マークであってもよい。なお再生済マーク１４６は一例であって、画面生成部４０は、再生済画像の時間位置の表示態様と、未再生画像の時間位置の表示態様とを区別できるように異ならせればよい。両者を区別して表示することで、ユーザは、再生済範囲を容易に認識できるようになる。

図７は、再生済範囲の別の例を示す。この例では、１：００：００〜３：００：００の時間位置にある画像と、４：００：００〜６：００：００の時間位置にある画像の画像ＩＤが、再生済画像の画像ＩＤとして再生済画像記録部６６に記録されている。ここで再生領域１００には、３：３０：００の時間位置にある画像が表示されているものとする。なお、この表示画像は、再生処理部４８により再生モードで再生表示された画像ではなく、ユーザがスライダ１２２を３：３０：００の時間位置まで動かしたことで表示された画像であるため、再生済画像として再生済画像記録部６６に記録されていない。

操作受付部４２が、順方向ジャンプボタン１３４ａまたは逆方向ジャンプボタン１３４ｂの操作を、表示画像の変更操作として受け付けると、表示画像決定部４４は、再生済画像記録部６６に記録された情報を参照して、３：３０：００の時間位置にある画像が、始点画像および終点画像で特定される再生済範囲に含まれているか否かを判定する。この例では、１：００：００〜３：００：００と、４：００：００〜６：００：００の時間位置にある画像の画像ＩＤが、再生済画像の画像ＩＤとして再生済画像記録部６６に記録されている。そこで表示画像決定部４４は、ジャンプボタン操作を受け付けたときに表示されている３：３０：００の時間位置にある画像が再生済範囲に含まれていないことを判定する。このことは、操作受付部４２がジャンプボタン操作を受け付けたときに表示されている内視鏡画像が、再生処理部４８により再生モードで再生表示された内視鏡画像でないことを意味する。

操作受付部４２が順方向ジャンプボタン１３４ａの操作を受け付けた場合、表示画像決定部４４は、表示されている内視鏡画像の順方向において近接する再生済範囲の始点画像を表示画像として決定し、画像表示部４６が、この始点画像を再生領域１００に表示する。この例では、４：００：００の時間位置にある画像である。また操作受付部４２が逆方向ジャンプボタン１３４ｂの操作を受け付けた場合、表示画像決定部４４は、表示されている内視鏡画像の逆方向において近接する再生済範囲の終点画像を表示画像として決定し、画像表示部４６が、この終点画像を再生領域１００に表示する。この例では、３：００：００の時間位置にある画像である。

このように操作受付部４２がジャンプボタン操作を受け付けたときに表示されている内視鏡画像が、再生済範囲に含まれていなければ、表示画像決定部４４は、表示されている内視鏡画像に近接する再生済範囲の終点画像または始点画像を、表示する内視鏡画像として決定する。図７に示す状態で、ユーザが、順方向ジャンプボタン１３４ａを１回操作すると、画像表示部４６は、４：００：００の時間位置にある画像を再生領域１００に表示し、ユーザが順方向ジャンプボタン１３４ａをもう１回操作すると、画像表示部４６は、６：００：００の時間位置にある画像を再生領域１００に表示する。これによりユーザは、再生済範囲の終点画像から画像観察を再開できるようになる。

なお操作受付部４２が、再生済範囲の終点画像が表示されているときに順方向ジャンプボタン１３４ａの操作を受け付けると、表示画像決定部４４は、表示画像が終点画像であることを判定し、順方向に近接する再生済範囲の始点画像を表示画像として決定する。また操作受付部４２が、再生済範囲の始点画像が表示されているときに逆方向ジャンプボタン１３４ｂの操作を受け付けると、表示画像決定部４４は、表示画像が始点画像であることを判定し、逆方向に近接する再生済範囲の終点画像を表示画像として決定する。これによりユーザは、近接する再生済範囲の始点画像または終点画像を、即座に再生領域１００に表示させることができる。

なお上記したように、再生モードには、時間的に連続する内視鏡画像を順番に再生表示する第１〜第３再生モードと、時間的に連続する内視鏡画像を間引いて再生表示する第４再生モードが存在する。間引き再生モードでは、画像Ａから画像Ｂまで再生表示したとしても、画像Ａから画像Ｂまでの間の画像が全て再生されているわけではない。そのため再生済画像記録部６６は、連続再生モードにおいて再生表示された内視鏡画像に関する情報と、間引き再生モードにおいて再生表示された内視鏡画像に関する情報とを区別して記録する。つまり間引き再生モードで画像Ａから画像Ｂまで再生表示されていれば、再生済画像記録部６６は、間引き再生モードで画像Ａから画像Ｂまでが再生済範囲であることを記録するが、連続再生モードで画像Ａから画像Ｂまで再生表示されていなければ、再生済画像記録部６６は、連続再生モードで画像Ａから画像Ｂまでを再生済範囲とは記録しない。表示画像決定部４４は、再生モードが連続再生モードか間引き再生モードであるかに応じて、再生済画像記録部６６に記録された再生済範囲を参照して、ジャンプ表示先となる画像を決定する。

なお基準画像の抽出精度が向上し、第４再生モードを実質的に連続再生モードとみなせる場合には、再生済画像記録部６６は、連続再生モードにおいて再生表示された内視鏡画像に関する情報と、間引き再生モードにおいて再生表示された内視鏡画像に関する情報とを区別せずに、一緒に記録してもよい。このとき再生済画像記録部６６は、間引き再生モードにおいて再生表示された始点画像から終点画像までの範囲を、共通の再生済範囲として記録する。第４再生モードでは類似画像は再生表示されないが、始点画像から終点画像の間に存在する類似画像も再生済として扱うことで、順方向ジャンプボタン１３４ａまたは逆方向ジャンプボタン１３４ｂの操作を、効率的な画像観察に役立てることが可能となる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

操作受付部４２が、ユーザから再生済画像記録部６６に記録された情報を削除する操作を受け付けると、記録内容管理部５０は、再生済画像記録部６６に記録された情報を削除してよい。たとえば複数のユーザのそれぞれが読影するような場合に、後から読影するユーザによって再生済画像記録部６６に記録された情報が削除されてもよい。

１・・・内視鏡画像観察支援システム、３・・・カプセル内視鏡、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３２・・・画像処理部、３４・・・赤み判定部、３６・・・画像要約処理部、３８・・・圧縮処理部、４０・・・画面生成部、４２・・・操作受付部、４４・・・表示画像決定部、４６・・・画像表示部、４８・・・再生処理部、５０・・・記録内容管理部、６０・・・内視鏡画像記録部、６２・・・検査情報記録部、６４・・・観察内容記録部、６６・・・再生済画像記録部、１００・・・再生領域、１３４ａ・・・順方向ジャンプボタン、１３４ｂ・・・逆方向ジャンプボタン。

Claims (8)

1. カプセル内視鏡により撮影された内視鏡画像の観察を支援する観察支援システムであって、
   再生モードで内視鏡画像を再生表示する再生処理部と、
   前記再生処理部により再生表示された内視鏡画像に関する情報を記録する再生済画像記録部と、
   ユーザから表示画像の変更操作を受け付ける操作受付部と、
   前記操作受付部が変更操作を受け付けると、前記再生済画像記録部に記録された情報を参照して、表示する内視鏡画像を決定する表示画像決定部と、
   前記表示画像決定部により決定された表示画像を表示する画像表示部と、
   を備えることを特徴とする内視鏡画像観察支援システム。
2. 前記表示画像決定部は、前記操作受付部が変更操作を受け付けたときに表示されている内視鏡画像にもとづいて、表示する内視鏡画像を決定する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
3. 前記操作受付部が変更操作を受け付けたときに表示されている内視鏡画像が、既に再生された画像範囲であることを示す始点画像および終点画像で特定される再生済範囲に含まれている場合、前記表示画像決定部は、始点画像または終点画像を、表示する内視鏡画像として決定する、
   ことを特徴とする請求項２に記載の内視鏡画像観察支援システム。
4. 前記操作受付部が変更操作を受け付けたときに表示されている内視鏡画像が、再生済範囲に含まれていない場合、前記表示画像決定部は、表示されている当該内視鏡画像に近接する再生済範囲の始点画像または終点画像を、表示する内視鏡画像として決定する、
   ことを特徴とする請求項３に記載の内視鏡画像観察支援システム。
5. 前記再生処理部は、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードと、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードとを有し、
   前記再生済画像記録部は、連続再生モードにおいて再生表示された内視鏡画像に関する情報と、間引き再生モードにおいて再生表示された内視鏡画像に関する情報とを区別して記録する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
6. 前記再生処理部は、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードと、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードとを有し、
   前記再生済画像記録部は、連続再生モードにおいて再生表示された内視鏡画像に関する情報と、間引き再生モードにおいて再生表示された内視鏡画像に関する情報とを一緒に記録するものであって、間引き再生モードにおいて再生表示された始点画像から終点画像までの範囲を再生済範囲とする、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
7. 前記操作受付部が、ユーザから前記再生済画像記録部に記録された情報を削除する操作を受け付けると、前記再生済画像記録部に記録された情報を削除する記録内容管理部を、さらに備える、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
8. 一端を撮影開始時刻、他端を撮影終了時刻とするタイムバーを表示し、タイムバー中の再生済画像の時間位置の表示態様と、未再生画像の時間位置の表示態様とを異ならせる画面生成部を、さらに備える、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。

Images