JP2019030502A - 内視鏡画像観察支援システム - Google Patents

Abstract

【課題】読影者による画像観察を効率的に実施させるために、体内の部位の境界位置をランドマーク設定するための技術を提供する。【解決手段】候補画像特定部４８は、複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する。表示制御部４２は、特定した候補画像を、候補画像ではない内視鏡画像と区別できるように表示する。このとき表示制御部４２は、候補画像を、部位の境界の候補画像であることを示す情報とともに表示して、部位の境界画像の可能性が高い画像であることをユーザに提示する。【選択図】図２

Description

本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。

特許文献１は、カプセル内視鏡で取得された体内画像データを、被検者内部の所定部位ごと、具体的には「食道」、「胃」、「十二指腸」、「小腸」、「大腸」の各消化管ごとに分類することを開示する。特許文献１において、分類は、消化管毎の形状特徴量（繊毛の有無、襞の密度等）や色情報、またカプセル内視鏡による撮影時間に基づいて行われている。

特開２０１２−２４９９５６号公報

カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。

本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。

上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された複数の内視鏡画像の観察を支援する観察支援システムであって、複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する候補画像特定部と、特定した候補画像を、候補画像ではない内視鏡画像と区別できるように表示する表示制御部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、読影者による画像観察を効率的に実施させるための支援技術を提供できる。

カプセル内視鏡の画像観察支援システムの概要を説明するための図である。 管理サーバおよび記録装置の構成を示す図である。 内視鏡画像の読影画面の例を示す図である。 内視鏡画像のオーバービュー画面の例を示す図である。 ランドマーク設定するための選択ウィンドウの例を示す図である。 候補画像であることを示す情報の別の例を示す図である。 部位境界の複数の候補画像の表示例を示す図である。

図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。

カプセル内視鏡検査において、患者は腹部に複数のアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像ＩＤおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置４に送信する。なお実施例のカプセル内視鏡３は、撮影フレームレートの可変機能を有し、たとえば移動速度が大きくなると撮影フレームレートを高くして、撮影を行ってもよい。

受信装置４には、記録媒体５が内蔵されており、受信装置４は受信した画像ファイルを記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像ファイルが記録媒体５に記録される。

画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤおよび撮影時刻情報を対応付けられて記録媒体５に記録される。

患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像ファイルを読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。

管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよく、記録装置１２は、端末装置２０に設けられてもよい。

複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。

管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。

カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。

また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。

画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。

また解析アプリケーションは、複数の基準画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定して抽出する。読影者が、所定の部位をメインターゲットとする診断を行う場合、撮影した内視鏡画像のどこからどこまでが当該対象となる部位の撮影画像であるかを容易に認識できることが好ましい。カプセル内視鏡３は、「食道」、「胃」、「十二指腸」、「小腸」、「大腸」の各消化管内部を撮影するため、解析アプリケーションが、各消化管の入口（開始位置）を撮影した可能性のある候補画像を事前に特定しておくことで、読影者が画像診断時に、各消化管の境界を容易に探し出すことが可能となる。

管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。

実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。

（第２再生モード）
第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。

（第３再生モード）
第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。

（第４再生モード）
第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。

第１〜第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。

端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。

図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、表示制御部４２、操作受付部４４、再生処理部４６および候補画像特定部４８を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６、候補画像抽出部３８および圧縮処理部４０を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。

記録装置１２は、境界画像特徴量保持部５８、内視鏡画像記録部６０、検査情報記録部６２および観察内容記録部６４を備える。境界画像特徴量保持部５８は、体内の部位の境界を撮影した境界画像の特徴量を保持する。境界画像特徴量保持部５８は、胃、十二指腸、小腸、大腸の境界画像、すなわち各消化管の入口を撮影した過去画像から抽出した、画像マッチングを行うための色や明るさ、形状などの特徴量を保持する。なおカプセル内視鏡３が各消化管の入口を通過する姿勢は、検査ごとに様々である。カプセル内視鏡３は一般に先頭部分に撮像素子を有しているが、各部位の入口を通過する際には、撮像素子による撮影方向が、進行方向、進行方向とは逆方向、進行方向に対して斜め方向を向くなど、様々な姿勢をとる。そのため境界画像特徴量保持部５８は、各部位の入口通過時の様々な姿勢における境界画像から、画像マッチング処理用に抽出した特徴量を保持する。

内視鏡画像記録部６０は、画像処理部３２により画像処理を施された内視鏡画像を記録する。検査情報記録部６２は、内視鏡検査に関する情報を記録する。観察内容記録部６４は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。

管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

ＲＡＷ画像取得部３０は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶させる。画像処理部３２は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。

＜赤み画像の特定＞
赤み判定部３４は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部３４は、特定した赤み画像の画像ＩＤを、圧縮処理部４０に提供する。

＜画像要約処理＞
画像要約処理部３６は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部３６は、最初に撮影された画像を基準画像として設定する。画像要約処理部３６は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部３６は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。

画像要約処理部３６は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部３６は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。

一方で、画像要約処理部３６は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部３６は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部３６は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。

基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部３６は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部４０に提供する。

＜境界候補画像の特定＞
候補画像抽出部３８は、複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を抽出して特定する。体内部位の境界の撮影位置をタイムバー上にランドマークとして設定することは、読影者が、部位毎の撮影画像の範囲を認識できるようになるため、特定の部位画像を診断する際に都合がよい。カプセル内視鏡３は、食道、胃、十二指腸、小腸、大腸の各消化管内部を撮影するが、読影者が小腸の撮影画像のみを観察する場合、十二指腸と小腸の境界の画像の撮影位置と、小腸と大腸の境界の画像の撮影位置とを画像診断の前にタイムバーにランドマークとして設定しておけば、小腸の撮影画像の範囲を容易に認識できるようになる。そこで候補画像抽出部３８は、部位の境界画像の可能性が高い画像を、画像マッチング処理によって、読影者による画像観察の前に抽出する処理を実施する。

境界画像特徴量保持部５８は、部位の境界画像の特徴量を保持する。この特徴量は、画像マッチング処理で使用するために、過去に撮影された境界画像から取得されたものである。候補画像抽出部３８は、画像要約処理により基準画像として設定された内視鏡画像を対象として、境界画像特徴量保持部５８に保持された境界画像の特徴量を用いて、画像マッチング処理を実施する。この画像マッチング処理は、既知の技術を利用してよい。なお候補画像抽出部３８は、画像マッチング処理に加えて、カプセル内視鏡３の撮影時の速度や加速度の変化量を参照して、境界画像の可能性の高い候補画像を抽出してもよい。

以下の実施例では、小腸の画像診断を支援するために、候補画像抽出部３８が、小腸の撮影範囲を特定するための境界画像、つまり小腸の入口を撮影した可能性のある候補画像と、大腸の入口を撮影した可能性のある候補画像とを、複数の基準画像の中から、画像マッチング処理により抽出する。なお別の実施例では、候補画像抽出部３８が他の消化管の候補画像、つまり胃の入口を撮影した可能性のある候補画像、十二指腸の入口を撮影した可能性のある候補画像を、さらに抽出してもよい。候補画像抽出部３８は、特定した候補画像の画像ＩＤ、および境界（入口）の部位名を示す情報を、圧縮処理部４０に提供する。

＜内視鏡ＲＡＷ画像の圧縮処理＞
赤み判定部３４、画像要約処理部３６および候補画像抽出部３８による画像解析処理は、圧縮処理部４０による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部４０は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部６０に記録する。たとえば圧縮処理部４０は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

圧縮処理部４０は、圧縮した画像ファイルに、赤み判定部３４、画像要約処理部３６および候補画像抽出部３８から提供された解析結果を示す情報を付加する。具体的に圧縮処理部４０は、赤み判定部３４から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部４０は、画像要約処理部３６による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。また圧縮処理部４０は、候補画像抽出部３８から提供される画像ＩＤをもつ圧縮画像に、境界（入口）画像であること並びにその部位名を示す情報を付加する。

実施例では、赤み判定部３４、画像要約処理部３６および候補画像抽出部３８が、圧縮処理部４０による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部３４、画像要約処理部３６および候補画像抽出部３８が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部６０には、画像処理部３２により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部６０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。

以下、読影時に表示装置２２に表示される画面について説明する。
ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部６２に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、表示制御部４２は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。

図３は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、表示制御部４２は、図４に示すオーバービュー画面を生成して、表示装置２２に表示させる。

再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図３には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。

再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。

ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。再生速度調節部１０６は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。たとえば２０ｆｐｓの表示フレームレートは、１秒あたり２０枚の内視鏡画像を切替表示して、１枚あたりの表示時間が０．０５秒であることを意味する。

再生処理部４６は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度（表示フレームレート）にしたがって、再生領域１００に内視鏡画像を再生表示する。再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、再生処理部４６は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生処理部４６は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生処理部４６が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。

ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、８枚のキャプチャ画像１２８ａ〜１２８ｈが選択されている様子が示される。なおキャプチャ画像表示領域１２８において、２枚の候補画像１３４ａ、１３４ｂが表示されているが、この点については後述する。

表示制御部４２は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバー１２０を再生領域１００の下方に表示する。実施例においてタイムバー１２０は、左端を撮影開始時刻、右端を撮影終了時刻とする横長矩形のバーであり、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがタイムバー１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてタイムバー１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。

表示制御部４２は、横長矩形のタイムバー１２０において、内視鏡画像の平均色値を示す表示を行う。表示制御部４２は各画像の平均色値を算出し、タイムバー１２０の矩形領域内部を、各画像の時間位置に合わせて、各画像の平均色値で色塗りする。これによりタイムバー１２０は、内視鏡画像の時間的な色味を表現するカラーバーとして表示されることになる。カプセル内視鏡３により撮影された内視鏡画像は、その撮影した消化管の太さ等により色味が異なるため、表示制御部４２が、タイムバー１２０に、画像平均色値による色を付加することで、読影者は、撮影時刻と撮影部位との関係を感覚的に認識できるようになる。

赤色画像表示ボタン１２６は、タイムバー１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、表示制御部４２は、赤み画像の撮影時刻に、赤色マークを表示する。タイムバー１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。

拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。

ユーザはタイムバー１２０に、部位の開始位置を示すためのマークを付加できる。このマーク付加はランドマーク設定とも呼ばれ、画像診断を効率化する目的で、撮影画像の部位の範囲を特定するために実施される。ユーザは、再生領域１００で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されると、再生領域１００の再生表示を停止させ、再生領域１００に表示された境界画像上にマウスポインタを配置して、右クリックする。表示制御部４２は、ランドマーク設定用の選択肢を含む選択ウィンドウを表示する。選択ウィンドウには、胃、十二指腸、小腸、大腸の開始位置をランドマーク設定するための４つの項目が表示される。ユーザは、項目を選択することで、当該項目で特定される部位の開始位置を、タイムバー１２０にランドマーク設定できる。ランドマークは、読影者が境界を認識できるような態様で、タイムバー１２０に表示される。読影者がランドマーク設定を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。

以上のように、ユーザは内視鏡画像の観察中に、体内の部位の境界を撮影した境界画像を見つけると、マウス操作によりランドマーク設定できる。しかしながら、ランドマーク設定は、本来であれば再生領域１００で再生表示される画像の観察前に行われて、画像観察時にはユーザが再生範囲を指定できるような状態にあることが好ましい。そこで実施例は、再生領域１００における再生表示前に、ユーザが簡易に部位の境界画像を特定して、ランドマーク設定できる仕組みを提供する。

画面左上隅にあるオーバービューモード選択ボタン１０２ｂが選択されると、表示制御部４２は、オーバービュー画面を生成して、表示装置２２に表示させる。オーバービュー画面では、画像要約処理により特定された複数の基準画像から抽出された画像が表示される。

図４は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域１３２には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約６万枚の内視鏡画像から約２万枚の基準画像が特定されているとき、表示制御部４２は、約２万枚の基準画像の中から所定の間隔で抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、２千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をＮ枚、オーバービュー画面に含める画像枚数をＭ枚とすると、表示制御部４２は、時系列に並べた基準画像の中から（Ｎ／Ｍ）枚ごとに画像を抽出する。たとえばＮ＝２万枚、Ｍ＝２千枚であるとき、表示制御部４２は、撮影時刻順に基準画像を１０枚ごとに１枚を抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域１３２において格子状に配列され、ユーザはページ送りボタン１４０ａ、１４０ｂを操作して、画像を切り替えることができる。オーバービュー画面に表示される内視鏡画像は基準画像であり、互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。

上記したように、体内部位の境界を撮影した可能性のある候補画像には、境界（入口）画像であること並びにその部位名を示す情報が付加されている。また実施例で、候補画像は、基準画像の中から抽出されている。候補画像特定部４８は、複数の基準画像の中から、付加情報を参照して、体内の部位の境界を撮影した可能性のある候補画像を特定し、表示制御部４２に特定した候補画像の画像ＩＤを伝える。表示制御部４２は、候補画像を、候補画像ではない内視鏡画像と区別できるように表示する。具体的に表示制御部４２は、候補画像を、部位の境界の候補画像であることを示す情報とともに、画像表示領域１３２に表示する。

図４において、上段の左から２番目の画像は、部位境界を撮影した可能性のある候補画像１３４ａであり、表示制御部４２は、候補画像１３４ａを表示する際に、候補画像１３４ａが部位の境界の候補画像であることを示す候補マーク１３６ａを付加して表示する。候補マーク１３６ａは、画像表示領域１３２において目立つ色で表示されることが好ましい。なお候補マーク１３６ａの配色は、部位ごとに定められてもよい。図４で候補マーク１３６ａは、候補画像１３４ａの右下隅に三角マークとして付加されているが、別の隅または４隅全てに付加されてもよく、また三角形以外の形状を有してもよい。候補画像１３４ａは、小腸の入口を撮影した可能性のある画像として特定されている。

ユーザは、候補画像１３４ａに付加された候補マーク１３６ａを見て、候補画像１３４ａが画像マッチング処理により、小腸の入口を撮影した画像と判断された画像であることを認識する。ユーザが候補画像１３４ａをマウスでダブルクリックすると、候補画像１３４ａは拡大表示される。ユーザは、候補画像１３４ａが小腸の入口を撮影した画像であることを確認すると、候補画像１３４ａ上にマウスポインタを配置して、右クリックする。表示制御部４２は、ランドマーク設定用の選択肢を含む選択ウィンドウを表示し、選択ウィンドウには、胃、十二指腸、小腸、大腸の開始位置をランドマーク設定するための４つの項目が表示される。

図５は、ランドマーク設定するための選択ウィンドウ１５０の例を示す。表示制御部４２は、胃の開始位置画像、十二指腸の開始位置画像、小腸の開始位置画像、大腸の開始位置画像のいずれかをランドマーク設定するための選択ウィンドウ１５０を表示する。ユーザは選択枠１５２を所望の項目に合わせて、決定操作（たとえばマウスのダブルクリック）を行うことで、候補画像１３４ａを、体内部位の開始位置画像として、ランドマーク設定できる。ランドマーク設定された画像の画像ＩＤは、観察内容記録部６４にランドマーク画像の画像ＩＤとして記録され、タイムバー１２０上の候補画像１３４ａの撮影位置に、小腸の開始位置であることを示すマークが付加される。

なお候補画像１３４ａは、小腸の開始位置画像の可能性が高いことを判断されているため、表示制御部４２は、候補画像１３４ａに対する右クリック操作に対して、「小腸の開始位置画像をランドマーク登録する」ことを決定するためのウィンドウを表示してもよい。つまり開始位置画像の選択肢をウィンドウ表示するのではなく、小腸の開始位置画像としてランドマーク登録させるための決定ウィンドウを表示してもよい。

このように実施例では、候補画像特定部４８が、部位の境界を撮影した可能性のある候補画像を特定して、表示制御部４２が、候補画像を、部位の境界の候補画像であることを示す情報とともに表示する。これによりユーザは、部位の境界を撮影した可能性の高い候補画像を確認して、境界画像を容易に特定することができる。

なおオーバービュー画面では、ユーザが一つの画像を選択して所定の操作を行うと、その画像に時間的に前後する複数枚の静止画像が表示される機能が設定されている。そのため候補画像１３４ａが小腸の開始位置画像ではなく、その近傍の画像であった場合には、ユーザの所定操作により、表示制御部４２が、候補画像１３４ａに前後する複数枚の静止画像を並べて表示する。これによりユーザは、候補画像１３４ａの近傍に存在する境界画像を選択でき、ランドマーク設定を効率よく行うことができる。

以上は、候補画像１３４ａが、オーバービュー画面に表示されることを前提としている。上記したように、オーバービュー画面では、表示制御部４２が、複数の基準画像を時間的に間引いて一覧表示する。そのため表示制御部４２は、通常の間引き処理を実施すると、候補画像１３４ａを間引いてしまう可能性がある。そこで表示制御部４２は、内視鏡画像を時間的に間引いて一覧表示する際には、候補画像１３４ａは間引かずに、一覧表示する対象とするように制御する。

ユーザが部位の開始位置画像を選択することで、部位の開始位置を、タイムバー１２０にランドマーク設定できる。このマーキング処理により、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。ユーザは、まず図４に示すオーバービュー画面でマーキング処理を行ってから、図３に示す読影画面で画像観察を行ってもよい。

図４に示したように、オーバービュー画面において、候補画像１３４ａは、候補マーク１３６ａとともに表示される。なお図３および図４に示すように、表示制御部４２は、キャプチャ画像表示領域１２８において、キャプチャ画像と並べて、候補画像１３４ａ、１３４ｂを表示してもよい。ここで候補画像１３４ａは小腸の入口を撮影した可能性の高い画像であり、候補画像１３４ｂは大腸の入口を撮影した可能性の高い画像である。このとき表示制御部４２は、候補画像であることを知らしめるべく、候補画像１３４ａ、１３４ｂに、それぞれ部位の境界であることを示す候補マーク１３６ａ、１３６ｂを付加する。このようにキャプチャ画像表示領域１２８において候補画像１３４ａ、１３４ｂを表示することで、ユーザは読影画面においても候補画像１３４ａ、１３４ｂを確認できるようになる。

図６は、部位の境界の候補画像であることを示す情報の別の例を示す。表示制御部４２は、候補画像１３４ａ、１３４ｂを、部位の境界の候補画像であることを示す情報とともに表示するが、図６に示す例では、候補画像１３４ａ、１３４ｂの時間位置を指示する候補インジケータ１３８ａ、１３８ｂを利用する。表示制御部４２が、タイムバー１２０に関連づけて候補インジケータ１３８ａ、１３８ｂとともに候補画像１３４ａ、１３４ｂを表示することで、ユーザが候補画像１３４ａ、１３４ｂの相対的な時間位置を確認できるようになる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえば表示制御部４２は、別の読影者により設定されたランドマーク画像を表示する際に、部位の境界の候補画像であることを示す情報とともに表示してもよい。

表示制御部４２は、部位の境界を撮影した画像がランドマーク画像として登録された場合に、当該境界の候補画像の表示態様を、ランドマーク画像の登録前と比べて異ならせてよい。表示制御部４２は、ランドマーク画像が登録された後は、ランドマーク画像の候補画像であることをユーザに提示する必要がないため、候補画像であることを示す情報（たとえば候補マーク１３６や候補インジケータ１３８）を非表示としてよい。またキャプチャ画像表示領域１２８において、候補画像１３４がキャプチャ画像とともに並べられて表示されている場合には、そのままキャプチャ画像の一つとして残してもよい。また候補画像１３４とともにコメントが表示されているような場合には、ランドマーク画像の登録後は、コメントを非表示としてもよい。

なお実施例では、候補画像抽出部３８が、複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を、部位境界ごとに１枚だけ抽出して特定している。実施例では、画像マッチング処理によるマッチング度が最も高い１枚の候補画像のみを抽出しているが、マッチング度の高い複数枚の候補画像を抽出してもよい。表示制御部４２は、候補画像抽出部３８が特定した候補画像が複数存在する場合に、複数の候補画像を一覧表示してもよい。

図７は、１つの部位境界の複数の候補画像の表示例を示す。表示制御部４２は、複数の候補画像を一覧ウィンドウ１４２に並べて表示する。これによりユーザは複数の候補画像の中から最も適切な境界画像を簡易に選択できるようになり、ランドマーク設定時間の短縮に寄与する。一覧ウィンドウ１４２を表示するための手順は様々考えられるが、たとえばユーザが、画像表示領域１３２の空き領域にマウスポインタを配置して右クリックしたときに、表示制御部４２が、境界ごとの複数の候補画像表示を選択するための選択ウィンドウを表示し、ユーザが所望の境界の候補画像表示を選択することで、図７に示す一覧ウィンドウ１４２が表示されてよい。

１・・・内視鏡画像観察支援システム、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３０・・・ＲＡＷ画像取得部、３２・・・画像処理部、３４・・・赤み判定部、３６・・・画像要約処理部、３８・・・候補画像抽出部、４０・・・圧縮処理部、４２・・・表示制御部、４４・・・操作受付部、４６・・・再生処理部、４８・・・候補画像特定部、５８・・・境界画像特徴量保持部、６０・・・内視鏡画像記録部、６２・・・検査情報記録部、６４・・・観察内容記録部。

Claims (6)

1. カプセル内視鏡により撮影された複数の内視鏡画像の観察を支援する観察支援システムであって、
   複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する候補画像特定部と、
   特定した候補画像を、候補画像ではない内視鏡画像と区別できるように表示する表示制御部と、を備える、
   ことを特徴とする内視鏡画像観察支援システム。
2. 前記表示制御部は、候補画像を、部位の境界の候補画像であることを示す情報とともに表示する、
   ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
3. 前記表示制御部は、複数の内視鏡画像を間引いて一覧表示する際に、候補画像は間引かない、
   ことを特徴とする請求項１または２に記載の内視鏡画像観察支援システム。
4. 前記表示制御部は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバーにおいて内視鏡画像の平均色値を示す表示を行うものであって、
   前記表示制御部は、タイムバーに関連づけて、候補画像を表示する、
   ことを特徴とする請求項１から３のいずれかに記載の内視鏡画像観察支援システム。
5. 前記表示制御部は、特定した候補画像が複数存在する場合に、複数の候補画像を一覧表示する、
   ことを特徴とする請求項１から４のいずれかに記載の内視鏡画像観察支援システム。
6. 前記表示制御部は、部位の境界を撮影した画像がランドマーク画像として登録された場合に、登録前と比べて候補画像の表示態様を異ならせる、
   ことを特徴とする請求項１から５のいずれかに記載の内視鏡画像観察支援システム。

Images