JP4554647B2 - 画像表示装置、画像表示方法および画像表示プログラム - Google Patents

Description

本発明は、たとえば、画像表示装置、画像表示方法および画像表示プログラムに関するものである。

近年、内視鏡においては、飲込み型のカプセル内視鏡が登場している。このカプセル内視鏡には、撮像機能と無線機能とが設けられている。カプセル内視鏡は、観察（検査）のために患者の口から飲込まれた後、人体から自然排出されるまでの観察期間、胃、小腸などの臓器を順次撮像する仕組みである（特許文献１）。

この観察期間、カプセル内視鏡によって体内で撮像された画像データは、順次無線通信により外部に送信され、メモリに蓄積される。患者がこの無線通信機能とメモリ機能とを備えた受信機を携帯することにより、患者は、カプセル内視鏡を飲み込んだ後、排出されるまでの観察期間、自由に行動できる。観察後、医師もしくは看護士においては、メモリに蓄積された画像データに基づいて臓器の画像をディスプレイに表示させて診断を行うことができる。

今日、この種のカプセル内視鏡としては、イスラエルのギブン・イメージング社のＭ２Ａ（登録商標）や日本の株式会社アールエフのＮＯＲＩＫＡ（登録商標）があり、すでに実用化の段階に移行している。

特開平１１−２２５９９６号公報

しかしながら、上述したカプセル内視鏡においては、通常の内視鏡と異なり被験者が飲込んで自然に排出されるまでの期間、各臓器を撮像させるので、観察（検査）時間がたとえば１０時間以上となるように長時間に及んでいた。このため、時系列に撮像される画像の枚数は、膨大である。

診察などの段階において、長時間撮像された膨大な画像から所望の画像を検索する検索性の向上や、表示画像が全体的な撮像時間中のどの時刻によるものか、どの臓器のものかなどを容易に認識できる表示画面については、とくに考慮されていなかった。

本発明の目的は、体内を撮像した画像の検索性が向上するとともに、表示画像がどの臓器の画像であるかを容易に認識することが可能な画像表示装置、画像表示方法および画像表示プログラムを提供することにある。

上述した課題を解決し、目的を達成するために、請求項１の発明に係る画像表示装置は、体内撮像装置によって時系列で撮像された画像データを入力する入力手段と、前記入力手段により入力された時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御手段と、前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御手段と、前記入力手段により入力された画像データの一画面の色情報を検出する色情報検出手段と、前記平均色情報検出手段により検出された色情報に対応する色を前記スケール上の時間的に対応する位置に表示するように制御する色表示制御手段と、を備えたことを特徴とする。

請求項２の発明に係る画像表示装置は、上記の発明において、前記色情報検出手段は、前記入力手段により入力された画像データの一画面の色情報から平均色に関する色情報を検出する平均色検出手段を備えたことを特徴とする。

請求項３の発明に係る画像表示装置は、上記の発明において、前記色情報検出手段により検出された色情報に基づいて臓器を判別する臓器判別手段と、前記臓器判別手段により判別された臓器名を前記スケールに対応させて表示するように制御する臓器名表示制御手段と、を備えたことを特徴とする。

請求項４の発明に係る画像表示装置は、上記の発明において、前記臓器判別手段は、前記色情報を構成する色要素の増減情報をもとに臓器を判別することを特徴とする。

請求項５の発明に係る画像表示装置は、上記の発明において、前記臓器判別手段は、前記画像データに関連して得られた生体情報を加味して臓器を判別することを特徴とする。

請求項６の発明に係る画像表示装置は、上記の発明において、体内撮像装置によって時系列で撮像された画像の特徴である数値パラメータを抽出する特徴抽出手段と、前記特徴抽出手段によって抽出された数値パラメータを可視化し、時系列で連続的に可視表示する表示制御手段と、を備えたことを特徴とする。

請求項７の発明に係る画像表示装置は、上記の発明において、前記数値パラメータは、各画像の平均色を示す色要素であることを特徴とする。

請求項８の発明に係る画像表示装置は、上記の発明において、前記特徴抽出手段によって抽出された数値パラメータを変換して新たな変換数値パラメータを生成する変換手段をさらに備え、前記表示制御手段は、前記変換手段が変換した変換数値パラメータを可視化し、時系列で連続的に可視表示することを特徴とする。

請求項９の発明に係る画像表示装置は、上記の発明において、前記変換手段は、各画像の色情報の数値パラメータをもとに各画像の輝度値を示す変換数値パラメータに変換することを特徴とする。

請求項１０の発明に係る画像表示装置は、上記の発明において、前記変換手段は、各画像の平均色の数値パラメータをもとに各画像の平均輝度値を示す変換数値パラメータに変換することを特徴とする。

請求項１１の発明に係る画像表示装置は、上記の発明において、前記特徴抽出手段は、各画像フレーム間の差分を示すフレーム間誤差を数値パラメータとして抽出することを特徴とする。

請求項１２の発明に係る画像表示装置は、上記の発明において、前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器部位を判別する臓器判別手段をさらに備え、前記表示制御手段は、判別された臓器部位を前記時系列に対応させて表示する制御を行うことを特徴とする。

請求項１３の発明に係る画像表示装置は、上記の発明において、体内撮像装置によって時系列で撮像された画像データを入力する入力手段と、前記入力手段により入力された時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御手段と、前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御手段と、を備え、前記表示制御手段は、前記特徴抽出手段によって抽出された数値パラメータあるいは前記変換手段によって変換された変換数値パラメータを可視化し、前記スケール上の時間的に対応する位置に表示する制御を行うことを特徴とする。

請求項１４の発明に係る画像表示装置は、上記の発明において、体内撮像装置によって時系列で撮像された一連の画像データ内の各画像の色情報を取得する色情報取得手段と、前記色情報取得手段によって取得された色情報を所定の特徴色空間上の位置情報に変換する変換手段と、前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否かを判断する出血部位判断手段と、前記出血部位判断手段によって検索対象の出血部位があると判断された画像にその旨を示すフラグを付するフラグ付記手段と、を備えたことを特徴とする。

請求項１５の発明に係る画像表示装置は、上記の発明において、前記出血部位判断手段は、前記特徴色空間上における鮮血、凝固血、および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断することを特徴とする。

請求項１６の発明に係る画像表示装置は、上記の発明において、前記出血部位判断手段は、出血部位がほぼ円形である場合に該出血部位を凝固血の出血部位であると判断することを特徴とする。

請求項１７の発明に係る画像表示装置は、上記の発明において、前記出血部位判断手段は、画像内の各画素のエッジを検出し、この検出された各エッジの法線を生成し、各画素に投票される法線数が所定値以上であった場合に、ほぼ円形の出血部位があると判断することを特徴とする。

請求項１８の発明に係る画像表示方法は、体内撮像装置によって時系列で撮像された画像データを入力する入力ステップと、前記入力ステップにより入力された時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御ステップと、前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステップと、前記入力ステップにより入力された画像データの一画面の色情報を検出する色情報検出ステップと、前記色情報検出ステップにより検出された色情報に対応する色を前記スケール上の時間的に対応する位置に表示するように制御する色表示制御ステップと、を含むことを特徴とする。

請求項１９の発明に係る画像表示方法は、上記の発明において、前記色情報検出ステップは、前記入力手段により入力された画像データの一画面の色情報から平均色に関する色情報を検出する平均色検出ステップを含むことを特徴とする。

請求項２０の発明に係る画像表示方法は、上記の発明において、前記色情報検出ステップにより検出された色情報に基づいて臓器を判別する臓器判別ステップと、前記臓器判別ステップにより判別された臓器名を前記スケールに対応させて表示するように制御する臓器名表示制御ステップと、を含むことを特徴とする。

請求項２１の発明に係る画像表示方法は、上記の発明において、前記臓器判別ステップは、前記色情報を構成する色要素の増減情報をもとに臓器を判別することを特徴とする。

請求項２２の発明に係る画像表示方法は、上記の発明において、前記臓器判別ステップは、前記画像データに関連して得られた生体情報を加味して臓器を判別することを特徴とする。

請求項２３の発明に係る画像表示方法は、上記の発明において、体内撮像装置によって時系列で撮像された画像の特徴である数値パラメータを抽出する特徴抽出ステップと、前記特徴抽出手段によって抽出された数値パラメータを可視化し、時系列で連続的に可視表示する表示制御ステップと、を含むことを特徴とする。

請求項２４の発明に係る画像表示方法は、上記の発明において、前記数値パラメータは、各画像の平均色を示す色要素であることを特徴とする。

請求項２５の発明に係る画像表示方法は、上記の発明において、前記特徴抽出ステップによって抽出された数値パラメータを変換して新たな変換数値パラメータを生成する変換ステップをさらに含み、前記表示制御ステップは、前記変換ステップが変換した変換数値パラメータを可視化し、時系列で連続的に可視表示することを特徴とする。

請求項２６の発明に係る画像表示方法は、上記の発明において、前記変換ステップは、各画像の色情報の数値パラメータをもとに各画像の輝度値を示す変換数値パラメータに変換することを特徴とする。

請求項２７の発明に係る画像表示方法は、上記の発明において、前記変換ステップは、各画像の平均色の数値パラメータをもとに各画像の平均輝度値を示す変換数値パラメータに変換することを特徴とする。

請求項２８の発明に係る画像表示方法は、上記の発明において、前記特徴抽出ステップは、各画像フレーム間の差分を示すフレーム間誤差を数値パラメータとして抽出することを特徴とする。

請求項２９の発明に係る画像表示方法は、上記の発明において、前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器部位を判別する臓器判別ステップをさらに含み、前記表示制御ステップは、判別された臓器部位を前記時系列に対応させて表示する制御を行うことを特徴とする。

請求項３０の発明に係る画像表示方法は、上記の発明において、体内撮像装置によって時系列で撮像された画像データを入力する入力ステップと、前記入力ステップにより入力された時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御ステップと、前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステップと、を含み、前記表示制御ステップは、前記特徴抽出ステップによって抽出された数値パラメータあるいは前記変換ステップによって変換された変換数値パラメータを可視化し、前記スケール上の時間的に対応する位置に表示する制御を行うことを特徴とする。

請求項３１の発明に係る画像表示方法は、上記の発明において、体内撮像装置によって時系列で撮像された一連の画像データ内の各画像の色情報を取得する色情報取得ステップと、前記色情報取得ステップによって取得された色情報を所定の特徴色空間上の位置情報に変換する変換ステップと、前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否かを判断する出血部位判断ステップと、前記出血部位判断ステップによって検索対象の出血部位があると判断された画像にその旨を示すフラグを付するフラグ付記ステップと、を含むことを特徴とする。

請求項３２の発明に係る画像表示方法は、上記の発明において、前記出血部位判断ステップは、前記特徴色空間上における鮮血、凝固血、および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断することを特徴とする。

請求項３３の発明に係る画像表示方法は、上記の発明において、前記出血部位判断ステップは、出血部位がほぼ円形である場合に該出血部位を凝固血の出血部位であると判断することを特徴とする。

請求項３４の発明に係る画像表示方法は、上記の発明において、前記出血部位判断ステップは、画像内の各画素のエッジを検出し、この検出された各エッジの法線を生成し、各画素に投票される法線数が所定値以上であった場合に、ほぼ円形の出血部位があると判断することを特徴とする。

請求項３５の発明に係る画像表示プログラムは、体内撮像装置によって時系列で撮像された画像データを入力する入力ステップと、前記入力ステップにより入力された時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御ステップと、前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステップと、前記入力ステップにより入力された画像データの一画面の色情報を検出する色情報検出ステップと、前記色情報検出ステップにより検出された色情報に対応する色を前記スケール上の時間的に対応する位置に表示するように制御する色表示制御ステップと、をコンピュータに実行させることを特徴とする。

請求項３６の発明に係る画像表示プログラムは、上記の発明において、前記色情報検出ステップは、前記入力手段により入力された画像データの一画面の色情報から平均色に関する色情報を検出する平均色検出ステップを含むことを特徴とする。

請求項３７の発明に係る画像表示プログラムは、上記の発明において、前記色情報検出ステップにより検出された色情報に基づいて臓器を判別する臓器判別ステップと、前記臓器判別ステップにより判別された臓器名を前記スケールに対応させて表示するように制御する臓器名表示制御ステップと、を含むことを特徴とする。

請求項３８の発明に係る画像表示プログラムは、上記の発明において、前記臓器判別ステップは、前記色情報を構成する色要素の増減情報をもとに臓器を判別することを特徴とする。

請求項３９の発明に係る画像表示プログラムは、上記の発明において、前記臓器判別ステップは、前記画像データに関連して得られた生体情報を加味して臓器を判別することを特徴とする。

請求項４０の発明に係る画像表示プログラムは、上記の発明において、体内撮像装置によって時系列で撮像された画像の特徴である数値パラメータを抽出する特徴抽出ステップと、前記特徴抽出手段によって抽出された数値パラメータを可視化し、時系列で連続的に可視表示する表示制御ステップと、をコンピュータに実行させることを特徴とする。

請求項４１の発明に係る画像表示プログラムは、上記の発明において、前記数値パラメータは、各画像の平均色を示す色要素であることを特徴とする。

請求項４２の発明に係る画像表示プログラムは、上記の発明において、前記特徴抽出ステップによって抽出された数値パラメータを変換して新たな変換数値パラメータを生成する変換ステップをさらに含み、前記表示制御ステップは、前記変換ステップが変換した変換数値パラメータを可視化し、時系列で連続的に可視表示することを特徴とする。

請求項４３の発明に係る画像表示プログラムは、上記の発明において、前記変換ステップは、各画像の色情報の数値パラメータをもとに各画像の輝度値を示す変換数値パラメータに変換することを特徴とする。

請求項４４の発明に係る画像表示プログラムは、上記の発明において、前記変換ステップは、各画像の平均色の数値パラメータをもとに各画像の平均輝度値を示す変換数値パラメータに変換することを特徴とする。

請求項４５の発明に係る画像表示プログラムは、上記の発明において、前記特徴抽出ステップは、各画像フレーム間の差分を示すフレーム間誤差を数値パラメータとして抽出することを特徴とする。

請求項４６の発明に係る画像表示プログラムは、上記の発明において、前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器部位を判別する臓器判別ステップをさらに含み、前記表示制御ステップは、判別された臓器部位を前記時系列に対応させて表示する制御を行うことを特徴とする。

請求項４７の発明に係る画像表示プログラムは、上記の発明において、体内撮像装置によって時系列で撮像された画像データを入力する入力ステップと、前記入力ステップにより入力された時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御ステップと、前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステップと、を含み、前記表示制御ステップは、前記特徴抽出ステップによって抽出された数値パラメータあるいは前記変換ステップによって変換された変換数値パラメータを可視化し、前記スケール上の時間的に対応する位置に表示する制御を行うことを特徴とする。

請求項４８の発明に係る画像表示プログラムは、上記の発明において、体内撮像装置によって時系列で撮像された一連の画像データ内の各画像の色情報を取得する色情報取得ステップと、前記色情報取得ステップによって取得された色情報を所定の特徴色空間上の位置情報に変換する変換ステップと、前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否かを判断する出血部位判断ステップと、前記出血部位判断ステップによって検索対象の出血部位があると判断された画像にその旨を示すフラグを付するフラグ付記ステップと、をコンピュータに実行させることを特徴とする。

請求項４９の発明に係る画像表示プログラムは、上記の発明において、前記出血部位判断ステップは、前記特徴色空間上における鮮血、凝固血、および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断することを特徴とする。

請求項５０の発明に係る画像表示プログラムは、上記の発明において、前記出血部位判断ステップは、出血部位がほぼ円形である場合に該出血部位を凝固血の出血部位であると判断することを特徴とする。

請求項５１の発明に係る画像表示プログラムは、上記の発明において、前記出血部位判断ステップは、画像内の各画素のエッジを検出し、この検出された各エッジの法線を生成し、各画素に投票される法線数が所定値以上であった場合に、ほぼ円形の出血部位があると判断することを特徴とする。

本発明では、撮像部位によって色分けなどがなされ、この色分けされた色などから体内の臓器を容易に判断することが可能となり、これによって、画像の検索性が向上するとともに、表示画像がどの臓器の画像であるかを容易に認識することが可能となる。さらに、出血部位の自動検索を行うようにしているので、医師や看護士にかかる負担が軽減されるという効果を奏する。

以下に添付図面を参照して、本発明に係る好適な実施の形態について詳述する。

まず、本発明の一実施の形態で用いるカプセル内視鏡について図１を参照して全体構成を説明する。図１は本実施の形態にかかるカプセル内視鏡の内部構造を示す概略図である。図１に示すように、カプセル内視鏡１０は、体腔内の画像を撮像し得る撮像部１１１と、体腔内部を照射する照明部１１２ａ，１１２ｂと、これらに電力を供給する電源部１３と、内部に上記撮像部１１１、上記照明部１１２および上記電源部１３を少なくとも配設したカプセル筐体１４とから構成されてなるものである。

ここで、本実施の形態に係るカプセル筐体１４は、上記撮像部１１１および上記照明部１１２ａ，１１２ｂを覆う先端カバー部１２０と、該先端カバー部１２０とシール部材１２１を介して水密状態に設けられ、内部に撮像部１１１等を配設してなるカプセル胴部１２２とからなり、必要に応じて後端カバー部１２３をカプセル胴部１２２と別体に設けるようにしてもよい。なお、本実施の形態では後端カバー部１２３はカプセル胴部と一体に設けられており、平坦形状としているが、その形状は限定されず、例えばドーム形状とするようにしてもよい。

また、先端カバー部１２０は照明部１１２ａ，１１２ｂからの照明光Ｌを透過させる照明用窓部１２０ａと照明範囲を撮像する撮像用窓部１２０ｂとを明確に分けるようにしてもよい。なお、本実施の形態では、先端カバー部１２０はその全体が透明であり、照明用窓部１２０ａと撮像用窓部１２０ｂとの領域が部分的に重なっている。

上記撮像部１１１は、撮像基板１２４に設けられ、照明部１１２ａ，１１２ｂからの照明光Ｌによって照らされた範囲を撮像する例えばＣＣＤからなる固体撮像素子１２５と、該固体撮像素子１２５に被写体の像を結像する固定レンズ１２６ａおよび可動レンズ１２６ｂからなる結像レンズ１２６とからなり、固定レンズ１２６ａを固定する固定枠１２８ａおよび可動レンズ１２６ｂを固定する可動枠１２８ｂによるピント調整部１２８によりシャープな結像を行っている。なお、本発明では、撮像部１１１としては、上記ＣＣＤに限定されるものではなく、たとえばＣＭＯＳ等の撮像手段を用いてもよい。

また、上記照明部１１２ａ，１１２ｂは、照明基板１３０に設けられ、例えば発光ダイオード（ＬＥＤ）からなると共に、該照明部１１２ａ，１１２ｂは、撮像部１１１を構成する結像レンズ１２６を中心とし、その周囲に複数（本実施の形態では、一例として４個）配設されている。なお、本発明では、照明部１１２ａ，１１２ｂとして、上記ＬＥＤに限定されるものではなく、他の照明手段を用いてもよい。

また、上記電源部１３は、内部スイッチ１３１が設けられた電源基板１３２に設けられ、電源１３３として、たとえばボタン型の電池を用いるようにしている。なお、本発明では、上記電池として例えば酸化銀電池を用いているが、本発明ではこれに限定されるものではなく、例えば充電式電池、発電式電池等を用いるようにしてもよい。

また、上記内部スイッチ１３１としては、例えば磁石同士の離反作用によりＯＮ動作を行うことができるものを用いているが、本発明はこれに限定されるものではなく、他のスイッチ手段を例示することができる。

また、本実施の形態では、上記各部以外に、無線基板１４１に外部と無線通信を行うためのアンテナ等からなる無線部１４２が設けられており、必要に応じて外部との通信を行っている。

また、上記各部を処理又は制御するための信号処理・制御部１４３が撮像基板１２４に設けられており、カプセル内視鏡１０における各種処理を実行するようにしている。

ここで、上記信号処理・制御部１４３は、映像信号処理機能の一部と、映像信号と同期信号の混合、誤り訂正符号の付加等を行う送信用信号作成機能と、例えばＰＳＫ，ＭＳＫ，ＧＭＳＫ，ＱＭＳＫ，ＡＳＫ，ＡＭ，ＦＭ方式に変換する変調機能と、スイッチのＯＮ−ＯＦＦに応じて電源の供給を制御する電源供給制御機能と、ＬＥＤ駆動回路等の駆動回路と、撮像枚数を制御するタイミングジェネレータ（ＴＧ）機能と、撮像枚数を設定するパラメータ等の諸データを記憶する記憶機能等から構成され、各種信号処理・制御を行っている。

ここで、上記映像信号処理機能は、例えば画像データ補正（例えばホワイトバランス（ＷＢ）補正、γ補正、色処理、ＡＧＣ等）、場合により相関二重サンプリングやアナログ−デジタル変換（ＡＤＣ）、調光機能（ＡＥ）等の処理が含まれる。

なお、カプセル内視鏡１０の内部には、上述した無線部１４２以外に、例えば各種センサ等の情報収集手段、薬剤を放出する薬剤放出手段、体腔の組織を切除・回収する組織回収手段等を適宜配設するようにしてもよい。

つづいて、本実施の形態によるカプセル内視鏡システムについて図２を用いて説明する。図２は本実施の形態によるカプセル内視鏡システムの概略図である。上記カプセル内視鏡１０を用いて検査をするに際しては、図２に示すようなカプセル内視鏡システムを用いて行うようにしている。

本実施の形態によるカプセル内視鏡システムは、たとえば図２に示したように、カプセル内視鏡１０およびそのパッケージ５０、患者すなわち被検査者２に着用させるジャケット３、ジャケット３に着脱自在の受信機４、ワークステーション５、ＣＦ（コンパクトフラッシュ（登録商標））メモリリーダ／ライタ６、ラベルプリンタ７、データベース８およびネットワーク９により構成される。

ジャケット３には、カプセル内視鏡１０の無線部１４２から発信される撮像画像の電波を捕捉するアンテナ３１，３２，３３および３４が設けられ、受信機４との間で無線もしくはケーブルによる有線にて通信可能に設けられている。なお、アンテナの数はとくに４個に限定されず、複数あればよく、これにより、カプセル内視鏡１０の移動に伴う位置に応じた電波を良好に受信することができる。

受信機４には、ジャケット３から直接電波で撮像画像を受信する場合に用いられるアンテナ４１、観察（検査）に必要な情報を表示する表示部４２および観察（検査）に必要な情報を入力する入力部４３が設けられている。また、受信機４は、受信された撮像画像データを記憶するＣＦメモリ４４を着脱可能に装着することができる。さらに、受信機４には、携帯時にも電源供給可能な電源部４５および観察（検査）に必要な処理を行う信号処理・制御部４６が設けられている。電源部４５としては、たとえば乾電池、Ｌｉイオン二次電池、Ｎｉ水素電池等を例示することができ、充電式であってもよい。

ワークステーション５は、医師もしくは看護士がカプセル内視鏡１０により撮像された患者体内の臓器などの画像に基づいて診断を行うための処理機能を有している。このワークステーション５は、図示せぬが、受信機４、ＣＦメモリリーダ／ライタ６、ラベルプリンタ７とそれぞれ通信可能に接続するインタフェースを有しており、ＣＦメモリ４４のリード／ライト、カルテ印刷などを行う。

また、ワークステーション５は、ネットワーク９に接続するための通信機能を有しており、このネットワーク９を介してデータベース８に患者の診察結果などを蓄積する。さらに、ワークステーション５は、表示部５１を有しており、受信機４から患者体内の撮像画像データを入力して表示部５１に臓器などの画像を表示する。

図２に示すように、検査を開始する前において、パッケージ５０からカプセル内視鏡１０を取り出し、被検査者２が口から当該カプセル内視鏡１０を飲み込むことにより、食道を通過し、消化管腔の蠕動により体腔内を進行し、逐次体腔内の像を撮像する。

そして、必要に応じて又は随時撮像結果について無線部１４２を介して撮像画像の電波が出力され、ジャケット３の各アンテナ３１，３２，３３，３４でその電波が捕捉される。受信電波強度の高いアンテナからの信号が体外の受信機４へ送信される。

受信機４においては、ＣＦメモリ４４に逐次受信される撮像画像データが格納される。なお、この受信機４はカプセル内視鏡１０の撮像開始とは同期しておらず、入力部４３の操作により受信開始と受信終了とが制御される。また、撮像画像データとしては、動画的に表示するために複数コマ／秒で撮像した静止画像データでもよいし、通常の動画像データでもよい。

カプセル内視鏡１０による被検査者２の観察（検査）が終了すると、ＣＦメモリ４４に格納されている撮影画像データがケーブルを介してワークステーション５に転送される。ワークステーション５では、転送されてきた撮像画像データは患者別に対応させて記憶される。

このようにカプセル内視鏡１０で撮像され、受信機４で蓄積された体腔内の撮像画像データは、ワークステーション５の表示部５１により画像表示される。これにより、超音波プローブ、内視鏡等では到達し得ない体深部（小腸等）も含め、人体の消化管のすべてに亙って、生理学的研究の有用なデータ獲得や病変の診断を行うことができる。

つづいて上述したカプセル内視鏡システムの処理系について図３を用いて説明する。図３は本実施の形態によるカプセル内視鏡システム内部の一構成例を示すブロック図である。ここでは、各ユニットの主要な構成のみを例に挙げて説明する。

カプセル内視鏡１０は、すでに図１で説明したように、照明部１１２ａおよび１１２ｂよりなる光源１１２から照射された照明光の反射から体内被写体（臓器など）を撮像部１１１で撮像し、その撮像画像を無線信号により無線部１４２から送信する構成を有している。

ジャケット３は、４個のアンテナ３１，３２，３３，３４にセレクタ３５を接続させ、そのセレクタ３５に受信機４と接続させるためのケーブルを繋ぐＩ／Ｆ３６を接続させた構成を有している。このジャケット３は、４個のアンテナ３１，３２，３３，３４によりカプセル内視鏡１０から発信される無線信号を受信し、セレクタ３５で電波強度に応じて受信信号をセレクトしてＩ／Ｆ３６を介して受信機４に転送する。このジャケット３には、大容量のメモリは設けられておらず、アンテナ３１，３２，３３，３４を介して受信された撮像画像は逐次後段の受信機４に転送される。

受信機４は、ジャケット３のＩ／Ｆ３６とケーブルを介して通信するためのＩ／Ｆ４０、受信機全体をあらかじめ用意されたプログラムにしたがって制御するＣＰＵ４６、装着されたＣＦメモリ４４との間でデータ通信を行うＣＦメモリＩ／Ｆ４７、ワークステーション５との間でケーブルによる通信を行うＩ／Ｆ４８を内部構成として有している。

受信機４は、カプセル内視鏡１０による体内の観察期間中、逐次ジャケット３側から撮像画像を受信できる状態を確保するために、被検査者２に常時装着されている。したがって、観察期間中は、ジャケット３から逐次撮像された画像が受信され、その受信画像はＣＦメモリＩ／Ｆ４７を介してＣＦメモリ４４に逐次格納される。この観察期間中は、受信機４はワークステーション５とは非接続状態となり、被検査者２は病院などに拘束されることはなく、自由に移動することができる。

ＣＦメモリリーダ／ライタ６は、リーダ／ライタ全体をあらかじめ用意されたプログラムにしたがって制御するＣＰＵ６１、装着されたＣＦメモリ４４との間でデータ通信を行うＣＦメモリＩ／Ｆ６２、ワークステーション５との間でケーブルによる通信を行うＩ／Ｆ６３を内部構成として有している。

ＣＦメモリリーダ／ライタ６は、ＣＦメモリ４４を装着するとともにＩ／Ｆ６３を介してワークステーション５に接続し、ＣＦメモリ４４に対して本実施の形態による診断のための撮像情報のフォーマットを行ったり、ＣＦメモリ４４から格納済みの撮像画像データを読み出してワークステーション５に転送する。ここで、撮像画像データは、ＪＰＥＧなどの形式である。

このように、本実施の形態においては、受信機４からワークステーション５に対して直接撮像画像データを転送するか、あるいは、受信機４からＣＦメモリリーダ／ライタ６にＣＦメモリ４４を移してワークステーション５に対して撮像画像データを転送するかは、任意に選択することができる。

ワークステーション５は、本実施の形態による臓器画像などの表示を行う表示部５１、ケーブルを介して受信機４のＩ／Ｆ４８との間やケーブルを介してＣＦメモリリーダ／ライタ６のＩ／Ｆ６３との間の通信を司るＩ／Ｆ５２、各種の処理で扱うデータを格納する大容量のメモリ５３、ワークステーション５全体をあらかじめ用意されたプログラムにしたがって制御するＣＰＵ５４、各種の操作を入力する入力部５５、ラベルプリンタ７、ネットワーク９を介してのデータベース８やその他のプリンタにそれぞれ接続して各種の出力処理を行うための出力部５６などの構成を有している。

観察期間が終了して、受信機４がワークステーション５に通信可能に接続されると、ＣＦメモリ４４に格納された撮像画像データが受信機４からワークステーション５に転送され、メモリ５３に格納される。ワークステーション５においては、本実施の形態によるカプセル内視鏡１０の撮像画像の表示、後述する平均色スライダの表示、カプセル内視鏡１０の軌跡などが診断の際に表示される。診断結果は、プリンタからカルテとして出力されたり、患者毎にデータベース８に蓄積される。

つぎに、本実施の形態による具体的な手順について説明する。図４、図５および図６は本実施の形態による観察手順にかかる画面遷移の一例を示す図、図７および図８は本実施の形態による診察手順にかかる画面遷移の一例を説明する図、そして、図９は本実施の形態による平均色バー表示のための動作を説明するフローチャートである。なお、平均色スライダ表示のためのプログラムは、その格納手法はＣＤ−ＲＯＭなどの記録媒体から直接インストールしたり、ネットワークなどの外部からダウンロード後にインストールしてワークステーション５のメモリ５３に格納されるものとする。

まず医師（または看護士）は、ワークステーション５およびＣＦリーダ／ライタ６を用いてＣＦメモリ４４のフォーマットを行う。この場合、ワークステーション５の表示部５１には、観察前の手順として、ＣＦメモリ４４をＣＦメモリリーダ／ライタ６に挿入し、そのＣＦメモリリーダ／ライダ６をワークステーション５に接続する旨のガイダンス画面が表示される（図４（Ａ））。医師から「次へ」のメニュー操作があれば、つぎのガイダンス画面表示に処理は移行する。このとき、医師により、上述のガイダンスにしたがって準備が整ったものとする。なお、この準備で不備があり、その状態で「次へ」のメニュー操作がなされたときに、ＣＦメモリ未挿入やＣＦメモリリーダ／ライダ未接続などのメッセージを表示してもよい。

つぎのガイダンス画面には、診察情報および患者情報を入力する旨のガイダンス画面が表示される（図４（Ｂ））。診察情報として、たとえば、病院名、カプセル投与医師（看護士）名、カプセル投入日時、カプセルシリアルＮｏ、受信機シリアルＮｏの入力項目がある。また、患者情報として、患者ＩＤ、患者名、患者性別、患者年齢、患者生年月日の入力項目がある。各種の入力項目への入力操作が完了し、「次へ」のメニュー操作があると、入力された項目の確認画面が表示される（図５（Ａ））。なお、「戻る」のメニュー操作で前の画面に移行することもできる。

つぎのガイダンス画面には（図５（Ａ））、前画面で入力した項目の確認が表示されるので、医師の操作によりさらに「次へ」のメニュー操作がなされると、入力情報に問題なしとして、表示画面はさらに次の画面に移行する（図５（Ｂ））。このとき、ＣＦメモリ４４には、入力項目の情報が書き込まれる。また、「戻る」のメニュー操作がなされた場合には、前回入力した項目を修正することができる。

つぎのガイダンス画面には（図５（Ｂ））、ＣＦメモリ４４の抜き出し指示、入力項目に応じて必要な識別情報を印刷したラベルを受信機４とＣＦメモリ４４に貼付ける指示、および、ＣＦメモリ４４を受信機４に挿入する指示のメッセージが表示される。そして、医師の操作により、「完了」のメニュー操作がなされると、被検査者へのカプセル内視鏡１０投与前の準備が完了したことになる。

そして、被検査者２へのカプセル内視鏡１０の投与が完了して、体内の観察が開始され、受信機４の操作によりＣＦメモリ４４への撮像画像データの格納が開始される。観察期間が満了して、ＣＦメモリ４４への格納が終了すると、医師は再度ワークステーション５からガイダンスを受けることになる。

まず受信機４からＣＦメモリ４４を取り出して、ＣＦメモリリーダ／ライタ６に挿入する旨のガイダンス画面が表示される（図６（Ａ））。以上のメッセージに従って準備が進められた後、医師により「次へ」のメニュー操作がなされると、表示画面はつぎに移行する（図６（Ｂ））。

つぎのガイダンス画面では（図６（Ｂ））、ＣＦメモリ４４に記録されている診断情報と患者情報とがそのメモリから読み出され、表示される。この表示された内容の情報すなわち観測により得られた情報（撮像画像データなど）がワークステーション５に取得されることになる。

このようにして情報の取得が完了してから、医師により「次へ」のメニュー操作がなされると、ＣＦメモリ４４からのデータの取得処理が行われ、データの取得処理が完了すると、ＣＦメモリ４４からのデータ取得の完了、ＣＦメモリ４４のＣＦメモリリーダ／ライタ６からの取り出し、診察開始を指示するガイダンス画面が表示される（図６（Ｃ））。そして、医師により「完了」のメニュー操作がなされると、観察手順にかかる一連のガイダンスは完了する。

なお、一連の画面遷移において、キャンセル、ヘルプのアイコンがあり、それぞれ医師は任意に選択操作することができる。キャンセルが操作された場合には、それまでの入力が初期化される。

診察処理の段階では、まずワークステーション５のメモリ５３に保存された各患者の診察情報および患者情報が一覧表示される（図７）。これにより、医師はどの患者について診察をするかをたとえばカーソルにて選択操作することができる。選択状態については、反転表示などすればよい。カーソルの選択状態で「診察」のメユー操作がなされると、診察対象の患者が決定する。なお、診察済みの患者については、図７のように、一覧表示上で「済」を付加しておけば診察有無を容易に視認することができる。

このようにして診察対象の患者が決定すると、図８に示したように、診察処理画面が表示される。この診察表示画面には、診察に必要な情報が表示される。５０１，５０２はそれぞれ該当する患者の患者情報，診察情報、５０３は撮像画像のうちの一枚を表示する画像表示欄を示している。５０４Ａは医師が注目する画像についてソフトウェアによるチェックボタンＣＨＫの操作で任意にチェック（選択）した撮像画像を列挙するチェック画像表示欄を示している。

５０５は画像表示欄５０３に表示されている撮像画像の撮像位置（体内の位置）を３Ｄ（３次元）的に表示する３Ｄ位置表示欄を示し、５０６は画像表示欄５０３に表示させる撮像画像の再生操作を行うための再生操作欄を示し、５０７は受信機の受信開始時点から受信終了時点の撮像画像について時系列に臓器に応じた平均色で色分けされた平均色バーを示している。この平均色バー５０７は、観察期間の経過時間を示すスケールの役割を果たす。表示画面には、そのほか「ヘルプ」、「戻る」、「キャンセル」、「診察終了カルテ印刷」の各メニューが表示されている。

平均色バー５０７は、臓器により異なる色の特性を利用して、撮像画像の各フレームから平均色を求め、時系列に配色されたものである。したがって、平均色バー５０７においては、各臓器の区間に応じてカプセル内視鏡１０が移動しているときの撮像画像の平均色がほぼ均一となる。仮に、同一臓器内を移動しているときに撮像された画像中にノイズが含まれていたとしても、フレーム毎に一画面の平均色を求めることにより、臓器毎のほぼ均一な配色を得ることが可能となる。

この平均色バー５０７においては、スライダＳが時間軸方向に移動可能に表示される。このスライダＳは、画像表示欄５０３に表示される撮像画像の位置を平均色バー５０７に位置で示す指標の役目を果たす。したがって、再生操作欄５０６の操作に応じてスライダＳの移動表示制御が行われる。

平均色バー５０７におけるスライダＳの移動と画像表示欄５０３に表示される撮像画像の切り換えは同期連動する。すなわち、再生操作欄５０６には、時系列方向に沿った再生順方向を操作するためのソフトウェアによるコマ再生ボタン、再生ボタンおよび高速再生（高再）ボタン、ならびに、時系列方向に沿って再生逆方向を操作するためのソフトウェアによるコマ逆再生ボタン、逆再生ボタンおよび高速逆再生（高逆）ボタンが表示制御される。この再生操作欄５０６には、さらに、停止ボタンが表示制御される。

医師により入力部５５の操作により再生ボタンがたとえば図示せぬマウスでクリックされた場合、画像表示欄５０３には再生順方向で時系列に撮像画像データに基づく画像が表示される。また、コマ再生ボタンがクリックされた場合には、再生順方向でつぎの画像が表示され、高速再生ボタンがクリックされた場合には、再生順方向で再生ボタンによる再生より高速に画像が再生表示される。再生中または高速再生中に停止ボタンがクリックされると、クリックされたときの画像を表示している状態で表示画像の切換えが停止する。

また、医師により入力部５５の操作により逆再生ボタンがたとえば図示せぬマウスでクリックされた場合、画像表示欄５０３には時系列方向に対して再生逆方向で撮像画像データに基づく画像が表示される。また、コマ逆再生ボタンがクリックされた場合には、再生順方向でひとつ手前の画像が表示され、高速逆再生ボタンがクリックされた場合には、再生逆方向で逆再生ボタンによる再生より高速に画像が再生表示される。逆再生中または高速逆再生中に停止ボタンがクリックされると、クリックされたときの画像を表示している状態で表示画像の切換えが停止する。

また、画像表示欄５０３に画像を再生もしくは逆再生している際に、出血部位のように患部が発見されたときなどは、医師の裁量で他の画像とは区別してチェック画像を抜き出すことができる。このようにチェックしたいときには、医師によりチェックボタンＣＨＫの操作が必要となる。チェックされた画像はチェック画像表示欄５０４Ａにサムネイル画像として追加表示される。チェック画像表示欄５０４Ａには表示領域上の制約があるため、あらかじめ決められた枚数までの画像表示が可能となる。本実施の形態では、たとえば図８に示したように、５枚の画像までの表示が可能となり、それ以外のチェック画像についてはスクロール操作によって表示画像が切換えられる。

ここで、平均色バー５０７は臓器の種類に応じた平均色で区分されているので、医師は平均色バー５０７を参照して直感的に所望の臓器に関する撮像画像の位置に表示画像を素早く移行できる。その際、平均色バー５０７のスライダＳを図示せぬマウスを用いて移動操作すればよい。平均色バー５０７上でスライダＳが移動操作されると、画像表示欄５０３では、その移動に追随してスライダＳで示される位置の画像に順次切換えられる処理が実行される。

本実施の形態では、医師が表示画像から出血部位を発見した際に、出血部位としてのフラグを撮像画像毎に付与することができる。この場合には、図示せぬが、現在画像表示欄５０３に表示させている状態でサブメニューを表示させて出血部位のフラグの設定を手動により行えばよい。これにより、たとえば図８に示したように、出血部位Ｖ１，Ｖ２のように平均色バー５０７の位置に対応させて表示することができる。

また、画像処理により自動的に出血部位を抽出することも可能であり、この場合には、出血部位自動検索ボタン５０８を操作すればよい。この出血部位自動検索ボタン５０８の操作により、現在画像表示欄５０３に表示されている画像に対する出血部位の抽出を行ってもよく、あるいは、全画像に対する出血部位の抽出を行ってもよい。この自動検索によって出血部位が発見された場合には、手動の場合と同様に、画像毎に対応させてフラグを付与し、画像表示のときにはこのフラグに対応させた出血部位Ｖ１，Ｖ２などを表示することが好ましい。

医師による診察は「診察終了カルテ印刷」のメニュー操作により終了させることができる。診察結果はカルテとなってワークステーション５から図示せぬプリンタを通じて、もしくは、データベース８経由で印刷される。

ここで、図９〜図１２を参照して、ＣＰＵ５４による出血部位の自動検索処理手順について説明する。図９において、ＣＰＵ５４は、まず、メモリ５３内に格納された１つの画像フレームを取り出し（ステップＳ１０１）、取り出した画像フレーム内の全画素に対して、特徴空間上における位置を算出する（ステップＳ１０２）。

この特徴空間は、図１０に示すように、横軸にＲ／Ｇ（赤色要素／緑色要素）をとり、縦軸にＢ／Ｒ（青色要素／赤色要素）を色空間である。出血があった場合、この特徴空間内における分布をもとに、鮮血であるか、凝固血であるか、正常な出血であるかを判別できる。図１０に示すように、この特徴空間では、鮮血領域Ｅ１、凝固血領域Ｅ２、および正常領域Ｅ３の各領域が形成され、鮮血領域Ｅ１と凝固血領域Ｅ２とは識別関数Ｌ１によって領域分別され、凝固血領域Ｅ２と正常領域Ｅ３とは識別関数Ｌ２によって領域分別される。ただし、凝固血領域Ｅ２と正常領域Ｅ３とは一部が重複しており、識別関数Ｌ２は、一部の正常領域Ｅ３を含めている。したがって、識別関数Ｌ１よりもＲ／Ｇが大きい領域の色を有する画素である場合には、鮮血であると判定され、識別関数Ｌ１，Ｌ２に挟まれた領域の色を有する画素である場合には、少なくとも凝固血であると判定され、識別関数Ｌ２よりもＢ／Ｒが大きい領域の色を有する画素である場合には、正常な出血であると判定される。

図９において、全画素の特徴空間上における位置を算出した（ステップＳ１０２）後、ＣＰＵ５４は、全画素内に鮮血領域Ｅ１に含まれる画素があるか否かを判断する（ステップＳ１０３）。この判断は、上述した識別関数Ｌ１を用い、算出された画素の特徴空間上における位置が、識別関数Ｌ１よりも図１０上、右側に位置するか否かによって行われる。ここで、鮮血領域Ｅ１内に画素がある場合（ステップＳ１０３，ＹＥＳ）には、鮮血の出血部位があると判定し（ステップＳ１０４）、ステップＳ１０９に移行する。

一方、鮮血領域Ｅ１内に画素がない場合（ステップＳ１０３，ＮＯ）、さらに凝固血領域Ｅ２に画素があるか否かを判断する（ステップＳ１０５）。この判断は、上述した識別関数Ｌ１，Ｌ２に挟まれた領域に画素が位置するか否かによって行われる。凝固血領域Ｅ２内に画素がある場合（ステップＳ１０５，ＹＥＳ）には、さらにこれらの画素を含む出血部位がほぼ円であるか否かを解析する円の画像処理を行う（ステップＳ１０６）。この円の画像処理を行うのは、出血部位が凝固血であれば、ほぼ円形となるからである。なお、出血部位が鮮血であれば、出血部位の外縁が波打った形状となり、ほぼ円形とならない。

その後、円の画像処理の結果、出血部位がほぼ円であるか否かを判断し（ステップＳ１０７）、出血部位がほぼ円である場合（ステップＳ１０７，ＹＥＳ）には、凝固血の出血部位があると判定し（ステップＳ１０８）、ステップＳ１０９に移行する。一方、凝固血領域に画素がない場合（ステップＳ１０５，ＮＯ）および円の画像処理によって出血部位がほぼ円でない場合（ステップＳ１０７，ＮＯ）には、出血部位が凝固血、正常の出血、あるいは出血がないものと判定してステップＳ１０９に移行する。

ステップＳ１０９では、全画像フレームに対する出血部位の検索処理が終了したか否かを判断し、検索処理すべき画像フレームがある場合にはステップＳ１０１に移行して上述した処理を繰り返して行い、検索処理すべき画像フレームがない場合には本処理を終了する。なお、鮮血の出血部位あるいは凝固血の出血部位があると判定された場合、この画像フレームに対してこの旨を示すフラグを付する。

なお、上述したステップＳ１０３およびステップＳ１０５の判断処理では画素数について言及していないが、画像フレーム内において１以上の画素があればよい。ただし、ノイズである可能性があるため、所定個数の画素があるか否かを判断することが好ましい。

また、上述したステップＳ１０３およびステップＳ１０５の判断処理では、識別関数Ｌ１，Ｌ２を用いていたが、これに限らず、識別関数Ｌ１，Ｌ２を用いず、各画素が鮮血領域Ｅ１、凝固血領域Ｅ２、正常領域Ｅ３に位置するか否かによって判断するようにしてもよい。

ここで、上述したステップＳ１０６における円の画像処理について説明する。図１１は、円の画像処理手順を示す詳細フローチャートである。図１１に示すように、まずＣＰＵ５４は、ＳＯＢＥＬ法などによって各画素毎に、エッジ検出処理を行う（ステップＳ２０１）。その後、検出した各エッジの法線である直線を生成する（ステップＳ２０２）。さらに、各画素毎に、この画素に何本の直線が横切ったかを算出する（ステップＳ２０３）。

その後、算出された直線の数が所定値以上である画素があるか否かを判断する（ステップＳ２０４）。直線の数が所定値以上である場合（ステップＳ２０４，ＹＥＳ）には、出血部位はほぼ円であると判定し（ステップＳ２０５）、ステップＳ１０６にリターンする。一方、直線の数が所定値以上でない場合（ステップＳ２０４，ＮＯ）には、出血部位はほぼ円でないと判定し（ステップＳ２０６）、ステップＳ１０６にリターンする。

たとえば、図１２に示すように、エッジ検出処理によって出血部位Ｅに対するエッジｅ１，ｅ２が検出されると、各画素のエッジの法線である直線ＬＮを生成し、この直線ＬＮの交差数が所定値以上の画素Ｐ１か、所定値以下の画素Ｐ２かを判断する。ここで、所定値以上の画素Ｐ１が存在する場合には、エッジｅ１はほぼ円であると判定される。

なお、上述したステップ２０４の判断は、直線の数が所定値以上である画素があるか否かを判断していたが、これに限らず、直線の数が所定値以上である画素がさらに所定数以上あるか否かを判断するようにしてもよい。

このようにして、ＣＰＵ５４は、出血部位の自動検索処理を行うようにし、フラグを介した出血部位のマーキングを行うようにしているので、膨大な画像情報の中から出血部位を検索するという煩雑で多大な時間がかかる医師や看護士による検索処理を、容易かつ短時間で行うことができる。この結果、出血部位などの見逃しを軽減するとともに、医師や看護士が、出血部位に関する病状の考察などに集中することができる。

なお、上述した自動検索処理は、出血部位に関するものであったが、これに限らず、他の検索対象画像に対しても適応することができる。さらに、図９に示した出血部位の自動検索処理において、凝固血領域の検出などの処理（ステップＳ１０５〜Ｓ１０８）の処理を行わず、鮮血領域があるか否かのみの判定を行うようにしてもよい。すなわち、上述した出血部位自動検索処理では、鮮血と凝固血の出血部位があるか否かを検索するようにしていたが、鮮血の出血部位のみを検索するようにしてもよい。この場合、鮮血の出血部位が最も注目すべき検索対象となる。また、正常出血の出血部位については判定しないようにしていたが、この正常出血も含めた出血部位を検出するようにしてもよい。

ところで、平均色バー５０７の表示においては、図１３に示す平均色バー表示処理が行われる。すなわち、図７に示した一覧表示から診察対象の患者が決定すると、その患者に対応した撮像情報のファイルが指定される。そして、１フレーム分の画像ファイルがメモリ５３から読み出されてオープンされ（ステップＳ３０１）、フレーム単位における撮像画像の平均色が測定される（ステップＳ３０２）。

平均色が測定され、平均色データが得られると、その１フレーム目の平均色データはメモリ５３に格納される（ステップＳ３０３）。そして、処理済みの画像ファイルはクローズされて（ステップＳ３０４）、時系列に並ぶつぎの画像ファイルが読み出されてオープンされ、以下、同様の処理が繰り返し実行される（ステップＳ３０５のＮＯルート）。

診察対象患者の撮像情報のすべてについて平均色が求められると（ステップＳ３０５）、メモリ５３に蓄えられた平均色データを用いて図８に示した如く平均色バー５０７が表示制御される（ステップＳ３０６）。このようにして、平均色バー５０７の表示が完了する。このとき、スライダＳの初期位置は、平均色バー５０７の左端（開始位置）とするが、これに限定されるものではない。

また、撮像画像データなどを含む撮像情報は膨大な情報量となっていることから、すべての画像ファイルをオープンして全フレームについて平均色を求める必要はなく、効率的に数フレームを間引きながら平均色を求めようにしてもよい。また、本実施の形態では、求めた平均色そのものを平均色バー５０７に表示しているが、これに限るものではなく、この平均色に対応した色が平均色バー５０７に表示されていればよい。

以上説明したように本実施の形態によれば、カプセル内視鏡（体内撮像装置）によって時系列で撮像された入力画像データの全体的な撮像期間を示すスケールを表示し、このスケール上に移動可能なスライダを表示し、スケール上におけるスライダの移動に連動してスライダの位置に対応する撮像時刻の画像を表示し、入力画像データの一画面の平均色情報に対応する色をスケール上の時間的に対応する位置に表示するので、撮像部位によって色分けされ、この色分けされた色から体内の臓器を容易に判断することが可能となる。これによって、画像の検索性が向上するとともに、表示画像がどの臓器の画像であるかを容易に認識することが可能となる。

さて、上述した実施の形態では、平均色バーに配列された平均色を指標として臓器の位置を認識するようにしていたが、本発明はこれに限定されるものではなく、以下に説明する変形例のように、臓器名を平均色に対応させて表示する追加機能をもたせてもよい。したがって、以下に説明する変形例は、前述した構成および機能と同様のため、追加部分についてのみ説明する。

ここで、図１４は本実施の形態の一変形例による診察処理にかかる表示画面の一例を示す図であり、図１５は本実施の形態の一変形例による臓器名の自動判別原理を説明する図であり、そして、図１６は本実施の形態の一変形例による臓器名の判別処理を説明するフローチャートである。

図１４において、臓器名は、平均色バー５０７の各平均色に対応させて表示される。平均色バー５０７には、カプセル内視鏡１０が体内で時系列に撮像する並びで、食道、胃、小腸、大腸の順に平均色が並ぶことになる。したがって、平均色バー５０７には、各臓器の平均色に対応させて食道、胃、小腸、大腸の順に臓器名５０９が表示される。

そして、臓器名の自動判別の際は、臓器範囲の自動判別となる。経過時間における各撮像画像の赤色のレベル、青色のレベルは図１５に示した如く特性を有する。実際の画像はノイズ成分を含んでいるので、この特性をもつ赤色、青色のレベルに対して時間軸方向にローパスフィルタ（ＬＰＦ）処理を施してノイズを除去する。そして、ＬＰＦ処理後の時間軸方向における赤色、青色の各レベルが共通してもつエッジ部位（変色エッジ）を抽出する。

図１５の例では、上述のようにして抽出された変色エッジは、Ｎ１，Ｎ２，Ｎ３の３箇所である。したがって、変色エッジＮ１，Ｎ２，Ｎ３の時間軸方向の位置から、最初の変色エッジＮ１が食道から胃への移行部位、Ｎ２が胃から小腸への移行部位、そして、Ｎ３が小腸から大腸への移行部位であるという自動判別がなされる。このときの臓器名の順位は、カプセル内視鏡１０に撮像される臓器の時間軸方向の並びに基づくものである。

そこで、以上の原理に基づく処理としては、まず赤色レベル、青色レベルが算出され（ステップＳ４０１）、赤色レベル、青色レベルについてそれぞれ時間軸方向のＬＰＦ処理が施され（ステップＳ４０２）、変色エッジＮ１，Ｎ２，Ｎ３の検出が行われる（ステップＳ４０３）。そして、変色エッジＮ１，Ｎ２，Ｎ３の時間的な位置から臓器範囲の自動判別が行われ、平均色バー５０７の各平均色に対応させて臓器名が表示される（ステップＳ４０４）。

このように、カプセル内視鏡によって時系列で撮像された入力画像データの全体的な撮像期間を示すスケールを表示し、このスケール上に移動可能なスライダを表示し、スケール上におけるスライダの移動に連動してスライダの位置に対応する撮像時刻の画像を表示し、入力画像データの一画面の色情報に基づいて臓器を判別して臓器名をスケールに対応させて表示するので、表示された臓器名から体内の臓器を容易に判断することが可能となる。これによっても、画像の検索性が向上するとともに、表示画像がどの臓器の画像であるかを容易に認識することが可能となる。

さて、上述した変形例では、変色エッジから平均色バー上の臓器範囲を自動判別するようにしていたが、本発明はこれに限定されるものではなく、カプセル内視鏡１０にｐＨセンサを設けて、測定されたｐＨ値を用いて臓器範囲の特定をより正確にしてもよい。この場合には、観察期間においてｐＨセンサによりｐＨ値が測定され、このｐＨ値についても撮像画像と同様に時系列に測定され、受信機４に蓄えられることになる。その際、各フレーム（画像ファイル）に撮像画像とｐＨ値とが共存するなどして関連付けて記録される。

ここで、図１７は図１５の変形例の応用例を説明する図である。このｐＨ値を追加した自動判別では、図１７に示したように、胃が酸性であることを利用して、酸性部位と変色エッジＮ１，Ｎ２とを比較し、胃の部位を判別することになり、より判別精度を上げることができる。

なお、上述した平均色バー５０７の表示に代え、図１８に示すように、色要素変化の表示領域６０１を設けるようにしてもよい。この場合、各画像フレーム毎の平均色要素（Ｒ，Ｇ，Ｂ）のそれぞれの時系列的変化を直接表示している。すなわち、画像フレームから抽出された色要素という数値パラメータを可視情報化し、時系列的に連続して表示するようにしている。ここで、食道の色は白青色であり、胃は赤色であり、小腸は黄色であり、大腸は橙色であり、これらの色変化に伴って各色要素も変化する。各色要素の変化を連続的に可視表示するのみで、撮像部位を特定することができる。この場合、１つの色要素、たとえばＲのみを表示してもよい。また、各画像フレームのＲ，Ｇ，Ｂは、全画素の平均値であってもよいし、特定の画素の平均値や、間引いた後の画素の平均値であってもよい。換言すれば、各画像フレームを代表する色要素値を求めればよい。

また、各色要素変化の表示に代え、図１９に示すように、輝度変化の表示領域６０２を設けるようにしてもよい。輝度Ｙは、
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
で示され、各色要素から各画像フレームの輝度を求めることができる。すなわち、画像フレームから抽出された色要素を輝度の数値パラメータに変換し、この数値パラメータを可視情報化し、時系列的に連続して表示するようにしている。なお、図１９では、時系列的な輝度変化に伴って、臓器部位が表示されている。この臓器部位は、輝度値の変化をもとに判別したものであってもよいし、上述した色情報あるいはｐＨ値をもとに判別したものであってもよい。

さらに、輝度変化の表示に代え、図２０に示すように、各画像フレーム間の相対的な誤差であるフレーム間誤差の変化の表示領域６０３を設けるようにしてもよい。この場合、食道から胃に変わるときに大きなフレーム間誤差が生じ、その変化の大きいところでピークをもつことになる。このピークが生じる変化を直接表示しておくことによって、各臓器部位の境を知ることができる。なお、図２０では、時系列的なフレーム間誤差の変化に伴って臓器部位が表示されている。また、図２０における小腸での細かいピークは、小腸のぜん動によるものである。

すなわち、図１８〜図２０に示したように、各色要素や輝度、さらにはフレーム間誤差などの変化を時系列的に直接表示しても、各臓器部位を特定することができる。この臓器部位は、フレーム間誤差をもとに判別したものであってもよいし、上述した色情報あるいはｐＨ値をもとに判別したものであってもよい。

つづいて、前述した実施の形態におけるカルテ作成について説明する。図２１は本実施の形態による診察手順にかかる画面遷移の一例を説明する図であり、図２２は本実施の形態による指定画像の撮影時間表示のための動作を説明するフローチャートである。医師による診察は「診察終了カルテ印刷」のメニュー操作により終了させることができるが、さらにカルテ作成手順に移行することもできる。

図８の表示画面から図２１の表示画面に処理が移行した場合には、医師のコメント記入や各チェック画像が平均色バー５０７上でどの経過時間に対応するかを示すマーク表示がなされる。

すなわち、図２１において、５０４Ｂはチェック画像表示欄を示し、前述したチェック画像表示欄５０４Ａよりも領域を大きくとり、画面下段に設けられる。また、チェック画像表示欄５０４Ａと異なる点として、各撮像画像に番号Ｃ１〜Ｃ１０が付与され、表示されている。このチェック画像表示欄５０４Ｂは、チェック画像表示欄５０４Ａと同様の機能を有している。

５１０は医師の所見（コメント）を入力して表示させるコメント挿入欄を示している。このコメント挿入欄５１０には、医師の診断結果がコメントとして挿入される。５１１はチェック画像表示欄５０４Ｂに表示される対象のチェック画像についてそれぞれどの経過時間のときの撮像画像であるかを平均色バー５０７上にマークとして表示する撮影時間表示マークを示している。この撮影時間表示マークとして、平均色バー５０７上にてチェック画像の撮像時刻を指し示す指標としての下向き矢印と、チェック画像との対応関係がわかるようにチェック画像との関連を示す関連表示としてのチェック画像に付与された上記番号とを表示するようにしている。

図２１には、１０枚のチェック画像が例に挙げられている。この例では、平均色バー５０７上において、時系列に食道、胃、小腸、大腸の順に平均色が色分けされている。したがって、臓器名５０９の各臓器の範囲から明らかなように、食道範囲にチェック画像のマークＣ１が存在し、胃範囲にチェック画像のマークＣ２，Ｃ３およびＣ４が存在している。また小腸範囲にチェック画像のマークＣ５，Ｃ６，Ｃ７，Ｃ８およびＣ１０が存在している。

したがって、図２１の例から、食道、胃、小腸にそれぞれ医師がチェックした画像の存在が認められるとともに、各チェック画像が撮影されたときの時間に対応させてマークが表示配置されるので、医師はチェック画像が各臓器のどの辺りで撮影されたものかを容易に確認することが可能である。なお、図２１では、臓器名が表示された平均色バー５０７に撮影時間表示マークを表示しているが、図８のような臓器名が表示されていない平均色バー上に表示してもよい。また、図２１では、撮影時間表示マークとしてチェック画像との関連を示す関連表示（番号）を表示しているが、撮像時刻の位置を示す指標（下向き矢印）でもよい。

以上のマーク表示についてその処理を、図２２を用いて説明する。チェック画像すなわち指定画像の撮影時間表示においては、まずメモリ５３から指定画像のファイル作成日時が取得され（ステップＳ５０１）、撮影開始日時からの経過時間が算出される（ステップＳ５０２）。そして、平均色バー５０７上の経過時間に対応する場所に平均色バー５０７のスケールで図２１に示した如くマーク表示が制御される（ステップＳ５０３）。この後、カルテ印刷が操作されると、カルテ印刷のための出力が実行される。

以上説明したように、本実施の形態によれば、カプセル内視鏡（体内撮像装置）によって時系列で撮像された入力画像データの全体的な撮像期間を示すスケールを表示し、入力画像データの一画面の平均色情報に対応する色をスケール上の時間的に対応する位置に表示し、入力画像データに対応する画像を表示し、スケール上において、指定された画像の撮像時刻に対応する位置を示す指標を表示するので、指定画像がどの時間帯にどれくらいあるかなどを視覚的に容易に認識することが可能である。また、撮像部位によって色分けされた色から臓器を容易に判断できることから、どの臓器のどの辺りに指定画像が多いかを容易に認識することが可能である。

また、カプセル内視鏡によって時系列で撮像された画像データの全体的な撮像期間を示すスケールを表示し、入力画像データの一画面の色情報に基づいて臓器を判別し、その判別された臓器名をスケールに対応させて表示し、入力画像データに対応する画像を表示し、スケール上において、指定された画像の撮像時刻に対応する位置を示す指標を表示するので、表示された臓器名から体内の臓器を容易に判断することが可能となる。これによっても、どの臓器にどの辺りに指定画像が多いかを容易に認識することが可能である。

本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。

本実施の形態にかかるカプセル内視鏡の内部構造を示す概略図である。 本実施の形態によるカプセル内視鏡システムの概略図である。 本実施の形態によるカプセル内視鏡システム内部の一構成例を示すブロック図である。 本実施の形態による観察手順にかかる画面遷移の一例を示す図である。 本実施の形態による観察手順にかかる画面遷移の一例を示す図である。 本実施の形態による観察手順にかかる画面遷移の一例を示す図である。 本実施の形態による診察手順にかかる画面遷移の一例を説明する図である。 本実施の形態による診察手順にかかる画面遷移の一例を説明する図である。 出血部位の自動検索処理手順を示すフローチャートである。 特徴空間およびこの特徴空間上における鮮血、凝固血、正常な出血の各領域と識別関数との関係を示す図である。 図９に示した円の画像処理手順を示す詳細フローチャートである。 エッジ検出によって円を検出する画像処理を説明する図である。 本実施の形態による平均色バー表示のための動作を説明するフローチャートである。 本実施の形態の一変形例による診察処理にかかる表示画面の一例を示す図である。 本実施の形態の一変形例による臓器名の自動判別原理を説明する図である。 本実施の形態の一変形例による臓器名の判別処理を説明するフローチャートである。 図１５の変形例の応用例を説明する図である。 各画像の平均色要素を時系列的に連続して表示した画面状態を示す図である。 各画像の平均色要素から求めた平均輝度を時系列的に連続して表示した画面状態を示す図である。 各画像のフレーム間誤差を時系列的に連続して表示した画面状態を示す図である。 本実施の形態による診察手順にかかる画面遷移の一例を説明する図である。 本実施の形態による指定画像の撮影時間表示のための動作を説明するフローチャートである。

符号の説明

５ ワークステーション
５１ 表示部
５２ Ｉ／Ｆ
５３ メモリ
５４ ＣＰＵ
５５ 入力部
５６ 出力部
５０３ 画像表示欄
５０４Ａ，５０４Ｂ チェック画像表示欄
５０５ ３Ｄ位置表示欄
５０６ 再生操作欄
５０７ 平均色バー
５０８ 出血部位自動検索ボタン
５０９ 臓器名
５１０ コメント挿入欄
５１１ 撮影時間表示マーク
６０１〜６０３ 表示領域
Ｓ スライダ
Ｖ１，Ｖ２ 出血部位

Claims (24)

1. 体内撮像装置によって撮像された画像のストリームを構成する一つまたは複数の画像の特徴である数値パラメータを抽出する特徴抽出手段と、
   前記特徴抽出手段によって抽出された数値パラメータを可視化し、時系列に可視表示する表示制御手段と、
   前記数値パラメータあるいは前記変換数値パラメータをもとに臓器部位を判別する臓器判別手段と、
   を備え、
   前記表示制御手段は、判別された臓器部位を時系列に対応させて表示する制御を行うことを特徴とする画像表示装置。
2. 前記表示制御手段は、前記数値パラメータとして、前記複数の画像の内の少なくともいくつかについて、その画像の平均色を示す色要素を示す可視表示を行うことを特徴とする請求項１に記載の画像表示装置。
3. 前記特徴抽出手段によって抽出された数値パラメータを変換して新たな変換数値パラメータを生成する変換手段をさらに備え、
   前記表示制御手段は、前記変換手段が変換した変換数値パラメータを可視化し、時系列に可視表示することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記変換手段は、複数の画像の内の少なくともいくつかの画像における色情報の数値パラメータをもとにその画像の輝度値を示す変換数値パラメータに変換することを特徴とする請求項３に記載の画像表示装置。
5. 前記変換手段は、複数の画像の内の少なくともいくつかの画像における色情報の数値パラメータをもとにその画像の平均輝度値を示す変換数値パラメータに変換することを特徴とする請求項３に記載の画像表示装置。
6. 前記特徴抽出手段は、画像フレーム間の差分を示すフレーム間誤差を数値パラメータとして抽出することを特徴とする請求項１に記載の画像表示装置。
7. 体内撮像装置によって撮像された複数の画像を取得する取得手段と、
   前記取得手段によって取得された画像のストリームを描写するスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御手段と、
   前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する画像を表示手段に表示するように制御する画像表示制御手段と、
   を備え、
   前記表示制御手段は、前記特徴抽出手段によって抽出された数値パラメータあるいは前記変換手段によって変換された変換数値パラメータを可視化し、前記スケール上の対応する位置に表示する制御を行うことを特徴とする請求項１〜６のいずれか一つに記載の画像表示装置。
8. 前記臓器判別手段は、前記画像に関連して得られた生体情報を加味して臓器を判別することを特徴とする請求項１に記載の画像表示装置。
9. 体内撮像装置によって撮像された複数の画像について、それらの画像の色情報を取得する色情報取得手段と、
   前記色情報取得手段によって取得された色情報を所定の特徴色空間上の位置情報に変換する変換手段と、
   前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否かを判断する出血部位判断手段と、
   前記出血部位判断手段によって検索対象の出血部位があると判断された画像にその旨を示すフラグを付するフラグ付記手段と、
   を備えたことを特徴とする画像表示装置。
10. 前記出血部位判断手段は、前記特徴色空間上における鮮血、凝固血、および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断することを特徴とする請求項９に記載の画像表示装置。
11. 前記出血部位判断手段は、出血部位がほぼ円形である場合に該出血部位を凝固血の出血部位であると判断することを特徴とする請求項１０に記載の画像表示装置。
12. 前記出血部位判断手段は、画像内の出血領域のエッジを検出し、この検出された各エッジの法線を生成し、出血領域内の各画素を通過する法線数が所定本数以上であった場合に、ほぼ円形の出血部位があると判断することを特徴とする請求項１１に記載の画像表示装置。
13. 情報処理装置内において実行される画像表示方法であって、
    体内撮像装置によって撮像された複数の画像について、それらの画像の特徴である数値パラメータを抽出する特徴抽出ステップと、
    前記特徴抽出ステップによって抽出された数値パラメータを可視化し、時系列に可視表示する表示制御ステップと、
    前記数値パラメータあるいは前記変換数値パラメータをもとに臓器部位を判別する臓器判別ステップと、
    を含み、
    前記表示制御ステップは、判別された臓器部位を時系列に対応させて表示する制御を行うことを特徴とする画像表示方法。
14. 前記表示制御ステップは前記数値パラメータとして、前記複数の画像の内の少なくともいくつかの画像について、それらの画像についての平均色を示す色要素を示す可視表示を行うことを特徴とする請求項１３に記載の画像表示方法。
15. 前記特徴抽出ステップによって抽出された数値パラメータを変換して新たな変換数値パラメータを生成する変換ステップをさらに含み、
    前記表示制御ステップは、前記変換ステップが変換した変換数値パラメータを可視化し、時系列に可視表示することを特徴とする請求項１３または１４に記載の画像表示方法。
16. 前記変換ステップは、前記複数の画像の内の少なくともいくつかの画像の色情報の数値パラメータをもとにそれらの画像の輝度値を示す変換数値パラメータに変換することを特徴とする請求項１５に記載の画像表示方法。
17. 前記変換ステップは、前記複数の画像の内の少なくともいくつかの画像の平均色の数値パラメータをもとにそれらの画像の平均輝度値を示す変換数値パラメータに変換することを特徴とする請求項１５に記載の画像表示方法。
18. 前記特徴抽出ステップは、画像フレーム間の差分を示すフレーム間誤差を数値パラメータとして抽出することを特徴とする請求項１３に記載の画像表示方法。
19. 体内撮像装置によって撮像された複数の画像を取得する取得ステップと、
    前記取得ステップによって取得された画像のストリームを描写するスケールを表示し、該スケール上を移動可能なスライダを表示するように制御するスケール表示制御ステップと、
    前記スケール上における前記スライダの移動に連動して該スライダの位置に対応する画像を表示手段に表示するように制御する画像表示制御ステップと、
    を含み、
    前記表示制御ステップは、前記特徴抽出ステップによって抽出された数値パラメータあるいは前記変換ステップによって変換された変換数値パラメータを可視化し、前記スケール上の対応する位置に表示する制御を行うことを特徴とする請求項１３〜１８のいずれか一つに記載の画像表示方法。
20. 前記臓器判別ステップは、前記画像に関連して得られた生体情報を加味して臓器を判別することを特徴とする請求項１３または１９に記載の画像表示方法。
21. ＣＰＵを備えた情報処理装置内において実行される画像表示方法であって、
    前記ＣＰＵによって、体内撮像装置によって撮像された複数の画像について、それらの画像の色情報を取得する色情報取得ステップと、
    前記ＣＰＵによって、前記色情報取得ステップによって取得された色情報を所定の特徴色空間上の位置情報に変換する変換ステップと、
    前記ＣＰＵによって、前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換ステップによって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否かを判断する出血部位判断ステップと、
    前記ＣＰＵによって、前記出血部位判断ステップによって検索対象の出血部位があると判断された画像にその旨を示すフラグを付するフラグ付記ステップと、
    を含むことを特徴とする画像表示方法。
22. 前記出血部位判断ステップは、前記特徴色空間上における鮮血、凝固血、および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断することを特徴とする請求項２１に記載の画像表示方法。
23. 前記出血部位判断ステップは、出血部位がほぼ円形である場合に該出血部位を凝固血の出血部位であると判断することを特徴とする請求項２２に記載の画像表示方法。
24. 前記出血部位判断ステップは、画像内の出血領域のエッジを検出し、この検出された各エッジの法線を生成し、出血領域内の各画素を通過する法線数が所定本数以上であった場合に、ほぼ円形の出血部位があると判断することを特徴とする請求項２３に記載の画像表示方法。

Images