以下、図面を参照して、この発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、以下では、この発明にかかる画像表示装置の一例として、カプセル型内視鏡システムに用いられる画像表示装置を例示するが、このことはこの発明を限定するものではない。
図1は、この発明の実施の形態である画像表示装置を備えたカプセル型内視鏡システムの一構成例を模式的に例示する模式図である。図1に示すように、このカプセル型内視鏡システムは、被検体1内の通過経路に沿って移動するとともに被検体1内の画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2から無線送信された画像を受信して蓄積する受信装置3と、カプセル型内視鏡2が時系列に沿って撮像した被検体1内の画像を表示する画像表示装置4と、受信装置3と画像表示装置4との間の情報の受け渡しを行うための携帯型記録媒体5とを備える。
カプセル型内視鏡2は、被検体1内を撮像する撮像機能と被検体1内を撮像した画像を受信装置3に送信する無線通信機能とを有する。カプセル型内視鏡2は、被検体1に飲込まれることによって被検体1内の食道を通過し、消化管腔の蠕動によって体腔内を進行する。これと同時に、カプセル型内視鏡2は、所定間隔たとえば0.5秒間隔で被検体1内の画像を逐次撮像し、得られた被検体1内の画像を受信装置3に逐次送信する。
受信装置3は、受信アンテナ3a〜3hが接続され、受信アンテナ3a〜3hを用いてカプセル型内視鏡2と無線通信を行う。具体的には、受信装置3は、受信アンテナ3a〜3hのいずれかを介してカプセル型内視鏡2からの無線信号を受信し、受信した無線信号をもとに被検体1内の画像を取得する。また、受信装置3は、携帯型記録媒体5が着脱可能に装着され、カプセル型内視鏡2から逐次取得した被検体1内の画像を携帯型記録媒体5に逐次格納する。
受信アンテナ3a〜3hは、たとえばループアンテナを用いて実現され、カプセル型内視鏡2から送信された無線信号を受信する。受信アンテナ3a〜3hは、図1に示すように、被検体1の体表上の所定位置たとえばカプセル型内視鏡2の通過経路に対応する位置に配置される。なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケットの所定位置に配置されてもよい。この場合、受信アンテナ3a〜3hは、被検体1がこのジャケットを着用することによって、カプセル型内視鏡2の通過経路に対応する被検体1の体表上の所定位置に配置される。また、被検体1には、複数の受信アンテナが配置されればよい。この場合、受信アンテナの配置数は、特に8つに限定されない。
携帯型記録媒体5は、コンパクトフラッシュ(登録商標)等の携帯可能な記録メディアである。携帯型記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する装着時に情報の出力および記録が可能な構造を有する。具体的には、携帯型記録媒体5は、受信装置3に装着した場合、受信装置3がカプセル型内視鏡2から取得した画像等のデータを逐次格納する。また、携帯型記録媒体5は、画像表示装置4に装着された場合、格納した画像等のデータが画像表示装置4に取り込まれ、または、被検体1に関する情報等が画像表示装置4によって書き込まれる。
画像表示装置4は、カプセル型内視鏡2によって撮像された画像等を表示するためのものであり、携帯型記録媒体5を媒介にして取得した被検体1内の画像を表示するワークステーション等のような構成を有する。この場合、画像表示装置4は、医師または看護師等の検査者が被検体1内の画像を観察して被検体1を診断するための処理機能を有する。検査者は、画像表示装置4に被検体1内の画像を順次表示させて被検体1内の部位たとえば食道、胃、小腸、および大腸等を観察(検査)し、これによって、被検体1を診断できる。
図2は、画像表示装置4の一構成例を模式的に示すブロック図である。図2に示すように、画像表示装置4は、被検体1内の画像を表示して観察するための各種情報を入力する入力部11と、被検体1内の画像等の被検体1内を観察(検査)して診断するための各種情報を画面表示する表示部12と、携帯型記録媒体5に蓄積された画像等のデータを取り込むリーダライタ13とを有する。また、画像表示装置4は、被検体1内の画像等の被検体1内の観察および診断に必要な各種データを蓄積する記憶部14と、画像表示装置4の各構成部の駆動制御を行う制御部15とを有する。
入力部11は、キーボードまたはマウス等を用いて実現され、検査者による入力操作によって、制御部15に対して指示する情報または被検体1に関する情報を制御部15に入力する。この場合、入力部11は、たとえば、被検体1内の画像を表示部12に表示するための指示情報、被検体1の名前(患者名)、性別、生年月日、および患者ID等の被検体1に関する情報を制御部15に入力する。
表示部12は、CRTディスプレイまたは液晶ディスプレイ等のディスプレイを用いて実現され、制御部15によって表示指示された各種情報を表示する。この場合、表示部12は、たとえばカプセル型内視鏡2によって撮像された被検体1内の一連の画像および被検体1に関する情報を表示する。また、表示部12は、被検体1内の一連の画像の撮像期間を示すタイムバーを表示する。この場合、表示部12は、かかるタイムバーを被検体1内の部位毎に色分けして表示する。なお、かかる表示部12による表示画面の具体例については、後述する。
リーダライタ13は、上述した携帯型記録媒体5を着脱可能に装着し、装着した携帯型記録媒体5に蓄積されたデータたとえば被検体1内の一連の画像を取り込むとともに、得られたデータを制御部15に転送する。また、リーダライタ13は、装着した携帯型記録媒体5に対し、制御部15によって書込指示された情報たとえば被検体1に関する情報を書き込む。
記憶部14は、制御部15によって書込指示された情報たとえば被検体1内の一連の画像および被検体1に関する情報等を蓄積する。また、記憶部14は、制御部15によって読み出し指示された蓄積情報を読み出すとともに制御部15に転送する。なお、記憶部14は、RAM、EEPROM、またはハードディスク等の情報の蓄積および読み出しが可能な情報記録手段を用いて自身に各種情報を蓄積するように構成してもよいし、CDまたはDVD等の携帯型記録媒体を着脱可能に装着し、装着したCDまたはDVD等に情報を蓄積するように構成してもよい。
また、記憶部14は、表示部12に表示するタイムバーを被検体1内の部位毎に色分けするための代替色テーブル14aを有する。図3は、代替色テーブル14aの具体例を示す模式図である。図3に示すように、代替色テーブル14aは、表示部12に画像表示して観察する被検体1内の各観察部位(たとえば食道、胃、小腸、および大腸)と、かかる被検体1内の各観察部位に対応する代替色とを対応付ける。この場合、代替色テーブル14aは、たとえば食道と代替色(青)とを対応付け、胃と代替色(緑)とを対応付け、小腸と代替色(黄)とを対応付け、大腸と代替色(赤)とを対応付ける。かかる代替色は、被検体1内の各観察部位を撮像した各画像の平均色をそれぞれ代替するものであって、被検体1内の観察部位毎に異なる色である。また、かかる観察部位と代替色との組合せは、図3の代替色テーブル14aに例示するものに限定されない。
なお、かかる代替色として、タイムバー120上に表示した場合に互いに隣接する他の代替色との境界を形成できるコントラストを有しているもの、たとえば隣接する各代替色の色相、明度、および彩度の各差がそれぞれ所定値以上であるものが用いられる。具体的には、たとえば赤、橙、黄、緑、青、藍、および紫の7つの主色の中から選択した所望の色が用いられる。この場合、互いに隣り合う観察部位の各代替色、たとえば食道および胃の各代替色、胃および小腸の各代替色、小腸および大腸の各代替色は、色の系統が互いに離れたものであることが望ましい。
制御部15は、上述したように、画像表示装置4の各構成部たとえば入力部11、表示部12、リーダライタ13、および記憶部14の駆動制御を行い、かかる各構成部に対する情報の入出力制御と、かかる各構成部との間で各種情報を入出力するための情報処理とを行う。また、制御部15は、携帯型記録媒体5から一連の画像を取り込んだ場合、これら一連の画像に含まれる各画像とそれぞれの撮像時刻とを対応付けてファイル化し、かかる一連の画像を含むファイルを記憶部14に格納して保持管理する。この場合、制御部15は、各画像の撮像時刻に代えて、カプセル型内視鏡2が撮像を開始してから各画像をそれぞれ撮像するまでの各経過時間を対応付けてもよい。
また、制御部15は、部位判別部15aと表示制御部15bとを有する。部位判別部15aは、一連の画像に含まれる各画像の色情報たとえば平均色を検出し、検出した各画像の平均色をもとに、かかる各画像に表示された被検体1内の各観察部位をそれぞれ判別する。表示制御部15bは、表示部12に対して各種情報を表示する制御を行う。この場合、表示制御部15bは、たとえば被検体1内の一連の画像等の被検体1内を観察、診断するための情報を表示部12に表示させる。また、表示制御部15bは、代替色テーブル14aを参照し、部位判別部15aによって判別された観察部位毎に、上述したタイムバーを色分けして表示部12に表示させる。
つぎに、表示部12が表示する表示画面を具体的に説明する。図4は、表示部12の表示画面の一具体例を模式的に示す模式図である。図4に示すように、表示部12の表示画面には、被検体1内の観察部位の画像を表示する主画像表示領域100と、カプセル型内視鏡2によって撮像された一連の画像をそれぞれ含む各ファイルを一覧表示するファイル表示領域110と、主画像表示領域100に表示する一連の画像の撮像期間を示すタイムバー120と、主画像表示領域100に観察部位の画像を表示する操作を行うための表示操作アイコン131〜136とが形成される。また、表示部12の表示画面には、主画像表示領域100に表示した画像から選択した所望の画像をサムネイル画像として追加表示する副画像表示領域140と、主画像表示領域100に同時に表示する画像の枚数を設定する枚数設定アイコン151〜153と、観察部位に対する所見等のレポートを作成するためのレポートアイコン160とが形成される。
主画像表示領域100には、ファイル表示領域110に一覧表示した各ファイルたとえばファイルF1〜F4から選択したファイルに含まれる一連の画像が表示される。具体的には、主画像表示領域100に同時に表示する画像の枚数を1枚に設定する枚数設定アイコン151が入力部11の操作によって選択された場合、主画像表示領域100には、たとえば画像101のように、一連の画像に含まれる各画像が1枚ずつ順次表示される。この場合、表示操作アイコン131〜133のいずれかが入力部11の操作によって選択されていれば、主画像表示領域100には、時系列の順方向に沿って一連の画像を順次表示する。一方、表示操作アイコン134〜136のいずれかが入力部11の操作によって選択されていれば、主画像表示領域100には、時系列の逆方向に沿って一連の画像を順次表示する。なお、かかる一連の画像は、表示操作アイコン131,134が選択されていれば、標準の表示フレームレートで主画像表示領域100に順次表示され、表示操作アイコン132,135が選択されていれば、その都度1フレームずつ表示(コマ再生)され、表示操作アイコン133,136が選択されていれば、この標準の表示フレームレートに比して高速の表示フレームレートで順次表示される。さらに、主画像表示領域100には、図4に示すように、画像表示対象の被検体1に関する情報たとえば患者名、患者ID、性別、および生年月日が表示され、被検体1内の一連の画像のうちの表示中の画像101の撮像年月日および撮像時刻が表示される。
タイムバー120は、主画像表示領域100に表示する被検体1内の一連の画像の撮像期間を示す時間スケールとして、カプセル型内視鏡2が被検体1内の画像を撮像開始してからの経過時間を示す時間スケール121が付される。この場合、時間スケール121が示す経過時間の最大値は、所定時間たとえば10時間に固定される。かかる時間スケール121が示す経過時間は、カプセル型内視鏡2を被検体1内に導入して被検体1の検査を開始してからの経過時間に相当する。また、タイムバー120は、時間スケール121に沿って時系列の順方向または逆方向に移動する表示位置マーカ122を有する。表示位置マーカ122は、主画像表示領域100に表示する画像の検査開始からの経過時間を示す指標としてタイムバー120に形成され、主画像表示領域100に表示する画像の切替に同期して時間スケール121に沿って時系列の順方向または逆方向に移動する。この場合、表示位置マーカ122は、主画像表示領域100に表示中の画像の撮像時刻と時間的に対応する時間スケール121上の位置を指し示すように移動する。なお、タイムバー120は、時間スケール121によって示される経過時間が0時間(0h)である左端近傍に、被検体1内の一連の画像の撮像開始時刻すなわち被検体1の検査開始時刻(たとえば08:30)が表示され、かかる経過時間の最大値たとえば10時間(10h)である右端近傍に、被検体1の検査終了時刻(たとえば18:30)が表示される。
また、タイムバー120は、たとえば図4に示すように、被検体1内の各観察部位(食道、胃、小腸、大腸)にそれぞれ対応する代替色C1〜C4によって色分けされる。具体的には、タイムバー120は、被検体1の食道が撮像された1以上の画像と時間的に対応したタイムバー120上の領域に青色の代替色C1が表示され、被検体1の胃が撮像された1以上の画像と時間的に対応したタイムバー120上の領域に緑色の代替色C2が表示され、被検体1の小腸が撮像された1以上の画像と時間的に対応したタイムバー120上の領域に黄色の代替色C3が表示され、被検体1の大腸が撮像された1以上の画像と時間的に対応したタイムバー120上の領域に赤色の代替色C4が表示される。タイムバー120をかかる代替色によって色分けする動作については、後述する。
副画像表示領域140には、検査者が入力部11を操作して主画像表示領域100の所望の画像を選択した場合、この所望の画像に対応するサムネイル画像が追加表示される。この場合、たとえば図4に示すように、サムネイル画像SP1〜SP5が副画像表示領域140に追加表示される。かかるサムネイル画像SP1〜SP5のいずれかを選択することによって、選択したサムネイル画像に対応する画像を主画像表示領域100に表示できる。また、副画像表示領域140の各サムネイル画像には、所望のコメントをそれぞれ付することができる。具体的には、サムネイル画像SP1〜SP5には、撮像された臓器名(たとえば十二指腸(duodenum)、空腸(jejunum)、または小腸(small intestine)等)またはサムネイル画像を特定する所望のコメント(たとえば出血部位または病変等)を示すコメントP1〜P5をそれぞれ付することができる。さらに、レポートアイコン160を選択して観察部位に対する所見等のレポートを作成した場合、この観察部位が撮像された画像に対応するサムネイル画像には、かかるレポートが作成(添付)されたことを示すレポートマークが付される。具体的には、たとえばサムネイル画像SP1〜SP5に対応する各画像に対してレポートが作成された場合、図4に示すように、レポートマークRM1〜RM5が、サムネイル画像SP1〜SP5のそれぞれに付される。この場合、検査者は、入力部11を操作して所望のレポートマークを選択すれば、選択したレポートマークに対応するレポートを閲覧できる。
つぎに、上述した代替色によってタイムバー120を観察部位毎に色分けする動作について詳細に説明する。図5は、制御部15がタイムバー120を観察部位毎に色分けするまでの処理手順を説明するためのフローチャートである。制御部15は、ファイル表示領域110のたとえばファイルF1〜F4から表示対象の所望のファイルが選択された場合、この所望のファイルに含まれる一連の画像に表示された各観察部位を判別し、かかる各観察部位にそれぞれ対応する代替色によってタイムバー120を色分けする。すなわち図5において、制御部15は、まず、処理対象として読み出す画像のフレーム番号を初期化し(ステップS101)、たとえばフレーム番号n=1とする。この場合、制御部15は、表示対象の一連の画像のうちの時系列的に先頭の画像を処理対象として読み出すようになる。その後、制御部15は、かかる一連の画像のうちの処理対象の画像たとえば先頭の画像を記憶部14から読み出す(ステップS102)。
処理対象の画像を読み出した場合、制御部15は、この処理対象の画像に表示された被検体1内の観察部位を判別する(ステップS103)。この場合、部位判別部15aは、ステップS102において読み出した処理対象の画像の色情報たとえば平均色を検出し、検出した平均色に基づいて処理対象の画像の観察部位を判別する。たとえば、部位判別部15aは、処理対象の画像の平均色が青白色である場合、かかる処理対象の画像に表示された観察部位を食道と判別し、処理対象の画像の平均色が赤色である場合、かかる処理対象の画像に表示された観察部位を胃と判別する。また、部位判別部15aは、処理対象の画像の平均色が黄色である場合、かかる処理対象の画像に表示された観察部位を小腸と判別し、処理対象の画像の平均色が橙色である場合、かかる処理対象の画像に表示された観察部位を大腸と判別する。
なお、部位判別部15aは、処理対象の画像の平均色を形成する色要素たとえば赤の色要素R、緑の色要素G、および青の色要素Bの各値に基づいて処理画像の観察部位を判別してもよい。具体的には、部位判別部15aは、色要素R,G,Bの各値が食道の平均色を形成する色要素の数値範囲内であれば、処理対象の画像の観察部位を食道と判別し、色要素R,G,Bの各値が胃の平均色を形成する色要素の数値範囲内であれば、処理対象の画像の観察部位を胃と判別し、色要素R,G,Bの各値が小腸の平均色を形成する色要素の数値範囲内であれば、処理対象の画像の観察部位を小腸と判別し、色要素R,G,Bの各値が大腸の平均色を形成する色要素の数値範囲内であれば、処理対象の画像の観察部位を大腸と判別してもよい。
つぎに、制御部15は、ステップS103によって観察部位を判別した処理対象の画像をこの観察部位に対応付けて記憶部14に保存する(ステップS104)。これによって、制御部15は、かかる処理対象の画像をステップS103において判別した観察部位の画像として保持管理する。その後、制御部15は、画像のフレーム番号nを「+1」加算する(ステップS105)。これによって、制御部15は、つぎに処理対象の画像を読み出す場合に、かかる処理済の画像に対して時系列的に後続の画像すなわちフレーム番号がn+1の画像を読み出すようになる。
その後、制御部15は、表示対象の一連の画像の最終画像すなわち時系列的に最後尾の画像に対して上述したステップS102以降の処理を完了したか否かを判断する(ステップS106)。この場合、制御部15は、たとえばステップS105において算出したフレーム番号n+1が表示対象の一連の画像に含まれる画像のフレーム数を超えた場合、この一連の画像の最終画像について上述したステップS102以降の処理を完了したと判断する。制御部15は、かかる最終画像を未だ処理完了していないと判断した場合(ステップS106,No)、上述したステップS102以降の処理手順を繰り返す。すなわち、制御部15は、表示対象の一連の画像に含まれる各画像に対して観察部位をそれぞれ判別し、判別した各観察部位にそれぞれ対応付けてかかる各画像を記憶部14に保存する。
一方、制御部15は、ステップS106において最終画像を処理完了と判断した場合(ステップS106,Yes)、観察部位を判別済みの表示対象の一連の画像を読み出し、表示部12に対し、かかる一連の画像に含まれる各画像の観察部位に対応する代替色をタイムバー120上にそれぞれ表示する制御を行う(ステップS107)。この場合、表示制御部15bは、記憶部14の代替色テーブル14aを参照し、かかる一連の画像に含まれる各画像の観察部位に対応する代替色を決定する。つぎに、表示制御部15bは、表示部12に対し、かかる各画像にそれぞれ時間的に対応したタイムバー120上の各領域に各画像の観察部位に対応する代替色をそれぞれ表示する制御を行う。この場合、表示部12は、かかる代替色によって観察部位毎に色分けしたタイムバー120を表示する。
図6は、制御部15が各画像の観察部位を判別してタイムバー120を観察部位毎に色分けする動作を具体的に説明するための模式図である。図6に示すように、制御部15は、表示対象の一連の画像である画像群DGに含まれる各画像の観察部位を判別する。具体的には上述したステップS103において、部位判別部15aが、画像群DGの各画像の平均色を検出し、検出した平均色に基づいて各画像の観察部位を判別する。これによって、画像群DGは、被検体1内の各観察部位たとえば食道が撮像された画像群D1、胃が撮像された画像群D2、小腸が撮像された画像群D3、および大腸が撮像された画像群D4に分類される。
また、制御部15は、上述したステップS103において判別した画像群DGの観察部位毎にタイムバー120を色分けする。この場合、表示制御部15bは、記憶部14の代替色テーブル14aを参照して各観察部位に対応する代替色を決定し、表示部12に対し、画像群D1に時間的に対応したタイムバー120上の領域に食道に対応する青色の代替色C1を表示する制御を行い、画像群D2に時間的に対応したタイムバー120上の領域に胃に対応する緑色の代替色C2を表示する制御を行い、画像群D3に時間的に対応したタイムバー120上の領域に小腸に対応する黄色の代替色C3を表示する制御を行い、画像群D4に時間的に対応したタイムバー120上の領域に大腸に対応する赤色の代替色C4を表示する制御を行う。この場合、表示部12は、たとえば図4に示すように、代替色C1〜C4によって観察部位毎に色分けしたタイムバー120を表示する。
ここで、かかる代替色C1〜C4は、食道に対応する代替色C1と胃に対応する代替色C2とが互いに離れた色の系統になるように表示され、この代替色C2と小腸に対応する代替色C3とが互いに離れた色の系統になるように表示され、この代替色C3と大腸に対応する代替色C4とが互いに離れた色の系統になるように表示される。これによって、タイムバー120は、互いに隣り合う代替色C1〜C4の各境界すなわち代替色C1,C2の境界と代替色C2,C3の境界と代替色C3,C4の境界とが視認可能な程度に表示された状態で明確に色分けされる。かかる代替色C1〜C4の各境界は、表示対象の画像群DGの観察部位が変わる際の画像の境界すなわち画像群D1,D2の境界、画像群D2,D3の境界、および画像群D3,D4の境界をそれぞれ示すものである。したがって、タイムバー120は、表示位置マーカ122を用いて代替色C1〜C4のいずれかを指し示すことによって、主画像表示領域100に表示中の画像の観察部位を示すとともに、表示位置マーカ122に代替色C1〜C4の各境界を通過させることによって、主画像表示領域100に表示中の画像の観察部位が直前に表示した画像の観察部位と異なるものに変わった旨を示すことができる。
検査者は、表示位置マーカ122が指し示す時間スケール121上の位置を視認することによって、主画像表示領域100の画像の検査開始からの経過時間を把握でき、これと同時に、この表示位置マーカ122が指し示すタイムバー120上の代替色を視認することによって、この主画像表示領域100の画像の観察部位を容易に把握できる。また、検査者は、表示位置マーカ122がタイムバー120上の代替色の境界を通過したか否かを視認することによって、主画像表示領域100の画像の観察部位がその直前に表示した画像の観察部位から変わったか否かを容易に判断できる。たとえば、表示位置マーカ122が代替色C1,C2の境界を時系列の順方向に通過した場合、検査者は、主画像表示領域100の画像の観察部位が食道から胃に変わった旨を判断できる。
つぎに、表示部12が主画像表示領域100に複数枚の画像を同時に表示する動作について説明する。図7は、主画像表示領域100に2枚の画像を同時に表示する場合の表示部12の表示画面の一具体例を模式的に示す模式図である。入力部11の操作によって枚数設定アイコン152が選択された場合、表示制御部15bは、表示部12に対し、表示対象の一連の画像に含まれる各画像を主画像表示領域100に2枚ずつ同時に表示する制御を行う。この場合、表示部12は、図7に示すように、主画像表示領域100に2枚の画像101,102を同時に表示するようになる。表示制御部15bは、かかる画像101,102がたとえば時系列に沿って連続する状態を維持する切替順序に沿って、表示対象の一連の画像を2枚ずつ順次切り替えて表示させる。これによって、表示対象の一連の画像を表示し終わるまでにかかる時間を短縮できる。
なお、2枚の画像101,102を主画像表示領域100に同時に表示する場合、かかる画像101,102は、表示対象の一連の画像において時系列に沿って連続するものでなくてもよい。すなわち、表示制御部15bは、表示部12に対し、上述したものとは別の表示順序に沿って表示対象の一連の画像を2枚ずつ順次切り替えて表示する制御を行ってもよい。図8は、別の切替順序1に沿って2枚の画像101,102を順次切り替えて表示するための動作を説明する模式図である。図8に示すように、表示制御部15bは、表示部12に対し、表示対象の画像群DGを先頭の画像から時系列の順方向に沿って順次切り替えて表示する制御を行ない、これに同期して、表示対象の画像群DGを最後の画像から時系列の逆方向に沿って順次切り替えて表示する制御を行う。かかる別の切替順序1に沿った表示制御部15bの制御によって、表示部12は、かかる時系列の順方向に沿って順次切り替える画像群DGの各画像を画像101として順次表示するとともに、かかる時系列の逆方向に沿って順次切り替える画像群DGの各画像を画像102として順次表示する。
図9は、別の切替順序2に沿って2枚の画像101,102を順次切り替えて表示するための動作を説明する模式図である。図9に示すように、表示制御部15bは、表示部12に対し、表示対象の画像群DGを先頭の画像から時系列の順方向に沿って順次切り替えて表示する制御を行ない、これに同期して、表示対象の画像群DGを中間の画像たとえばタイムバー120の中心近傍に時間的に対応する画像から時系列の順方向に沿って順次切り替えて表示する制御を行ってもよい。かかる別の切替順序2に沿った表示制御部15bの制御によって、表示部12は、かかる先頭の画像から時系列の順方向に沿って順次切り替える画像群DGの各画像を画像101として順次表示するとともに、かかる中間の画像から時系列の順方向に沿って順次切り替える画像群DGの各画像を画像102として順次表示する。
一方、入力部11の操作によって枚数設定アイコン153が選択された場合、表示制御部15bは、表示部12に対し、表示対象の一連の画像に含まれる各画像を主画像表示領域100に4枚ずつ同時に表示する制御を行う。この場合、表示制御部15bは、かかる4枚の画像が時系列に沿って連続する状態を維持するように、表示対象の一連の画像を4枚ずつ順次切り替えて表示させる。図10は、主画像表示領域100に4枚の画像を同時に表示する場合の表示部12の表示画面の一具体例を模式的に示す模式図である。かかる表示制御部15bの制御によって、表示部12は、図10に示すように、時系列に沿って連続する4枚の画像101〜104を主画像表示領域100に同時に表示するようになる。これによって、表示対象の一連の画像を表示し終わるまでにかかる時間を上述した2枚の場合に比してさらに短縮できる。
この場合、表示制御部15bは、表示部12に対し、表示対象の一連の画像たとえば画像群DGを所定の切替順序に沿って4枚ずつ順次切り替えて表示する制御を行う。図11は、所定の切替順序に沿って4枚の画像101〜104を順次切り替えて表示するための動作を説明する模式図である。
図11に示すように、表示制御部15bは、まず、表示部12に対し、画像群DGの先頭の画像Q1を画像101として表示するとともに、先頭の画像Q1から時系列の順方向に順次続く画像Q2〜Q4を画像102〜104としてそれぞれ表示する制御を行う。つぎに、表示制御部15bは、画像Q4以降に順次続く画像Q5〜Q8を表示部12に表示させる場合、表示部12に対し、画像101〜104としてそれぞれ表示中の画像Q1〜Q4を画像Q5〜Q8にそれぞれ切り替えて表示する制御を行う。その後、表示制御部15bは、画像Q8以降に順次続く残りの画像群について、かかる画像表示の切替処理を繰り返す。これによって、表示部12は、画像群DGの連続する4枚の画像を画像101〜104の順に配列するように、画像群DGを4枚ずつ順次切り替えて表示する。
なお、表示制御部15bは、かかる画像群DGの連続する4枚の画像101〜104を時系列に沿って1フレームずつシフトするように切り替えてもよい。図12は、別の切替順序3に沿って4枚の画像101〜104を順次切り替えて表示するための動作を説明する模式図である。
この場合、表示制御部15bは、図12に示すように、まず、表示部12に対し、上述した図11の場合と同様に、画像群DGの連続する4枚の画像Q1〜Q4を画像101〜104としてそれぞれ表示する制御を行う。つぎに、表示制御部15bは、画像Q4の後続の画像Q5を表示させる場合、画像102として表示中の画像Q2を画像101にシフトするように、画像101の画像Q1を画像Q2に切り替え、画像103として表示中の画像Q3を画像102にシフトするように、画像102の画像Q2を画像Q3に切り替え、画像104として表示中の画像Q4を画像103にシフトするように、画像103の画像Q3を画像Q4に切り替える。これと同時に、表示制御部15bは、画像104を画像Q4から画像Q5に切り替える。その後、表示制御部15bは、画像Q5以降に順次続く残りの画像群について、かかる1フレームずつ画像をシフトする画像表示の切替処理を繰り返す。これによって、表示部12は、画像群DGの連続する4枚の画像を画像101〜104の順に配列して表示するとともに、かかる画像101〜104を1フレームずつシフトするように順次切り替えて表示する。
また、表示制御部15bは、表示部12に対し、画像群DGの連続する4枚の画像を画面に向かって時計回りの順に配列たとえば画像101、画像102、画像104、画像103の順に配列するように表示する制御を行ってもよい。図13は、別の切替順序4に沿って4枚の画像101〜104を順次切り替えて表示するための動作を説明する模式図である。
図13に示すように、表示制御部15bは、まず、表示部12に対し、画像群DGの先頭の画像Q1を画像101として表示するとともに、後続の画像Q2〜Q4を画像102,104,103としてそれぞれ表示する制御を行う。つぎに、表示制御部15bは、画像Q4以降に順次続く画像Q5〜Q8を表示部12に表示させる場合、表示部12に対し、画像101,102,104,103としてそれぞれ表示中の画像Q1〜Q4を画像Q5〜Q8にそれぞれ切り替えて表示する制御を行う。その後、表示制御部15bは、画像Q8以降に順次続く残りの画像群について、かかる画像表示の切替処理を繰り返す。これによって、表示部12は、画像群DGの連続する4枚の画像を画面に向かって時計回りに順たとえば画像101,102,104,103の順に配列するように、画像群DGを4枚ずつ順次切り替えて表示する。
なお、表示制御部15bは、かかる画像群DGの連続する4枚の画像101,102,104,103を時系列に沿って1フレームずつシフトするように切り替えてもよい。図14は、別の切替順序5に沿って4枚の画像101〜104を順次切り替えて表示するための動作を説明する模式図である。
この場合、表示制御部15bは、図14に示すように、まず、表示部12に対し、上述した図13の場合と同様に、画像群DGの連続する4枚の画像Q1〜Q4を画像101,102,104,103としてそれぞれ表示する制御を行う。つぎに、表示制御部15bは、画像Q4の後続の画像Q5を表示させる場合、画像102として表示中の画像Q2を画像101にシフトするように、画像101の画像Q1を画像Q2に切り替え、画像104として表示中の画像Q3を画像102にシフトするように、画像102の画像Q2を画像Q3に切り替え、画像103として表示中の画像Q4を画像104にシフトするように、画像104の画像Q3を画像Q4に切り替える。これと同時に、表示制御部15bは、画像103を画像Q4から画像Q5に切り替える。その後、表示制御部15bは、画像Q5以降に順次続く残りの画像群について、かかる1フレームずつ画像をシフトする画像表示の切替処理を繰り返す。これによって、表示部12は、画像群DGの連続する4枚の画像を画像101,102,104,103の順に配列して表示するとともに、かかる画像101,102,104,103を1フレームずつシフトするように順次切り替えて表示する。
なお、表示制御部15bは、表示部12に対し、画像群DGの連続する4枚の画像を画面に向かって反時計回りの順に配列するように表示する制御を行ってもよい。かかる表示制御部15bの制御によって、表示部12は、画像群DGの連続する4枚の画像を画面に向かって反時計回りの順たとえば画像102,101,103,104の順に配列して表示するとともに、かかる画像102,101,103,104を4枚ずつ順次切り替えて、または1フレームずつシフトするように順次切り替えて表示する。
一方、表示部12の主画像表示領域100には、表示対象の一連の画像の連続する3枚以上の画像を画面に向かって横方向に並べて表示してもよい。図15は、連続する3枚以上の画像を主画像表示領域100に横方向に並べて表示する動作を説明するための模式図である。図15に示すように、表示制御部15bは、表示部12に対し、表示対象の一連の画像たとえば画像群DGの連続する5枚の画像Q1〜Q5を主画像表示領域100の画像101〜105としてそれぞれ表示する制御を行う。この場合、表示部12は、たとえば画像103をメインの画像として他の画像よりも大きく表示する。これと同時に、表示部12は、画像103に対して時間的に前に連続する画像101,102と、画像103に対して時間的に後に連続する画像104,105とを画像103の前後の部位を示す補助的な画像として表示する。
また、表示制御部15bは、画像Q5の後続の画像Q6を主画像表示領域100に表示させる場合、画像102として表示中の画像Q2を画像101にシフトするように、画像101の画像Q1を画像Q2に切り替え、画像103として表示中の画像Q3を画像102にシフトするように、画像102の画像Q2を画像Q3に切り替える。さらに、表示制御部15bは、画像104として表示中の画像Q4を画像103にシフトするように、画像103の画像Q3を画像Q4に切り替え、画像105として表示中の画像Q5を画像104にシフトするように、画像104の画像Q4を画像Q5に切り替える。これと同時に、表示制御部15bは、画像105を画像Q5から画像Q6に切り替える。その後、表示制御部15bは、画像Q6以降に順次続く残りの画像群について、かかる1フレームずつ画像をシフトする画像表示の切替処理を繰り返す。これによって、表示部12は、画像群DGの連続する3枚以上の画像を画面に向かって横方向に順次切り替えて表示する。
ここで、表示制御部15bは、表示部12に対し、3枚以上の連続する画像を横方向に並べて表示する制御を行えばよい。この場合、表示部12は、メインの画像として表示する画像103に対して時間的に前に連続する画像を1枚のみ表示してもよいし、複数枚表示してもよい。これと同時に、表示部12は、この画像103に対して時間的に後に連続する画像を1枚のみ表示してもよいし、複数枚表示してもよい。
また、表示部12の主画像表示領域100には、表示対象の一連の画像の連続する3枚以上の画像を画面に向かって縦方向に並べて表示してもよい。図16は、連続する3枚以上の画像を主画像表示領域100に縦方向に並べて表示する動作を説明するための模式図である。図16に示すように、表示制御部15bは、表示部12に対し、表示対象の一連の画像たとえば画像群DGの連続する7枚の画像Q1〜Q7を主画像表示領域100の画像101〜107としてそれぞれ表示する制御を行う。
この場合、表示部12は、たとえば画像104をメインの画像として表示するとともに、画像104に対して時間的に前に連続する画像101〜103と、画像104に対して時間的に後に連続する画像105〜107とを画像104の前後の部位を示す補助的な画像として表示する。また、表示部12は、メインの画像104に対して時間的に前の画像として最も離れた画像101をつぎの画像102に重ねて表示する。同様に、表示部12は、メインの画像104に対して時間的に後の画像として最も離れた画像107を直前の画像106に重ねて表示する。このことは、かかる画像101〜107を表示するために形成する主画像表示領域100の小規模化を促進し、表示部12の表示画面において、かかる主画像表示領域100の占める割合が過剰に大きくなることを防止できる。
また、表示制御部15bは、画像Q7の後続の画像Q8を主画像表示領域100に表示させる場合、画像102として表示中の画像Q2を画像101にシフトするように、画像101の画像Q1を画像Q2に切り替え、画像103として表示中の画像Q3を画像102にシフトするように、画像102の画像Q2を画像Q3に切り替え、画像104として表示中の画像Q4を画像103にシフトするように、画像103の画像Q3を画像Q4に切り替える。さらに、表示制御部15bは、画像105として表示中の画像Q5を画像104にシフトするように、画像104の画像Q4を画像Q5に切り替え、画像106として表示中の画像Q6を画像105にシフトするように、画像105の画像Q5を画像Q6に切り替え、画像107として表示中の画像Q7を画像106にシフトするように、画像106の画像Q6を画像Q7に切り替える。これと同時に、表示制御部15bは、画像107を画像Q7から画像Q8に切り替える。その後、表示制御部15bは、画像Q8以降に順次続く残りの画像群について、かかる1フレームずつ画像をシフトする画像表示の切替処理を繰り返す。これによって、表示部12は、画像群DGの連続する3枚以上の画像を画面に向かって縦方向に順次切り替えて表示する。
ここで、表示制御部15bは、表示部12に対し、3枚以上の連続する画像を縦方向に並べて表示する制御を行えばよい。この場合、表示部12は、メインの画像として表示する画像104に対して時間的に前に連続する画像を1枚のみ表示してもよいし、複数枚表示してもよい。これと同時に、表示部12は、この画像104に対して時間的に後に連続する画像を1枚のみ表示してもよいし、複数枚表示してもよい。
なお、この発明の実施の形態では、表示対象の画像群に含まれる各画像の観察部位を各画像の平均色に基づいて判別していたが、この発明はこれに限定されるものではなく、表示対象の画像群に含まれる各画像の平均色を形成する色要素R,G,Bのレベル変化に基づいて各画像の観察部位を判別してもよい。この場合、部位判別部15aは、上述した各画像の平均色に代えて、表示対象の画像群の各画像の平均色を形成する色要素R,G,Bを各画像の色情報として検出し、かかる色要素R,G,Bのレベル変化に基づいて各画像の観察部位を判別する。図17は、色要素R,G,Bのレベル変化に基づいて判別した各画像の観察部位毎にタイムバー120を色分けする動作を具体的に説明するための模式図である。
図17に示すように、部位判別部15aは、上述したステップS103を繰り返し行って、表示対象の画像群DGに含まれる各画像の平均色を形成する色要素R,G,Bを検出し、かかる各画像の色要素R,G,Bのレベル変化を検出する。この場合、部位判別部15aは、画像群DGの各画像について、たとえば図17に示すような色要素R,G,Bのレベル変化を検出する。
ここで、被検体1内の食道、胃、小腸、および大腸の各画像が時系列に沿って順次撮像された画像群DGにおいて、かかる画像群DGに含まれる各画像の色要素R,G,Bの色レベルは、たとえば食道から胃に移行する画像間、胃から小腸に移行する画像間、および小腸から大腸に移行する画像間で著しく変化する。したがって、部位判別部15aは、かかる色要素R,G,B(特に色要素R,B)の著しい色レベルの変化を時系列に沿って順次検出することによって、画像群DGの各画像の観察部位を判別できる。
具体的には、部位判別部15aは、かかる色要素R,G,Bのレベル変化において特に色要素R,Bの著しい色レベル変化を示すエッジE1,E2,E3を時系列に沿って順次検出し、最初のエッジE1を検出するまでの画像群D1の観察部位を食道と判別し、エッジE1を検出してからつぎのエッジE2を検出するまでの画像群D2の観察部位を胃と判別し、エッジE2を検出してからつぎのエッジE3を検出するまでの画像群D3の観察部位を小腸と判別し、エッジE3を検出した後の画像群D4の観察部位を大腸と判別する。この場合、表示制御部15b、上述した各画像の平均色に基づいて観察部位を判別した場合と同様に、代替色C1〜C4によってタイムバー120を観察部位毎に色分けできる。
一方、この発明の実施の形態では、表示対象の画像群に含まれる各画像の観察部位を各画像の色情報たとえば平均色に基づいて判別していたが、この発明はこれに限定されるものではなく、表示対象の画像群に含まれる各画像の輝度情報たとえば各画像の輝度のレベル変化に基づいて各画像の観察部位を判別してもよい。この場合、部位判別部15aは、上述した各画像の平均色に代えて、表示対象の画像群の各画像の輝度Yを検出し、かかる輝度Yのレベル変化に基づいて各画像の観察部位を判別する。図18は、輝度Yのレベル変化に基づいて判別した各画像の観察部位毎にタイムバー120を色分けする動作を具体的に説明するための模式図である。
図18に示すように、部位判別部15aは、上述したステップS103を繰り返し行って、表示対象の画像群DGに含まれる各画像の輝度Yを検出し、かかる各画像の輝度Yのレベル変化を検出する。なお、輝度Yは、画像の色要素R,G,Bを用いた次式(1)によって算出できる。
輝度Y=0.299×色要素R+0.587×色要素G+0.114×色要素B ・・・ (1)
部位判別部15aは、画像の色要素R,G,Bを検出するとともに、この画像の輝度Yを式(1)によって算出し、かかる演算処理を画像群DGの各画像について繰り返し行って、画像群DGの各画像の輝度Yを検出できる。この場合、部位判別部15aは、画像群DGの各画像について、たとえば図18に示すような輝度Yのレベル変化を検出する。
ここで、輝度Yは、式(1)に示すように色要素R,G,Bに基づいて算出されるパラメータである。このため、輝度Yのレベルは、画像群DGにおける観察部位の移行による色要素R,G,Bのレベル変化に伴って変化する。したがって、被検体1内の食道、胃、小腸、および大腸の各画像が時系列に沿って順次撮像された画像群DGにおいて、かかる画像群DGに含まれる各画像の輝度Yのレベルは、たとえば食道から胃に移行する画像間、胃から小腸に移行する画像間、および小腸から大腸に移行する画像間で著しく変化する。すなわち、部位判別部15aは、かかる輝度Yの著しいレベル変化を時系列に沿って順次検出することによって、画像群DGの各画像の観察部位を判別できる。
具体的には、部位判別部15aは、かかる輝度Yの著しいレベル変化を示すエッジE4,E5,E6を時系列に沿って順次検出し、最初のエッジE4を検出するまでの画像群D1の観察部位を食道と判別し、エッジE4を検出してからつぎのエッジE5を検出するまでの画像群D2の観察部位を胃と判別し、エッジE5を検出してからつぎのエッジE6を検出するまでの画像群D3の観察部位を小腸と判別し、エッジE6を検出した後の画像群D4の観察部位を大腸と判別する。この場合、表示制御部15b、上述した各画像の平均色に基づいて観察部位を判別した場合と同様に、代替色C1〜C4によってタイムバー120を観察部位毎に色分けできる。
なお、この発明の実施の形態では、表示対象の一連の画像に含まれる全ての画像について観察部位をそれぞれ判別していたが、この発明はこれに限定されるものではなく、表示対象の一連の画像に含まれる所望のフレーム数の画像を所望の間隔で間引くとともに、その残りの画像群の各画像について観察部位をそれぞれ判別するようにしてもよい。
また、この発明の実施の形態では、各観察部位に対応する代替色として青、緑、黄、および赤等の主色を用いていたが、この発明はこれに限定されるものではなく、各観察部位に対応する代替色は、タイムバー120上に表示した場合に隣接する他の代替色との境界を形成できるコントラストを有しているものであれば所望の色を用いてもよい。
以上、説明したように、この発明の実施の形態では、被検体内を撮像した一連の画像に含まれる各画像の観察部位を判別し、かかる各画像にそれぞれ時間的に対応したタイムバー上の各領域に各観察部位に対応する代替色をそれぞれ表示してタイムバーを観察部位毎に色分けするようにし、かかる代替色として、タイムバー上で互いに隣接する場合に色の境界を形成できるコントラストを有しているものを用いた。このため、かかるタイムバー上の各代替色の境界を形成することによって、表示対象の一連の画像に表示された観察部位が変わる際の画像の境界を明確に示すことができ、画像表示した被検体内の観察部位を容易に判別できる画像表示装置を実現することができる。
医師または看護師等の検査者は、かかるタイムバー上の各代替色とその境界とを視認することによって、画像表示した被検体内の観察部位を容易に判別できるとともに、画像の前後で観察部位が別の観察部位に変わったか否か、たとえば観察部位が食道から胃に移行したか否かを容易に把握できる。