JP2006075301A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】選択した画像が披検体内のいずれの位置で撮像されたかをユーザが簡易に判別することができる画像処理装置、画像処理方法および画像処理プログラムを提供すること。
【解決手段】本発明は、個々の画像情報を特定する特定情報が付与された一連画像情報であって、一連の画像情報の中から選択された画像情報を処理する画像処理装置４において、特定情報をもとに、一連の画像情報の中から選択された画像情報の位置を表すタイムライン画像を生成する特定画像生成部５４と、特定画像生成部５４によって生成されたタイムライン画像を選択された画像情報に対応づけて表示部３０に出力または記憶部４０に保存させる制御部５０と、を備える。
【選択図】 図２

Description

この発明は、個々の画像情報を特定する特定情報が付与された一連の画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、内視鏡の分野においては、飲込み型のカプセル型内視鏡が提案されている。このカプセル型内視鏡には、撮像機能と無線通信機能とが設けられている。カプセル型内視鏡は、観察（検査）のために被検体の口から飲込まれた後、自然排出されるまでの間、体腔内、たとえば、胃、小腸などの臓器の内部をその蠕動運動にしたがって移動し、移動にともない、たとえば０．５秒間隔で被検体内画像の撮像を行う機能を有する。

体腔内を移動する間、カプセル型内視鏡によって撮像された画像データは、順次無線通信により外部に送信された外部に設けられたメモリに蓄積される。無線通信機能とメモリ機能とを備えた受信機を携帯することにより、被検体は、カプセル型内視鏡を飲込んだ後、排出されるまでの間にわたって、自由に行動できる。カプセル型内視鏡が排出された後、医者もしくは看護士においては、メモリに蓄積された画像データに基づいて臓器の画像をディスプレイに表示させて診断を行うことができる（特許文献１参照）。

特開２００３−１９１１１号公報

ところで、カプセル内視鏡が撮像した各画像には、撮像した時間を示す時間情報が付与されている。画像処理装置は、一連の画像を読み込むことによって画像群の全体の撮像時間を求め、処理対象となる画像の時間情報と全体の撮像時間とをもとに、この画像が全体の撮像時間のいずれの時間に撮像されたかを示すタイムラインなどを、カプセル内視鏡が撮像した画像とともに表示させていた。ユーザである医師もしくは看護士は、このタイムラインを視認することによって、ディスプレイ上に表示された画像が、被検体内のいずれの位置で撮像されたかを推測していた。

ここで、カプセル内視鏡によって撮像された画像は膨大な枚数であるため、ユーザは、全ての画像の中から所望の画像を選択し診断用のレポートを作成した後、必要な画像以外の画像を消去していた。しかしながら、従来の画像処理装置は、この画像消去後には一連の画像を読み込めず全体の撮像時間を求めることができなかったため、再度、ユーザが選択した画像をディスプレイ上に表示する場合、タイムラインを表示できない場合があった。したがって、ユーザは、選択した画像を再度表示させた場合、この画像が被検体内のいずれの位置で撮像されたかを把握することができず、診断を円滑に行うことができない場合があった。

また、画像処理装置は、内視鏡画像を用いた診断レポートを外部のサーバに転送する場合がある。しかしながら、転送先のサーバが画像に付与された時間情報を読み出せない場合、ユーザは、転送された画像が被検体内のいずれの位置で撮像されたかをサーバ上で把握できず、ユーザの診断に支障をきたしていた。

この発明は、上記した従来技術の欠点に鑑みてなされたものであり、選択した画像が被検体内のいずれの位置で撮像されたかをユーザが簡易に把握することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、この発明にかかる画像処理装置は、個々の画像情報を特定する特定情報が付与された一連の画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理装置において、前記特定情報をもとに、前記一連の画像情報の中から前記選択された画像情報の位置を表す特定画像情報を生成する特定画像生成手段と、前記特定画像生成手段によって生成された特定画像情報を前記選択された画像情報に対応づける対応付手段と、を備えたことを特徴とする。

また、この発明にかかる画像処理装置は、前記対応付手段によって対応づけられた前記特定画像情報を該特定画像情報に対応する前記選択された画像情報とともに表示出力する表示出力手段をさらに備えたことを特徴とする。

また、この発明にかかる画像処理装置は、少なくとも前記対応付手段によって対応づけられた前記特定画像情報を該特定画像情報に対応する前記選択された画像情報とともに、当該画像処理装置から他の装置に転送する転送手段を備えたことを特徴とする。

また、この発明にかかる画像処理装置は、少なくとも前記特定画像生成手段によって生成された前記特定画像情報と該特定画像情報に対応する前記選択された画像情報とを合成した合成画像情報を生成する合成手段をさらに備えたことを特徴とする。

また、この発明にかかる画像処理装置は、前記表示出力手段は、前記合成手段によって合成された合成画像情報を表示出力し、前記転送手段は、前記合成手段によって合成された合成画像情報を転送することを特徴とする。

また、この発明にかかる画像処理装置は、前記転送手段は、前記対応付手段によって対応づけられた前記特定画像情報と該特定画像情報に対応する前記選択された画像情報とを圧縮して転送し、または、前記合成手段によって合成された合成画像情報を圧縮して転送することを特徴とする。

また、この発明にかかる画像処理装置は、前記転送手段は、前記対応付手段によって対応づけられた前記特定画像情報および該特定画像情報に対応する前記選択された画像情報とともに該選択された画像情報に付与された特定情報を転送し、または、前記合成手段によって合成された合成画像情報とともに該合成画像情報に対応する前記選択された画像情報に付与された特定情報を転送することを特徴とする。

また、この発明にかかる画像処理装置は、前記特定情報は、前記一連の画像情報における各画像情報の撮像時間を示し、前記特定画像生成手段は、前記一連の画像情報にそれぞれ付与された特定情報をもとに前記一連の画像情報を撮像した全体の撮像時間を求め、該全体の撮像時間と前記選択された画像情報の特定情報とをもとに、該選択された画像情報が全体の撮像時間の中のいずれの時間に撮像されたかを表す特定画像情報を生成することを特徴とする。

また、この発明にかかる画像処理装置は、前記画像情報は、被検体内部を撮像した画像情報であることを特徴とする。

また、この発明にかかる画像処理方法は、一連の画像情報の中から各画像情報を特定する特定情報が付与された画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理方法において、前記特定情報をもとに、前記一連の画像情報の中から前記選択された画像情報の位置を表す特定画像情報を生成する特定画像生成ステップと、前記特定画像生成ステップにおいて生成された特定画像情報を、該特定画像情報に対応する前記画像情報に対応づける対応付ステップと、を含むことを特徴とする。

また、この発明にかかる画像処理プログラムは、一連の画像情報の中から各画像情報を特定する特定情報が付与された画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理プログラムにおいて、前記特定情報をもとに、前記一連の画像情報の中から前記選択された画像情報の位置を表す特定画像情報を生成する特定画像生成手順と、前記特定画像生成手順において生成された特定画像情報を、該特定画像情報に対応する前記画像情報に対応づける対応付手順と、を含むことを特徴とする。

本発明によれば、特定情報をもとに一連の画像情報の中から選択された画像情報の位置を表す特定画像情報を生成し、この特定画像情報を選択された画像情報に対応づけているため、ユーザは、画像情報とともに、この画像情報に対応する特定画像情報を確認することによって、この画像情報が撮像された位置を容易に把握することが可能になる。

以下、図面を参照して、この発明の実施の形態である画像処理装置について説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、本実施の形態にかかる画像処理装置として、カプセル型内視鏡を用いた被検体内情報取得システムにおける画像処理装置を例として説明する。

まず、実施の形態にかかる画像処理装置について説明する。本実施の形態にかかる画像処理装置は、画像処理対象である画像が所定の撮像経路内のいずれの位置で撮像されたか示すマーカーを所定の撮像経路を示すライン上に示した特定画像情報を生成し、生成した特定画像情報を、この特定画像情報に対応する画像に対応づけて出力するため、ユーザは、この特定画像情報を確認することによって画像処理対象である画像が被検体内のいずれの位置で撮像されたかを把握することができる。

図１は、本実施の形態における被検体内情報取得システムの全体構成を示す模式図である。図１に示すように、本実施の形態における被検体内情報取得システムは、受信機能を有する受信装置２と、被検体１の体内に導入され、体腔内画像を撮像して受信装置２に対してデータ送信を行うカプセル型内視鏡３とを備える。また、被検体内情報取得システムは、受信装置２が受信したデータに基づいて体腔内画像を表示する画像処理装置４と、受信装置２と画像処理装置４との間のデータ受け渡しを行うための携帯型記録媒体５と、被検体である患者の識別情報などが格納されるデータベース７と接続したサーバ６とを備える。受信装置２は、被検体１によって着用される受信ジャケット２ａと、受信ジャケット２ａを介して送受信される無線信号の処理等を行う外部装置２ｂとを備える。

画像処理装置４は、カプセル型内視鏡３によって撮像された体腔内画像を表示および処理するためのものであり、携帯型記録媒体５によって得られるデータに基づいて画像表示および画像処理を行うワークステーション等を有する。画像処理装置４は、カプセル型内視鏡３が撮像した複数の静止画像を撮像順にしたがって順次表示する。以下、この順次表示された画像を擬似動画像という。画像処理装置４とサーバ６とは、ネットワーク８を介して接続されており、サーバ６は、ネットワーク８を介して、データベース７に格納された患者情報などを画像処理装置４に送信し、画像処理装置４は、ネットワーク８を介して、画像処理を行った情報などを転送する。

携帯型記録媒体５は、外部装置２ｂおよび画像処理装置４に対して着脱可能であって、両者に対する挿着時に情報の出力または記録が可能な構造を有する。具体的には、携帯型記録媒体５は、カプセル型内視鏡３が被検体１の体腔内を移動している間は外部装置２ｂに挿着されてカプセル型内視鏡３から送信されるデータを記録する。そして、カプセル型内視鏡３が被検体１から排出された後、つまり、被検体１の内部の撮像が終った後には、外部装置２ｂから取り出されて画像処理装置４に挿着され、画像処理装置４によって記録したデータが読み出される構成を有する。外部装置２ｂと画像処理装置４との間のデータの受け渡しは、コンパクトフラッシュ（登録商標）メモリ等の携帯型記録媒体５によって行う構成をとることも、外部装置２ｂと画像処理装置４との間が有線接続する構成をとることもできる。

ここで、図２を参照して画像処理装置４について説明する。図２は、図１に示す画像処理装置４の概略構成を示すブロック図である。図２に示すように、画像処理装置４は、入力部２０、表示部３０、記憶部４０、制御部５０、転送部６０を備える。

入力部２０は、キーボードやマウスなどのポインティングデバイスなどによって実現され、画像処理装置４の動作指示および画像処理装置４が行なう処理の指示情報を入力し、各指示情報を制御部５０に送出する。表示部３０は、ＣＲＴディスプレイ、液晶ディスプレイ等によって実現され、入力部２０の指示情報あるいは指示結果などを表示する。

記憶部４０は、たとえばハードディスク装置などによって実現され、各種画像などを保持する。たとえば、フォルダＦ１内には、カプセル型内視鏡３によって撮像された画像群Ｐａが保持される。フォルダＦ１に保持された画像群Ｐａの画像ごとに、画像群Ｐａにおける撮像時間を示す時間情報が付与される。また、フォルダＦ２内には、制御部５０から出力されたレポート画像群ｆｒが保持される。このレポート画像群ｆｒにおけるレポート画像は、特定画像生成部５４によって生成されたタイムライン画像と、このタイムライン画像に対応する選択画像とを含むため、記憶部４０は、特定画像生成部５４によって生成されたタイムライン画像を選択画像に対応づけた状態で保持する。なお、画像群Ｐａが制御部５０によって読み出された場合、各画像に付与された時間情報も読み出される。このため、たとえば、最初に撮像された画像の時間情報と最期に撮像された画像の時間情報とをもとに、画像群Ｐａ全体の撮像時間も読み出されることとなる。また、ユーザは、フォルダＦ１に保持された画像群Ｐａの中から所望の画像を選択しており、このように選択された選択画像には、選択画像であることを示す所定のフラグが付与されている。

制御部５０は、入力部２０、表示部３０、記憶部４０、転送部６０の各処理または動作を制御する。制御部５０は、表示制御部５１と、画像処理部５２とを備える。表示制御部５１は、表示部３０における表示処理を制御する。

画像処理部５２は、フォルダＦ１に保持された画像群Ｐａを処理し、処理情報を出力する機能を有し、画像抽出部５３と、特定画像生成部５４と、画像合成部５５とを備える。画像抽出部５３は、所望の画像を選択する指示情報をもとに、画像群Ｐａの中から指示情報によって選択された画像および選択画像を抽出する。

特定画像生成部５４は、画像群Ｐａの各画像にそれぞれ付与された時間情報をもとに、画像群Ｐａを撮像した全体の撮像時間を求め、画像群Ｐａ全体の撮像時間と画像抽出部５３によって抽出された選択画像とをもとに、この選択画像が全体の撮像時間のいずれの時間で撮像されたかを表すタイムライン画像を生成する。ここで、カプセル内視鏡が被検体の口から飲込まれてから排出されるまでの時間は、ほぼ一定であることが経験的に求められており、たとえば、カプセル内視鏡は、被検体の口から飲込まれてから８時間から１０時間で被検体の口から大腸まで移動する。このため、カプセル内視鏡の撮像経路は、画像群Ｐａ全体が１０時間かけて撮像された場合、被検体の口から大腸であると推測することができる。また、カプセル内視鏡が被検体内の移動に要する時間も、被検体内の臓器ごとに経験的に求められている。したがって、ユーザは、全体の撮像時間内のいずれの時間で撮像されたかを示すタイムライン画像を確認することによって、画像群Ｐａの中から選択された選択画像の撮像位置を経験的に求めることができる。このため、特定画像生成部５４は、画像群Ｐａの中から選択された選択画像に付与された時間情報をもとに、この選択画像の撮像位置を表すタイムライン画像を生成することとなる。また、画像合成部５５は、特定画像生成部５４によって生成されたタイムライン画像と、このタイムライン画像に対応する選択画像とを合成した合成画像を生成する。制御部５０は、特定画像生成部５４によって生成されたタイムライン画像と、このタイムライン画像に対応する選択画像とを合成した合成画像を含むレポート画像を、表示部３０に出力またはフォルダＦ２に保存させており、特定画像生成部５４によって生成されたタイムライン画像を選択画像に対応づける対応付手段として機能する。

転送部６０は、レポート画像の転送を指示する指示情報が入力された場合、この指示情報によって転送を指示されたレポート画像をフォルダＦ２に保持されたレポート画像群ｆｒから抽出し、抽出したレポート画像を、ネットワーク８を介してサーバ６に転送可能である情報形式に変換し、転送する。レポート画像には、ユーザによって選択された選択画像と、この選択画像に対応するタイムライン画像とを合成した合成画像が含まれるため、転送部６０は、少なくともタイムライン画像を、このタイムライン画像に対応する選択画像とともに、画像処理装置４からサーバ６に転送する。また、転送部６０は、タイムライン画像と、このタイムライン画像に対応する選択画像とともに、この選択情報に付与された時間情報を転送する。

つぎに、図３を参照して、制御部５０による画像処理手順について、フォルダＦ１に保持された画像群Ｐａの画像に対して画像処理を行う場合を例に説明する。図３において、制御部５０は、擬似動画像表示を指示する指示情報の入力の有無をもとに、擬似動画表示を指示されたか否かを判断する（ステップＳ１０２）。制御部５０は、擬似動画像表示を指示する指示情報が入力されるまでステップＳ１０２の判断を繰り返す。制御部５０は、擬似動画像表示を指示する指示情報が入力され、擬似動画表示を指示されたと判断した場合（ステップ１０２：Ｙｅｓ）、表示制御部５１は、画像群Ｐａを記憶部４０のフォルダＦ１から読み出し、表示順番にしたがって表示部３０に順次表示させる擬似動画像表示処理を行う（ステップ１０４）。この場合、表示制御部５１によって画像群Ｐａが読み出されることによって、画像群Ｐａの画像ごとに付与された時間情報も読み出されるため、最初の画像が撮像されてから最後の画像が撮像されるまでの全体の撮像時間も読み出される。

その後、制御部５０は、表示部３０に表示された画像群Ｐａの画像を選択する指示情報の受信の有無をもとに、表示された画像が選択されたか否かを判断する（ステップ１０６）。制御部５０が表示された画像が選択されていないと判断した場合（ステップ１０６：Ｎｏ）、表示制御部５１は、ステップ１０４に進み、画像群Ｐａの画像のうち次に表示対象となる画像を表示部３０に表示させ、擬似動画表示処理を継続する。一方、制御部５０が表示された画像が選択されたと判断した場合（ステップＳ１０６：Ｙｅｓ）、画像抽出部５３は、指示情報によって選択された画像を画像群Ｐａの中から抽出し、表示制御部５１は、表示部３０の所定の選択画像表示領域に画像抽出部５３が抽出した画像を表示させる画像選択処理を行う（ステップ１０８）。なお、制御部５０に擬似動画像表示を終了する指示情報が入力された場合、または、表示制御部５１が画像群Ｐａの最終画像まで表示したと判断した場合、表示制御部５１は、表示部３０における擬似動画像表示を終了させる。

制御部５０は、画像選択処理において選択された選択画像のうち、所望の選択画像を用いた診断用のレポート作成を指示する指示情報の受信の有無をもとに、レポート作成が指示されたか否かを判断する（ステップ１１０）。制御部５０は、レポート作成が指示されていないと判断した場合（ステップ１１０：Ｎｏ）、ステップ１０４に進み、表示制御部５１は、次に表示対象となる画像を表示部３０に表示させ、擬似動画表示処理を継続する。

一方、制御部５０がレポート作成を指示されたと判断した場合（ステップ１１０：Ｙｅｓ）、画像抽出部５３は、入力部２０から制御部５０に出力された指示情報にしたがって、レポート対象である選択画像を画像群Ｐａの中から抽出する（ステップ１１２）。特定画像生成部５４は、画像抽出部５３が抽出した選択画像に付与される時間情報と画像群Ｐａの画像群の全体の撮像時間とをもとに、画像抽出部５３が抽出した選択画像に対応するタイムライン画像を生成する（ステップ１１４）。そして、画像合成部５５は、画像抽出部５３が抽出した選択画像と、この選択画像に対応するタイムライン画像とを合成した合成画像を生成する画像合成処理を行う（ステップ１１６）。表示制御部５１は、画像合成部５５が生成した合成画像を所定の位置に表示したレポート画像を表示部３０に表示させる（ステップ１１８）。このため、表示制御部５１は、タイムライン画像を、このタイムライン画像に対応する選択画像に対応づけて、表示部３０に表示出力させることとなる。したがって、ユーザがレポート作成を指示した場合、表示部３０には、レポート対象である選択画像とともに、この選択画像に対応するタイムライン画像も自動的に表示される。

その後、ユーザによるマウス、キーボードなどの操作によって入力部２０からレポート画像上に文字情報などの描画を指示する指示情報が出力され、表示制御部５１は、この指示情報にしたがってレポート画像上に文字情報などを描画表示する描画処理を行う（ステップ１２０）。制御部５０は、表示部３０に表示されたレポート画像の保存を指示する指示情報の受信の有無によって、表示部３０に表示されたレポート画像の保存を指示されたか否かを判断する（ステップ１２２）。制御部５０は、レポート画像の保存を指示されていないと判断した場合（ステップ１２２：Ｎｏ）、ステップ１２０に進み、描画処理を継続する。なお、レポート作成の終了を指示する指示情報が入力された場合、表示制御部５１は、表示部３０におけるレポート画像の表示を終了する。

一方、制御部５０は、レポート画像の保存を指示されたと判断した場合（ステップ１２２：Ｙｅｓ）、画像処理部５２は、表示部３０に表示されたレポート画像を記憶部４０のフォルダＦ２に保存させるレポート保存処理を行う（ステップ１２４）。レポート画像には選択画像とともにタイムライン画像も表示されるため、画像処理部５２は、レポート画像を保存させることによって、タイムライン画像を、このタイムライン画像に対応する選択画像に対応づけて、記憶部４０のフォルダＦ２に保持させることとなる。したがって、ユーザが、画像群Ｐａの選択画像以外の画像を消去した場合であっても、タイムライン画像は、このタイムライン画像に対応する選択画像とともにフォルダＦ２に保持されたレポート画像内に保持されることとなる。このため、ユーザがレポート画像を再度表示させた場合、ユーザが、フォルダＦ１に保持された画像群Ｐａの選択画像以外の画像を消去した場合であっても、選択画像と、この選択画像に対応したタイムライン画像とを含むレポート画像が表示部３０に表示される。

その後、制御部５０は、レポート画像のサーバへの転送を指示する指示情報の受信の有無をもとに、レポート画像の転送を指示されたか否かを判断する（ステップ１２６）。制御部５０は、レポート画像の転送が指示されていないと判断した場合（ステップ１２６：Ｎｏ）、画像群Ｐａに対する画像処理を終了する。また、制御部５０がレポート画像の転送を指示された場合（ステップ１２６：Ｙｅｓ）、転送部６０は、転送を指示されたレポート画像をサーバ７に転送可能である転送情報に変換する転送情報変換処理を行う（ステップ１２８）。転送部６０は、変換した転送情報をサーバ６に転送する転送処理を行い（ステップ１３０）、制御部５０は、画像群Ｐａに対する画像処理を終了する。転送処理の対象であるレポート画像には、選択画像と、この選択画像に対応するタイムライン画像とが含まれているため、転送部３０は、選択画像と、この選択画像に対応するタイムライン画像とを対応づけた状態で、サーバ６に転送することとなる。

つぎに、図４を参照して、表示部３０の表示画面上における処理状態について説明する。図４は、表示部３０の表示画面の一例を示す図であり、表示部３０の表示画面には、ウィンドウＷが表示される。ウィンドウＷには、大きくは、患者氏名がツリー形式で表示されるメニューＭ、画像表示領域Ａ１、選択画像表示領域Ａ２、再生ボタン２４を含む動画表示制御ボタン、所望の画像を選択する選択ボタン２５、レポート作成を選択するレポートボタン２６が設けられる。画像表示領域Ａ１は、メニューＭの右側領域に設けられ、メニューＭにおいて選択された患者に対応した擬似動画像を表示する。選択画像表示部Ａ２は、画像表示領域Ａ１の右側領域に設けられ、動画表示制御ボタン、選択ボタン２５、レポートボタン２６は、画像表示領域Ａ１の下部に設けられる。

再生ボタン２４をクリックすることによって擬似動画像表示の開始を指示された場合、画像表示領域Ａ１には、擬似動画像表示を指示された画像群Ｐａの画像が順次表示される。たとえば、図４に示すように、画像表示領域Ａ１には、画像Ｐ１，Ｐ２のうち、表示順番が早い画像Ｐ１が画像表示領域Ａ１の左側領域に、画像Ｐ１の次の表示順番である画像Ｐ２が画像表示領域Ａ１の右側領域に表示される。選択画像表示領域Ａ２には、画像表示領域Ａ１に順次表示された画像のうちユーザによって選択された画像が表示順にしたがって表示される。たとえば、図４に示すように、選択画像表示領域Ａ２には、表示順にしたがって選択画像Ｐｅ１，Ｐｅ２，Ｐｅ３，Ｐｅ４，Ｐｅ５が表示される。

ここで、選択画像表示領域Ａ２に表示された画像のうち、ユーザが選択画像Ｐｅ２を用いて診断用のレポートを作成する場合を例に説明する。ユーザは、カーソル２３を選択画像Ｐｅ２上に移動させマウスの左ボタンをクリックし、選択状態とする。その後、ユーザは、カーソル２３をレポートボタン２６上に移動させた状態でマウスの左ボタンをクリックする。この結果、入力部２０から、選択画像Ｐｅ２を用いたレポート画像の作成を指示する指示情報が制御部５０に出力される。

この場合、制御部５０では、画像抽出部５３が、画像群Ｐａの中から選択画像Ｐｅ２を抽出し、位置情報生成部５４が、画像抽出部５３によって抽出された選択画像Ｐｅ２の時間情報と画像群Ｐａ全体の撮像時間とをもとにタイムライン画像Ｐｔ２を生成する。その後、画像合成部５５は、選択画像Ｐｅ２とタイムライン画像Ｐｔ２とを合成した合成画像Ｐｓ２を生成し、表示制御部５１は、合成画像Ｐｓ２を表示させたレポート画像を表示部３０に対して出力させる。

この結果、図５に示すように、表示部３０の表示画面上にはレポート作成用のウィンドウＷｒが新たに表示される。このウィンドウＷｒには、画像合成部５５が合成した合成画像Ｐｓ２が表示される合成画像表示領域Ａ２１と、選択画像Ｐｅ１〜Ｐｅ５が表示される選択画像表示領域Ａ２２と、選択画像Ｐｅ１〜Ｐｅ５に対応する被検体の患者情報が表示される患者情報表示領域Ａ２３と、診断内容を示す文字情報などが表示される文字表示領域Ａ２４と、ユーザ辞書ボタン２７などの書き込み編集ボタンが表示される編集ボタン表示領域Ａ２５と、表示されたレポートのバージョン情報が表示されるバージョン表示領域Ａ２６とが設けられる。図５に示すように、選択画像表示領域Ａ２２の上部に編集ボタン表示領域Ａ２５が表示され、選択画像表示領域Ａ２２の下部に患者情報表示領域Ａ２３が表示され、患者情報表示領域Ａ２３の下部に合成画像表示領域Ａ２１が表示され、合成画像表示領域Ａ２１の右側領域に文字表示領域Ａ２４が表示される。文字表示領域Ａ２４へは、文字表示領域Ａ２４上にカーソルを移動させマウスをクリックし選択した上で、キーボードなどの入力部２０から文字を入力することができる。また、ユーザ辞書ボタン２７上にカーソルを移動させマウスでクリックすることで、ユーザごとに予め用意した図示しない用語一覧から用語を選択し、文字表示領域Ａ２４にテキストを入力することもできる。また、文字表示領域Ａ２４の下部には、このレポート画像を読み取り専用に設定する承認ボタン２８が設けられる。また、選択画像表示領域Ａ２の画像を選択せずにレポートボタン２６をマウスでクリックした場合、合成画像表示領域Ａ２１には何も表示されない。この場合、図７を用いて後述するように、選択画像表示領域Ａ２２から合成画像表示領域Ａ２１への画像のドラッグアンドドロップでレポートに用いる画像を選択する。

合成画像表示領域Ａ２１には、選択画像Ｐｅ２とタイムライン画像Ｐｔ２とが合成された合成画像Ｐｓ２が表示される。タイムライン画像Ｐｔ２には、たとえば、全体の撮像時間１０時間に対応する目盛が表示され、目盛上の図形Ｓａの位置によって、画像Ｐｅ２が全体の撮像時間のいずれの時間で撮像されたかを示す。

このように、本実施の形態では、レポート作成時に、レポート対象となる選択画像と該画像が所定の撮像時間のいずれの時間で撮像されたかを示すタイムライン画像とを合成した合成画像を表示させている。このため、本実施の形態では、レポート画像の表示時に、レポート対象となる選択画像とともに、この選択画像に対応するタイムライン画像が自動的に表示される。また、レポート画像を保持する場合には、選択画像と、この選択画像に対応するタイムライン画像とが合成された状態で保持される。したがって、画像処理装置４では、ユーザが画像群Ｐａの画像のうちレポートに必要な画像以外の画像を消去する前後にかかわらず、フォルダＦ２内のレポート画像を表示部３０に表示させた場合には、選択画像とともにタイムライン画像も表示される。この結果、ユーザは、画像群Ｐａの画像のうちレポートに必要な画像以外の画像を全て消去した後であっても、レポートで用いられた画像が所定の撮像時間のいずれの時間で撮像されたかを容易に確認することができる。さらに、ユーザは、タイムライン画像における図形Ｓａの位置によって、被検体内のいずれの位置で撮像されたかを推定することができる。したがって、ユーザは、画像群Ｐａの画像のうちレポートに必要な画像以外の画像を全て消去した後であっても、このタイムライン画像を確認することによって、レポートで用いられた画像が被検体内のいずれの位置で撮像されたかを容易に把握することができる。

つぎに、図６を参照して画像処理装置４における転送処理について、図５に示すウィンドウＷｒ上に表示されたレポート画像を転送する場合を例に説明する。ユーザがサーバ６にレポート画像を転送する指示を行った場合、画像処理装置４は、ネットワーク８を介して、図６に示すような転送情報Ｒｆをサーバ６に転送する。この転送情報Ｒｆは、転送部６０が転送対象であるレポート画像を変換したものであり、サーバ６からネットワーク８を介して転送された患者情報Ｒｐと、レポートに用いられた選択画像Ｐｅ２およびタイムライン画像Ｐｔ２とを合成した合成画像Ｐｓ２と、ユーザによる診断内容を示す診断情報Ｒｄを含む。

従来では、サーバに内視鏡画像が転送された場合、サーバにおいて内視鏡画像に付与された時間情報などを読み出せず、ユーザが、サーバ上で内視鏡画像の撮像位置を把握することができない場合があった。

これに対し、本実施の形態にかかる画像処理装置４では、レポートに用いられた選択画像と、この選択画像に対応するタイムライン画像とを含む転送情報をサーバ６に転送している。このため、サーバ６は、画像に付与された時間情報を読み出す機能を備えていない場合であっても、画像を読み出す機能を備える場合には、転送されたタイムライン画像を読み出し、選択画像の撮像時間を示すタイムライン画像を選択画像とともに出力できる。したがって、本実施の形態によれば、サーバ６などの他の装置に転送情報を転送した場合であっても、ユーザは、このような他の装置上で、このタイムライン画像を選択画像とともに確認することが可能になる。この結果、ユーザは、他の装置に転送情報が転送された場合であっても、レポートに用いられた選択画像が被検体内のいずれの位置で撮像されたかを容易に推測することが可能になり、このレポートをもととした診断を円滑に行うことができる。

なお、図７に示すように、ユーザは、レポート作成時に、最初に選択した選択画像Ｐｅ２とは別の選択画像Ｐｅ４を用いる場合には、選択画像表示領域Ａ２２の選択画像Ｐｅ４上にカーソル２３を移動させ、矢印Ｙ１にしたがってドラッグアンドドロップを行い、合成画像表示領域Ａ２１上に選択画像Ｐｅ４を移動させればよい。この場合、入力部２０から選択画像Ｐｅ４に対応する合成画像の生成およびウィンドウＷｒ上の合成画像の表示を指示する指示情報が制御部５０に出力される。画像抽出部５３は、この指示情報にしたがって、画像群Ｐａから選択画像Ｐｅ４を抽出し、特定画像生成部５４は、選択画像Ｐｅ４に対応するタイムライン画像Ｐｔ４を生成する。その後、画像合成部５５は、選択画像Ｐｅ４とタイムライン画像Ｐｔ４とを合成し、表示制御部５１は、画像合成部５５が生成した合成画像Ｐｓ４をウィンドウＷｒの合成画像表示領域Ａ２１に表示させる。この結果、図７に示すように、合成画像表示領域Ａ２１には、ユーザが新たに選択した選択画像Ｐｅ４と選択画像Ｐｅ４に対応するタイムライン画像Ｐｔ４とが合成された合成画像Ｐｓ４が表示される。このように、ユーザは、レポート作成時に、レポートに用いる画像を選択画像表示領域Ａ２２に表示された選択画像の中から自由に選択することができる。また、選択画像表示領域Ａ２２から合成画像表示領域Ａ２１への画像のドラッグアンドドロップにより、新たな画像を用いたレポートのページを追加するようにしてもよい。

また、実施の形態として、画像処理装置４は、選択画像とタイムライン画像との合成画像を表示した場合について説明したが、これに限らず、画像抽出部５３が抽出した選択画像と特定画像生成部５４が生成したタイムライン画像とをそのまま表示してもよい。この場合、図８に示すように、表示部３０の表示画面上には、合成画像表示領域Ａ２１の代わりに画像表示領域Ａ３１が設けられたウィンドウＷｄが表示される。この画像表示領域Ａ３１には、選択画像Ｐｅ２のみが表示され、選択画像Ｐｅ２に対応するタイムライン画像Ｐｔ２２は、別の画像としてウィンドウＷｄ上に表示される。このタイムライン画像Ｐｔ２２の表示位置は、ユーザが、タイムライン画像Ｐｔ２２上にカーソル２３を移動させ、マウスの左ボタンをクリックしながらマウスを操作することによって、図８に示すように、画像表示領域Ａ３１の上部などに表示位置を移動させることができる。このように、ユーザは、タイムライン画像Ｐｔ２２の表示位置を所望の位置に自由に移動させることができる。また、選択画像とタイムライン画像とを合成する必要はないため、画像処理装置４は、画像合成部５５を削除した構成にすることができ、また、図３に示す画像合成処理（ステップ１１６）を省略した画像処理を行うことができる。この結果、画像処理装置４は、レポート画像の作成にともなう画像処理を迅速に行うことができる。

さらに、この場合、図９に示すように、画像処理装置４は、選択画像Ｐｅ２とタイムライン画像Ｐｔ２２とを対応づけた状態でサーバ６に転送してもよい。この場合、転送部６０は、患者情報Ｒｐ、選択画像Ｐｅ２、タイムライン画像Ｐｔ２２、診断情報Ｒｄを含む転送情報Ｒｆ２を、ネットワーク８を介してサーバ６に転送する。このように、選択画像Ｐｅ２とタイムライン画像Ｐｔ２２とを対応づけて転送した場合も、サーバ６は、タイムライン画像Ｐｔ２２を読み出すことができ、ユーザは、タイムライン画像Ｐｔ２２を確認することによって選択画像Ｐｅ２が被検体内のいずれの位置で撮像された画像であるかを容易に把握することができる。また、転送部６０は、選択画像Ｐｅ２とタイムライン画像Ｐｔ２２とともに選択画像Ｐｅ２に付与された時間情報を転送してもよい。また、転送部６０は、患者情報Ｒｐと合成画像Ｐｓ２と診断情報Ｒｄとを含む転送情報Ｒｆ、または、患者情報Ｒｐと選択画像Ｐｅ２とタイムライン画像Ｐｔ２２と診断情報Ｒｄとを含む転送情報Ｒｆ２に限らず、合成画像Ｐｓ２、あるいは選択画像Ｐｅ２とタイムラインＰｔ２２とを少なくとも転送すればよい。ユーザは、少なくとも合成画像Ｐｓ２、あるいは選択画像Ｐｅ２とタイムラインＰｔ２２とを用いることによって、サーバ６上で診断に用いるレポートを作成することができる。

また、本実施の形態にかかる画像処理装置４では、転送部６０は、レポート画像を所定の圧縮方法で圧縮して転送してもよい。したがって、転送部６０は、記憶部４０に保持されるタイムライン画像と、このタイムライン画像に対応する選択画像を圧縮して転送し、または、画像合成部５５によって合成された合成画像を圧縮して転送することとなる。この場合、画像処理装置４は、転送情報の容量を削減することができるため、転送情報を圧縮しない場合と比べ迅速に情報を転送することができる。

また、本実施の形態では、特定画像生成部５４は、特定画像情報としてタイムライン画像を生成した場合について説明したが、これに限らない。たとえば、特定画像生成部５４は、図１０に示すように、撮像経路および画像の撮像位置を示した被検体の模式画像を、画像群Ｐａの中から選択された画像の位置を示す特定画像として生成してもよい。特定画像生成部５４は、画像ごとに付与された時間情報から経験的に求められた位置情報をもとに、画像の撮像位置を表すマーカーＭｔを、被検体Ｈの撮像経路を示すライン上に表示させた特定画像Ｐｔ３２を生成する。そして、画像合成部５５は、選択画像Ｐｅ２と特定画像Ｐｔ３２とを合成した合成画像Ｐｓ３２を生成する。表示制御部５１は、合成画像Ｐｓ３２を表示部３０の合成画像表示領域Ａ２１に表示出力してもよく、転送部６０は、合成画像Ｐｓ３２をサーバ６に転送してもよい。このような特定画像Ｐｔ３２を確認することによって、ユーザは、診断に用いた画像Ｐｅ２が被検体内のどの位置で撮像されたかを明確に把握することができ、診断を円滑に行うことができる。さらに、被検体内情報取得システムが複数のアンテナを備えた受信装置を備えている場合には、各アンテナにおけるカプセル内視鏡の送信電波の強度の差から、被検体内におけるカプセル内視鏡の位置情報を取得する。特定画像生成部５４は、このように取得された位置情報をもとに特定画像Ｐｔ３２を生成してもよく、このように取得された位置情報と各画像に付与された時間情報とをもとに特定画像Ｐｔ３２を生成してもよい。ユーザは、このように生成された特定画像Ｐｔ３２を確認することによって、画像Ｐｅ２の撮像位置を正確に把握することができる。なお、図１１に示すように、画像処理装置４は、特定画像Ｐｔ３２を選択画像Ｐｅ２と合成せず、別々に表示出力および転送を行ってもよい。

また、上記実施の形態で説明した画像処理装置４は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。以下、上記実施の形態で説明した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータシステムについて説明する。

図１２は、上述した実施の形態を用いたコンピュータシステムの構成を示すシステム構成図であり、図１３は、このコンピュータシステムにおける本体部の構成を示すブロック図である。図１２に示すように、本実施の形態にかかるコンピュータシステム１００は、本体部１０１と、本体部１０１からの指示によって表示画面１０２ａに画像などの情報を表示するためのディスプレイ１０２と、このコンピュータシステム１００に種々の情報を入力するためのキーボード１０３と、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するためのマウス１０４とを備える。

また、このコンピュータシステム１００における本体部１０１は、図１３に示すように、ＣＰＵ１２１と、ＲＡＭ１２２と、ＲＯＭ１２３と、ハードディスクドライブ（ＨＤＤ）１２４と、ＣＤ−ＲＯＭ１０９を受け入れるＣＤ−ＲＯＭドライブ１２５と、フレキシブルディスク（ＦＤ）１０８を受け入れるＦＤドライブ１２６と、ディスプレイ１０２、キーボード１０３並びにマウス１０４を接続するＩ／Ｏインターフェース１２７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）１０６に接続するＬＡＮインターフェース１２８とを備える。

さらに、このコンピュータシステム１００には、インターネットなどの公衆回線１０７に接続するためのモデム１０５が接続されるとともに、ＬＡＮインターフェース１２８およびＬＡＮ／ＷＡＮ１０６を介して、他のコンピュータシステム（ＰＣ）１１１、サーバ１１２、プリンタ１１３などが接続される。

そして、このコンピュータシステム１００は、所定の記録媒体に記録された画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、フレキシブルディスク（ＦＤ）１０８、ＣＤ−ＲＯＭ１０９、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）１２４や、ＲＡＭ１２２、ＲＯＭ１２３などの「固定用の物理媒体」、さらに、モデム１０５を介して接続される公衆回線１０７や、他のコンピュータシステム１１１並びにサーバ１１２が接続されるＬＡＮ／ＷＡＮ１０６などのように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」など、コンピュータシステム１００によって読み取り可能な画像処理プログラムを記録する、あらゆる記録媒体を含むものである。

すなわち、画像処理プログラムは、上記した「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」などの記録媒体に、コンピュータ読み取り可能に記録されるものであり、コンピュータシステム１００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置および画像処理方法を実現する。なお、画像処理プログラムは、コンピュータシステム１００によって実行されることに限定されるものではなく、他のコンピュータシステム１１１またはサーバ１１２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

実施の形態における被検体内情報取得システムの全体構成を示す模式図である。 実施の形態にかかる画像処理装置の概略構成を示すブロック図である。 図２に示す制御部による画像処理手順を示すフローチャートである。 図２に示す表示部の表示画面の一例を示す図である。 図２に示す表示部の表示画面の一例を示す図である。 図３に示す転送処理を説明する図である。 図２に示す表示部の表示画面の一例を示す図である。 図２に示す表示部の表示画面の一例を示す図である。 図３に示す転送処理の他の例を説明する図である。 図２に示す表示部に表示される画像の一例を示す図である。 図２に示す表示部に表示される画像の一例を示す図である。 実施の形態を用いたコンピュータシステムの構成を示す構成図である。 図１２に示したコンピュータシステムにおける本体部の構成を示すブロック図である。

符号の説明

１ 被検体
２ 受信装置
２ａ 受信ジャケット
２ｂ 外部装置
４ 画像処理装置
５ 携帯型記録媒体
６ サーバ
７ データベース
８ ネットワーク
２０ 入力部
３０ 表示部
４０ 記憶部
５０ 制御部
５１ 表示制御部
５２ 画像処理部
５３ 画像抽出部
５４ 特定画像生成部
５５ 画像合成部
６０ 転送部
２３ カーソル
２４ 再生ボタン
２５ 選択ボタン
２６ レポートボタン
２７ ユーザ辞書ボタン
２８ 承認ボタン
１００ コンピュータシステム
１０１ 本体部
１０２ ディスプレイ
１０２ａ 表示画面
１０３ キーボード
１０４ マウス
１０５ モデム
１０６ ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）
１０７ 公衆回線
１０８ フレキシブルディスク（ＦＤ）
１０９ ＣＤ−ＲＯＭ
１１１ 他のコンピュータシステム（ＰＣ）
１１２ サーバ
１１３ プリンタ
１２１ ＣＰＵ
１２２ ＲＡＭ
１２３ ＲＯＭ
１２４ ハードディスクドライブ（ＨＤＤ）
１２５ ＣＤ−ＲＯＭドライブ
１２６ ＦＤドライブ
１２７ Ｉ／Ｏインターフェース
１２８ ＬＡＮインターフェース

Claims (11)

1. 個々の画像情報を特定する特定情報が付与された一連の画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理装置において、
   前記特定情報をもとに、前記一連の画像情報の中から前記選択された画像情報の位置を表す特定画像情報を生成する特定画像生成手段と、
   前記特定画像生成手段によって生成された特定画像情報を前記選択された画像情報に対応づける対応付手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記対応付手段によって対応づけられた前記特定画像情報を該特定画像情報に対応する前記選択された画像情報とともに表示出力する表示出力手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 少なくとも前記対応付手段によって対応づけられた前記特定画像情報を該特定画像情報に対応する前記選択された画像情報とともに、当該画像処理装置から他の装置に転送する転送手段を備えたことを特徴とする請求項１または２に記載の画像処理装置。
4. 少なくとも前記特定画像生成手段によって生成された前記特定画像情報と該特定画像情報に対応する前記選択された画像情報とを合成した合成画像情報を生成する合成手段をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記表示出力手段は、前記合成手段によって合成された合成画像情報を表示出力し、
   前記転送手段は、前記合成手段によって合成された合成画像情報を転送することを特徴とする請求項４に記載の画像処理装置。
6. 前記転送手段は、前記対応付手段によって対応づけられた前記特定画像情報と該特定画像情報に対応する前記選択された画像情報とを圧縮して転送し、または、前記合成手段によって合成された合成画像情報を圧縮して転送することを特徴とする請求項３または５に記載の画像処理装置。
7. 前記転送手段は、前記対応付手段によって対応づけられた前記特定画像情報および該特定画像情報に対応する前記選択された画像情報とともに該選択された画像情報に付与された特定情報を転送し、または、前記合成手段によって合成された合成画像情報とともに該合成画像情報に対応する前記選択された画像情報に付与された特定情報を転送することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記特定情報は、前記一連の画像情報における各画像情報の撮像時間を示し、
   前記特定画像生成手段は、前記一連の画像情報にそれぞれ付与された特定情報をもとに前記一連の画像情報を撮像した全体の撮像時間を求め、該全体の撮像時間と前記選択された画像情報の特定情報とをもとに、該選択された画像情報が全体の撮像時間の中のいずれの時間に撮像されたかを表す特定画像情報を生成することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記画像情報は、被検体内部を撮像した画像情報であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 個々の画像情報を特定する特定情報が付与された一連の画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理方法において、
    前記特定情報をもとに、前記一連の画像情報の中から前記選択された画像情報の位置を表す特定画像情報を生成する特定画像生成ステップと、
    前記特定画像生成ステップにおいて生成された特定画像情報を、該特定画像情報に対応する前記画像情報に対応づける対応付ステップと、
    を含むことを特徴とする画像処理方法。
11. 個々の画像情報を特定する特定情報が付与された一連の画像情報であって、前記一連の画像情報の中から選択された前記画像情報を処理する画像処理プログラムにおいて、
    前記特定情報をもとに、前記一連の画像情報の中から前記選択された画像情報の位置を表す特定画像情報を生成する特定画像生成手順と、
    前記特定画像生成手順において生成された特定画像情報を、該特定画像情報に対応する前記画像情報に対応づける対応付手順と、
    を含むことを特徴とする画像処理プログラム。
    

Images