JP2008278965A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】複数の観察対象が順次撮像された一連の観察画像における各観察画像に撮像された観察対象を迅速に判定できること。
【解決手段】複数の観察対象として食道、胃、小腸および大腸が順次撮像された一連の観察画像を処理する画像処理装置１において、一連の観察画像のうち少なくとも処理対象画像の圧縮画像データに基づく圧縮情報をもとに、その処理対象画像に撮像された臓器を食道もしくは胃と、小腸と、大腸とのいずれか一つと判定する臓器判定部４ａを備え、臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換えるとともに、その処理対象画像に撮像された臓器を順次判定する。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理プログラムに関し、特に複数の観察対象が順次撮像された一連の観察画像を処理する画像処理装置および画像処理プログラムに関するものである。

複数の観察画像を順次撮像することができる撮像装置の１つとして、近年、被検体内を観察するカプセル型内視鏡が開発されている。カプセル型内視鏡は、撮像機能を備え、被検体に飲み込まれた後、自然排出されるまでの間、食道、胃、小腸および大腸等の内部を蠕動運動などに応じて順次移動しながら撮像する。医師、看護師等は、撮像された一連の画像を観察画像として表示させ、その観察画像に基づいて被検体内を観察することができる。

通常、カプセル型内視鏡によって取得する一連の観察画像の数は膨大であり、医師、看護師等は、その一連の観察画像をもとに観察を行うにあたって多大な時間と労力とが必要とされる。これに対し、所望の観察対象部位が撮像された観察画像のみを表示させ、一連の観察画像に基づく観察を効率的に行うことができる画像表示装置が開発されている（例えば、特許文献１参照）。この画像表示装置では、各観察画像に撮像された絨毛あるいは便等を周波数解析もしくはテクスチャ解析等によって検出し、この検出結果に基づいて一連の観察画像を胃、小腸または大腸が撮像された画像ごとに分類することで、所望の臓器が撮像された観察画像のみを表示できるようにしている。

特開２００６−３２０５８５号公報

しかしながら、一般に周波数解析やテクスチャ解析は、多大な処理時間を要するため、特許文献１に記載された画像表示装置では、一連の観察画像を取得した後、迅速にその表示を行うことができなかった。このため、観察者は、所望の観察画像の観察を行うまでに多大な待ち時間を費やさざるを得ないという問題があった。

本発明は、上記に鑑みてなされたものであって、複数の観察対象が順次撮像された一連の観察画像における各観察画像に撮像された観察対象を迅速に判定することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明にかかる画像処理装置は、複数の観察対象が順次撮像された一連の観察画像を処理する画像処理装置において、前記一連の観察画像のうち少なくとも処理対象画像の圧縮画像データに基づく圧縮情報をもとに、該処理対象画像に撮像された前記観察対象を判定する対象判定手段を備えたことを特徴とする。

また、本発明にかかる画像処理プログラムは、複数の観察対象が順次撮像された一連の観察画像を処理する画像処理装置に、前記一連の観察画像を処理させる画像処理プログラムおいて、前記画像処理装置に、前記一連の観察画像のうち少なくとも処理対象画像の圧縮画像データに基づく圧縮情報をもとに、該処理対象画像に撮像された前記観察対象を判定する対象判定手順を実行させることを特徴とする。

本発明にかかる画像処理装置および画像処理プログラムによれば、複数の観察対象が順次撮像された一連の観察画像における各観察画像に撮像された観察対象を簡易な処理で判定することができる。

以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。この実施の形態では、本発明にかかる画像処理装置は、複数の観察対象が順次撮像された一連の観察画像として、食道、胃、小腸および大腸の内部が順次撮像された一連の観察画像を処理するものとして説明する。ただし、本発明にかかる画像処理装置によって処理可能な観察画像は、かかる消化器官が撮像された観察画像に限定されるものではない。また、この実施の形態により本発明が限定されるものではない。なお、図面の記載において、同一部分には同一符号を付して示している。

（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置について説明する。図１は、本実施の形態１にかかる画像処理装置１の要部構成を示すブロック図である。この図に示すように、画像処理装置１は、画像を含む各種情報の入力、記憶および出力をそれぞれ行う入力部２、記憶部３および出力部５と、記憶部３に記憶された画像を処理する画像処理部４と、これら各部に電気的に接続され、その接続された各部の処理および動作を制御する制御部６とを備える。

入力部２は、データ通信インターフェースを用いて構成され、このデータ通信インターフェースから制御部６に対し、処理対象としての一連の観察画像の画像データの入力を行う。本実施の形態１では、一連の観察画像の画像データの入力は、圧縮画像データを入力することで行う。また、入力部２は、各種入力デバイスを備え、制御部６が処理に用いる処理パラメータ等、各種情報の入力を行う。

記憶部３は、ハードディスク、ＲＯＭおよびＲＡＭ等を用いて構成され、制御部６が実行させる各種処理プログラム、制御部６が処理に用いる各種処理パラメータ、制御部６の処理結果等、各種情報を記憶する。特に、記憶部３は、入力部２を介して入力された一連の観察画像を記憶する観察画像記憶部３ａを備える。また、記憶部３は、画像処理装置１に対して着脱自在な携帯型記憶媒体を備え、入力部２を介さずに画像データを取得し、一連の観察画像を記憶することができる。

画像処理部４は、例えばＣＰＵによって実現され、制御部６が実行させる所定の画像処理プログラムに基づき、観察画像記憶部３ａに記憶された一連の観察画像に対して種々の画像処理を行う。特に、画像処理部４は、各観察画像に撮像された観察対象を判定する対象判定手段としての臓器判定部４ａを備える。臓器判定部４ａは、具体的には、各観察画像に撮像された観察対象が食道もしくは胃と、小腸と、大腸とのいずれか一つであることを判定する。

出力部５は、液晶表示器等、各種表示器を用いて構成され、臓器判定部４ａの判定結果を報知する。また、出力部５は、データ通信インターフェースを備え、このデータ通信インターフェースから外部装置に対し、臓器判定部４ａの判定結果を出力することができる。さらに、出力部５は、一連の観察画像その他の各種情報を表示等することができる。

制御部６は、ＣＰＵによって実現され、記憶部３に記憶された所定の処理プログラムを実行させることで、画像処理装置１が備える各部の処理および動作を制御する。特に、制御部６は、記憶部３に記憶された所定の画像処理プログラムを実行させることで、一連の観察画像を画像処理部４に処理させ、各観察画像に撮像された観察対象としての臓器を臓器判定部４ａに判定させるとともに、その判定結果を出力部５に出力させる。

つづいて、画像処理装置１が行う画像処理手順について説明する。図２は、制御部６が所定の画像処理プログラムを実行させることで、観察画像記憶部３ａに記憶された一連の観察画像を処理する処理手順を示すフローチャートである。この図に示すように、まず画像処理部４は、観察画像記憶部３ａから一連の観察画像を表わす各画像の圧縮画像データを読み込み（ステップＳ１０１）、臓器判定部４ａは、各観察画像に撮像された臓器を判定する臓器判定処理を行う（ステップＳ１０２）。その後、制御部６は、臓器判定処理による判定結果を出力部５に出力させ（ステップＳ１０３）、一連の処理を終了する。

ステップＳ１０２の臓器判定処理では、臓器判定部４ａは、観察画像の圧縮符号化された圧縮画像データのファイルサイズをもとに、各観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。食道や胃の内部には比較的凹凸が少ないため、食道もしくは胃を撮像した観察画像では、小腸もしくは大腸を撮像した観察画像に比べ、各画素とその周囲画素との相関が高いという特徴がある。臓器判定部４ａは、その相関の高さを圧縮画像データのファイルサイズによって判断することで、観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。

一般に、各画素とその周囲画素との相関の高さは、エントロピーによって示されることが知られている。エントロピーＨ（ｆ）は、注目画素の周囲画素のビット列ｒと、その注目画素が画素値ｆを有する確率ｐ（ｒ；ｆ）とを用い、次式（１）によって求められる。ここで、式（１）によって示されるエントロピーＨ（ｆ）は、マルコフ情報源のエントロピーである。
Ｈ（ｆ）＝−ｌｏｇ₂（ｐ（ｒ；ｆ）） ・・・（１）

この式（１）による演算を画像全体に対して行うことで、各画素に対応するエントロピーＨ（ｆ）を得ることができる。そして、画像全体の傾向としてエントロピーＨ（ｆ）の値が大きい場合、その画像は、各画素とその周囲画素との相関が低い画像であり、エントロピーＨ（ｆ）の値が小さい場合には、各画素とその周囲画素との相関が高い画像であるといえる。

一方、画像のエントロピーには、次のような性質がある。すなわち、エントロピーの値が大きい場合、その画像の情報量は多く、圧縮符号化率は低い。逆に、エントロピーの値が小さい場合には、その画像の情報量は少なく、圧縮符号化率は高くなる傾向にある。つまり、圧縮符号化前のファイルサイズが等しい２つの画像について圧縮画像データのファイルサイズを比較した場合、圧縮画像データのファイルサイズが大きい方は、相対的に圧縮符号化率が低く、エントロピーが大きい画像であるといえる。また、圧縮画像データのファイルサイズが小さい方は、相対的に圧縮符号化率が高く、エントロピーが小さい画像であるといえる。

以上のことから、圧縮画像データのファイルサイズが大きい画像は、各画素とその周囲画素との相関が低く、圧縮画像データのファイルサイズが小さい画像は、各画素とその周囲画素との相関が高いと判断できることがわかる。臓器判定部４ａは、この特性を利用し、観察画像の圧縮画像データのファイルサイズの大きさをもとに、その観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。

通常、式（１）によって各画素のエントロピーを算出する場合、膨大な処理時間が必要とされる。これに対し、本実施の形態１では、あらかじめ圧縮符号化された状態で一連の観察画像が記憶されているため、観察画像の圧縮画像データのファイルサイズを容易に得ることができる。したがって、臓器判定部４ａは、エントロピーを算出し、各画素とその周囲画素との相関を求める場合に比べ、簡易な処理で迅速にその相関の高さを判別することができるとともに観察画像に撮像された臓器を判定することができる。

また、ステップＳ１０２の臓器判定処理では、臓器判定部４ａは、観察画像の圧縮画像データのファイルサイズの変化量をもとに、観察画像に撮像された臓器が小腸であるか、大腸であるかを判定する。大腸では、内部に便等が詰まっているため、例えばカプセル型内視鏡で観察画像を取得する場合、カプセル型内視鏡の移動が停滞し、時系列で連続した観察画像間におけるファイルサイズはほとんど変化しない。これに対して、小腸では、カプセル型内視鏡が大腸内に比べてスムーズに移動できるため、時系列で連続した観察画像間におけるファイルサイズに顕著な変化が見られる。臓器判定部４ａは、この特性を利用し、時系列に連続した観察画像間でのファイルサイズの変化量の大きさをもとに、その観察画像に撮像された観察対象が小腸であるか、大腸であるかを判定する。

つづいて、臓器判定部４ａによる臓器判定処理の具体的な処理手順について説明する。図３は、その臓器判定処理手順を示すフローチャートである。この図に示すように、臓器判定部４ａは、まず一連の観察画像における圧縮画像データのファイルサイズをもとに、ファイルサイズの移動平均を算出するとともに（ステップＳ１１１）、ファイルサイズの全体平均を算出する（ステップＳ１１２）。さらに、臓器判定部４ａは、一連の観察画像における連続した各観察画像間でのファイルサイズの変化量を算出し、ファイルサイズの変化量の移動平均を算出するとともに（ステップＳ１１３）、ファイルサイズの変化量の全体平均を算出する（ステップＳ１１４）。その後、臓器判定部４ａは、ステップＳ１１１〜Ｓ１１３による各算出結果をもとに、各観察画像に撮像された臓器を判定し（ステップＳ１１５）、臓器判定処理を終了してステップＳ１０２へリターンする。

ステップＳ１１１では、臓器判定部４ａは、一連の観察画像のうち処理対象画像に対し、その処理対象画像を含む時系列に近接した複数の観察画像におけるファイルサイズの平均であるサイズ平均を算出する。そして、算出したサイズ平均を処理対象画像に対応付ける。なお、本実施の形態１では、一連の観察画像のうちの時系列に近接した例えば１００枚の観察画像を用いてサイズ平均を算出する。ただし、このサイズ平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとにサイズ平均を算出することで、一連の観察画像全体にわたるファイルサイズの移動平均を得る。具体的には、臓器判定部４ａは、ステップＳ１１１によって、例えば図４−１に示す一連の観察画像のファイルサイズ情報をもとに、図４−２に示すようにファイルサイズの移動平均を得る。

ステップＳ１１３では、臓器判定部４ａは、一連の観察画像のうち処理対象画像に対し、処理対象画像を含む時系列に近接した複数の観察画像における各観察画像間でのファイルサイズの変化量の平均である変化量平均を算出する。そして、算出した変化量平均を処理対象画像に対応付ける。なお、本実施の形態１では、一連の観察画像のうちの時系列に近接した例えば１００枚の観察画像を用いて変化量平均を算出する。ただし、この変化量平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに変化量平均を算出することで、一連の観察画像全体にわたるファイルサイズの変化量の移動平均を得る。具体的には、臓器判定部４ａは、ステップＳ１１３によって、例えば図４−１に示す一連の観察画像のファイルサイズ情報をもとに、図４−３に示すようにファイルサイズの変化量の移動平均を得る。

ステップＳ１１５では、臓器判定部４ａは、一連の観察画像のうち処理対象画像に対し、まず、ステップＳ１１１によって算出したサイズ平均と、所定のサイズ判定基準との大小関係に応じ、処理対象画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。具体的には、臓器判定部４ａは、ステップＳ１１２によって算出した全体平均Ｆ_sizeAveと、あらかじめ設定された変数Ｍとをもとに、次式（２）によってサイズ判定基準としての閾値Ｔ_Fsizeを算出し（図４−２参照）、この閾値Ｔ_Fsizeに対してサイズ平均Ｆ_sizeが次式（３）を満足するか否かを判別する。
Ｔ_Fsize＝Ｆ_sizeAve＋Ｍ ・・・（２）
Ｆ_size＜Ｔ_Fsize ・・・（３）

臓器判定部４ａは、式（３）が満足される場合、処理対象画像に撮像された臓器が食道もしくは胃であると判定し、式（３）が満足されない場合、小腸もしくは大腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、一連の観察画像における各観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。

なお、臓器判定部４ａは、一連の観察画像に胃、小腸および大腸がこの順に撮像されていることが明らかな場合、その先頭画像から順に処理対象画像を切り換えることにより、式（３）が満足されないと最初に判別した観察画像以降すべての観察画像を、小腸もしくは大腸が撮像された画像と判定する。これによって、食道もしくは胃が撮像された観察画像と、小腸もしくは大腸が撮像された観察画像とをより迅速に判別することができる。

つぎに、臓器判定部４ａは、小腸もしくは大腸が撮像されていると判定した一連の観察画像のうち処理対象画像に対し、ステップＳ１１３によって算出した変化量平均と、所定の変化量判定基準との大小関係に応じ、処理対象画像に撮像された臓器が小腸であるか、大腸であるかを判定する。具体的には、臓器判定部４ａは、ステップＳ１１４によって算出した全体平均Ｆ_sizeDiffAveと、あらかじめ設定された変数Ｎとをもとに、次式（４）によって変化量判定基準としての閾値Ｔ_FsizeDiffを算出し（図４−３参照）、この閾値Ｔ_FsizeDiffに対して変化量平均Ｆ_sizeDiffが次式（５）を満足するか否かを判別する。
Ｔ_FsizeDiff＝Ｆ_sizeDiffAve＋Ｎ ・・・（４）
Ｆ_sizeDiff＜Ｔ_FsizeDiff ・・・（５）

臓器判定部４ａは、式（５）が満足される場合、処理対象画像に撮像された臓器が大腸であると判定し、式（５）が満足されない場合、小腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部４ａは、先に小腸もしくは大腸が撮像されていると判定した一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、その各観察画像に撮像されている臓器が小腸であるか、大腸であるかを判定する。これによって、臓器判定部４ａは、一連の全観察画像における各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付けることができる。

なお、式（２）に示したように、サイズ判定基準としての閾値Ｔ_Fsizeの算出にファイルサイズの全体平均Ｆ_sizeAveを用いるのは、被検体ごとに臓器の特徴に個体差があり、その個体差による影響を軽減するためである。同様に、式（４）に示したように、変化量判定基準としての閾値Ｔ_FsizeDiffの算出にファイルサイズの変化量の全体平均Ｆ_sizeDiffAveを用いるのも、個体差による影響を軽減するためである。また、変数Ｍ，Ｎは、観察者が入力部２から入力することで設定されるものであり、適宜変更可能とされている。

以上説明したように、本実施の形態１にかかる画像処理装置１では、一連の観察画像のうち処理対象画像の圧縮画像データに基づく圧縮情報としてのファイルサイズをもとに、処理対象画像に撮像された観察対象としての臓器を判定する臓器判定部４ａを備え、臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換えるとともに、切り換えた処理対象画像ごとに撮像された臓器を判定するようにしているため、食道、胃、小腸および大腸等、複数の臓器が順次撮像された一連の観察画像における各観察画像に撮像された臓器を迅速に判定することができる。また、観察画像ごとにその判定結果を対応付けているため、撮像された臓器ごとに一連の観察画像を識別することができる。

なお、上述した臓器判定処理では、臓器判定部４ａは、各観察画像に撮像された臓器をステップＳ１１５によって一括して判定するものとしたが、式（３）による判定と式（５）による判定とを個別に行うこともできる。例えば、ステップＳ１１２の直後に式（３）による判定を行うことで、小腸もしくは大腸が撮像されていると判定した観察画像だけを対象にステップＳ１１３を行うことができ、これによって、より迅速に臓器判定処理を行うことができる。

また、上述した臓器判定処理では、臓器判定部４ａは、ステップＳ１１５において式（３）による判定と式（５）による判定とを順次行うものとして説明したが、一括して判定をすることもできる。例えば、処理対象画像ごとにサイズ平均Ｆ_sizeと変化量平均Ｆ_sizeDiffとによって表される特徴ベクトル（Ｆ_size，Ｆ_sizeDiff）を求め、この特徴ベクトルが特徴空間上で属する領域に応じて臓器を判定することができる。具体的には、特徴ベクトル（Ｆ_size，Ｆ_sizeDiff）が式（３）を満足する領域内にある場合、食道もしくは胃が撮像されていると判定し、それ以外の領域であって式（５）を満足する領域内にある場合には、大腸が撮像されていると判定することができる。さらに、それ以外の領域内にある場合には、小腸が撮像されていると判定することができる。

また、上述した臓器判定処理では、臓器判定部４ａは、複数の観察画像におけるファイルサイズのサイズ平均と変化量平均とをもとに臓器の判定を行うものとしたが、必ずしも平均を用いる必要はなく、例えば個々のファイルサイズと個々のファイルサイズの変化量とをもとに臓器判定をすることもできる。これによって、判定精度の要求が比較的緩い場合には、より迅速に臓器判定処理を行うことができる。

（実施の形態２）
つぎに、本発明の実施の形態２にかかる画像処理装置について説明する。上述した実施の形態１では、臓器判定部４ａは、観察画像の圧縮画像データのファイルサイズとその変化量とをもとに各観察画像に撮像された臓器を判定していたが、本実施の形態２では、圧縮画像データの伸張時に算出されるＤＣＴ係数とその変化量とをもとに臓器判定を行うようにしている。なお、本実施の形態２にかかる画像処理装置は、上述の画像処理装置１と同じ構成を有し、臓器判定部４ａがファイルサイズに替えてＤＣＴ係数をもとにステップＳ１０２の臓器判定処理を行うものとして説明する。

通常、食道や胃は、小腸に比べて粘膜表面に凹凸が少なく平坦である。逆に、小腸は絨毛などによって表面に凹凸が多い。このため、胃が撮像された観察画像では低周波成分が支配的であり、小腸が撮像された観察画像では高周波成分が支配的である。本実施の形態２では、臓器判定部４ａは、この性質を利用して、観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。具体的には、臓器判定部４ａは、一連の観察画像がＪＰＥＧ等、ＤＣＴ圧縮符号化方式によって圧縮された圧縮画像データとして記憶されている場合、圧縮画像データの伸張時に行う逆ＤＣＴ変換によって得られる複数のＤＣＴ係数をもとに判定を行う。

また、大腸では、内部に便等が詰まっているため、例えばカプセル型内視鏡で観察画像を取得する場合、カプセル型内視鏡の移動が停滞し、時系列で連続した観察画像間における周波数成分にほとんど変化がない。これに対して、小腸では、カプセル型内視鏡が大腸内に比べてスムーズに移動できるため、時系列で連続した観察画像間における周波数成分に顕著な変化が見られる。臓器判定部４ａは、この特性を利用し、時系列に連続した観察画像間での周波数成分の変化量の大きさをもとに、その観察画像に撮像された臓器が小腸であるか、大腸であるかを判定する。具体的には、臓器判定部４ａは、一連の観察画像がＤＣＴ圧縮符号化方式によって圧縮された圧縮画像データとして記憶されている場合、時系列に連続した観察画像間でのＤＣＴ係数の変化量をもとに判定を行う。

一般に、画像内の周波数成分情報を得る手法として、フーリエ変換によりパワースペクトルを求める方法がよく知られている。しかしながら、フーリエ変換は計算処理が多いため、通常、膨大な処理時間が必要とされる。これに対し、上述のようにＤＣＴ係数によって周波数成分を判別する場合には、圧縮画像データの伸張処理時にＤＣＴ係数を算出することができ、周波数成分を判別するために特別な演算処理を必要としない。また、ＤＣＴ係数を算出する処理自体が簡易かつ短時間で処理可能であるため、フーリエ変換によるパワースペクトルを用いる場合に比べ、迅速に観察画像中の周波数成分を判別することができるとともに観察画像に撮像された臓器を判定することができる。

つづいて、臓器判定部４ａによる臓器判定処理の具体的な処理手順について説明する。図５は、その臓器判定処理手順を示すフローチャートである。この図に示すように、臓器判定部４ａは、まず観察画像ごとにＤＣＴ係数の重み付け平均としての代表ＤＣＴ係数を算出する（ステップＳ２１０）。そして、一連の観察画像における代表ＤＣＴ係数をもとに、代表ＤＣＴ係数の移動平均を算出するとともに（ステップＳ２１１）、代表ＤＣＴ係数の全体平均を算出する（ステップＳ２１２）。さらに、臓器判定部４ａは、一連の観察画像における連続した各観察画像間での代表ＤＣＴ係数の変化量を算出し、代表ＤＣＴ係数の変化量の移動平均を算出するとともに（ステップＳ２１３）、代表ＤＣＴ係数の変化量の全体平均を算出する（ステップＳ２１４）。その後、臓器判定部４ａは、ステップＳ２１１〜Ｓ２１３による各算出結果をもとに、各観察画像に撮像された臓器を判定し（ステップＳ２１５）、臓器判定処理を終了してステップＳ１０２へリターンする。

ステップＳ２１０では、臓器判定部４ａは、まず観察画像ごとに圧縮画像データの伸張時に処理単位とされる各８×８画素ブロックについて、低周波成分から高周波成分にわたる所定の複数のＤＣＴ係数をもとにそのブロック平均を算出する。具体的には、図６に示すように得られる８×８画素ブロックのＤＣＴ係数「ＤＣＴ１」〜「ＤＣＴ６４」をもとに、ＤＣ成分に相当する「ＤＣＴ１」を除き、「ＤＣＴ２」〜「ＤＣＴ６４」全体の周波数ごとの重み付け平均、もしくは「ＤＣＴ２」〜「ＤＣＴ６４」のうちあらかじめ選択された１以上のＤＣＴ係数の周波数ごとの重み付け平均を算出してブロック平均とする。なお、周波数ごとの重み付けでは、高周波ほど低周波よりも重み付けを重くするとよい。さらに、臓器判定部４ａは、観察画像ごとに各８×８画素ブロックのブロック平均をさらに平均した全体平均を代表ＤＣＴ係数として算出する。

ステップＳ２１１では、臓器判定部４ａは、一連の観察画像のうち処理対象画像に対し、その処理対象画像を含む時系列に近接した複数の観察画像における代表ＤＣＴ係数の平均であるＤＣＴ係数平均を算出する。そして、算出したＤＣＴ係数平均を処理対象画像に対応付ける。なお、本実施の形態２では、一連の観察画像のうちの時系列に近接した例えば１００枚の観察画像を用いてＤＣＴ係数平均を算出する。ただし、このＤＣＴ係数平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとにＤＣＴ係数平均を算出することで、一連の観察画像全体にわたる代表ＤＣＴ係数の移動平均を得る。

ステップＳ２１３では、臓器判定部４ａは、一連の観察画像のうち処理対象画像に対し、その処理対象画像を含む時系列に近接した複数の観察画像における各観察画像間での代表ＤＣＴ係数の変化量の平均であるＤＣＴ変化量平均を算出する。そして、算出したＤＣＴ変化量平均を処理対象画像に対応付ける。なお、本実施の形態２では、一連の観察画像のうちの時系列に近接した例えば１００枚の観察画像を用いてＤＣＴ変化量平均を算出する。ただし、このＤＣＴ変化量平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとにＤＣＴ変化量平均を算出することで、一連の観察画像全体にわたる代表ＤＣＴ係数の変化量の移動平均を得る。

ステップＳ２１５では、臓器判定部４ａは、一連の観察画像のうち処理対象画像に対し、まず、ステップＳ２１１によって算出したＤＣＴ係数平均と、所定のＤＣＴ判定基準との大小関係に応じ、処理対象画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。具体的には、臓器判定部４ａは、ステップＳ２１２によって算出した全体平均Ｆ_dctAveと、あらかじめ設定された変数Ｋとをもとに、次式（６）によってＤＣＴ判定基準としての閾値Ｔ_dctを算出し、この閾値Ｔ_dctに対してＤＣＴ係数平均Ｆ_dctが次式（７）を満足するか否かを判別する。
Ｔ_dct＝Ｆ_dctAve＋Ｋ ・・・（６）
Ｆ_dct＜Ｔ_dct ・・・（７）

臓器判定部４ａは、式（７）が満足される場合、処理対象画像に撮像された臓器が食道もしくは胃であると判定し、式（７）が満足されない場合、小腸もしくは大腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、一連の観察画像における各観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。

なお、臓器判定部４ａは、一連の観察画像に胃、小腸および大腸がこの順に撮像されていることが明らかな場合、その先頭画像から順に処理対象画像を切り換えることにより、式（７）が満足されないと最初に判別した観察画像以降すべての観察画像を、小腸もしくは大腸が撮像されたものと判定する。これによって、食道もしくは胃が撮像された観察画像と、小腸もしくは大腸が撮像された観察画像とをより迅速に判別することができる。

つぎに、臓器判定部４ａは、小腸もしくは大腸が撮像されていると判定した一連の観察画像のうち処理対象画像に対し、ステップＳ２１３によって算出したＤＣＴ変化量平均と、所定のＤＣＴ変化量判定基準との大小関係に応じ、処理対象画像に撮像された臓器が小腸であるか、大腸であるかを判定する。具体的には、臓器判定部４ａは、ステップＳ２１４によって算出した全体平均Ｆ_dctDiffAveと、あらかじめ設定された変数Ｌとをもとに、次式（８）によってＤＣＴ変化量判定基準としての閾値Ｔ_dctDiffを算出し、この閾値Ｔ_dctDiffに対してＤＣＴ変化量平均Ｆ_dctDiffが次式（９）を満足するか否かを判別する。
Ｔ_dctDiff＝Ｆ_dctDiffAve＋Ｌ ・・・（８）
Ｆ_dctDiff＜Ｔ_dctDiff ・・・（９）

臓器判定部４ａは、式（９）が満足される場合、処理対象画像に撮像された臓器が大腸であると判定し、式（９）が満足されない場合、小腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部４ａは、先に小腸もしくは大腸が撮像されていると判定した一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、その各観察画像に撮像されている臓器が小腸であるか、大腸であるかを判定する。これによって、臓器判定部４ａは、一連の全観察画像における各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付けることができる。

なお、式（６）に示したように、ＤＣＴ判定基準としての閾値Ｔ_dctの算出に代表ＤＣＴ係数の全体平均Ｆ_dctAveを用いるのは、被検体ごとに臓器の特徴に個体差があり、その個体差による影響を軽減するためである。同様に、式（８）に示したように、ＤＣＴ変化量判定基準としての閾値Ｔ_dctDiffの算出に代表ＤＣＴ係数の変化量の全体平均Ｆ_dctDiffAveを用いるのも、個体差による影響を軽減するためである。また、変数Ｋ，Ｌは、観察者が入力部２から入力することで設定されるものであり、適宜変更可能とされている。

以上説明したように、本実施の形態２にかかる画像処理装置１では、一連の観察画像のうち処理対象画像の圧縮画像データに基づく圧縮情報としてのＤＣＴ係数をもとに、処理対象画像に撮像された観察対象としての臓器を判定する臓器判定部４ａを備え、臓器判定部４ａは、一連の観察画像内で処理対象画像を順次切り換えるとともに、切り換えた処理対象画像ごとに撮像された臓器を判定しているため、食道、胃、小腸および大腸等、複数の臓器が順次撮像された一連の観察画像における各観察画像に撮像された臓器を迅速に判定することができる。また、観察画像ごとにその判定結果を対応付けているため、撮像された臓器ごとに一連の観察画像を識別することができる。

なお、上述した臓器判定処理では、臓器判定部４ａは、各観察画像に撮像された臓器をステップＳ２１５によって一括して判定するものとしたが、式（７）による判定と式（９）による判定とを個別に行うこともできる。例えば、ステップＳ２１２の直後に式（７）による判定を行うことで、小腸もしくは大腸が撮像されていると判定した観察画像だけを対象にステップＳ２１３を行うことができ、これによって、より迅速に臓器判定処理を行うことができる。

また、上述した臓器判定処理では、臓器判定部４ａは、ステップＳ２１５において式（７）による判定と式（９）による判定とを順次行うものとして説明したが、一括して判定をすることもできる。例えば、処理対象画像ごとにＤＣＴ係数平均Ｆ_dctとＤＣＴ変化量平均Ｆ_dctDiffとによって表される特徴ベクトル（Ｆ_dct，Ｆ_dctDiff）を求め、この特徴ベクトルが特徴空間上で属する領域に応じて臓器を判定することができる。具体的には、特徴ベクトル（Ｆ_dct，Ｆ_dctDiff）が式（７）を満足する領域内にある場合、食道もしくは胃が撮像されていると判定し、それ以外の領域であって式（９）を満足する領域内にある場合には、大腸が撮像されていると判定することができる。さらに、それ以外の領域内にある場合には、小腸が撮像されていると判定することができる。

また、上述した臓器判定処理では、臓器判定部４ａは、複数の観察画像におけるＤＣＴ係数平均とＤＣＴ変化量平均とをもとに臓器の判定を行うものとしたが、必ずしも平均を用いる必要はなく、例えば個々の代表ＤＣＴ係数と個々の代表ＤＣＴ係数の変化量とをもとに臓器判定をすることもできる。これによって、判定精度の要求が比較的緩い場合には、より迅速に臓器判定処理を行うことができる。

（実施の形態３）
つぎに、本発明の実施の形態３にかかる画像処理装置について説明する。上述した実施の形態２では、臓器判定部４ａは、観察画像の代表ＤＣＴ係数とその変化量とをもとに各観察画像に撮像された臓器を判定していたが、本実施の形態３では、観察画像ごとの複数のＤＣＴ係数をもとに特徴ベクトルを求め、この特徴ベクトルによって臓器判定を行うようにしている。

図７は、本実施の形態３にかかる画像処理装置１０の要部構成を示すブロック図である。この図に示すように画像処理装置１０は、画像処理装置１の構成をもとに、記憶部３、画像処理部４および制御部６に替え、記憶部１３、画像処理部１４および制御部１６を備える。記憶部１３は、記憶部３の構成をもとに、後述の臓器判定処理に用いる基準データを記憶した基準データ記憶部１３ｂをさらに備える。画像処理部１４は、画像処理部４の構成をもとに、臓器判定部４ａに替えて臓器判定部１４ａを備える。その他の構成は画像処理装置１と同じであり、同一部分には同一符号を付して示している。

この画像処理装置１０では、臓器判定部１４ａは、撮像された臓器ごとに観察画像の周波数分布が異なることを利用して、その撮像された臓器が食道もしくは胃と、小腸と、大腸とのいずれか一つであることを判定する。具体的には、臓器判定部１４ａは、一連の観察画像がＤＣＴ圧縮符号化方式によって圧縮された圧縮画像データとして記憶されている場合、観察画像の周波数分布の示す指標として複数のＤＣＴ係数に基づく特徴量ベクトルを算出し、この算出した特徴ベクトルと、基準データ記憶部１３ｂに記憶された辞書データとしての所定の基準データとをもとに判定を行う。

図８は、臓器判定部１４ａによる臓器判定処理の処理手順を示すフローチャートである。画像処理装置１０は、画像処理装置１と同様に図２に示した処理手順にしたがって一連の観察画像を処理するものであって、図８に示す臓器判定処理手順は、図２に示したステップＳ１０２として実行されるものである。図８に示すように、臓器判定部１４ａは、まず観察画像ごとにＤＣＴ係数をもとに特徴ベクトルを算出し（ステップＳ３１１）、基準データ記憶部１３ｂから基準データを読み込む（ステップＳ３１２）。そして、算出した特徴ベクトルと読み込んだ基準データとをもとに、各観察画像に撮像された臓器を判定し（ステップＳ３１３）、臓器判定処理を終了してステップＳ１０２へリターンする。

ステップＳ３１１では、臓器判定部１４ａは、まず一連の観察画像における処理対象画像について、圧縮画像データの伸張時に処理単位とされる各８×８画素ブロックごとに、所定の１以上のＤＣＴ係数をもとに、低周波成分のブロック代表値と、高周波成分のブロック代表値とを算出する。具体的には、図６に示すように得られる８×８画素ブロックのＤＣＴ係数「ＤＣＴ１」〜「ＤＣＴ６４」をもとに、例えば低周波成分のブロック代表値として「ＤＣＴ２」〜「ＤＣＴ１０」の周波数ごとの重み付け平均を算出し、高周波成分のブロック代表値として「ＤＣＴ５５」〜「ＤＣＴ６４」の周波数ごとの重み付け平均を算出する。なお、周波数ごとの重み付けでは、高周波ほど低周波よりも重み付けを重くするとよい。

さらに、臓器判定部１４ａは、処理対象画像における各８×８画素ブロックの低周波成分のブロック代表値と、高周波成分のブロック代表値と、ＤＣ成分を示す「ＤＣＴ１」とをそれぞれ処理対象画像内の全８×８画素ブロックにわって平均し、特徴量Ａ〜Ｃとして算出する。そして、この特徴量Ａ〜Ｃによって示される特徴空間上のベクトルを、処理対象画像の周波数分布を示す特徴ベクトルとして処理対象画像に対応付ける。さらに、臓器判定部１４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像の特徴ベクトルを算出する。

ステップＳ３１２では、臓器判定部１４ａは、例えば図９に示すようにあらかじめ特徴空間上で各臓器がクラス分けされたクラス辞書としての基準データを読み込む。そして、ステップＳ３１３では、臓器判定部１４ａは、例えばｋＮＮ法（k-Nearest Neighbor Method）や部分空間法などの公知の判別手法を用い、ステップＳ３１２によって読み込んだ基準データをもとに、ステップＳ３１１によって算出した各観察画像の特徴ベクトルが属する臓器の種類を判別する。その際、臓器判定部１４ａは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに特徴ベクトルが属する臓器の種類を判別する。これによって、臓器判定部１４ａは、各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付ける。

以上説明したように、本実施の形態３にかかる画像処理装置１０では、臓器判定部１４ａが観察画像ごとにＤＣＴ係数に基づく特徴ベクトルを算出し、この算出した特徴ベクトルと所定の基準データとをもとに各観察画像に撮像された臓器を判定しているため、食道、胃、小腸および大腸等、複数の臓器が順次撮像された一連の観察画像における各観察画像に撮像された臓器を迅速に判定することができる。また、観察画像ごとにその判定結果を対応付けているため、撮像された臓器ごとに一連の観察画像を識別することができる。

なお、上述した臓器判定処理では、臓器判定部１４ａは、３つの特徴量Ａ〜Ｃをもとに特徴ベクトルを算出し、臓器判定を行うものとしたが、３つに限定されず、２つもしくは４つ以上の特徴量をもとに特徴ベクトルを算出することもできる。例えば、ステップＳ３１１において、各８×８画素ブロックにおけるＤＣＴ係数「ＤＣＴ１」〜「ＤＣＴ６４」をそれぞれブロック代表値とし、このブロック代表値ごとに処理対象画像内の全８×８画素ブロックにわたる平均値を算出して特徴量とすることで、最大６４次元の特徴量からなる特徴ベクトルを得ることができる。これにより、ＤＣＴ係数における全周波数成分を反映させた特徴ベクトルに基づいて臓器判定を行うことができ、より高精度に臓器判定をすることができる。ただし、次元数を増やすことで特徴ベクトルの導出にかかる処理時間が増大するため、必要な判定精度に応じて次元数を適宜設定することが好ましい。

ここまで、本発明を実施する最良の形態を実施の形態１〜３として説明したが、本発明は、上述した実施の形態１〜３に限定されず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。

例えば、上述した実施の形態１〜３における臓器判定処理では、臓器判定部４ａまたは１４ａは、一連の観察画像におけるすべての観察画像について臓器判定を行うものとして説明したが、例えばあらかじめ指定された画像数もしくは画像番号までの観察画像についてのみ臓器判定を行うようにすることもできる。あるいは、所望する臓器を指定し、その臓器が撮像された観察画像までを処理対象とすることもできる。これによって、所望する臓器が撮像された観察画像のみ対象として一層迅速に臓器判定処理を行うことができる。

なお、上述した実施の形態１〜３では、画像処理装置１または１０が処理する一連の観察画像は、食道、胃、小腸および大腸の内部が順次撮像されたものとしたが、食道もしくは胃と、小腸と、大腸とのうち２以上の臓器内が順次撮像された画像群であっても、本発明は適用可能である。

実施の形態１にかかる画像処理装置の構成を示すブロック図である。 画像処理装置が行う画像処理手順を示すフローチャートである。 実施の形態１にかかる臓器判定処理手順を示すフローチャートである。 一連の観察画像のファイルサイズを示す図である。 一連の観察画像のファイルサイズの移動平均を示す図である。 一連の観察画像のファイルサイズ変化量の移動平均を示す図である。 実施の形態２にかかる臓器判定処理手順を示すフローチャートである。 ８×８画素ブロックにおけるＤＣＴ係数を示す図である。 実施の形態３にかかる画像処理装置の構成を示すブロック図である。 実施の形態３にかかる臓器判定処理手順を示すフローチャートである。 基準データを説明する図である。

符号の説明

１，１０ 画像処理装置
２ 入力部
３，１３ 記憶部
３ａ 観察画像記憶部
４，１４ 画像処理部
４ａ，１４ａ 臓器判定部
５ 出力部
６，１６ 制御部
１３ｂ 基準データ記憶部

Claims (12)

1. 複数の観察対象が順次撮像された一連の観察画像を処理する画像処理装置において、
   前記一連の観察画像のうち少なくとも処理対象画像の圧縮画像データに基づく圧縮情報をもとに、該処理対象画像に撮像された前記観察対象を判定する対象判定手段を備えたことを特徴とする画像処理装置。
2. 前記対象判定手段は、前記処理対象画像の前記圧縮情報と所定の情報量判定基準との大小関係に応じ、前記処理対象画像に撮像された前記観察対象を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記対象判定手段は、前記処理対象画像を含む時系列に所定の範囲で近接した複数の前記観察画像における前記圧縮情報の情報量平均を算出し、該情報量平均と所定の情報量判定基準との大小関係に応じ、前記処理対象画像に撮像された前記観察対象を判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記所定の情報量判定基準は、前記一連の観察画像における前記圧縮情報の全体平均をもとに定められることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記対象判定手段は、前記処理対象画像と該処理対象画像に時系列に所定の範囲で近接した前記観察画像との間での前記圧縮情報の変化量を算出し、該変化量と所定の変化量判定基準との大小関係に応じ、前記処理対象画像に撮像された前記観察対象を判定することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記対象判定手段は、前記処理対象画像を含む時系列に所定の範囲で近接した複数の前記観察画像における各観察画像間での前記圧縮情報の変化量の変化量平均を算出し、該変化量平均と所定の変化量判定基準との大小関係に応じ、前記処理対象画像に撮像された前記観察対象を判定することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
7. 前記所定の変化量判定基準は、前記一連の観察画像における各観察画像間での前記圧縮情報の変化量の全体平均をもとに定められることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記対象判定手段は、前記処理対象画像の前記圧縮情報をもとに特徴ベクトルを算出し、該特徴ベクトルと所定の基準データとをもとに、前記処理対象画像に撮像された前記観察対象を判定することを特徴とする請求項１に記載の画像処理装置。
9. 前記圧縮情報は、前記圧縮画像データのファイルサイズ、または該圧縮画像データの伸張時に算出される複数のＤＣＴ係数もしくはその統計量であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記対象判定手段は、前記一連の観察画像内で前記処理対象画像を順次切り換えるとともに、その切り換えた処理対象画像ごとに前記観察対象を判定することを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 前記一連の観察画像は、食道もしくは胃と、小腸と、大腸とのうち２以上の臓器内が順次撮像された画像群であり、
    前記対象判定手段は、前記処理対象画像に撮像された前記観察対象を前記２以上の臓器のいずれか一つと判定することを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 複数の観察対象が順次撮像された一連の観察画像を処理する画像処理装置に、前記一連の観察画像を処理させる画像処理プログラムおいて、
    前記画像処理装置に、
    前記一連の観察画像のうち少なくとも処理対象画像の圧縮画像データに基づく圧縮情報をもとに、該処理対象画像に撮像された前記観察対象を判定する対象判定手順を実行させることを特徴とする画像処理プログラム。

Images