JP2011024628A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】時系列に沿って撮像された画像群の観察の作業効率を向上することができること。
【解決手段】本発明のある実施の形態において、画像処理装置１は、新規領域検出部１２と、有効領域検出部１３と、変化量算出部１４と、出力部４０と、を備える。新規領域検出部１２は、時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する。有効領域検出部１３は、前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する。変化量算出部１４は、前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する。出力部４０は、前記変化量に応じて前記第２の画像を出力する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

従来から、被写体の画像を撮像するデジタルカメラまたはデジタルビデオカメラ等の各種態様の電子撮像装置が登場している。電子撮像装置は、被写体の画像を時系列に沿って撮像可能であり、このように時系列に沿って撮像した被写体の画像群は、液晶ディスプレイ等の表示装置に表示する等の手法によって観察される。

特に、近年の医療分野においては、患者等の被検体の体内（消化管内等を含む）を時系列に沿って撮像可能なカプセル内視鏡が提案されている。カプセル内視鏡は、小型のカプセル型筐体の内部に撮像機能および無線通信機能等を備え、被検体に飲み込ませることが可能な医療機器である。カプセル内視鏡は、被検体の口から飲み込まれた後、蠕動運動等によって被検体内部を移動しつつ、所定の撮像レートで体内画像を時系列に沿って撮像し、得られた体内画像を被検体外部の受信装置に無線送信する。なお、この被検体内部のカプセル内視鏡は、撮像した体内画像群を受信装置に送信後、最終的に被検体外部に排出される。

ここで、カプセル内視鏡による体内画像群の画像枚数は、一般に、数万枚以上の膨大なものになる。例えば、カプセル内視鏡は、被検体に飲み込まれてから便等とともに被検体外部に排出されるまでの体内滞在期間（約８〜１０時間）、２〜４フレーム／秒のいずれかの撮像レートで体内画像を撮像し続ける。医師または看護師等の観察者は、カプセル内視鏡による体内画像群を表示装置に表示させ、この体内画像群の観察を通して被検体内部を観察する。

なお、カプセル内視鏡が時系列に沿って撮像した大量の体内画像群を効率的に観察するための技術として、例えば、体内画像間の変化量を算出し、この算出した変化量が小さい体内画像を通常の表示時間に比して短い表示時間で表示するものがある（特許文献１参照）。

特許文献１に記載された従来技術では、時系列的に隣接する２つの体内画像間において複数のブロック領域を設定してブロックマッチング処理を行い、これによって得られる動きベクトルの方向および大きさを用いて、これら２つの体内画像のうち一方の体内画像に比して他方の体内画像に新規に出現する画像領域（以下、新規領域という）を推定し、この他方の体内画像全域の面積に対する新規領域の面積割合をもとに、これら２つの体内画像間の変化量を算出している。

特開２００９−１１５６３号公報

ところで、体内画像には、被検体内部の観察に有効な画像領域（以下、有効領域という）および無効な画像領域（以下、無効領域という）の少なくとも一方が含まれる。有効領域は、医師または看護師等の観察者が注目すべき体内部位の画像領域であり、例えば、被検体内部の病変領域、粘膜領域、医療処置後の生体組織領域、または出血領域等が含まれる。一方、無効領域は、有効領域以外の画像領域であり、例えば、泡または便等が含まれる。したがって、体内画像に新規領域が出現した場合、この新規領域は、有効領域および無効領域の少なくとも一方を含み得る。

しかしながら、上述した特許文献１に開示された従来技術では、体内画像の新規領域内に無効領域が含まれる場合であっても、体内画像間の新規領域のみの変化量を算出し、算出した変化量に応じて体内画像の表示時間を調整している。このため、新規領域内に無効領域が含まれる場合、この無効領域の変化量も算出され、この無効領域の変化量に応じた表示時間が考慮される調整が行われることから、体内画像群の観察の作業効率を十分に向上できないという問題点があった。

本発明は、上記事情に鑑みてなされたものであって、時系列に沿って撮像された画像群の観察の作業効率を向上することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する新規領域検出部と、前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する有効領域検出部と、前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する変化量算出部と、前記変化量に応じて前記第２の画像を出力する出力部と、を備えるものである。

この態様にかかる画像処理装置によれば、変化量算出部が、第２の画像内の新規領域および有効領域をもとに、第１の画像および第２の画像間の変化量を算出し、出力部が、この変化量に応じて第２の画像を出力している。このため、新規領域のみならず、有効領域も加味した画像間の変化量に応じて、画像群内の各画像を出力することができる。これによって、この画像群のうち、新規領域且つ有効領域となる領域が広い画像を優先的に出力することができ、この結果、この画像群の観察に要する作業時間および作業労力を軽減でき、観察の作業効率を向上することができる。

また、本発明の別の態様にかかる画像処理プログラムは、時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する新規領域検出手順と、前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する有効領域検出手順と、前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する変化量算出手順と、前記変化量に応じて前記第２の画像を出力する出力手順と、をコンピュータに実行させるものである。

また、本発明の別の態様にかかる画像処理方法は、時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する新規領域検出ステップと、前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する有効領域検出ステップと、前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する変化量算出ステップと、前記変化量に応じて前記第２の画像を出力する出力ステップと、を含むものである。

本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、時系列に沿って撮像された画像群の観察の作業効率を向上することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる画像処理装置の一構成例を模式的に示すブロック図である。 図２は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。 図３は、時系列順に連続する複数の体内画像間の新規領域検出処理の処理手順を例示するフローチャートである。 図４は、時系列順に連続する複数の体内画像間の動きベクトル算出処理の一具体例を説明する模式図である。 図５は、時系列順に連続する複数の体内画像間における新規領域の一具体例を示す模式図である。 図６は、体内画像の有効領域検出処理の処理手順を例示するフローチャートである。 図７は、体内画像の有効領域検出処理の一具体例を説明する模式図である。 図８は、時系列順に連続する複数の体内画像間の変化量算出処理の処理手順を例示するフローチャートである。 図９は、体内画像に含まれる新規有効領域の一具体例を示す模式図である。 図１０は、体内画像における新規有効面積割合と体内画像間の変化量との関係を示す増加関数の一具体例を示す模式図である。 図１１は、本発明の実施の形態２にかかる画像処理装置の一構成例を模式的に示すブロック図である。 図１２は、実施の形態２における体内画像の有効領域検出処理の処理手順を例示するフローチャートである。 図１３は、体内画像に含まれる新規領域の中から有効領域を検出する状態の一例を示す模式図である。 図１４は、新規領域の中から検出された有効領域である新規有効領域の一具体例を示す模式図である。 図１５は、体内画像における新規有効面積割合と体内画像間の変化量との関係を示す増加関数の一変形例を示す模式図である。

以下に、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法の実施の形態を図面に基づいて詳細に説明する。なお、以下では、時系列に沿って撮像された画像群の一例として、被検体内部のカプセル内視鏡が時系列に沿って撮像した総数Ｎ枚の体内画像群ＰＧを例示し、体内画像群ＰＧ内における体内画像間の変化量に応じて体内画像群ＰＧ内の各体内画像を出力する画像処理装置、画像処理プログラムおよび画像処理方法を説明するが、この実施の形態によって本発明が限定されるものではない。

（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置の一構成例を模式的に示すブロック図である。図１に示すように、この実施の形態１にかかる画像処理装置１は、体内画像群ＰＧの入力を受け付ける画像入力部１０と、体内画像群ＰＧの中から画像入力部１０が入力した２つの体内画像間の変化量を算出する演算部１１と、画像処理装置１を操作するための入力部２０と、体内画像群ＰＧを記録する記録部３０と、演算部１１が算出した変化量に応じて体内画像群ＰＧを出力する出力部４０と、画像処理装置１の一連の処理を制御する制御部５０とを備える。

画像入力部１０は、所定のインターフェースによって接続された外部機器等からの体内画像群ＰＧの入力を受け付け、外部機器等から直接、体内画像群ＰＧを取得する。つぎに、画像入力部１０は、取得した体内画像群ＰＧ内の各体内画像に時系列順のフレーム番号ｊ（１≦ｊ≦Ｎ）を付与する。その後、画像入力部１０は、体内画像群ＰＧを記録部３０に転送する。

また、画像入力部１０は、記録部３０に記録された体内画像群ＰＧの中から、時系列的に連続する２つの体内画像Ｐ（ｊ），Ｐ（ｊ＋１）をフレーム番号順（時系列順）に抽出し、抽出した体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を新規領域検出部１２に送信する。一方、画像入力部１０は、これら２つの体内画像Ｐ（ｊ），Ｐ（ｊ＋１）のうちの１つ、例えば体内画像Ｐ（ｊ＋１）を有効領域検出部１３に送信する。

なお、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）は、体内画像群ＰＧに含まれる２つの体内画像であり、体内画像Ｐ（ｊ＋１）は、体内画像Ｐ（ｊ）のフレーム番号ｊに「１」を加算したフレーム番号ｊ＋１の体内画像である。すなわち、体内画像Ｐ（ｊ＋１）は、体内画像Ｐ（ｊ）に対して時系列的に後に隣接する体内画像である。

演算部１１は、画像入力部１０によって入力された体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する。具体的には、演算部１１は、体内画像Ｐ（ｊ）に対する体内画像Ｐ（ｊ＋１）内の新規領域を検出する新規領域検出部１２と、体内画像Ｐ（ｊ＋１）内の有効領域を検出する有効領域検出部１３と、検出された新規領域および有効領域に基づいて体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する変化量算出部１４とを備える。

新規領域検出部１２は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間における新規領域を検出する。具体的には、新規領域検出部１２は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルを算出する動きベクトル算出部１２ａと、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間における画像の動きの種類を示す動き種類を分類する動き種類分類部１２ｂとを備える。

動きベクトル算出部１２ａは、まず、画像入力部１０から体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を取得する。つぎに、動きベクトル算出部１２ａは、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）に所定数の画素ブロックを設定する。次いで、動きベクトル算出部１２ａは、ブロックマッチング法等の既知の手法を用いて、体内画像Ｐ（ｊ）上の各画素ブロックと相関性の高い体内画像Ｐ（ｊ＋１）上の各画素ブロックを検索し、この画素ブロック検索結果をもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルを算出する。

動き種類分類部１２ｂは、予め、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間における複数の動き種類候補を保持する。体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルが算出された後、動き種類分類部１２ｂは、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルの方向および大きさ等をもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類を分類する。

具体的には、動き種類分類部１２ｂは、例えば特開２００９−１１５６３に開示された手法と同様の手法を用いて、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類を分類する。なお、このように分類された体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は、上述した複数の動き種類候補のいずれかとなる。

ここで、上述した動き種類は、体内画像Ｐ（ｊ）から体内画像Ｐ（ｊ＋１）への画像移行に伴う画像の動き（例えば画像の撮像視野の動き）の種類であり、具体的には体内画像Ｐ（ｊ），Ｐ（ｊ＋１）が撮像された際のカプセル内視鏡の動きに応じて異なる。

また、上述した複数の動き種類候補として、例えば、カプセル内視鏡の撮像方向に向かう動きに対応する「前進」、カプセル内視鏡の撮像方向の逆方向に向かう動きに対応する「後進」、カプセル内視鏡の揺動または側方向等の非撮像方向への動きに対応する「平行移動」、異なる臓器間におけるカプセル内視鏡の移動に対応する「シーンチェンジ」、粘膜の蠕動運動等による動きから生じる「粘膜動き」、被検体内部におけるカプセル内視鏡の停滞に対応する「動き無し」等が挙げられる。

上述したような動きベクトル算出部１２ａおよび動き種類分類部１２ｂを備えた新規領域検出部１２は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルと体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類とをもとに、体内画像Ｐ（ｊ）に対する体内画像Ｐ（ｊ＋１）内の新規領域を検出する。その際、新規領域検出部１２は、例えば特開２００９−１１５６３に開示された手法と同様の手法を用いて、体内画像Ｐ（ｊ＋１）内の新規領域を検出する。新規領域検出部１２は、このように検出した体内画像Ｐ（ｊ＋１）内の新規領域と体内画像Ｐ（ｊ），Ｐ（ｊ＋１）とを変化量算出部１４に送信する。

有効領域検出部１３は、上述したように新規領域の検出対象である体内画像Ｐ（ｊ＋１）の中から、注目すべき有効な画像領域を含む有効領域を検出する。具体的には、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）の全画像領域を複数の分割領域に分割する領域分割部１３ａと、領域分割部１３ａが分割した分割領域毎の特徴を示す特徴量を算出する特徴量算出部１３ｂとを備える。

領域分割部１３ａは、まず、画像入力部１０から体内画像Ｐ（ｊ＋１）を取得する。つぎに、領域分割部１３ａは、取得した体内画像Ｐ（ｊ＋１）を形成するＲＧＢの各色成分の中からＧ成分を抽出し、抽出したＧ成分からなるＧ成分体内画像を生成する。次いで、領域分割部１３ａは、このＧ成分体内画像に含まれるエッジを検出し、このエッジ検出後のＧ成分体内画像に対して適当な平滑化処理を行う。その後、領域分割部１３ａは、分水嶺アルゴリズム等の既知の領域分割手法に基づいて、エッジを境界とする複数の分割領域に体内画像Ｐ（ｊ＋１）の全画像領域を分割する。

特徴量算出部１３ｂは、まず、領域分割部１３ａから体内画像Ｐ（ｊ＋１）の領域分割情報を受け取る。つぎに、特徴量算出部１３ｂは、受け取った領域分割情報に基づいて、体内画像Ｐ（ｊ＋１）内における複数の分割領域を取得する。その後、特徴量算出部１３ｂは、取得した複数の分割領域の各特徴量を算出する。なお、特徴量算出部１３ｂは、このような分割領域の特徴量として、分割領域毎の色情報をもとに色特徴量を算出してもよいし、分割領域毎の輝度情報をもとに輝度分散値を算出してもよい。

上述したような領域分割部１３ａおよび特徴量算出部１３ｂを備えた有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内における複数の分割領域の各特徴量をもとに、体内画像Ｐ（ｊ＋１）内の有効領域を検出する。

具体的には、有効領域検出部１３は、まず、有効領域の特徴量の範囲を決定する所定の閾値を予め保持する。つぎに、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内における複数の分割領域の中から、この所定の閾値に基づく所定の範囲内の特徴量を有する分割領域を有効領域として検出する。その後、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内の有効領域を変化量算出部１４に送信する。

変化量算出部１４は、新規領域検出部１２が検出した新規領域と有効領域検出部１３が検出した有効領域とをもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する。具体的には、変化量算出部１４は、体内画像Ｐ（ｊ＋１）内において新規領域と有効領域とが重なる画像領域（以下、新規有効領域という）の面積を算出する領域面積算出部１４ａと、体内画像Ｐ（ｊ＋１）の全画像領域の面積に対して新規有効領域の面積が占める面積割合を算出する面積割合算出部１４ｂとを備える。

領域面積算出部１４ａは、まず、新規領域検出部１２から体内画像Ｐ（ｊ＋１）内の新規領域を取得し、且つ有効領域検出部１３から体内画像Ｐ（ｊ＋１）内の有効領域を取得する。つぎに、領域面積算出部１４ａは、取得した新規領域および有効領域をもとに、体内画像Ｐ（ｊ＋１）内の新規有効領域を検出する。その後、領域面積算出部１４ａは、検出した新規有効領域を形成する画素数等の画素情報をもとに、体内画像Ｐ（ｊ＋１）内の新規有効領域の面積を算出する。

面積割合算出部１４ｂは、まず、新規領域検出部１２から体内画像Ｐ（ｊ＋１）を取得し、且つ領域面積算出部１４ａから体内画像Ｐ（ｊ＋１）内の新規有効領域の面積を取得する。つぎに、面積割合算出部１４ｂは、取得した体内画像Ｐ（ｊ＋１）の画素数等の画素情報をもとに、体内画像Ｐ（ｊ＋１）の全画像領域の面積（以下、総画像面積という）を算出する。

次いで、面積割合算出部１４ｂは、体内画像Ｐ（ｊ＋１）内の新規有効領域の面積を総画像面積によって除算処理する。これによって、面積割合算出部１４ｂは、体内画像Ｐ（ｊ＋１）の総画像面積に対する新規有効領域の面積割合（以下、新規有効面積割合という）を算出する。

上述したような領域面積算出部１４ａおよび面積割合算出部１４ｂを備えた変化量算出部１４は、体内画像Ｐ（ｊ＋１）の新規有効面積割合をもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する。

具体的には、変化量算出部１４は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量と体内画像Ｐ（ｊ＋１）の新規有効面積割合との関係を示す増加関数を予め有する。変化量算出部１４は、まず、この増加関数に基づいて、体内画像Ｐ（ｊ＋１）の新規有効面積割合に対応する体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する。つぎに、変化量算出部１４は、算出した変化量と体内画像Ｐ（ｊ＋１）とを互いに対応付けて、体内画像Ｐ（ｊ＋１）および変化量を出力部４０に送信する。

なお、上述した増加関数は、新規有効面積割合をもとに体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出するための関数であり、例えば、新規有効面積割合の増加に伴って体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量が増加することを示す。

入力部２０は、例えばキーボードおよびマウスに例示される入力デバイス等を用いて実現される。入力部２０は、医師または看護師等の観察者（ユーザ）による入力操作に対応して制御部５０に各種情報を入力する。なお、入力部２０が制御部５０に入力する各種情報として、例えば、画像処理装置１の動作開始または動作終了等を制御部５０に対して指示する指示情報等が挙げられる。

記録部３０は、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、またはハードディスク等の書き換え可能に情報を保存する各種記録メディアを用いて実現される。記録部３０は、制御部５０が記録指示した各種情報を記録し、制御部５０が読み出し指示した情報を記録情報の中から読み出す。なお、記録部３０が記録する各種情報として、例えば、入力部２０によって入力された入力情報、体内画像群ＰＧ、演算部１１の各構成部の処理結果等が挙げられる。

出力部４０は、例えばＣＲＴディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現され、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）の変化量に応じて体内画像Ｐ（ｊ＋１）を出力する。具体的には、出力部４０は、まず、演算部１１から体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量および体内画像Ｐ（ｊ＋１）を取得する。つぎに、出力部４０は、取得した変化量に応じて表示時間を調整しつつ、体内画像Ｐ（ｊ＋１）を表示する。

制御部５０は、画像処理装置１の構成部である画像入力部１０、演算部１１、入力部２０、記録部３０、および出力部４０の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。特に演算部１１の制御において、制御部５０は、演算部１１の構成部である新規領域検出部１２、有効領域検出部１３、および変化量算出部１４の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。

具体的には、制御部５０は、記録部３０内に予め記録された処理プログラムを実行するコンピュータを用いて実現される。制御部５０は、入力部２０によって入力された指示情報に基づいて、画像入力部１０の動作を制御し、記録部３０の動作を制御し、あるいは、演算部１１の各構成部の処理および動作タイミング等を制御する。

また、制御部５０は、画像入力部１０によって入力された体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量に応じて体内画像Ｐ（ｊ＋１）を表示するように出力部４０を制御し、且つ、体内画像群ＰＧと体内画像群ＰＧ内の各体内画像間の変化量とを対応付けて記録するように記録部３０を制御する。また、制御部５０は、入力部２０によって入力された指示情報等に基づいて、記録部３０内の体内画像群ＰＧの中から表示対象の体内画像を適宜読み出し、読み出した体内画像を表示するように出力部４０を制御する。

つぎに、本発明の実施の形態１にかかる画像処理装置１の動作について説明する。図２は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。画像処理装置１は、図２に示される処理手順を実行することによって、体内画像群ＰＧ内の各体内画像を体内画像間の変化量に応じて出力する。

すなわち、図２に示すように、画像処理装置１は、まず、外部機器等から被検体の体内画像群ＰＧを取得する（ステップＳ１０１）。このステップＳ１０１において、制御部５０は、体内画像群ＰＧの取得処理を実行するように画像入力部１０を制御する。

画像入力部１０は、制御部５０の制御に基づいて、まず、外部機器等から体内画像群ＰＧを取得し、取得した体内画像群ＰＧ内の各体内画像に対して時系列順のフレーム番号ｊ（１≦ｊ≦Ｎ）を付与する。その後、画像入力部１０は、体内画像群ＰＧを記録部３０に転送する。記録部３０は、制御部５０の制御に基づいて体内画像群ＰＧを記録する。なお、体内画像群ＰＧ内の各体内画像は、各画素においてＲ（赤）Ｇ（緑）Ｂ（青）の各々に対応した画素値を有するカラー画像である。

つぎに、画像処理装置１は、体内画像群ＰＧの中から時系列順に連続する複数の体内画像を抽出する（ステップＳ１０２）。このステップＳ１０２において、制御部５０は、記録部３０内に保存した体内画像群ＰＧの中から時系列順に連続する複数の体内画像の抽出処理を実行するように画像入力部１０を制御する。

画像入力部１０は、制御部５０の制御に基づいて、記録部３０内の体内画像群ＰＧの中から、２つの体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を抽出する。具体的には、画像入力部１０は、ステップＳ１０１の処理手順直後のステップＳ１０２において、体内画像Ｐ（ｊ）のフレーム番号ｊを初期値（＝１）に設定し、体内画像群ＰＧの中から体内画像Ｐ（１），Ｐ（２）を抽出する。

一方、画像入力部１０は、後述するステップＳ１０７の処理手順直後のステップＳ１０２毎に、体内画像Ｐ（ｊ）のフレーム番号ｊをインクリメント処理して、体内画像群ＰＧの中から体内画像Ｐ（ｊ），Ｐ（ｊ＋１）（ｊ＝２，３，…，Ｎ）をフレーム番号順に抽出する。例えば、画像入力部１０は、ステップＳ１０１の処理手順直後のステップＳ１０２において体内画像Ｐ（１），Ｐ（２）を抽出し、その後のステップＳ１０７の処理手順直後のステップＳ１０２において体内画像Ｐ（２），Ｐ（３）を抽出する。

その後、画像入力部１０は、体内画像Ｐ（ｊ）のフレーム番号ｊが体内画像群ＰＧの総数Ｎに到達するまで、ステップＳ１０２の処理手順毎にフレーム番号ｊのインクリメント処理および体内画像Ｐ（ｊ），Ｐ（ｊ＋１）の抽出処理を繰り返す。その都度、画像入力部１０は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を新規領域検出部１２に送信し、且つ、体内画像Ｐ（ｊ＋１）を有効領域検出部１３に送信する。

続いて、画像処理装置１は、時系列順に連続する２つの体内画像（ｊ），Ｐ（ｊ＋１）間における新規領域を検出する（ステップＳ１０３）。このステップＳ１０３において、制御部５０は、体内画像（ｊ），Ｐ（ｊ＋１）間の新規領域検出処理を実行するように新規領域検出部１２を制御する。

新規領域検出部１２は、制御部５０の制御に基づいて、まず、画像入力部１０から体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を取得する。つぎに、新規領域検出部１２は、取得した体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルおよび動き種類をもとに、体内画像Ｐ（ｊ）に比して体内画像Ｐ（ｊ＋１）に新規に出現した新規領域を検出する。その後、新規領域検出部１２は、体内画像Ｐ（ｊ＋１）内の新規領域と体内画像（ｊ），Ｐ（ｊ＋１）とを変化量算出部１４に送信する。

つぎに、画像処理装置１は、ステップＳ１０３において新規領域の検出対象である体内画像Ｐ（ｊ＋１）内の有効領域を検出する（ステップＳ１０４）。このステップＳ１０４において、制御部５０は、体内画像Ｐ（ｊ＋１）の有効領域検出処理を実行するように有効領域検出部１３を制御する。

有効領域検出部１３は、制御部５０の制御に基づいて、まず、画像入力部１０から体内画像Ｐ（ｊ＋１）を取得する。つぎに、有効領域検出部１３は、取得した体内画像Ｐ（ｊ＋１）の全画像領域を分割する複数の分割領域の中から、分割領域毎の特徴量をもとに体内画像Ｐ（ｊ＋１）内の有効領域を検出する。その後、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内の有効領域を変化量算出部１４に送信する。

続いて、画像処理装置１は、時系列順に連続する２つの体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する（ステップＳ１０５）。このステップＳ１０５において、制御部５０は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量算出処理を実行するように変化量算出部１４を制御する。

変化量算出部１４は、制御部５０の制御に基づいて、まず、新規領域検出部１２から体内画像Ｐ（ｊ＋１）内の新規領域と体内画像Ｐ（ｊ），Ｐ（ｊ＋１）と取得し、且つ、有効領域検出部１３から体内画像Ｐ（ｊ＋１）内の有効領域を取得する。つぎに、変化量算出部１４は、取得した体内画像Ｐ（ｊ＋１）の新規領域および有効領域をもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量を算出する。その後、変化量算出部１４は、得られた変化量と体内画像Ｐ（ｊ＋１）とを互いに対応付けて出力部４０に送信する。

つぎに、画像処理装置１は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量に応じた画像出力処理を行う（ステップＳ１０６）。このステップＳ１０６において、制御部５０は、ステップＳ１０５の処理手順によって算出された変化量に応じて体内画像Ｐ（ｊ＋１）の画像出力処理を実行するように出力部４０を制御する。

具体的には、出力部４０は、制御部５０の制御に基づいて、まず、変化量算出部１４から体内画像Ｐ（ｊ＋１）と体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量とを取得する。つぎに、出力部４０は、取得した変化量に応じて体内画像Ｐ（ｊ＋１）の表示時間を調整しつつ、体内画像Ｐ（ｊ＋１）を表示する。なお、体内画像Ｐ（ｊ）の表示時間は、体内画像Ｐ（ｊ＋１）の場合と同様に、体内画像Ｐ（ｊ−１），Ｐ（ｊ）間の変化量に応じて調整される。

ここで、ステップＳ１０６において、出力部４０は、上述した変化量に関係なく、１フレーム目の体内画像Ｐ（１）を表示してもよいし、体内画像Ｐ（１）と体内画像Ｐ（２）との間の変化量が所定の閾値以上である場合に体内画像Ｐ（１）を表示してもよい。

一方、体内画像Ｐ（１），Ｐ（２）間の変化量が所定の閾値未満である場合、これら２つの体内画像Ｐ（１），Ｐ（２）は互いに類似性の高い体内画像同士である可能性が高い。このため、出力部４０は、体内画像Ｐ（１），Ｐ（２）間の変化量が所定の閾値未満であれば、体内画像Ｐ（１），Ｐ（２）のうちのいずれか一方を表示してもよい。

上述したステップＳ１０６を実行後、画像処理装置１は、記録部３０内の体内画像群ＰＧに対する画像処理を終了するか否かを判断する（ステップＳ１０７）。このステップＳ１０７において、制御部５０は、処理対象の体内画像Ｐ（ｊ）のフレーム番号ｊが体内画像群ＰＧの総数Ｎ以上であるか否かを判断する。この判断処理の結果、制御部５０は、フレーム番号ｊが総数Ｎ以上である場合、体内画像群ＰＧに対して画像処理が終了したと判断し、フレーム番号ｊが総数Ｎ未満である場合、体内画像群ＰＧに対する画像処理が終了していないと判断する。なお、制御部５０は、入力部２０によって画像処理終了を指示する指示情報が入力された場合、この指示情報に基づいて、体内画像群ＰＧに対する画像処理が終了したと判断する。

画像処理装置１は、ステップＳ１０７において画像処理終了ではない場合（ステップＳ１０７，Ｎｏ）、上述したステップＳ１０２に戻り、このステップＳ１０２以降の処理手順を繰り返す。一方、画像処理装置１は、ステップＳ１０７において画像処理終了である場合（ステップＳ１０７，Ｙｅｓ）、本処理を終了する。

上述したステップＳ１０１〜Ｓ１０７の処理手順を適宜繰り返すことによって、画像処理装置１は、各体内画像間の変化量に応じて表示時間を調整しつつ、体内画像群ＰＧ内の各体内画像を表示することができる。具体的には、画像処理装置１は、体内画像Ｐ（ｊ＋１）内の新規領域における無効領域の占有面積の減少に伴って表示時間を長くして体内画像Ｐ（ｊ＋１）を表示し、新規領域における無効領域の占有面積の増加に伴って表示時間を短くして体内画像Ｐ（ｊ＋１）を表示することができる。

つぎに、上述したステップＳ１０３において新規領域検出部１２が実行する新規領域検出処理について詳細に説明する。図３は、時系列順に連続する複数の体内画像間の新規領域検出処理の処理手順を例示するフローチャートである。図４は、時系列順に連続する複数の体内画像間の動きベクトル算出処理の一具体例を説明する模式図である。図５は、時系列順に連続する複数の体内画像間における新規領域の一具体例を示す模式図である。新規領域検出部１２は、上述したように、制御部５０の制御に基づいてステップＳ１０３における体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の新規領域検出処理を実行する。

すなわち、図３に示すように、新規領域検出部１２は、まず、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトル算出処理を行う（ステップＳ２０１）。このステップＳ２０１において、動きベクトル算出部１２ａは、画像入力部１０から体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を取得し、制御部５０の制御に基づいて予め設定したブロック数の画素ブロックを体内画像Ｐ（ｊ），Ｐ（ｊ＋１）に設定する。次いで、動きベクトル算出部１２ａは、体内画像Ｐ（ｊ＋１）上の各画素ブロックの中から、体内画像Ｐ（ｊ）上の各画素ブロックと相関性の高いものを検索する。その後、動きベクトル算出部１２ａは、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間において相関性の高い各画素ブロック同士の動き方向および動き量を示す動きベクトルを画素ブロック毎に算出する。

具体的には、図４に示すように、動きベクトル算出部１２ａは、予め設定したブロック数（図４においては１６ブロック）の画素ブロックを体内画像Ｐ（ｊ），Ｐ（ｊ＋１）上に設定する。次いで、動きベクトル算出部１２ａは、体内画像Ｐ（ｊ）上の各画素ブロックと相関性の高い体内画像Ｐ（ｊ＋１）上の各画素ブロックを検索し、相関性の高い画素ブロック同士のベクトルを動きベクトルとして画素ブロック毎に算出する。例えば、動きベクトル算出部１２ａは、体内画像Ｐ（ｊ）上の画素ブロック５ａと相関性の高い体内画像Ｐ（ｊ＋１）上の画素ブロック５ｂを検索し、相関性の高い画素ブロック５ａ，５ｂのベクトルＶを体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルの一つとして算出する。

上述したステップＳ２０１を実行後、新規領域検出部１２は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類分類処理を行う（ステップＳ２０２）。このステップＳ２０２において、動き種類分類部１２ｂは、動きベクトル算出部１２ａが算出した体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルをもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類を分類する。

具体的には、動き種類分類部１２ｂは、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）上の画素ブロック毎の各動きベクトルの方向および大きさ等の動きベクトル情報をもとに、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類を分類する。この結果、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は、上述した複数の動き種類候補（「前進」、「後進」、「平行移動」、「シーンチェンジ」、「粘膜動き」または「動き無し」）のいずれかとなる。

例えば、各動きベクトルが体内画像Ｐ（ｊ＋１）内の画像中心部分等の所定の画素部分から体内画像Ｐ（ｊ＋１）の画像端部に向けて放射状の方向を示す場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「前進」となる。一方、各動きベクトルが体内画像Ｐ（ｊ＋１）内の所定の画素部分に向けて集中する方向を示す場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「後進」となる。また、各動きベクトルが体内画像Ｐ（ｊ＋１）内において所定の方向に略平行に揃っている場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「平行移動」となる。

一方、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間において相関性の高い画素ブロックの検索数が所定の閾値未満である場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「シーンチェンジ」となる。また、各動きベクトルのうちの所定数の動きベクトルの大きさが所定の閾値未満である場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「動き無し」となり、各動きベクトルのうちの所定数の動きベクトルの方向が不規則である場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「粘膜の動き」となる。

なお、図４に示すように、体内画像Ｐ（ｊ＋１）上の各動きブロックが所定の方向（図４においては体内画像Ｐ（ｊ＋１）の左上から右下に向かう方向）に略平行に揃っている場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類は「平行移動」となる。

上述したステップＳ２０２を実行後、新規領域検出部１２は、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動きベクトルおよび動き種類に基づいた新規領域の検出処理を行う（ステップＳ２０３）。その後、新規領域検出部１２は、本処理を終了して図２に示したステップＳ１０３の処理手順にリターンする。

ステップＳ２０３において、新規領域検出部１２は、ステップＳ２０１の処理手順による体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の各動きベクトル情報とステップＳ２０２の処理手順による体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類とをもとに、体内画像Ｐ（ｊ＋１）内の新規領域を検出する。

具体的には、新規領域検出部１２は、まず、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類をもとに体内画像Ｐ（ｊ＋１）内における新規領域の出現位置を推定し、且つ、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の各動きベクトル情報をもとに体内画像Ｐ（ｊ＋１）内における新規領域の出現範囲を推定する。つぎに、新規領域検出部１２は、新規領域の出現位置および出現範囲の各推定結果をもとに、体内画像Ｐ（ｊ＋１）内における新規領域の位置および範囲（大きさ）を特定し、この特定した位置および範囲の新規領域を検出する。

ここで、新規領域検出部１２は、動き種類が「前進」である場合、体内画像Ｐ（ｊ＋１）内の各動きベクトルの基点側延長線の交点位置を新規領域の出現位置として推定し、動き種類が「後進」である場合、体内画像Ｐ（ｊ＋１）内の各動きベクトルが集中的に指し示す所定の位置を新規領域の出現位置として推定する。一方、新規領域検出部１２は、動き種類が「平行移動」である場合、体内画像Ｐ（ｊ＋１）内の各動きベクトルの基点側と対向する画像端部を新規領域の出現位置として推定する。なお、新規領域検出部１２は、上述した何れの動き種類の場合であっても、体内画像Ｐ（ｊ＋１）内の各動きベクトルの大きさをもとに、体内画像Ｐ（ｊ＋１）内の新規領域の出現範囲を推定する。

一方、新規領域検出部１２は、動き種類が「シーンチェンジ」または「粘膜動き」である場合、体内画像Ｐ（ｊ＋１）の全画像領域を新規領域として検出する。また、新規領域検出部１２は、動き種類が「動き無し」である場合、体内画像Ｐ（ｊ）と体内画像Ｐ（ｊ＋１）とが類似性の高い体内画像同士（例えば同一被写体の体内画像同士）であると判断して、体内画像Ｐ（ｊ＋１）から新規領域を検出しない。

なお、図４に示したように、体内画像Ｐ（ｊ＋１）内の各動きブロックが画像端部の左上から右下に向かう方向に略平行に揃っている場合、動き種類は「平行移動」であり、新規領域検出部１２は、図５に示すように、体内画像Ｐ（ｊ＋１）の左側端部および上側端部を新規領域の出現位置として推定する。また、新規領域検出部１２は、体内画像Ｐ（ｊ＋１）内の各動きベクトルの大きさをもとに、新規領域の出現範囲を推定する。新規領域検出部１２は、このように推定した新規領域の出現位置および出現範囲をもとに、体内画像Ｐ（ｊ＋１）内の新規領域Ａａ（図５に示す斜線部分）を検出する。

つぎに、上述したステップＳ１０４において有効領域検出部１３が実行する有効領域検出処理について詳細に説明する。図６は、体内画像の有効領域検出処理の処理手順を例示するフローチャートである。図７は、体内画像の有効領域検出処理の一具体例を説明する模式図である。有効領域検出部１３は、上述したように、制御部５０の制御に基づいてステップＳ１０４における体内画像Ｐ（ｊ＋１）の有効領域検出処理を実行する。

すなわち、図６に示すように、有効領域検出部１３は、まず、体内画像Ｐ（ｊ＋１）の領域分割処理を行う（ステップＳ３０１）。このステップＳ３０１において、領域分割部１３ａは、画像入力部１０から体内画像Ｐ（ｊ＋１）を取得する。次いで、領域分割部１３ａは、この体内画像Ｐ（ｊ＋１）内に含まれるエッジを検出し、この検出したエッジを境界線として体内画像Ｐ（ｊ＋１）の全画像領域を複数の分割領域に分割する。

具体的には、領域分割部１３ａは、まず、体内画像Ｐ（ｊ＋１）に含まれるＲＧＢの色成分のうちの緑色成分（Ｇ成分）を抽出し、この抽出したＧ成分によって形成されるＧ成分体内画像を生成する。つぎに、領域分割部１３ａは、生成したＧ成分体内画像に含まれるエッジを検出する。

次いで、領域分割部１３ａは、エッジ検出後のＧ成分体内画像に対して平滑化処理を行い、その後、分水嶺アルゴリズム等の公知の領域分割手法に基づいて、エッジを境界線とする複数の分割領域にＧ成分体内画像の全画像領域を分割する。これによって、領域分割部１３ａは、体内画像Ｐ（ｊ＋１）の全画像領域を複数の分割領域に分割する。例えば図７に示すように、領域分割部１３ａは、Ｇ成分体内画像内のエッジを境界線として、体内画像Ｐ（ｊ＋１）を５つの分割領域Ｂ１〜Ｂ５に分割する。

なお、図７において、体内画像Ｐ（ｊ＋１）は５つの分割領域Ｂ１〜Ｂ５に分割されているが、領域分割部１３ａが分割する体内画像Ｐ（ｊ＋１）の分割領域数は、図７に示す５つに限定されず、体内画像Ｐ（ｊ＋１）内のエッジの形状または数等に応じて２つ以上の分割領域数に変化する。

上述したステップＳ３０１を実行後、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内の各分割領域の特徴量算出処理を行う（ステップＳ３０２）。このステップＳ３０２において、特徴量算出部１３ｂは、領域分割部１３ａが分割した体内画像Ｐ（ｊ＋１）内の分割領域毎の特徴量を算出する。

具体的には、医師が粘膜上の病変の有無を判定するために有効領域を粘膜領域とした場合、特徴量算出部１３ｂは、まず、領域分割部１３ａによる体内画像Ｐ（ｊ＋１）の領域分割情報および体内画像Ｐ（ｊ＋１）を受け取る。つぎに、特徴量算出部１３ｂは、この領域分割情報をもとに、体内画像Ｐ（ｊ＋１）内の複数の分割領域を取得する。

次いで、特徴量算出部１３ｂは、体内画像Ｐ（ｊ＋１）を形成するＲＧＢの色情報を取得して、体内画像Ｐ（ｊ＋１）内の分割領域毎に、Ｇ成分とＲ成分との色比Ｇ／ＲおよびＢ成分とＧ成分との色比Ｂ／Ｇを算出する。その後、特徴量算出部１３ｂは、体内画像Ｐ（ｊ＋１）内の分割領域毎の特徴量として、色比Ｇ／Ｒおよび色比Ｂ／Ｇの平均値である色比平均値を算出する。例えば図７に示すように、体内画像Ｐ（ｊ＋１）が５つの分割領域Ｂ１〜Ｂ５に分割された場合、特徴量算出部１３ｂは、分割領域Ｂ１〜Ｂ５の各色比平均値を算出する。

ここで、粘膜領域等の有効領域を構成する成分のうちの血液と、無効領域を構成する成分（便、泡または胆汁等の内容物）との吸収波長の違いは、上述した分割領域毎の色比平均値によって判定することができる。このため、特徴量算出部１３ｂは、体内画像Ｐ（ｊ＋１）内の分割領域毎の特徴量として色比平均値を算出する。なお、これら有効領域または無効領域の各成分の吸収波長は、例えば赤色から黄色に向かって出血、粘膜、内容物の順に分布する。

上述したステップＳ３０２を実行後、有効領域検出部１３は、所定の範囲内の特徴量を有する分割領域の検出処理を行う（ステップＳ３０３）。その後、有効領域検出部１３は、本処理を終了して図２に示したステップＳ１０４の処理手順にリターンする。

ステップＳ３０３において、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内の分割領域毎の特徴量をもとに、体内画像Ｐ（ｊ＋１）内の有効領域を検出する。具体的には、有効領域検出部１３は、有効領域の特徴量の範囲を決定する所定の閾値を予め保持する。有効領域検出部１３は、この所定の閾値をもとに、体内画像Ｐ（ｊ＋１）内の分割領域毎の特徴量が有効領域の特徴量の範囲内にあるか否かを判定し、この所定の閾値に基づく範囲内の特徴量を有する分割領域を体内画像Ｐ（ｊ＋１）内の有効領域として検出する。

例えば、有効領域検出部１３は、図７に示す分割領域Ｂ１〜Ｂ５の各特徴量に対して有効領域の特徴量の範囲内にあるか否かを判定し、分割領域Ｂ１〜Ｂ５の中から、この範囲内の特徴量を有する分割領域Ｂ１を有効領域として検出する。

なお、有効領域検出部１３は、体内画像Ｐ（ｊ＋１）内の各分割領域の特徴量の中に、上述した所定の閾値に基づく特徴量の範囲内のものが無い場合、この体内画像Ｐ（ｊ＋１）に有効領域が存在しないと判断して、この体内画像Ｐ（ｊ＋１）から有効領域を検出しない。

ここで、上述した有効領域の特徴量の範囲を決定する所定の閾値は、複数種類の消化管内部の体内画像群を用いて上述したステップＳ３０１，Ｓ３０２と同様の処理手順を行うことによって得られた閾値である。具体的には、複数種類の消化管内部の体内画像群を用いて体内画像内の分割領域毎の特徴量を算出し、「粘膜領域」、「出血領域」、および「泡や便に例示されるその他の内容物」等の特徴量の分布図を作成し、この分布図において「粘膜領域」および「出血領域」等の有効領域から「その他の内容物」、すなわち無効領域を分ける閾値に基づいて、上述した所定の閾値が得られる。

なお、領域分割部１３ａは、ステップＳ３０１において、体内画像Ｐ（ｊ＋１）から抽出したＧ成分体内画像を用いてエッジを検出している。これは、体内画像Ｐ（ｊ＋１）を形成するＲＧＢの色成分のうち、Ｇ成分を用いることによって一層容易に体内画像Ｐ（ｊ＋１）内のエッジを検出できるからである。

具体的には、生体組織は、血液等の赤色成分（Ｒ成分）を多く含んでいる。このため、体内画像Ｐ（ｊ＋１）のＲ成分によって形成されるＲ成分体内画像はコントラストの少ない均一な画像になる場合が多く、この結果、領域分割部１３ａは、Ｒ成分体内画像からエッジを検出することは困難である。一方、体内画像Ｐ（ｊ＋１）の青色成分（Ｂ成分）によって形成されるＢ成分体内画像は、他の色成分（Ｒ，Ｇ）の場合に比して画素情報量が極めて少ない。このため、領域分割部１３ａは、Ｂ成分体内画像からエッジを検出することは困難である。

これに対し、体内画像Ｐ（ｊ＋１）のＧ成分体内画像は、血管等の微細構造体または突起形状体等によって形成されるエッジを表し易く且つ画素情報量が多い。このため、領域分割部１３ａは、上述したように体内画像Ｐ（ｊ＋１）のＧ成分体内画像を用いることによって、体内画像Ｐ（ｊ＋１）内のエッジを容易に検出することができる。

つぎに、上述したステップＳ１０５において変化量算出部１４が実行する変化量算出処理について詳細に説明する。図８は、時系列順に連続する複数の体内画像間の変化量算出処理の処理手順を例示するフローチャートである。図９は、体内画像に含まれる新規有効領域の一具体例を示す模式図である。図１０は、体内画像における新規有効面積割合と体内画像間の変化量との関係を示す増加関数の一具体例を示す模式図である。変化量算出部１４は、上述したように、制御部５０の制御に基づいてステップＳ１０５における体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量算出処理を実行する。

すなわち、図８に示すように、変化量算出部１４は、まず、体内画像Ｐ（ｊ＋１）の新規有効領域の検出処理を行う（ステップＳ４０１）。このステップＳ４０１において、領域面積算出部１４ａは、まず、新規領域検出部１２から体内画像Ｐ（ｊ＋１）内の新規領域を取得し、且つ有効領域検出部１３から体内画像Ｐ（ｊ＋１）内の有効領域を取得する。

つぎに、領域面積算出部１４ａは、取得した新規領域および有効領域をもとに、体内画像Ｐ（ｊ＋１）内の新規有効領域を検出する。例えば、図９に示すような体内画像Ｐ（ｊ＋１）内の新規領域Ａａおよび分割領域Ｂ１（有効領域）を取得した場合、領域面積算出部１４ａは、新規領域Ａａと有効領域とが重なる新規有効領域Ａｂを検出する。

なお、領域面積算出部１４ａは、新規領域検出部１２が新規領域を検出していない場合、体内画像Ｐ（ｊ＋１）内に新規領域が含まれないので、新規有効領域を検出しない。これと同様に、領域面積算出部１４ａは、有効領域検出部１３が有効領域を検出していない場合、体内画像Ｐ（ｊ＋１）内に有効領域が含まれないので、新規有効領域を検出しない。

上述したステップＳ４０１を実行後、変化量算出部１４は、体内画像Ｐ（ｊ＋１）内の新規有効領域の面積算出処理を行う（ステップＳ４０２）。このステップＳ４０２において、領域面積算出部１４ａは、体内画像Ｐ（ｊ＋１）内の新規有効領域の画素数等の画素情報をもとに、この新規有効領域の面積を算出する。例えば、領域面積算出部１４ａは、図９に示すように体内画像Ｐ（ｊ＋１）内の新規有効領域Ａｂを検出した場合、新規有効領域Ａｂの画素情報をもとに、新規有効領域Ａｂの面積を算出する。

なお、領域面積算出部１４ａは、ステップＳ４０１において体内画像Ｐ（ｊ＋１）内の新規有効領域を検出しなかった場合、体内画像Ｐ（ｊ＋１）内の新規有効領域の面積として零値（新規有効領域の面積＝０）を算出する。

上述したステップＳ４０２を実行後、変化量算出部１４は、体内画像Ｐ（ｊ＋１）の全画像領域に対する新規有効領域の面積割合算出処理を行う（ステップＳ４０３）。このステップＳ４０３において、面積割合算出部１４ｂは、まず、新規領域検出部１２から体内画像Ｐ（ｊ＋１）を取得し、且つ領域面積算出部１４ａから体内画像Ｐ（ｊ＋１）内の新規有効領域の面積情報を取得する。

つぎに、面積割合算出部１４ｂは、取得した体内画像Ｐ（ｊ＋１）の全画素数等の画素情報をもとに、体内画像Ｐ（ｊ＋１）の総画像面積を算出する。次いで、面積割合算出部１４ｂは、算出した総画像面積によって体内画像Ｐ（ｊ＋１）内の新規有効領域の面積を除算し、この除算処理によって、体内画像Ｐ（ｊ＋１）における新規有効面積割合Ｓを算出する。例えば、面積割合算出部１４ｂは、図９に示す新規有効領域Ａｂの面積を体内画像Ｐ（ｊ＋１）の総画像面積によって除算処理して、体内画像Ｐ（ｊ＋１）の新規有効面積割合Ｓを算出する。

上述したステップＳ４０３を実行後、変化量算出部１４は、体内画像Ｐ（ｊ＋１）の新規有効面積割合Ｓに基づいた体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量算出処理を行う（ステップＳ４０４）。その後、変化量算出部１４は、本処理を終了して図２に示したステップＳ１０５の処理手順にリターンする。

ステップＳ４０４において、変化量算出部１４は、ステップＳ４０３の処理手順によって算出した体内画像Ｐ（ｊ＋１）の新規有効面積割合Ｓを用い、次式（１）の増加関数に基づいて、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量Ｔを算出する。その後、変化量算出部１４は、得られた変化量Ｔと体内画像Ｐ（ｊ＋１）とを対応付けて出力部４０に送信する。

・・・(1)
なお、式（１）において、ｋは変化量算出係数であり、ａは新規有効面積割合係数であり、ｙは変化量算出パワー係数である。

ここで、式（１）の増加関数は、新規有効面積割合Ｓをもとに変化量Ｔを算出する指数関数であり、新規有効面積割合Ｓの増加に伴って変化量Ｔが増加することを示す。また、この指数関数は、新規有効面積割合Ｓの増加に対する変化量Ｔの値を一定値とする領域を有する。

なお、変化量算出係数ｋ、新規有効面積割合係数ａ、および変化量算出パワー係数ｙは、変化量算出部１４に予め設定された定数であってもよいし、入力部２０（図１参照）によって更新可能に入力される定数であってもよい。また、新規有効面積割合係数ａは、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の動き種類がシーンチェンジ以外の動き種類である場合に新規有効面積割合Ｓが取り得る最大値の逆数によって設定されてもよい。

ここで、上述した変化量Ｔは、新規有効面積割合Ｓの増加に伴って、０≦Ｔ≦１の数値範囲内で指数関数的に増加する。一方、式（１）において変化量Ｔが「１」を超える場合の新規有効面積割合Ｓの範囲では、変化量Ｔは「１」である。すなわち、変化量算出部１４は、式（１）に基づいて０≦Ｔ≦１の数値範囲内の変化量Ｔを算出し、式（１）に基づいて「１」を超える変化量Ｔ（Ｔ＞１）を算出した場合、変化量Ｔの算出値を「１」（Ｔ＝１）とする。なお、新規有効面積割合Ｓの数値範囲は、変化量Ｔと同様に０≦Ｓ≦１である。

具体的には、変化量算出部１４は、例えば図１０の相関線Ｌ１によって示される新規有効面積割合Ｓと変化量Ｔとの相関関係に基づいて、体内画像Ｐ（ｊ＋１）の新規有効面積割合Ｓに対応する体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量Ｔを算出する。なお、相関線Ｌ１によって示される指数的な増加曲線は、変化量算出係数ｋ＝１、新規有効面積割合係数ａ＝０．２５、変化量算出パワー係数ｙ＝２である場合の式（１）に対応する。

ここで、式（１）の指数関数に基づいた相関線Ｌ１の傾きは、図１０に示すように、新規有効面積割合Ｓの増加に伴って増加し、式（１）に基づく変化量Ｔの算出値が「１」を超える新規有効面積割合Ｓの数値範囲（例えば０．４以上、１以下）においては、変化量Ｔは一定値「１」である。

以上、説明したように、本発明の実施の形態１では、時系列に沿って撮像された体内画像群に含まれる２つの体内画像のうち、第１の体内画像に比して第２の体内画像に新規に出現する新規領域を検出し、第２の体内画像の中から、注目すべき有効な画像領域を含む有効領域を検出し、この検出した新規領域および有効領域をもとに第１の体内画像および第２の体内画像間の変化量を算出し、この算出した変化量に応じて第２の体内画像を出力するように構成した。このため、体内画像内の新規領域と有効領域とが重なる領域の増減変化に応じて体内画像の出力を調整することによって、新規領域且つ有効領域となる領域が広い体内画像を優先的に出力できるとともに、新規領域内の無効領域に比して有効領域が狭い体内画像の出力を抑制できる。これによって、被検体の観察に有用な体内情報を多く含む体内画像を優先的に観察できるとともに、新規領域内に無効領域を広く含む体内画像の観察時間を可能な限り短縮でき、この結果、被検体の体内画像群の観察の作業効率を向上することができる。

この実施の形態１にかかる画像処理装置、画像処理プログラムまたは画像処理方法によって被検体の体内画像群を表示することによって、体内画像間の変化量に応じて体内画像の表示時間を調整しつつ、この体内画像群内の各体内画像を順次表示することができる。このため、新規領域内に有効領域に比して広い無効領域を含む体内画像の表示時間と新規有効領域を含まない体内画像の表示時間とを短縮できるとともに、新規有効領域の増大に伴って体内画像の表示時間を長くすることができる。この結果、観察者は、新規領域内の無効領域に比して被検体の観察に有用な新規有効領域を広く含む体内画像を効率よく観察できるとともに、被検体の観察に無用な体内画像の観察時間を短縮して、体内画像群の観察作業にかかる時間および観察者の負担を十分に軽減することができる。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、体内画像Ｐ（ｊ＋１）の全画像領域の中から有効領域を検出していたが、この実施の形態２では、体内画像Ｐ（ｊ＋１）内の新規領域の中から有効領域を検出している。

図１１は、本発明の実施の形態２にかかる画像処理装置の一構成例を模式的に示すブロック図である。図１１に示すように、この実施の形態２にかかる画像処理装置２は、実施の形態１にかかる画像処理装置２の演算部１１に代えて演算部２１１を備える。演算部２１１は、実施の形態１における演算部１１の有効領域検出部１３に代えて有効領域検出部２１３を備え、変化量算出部１４に代えて変化量算出部２１４を備える。また、実施の形態２において、画像入力部１０は、有効領域検出部２１３に体内画像Ｐ（ｊ＋１）を送信しない。新規領域検出部１２は、有効領域検出部２１３に体内画像Ｐ（ｊ），Ｐ（ｊ＋１）と体内画像Ｐ（ｊ＋１）内の新規領域とを送信する。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

画像処理装置２は、上述したように、実施の形態１にかかる画像処理装置２の演算部１１に代えて演算部２１１を備える。また、演算部２１１は、実施の形態１における演算部１１の有効領域検出部１３に代えて有効領域検出部２１３を備え、変化量算出部１４に代えて変化量算出部２１４を備える。なお、画像処理装置２は、演算部２１１の機能以外、実施の形態１にかかる画像処理装置２と同様の機能を有する。また、演算部２１１は、有効領域検出部２１３および変化量算出部２１４の各機能以外、実施の形態１における演算部１１と同様の機能を有する。

有効領域検出部２１３は、実施の形態１における有効領域検出部１３の領域分割部１３ａに代えて領域分割部２１３ａを備える。領域分割部２１３ａは、体内画像Ｐ（ｊ＋１）内の新規領域を複数の分割領域に分割する。

具体的には、領域分割部２１３ａは、まず、新規領域検出部１２から体内画像Ｐ（ｊ＋１）内の新規領域を取得する。つぎに、領域分割部２１３ａは、体内画像Ｐ（ｊ＋１）に含まれる新規領域内のエッジを検出する。その後、領域分割部２１３ａは、検出したエッジを境界とする複数の分割領域に体内画像Ｐ（ｊ＋１）内の新規領域を分割する。

一方、領域分割部２１３ａは、体内画像Ｐ（ｊ＋１）内に新規領域が無い場合、新規領域の分割処理を実行しない。なお、領域分割部２１３ａは、上述したように分割処理対象の画像領域が体内画像（ｊ＋１）内の新規領域であること以外、実施の形態１における領域分割部１３ａと同様の機能を有する。

なお、有効領域検出部２１３は、実施の形態１の場合と同様に特徴量算出部１３ｂを備える。特徴量算出部１３ｂは、特徴量算出処理の対象領域が領域分割部２１３ａによる新規領域内の各分割領域であること以外、実施の形態１の場合と同様の機能を有する。

上述したように領域分割部２１３ａおよび特徴量算出部１３ｂを備える有効領域検出部２１３は、新規領域検出部１２から体内画像Ｐ（ｊ），Ｐ（ｊ＋１）と体内画像Ｐ（ｊ＋１）内の新規領域とを取得し、この取得した新規領域の中から体内画像Ｐ（ｊ＋１）内の有効領域を検出する。その後、有効領域検出部２１３は、体内画像Ｐ（ｊ＋１）内の有効領域と体内画像Ｐ（ｊ），Ｐ（ｊ＋１）とを変化量算出部２１４に送信する。

なお、有効領域検出部２１３は、有効領域の検出対象領域が体内画像Ｐ（ｊ＋１）の全画像領域ではなく新規領域であること以外、実施の形態１における有効領域検出部１３と同様の有効領域検出機能を有する。

ここで、有効領域検出部２１３は、体内画像Ｐ（ｊ＋１）内に新規領域が無い場合、体内画像Ｐ（ｊ＋１）内の有効領域を検出せず、体内画像Ｐ（ｊ＋１）内に有効領域が無いと判断する。この場合、有効領域検出部２１３は、有効領域を検出せずに体内画像Ｐ（ｊ），Ｐ（ｊ＋１）を変化量算出部２１４に送信する。

変化量算出部２１４は、上述した実施の形態１における変化量算出部１４の領域面積算出部１４ａに代えて領域面積算出部２１４ａを備える。領域面積算出部２１４ａは、有効領域検出部２１３が新規領域の中から検出した有効領域の面積を新規有効領域の面積として算出する。

具体的には、領域面積算出部２１４ａは、まず、有効領域検出部２１３から体内画像Ｐ（ｊ＋１）内の有効領域を取得する。ここで、この有効領域は、体内画像Ｐ（ｊ＋１）内の新規且つ有効な画像領域、すなわち新規有効領域である。領域面積算出部２１４ａは、取得した有効領域を体内画像Ｐ（ｊ＋１）内の新規有効領域として検出し、検出した新規有効領域を形成する画素数等の画素情報をもとに、体内画像Ｐ（ｊ＋１）内の新規有効領域の面積を算出する。

なお、上述したような領域面積算出部２１４ａおよび面積割合算出部１４ｂを備える変化量算出部２１４は、領域面積算出部２１４ａの機能以外、実施の形態１における変化量算出部１４と同様の機能を有する。

つぎに、本発明の実施の形態２にかかる画像処理装置２の動作について説明する。なお、画像処理装置２は、上述したように、演算部２１１内の有効領域検出部２１３および変化量算出部２１４の各動作以外、実施の形態１にかかる画像処理装置２と同様に動作する。すなわち、画像処理装置２は、図２に示したステップＳ１０１〜Ｓ１０７の各処理手順のうち、ステップＳ１０４，Ｓ１０５の各処理手順のみ、実施の形態１にかかる画像処理装置２と異なる。以下に、この実施の形態２にかかる画像処理装置２が実行するステップＳ１０４，Ｓ１０５の各処理手順を詳細に説明する。

まず、実施の形態２におけるステップＳ１０４の処理手順について詳細に説明する。図１２は、実施の形態２における体内画像の有効領域検出処理の処理手順を例示するフローチャートである。図１３は、体内画像に含まれる新規領域の中から有効領域を検出する状態の一例を示す模式図である。図１４は、新規領域の中から検出された有効領域である新規有効領域の一具体例を示す模式図である。

ステップＳ１０４において、有効領域検出部２１３は、制御部５０の制御に基づいて図１２に示すステップＳ５０１〜Ｓ５０３の各処理手順を順次実行して、図２に示したステップＳ１０４における体内画像の有効領域検出処理を達成する。

すなわち、図１２に示すように、有効領域検出部２１３は、まず、体内画像Ｐ（ｊ＋１）内の新規領域の領域分割処理を行う（ステップＳ５０１）。このステップＳ５０１において、領域分割部２１３ａは、新規領域検出部１２から体内画像Ｐ（ｊ＋１）内の新規領域を取得する。次いで、領域分割部２１３ａは、取得した体内画像Ｐ（ｊ＋１）内の新規領域からエッジを検出し、この検出したエッジを境界線として体内画像Ｐ（ｊ＋１）内の新規領域を複数の分割領域に分割する。

具体的には、領域分割部２１３ａは、まず、体内画像Ｐ（ｊ＋１）のうちの新規領域に含まれるＲＧＢの色成分の中からＧ成分を抽出し、この抽出したＧ成分によって形成されるＧ成分体内画像を生成する。なお、このＧ成分体内画像は、体内画像Ｐ（ｊ＋１）のうちの新規領域に対応する画像である。

つぎに、領域分割部２１３ａは、生成したＧ成分体内画像に含まれるエッジを検出し、このエッジ検出後のＧ成分体内画像に対して平滑化処理を行う。その後、領域分割部２１３ａは、分水嶺アルゴリズム等の公知の領域分割手法に基づいて、エッジを境界線とする複数の分割領域にＧ成分体内画像を分割する。これによって、領域分割部２１３ａは、体内画像Ｐ（ｊ＋１）内の新規領域を複数の分割領域に分割する。例えば図１３に示すように、領域分割部２１３ａは、Ｇ成分体内画像内のエッジを境界線として、体内画像Ｐ（ｊ＋１）内の新規領域Ａａを４つの分割領域Ｂ１１〜Ｂ１４に分割する。

なお、図１３において、新規領域Ａａは４つの分割領域Ｂ１１〜Ｂ１４に分割されているが、領域分割部２１３ａが分割する新規領域の分割領域数は、図１３に示す４つに限定されず、体内画像Ｐ（ｊ＋１）のうちの新規領域内のエッジの形状または数等に応じて２つ以上の分割領域数に変化する。

上述したステップＳ５０１を実行後、有効領域検出部２１３は、体内画像Ｐ（ｊ＋１）内の各分割領域の特徴量算出処理を行う（ステップＳ５０２）。このステップＳ５０２において、特徴量算出部１３ｂは、特徴量算出処理の対象領域が実施の形態１の場合と異なって新規領域内の各分割領域であること以外、図６に示したステップＳ３０２と同様の処理手順を実行する。例えば、特徴量算出部１３ｂは、図１３に示す新規領域Ａａ内の４つの分割領域Ｂ１１〜Ｂ１４の各特徴量（色比平均値）を算出する。

上述したステップＳ５０２を実行後、有効領域検出部２１３は、所定の範囲内の特徴量を有する分割領域の検出処理を行う（ステップＳ５０３）。その後、有効領域検出部２１３は、本処理を終了して図２に示したステップＳ１０４の処理手順にリターンする。

ステップＳ５０３において、有効領域検出部２１３は、上述した新規領域内の分割領域毎の特徴量をもとに、体内画像Ｐ（ｊ＋１）内の有効領域を検出する。具体的には、有効領域検出部２１３は、上述した実施の形態１の場合と同様に、有効領域の特徴量の範囲を決定する所定の閾値を予め保持する。有効領域検出部２１３は、この所定の閾値をもとに、体内画像Ｐ（ｊ＋１）における新規領域内の分割領域毎の特徴量が有効領域の特徴量の範囲内にあるか否かを判定する。これによって、有効領域検出部２１３は、この新規領域内に含まれる複数の分割領域の中から、この所定の閾値に基づく範囲内の特徴量を有する分割領域を体内画像Ｐ（ｊ＋１）内の有効領域として検出する。

例えば、有効領域検出部２１３は、図１３に示す新規領域Ａａ内の分割領域Ｂ１１〜Ｂ１４の各特徴量に対して有効領域の特徴量の範囲内にあるか否かを判定し、分割領域Ｂ１１〜Ｂ１４の中から、この範囲内の特徴量を有する分割領域Ｂ１１を有効領域として検出する。

ここで、有効領域検出部２１３が検出した有効領域は、体内画像Ｐ（ｊ＋１）内の新規有効領域に相当する。すなわち、有効領域検出部２１３は、ステップＳ５０３の処理手順を行うことによって、体内画像Ｐ（ｊ＋１）内の有効領域を新規有効領域として検出する。例えば、図１３，１４に示すように、有効領域検出部２１３は、新規有効領域Ａｂに相当する有効領域として、分割領域Ｂ１１〜Ｂ１４の中から、上述した範囲内の特徴量を有する分割領域Ｂ１１を検出する。

なお、有効領域検出部２１３は、体内画像Ｐ（ｊ＋１）内に新規領域が無い場合、体内画像Ｐ（ｊ＋１）内に有効領域が含まれないと判断して、体内画像Ｐ（ｊ＋１）内の有効領域を検出しない。また、有効領域検出部２１３は、新規領域内の各分割領域の特徴量の中に、上述した所定の閾値に基づく特徴量の範囲内のものがない場合も同様に、体内画像Ｐ（ｊ＋１）内の有効領域を検出しない。

つぎに、実施の形態２におけるステップＳ１０５の処理手順について詳細に説明する。変化量算出部２１４は、図２に示したステップＳ１０５において、体内画像Ｐ（ｊ＋１）内の新規有効領域の検出処理以外、実施の形態１における変化量算出部１４と同様に動作する。すなわち、変化量算出部２１４は、図８に示したステップＳ４０１〜Ｓ４０４の処理手順のうち、ステップＳ４０１のみ実施の形態１と異なる処理手順を実行する。

図８に示したステップＳ４０１において、変化量算出部２１４は、まず、有効領域検出部２１３から体内画像Ｐ（ｊ＋１）内の有効領域を取得する。つぎに、領域面積算出部２１４ａは、取得した有効領域を、体内画像Ｐ（ｊ＋１）内の新規有効領域として検出する。

なお、実施の形態２における体内画像Ｐ（ｊ＋１）内の有効領域は、上述したように新規有効領域であるため、領域面積算出部２１４ａは、上述したステップＳ４０１の処理手順を行わずに、体内画像Ｐ（ｊ＋１）における新規領域内の有効領域の面積を新規有効領域の面積として算出してもよい。

以上、説明したように、本発明の実施の形態２では、体内画像内の新規領域の中から有効領域を検出し、この新規領域内の有効領域をもとに複数の体内画像間の変化量を算出するようにし、その他を実施の形態１と同様に構成した。このため、上述した実施の形態１の場合と同様の作用効果を享受するとともに、処理対象の体内画像のうちの新規領域のみを有効領域の検出処理対象にして体内画像の新規且つ有効な画像領域を検出することができる。これによって、体内画像の全画像領域を有効領域の検出処理対象にする場合に比して有効領域の検出処理時間を短縮することができ、この結果、新規領域内に無効領域に比して有効領域を広く含む体内画像の出力に必要な処理時間の短縮化を一層促進できる画像処理装置、画像処理プログラムおよび画像処理方法を実現することができる。

この実施の形態２にかかる画像処理装置、画像処理プログラムまたは画像処理方法によって被検体の体内画像群を表示することによって、上述した実施の形態１の場合と同様の作用効果を享受するとともに、観察者による体内画像群の観察時間の短縮化を促進でき、この結果、体内画像群の観察作業にかかる時間および観察者の負担を一層軽減することができる。

なお、上述した実施の形態１，２では、新規有効面積割合Ｓと変化量Ｔとの相関関係を示す増加関数として、式（１）に例示される指数関数を用いたが、これに限らず、新規有効面積割合Ｓと変化量Ｔとの相関関係を示す増加関数は、指数関数以外の増加関数（例えば比例関数等）であってもよい。

図１５は、体内画像における新規有効面積割合と体内画像間の変化量との関係を示す増加関数の一変形例を示す模式図である。この増加関数の一変形例である比例関数における変化量Ｔは、図１５の相関線Ｌ２に示されるように、０≦Ｔ≦１の数値範囲内において新規有効面積割合Ｓの増加に伴い単純増加する。また、この比例関数は、新規有効面積割合Ｓの増加に対する変化量Ｔの値を一定値とする領域を有する。すなわち、変化量Ｔが「１」を超える新規有効面積割合Ｓの数値範囲において、変化量Ｔは、図１５に示すように「１」である。

ここで、新規有効面積割合Ｓが所定の値以下（例えば０．１以下）である場合、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間における画像変化は、人間の目によって感じることが困難な程度に少ない可能性が高い。このため、新規有効面積割合Ｓが所定の値以下である場合は、図１５に例示されるように、変化量Ｔを一定値「０」としてもよい。

一方、上述した実施の形態１，２では、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量Ｔに応じて表示時間を変化させて体内画像群を表示出力していたが、これに限らず、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量Ｔに応じて画像表示枚数を変化させて体内画像群を表示出力してもよい。

具体的には、入力部２０によって制御部５０に画像出力枚数Ｍ（≦Ｎ）の設定情報を入力し、制御部５０は、この設定情報に基づいて、画像出力枚数Ｍの体内画像を表示するように出力部４０を制御してもよい。出力部４０は、制御部５０の制御に基づいて、総数Ｎ枚の体内画像群ＰＧの中から、変化量Ｔの大きい順に上位Ｍ枚の体内画像を抽出し、抽出した上位Ｍ枚の体内画像を表示してもよい。

あるいは、入力部２０によって制御部５０に画像表示対象を決定するための変化量Ｔの閾値Ｔｈ（０≦Ｔｈ≦１）の設定情報を入力し、制御部５０は、この設定情報に基づいて、閾値Ｔｈ以上の変化量Ｔを有する体内画像を表示するように出力部４０を制御してもよい。出力部４０は、制御部５０の制御に基づいて、体内画像群ＰＧ内の各体内画像の変化量Ｔと閾値Ｔｈとを比較処理し、体内画像群ＰＧの中から、閾値Ｔｈ以上の変化量Ｔを有する体内画像を抽出し、抽出した変化量Ｔ（≧Ｔｈ）の体内画像を表示してもよい。

一方、上述した実施の形態１，２では、Ｇ成分体内画像を用いてエッジを検出していたが、これに限らず、エッジ検出が可能であれば、Ｇ成分以外（例えばＲ成分、Ｂ成分等）の色成分によって形成される色成分体内画像を用いてエッジを検出してもよい。また、体内画像の被写体に応じて、エッジ検出処理対象の色成分体内画像の色成分を変えてもよい。

また、上述した実施の形態１，２では、体内画像の全画像領域内または新規領域内の分割領域毎の特徴量として色比平均値を算出していたが、これに限らず、分割領域毎の特徴量は、色比Ｇ／Ｒおよび色比Ｂ／Ｇ以外の色比を平均した色比平均値であってもよいし、ＨＩＳ色表系またはＹｕｖ色表系等の他の色を表す特徴量であってもよい。

または、分割領域毎の特徴量は、色に限らず、輝度の分散値であってもよいし、分割領域の形状または周囲長等の構造的特徴量であってもよいし、周波数成分に基づく特徴量であってもよいし、これらのうちの少なくとも２つを組み合わせた特徴量であってもよい。これによって、色では判別しにくい泡等の内容物と有効領域とを容易に判別することができる。

また、上述した実施の形態１，２では、体内画像の全画像領域または新規領域をエッジによって複数の分割領域に分割していたが、これに限らず、体内画像の全画像領域または新規領域を所定サイズの格子状に領域分割してもよい。この結果、エッジ検出処理を省略することができるので、体内画像の領域分割処理の処理時間を短縮することができる。

さらに、上述した実施の形態１，２では、式（１）に例示される増加関数に基づいて変化量Ｔを算出していたが、これに限らず、新規有効面積割合Ｓと変化量Ｔとの対応関係を示すテーブル情報を用いて、新規有効面積割合Ｓを変化量Ｔに変換してもよい。

具体的には、上述した変化量算出部１４，２１４が、新規有効面積割合Ｓと変化量Ｔとの対応関係を示すテーブル情報を予め保持し、このテーブル情報を参照して、新規有効面積割合Ｓを変化量Ｔに変換してもよい。この結果、変化量算出部１４，２１４は、式（１）等の増加関数に基づいて変化量Ｔを算出する必要が無くなり、これによって、変化量算出部１４，２１４の構成を簡略化することができる。

また、上述した実施の形態１，２では、単一の体内画像に単一の新規有効領域が含まれる場合を例示したが、これに限らず、単一の体内画像に複数の新規有効領域が含まれていてもよい。例えば、単一の体内画像内から新規領域および有効領域の少なくとも一方が複数検出され、体内画像内の複数個所において新規領域と有効領域とが重なる場合、単一の体内画像に複数の新規有効領域が存在する。この場合、領域面積算出部１４ａ，２１４ａは、複数の新規有効領域の各面積の合計値（総面積）を算出し、面積割合算出部１４ｂは、これら複数の新規有効領域の総面積を体内画像の総画像面積によって除算処理して新規有効面積割合Ｓを算出すればよい。

さらに、上述した実施の形態１，２では、時系列に沿って撮像された画像群の一例として体内画像群ＰＧを例示したが、これに限らず、本発明における処理対象の画像群は、時系列に沿って撮像された画像群であれば、体内画像群でなくてもよく、その被写体は被検体内部以外の所望のものであってもよい。

また、上述した実施の形態１，２では、体内画像Ｐ（ｊ），Ｐ（ｊ＋１）間の変化量Ｔに応じて体内画像群ＰＧを表示していたが、これに限らず、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、時系列に沿って撮像された画像群に含まれる複数の画像間の変化量Ｔに応じて、画像を記録するものであってもよいし、画像を印刷するものであってもよい。すなわち、出力部４０は、ディスプレイ等の画像表示装置に限らず、ハードディスク等の記録装置であってもよいし、プリンタであってもよい。

具体的には、制御部５０は、画像出力枚数Ｍの体内画像を記録または印刷するように出力部４０を制御してもよい。出力部４０は、制御部５０の制御に基づいて、総数Ｎ枚の体内画像群ＰＧの中から、変化量Ｔの大きい順に上位Ｍ枚の体内画像を記録してもよいし、印刷してもよい。

あるいは、制御部５０は、閾値Ｔｈ以上の変化量Ｔを有する体内画像を出力するように出力部４０を制御してもよい。出力部４０は、制御部５０の制御に基づいて、変化量Ｔと閾値Ｔｈとを比較処理し、体内画像群ＰＧの中から、閾値Ｔｈ以上の変化量Ｔを有する体内画像を記録してもよいし、印刷してもよい。

また、上述した実施の形態１，２では、変化量Ｔを算出完了毎に体内画像Ｐ（ｊ＋１）を表示していたが、これに限らず、時系列に沿って撮像された画像群内の全画像について変化量Ｔの算出処理が完了するまで出力部４０に処理済みの画像を蓄積し、全画像の変化量Ｔを算出完了後に、変化量Ｔに応じて画像群内の各画像を表示してもよいし、記録してもよいし、印刷してもよい。

さらに、上述した実施の形態１，２では、処理プログラムを実行する制御部の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。

また、上述した実施の形態１，２では、体内画像群ＰＧ内の第１の画像として体内画像Ｐ（ｊ）を例示し、体内画像群ＰＧ内の第２の画像として体内画像Ｐ（ｊ＋１）を例示して本発明を説明したが、これに限らず、時系列に沿って撮像された画像群内の第１の画像および第２の画像は、この画像群のうちの２つの画像であればよく、時系列順に連続（隣接）していなくてもよい。また、第１の画像は、第２の画像に比して時系列的に前の画像であってもよいし、後の画像であってもよい。

さらに、上述した実施の形態１，２では、体内画像Ｐ（ｊ）に比して時系列順に後の体内画像Ｐ（ｊ＋１）に新規に出現する新規領域を検出していたが、これに限らず、新規領域検出部１２は、時系列に沿って撮像された画像群内の第１の画像に比して、この画像群内の第２の画像に新規に出現した新規領域を検出すればよく、この第２の画像は、この第１の画像に比して時系列的に前であってもよいし、後であってもよいし、時系列順に連続していなくてもよい。

また、上述した実施の形態１，２では、図５，９，１３，１４に示したように、体内画像Ｐ（ｊ＋１）内において新規領域Ａａと新規ではない画像領域との境界が曲線であったが、これに限らず、新規領域Ａａと新規ではない画像領域との境界は、直線でもよい。

以上のように、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、画像群の観察に有用であり、特に、時系列に沿って撮像された画像群の観察の作業効率を向上することができる画像処理装置、画像処理プログラムおよび画像処理方法に適している。

１，２ 画像処理装置
５ａ，５ｂ 画素ブロック
１０ 画像入力部
１１，２１１ 演算部
１２ 新規領域検出部
１２ａ 動きベクトル算出部
１２ｂ 動き種類分類部
１３，２１３ 有効領域検出部
１３ａ，２１３ａ 領域分割部
１３ｂ 特徴量算出部
１４，２１４ 変化量算出部
１４ａ，２１４ａ 領域面積算出部
１４ｂ 面積割合算出部
２０ 入力部
３０ 記録部
４０ 出力部
５０ 制御部
Ａａ 新規領域
Ａｂ 新規有効領域
Ｂ１〜Ｂ５，Ｂ１１〜Ｂ１４ 分割領域
Ｐ（ｊ），Ｐ（ｊ＋１） 体内画像
ＰＧ 体内画像群

Claims (12)

1. 時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する新規領域検出部と、
   前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する有効領域検出部と、
   前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する変化量算出部と、
   前記変化量に応じて前記第２の画像を出力する出力部と、
   を備えることを特徴とする画像処理装置。
2. 前記変化量算出部は、
   前記新規領域および前記有効領域が重なる領域の面積を新規有効領域面積として算出する領域面積算出部と、
   前記第２の画像で、全体の面積に対して前記新規有効領域面積が占める割合を有効面積割合として算出する面積割合算出部と、
   を備え、
   前記有効面積割合をもとに前記変化量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記有効領域検出部は、
   前記第２の画像を複数の分割領域に分割する領域分割部と、
   前記分割領域毎の特徴を示す特徴量を算出する特徴量算出部と、
   を備え、
   複数の前記分割領域の中から、所定の範囲内の前記特徴量を有する分割領域を前記有効領域として検出することを特徴とする請求項１に記載の画像処理装置。
4. 前記有効領域検出部は、前記第２の画像で、前記新規領域の中から前記有効領域を検出することを特徴とする請求項１に記載の画像処理装置。
5. 前記変化量算出部は、
   前記有効領域の面積を新規有効領域面積として算出する領域面積算出部と、
   前記第２の画像で、全体の面積に対して前記新規有効領域面積が占める割合を有効面積割合として算出する面積割合算出部と、
   を備え、
   前記有効面積割合をもとに前記変化量を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記有効領域検出部は、
   前記新規領域を複数の分割領域に分割する領域分割部と、
   前記分割領域毎の特徴を示す特徴量を算出する特徴量算出部と、
   を備え、
   複数の前記分割領域の中から、所定の範囲内の前記特徴量を有する分割領域を前記有効領域として検出することを特徴とする請求項１に記載の画像処理装置。
7. 前記新規領域検出部は、
   前記第１の画像および前記第２の画像間の動きベクトルを算出する動きベクトル算出部と、
   前記動きベクトルの方向および大きさをもとに、前記第１の画像および前記第２の画像間における画像の動きの種類を示す動き種類を、予め設定した複数の動き種類のいずれかに分類する動き種類分類部と、
   を備え、
   前記動きベクトルおよび前記動き種類をもとに前記新規領域を検出することを特徴とする請求項１に記載の画像処理装置。
8. 前記変化量算出部は、前記有効面積割合の増加に伴って前記変化量が増加する増加関数を有し、該増加関数に基づいて、前記変化量を算出することを特徴とする請求項２または５に記載の画像処理装置。
9. 前記増加関数は、前記有効面積割合の増加に対する前記変化量の値を一定値とする領域を有することを特徴とする請求項８に記載の画像処理装置。
10. 前記変化量算出部は、前記有効面積割合と前記変化量との対応関係を示すテーブル情報を有し、該テーブル情報に基づいて、前記変化量を算出することを特徴とする請求項２または５に記載の画像処理装置。
11. 時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する新規領域検出手順と、
    前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する有効領域検出手順と、
    前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する変化量算出手順と、
    前記変化量に応じて前記第２の画像を出力する出力手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
12. 時系列に沿って撮像された画像群内の第１の画像に比して、前記画像群内の第２の画像に新規に出現する新規領域を検出する新規領域検出ステップと、
    前記第２の画像の中から、注目すべき有効な画像領域を含む有効領域を検出する有効領域検出ステップと、
    前記新規領域および前記有効領域をもとに、前記第１の画像および前記第２の画像間の変化量を算出する変化量算出ステップと、
    前記変化量に応じて前記第２の画像を出力する出力ステップと、
    を含むことを特徴とする画像処理方法。