JP2010142375A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】時系列画像を構成する各画像に対し、画像間の類似性をもとにした順位付けを適切かつ確実に行うこと。
【解決手段】画像取得部７６１は、複数の画像で構成される時系列画像を取得する。分類部７６２は、時系列画像を構成する画像間の動きベクトル情報をもとに、複数の画像それぞれを第１のグループまたは第２のグループに分類する。順位付け部７６３は、第１のグループに分類された画像を動きベクトル情報に基づくベクトル類似度を用いて順位付けるとともに、第２のグループに分類された画像を色情報に基づく色類似度を用いて順位付ける。順位付け統合部７６７は、第１のグループに分類された画像について行った順位付けと第２のグループに分類された画像について行った順位付けとを統合し、時系列画像を構成する各画像の順位付けを行う。
【選択図】図２

Description

本発明は、複数の画像で構成される時系列画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

近年、内視鏡の分野において、被検体内部の画像を撮像する撮像機能や、撮像された画像データを無線送信する送信機能等がカプセル形状のケース内に収容されて構成された飲込み型のカプセル内視鏡が提案されている。このカプセル内視鏡は、検査のため被検体である患者の口から飲込まれて被検体内部に導入され、自然排出されるまでの間、体内の例えば食道や胃、小腸、大腸等の消化管内部をその蠕動運動に従って移動する。そして、体内を移動中に、例えば２〜４（frame／sec）で被写体である消化管内部の画像を順次撮像し、撮像した画像データを体外の受信装置に無線送信する。このカプセル内視鏡によって撮像されて体外の受信装置で受信された被検体内部の画像は、診断用のワークステーション等で時系列順に順次表示され、医師等の観察者によって確認される。

このカプセル内視鏡は、膨大な枚数の画像を撮像する。一方で、カプセル内視鏡は、消化管による蠕動運動に従って移動するため、体内での移動速度は一定でなく、移動が長時間停止する場合もあり得る。したがって、カプセル内視鏡によって撮像される画像の時系列変化は様々であり、同一または類似する画像が連続する場合もあれば、１枚毎に画像が変化する場合もある。このため、診断用のワークステーション等では、連続して撮像された画像間の類似性をもとにして時系列画像を構成する各画像に順位付けを行い、この順位付けに従って類似度が高く変化が小さい画像の表示をスキップする等して、画像の確認作業の効率化を図っている。

例えば、時系列画像から類似度の高い画像を間引く技術に関し、画像間で対応する画素間の３原色値の差の２乗和の総和を求め、その値が小さいほど類似度が高いと判断する手法や、明度情報を用いて画像間の対応する画素間の差分を求め、その絶対値の合計値が小さいほど類似度が高いと判断する方法が開示されている（特許文献１参照）。

特開平６−１２１２８２号公報

ところで、消化管内部を撮像するカプセル内視鏡では、撮像環境が大きく変化する場合がある。ここで、撮像環境が明るい状態で撮像された画像と、撮像環境が暗い状態で撮像された画像とでは、色調にずれが生じる。このため、特許文献１の技術のような色情報をもとに類似度を判断する手法では、同じ被写体範囲を映した画像であっても、前後で撮像環境が変化してしまうとこれらの画像を変化したとして認識してしまい、各画像に対する順位付けが適切に行えない場合があった。

一方で、画像間の変化を表す動きベクトルを検出し、この動きベクトルを画像間の類似度判定の指標として用いることによって画像の変化を検出することもできる。ここで、動きベクトルの検出は、時系列画像を構成する各画像に映る同一の被写体位置の対応付けを行い、その位置の変化を検出することによって行う。しかしながら、画像間の動きが大きい場合や、シーンが完全に変化している場合等、一方の画像中に映る被写体位置が他方の画像中で大きく変化しているような場合には動きベクトルを検出できず、類似度判定の指標が得られないという問題があった。また、色変化およびシーンチェンジ等が起こり得る状況下で撮像されて得た画像については画像間の類似性をもとにした順位付けを行うことが困難であるという問題があった。

本発明は、上記に鑑み為されたものであって、時系列画像を構成する各画像に対し、画像間の類似性をもとにした順位付けを適切かつ確実に行うことができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、複数の画像で構成される時系列画像を取得する画像取得部と、前記時系列画像を構成する画像間の動きベクトル情報をもとに、前記複数の画像それぞれを第１のグループまたは第２のグループに分類する分類部と、前記第１のグループに分類された画像に対し、前記画像間の動きベクトル情報に基づくベクトル類似度を用いた順位付けを行うとともに、前記第２のグループに分類された画像に対し、前記画像の色情報に基づく色類似度を用いて順位付けを行う順位付け部と、前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けとを統合することによって、前記複数の画像を順位付ける統合部と、を備えるものである。

この態様にかかる画像処理装置によれば、画像間の動きベクトル情報をもとに時系列画像を構成する複数の画像それぞれを第１のグループまたは第２のグループに分類し、第１のグループに分類された画像を画像間の動きベクトル情報に基づくベクトル類似度を用いて順位付けするとともに、第２のグループに分類された画像を色情報に基づく色類似度を用いて順位付けすることによって、時系列画像を構成する複数の画像の順位付けを行うことができる。したがって、時系列画像を構成する各画像に対し、画像間の類似性をもとにした順位付けを適切かつ確実に行うことができる。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、複数の画像で構成される時系列画像を取得する画像取得手順と、前記時系列画像を構成する画像間の動きベクトル情報をもとに、前記複数の画像それぞれを第１のグループまたは第２のグループに分類する分類手順と、前記第１のグループに分類された画像に対し、前記画像間の動きベクトル情報に基づくベクトル類似度を用いた順位付けを行うとともに、前記第２のグループに分類された画像に対し、前記画像の色情報に基づく色類似度を用いて順位付けを行う順位付け手順と、前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けとを統合することによって、前記複数の画像を順位付ける統合手順と、を実行させるためのものである。

また、本発明の別の態様にかかる画像処理方法は、複数の画像で構成される時系列画像を取得する画像取得ステップと、前記時系列画像を構成する画像間の動きベクトル情報をもとに、前記複数の画像それぞれを第１のグループまたは第２のグループに分類する分類ステップと、前記第１のグループに分類された画像に対し、前記画像間の動きベクトル情報に基づくベクトル類似度を用いた順位付けを行うとともに、前記第２のグループに分類された画像に対し、前記画像の色情報に基づく色類似度を用いて順位付けを行う順位付けステップと、前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けとを統合することによって、前記複数の画像を順位付ける統合ステップと、を含むものである。

本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、時系列画像を構成する複数の画像に対し、画像間の類似性をもとにした順位付けを適切かつ確実に行うことができる。

以下、図面を参照し、本発明を実施するための最良の形態について詳細に説明する。本実施の形態では、カプセル内視鏡が消化管等の体内管空内を移動しながら連続的に撮像した時系列画像を処理する画像処理装置を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、実施の形態１の画像処理装置７０を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１の体内の管空内の画像を撮像するカプセル内視鏡１０、カプセル内視鏡１０から無線送信される画像データを受信する受信装置３０、受信装置３０によって受信された画像を画像処理する画像処理装置７０等を備える。受信装置３０と画像処理装置７０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５０が使用される。

カプセル内視鏡１０は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体１の口から飲込まれて被検体１内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の画像を所定の撮像レートで連続的に撮像して取得し、体外に無線送信する。このカプセル内視鏡１０によって撮像される画像には、粘膜や、体腔内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。ここで、カプセル内視鏡１０によって撮像される画像の枚数は、撮像レート（約２〜４frame/sec）×カプセル内視鏡の体内滞在時間（約８hours＝８×６０×６０sec）で概ね示され、数万枚以上になる。また、体内でのカプセル内視鏡１０の通過速度は一定ではなく、撮像される画像も大きく変化する画像が続いたり類似する画像が続いたりと様々である。なお、カプセル内視鏡１０によって撮像される管空内画像は、例えば、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。他の例では、Ｙ（輝度信号）、Ｕ（輝度信号と青色成分との差）、Ｖ（輝度信号と赤色成分との差）を持つカラー画像であってもよい。

受信装置３０は、被検体１内におけるカプセル内視鏡１０の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置３０は、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡１０から無線送信される画像データを受信する。この受信装置３０は、可搬型記録媒体５０の着脱が自在に構成されており、受信した画像データを可搬型記録媒体５０に逐次保存する。このようにして、受信装置３０は、カプセル内視鏡１０が撮像した被検体１内部の画像を時系列順に可搬型記録媒体５０に蓄積する。

画像処理装置７０は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体５０の着脱が自在に構成される。この画像処理装置７０は、可搬型記録媒体５０に保存された画像を取得して処理し、ＬＣＤ等のディスプレイに表示する。

図２は、実施の形態１の画像処理装置７０の機能構成を示すブロック図である。実施の形態１では、画像処理装置７０は、外部インターフェース７１０と、操作部７２０と、表示部７３０と、記憶部７４０と、メモリ７５０と、演算部７６０と、画像処理装置７０全体の動作を制御する制御部７７０とを備える。

外部インターフェース７１０は、カプセル内視鏡１０で撮像され、受信装置３０で受信した画像データを取得するためのものであり、例えば可搬型記録媒体５０を着脱自在に装着し、この可搬型記録媒体５０に保存された画像データを読み出すリーダ装置で構成される。この外部インターフェース７１０を介して可搬型記録媒体５０から読み出された画像データは、演算部７６０によって処理され、表示部７３０に表示される。なお、カプセル内視鏡１０によって撮像された画像の取得は、可搬型記録媒体５０を用いた構成に限定されるものではない。例えば、可搬型記録媒体５０のかわりに別途サーバを設置し、このサーバにカプセル内視鏡１０によって撮像された画像を予め保存しておく構成としてもよい。この場合には、外部インターフェースを、サーバと接続するための通信装置等で構成する。そして、この外部インターフェースを介してサーバとデータ通信を行い、画像を取得することとしてもよい。あるいは、記憶部７４０内にカプセル内視鏡１０によって撮像された画像を予め保存しておき、記憶部７４０から読み出して画像を取得する構成としてもよい。

操作部７２０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作信号を制御部７７０に出力する。表示部７３０は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部７７０の制御のもと、カプセル内視鏡１０で撮像された画像の表示画面を含む各種画面を表示する。

記憶部７４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部７４０には、画像処理装置７０を動作させ、この画像処理装置７０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、時系列画像を構成する画像間の類似性をもとにして各画像の順位付けを行うための画像処理プログラム７４１が格納される。

メモリ７５０には、演算部７６０による作業用メモリとして用いられ、外部インターフェース７１０を介して可搬型記録媒体５０から随時読み出された画像データ等が格納される。

演算部７６０は、カプセル内視鏡１０によって撮像された時系列画像を処理し、時系列画像を構成する各画像の順位付けを行うための種々の演算処理を行う。この演算部７６０は、画像取得部７６１と、分類部７６２と、順位付け部７６３と、統合部としての順位付け統合部７６７とを含む。

画像取得部７６１は、可搬型記録媒体５０に保存された画像データを取得する。例えば、画像取得部７６１は、取得する画像の時系列順序を示す画像番号を制御部７７０に出力する。これに応答して、制御部７７０は、該当する画像データを可搬型記録媒体５０から読み出すための処理を行う。読み出された画像データは、外部インターフェース７１０を介してメモリ７５０に格納される。画像取得部７６１は、このようにしてメモリ７５０に格納された画像データを読み出すことによって可搬型記録媒体５０に保存された画像データを取得する。

分類部７６２は、時系列画像を構成する各画像の動きベクトル情報を算出し、算出した動きベクトル情報をもとに各画像のシーン変化の大小を判定する。そして、分類部７６２は、シーン変化が小さいと判定した画像を第１のグループであるグループＡに分類し、シーン変化が大きいと判定した画像を第２のグループであるグループＢ（シーンチェンジ）に分類する。

順位付け部７６３は、分類部７６２によってグループＡに分類された画像をグループＡ内で順位付けするとともに、グループＢに分類された画像をグループＢ内で順位付けする。この順位付け部７６３は、ベクトル情報順位付け部７６４と、色情報順位付け部７６６とを有する。ベクトル情報順位付け部７６４は、グループＡに分類された画像について、分類部７６２によって算出された動きベクトル情報をもとにしたベクトル類似度を算出する。そして、ベクトル情報順位付け部７６４は、算出したベクトル類似度に従ってグループＡ内の画像を順位付ける。色情報順位付け部７６６は、グループＢに分類された画像について、色差をもとにした色類似度を算出する。そして、色情報順位付け部７６６は、算出した色類似度に従ってグループＢ内の画像を順位付ける。

順位付け統合部７６７は、ベクトル情報順位付け部７６４による順位付け結果と色情報順位付け部７６６による順位付け結果とを統合し、時系列画像を構成する各画像の順位付けを行う。

制御部７７０は、ＣＰＵ等のハードウェアによって実現される。この制御部７７０は、外部インターフェース７１０を介して取得される画像データや操作部７２０から入力される操作信号、記憶部７４０に格納されるプログラムやデータ等に基づいて画像処理装置７０を構成する各部への指示やデータの転送等を行い、画像処理装置７０全体の動作を統括的に制御する。

図３は、実施の形態１の画像処理装置７０が行う処理手順を示すフローチャートである。ここで説明する処理は、演算部７６０が記憶部７４０に格納された画像処理プログラム７４１を実行することにより実現される。

図３に示すように、先ず演算部７６０が、処理対象画像の時系列順序を示す画像番号ｔを初期値に初期化する（ステップａ１）。そして、画像取得部７６１が、外部インターフェース７１０を介して接続される可搬型記録媒体５０に蓄積された処理対象画像である画像番号ｔの画像Ｉ（ｔ）および近傍画像である画像番号ｔ−１の画像Ｉ（ｔ−１）の画像データを取得する（ステップａ３）。ここで取得された画像Ｉ（ｔ），Ｉ（ｔ−１）の画像データは、メモリ７５０に格納される。なお、時系列順が処理対象画像Ｉ（ｔ）の直前である画像Ｉ（ｔ−１）を近傍画像としたが、処理対象画像と近傍画像とに共通部分が映る場合であれば、必ずしも直前の画像を近傍画像とする必要はない。

続いて、分類部７６２が、処理対象画像Ｉ（ｔ）と近傍画像Ｉ（ｔ−１）との間で各画像に映る同一の領域の対応付けを行い、その位置の変化を表す動きベクトル情報を算出する（ステップａ５）。具体的な処理手順としては、例えば先ず、近傍画像Ｉ（ｔ−１）内を所定数のブロック領域（ブロック）に分割する。ブロック領域は、例えば４×４サイズの領域とする。そして、公知のブロックマッチング処理を行って、各ブロック領域と最もマッチングする領域を処理対象画像Ｉ（ｔ）の中から探索する。ブロックマッチングの手法としては、例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，Ｐ２４３”で開示された手法を用いることができる。また、このブロックマッチングは、高速化のために、疎密探索法等を用いても良い。例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０６ｐ，高速探索法”で開示された手法を用いることができる。このブロックマッチングの結果、処理対象画像Ｉ（ｔ）の中からブロック領域と最も類似する領域（対応領域）が探索され、その相関値が得られる。対応領域が探索されない場合には、そのブロック領域についてのマッチングを失敗とする。

そして、各ブロック領域と、このブロック領域について探索された領域との中心座標の変化（動きベクトル）をブロック領域毎にそれぞれ算出し、動きベクトル情報を得る。この動きベクトル情報には３つの情報が含まれる。１つは、ブロックマッチングの際に得られたブロック領域毎の相関値情報である。本実施の形態ではブロック領域を４×４サイズの領域としたので、各ブロック領域の相関値情報は、それぞれ１６個の相関値情報を含む。２つめは、ブロック領域毎に算出した動きベクトルの長さ情報であり、各ブロック領域の長さ情報は、それぞれ１６個の長さ情報を含む。３つめは、ブロック領域毎に算出した動きベクトルの向き（角度）情報であり、各ブロック領域の向き（角度）情報は、それぞれ１６個の向き（角度）情報を含む。算出された動きベクトル情報は、画像番号ｔと対応付けてメモリ７５０に格納しておく。

続いて、分類部７６２は、算出した動きベクトル情報をもとにシーン変化の大小を判定する（ステップａ７）。例えば、動きベクトル情報の算出時にマッチングに失敗したブロック領域の数が多い場合や、動きベクトルの向きに統一性がないといった場合、画像間の画像変化が大きくシーンが完全に変化する画像と推定できる。分類部７６２は、このような場合に、処理対象画像Ｉ（ｔ）についてシーン変化大と判定する。これに対し、マッチングに成功したブロック領域の数が多く、動きベクトルの向きに統一性がある場合には、処理対象画像Ｉ（ｔ）についてシーン変化小と判定する。

そして、分類部７６２は、ステップａ７においてシーン変化が小さいと判定した場合に、処理対象画像Ｉ（ｔ）をグループＡに分類する（ステップａ９）。一方、分類部７６２は、ステップａ７においてシーン変化が大きいと判定したならば、処理対象画像Ｉ（Ｉ）をグループＢ（シーンチェンジ）に分類する（ステップａ１１）。分類されたグループの情報は、画像番号ｔと対応付けてメモリ７５０に格納しておく。

ここで、シーンチェンジに分類された画像（シーンチェンジ画像）は、動きベクトルによってシーン変化の大きさが表現できていない画像を示している。シーン変化の大きさが表現できていない画像とは、例えば、動きベクトル情報の算出時にブロック領域毎に得られた相関値のうち、予め設定される所定数以上のブロック領域で得られた相関値が低い画像である。所定数としては、動きベクトル情報がある程度画像全体の変化量を表すように、例えばブロック領域数の半数を設定しておく。あるいは、シーン変化の大きさが表現できていない画像とは、相関値が低いブロック領域は前述の所定数より少ないが、得られた動きベクトルの長さが予め設定される所定の長さ以上である画像や、相関値が低いブロック領域は前述の所定数より少ないが、得られた動きベクトルの方向に規則性（例えば平行移動や回転、前進、後進等）がない画像、あるいはこれら２つの条件を満たす画像である。動きベクトルの長さが所定の長さ以上である画像をシーンチェンジ画像とするのは、動きベクトルが十分に短いと、撮像環境の変化によって動きベクトルの方向が規則性を持たない結果となる可能性があるためである。所定の長さとしては、例えば、ブロック領域の１辺の１／１６程度の長さを設定する。

続いて演算部７６０が、ｔの値が時系列画像を構成する最後の画像の画像番号か否かを判定することによって、次に処理対象とする画像の有無を判定する。最後の画像の画像番号でなければ（ステップａ１３：Ｎｏ）、画像番号ｔ＝ｔ＋１として処理対象画像の画像番号を変更し（ステップａ１５）、ステップａ３に戻る。

一方、最後の画像番号の場合には（ステップａ１１：Ｙｅｓ）、演算部７６０は、再度画像番号ｔを初期値に初期化する（ステップａ１７）。続いて、順位付け部７６３が、分類部７６２による処理対象画像Ｉ（ｔ）の分類結果をメモリ７５０から読み出して取得し（ステップａ１９）、処理対象画像Ｉ（ｔ）が分類されたグループを判定する（ステップａ２１）。そして、処理対象画像Ｉ（ｔ）の分類がグループＡの場合には、ベクトル情報順位付け部７６４がベクトル情報に基づく類似度順位付け処理を実行する（ステップａ２３）。図４は、ベクトル情報に基づく類似度順位付け処理の詳細な処理手順を示すフローチャートである。

ベクトル情報に基づく類似度順位付け処理では、ベクトル情報順位付け部７６４は先ず、分類部７６２によって算出された処理対象画像Ｉ（ｔ）の動きベクトル情報をメモリ７５０から読み出して取得する（ステップｂ１）。

続いて、ベクトル情報順位付け部７６４は、取得した動きベクトル情報をもとにしてベクトル類似度を算出する（ステップｂ３）。例えば先ず、相関値が予め設定される所定値以上の動きベクトル情報を選出し、相関値が低く検出結果の信頼性が低いと考えられる動きベクトル情報をベクトル類似度の算出対象から除外する。そして、選出した動きベクトル情報をもとに、その動きベクトルの大きさの平均値や最大値等の値を類似度パラメータの幅に正規化変換することによって、ベクトル類似度を算出する。

そして、ベクトル情報順位付け部７６４は、既に順位付けされたグループＡ内の画像のベクトル類似度とステップｂ３で算出した処理対象画像Ｉ（ｔ）のベクトル類似度とをもとに、これらの画像の動きベクトル情報による順位付けをソートして動きベクトル情報による順位付けを更新する（ステップｂ５）。このとき、例えば、ベクトル類似度が低い順番で並び替えを行い、順位付けを更新する。そして、図３のステップａ２３にリターンし、その後ステップａ２７に移る。

一方、図３のステップａ２１において判定した処理対象画像Ｉ（ｔ）の分類がグループＢの場合には、色情報順位付け部７６６が色情報に基づく類似度順位付け処理を実行する（ステップａ２５）。図５は、色情報に基づく類似度順位付け処理の詳細な処理手順を示すフローチャートである。

色情報に基づく類似度順位付け処理では、色情報順位付け部７６６は先ず、処理対象画像Ｉ（ｔ）および近傍画像Ｉ（ｔ−１）をそれぞれｎ×ｎサイズに低解像度化する（ステップｃ１）。ここで、色類似度は、画像間の色味の変化によってこの画像間の類似度をはかるものであり、例えば、ステップｃ３の処理によって処理対象画像Ｉ（ｔ）と近傍画像Ｉ（ｔ−１）との色差として算出される。ステップｃ１で行う低解像度化は、この色類似度の値に対し、各画像に映る被写体の輪郭等の構造的な特徴変化よりも、色味の変化を反映させるために行う。

例えば、ｎ＝２とし、低解像度化した画像の解像度を２×２のサイズとする。なお、ｎの値は適宜設定できるが、動きベクトル算出部７５３が行うブロックマッチングの際に近傍画像Ｉ（ｔ−１）に設定するブロック領域のサイズ（実施の形態１では、４×４のサイズ）より小さくなるように設定する。

また、低解像度化の手法としては、適宜の手法を用いることができるが、例えば、低解像度化した画像の画素値を処理対象画像Ｉ（ｔ）中の対応する画像領域の平均値として算出する手法を用いることができる。

続いて、色情報順位付け部７６６は、低解像度化を行った画像番号ｔの低解像度化画像と画像番号ｔ−１の低解像度化画像の各画像間の色差を算出する（ステップｃ３）。そして、色情報順位付け部７６６は、算出した色差をもとに処理対象画像Ｉ（ｔ）の色類似度を算出する（ステップｃ５）。例えば、次式（１）に従い、画像番号ｔの低解像度化画像と画像番号ｔ−１の低解像度化画像との色差をユークリッド距離を用いて算出する。そして、算出した色差の逆数を色類似度とする。ここで、（Ｒ_i1，Ｇ_i1，Ｂ_i1）は、画像番号ｔ−１の低解像度化画像中のｉ番目の領域の色ベクトルを表し、（Ｒ_i2，Ｇ_i2，Ｂ_i2）は、画像番号ｔの低解像度化画像中のｉ番目の領域の色ベクトルを表す。また、Ｎは、領域ｉの数（ｎ×ｎ）を表す。

なお、色類似度の算出手法はこれに限定されるものではない。例えば、画像番号ｔ，ｔ−１の低解像度化画像のＲＧＢ値からそれぞれ色相を算出し、画像間の色相の差を色差として算出することとしてもよい。そして、色相の差として算出した色差の逆数を色類似度として算出することとしてもよい。

そして、色情報順位付け部７６６は、既に順位付けされたグループＢ内の画像の色類似度とステップｃ５で算出した処理対象画像Ｉ（ｔ）の色類似度とをもとに、これらの画像の色情報による順位付けをソートして色情報による順位付けを更新する（ステップｃ７）。このとき、例えば、色類似度が低い順番で並び替えを行い、順位付けを更新する。そして、図３のステップａ２３にリターンし、その後ステップａ２７に移る。

すなわち、ステップａ２７では、演算部７６０が、ｔの値が時系列画像を構成する最後の画像の画像番号か否かを判定することによって、次に処理対象とする画像の有無を判定する。最後の画像の画像番号でなければ（ステップａ２７：Ｎｏ）、画像番号ｔ＝ｔ＋１として処理対象画像の画像番号を変更し（ステップａ２９）、ステップａ１９に戻る。

一方、最後の画像番号の場合には（ステップａ２７：Ｙｅｓ）、続いて順位付け統合部７６７が、各順位付けを統合して画像列の各画像に対する順位付けを行う（ステップａ３１）。具体的には、色情報順位付け部７６６による順位付けの後にベクトル情報順位付け部７６４による順位付けを加え、各画像を順位付ける。

以上説明したように、実施の形態１によれば、動きベクトル情報をもとにして判定した画像間のシーン変化が小さい画像については、ベクトル類似度に従った順位付けを行うことができる。一方、動きベクトル情報をもとにして判定した画像間のシーン変化が大きい画像については、色類似度に従った順位付けを行うことができる。したがって、時系列画像を構成する各画像に対し、画像間の類似性をもとにした順位付けを適切かつ確実に行うことができる。例えば、画像間でシーンが変化してしまう場合のように、動きベクトル情報を画像間の類似度判定の指標として用いるのに適切でない場合であっても、これらの画像の色情報を類似度判定の指標として用いることによって、時系列画像を構成する各画像を適切に順位付けることができる。

なお、以上のようにして順位付けされた時系列画像は、例えば、時系列画像を構成する各画像を表示部７３０に表示する際に参照することができる。例えば、類似度の高い画像をスキップして表示する際に、この順位付けに従ってスキップする画像を適切に選出できる。あるいは、類似度の高い画像の表示時間を短くし、類似度の低い画像の表示時間を長くして表示するといったこともできる。これによれば、画像列を構成する画像の効率的な表示が実現できる。したがって、医師等の観察者は、膨大な枚数の画像の中から変化の大きい画像を効率的に観察でき、観察者の負担を軽減することが可能となる。

また、上記した実施の形態では、時系列画像を構成する全ての画像に対し、構造的な特徴と色味とを考慮した順位付けを行うため、例えば、要約画像の枚数を指定する場合等、類似性に合った類似順に所定の画像枚数を取得することが可能となる。

（実施の形態２）
次に、実施の形態２について説明する。図６は、実施の形態２における画像処理装置７０ｂの機能構成を示すブロック図である。なお、実施の形態１と同一の構成については、同一の符号を付している。実施の形態２では、画像処理装置７０ｂは、外部インターフェース７１０と、操作部７２０と、表示部７３０と、記憶部７４０ｂと、メモリ７５０と、演算部７６０ｂと、画像処理装置７０ｂ全体の動作を制御する制御部７７０とを備える。また、記憶部７４０ｂには、画像処理プログラム７４１ｂが格納される。

また、演算部７６０ｂは、画像取得部７６１と、分類部７６２ｂと、順位付け部７６３ｂと、順位付け統合部７６７ｂとを含む。

実施の形態２では、分類部７６２ｂは、時系列画像を構成する各画像の動きをパターン分類し、パターン分類可能な画像を第３のグループであるグループＨに分類する。そして、分類部７６２ｂは、パターン分類できない画像についてシーン変化の大小を判定し、シーン変化が小さいと判定した画像を第１のグループであるグループＩに分類し、シーン変化が大きいと判定した画像を第２のグループであるグループＪ（シーンチェンジ）に分類する。

順位付け部７６３ｂは、分類部７６２ｂによってグループＨに分類された画像をグループＨ内で順位付けし、グループＩに分類された画像をグループＩ内で順位付けし、グループＪに分類された画像をグループＪ内で順位付けする。この順位付け部７６３ｂは、パターン情報順位付け部７６８ｂと、ベクトル情報順位付け部７６４と、色情報順位付け部７６６とを有する。そして、パターン情報順位付け部７６８ｂは、グループＨに分類された画像について、動きベクトル情報および動きパターン情報をもとに重み付き画像変化量を算出する。そして、パターン情報順位付け部７６８ｂは、算出した重み付き画像変化量に従ってグループＨ内の画像を順位付ける。

順位付け統合部７６７ｂは、パターン情報順位付け部７６８ｂによる順位付け結果とベクトル情報順位付け部７６４による順位付け結果と色情報順位付け部７６６による順位付け結果とを統合し、時系列画像を構成する各画像の順位付けを行う。

図７は、実施の形態２の画像処理装置７０ｂが行う処理手順を示すフローチャートである。ここで説明する処理は、演算部７６０ｂが記憶部７４０ｂに格納された画像処理プログラム７４１ｂを実行することにより実現される。

図７に示すように、先ず演算部７６０ｂが、画像番号ｔを初期値に初期化する（ステップｄ１）。そして、画像取得部７６１が、可搬型記録媒体５０に蓄積された処理対象画像である画像番号ｔの画像Ｉ（ｔ）および近傍画像である画像番号ｔ−１の画像Ｉ（ｔ−１）の画像データを取得する（ステップｄ３）。

続いて、分類部７６２ｂが、処理対象画像Ｉ（ｔ）と近傍画像Ｉ（ｔ−１）との間で動きベクトル情報を算出する（ステップｄ５）。

そして、分類部７６２ｂは、算出した動きベクトル情報をもとに処理対象画像Ｉ（ｔ）の動きをパターン分類し、分類された動きパターンを判定する（ステップｄ７）。具体的には、分類部７６２ｂは、算出した動きベクトル情報を構成する各動きベクトルの配向特性から視野の動きを推定することによって画像の動きパターンを判定し、パターン分類を行う。本実施の形態では、各画像を、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の３つの動きパターンのいずれかに分類する。分類された動きパターンの情報（動きパターン情報）は、画像番号ｔと対応付けてメモリ７５０に格納しておく。

図８は、動きパターンが「平行移動」にパターン分類される画像内の動きベクトルを示す図である。図８に示すように、処理対象画像内で検出された各動きベクトルＶ１１がほぼ同じ方向を向いており、大きさもほぼ等しい場合、この画像の視野は、近傍画像との間で横にスライド（平行移動）していると推定できる。このような場合には、画像の動きパターンを「平行移動」に分類する。具体的な処理手順としては、例えば、各動きベクトルの向きを判定する。そして、各動きベクトルの向きがほぼ同じ方向を向いている場合に、動きベクトルの向きの分散値を算出する。そして、算出した分散値を閾値処理し、予め設定される閾値より小さい場合に、その画像の動きパターンを「平行移動」に分類する。

図９は、動きパターンが「撮像対象から遠ざかる動き」にパターン分類される画像内の動きベクトルを示す図である。図９に示すように、処理対象画像内で検出された各動きベクトルＶ１３が画像内のある１点（中心）に集束するように配向している場合、この画像の視野は、近傍画像との間でその視野範囲内の撮像対象が遠ざかるように移動していると推定できる。ここで、視野範囲がこのように動く場合、図９に示すように、各動きベクトルの大きさが中心に近づくにつれて小さく変化している。このような場合には、画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの終点が１点に集束する場合に、この画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。

図１０は、動きパターンが「撮像対象が近づく動き」にパターン分類される画像内の動きベクトルを示す図である。図１０に示すように、処理対象画像内で検出された各動きベクトルＶ１５が画像内のある１点（中心）から放射状に発散するように配向している場合、この画像の視野は、近傍画像との間でその視野範囲内の撮像対象が近づくように移動していると推定できる。ここで、視野範囲がこのように動く場合、図１０に示すように各動きベクトルの大きさが中心に近づくにつれて大きく変化している。このような場合には、画像の動きパターンを「撮像対象が近づく動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの始点が１点に集束する場合に、この画像の動きパターンを「撮像対象が近づく動き」に分類する。

なお、パターン分類の手法はこれに限定されるものではなく、さらに細かく分類することとしてもよい。例えば、「平行移動」に分類された画像を、その平行移動の方向に応じてさらに分類することとしてもよい。また、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像を、その中心の位置に応じてさらに分類することとしてもよい。また、例示した「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」以外の動きパターンに分類することとしてもよく、各動きパターンのパターン分類条件は、任意に定義しておくことができる。

そして、図７に示すように、分類部７６２ｂは、処理対象画像Ｉ（ｔ）がいずれかの動きパターンに分類可能な場合には、処理対象画像Ｉ（ｔ）をグループＨに分類する（ステップｄ９）。

一方、処理対象画像Ｉ（ｔ）がいずれの動きパターンにも分類できない場合には、続いて分類部７６２ｂは、動きベクトル情報をもとにシーン変化の大小を判定する（ステップｄ１１）。例えば、分類部７６２ｂは、動きベクトル情報をもとに、ブロック領域毎の相関値の平均値または最大値を閾値処理することによって、シーン変化の大小を判定する。

そして、分類部７６２ｂは、ステップｄ１１においてシーン変化が小さいと判定した処理対象画像Ｉ（ｔ）をグループＩに分類する（ステップｄ１３）。一方、分類部７６２ｂは、シーン変化が大きいと判定した処理対象画像Ｉ（Ｉ）をグループＪ（シーンチェンジ）に分類する（ステップｄ１５）。

続いて演算部７６０ｂが、ｔの値が時系列画像を構成する最後の画像の画像番号か否かを判定することによって、次に処理対象とする画像の有無を判定する。最後の画像の画像番号でなければ（ステップｄ１７：Ｎｏ）、画像番号ｔ＝ｔ＋１として処理対象画像の画像番号を変更し（ステップｄ１９）、ステップｄ３に戻る。

一方、最後の画像番号の場合には（ステップｄ１７：Ｙｅｓ）、演算部７６０ｂは、再度画像番号ｔを初期値初期化する（ステップｄ２１）。続いて、順位付け部７６３ｂが、分類部７６２ｂによる処理対象画像Ｉ（ｔ）の分類結果をメモリ７５０から読み出して取得し（ステップｄ２３）、処理対象画像Ｉ（ｔ）が分類されたグループを判定する（ステップｄ２５）。そして、処理対象画像Ｉ（ｔ）の分類がグループＨの場合には、パターン情報順位付け部７６８ｂがパターン情報に基づく類似度順位付け処理を実行し（ステップｄ２７）、その後ステップｄ３３に移る。

また、処理対象画像Ｉ（ｔ）の分類がグループＩの場合には、ベクトル情報順位付け部７６４がベクトル情報に基づく類似度順位付け処理を実行し（ステップｄ２９）、その後ステップｄ３３に移る。このベクトル情報に基づく類似度順位付け処理は、実施の形態１で図４に示して説明した処理と同様の処理手順で行う。

また、処理対象画像Ｉ（ｔ）の分類がグループＪの場合には、色情報順位付け部７６６が色情報に基づく類似度順位付け処理を実行し（ステップｄ３１）、その後ステップｄ３３に移る。この色情報に基づく類似度順位付け処理は、実施の形態１で図５に示して説明した処理と同様の処理手順で行う。

すなわち、ステップｄ３３では、演算部７６０ｂが、ｔの値が時系列画像を構成する最後の画像の画像番号か否かを判定することによって、次に処理対象とする画像の有無を判定する。最後の画像の画像番号でなければ（ステップｄ３３：Ｎｏ）、画像番号ｔ＝ｔ＋１として処理対象画像の画像番号を変更し（ステップｄ３５）、ステップｄ２３に戻る。

一方、最後の画像番号の場合には（ステップｄ３３：Ｙｅｓ）、続いて順位付け統合部７６７ｂが、各順位付けを統合して画像列の各画像に対する順位付けを行う（ステップｄ３７）。具体的には、色情報順位付け部７６６による順位付けの後にベクトル情報順位付け部７６４による順位付けを加え、さらにその後に、パターン情報順位付け部７６８ｂによる順位付けを加え、各画像を順位付ける。

次に、図７のステップｄ２７で実行するパターン情報に基づく類似度順位付け処理について説明する。図１１は、パターン情報に基づく類似度順位付け処理の詳細な処理手順を示すフローチャートである。

パターン情報に基づく類似度順位付け処理では、パターン情報順位付け部７６８ｂは先ず、分類部７６２ｂによって算出された処理対象画像Ｉ（ｔ）の動きベクトル情報および分類された処理対象画像Ｉ（ｔ）の動きパターン情報をメモリ７５０から読み出して取得する（ステップｅ１）。

続いて、パターン情報順位付け部７６８ｂは、取得した処理対象画像Ｉ（ｔ）の動きベクトル情報および動きパターン情報を用いて処理対象画像Ｉ（ｔ）と近傍画像Ｉ（ｔ−１）との間の画像変化量を算出する（ステップｅ３）。

ここで、動きベクトルが正しく検出できている場合には、この動きベクトルの大きさが画像間の画像変化を表す指標となる。一方で、動きパターンによって画像内の各動きベクトルの大きさの傾向が異なる。そこで、各動きベクトルの大きさを用い、動きパターンに応じた各動きベクトルそれぞれの大きさの傾向に従って画像変化量を算出する。より具体的には、例えば各動きベクトルの大きさに基づくパラメータ値を用いて画像変化量を算出する。

例えば、動きパターンが「平行移動」の画像の動きベクトルは、上記のように、それぞれがほぼ同じ方向を向き、大きさもほぼ等しい。したがって、処理対象画像Ｉ（ｔ）の動きパターンが「平行移動」の場合には、処理対象画像Ｉ（ｔ）内の動きベクトルの大きさの平均値を画像変化量として算出する。

また、上記のように、動きパターンが「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の画像の動きベクトルは、その大きさが中心からの距離に応じて変化する。したがって、処理対象画像Ｉ（ｔ）の動きパターンが「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の場合には、処理対象画像Ｉ（ｔ）内の動きベクトルの大きさの中間値や最大値、最小値を画像変化量として算出する。なお、動きベクトルの大きさの平均値を画像変化量として算出することとしてもよい。

続いて、パターン情報順位付け部７６８ｂは、算出した画像変化量に対して予めその動きパターンに設定された重み係数を重み付けし、重み付き画像変化量を算出する（ステップｅ５）。ここで、重み係数は、各パターン分類に対して個別に設定され、例えば、「撮像対象が遠ざかる動き」や「撮像対象が近づく動き」について設定する重み係数と比較して、「平行移動」について設定する重み係数を大きく設定する。これは、各動きパターンを比較すると、「平行移動」では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比較してその視野内の撮像対象が視野から外れる速さが速く、隣接する画像間での撮像対象の見え方の変化が小さいことに基づく。

図１２は、動きパターンが「平行移動」にパターン分類された撮像順が隣接する４枚の画像（ａ）〜（ｄ）の一例を示す模式図であり、画像中に映る撮像対象Ｏ１１の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトルを示している。そして、図１３は、動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する４枚の画像（ａ）〜（ｄ）の一例を示す模式図であり、画像中に映る撮像対象Ｏ１３の画像間での見え方の変化を示している。また、各画像において、その画像内で検出された動きベクトルを示している。さらに、図１４は、動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する４枚の画像（ａ）〜（ｄ）の一例を示す模式図であり、画像中に映る撮像対象Ｏ１５の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトルを示している。

図１２〜図１４に示すように、視野が「平行移動」の動きをしている場合と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」をしている場合とでは、動きベクトルの大きさがほぼ等しい場合であっても、各画像に映る撮像対象の見え方の変化は異なり、撮像対象が視野から消失する速さも異なる。例えば、図１２に示す視野が「平行移動」の動きをしている場合の撮像対象Ｏ１１の見え方の変化は、図１３に示す「撮像対象が遠ざかる動き」をしている場合の撮像対象Ｏ１３の見え方の変化や、図１４に示す「撮像対象が近づく動き」をしている場合の撮像対象Ｏ１５の見え方の変化と比べて速く、撮像対象Ｏ１１が視野から消失する速さも速い。

すなわち、図１２に示す「平行移動」の例では、３枚目（ｃ）で撮像対象Ｏ１１の一部が視野から外れており、４枚目（ｄ）では完全に視野から外れて消失している。これに対し、図１３に示す「撮像対象が遠ざかる動き」の例では、図１２の場合と動きベクトルの大きさがほぼ同じにも関わらず、４枚目（ｄ）の画像中に撮像対象Ｏ１３が映っており、視野から外れていない。したがって、「平行移動」に分類された画像の画像変化量と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像の画像変化量とが同程度の場合であっても、「平行移動」の方が撮像対象の動きが大きい。図１４の場合も同様であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比べて「平行移動」の重要度が高いといえる。

そこで、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の重み係数に対して「平行移動」の重み係数を大きく設定する。そして、この重み係数を画像変化量に統合する。

具体的には、パターン情報順位付け部７６８ｂは、次式（２）に従って重み付き画像変化量を算出する。ここで、ＩｍｇＭｏｖ（ｊ）は画像列のｊ番目の画像について算出された画像変化量を表し、Ｗ_ImgMov(k)はｋ番目のパターン分類に設定された重み係数を表す。

そして、図１１に示すように、パターン情報順位付け部７６８ｂは、既に順位付けされたグループＨ内の画像の重み付き画像変化量とステップｅ５で算出した処理対象画像Ｉ（ｔ）の重み付き画像変化量とをもとに、これらの画像の動きパターン情報による順位付けをソートして動きパターン情報による順位付けを更新する（ステップｅ７）。このとき、例えば、重み付き画像変化量が大きい順番で並び替えを行い、順位付けを更新する。そして、図７のステップｄ３１にリターンする。

以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏することができる。また、時系列画像を構成する各画像を所定の動きパターンにパターン分類可能か否かによってグループ分けし、パターン分類可能な画像については、その動きベクトル情報および動きパターン情報を用いて重み付き画像変化量を算出し、この重み付き画像変化量に従った順序付けを行うことができる。したがって、動きベクトル情報を用いた順位付けの精度を向上させることができる。

なお、上記した実施の形態では、カプセル内視鏡が体内管空内を移動しながら連続的に撮像した画像を処理する場合について説明したが、処理可能な画像はカプセル内視鏡が体内管空内を撮像して得た画像に限定されるものではなく、複数の画像で構成される時系列画像を処理する場合であれば同様に適用することができる。

実施の形態１の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 実施の形態１の画像処理装置の機能構成を示すブロック図である。 実施の形態１の画像処理装置が行う処理手順を示すフローチャートである。 ベクトル情報に基づく類似度順位付け処理の詳細な処理手順を示すフローチャートである。 色情報に基づく類似度順位付け処理の詳細な処理手順を示すフローチャートである。 実施の形態２の画像処理装置の機能構成を示すブロック図である。 実施の形態２の画像処理装置が行う処理手順を示すフローチャートである。 動きパターンが「平行移動」にパターン分類される画像内の動きベクトルを示す図である。 動きパターンが「撮像対象から遠ざかる動き」にパターン分類される画像内の動きベクトルを示す図である。 動きパターンが「撮像対象が近づく動き」にパターン分類される画像内の動きベクトルを示す図である。 パターン情報に基づく類似度順位付け処理の詳細な処理手順を示すフローチャートである。 動きパターンが「平行移動」にパターン分類された撮像順が隣接する４枚の画像の一例を示す模式図である。 動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する４枚の画像の一例を示す模式図である。 動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する４枚の画像の一例を示す模式図である。

符号の説明

１０ カプセル内視鏡
３０ 受信装置
Ａ１〜Ａｎ 受信アンテナ
５０ 可搬型記録媒体
７０，７０ｂ 画像処理装置
７１０ 外部インターフェース
７２０ 操作部
７３０ 表示部
７４０，７４０ｂ 記憶部
７４１，７４１ｂ 画像処理プログラム
７５０ メモリ
７６０，７６０ｂ 演算部
７６１ 画像取得部
７６２，７６２ｂ 分類部
７６３，７６３ｂ 順位付け部
７６４ ベクトル情報順位付け部
７６６ 色情報順位付け部
７６８ｂ パターン情報順位付け部
７６７，７６７ｂ 順位付け統合部
７７０ 制御部
１ 被検体

Claims (10)

1. 複数の画像で構成される時系列画像を取得する画像取得部と、
   前記時系列画像を構成する画像間の動きベクトル情報をもとに、前記複数の画像それぞれを第１のグループまたは第２のグループに分類する分類部と、
   前記第１のグループに分類された画像に対し、前記画像間の動きベクトル情報に基づくベクトル類似度を用いた順位付けを行うとともに、前記第２のグループに分類された画像に対し、前記画像の色情報に基づく色類似度を用いて順位付けを行う順位付け部と、
   前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けとを統合することによって、前記複数の画像を順位付ける統合部と、
   を備えることを特徴とする画像処理装置。
2. 前記分類部は、前記時系列画像を構成する画像内を複数のブロックに分割し、前記画像と該画像の近傍画像との間で前記分割したブロック毎にブロックマッチングを行うことによって、前記画像間の動きベクトル情報を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記順位付け部は、前記第２のグループに分類された画像および該画像の近傍画像の色情報をもとに色差を算出し、該算出した色差をもとに前記第２のグループに分類された画像の色類似度を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記順位付け部は、前記第２のグループに分類された画像および前記近傍画像を低解像度化し、該低解像度化した各画像の色情報をもとに前記色差を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記順位付け部は、前記第１のグループに分類された画像を前記ベクトル類似度が低い順番で順位付けするとともに、前記第２のグループに分類された画像を前記色類似度が低い順番で順位付けし、
   前記統合部は、前記第２のグループに分類された画像の順位付けに、前記第１のグループに分類された画像の順位付けを加えることによって前記複数の画像を順位付けることを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記分類部は、前記画像間の動きベクトル情報をもとに前記複数の画像それぞれを所定の動きパターンにパターン分類し、該パターン分類の結果前記動きパターンに分類可能な画像を第３のグループに分類するとともに、前記画像間の動きベクトル情報をもとに、前記複数の画像のうちの前記動きパターンに分類不可能な画像それぞれを前記第１のグループまたは前記第２のグループに分類し、
   前記順位付け部は、前記画像間の動きベクトル情報をもとに前記第３のグループに分類された画像の画像変化量を算出し、該算出した画像変化量を用いて前記第３のグループに分類された画像の順位付けを行い、
   前記統合部は、前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けと、前記第３のグループに分類された画像について行った順位付けとを統合することを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
7. 前記順位付け部は、前記画像変化量をパターン分類結果に応じて重み付けし、該重み付けした画像変化量を用いて前記第３のグループに分類された画像の順位付けを行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記順位付け部は、前記第３のグループに分類された画像を前記画像変化量が大きい順番で順位付けを行い、
   前記統合部は、前記第２のグループに分類された画像の順位付けに、前記第１のグループに分類された画像の順位付けを加え、さらに前記第３のグループに分類された画像の順位付けを加えることによって前記複数の画像を順位付けることを特徴とする請求項６または７に記載の画像処理装置。
9. コンピュータに、
   複数の画像で構成される時系列画像を取得する画像取得手順と、
   前記時系列画像を構成する画像間の動きベクトル情報をもとに、前記複数の画像それぞれを第１のグループまたは第２のグループに分類する分類手順と、
   前記第１のグループに分類された画像に対し、前記画像間の動きベクトル情報に基づくベクトル類似度を用いた順位付けを行うとともに、前記第２のグループに分類された画像に対し、前記画像の色情報に基づく色類似度を用いて順位付けを行う順位付け手順と、
   前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けとを統合することによって、前記複数の画像を順位付ける統合手順と、
   を実行させることを特徴とする画像処理プログラム。
10. 複数の画像で構成される時系列画像を取得する画像取得ステップと、
    前記時系列画像を構成する画像間の動きベクトル情報をもとに、前記複数の画像それぞれを第１のグループまたは第２のグループに分類する分類ステップと、
    前記第１のグループに分類された画像に対し、前記画像間の動きベクトル情報に基づくベクトル類似度を用いた順位付けを行うとともに、前記第２のグループに分類された画像に対し、前記画像の色情報に基づく色類似度を用いて順位付けを行う順位付けステップと、
    前記第１のグループに分類された画像について行った順位付けと、前記第２のグループに分類された画像について行った順位付けとを統合することによって、前記複数の画像を順位付ける統合ステップと、
    を含むことを特徴とする画像処理方法。

Images