JP2009260526A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】探索処理のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができるようにする。
【解決手段】特徴量比較部１３３は、探索元特徴量計算部１２３より供給される探索元フレームの特徴量と、探索先特徴量データ保持部１１４より読み出される探索先フレームの特徴量を比較する。探索解フレーム候補選択部１４１は、比較結果に基づいて、探索先フレームの中から探索解フレーム候補を選択する。特徴比較制御部１４４は、探索元特徴量選択部１２２および探索先特徴量選択部１３１に対して、互いに同種類の特徴量を選択させる。特徴量比較部１３３は、探索元フレームと探索解フレーム候補について、探索元特徴量選択部１２２および探索先特徴量選択部１３１に選択された特徴量を比較する。本発明は、例えば、フレーム探索装置に適用することができる。
【選択図】図２

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、探索処理のデータ変化に対するロバスト性を向上させることができることができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、画像の特徴に基づいて、動画像の中から所望のフレーム画像を探索する画像フレーム探索技術がある（例えば、特許文献１参照）。そのようなフレーム探索を行う情報処理装置は、例えば、探索元となる所望のフレーム画像の特徴を、予め蓄積されている、探索先となる動画像データの中の各フレーム画像の特徴と比較し、所望のフレーム画像の特徴と一致する特徴を有するフレーム画像を探索結果とする。

特開２００７−２３５３７４号公報

しかしながら、このような探索は、画像データより得られる特徴量に基づいて行われるため、探索元のフレーム画像と探索先のフレーム画像の、データとしての素姓が互いに同一である必要があった。つまり、探索元のフレーム画像と、データとして１ビットの狂いもなく完全に一致するフレーム画像が探索先の動画像データに存在する必要があった。そのため、例えば、特許文献１に記載のように、探索先の画像データと同一の画像データを探索元とする場合であっても、探索先の画像データに対してノイズ成分の重畳や画質調整等が施されると、探索時に探索元と探索先とで画像データが互いに一致せず、探索が失敗してしまう恐れがあった。

そこで、例えば、探索元のフレーム画像の特徴に最も近似するフレーム画像を探索する方法も考えられる。しかしながら、信号劣化や画質調整等によるデータ変化によってフレーム画像の特徴も変化する恐れがある。つまり、その特徴の変化によって、探索元のフレーム画像と本来同一であったフレーム画像よりも他のフレーム画像の特徴量の方が探索元のフレーム画像の特徴量に近似してしまい、正確に探索を行うことができない恐れがあった。

本発明はこのような問題を解決するためのものであり、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができるようにするものである。

本発明の一側面は、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する抽出手段と、前記抽出手段により抽出された前記探索元フレームの特徴量と、前記複数の探索先フレームの特徴量を比較し、所定の基準に基づいて一致するか否かを判定する比較手段と、前記比較手段を制御し、前記探索元フレームに一致すると判定されるフレームを絞り込むように、前記比較を階層的に複数回実行させる階層制御手段とを備える情報処理装置である。

前記階層制御手段は、前記比較手段を制御し、１回目の比較においては、前記探索元フレームの特徴量と、全ての前記探索先フレームの特徴量を比較させ、所定の基準に基づいて一致するか否かを判定させ、２回目以降の比較においては、前記探索元フレームの特徴量と、前回の比較において前記探索元フレームに一致すると判定された探索先フレームの特徴量を比較させ、所定の基準に基づいて一致するか否かを判定させ、最後の比較においては、前記探索元フレームの特徴量と、前回の比較において前記探索元フレームに一致すると判定された探索先フレームの特徴量を比較させ、所定の基準に基づいて、前記探索元フレームに一致するフレームとして１つのフレームを選択させることができる。

前記階層制御手段は、前記比較手段を制御し、最後以外の比較においては、フレーム内の輝度値の統計情報を前記特徴量とし、前記最後の比較においては、複数のフレーム間の輝度値の差分の統計量を前記特徴量とすることができる。

前記階層制御手段は、前記比較手段を制御し、前記最後の比較において、前記探索元フレームに一致するフレームとして１つのフレームを選択することができない場合、その旨を通知させることができる。

前記階層制御手段は、前記比較手段を制御し、前記最後以外の比較において、前記探索元フレームに一致するフレームが１つのフレームに絞り込まれた場合、その旨を通知させることができる。

前記抽出手段は、前記探索元フレームおよび全ての前記探索先フレームより複数種類の特徴量を抽出し、前記階層制御手段は、前記比較手段を制御し、各階層において互いに異なる特徴量を比較させることができる。

本発明の一側面は、また、抽出手段が、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出し、比較手段が、前記抽出手段により抽出された前記探索元フレームの特徴量と、前記複数の探索先フレームの特徴量を比較し、所定の基準に基づいて一致するか否かを判定し、階層制御手段が、前記比較手段を制御し、前記探索元フレームに一致すると判定されるフレームを絞り込むように、前記比較を階層的に複数回実行させる情報処理方法である。

本発明の一側面は、さらに、コンピュータを、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する抽出手段、前記抽出手段により抽出された前記探索元フレームの特徴量と、前記複数の探索先フレームの特徴量を比較し、所定の基準に基づいて一致するか否かを判定する比較手段、前記比較手段を制御し、前記探索元フレームに一致すると判定されるフレームを絞り込むように、前記比較を階層的に複数回実行させる階層制御手段として機能させるためのプログラムである。

本発明の一側面においては、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量が抽出され、抽出された探索元フレームの特徴量と、複数の探索先フレームの特徴量が比較され、所定の基準に基づいて一致するか否かが判定され、探索元フレームに一致すると判定されるフレームを絞り込むように、比較が階層的に複数回実行される。

本発明によれば、探索処理を行うことができる。特に、探索処理のデータ変化に対するロバスト性を向上させることができる。

最初に、本発明を適用したフレーム探索の概要を、図１を参照して説明する。ここで、フレーム探索は、探索元フレーム画像１と同一の絵柄のフレーム画像を探索先フレーム２の中から探索する処理である。ここで、図１に示されるように、探索元フレーム１は、１枚のフレーム画像データよりなり、探索先フレーム２は複数のフレーム画像よりなる動画像データである。また、探索元フレーム１は、探索先フレーム２のフレーム画像群より抽出された１枚のフレーム画像である。ただし、その抽出後に、探索元フレーム１または探索先フレーム２のうち少なくとも一方が信号劣化や画質調整等によりデータ変化している可能性があるものとする。つまり、元々探索元フレーム画像１と同一のフレーム画像が探索先フレーム２の中に存在するが、そのフレーム画像と探索元フレーム画像１がデータとして１ビットの狂いも無く完全一致するとは限らない。

このような探索元フレーム１と探索先フレーム２を用いたフレーム探索において、データ変化に対するロバスト性を向上させるために、探索元と探索先の１回のマッチングで探索元フレーム１に一致する探索解フレームを求めるのではなく、探索処理を階層化し、探索元と探索先のマッチングを複数回繰り返すことにより、徐々に探索解フレームの候補を絞り込んでいき、最後のマッチングで１つの探索解フレームを求めるようにする。

例えば、図１に示されるように、第１階層マッチング処理により、８枚のフレーム画像よりなる探索先フレーム２の中から、６枚の探索解フレーム候補（探索解フレーム候補３Ａ乃至探索解フレーム候補３Ｆ）が選出される。次に、その探索解フレーム候補３Ａ乃至探索解フレーム候補３Ｆに対して第２階層マッチング処理が行われ、探索解フレーム候補がさらに絞り込まれる。以上のようなマッチング処理が、１つ前のマッチング処理において選出された探索解フレーム候補に対して繰り返される。そして、第（Ｎ−１）階層マッチング処理により選出された３枚の探索解フレーム候補（探索解フレーム候補３Ｃ、探索解フレーム候補３Ｄ、および探索解フレーム候補３Ｅ）に対して最後の第Ｎ階層マッチング処理が施され、１枚の探索解フレーム４が選出される。なお、Ｎは「２」以上の整数である。

以上のように、最後のマッチング処理で無い、第１階層マッチング処理乃至第（Ｎ−１）階層マッチング処理は、探索解フレーム候補を絞り込む（候補の数を減少させる）ように行われ、最後のマッチング処理である第Ｎ階層マッチング処理は、１つの探索解フレームを求めるようにマッチング処理が行われる。

以上のように、本発明を適用したフレーム探索は、２種類の（多段階に）マッチング処理を行うことにより、仮に探索先フレーム２の中に互いに似たような絵柄の画像が含まれていたり、データに信号劣化等によるデータ変化が含まれていたりする場合であっても、より多様な条件でマッチングを行うことができるので、正しい探索解フレームを求めることができる。つまり、データ変化に対してロバスト性の強いフレーム探索を行うことができる。また、探索元に一致する可能性の低いフレーム画像を優先的に候補から外すことができるので、より正確にフレーム探索を行うことができるだけでなく、探索処理の負荷の増大を抑制することができ、処理の高速化を実現することができる。

次に、このようなフレーム探索を行う装置について説明する。なお、以下において、動画像をプログレッシブ方式とし、フレーム画像単位で処理するように説明するが、インタレース方式の動画像をフィールド単位で処理するようにしてももちろんよい。その場合、フレーム画像をフィールド画像に置き換えることにより、以下の説明を適用することができる。

図２は、本発明を適用したフレーム探索装置の主な構成例を示すブロック図である。図２に示されるようにフレーム探索装置１００は、探索先とする動画像データより各フレーム画像の特徴量を抽出する探索先特徴量抽出処理部１０１、および、フレーム画像の探索を行う探索処理部１０２を有する。

探索先特徴量抽出処理部１０１は、探索先動画像データ保持部１１１、探索先フレーム選択部１１２、探索先特徴量計算部１１３、および探索先特徴量データ保持部１１４を有する。

探索先動画像データ保持部１１１は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、探索先フレーム（探索元フレームと一致するフレーム画像の探索対象）とするフレーム画像群よりなる動画像データである探索先動画像データを保持する。探索先フレーム選択部１１２は、探索先動画像データ保持部１１１に保持されている探索先動画像データより、特徴量を抽出するフレーム画像（探索先フレーム）を選択する。探索先動画像データ保持部１１１は、探索先フレーム選択部１１２により選択されたフレーム画像のデータを探索先特徴量計算部１１３に供給する。

探索先特徴量計算部１１３は、Ｎ個（Ｎは自然数）の特徴量計算部（特徴量１計算部１１３−１、特徴量２計算部１１３−２、・・・、特徴量Ｎ計算部１１３−Ｎ）を有し、それぞれにおいて、入力されたフレーム画像（探索先フレーム）について、互いに異なる特徴量を計算する。つまり、特徴量１計算部１１３−１は、探索先フレームの所定の特徴量１を計算し、特徴量２計算部１１３−２は、特徴量１とは異なる探索先フレームの所定の特徴量２を計算し、特徴量Ｎ計算部１１３−Ｎは、特徴量１および特徴量２とは異なる探索先フレームの所定の特徴量Ｎを計算する。探索先特徴量計算部１１３は、以上のように算出されたＮ個の特徴量を、探索先特徴量データ保持部１１４に供給する。

つまり、探索先特徴量計算部１１３は、複数の特徴量を算出する。なお、探索先特徴量計算部１１３が算出する特徴量の種類数は複数であれば任意である。ただし、一般的には、探索先特徴量計算部１１３がより多くの種類の特徴量を算出する方が、フレーム探索装置１００は、そのより多くの特徴量を用いて探索を行うことができ、より正確はフレーム探索を行うことができる。ただし、その分特徴量計算の負荷が増大するので、不要な特徴量の算出は望ましくない。

探索先特徴量データ保持部１１４は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給されたＮ個の特徴量を、対応するフレーム画像毎に保持する。

探索先フレーム選択部１１２は、マッチング処理の前に、探索先動画像データ保持部１１１に保持されている動画像データについて、探索先フレームとする全てのフレーム画像を順次選択し、探索先特徴量計算部１１３に各フレーム画像の特徴量を全て抽出させ、探索先特徴量データ保持部１１４に保持させる。

探索処理部１０２は、探索元フレーム画像データ保持部１２１、探索元特徴量選択部１２２、および探索元特徴量計算部１２３を有する。探索処理部１０２は、さらに、探索先特徴量選択部１３１、探索先フレーム選択部１３２、特徴量比較部１３３、および比較結果保持部１３４を有する。探索処理部１０２は、さらに、探索解フレーム候補選択部１４１、探索解フレーム候補保持部１４２、探索解フレーム決定部１４３、特徴比較制御部１４４、および探索解フレーム出力部１４５を有する。

探索元フレーム画像データ保持部１２１は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、探索元とするフレーム画像のデータを保持する。探索元（探索するもの）は１枚のフレーム画像であるので、探索元フレーム画像データ保持部１２１は、少なくともその探索元とするフレーム画像のデータを保持すればよい。

ただし、以下においては、探索元フレーム画像データ保持部１２１が動画像データを保持し、探索先動画像データ保持部１１１には、探索元フレーム画像データ保持部１２１に保持されている動画像データにノイズ成分が重畳されたり画質調整が施されたりした動画像データが保持されるものとする（またはその逆でもよい）。また、探索元フレームを、探索元フレーム画像データ保持部１２１に保持されている動画像データより選択される１枚のフレーム画像とする。

探索元フレーム画像データ保持部１２１は、必要に応じて、保持する動画像データより、探索元フレームを抽出し、探索元特徴量計算部１２３に供給する。

探索元特徴量選択部１２２は、特徴比較制御部１４４より取得する情報に基づいて、探索元特徴量計算部１２３を制御し、実行する計算部を選択することにより、探索元フレームより抽出する特徴量（つまり、マッチング（特徴量比較）に用いる特徴量）を選択する。探索元特徴量計算部１２３は、探索先特徴量計算部１１３が算出する特徴量と同種の特徴量を算出する。つまり、探索元特徴量計算部１２３は、Ｎ個（Ｎは自然数）の特徴量計算部（特徴量１計算部１２３−１、特徴量２計算部１２３−２、・・・、特徴量Ｎ計算部１２３−Ｎ）を有しており、これらのうち、探索元特徴量選択部１２２により選択された計算部を用いて、その計算部に対応する特徴量を計算する。

特徴量１計算部１２３−１は、特徴量１計算部１１３−１に対応し、特徴量１を計算する。特徴量２計算部１２３−２は、特徴量２計算部１１３−２に対応し、特徴量２を計算する。特徴量Ｎ計算部１２３−Ｎは、特徴量Ｎ計算部１１３−Ｎに対応し、特徴量Ｎを計算する。探索元特徴量計算部１２３は、これらの特徴量のうちいずれかを算出し、探索元特徴量比較部１３３に供給する。

探索先特徴量選択部１３１は、特徴比較制御部１４４より取得する情報に基づいて、探索先フレームの、マッチング（特徴量比較）に用いる特徴量を選択する。

探索先フレーム選択部１３２は、探索先特徴量データ保持部１１４を制御することにより、探索先フレームとするフレーム画像（特徴量を比較するフレーム画像）を選択する。探索先特徴量データ保持部１１４には予め算出された特徴量が、フレーム画像毎に蓄積されている。探索先フレーム選択部１３２は、探索先フレームとするフレーム画像を選択することにより、探索先特徴量データ保持部１１４より読みだし可能な特徴量を制限する。つまり、探索先特徴量データ保持部１１４からは、探索先フレーム選択部１３２により選択されたフレーム画像の特徴量しか読み出すことができない。したがって、探索先特徴量選択部１３１が特徴量を選択すると、探索先特徴量データ保持部１１４は、探索先フレーム選択部１３２により選択されているフレーム画像の特徴量の中の、探索先特徴量選択部１３１により選択された特徴量を出力し、特徴量比較部１３３に供給する。

なお、探索先フレーム選択部１３２は、探索先フレームとすべきフレーム画像が複数存在する場合、所定の順で各フレーム画像を１つずつ選択する。また、特徴量比較が行われ探索解フレーム候補保持部１４２に探索解フレーム候補が存在する場合、探索先フレーム選択部１３２は、その探索先フレーム候補の中から探索先フレームとするフレーム画像を選択する。探索先フレーム選択部１３２は、全ての探索先フレーム候補を、所定の順で１つずつ選択する。

特徴量比較部１３３は、探索元特徴量計算部１２３より供給される探索元フレームの特徴量と、探索先特徴量データ保持部１１４より読み出される探索先フレームの特徴量を比較し、その比較結果を比較結果保持部１３４に保持させる。

探索解フレーム候補選択部１４１は、必要に応じて比較結果保持部１３４より比較結果を読みだし、その比較結果に基づいて、探索先フレームの中から探索解フレーム候補を選択する。探索解フレーム候補保持部１４２は、探索解フレーム候補選択部１４１において探索解フレーム候補として選択されたフレーム画像を示す情報を保持する。

探索解フレーム決定部１４３は、探索解フレーム候補保持部１４２に保持されている情報に基づいて、探索解フレームとするフレーム画像を決定する。探索解フレーム候補が複数存在する場合、探索解フレーム決定部１４３は、その旨を特徴比較制御部１４４に通知する。特徴比較制御部１４４は、その通知を受け取ると、探索元特徴量選択部１２２および探索先特徴量選択部１３１を制御し、それぞれに、比較に用いる、探索元または探索先のフレーム画像の新たな特徴量を選択させる。なお、特徴比較制御部１４４は、探索元特徴量選択部１２２および探索先特徴量選択部１３１に対して、互いに同種類の特徴量を選択させる。

また、探索解フレーム候補が１つだけ存在する場合、探索解フレーム決定部１４３は、そのフレーム画像を探索解フレームに決定し、その旨を探索解フレーム出力部１４５通知する。探索解フレーム出力部１４５は、その通知により探索解フレームに指定されたフレーム画像を示す情報をフレーム探索装置１００の外部に出力する。

さらに、探索解フレーム候補が１つも存在しない場合、探索解フレーム決定部１４３は、その旨を探索解フレーム出力部１４５通知する。探索解フレーム出力部１４５は、その通知によりフレーム探索に失敗した旨を示す情報をフレーム探索装置１００の外部に出力する。

概要を説明すると、特徴量比較部１３３は、探索元特徴量選択部１２２および探索先特徴量選択部１３１により選択された特徴量について、探索元フレームの特徴量と、探索先フレーム選択部１３２により選択された探索先フレームの特徴量を比較する。

探索解フレーム候補選択部１４１は、その比較結果に基づいて探索解フレーム候補の絞込みを行う。探索先フレーム選択部１３２は、特徴量が比較されていない場合、探索先動画像データの全てのフレームを１つずつ探索先フレームとして選択する。ただし、探索解フレーム候補が存在する場合、探索先フレーム選択部１３２は、探索解フレーム候補の全てのフレームを１つずつ探索先フレームとして選択する。

以上のような特徴量比較を再帰的に繰り返すことにより、探索解フレーム候補が徐々に絞り込まれ、最後の特徴量の比較において１つの探索解フレームが決定される。

なお、図２において、探索先フレーム選択部１１２、探索先特徴量計算部１１３、探索元特徴量選択部１２２、および探索元特徴量計算部１２３をまとめて抽出処理部１５１と称する。また、図２において、探索先特徴量選択部１３１、探索先フレーム選択部１３２、特徴量比較部１３３、および比較結果保持部１３４をまとめて比較処理部１５２と称する。さらに、探索解フレーム候補選択部１４１、探索解フレーム候補保持部１４２、探索解フレーム決定部１４３、および特徴比較制御部１４４をまとめて階層処理部１５３と称する。

次に処理の流れについて説明する。最初に、探索先特徴量抽出処理部１０１による探索先特徴量抽出処理の流れの例を図３のフローチャートを参照して説明する。探索先特徴量抽出処理は、例えばユーザの指示等に基づいて、探索元と探索先を比較する探索処理とは別に、その探索処理よりも前に開始される。

探索先特徴量抽出処理が開始されると、探索先フレーム選択部１１２は、ステップＳ１０１において、探索先動画像データ保持部１１１に保持されている動画像データのフレーム画像であり、探索先とされるフレーム画像である探索先フレームを全て処理したか否かを判定する。未処理の探索先フレームが存在すると判定した場合、探索先フレーム選択部１１２は、ステップＳ１０２において、その動画像データの中から探索先フレームとするフレーム画像を選択する。基本的に、探索先フレーム選択部１１２は、動画像の時系列順にフレーム画像を探索先フレームとして選択するが、その選択順は任意でありこれ以外であってもよい。

探索先フレームが選択されると、探索先特徴量計算部１１３は、ステップＳ１０３において、探索先フレームを取得する。ステップＳ１０４において、探索先特徴量計算部１１３は、現在の探索先フレームについて全ての特徴量を抽出したか否かを判定する。未だ抽出していない特徴量が存在すると判定した場合、探索先特徴量計算部１１３は、処理をステップＳ１０５に進め、抽出する特徴量を選択し、ステップＳ１０６において、探索先フレームより、選択した特徴量を抽出する。ステップＳ１０７において、探索先特徴量データ保持部１１４は、抽出された特徴量データを、そのフレーム画像に対応させて保持し管理する。

ステップＳ１０７の処理が終了すると、処理は、ステップＳ１０４に戻され、それ以降の処理が繰り返される。つまり、探索先特徴量抽出処理部１０１は、ステップＳ１０４乃至ステップＳ１０７の処理を繰り返すことにより、その時点の探索先フレームについて、算出可能な全ての特徴量を抽出し、保存する。ステップＳ１０４において、全ての特徴量を抽出したと判定した場合、探索先特徴量計算部１１３は、処理をステップＳ１０１に戻す。つまり、探索先特徴量抽出処理部１０１は、ステップＳ１０１乃至ステップＳ１０７の処理を繰り返すことにより、探索先動画像データの全てのフレームについて、算出可能な全ての特徴量を抽出し、保存する。

ステップＳ１０１において、全ての探索先フレームを処理したと判定した場合、探索先フレーム選択部１１２は、探索先特徴量抽出処理を終了する。

以上のようにして、探索先特徴量抽出処理部１０１は、全ての探索先フレームの全ての特徴量を抽出することができる。

次に、図１の探索処理部１０２により実行される探索処理の流れの例を図４のフローチャートを参照して説明する。探索処理は、例えば、ユーザが探索元とするフレーム画像を選択することにより開始される。

探索元フレーム画像が決定し、探索処理が開始されると、探索元特徴量計算部１２３は、ステップＳ１２１において、ユーザ等が探索元フレームに選択したフレーム画像を探索元フレーム画像データ保持部１２１より取得する。ステップＳ１２２において、探索元特徴量選択部１２２は、抽出する特徴量を選択する。ステップＳ１２３において、探索元特徴量計算部１２３は、選択された特徴量を、探索元フレームより抽出する。

ステップＳ１２４において、探索先フレーム選択部１３２は、全ての探索先フレームの特徴量データを処理したか否かを判定し、未処理の探索先フレームが存在すると判定した場合、処理をステップＳ１２５に進め、未処理の探索先フレームの中から１つを所定の順に従って選択する。ステップＳ１２６において、特徴量比較部１３３は、探索元フレームの特徴量と探索先フレームの特徴量を比較し、ステップＳ１２７において、その新たな比較結果を用いて、比較結果保持部１３４に保持されている比較結果を更新する。ステップＳ１２７の処理が終了すると、処理はステップＳ１２４に戻される。つまり、全ての探索先フレームの特徴量が比較されるまで、ステップＳ１２４乃至ステップＳ１２７の処理が繰り返し実行される。

ステップＳ１２４において、全ての探索先フレームが処理されたと判定した場合、探索先フレーム選択部１３２は、処理をステップＳ１２８に進める。ステップＳ１２８において、探索解フレーム候補選択部１４１は、新たな比較結果に基づいて、探索解フレーム候補を新たに選択し、その新たな探索解フレーム候補によって探索解フレーム候補保持部１４２に保持されている探索解フレーム候補を更新する。

ステップＳ１２９において、探索解フレーム決定部１４３は、探索解フレームの候補が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ１３０に進める。ステップＳ１３０において、探索解フレーム決定部１４３は、探索解フレームの候補の数が１つになったか否かを判定し、候補が複数存在すると判定した場合、処理をステップＳ１３１に進める。ステップＳ１３１において、特徴比較制御部１４４は、全ての特徴量を処理したか否かを判定し、未だ比較していない特徴量が存在すると判定した場合、処理をステップＳ１２２に戻し、それ以降の処理を繰り返す。なお、ステップＳ１２２において、探索先特徴量選択部１３１も特徴量の選択を行う。このとき、探索先特徴量選択部１３１は、探索元特徴量選択部１２２と同じ特徴量を選択する。

また、ステップＳ１２５において、特徴量を比較する探索先フレームが選択されるが、このとき、探索先フレーム選択部１３２は、その時点の探索解フレーム候補を所定順に１つずつ探索先フレームとして選択する。

以上のように、ステップＳ１２２乃至ステップＳ１３１の処理が繰り返し実行されることにより、探索解フレームの候補が絞り込まれるように、全ての特徴量について探索元と探索先との比較が行われる。

ステップＳ１３１において、全ての特徴量が処理されたと判定された場合、処理はステップＳ１３２に進む。また、ステップＳ１３０において、探索解フレームの候補の数が１つになったと判定された場合、処理はステップＳ１３２に進む。

ステップＳ１３２において、探索解フレーム決定部１４３は、その時点の探索解フレームの候補を探索解フレームとして決定する。ステップＳ１３３において、探索解フレーム出力部１４５は、探索解フレームが１つのフレーム画像であるか否かを判定し、１つであると判定した場合、処理をステップＳ１３４に進め、その探索解フレームをフレーム探索装置１００の外部に出力する。ステップＳ１３４の処理が終了されると、探索処理は終了する。

また、ステップＳ１３３において、探索解フレームが１つのフレーム画像ではなく複数存在すると判定した場合、探索解フレーム出力部１４５は、処理をステップＳ１３５に進め、エラー処理を行い、探索解フレームを１フレームに絞り込めなかった旨をフレーム探索装置１００の外部に通知する。ステップＳ１３５の処理が終了されると、探索処理は終了する。

また、ステップＳ１２９において、探索解フレームの候補が存在しないと判定された場合、すなわち、最後の特徴量の比較が行われる前に探索解フレームの候補がなくなってしまった場合、探索解フレーム出力部１４５は、処理をステップＳ１３５に進め、エラー処理を行い、探索解フレームを検出できなかった旨をフレーム探索装置１００の外部に通知する。ステップＳ１３５の処理が終了されると、探索処理は終了する。

以上のように、探索処理部１０２は、探索解フレーム候補を絞り込むように、探索元と探索先の特徴量の比較を繰り返し行い、最後の特徴量の比較により１つの探索解フレームを求める。このようにすることにより、探索処理部１０２は、多様な特徴量に基づいて探索解フレームを求めることができ、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させることができる。つまり、フレーム探索装置１００は、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができる。

次に、以上のような、特徴量比較の繰り返しによる、候補の絞り込み方について、具体的に説明する。

図５は、以上に説明した、本発明を適用した階層型マッチング処理の様子の具体的な例を説明する図である。

図５において、一番上の段には、探索元フレーム２０１を含む探索元動画像データが模式的に示されている。フレーム２０２は、探索元動画像データの、探索元フレーム２０１の次のフレームを示している。上から２段目には、探索先フレーム２０３を含む探索先動画像データが模式的に示されている。

このような探索先フレーム２０３に対して、第１階層のマッチングにおいては、探索元フレームと探索先フレームとで輝度値が比較される。図５の上から３段目は、第１階層のマッチングが行われた結果により得られた探索解フレーム候補を示している。図５に示されるように、探索元フレーム２０１においては、円形の物体が存在するので、三角形の物体が存在するフレームが探索解フレーム候補より外され、円形の物体が存在するフレームである、フレーム２０４Ａ、フレーム２０４Ｂ、フレーム２０４Ｃ、およびフレーム２０４Ｄが探索解フレーム候補とされる。

通常は、所謂「シーン」の検出になり得ることが多い。つまり、第１階層のマッチングにより、似たような絵柄のシーン（類似シーン）を絞り込むことができる。もちろん、特徴量の性質によっては、この階層でのマッチング候補の数を、より粗くすることも、より細かくすることも可能である。

このように求められた探索解フレーム候補に対して、第２階層のマッチングにおいては、探索元フレームとその１つ後のフレームとの輝度値の差分絶対値が、探索先フレームとその１つ後のフレームとの輝度値の差分絶対値と比較され、「時間変化の特徴」が比較される。図５の上から４段目は、第２階層のマッチングが行われた結果により得られた探索解フレーム候補を示している。図５に示されるように、探索元フレーム２０１においては、円形の物体が画面左下に存在する。また、フレーム２０２においては、円形の物体が画面右上に存在する。従って、第２階層のマッチングにより、このような特徴を有する探索解フレーム候補が求められ、探索解フレーム２０５が決定される。

つまり、第２階層のマッチングにおいては、画像のフレーム間の差分(動き)情報が用いられる。このように、フレーム内の微少なオブジェクト動き等の違いを表わす特徴量を用いることで、絵柄はほとんど一致している候補群の中から、フレーム精度のマッチングを行うことができる。例えば、１つのシーン内のフレーム画像群の中から１枚のフレーム画像を選択することができる。

なお、以上において、第１階層のマッチングは、探索解フレーム候補を絞り込むための、最後以外のマッチングの例を示しており、第２階層のマッチングは、１つの探索解フレームを決定するための、最後のマッチングの例を示している。

つまり、マッチングは複数階層構造（Ｎ階層）とされるが、最後以外の第１階層乃至第（Ｎ−１）階層（絞り込み層）のマッチングは、探索解フレーム候補を絞り込むためのマッチングである。これに対して、最後の第Ｎ階層（決定層）のマッチングは、１つの探索解フレームを求めるためのマッチングである。

以下においては、Ｎ＝２とし２階層のマッチングについて説明するが、第１階層が絞り込み層であり、第２階層が決定層である。従って、本発明は３階層以上のマッチングにも適用可能であるが、その場合、以下に説明する第１階層（絞り込み層）を複数階層にすればよい。この場合も決定層である第２階層は、最後の１階層となる。

なお、絞り込み層の途中で探索解フレーム候補が１フレームになった場合、その時点でマッチング（探索処理）を終了し、その候補を探索解フレームとするようにしてもよい。

以下に、このような複数階層のマッチングの例をさらに具体的に説明する。

まず第１の例で使用される特徴量について、図６を参照して説明する。図６に示されるように、絞り込み層の第１階層においては、まず、入力画像（フレーム画像）全体の領域が所定の数のブロックに区分される。例えば、入力画像全体の領域が、縦方向に４分割、横方向に４分割され、合計１６のブロック（部分領域）に分割される。次に、各ブロックを１つのスカラ量で表わすことができるように、ブロック毎に輝度値等を特徴量化する。例えば、ブロック毎に、輝度値の総和（ブロック毎のスカラ量）が算出される。算出された各ブロックの特徴量（例えば輝度値の総和）が１フレーム分ブロック順に並べられてベクトル化される。このベクトルがフレーム全体の第１階層の特徴量（特徴量１）とされる。

また、図６に示されるように、決定層の第２階層においては、まず、入力画像（フレーム画像）と、入力画像より時間的に前の（後の）フレーム画像との間で、フレーム間画素差分の絶対値が算出される。フレーム間画素差分とは、２フレームの互いに同じ位置の画素同士で求めた輝度値の差分である。つまり、２フレーム間の差分情報（どれだけ変化したかを表わす情報）である。算出されたフレーム全体のフレーム間画素差分の絶対値は、所定数のブロック（部分領域）に分割される。例えば、フレーム全体の領域が、縦方向に４分割、横方向に４分割され、合計１６のブロック（部分領域）に分割される。そして、そのブロック毎にフレーム間画素差分の絶対値が特徴量化される。例えば、ブロック毎に、フレーム間画素差分の絶対値の総和（ブロック毎のスカラ量）が算出される。算出された各ブロックの特徴量（例えばフレーム間画素差分の絶対値の総和）が１フレーム分ブロック順に並べられてベクトル化される。このベクトルがフレーム全体の第２階層の特徴量（特徴量２）とされる。

なお、以上においては、特徴量１と特徴量２とで、ブロック数（ブロックサイズ）を同一とするように説明したが、互いに異なるようにしてもよい。

次に、このような特徴量算出の処理の流れの例を説明する。最初に、第１階層（絞り込み層）について、特徴量算出処理の流れの例を図７のフローチャートを参照して説明する。この処理は、探索先の場合、図３のステップＳ１０６に対応し、探索元の場合、図４のステップＳ１２３に対応する。なお、この特徴量算出処理の流れは、探索元の場合も探索先の場合も同様であるので、ここでは、探索先の場合とし、特徴量１計算部１１３−１が実行するものとして説明する。

特徴量算出処理が開始されると、特徴量１計算部１１３−１は、ステップＳ２０１において、入力画像である探索先フレームをブロック化する。特徴量１計算部１１３−１は、ステップＳ２０２において、ブロック毎に輝度値の総和を算出し、ステップＳ２０３において、各ブロックの輝度値の総和のベクトルを入力画像（探索先フレーム）の特徴量（特徴量１）とし、特徴量算出処理を終了する。

次に、図８のフローチャートを参照して、第２階層（決定層）について、特徴量算出処理の流れの例を説明する。この処理も、図７の場合と同様に、図３のステップＳ１０６または図４のステップＳ１２３に対応する。以下においては、探索先の場合とし、特徴量２計算部１１３−２が実行するものとして説明する。

特徴量算出処理が開始されると、特徴量２計算部１１３−２は、ステップＳ２２１において、フレーム間画素差分の絶対値を算出し、ステップＳ２２２において、そのフレーム間画素差分の絶対値をブロック化する。特徴量２計算部１１３−２は、ステップＳ２２３において、ブロック毎にフレーム間画素差分の絶対値の総和を算出し、ステップＳ２２４において、各ブロックのフレーム間画素差分の絶対値の総和のベクトルを入力画像（探索先フレーム）の特徴量（特徴量２）とし、特徴量算出処理を終了する。

絞り込み層は複数階層化することができる。その場合、上述した第１階層の特徴量算出処理は複数階層で行われる。また、第２階層の特徴量算出処理は特徴量Ｎ計算部１１３−Ｎにより実行され、最後の特徴量が算出される。探索元の場合も同様である。

次に、以上のように算出された特徴量のマッチング（比較）について図９を参照して説明する。

第１階層においては、まず、探索元フレームの特徴量データと各探索先フレームの特徴量データとの特徴量距離が算出される。特徴量距離の求め方に特に制限は無いが、例えば、一般的なノルムの求め方と同じでよい。

探索元フレームであるフレームＮの特徴量U_I,Nを以下の式（１）のように表わすとする。

U_I,N＝（p_I,N,1,p_I,N,2,・・・,p_I,N,k） ・・・（１）

また、探索先フレームであるフレームＭの特徴量U_D,Mを以下の式（２）のように表わすとする。

U_D,M＝（p_D,M,1,p_D,M,2,・・・,p_D,M,k） ・・・（２）

例えば、探索先フレームの最初のフレームであるフレーム１は、以下の式（３）のように表わすことができ、探索先フレームの最後のフレームであるフレームENDは、以下の式（４）のように表わすことができる。

U_D,1＝（p_D,1,1,p_D,1,2,・・・,p_D,1,k） ・・・（３）
U_D,END＝（p_D,END,1,p_D,END,2,・・・,p_D,END,k） ・・・（４）

このとき、探索元フレーム（フレームＮ）と探索先フレーム（フレームＭ）との特徴量距離D_U,Mは、以下の式（５）のように、探索元フレームと各探索先フレームとの間の、各ブロックの特徴量の差分の２乗として算出される。

D_U,M＝Σ（p_I,N,j−p_D,M,j）² ・・・（５）
ただし、ｊは、ブロック番号を示し、１乃至ｋの整数よりなる。

探索元フレームと各探索先フレームとの間の特徴量距離が全て算出されると、次に、それらの特徴量距離の最小値が求められる。例えば、特徴量距離の最小値Min_Uは、以下の式（６）のように算出される。

Min_U＝Min（D_U,1・・・D_U,M・・・D_U,END） ・・・（６）

特徴量距離の最小値が求められると、次に、特徴量距離が、その最小値と所定の閾値以内の差しかないフレームが抽出される。例えば、閾値をThld_Uとすると、特徴量距離が以下の式（７）を満たすフレームが抽出される。

｜Min_U−D_U,M｜≦Thld_U ・・・（７）

この抽出されたフレームが探索解フレーム候補とされる。つまり、探索解フレーム候補は、探索元フレームと探索先フレーム（または探索解フレーム候補）とで特徴量１を比較し、この階層の基準に基づいて探索元フレームと一致すると判定される探索先フレーム（または探索解フレーム候補）である。

以上のようにして絞り込まれた探索解フレーム候補について、第２階層のマッチング処理が行われる。第２階層においては、まず、探索元フレームの特徴量データと各探索解フレーム候補の特徴量データとの特徴量距離が算出される。特徴量距離の求め方に特に制限は無いが、例えば、一般的なノルムの求め方と同じでよい。

探索元フレームであるフレームＮの特徴量V_I,Nを以下の式（８）のように表わすとする。

V_I,N＝（q_I,N,1,q_I,N,2,・・・,q_I,N,k） ・・・（８）

また、探索解フレーム候補であるフレームＭの特徴量V_D,Mを以下の式（９）のように表わすとする。

V_D,M＝（q_D,M,1,q_D,M,2,・・・,q_D,M,k） ・・・（９）

例えば、探索解フレーム候補のフレームＡは、以下の式（１０）のように表わすことができ、探索解フレーム候補のフレームＢは、以下の式（１１）のように表わすことができる。

V_D,A＝（q_D,A,1,q_D,A,2,・・・,q_D,A,k） ・・・（１０）
V_D,B＝（q_D,B,1,q_D,B,2,・・・,q_D,B,k） ・・・（１１）

このとき、探索元フレーム（フレームＮ）と探索解フレーム候補（フレームＭ）との特徴量距離D_V,Mは、以下の式（１２）のように、探索元フレームと各探索解フレーム候補との間の、各ブロックの特徴量の差分の２乗として算出される。

D_V,M＝Σ（q_I,N,j−q_D,M,j）² ・・・（１２）
ただし、ｊは、ブロック番号を示し、１乃至ｋの整数よりなる。

探索元フレームと各探索解フレーム候補との間の特徴量距離が全て算出されると、次に、それらの特徴量距離の最小値が求められる。例えば、特徴量距離の最小値Min_Vは、以下の式（１３）のように算出される。

Min_V＝Min（D_V,1・・・D_V,M・・・D_V,END） ・・・（１３）

特徴量距離の最小値が求められると、次に、その最小値に対応する探索解フレーム候補が探索解フレームとして決定され、最終結果として出力される。

以上のように、特徴量の値そのものでなく、特徴量距離の最小値を用いて画像フレームのマッチングを行うことにより、信号劣化等によって探索元と探索先との間で画像データそのものが大きく異なっている場合であっても、その影響を抑制し、探索元の画像フレームに対応するフレームを探索先動画像データの中から一意に求めることができる。つまり、マッチング処理のデータ変化に対するロバスト性を向上させ、安定的に正確にフレーム探索を行うことができるようになる。

ただし、フレーム探索が成功しない場合も考えられる。例えば、探索先動画像データの中に、探索元フレームと「コンテンツとして」対応するフレームが全く存在しない場合、探索解フレームを求めることができずにフレーム探索が失敗してしまうことが考えられる。この場合、第２階層における閾値判定によって、「探索失敗」とするようにしてもよい。

また、探索先の動画像の中に、探索元フレームに対応するフレームが複数存在する場合、探索解フレームが複数求められてしまい、フレーム探索が失敗してしまうことが考えられる。例えば、探索先動画像データ中に静止画像が含まれ、同一のフレーム画像が時間方向に連続して複数存在する場合がある。この場合、１フレームだけを抽出することが不可能であるので，その旨を最終結果として通知するようにしてもよい。

次に、このような特徴量比較の処理の流れの例を説明する。最初に、第１階層（絞り込み層）について、特徴量比較処理の流れの例を図１０のフローチャートを参照して説明する。この処理は、図４のステップＳ１２６に対応する。

特徴量比較処理が開始されると、特徴量比較部１３３は、ステップＳ２４１において、探索元フレームと各探索先フレームとの特徴量距離を算出し、ステップＳ２４２において、その算出した特徴量距離の最小値を特定する。特徴量比較部１３３は、ステップＳ２４３において、探索先フレーム数（または探索解フレーム候補数）に応じて閾値を設定する。例えば、最小値付近に、多くの特徴量距離が密集するような場合、特徴量比較部１３３は、適切に探索解フレーム候補を絞り込むことができるように、閾値を小さくする。また、例えば、最小値付近に他の特徴量距離が存在しない場合、特徴量比較部１３３は、適切に探索解フレーム候補を絞り込むことができるように、閾値を大きくする。なお、ここで、探索先フレーム（探索解フレーム候補）のうち、所定の割合のフレームが新たな探索解フレーム候補として抽出されるように閾値を設定するようにしてもよい。

特徴量比較部１３３は、ステップＳ２４４において、最小値との差が閾値以下の特徴量距離の探索先フレームを探索解フレームの候補とし、特徴量比較処理を終了する。

次に、図１１のフローチャートを参照して、第２階層（決定層）について、特徴量決定処理の流れの例を説明する。この処理も、図１０の場合と同様に、図４のステップＳ１２６に対応する。

特徴量比較処理が開始されると、特徴量比較部１３３は、ステップＳ２６１において、探索元フレームと各探索解フレーム候補との特徴量距離を算出し、ステップＳ２６２において、特徴量距離の最小値を特定する。特徴量比較部１３３は、ステップＳ２６３において、特徴量距離が最小値となるフレームを探索解フレームとして決定し、特徴量比較処理を終了する。

以上のように、マッチング処理を階層化し、互いに異なる特徴量を用いて行われる各階層の特徴量比較（マッチング）により探索解フレーム候補を徐々に絞り込むようにしたので、特徴量比較部１３３は、特徴量比較の、データ変化に対するロバスト性を向上させることができる。つまり、フレーム探索装置１００は、探索処理のデータ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確にフレーム探索を行うことができる。また、探索解フレーム候補を徐々に絞り込むことにより、特徴量比較部１３３は、特徴量比較（マッチング）処理の負荷を低減させることができる。これによりフレーム探索装置１００は、コストを低減させたり、より高速にフレーム探索を行ったりすることができる。

以上の方法では、フレームの特徴を高精度に表わす特徴量を、閾値で定められる範囲（比較的緩い抽出条件）によって、探索解フレーム候補の絞り込みを行う。つまり、この場合、抽出条件を徐々に厳しくすることにより、探索解フレームを一度に決定せずに、探索解フレーム候補を徐々に絞り込んでいき、最終的に１つの探索解フレームを求める。

特徴量比較の方法はこれ以外であってもよく、また特徴量も上述した以外のものを用いるようにしてもよい。例えば、フレームの特徴を大まかに（低精度に）表わす特徴量を完全一致させることにより、探索解フレーム候補の絞り込みを行うようにしてもよい。つまり、この場合、特徴量の精度を徐々に細かくすることにより（より高精度にすることにより）、探索解フレームを一度に決定せずに、探索解フレーム候補を徐々に絞り込んでいき、最終的に１つの探索解フレームを求める。

以下に、その場合の特徴量の例を説明する。

まず第１の例で使用される特徴量について、図１２を参照して説明する。図１２に示されるように、絞り込み層の第１階層においては、まず、入力画像（フレーム画像）全体の領域が所定の数のブロックに区分される。例えば、入力画像全体の領域が、縦方向に４分割、横方向に４分割され、合計１６のブロック（部分領域）に分割される。次に、各ブロックを１つのスカラ量で表わすことができるように、ブロック毎に輝度値等を特徴量化する。例えば、ブロック毎に、輝度値の総和（ブロック毎のスカラ量）が算出される。

次に、算出された各ブロックの特徴量（例えば輝度値の総和）のフレーム内の最大値および最小値が求められ、それらの値を用いて各ブロックの特徴量が正規化される。例えば、ブロック番号をｘとし、ブロック番号ｘの特徴量（輝度値の総和）をval(x)とし、その最大値maxおよび最小値minを以下の式（１４）および式（１５）のように求めるとき、ブロック番号ｘの正規化された特徴量の値nml(x)は、以下の式（１６）のように求められる。

max＝max(val(x)) ・・・（１４）
min＝min(val(x)) ・・・（１５）
nml(x)＝(val(x)-min-1)×255／(max-min+1) ・・・（１６）

各ブロックの特徴量が正規化されると、次に、その正規化された特徴量がブロック番号順に並べられ、正規化された特徴量の分布が作成される。さらに、その分布が、特徴量の大きさ順に並び替えられる。ブロック数が多い場合、並び替えられた特徴量のうち、一部の特徴量が代表点として抽出され、その代表点の分布（ベクトル）がフレーム全体の特徴量とされる。

このように特徴量を正規化したり代表点を抽出したりすることにより、特徴量が示すフレームの特徴の精度を低下させている。また、各ブロックの特徴量を並び替えることにより、ブロックの位置情報（ブロック番号）も比較の対象から除外している。つまり、これにより特徴量の精度はさらに低下する。

なお、ブロック数が少ない場合、代表点を求めずに、全ての特徴量の分布（ベクトル）をフレーム全体の特徴量とするようにしてもよい。

また、図１２に示されるように、決定層の第２階層においては、まず、入力画像（フレーム画像）と、入力画像より時間的に前の（後の）フレーム画像との間で、フレーム間画素差分の絶対値が算出される。算出されたフレーム全体のフレーム間画素差分の絶対値は、所定数のブロック（部分領域）に分割される。例えば、フレーム全体の領域が、縦方向に４分割、横方向に４分割され、合計１６のブロック（部分領域）に分割される。そして、そのブロック毎にフレーム間画素差分の絶対値が特徴量化される。例えば、ブロック毎に、フレーム間画素差分の絶対値の総和（ブロック毎のスカラ量）が算出される。算出された各ブロックの特徴量（例えばフレーム間画素差分の絶対値の総和）のフレーム内における最大値が求められ、その最大値をとるブロックの位置情報（ブロック番号）がフレーム全体の第２階層の特徴量（特徴量２）とされる。

なお、以上においては、特徴量１と特徴量２とで、ブロック数（ブロックサイズ）を同一とするように説明したが、互いに異なるようにしてもよい。

次に、このような特徴量算出の処理の流れの例を説明する。最初に、第１階層（絞り込み層）について、特徴量算出処理の流れの例を図１３のフローチャートを参照して説明する。この処理は、探索先の場合、図３のステップＳ１０６に対応し、探索元の場合、図４のステップＳ１２３に対応する。なお、この特徴量算出処理の流れは、探索元の場合も探索先の場合も同様であるので、ここでは、探索先の場合とし、特徴量１計算部１１３−１が実行するものとして説明する。

特徴量算出処理が開始されると、特徴量１計算部１１３−１は、ステップＳ３０１において、入力画像である探索先フレームをブロック化する。特徴量１計算部１１３−１は、ステップＳ３０２において、ブロック毎に輝度値の総和を算出し、ステップＳ３０３において、そのブロック毎の輝度値の総和の、フレーム内の最大値および最小値を特定する。ステップＳ３０４において、特徴量１計算部１１３−１は、その最大値および最小値を用いて各ブロックの特徴量を正規化する。

特徴量１計算部１１３−１は、ステップＳ３０５において、正規化した特徴量のブロック順の分布を作成し、ステップＳ３０６において、その分布を特徴量の大きさ順に並び替える。そして、特徴量１計算部１１３−１は、ステップＳ３０７において、特徴量分布より代表点を抽出し、代表点のベクトルを入力画像（探索先フレーム）全体の特徴量（特徴量１）とし、特徴量算出処理を終了する。

次に、図１４のフローチャートを参照して、第２階層（決定層）について、特徴量算出処理の流れの例を説明する。この処理も、図１３の場合と同様に、図３のステップＳ１０６または図４のステップＳ１２３に対応する。以下においては、探索先の場合とし、特徴量２計算部１１３−２が実行するものとして説明する。

特徴量算出処理が開始されると、特徴量２計算部１１３−２は、ステップＳ３２１において、フレーム間画素差分の絶対値を算出し、ステップＳ３２２において、そのフレーム間画素差分の絶対値をブロック化する。特徴量２計算部１１３−２は、ステップＳ３２３において、ブロック毎にフレーム間画素差分の絶対値の総和を算出し、ステップＳ３２４において、その各ブロックのフレーム間画素差分の絶対値の総和の、フレーム内における最大値を特定する。

特徴量２計算部１１３−２は、ステップＳ３２５において、特徴量が最大値であるブロックの位置を入力画像（探索先フレーム）全体の特徴量（特徴量２）とし、特徴量算出処理を終了する。

この場合も、絞り込み層は複数階層化することができる。その場合、上述した第１階層の特徴量算出処理は複数階層で行われる。また、第２階層の特徴量算出処理は特徴量Ｎ計算部１１３−Ｎにより実行され、最後の特徴量が算出される。探索元の場合も同様である。

次に、以上のように算出された特徴量のマッチング（比較）について図９を参照して説明する。

第１階層においては、まず、探索元フレームの特徴量データと各探索先フレームの特徴量データとの完全一致判定を行う。フレーム全体の特徴量は、ブロック数と同数のスカラ量（各ブロックの特徴量）により構成されるが、完全一致とは、その全ての値が探索元フレームと探索先フレーム（または探索解フレーム候補）とで一致することである。

完全一致すると判定された探索先フレーム（または探索解フレーム候補）は、抽出され、新たな探索先フレーム候補とされる。

以上のようにして絞り込まれた探索解フレーム候補について、第２階層のマッチング処理が行われる。第２階層においては、まず、第２階層の特徴量（特徴量２）による比較処理を行う前に、第１階層で絞り込んだ結果の探索解フレーム候補の絞込みが行われる。

上述したように、第２階層の特徴量は、時間差分が最も大きいブロック座標を用いている。しかしながら、実際には、そのブロック座標が互いに同一となるフレームが複数フレームにわたって連続する可能性もある。特徴量の値が互いに同一のフレームが連続すると、第２階層の比較処理により探索先の絞り込みが不可能になり、最終的な結果が複数出てしまう可能性が高い。

そこで、最初に、そのような事態を避けるために、探索解フレーム候補の中に、特徴量の値が互いに同一の連続するフレームが存在する場合、そのフレーム群の先頭以外のフレームを探索解フレーム候補より除外されるようにする。

より具体的には、処理対象の探索解フレーム候補（フレームＭ）の特徴量（特徴量２）とその１つ前のフレーム（フレーム（Ｍ−１））の特徴量（特徴量２）とで一致判定が行われ、一致すると判定された場合、そのフレームＭは探索解フレーム候補から除外され、そのフレームＭについての比較処理が終了されるようにする。また、一致判定において、両者が一致しないと判定された場合、そのフレームＭは、連続した動画像の中で特徴量の一意性があることを意味しているので、そのフレームＭによる比較処理が継続されるようにする。

探索解フレーム候補が前フレームと不一致と判定された場合、探索元フレームの特徴量データ（特徴量２）と、その探索解フレーム候補の特徴量データ（特徴量２）との間で完全一致判定が行われ、探索元フレームと完全一致した探索解フレーム候補が探索解フレームとして決定される。

以上のように、この例の場合、第１階層の特徴量（特徴量１）は、各ブロックの特徴量を正規化しているため、つまり分解能が粗くされているため、信号劣化等により画像データが多少変化しても、値が変化しにくい（データ変化に対するロバスト性が強い）。

また、特徴量の分解能が粗くなることにより、「完全一致判定」による「探索解フレーム候補の絞り込み」を実現することができる（一気に探索解フレームを求めるのではない）。

さらに、第１階層の特徴量（特徴量１）は、その分布を（その大きさ順に）並び替えているため、ブロック位置情報を有していない。そのため、入力画像の位相ずれに対しても値が変化しにくい（位相ずれに対するロバスト性が強い）。

また、第２階層の特徴量（特徴量２）は、ブロック座標を特徴量とすることで、分解能をブロック単位に低減させている。従って、第２階層の特徴量（特徴量２）は、信号劣化等により画像データが多少変化しても、値が変化しにくい（データ変化に対するロバスト性が強い）。

次に、このような特徴量比較の処理の流れの例を説明する。最初に、第１階層（絞り込み層）について、特徴量比較処理の流れの例を図１６のフローチャートを参照して説明する。この処理は、図４のステップＳ１２６に対応する。

特徴量比較処理が開始されると、特徴量比較部１３３は、ステップＳ３４１において、探索元フレームの第１階層の特徴量（特徴量１）と各探索先フレームの第１階層の特徴量（特徴量１）の完全一致判定を行う。特徴量比較部１３３は、ステップＳ３４２において、特徴量が完全一致した探索先フレームを探索解フレームの候補とし、特徴量比較処理を終了する。

次に、図１７のフローチャートを参照して、第２階層（決定層）について、特徴量決定処理の流れの例を説明する。この処理も、図１６の場合と同様に、図４のステップＳ１２６に対応する。

特徴量比較処理が開始されると、特徴量比較部１３３は、ステップＳ３６１において、各探索解フレーム候補とその１つ前のフレームとの、第２階層の特徴量（特徴量２）の一致判定を行い、特徴量が一致しなかった探索解フレーム候補を抽出する。

特徴量比較部１３３は、ステップＳ３６２において、探索元フレームの第２階層の特徴量（特徴量２）と、ステップＳ３６１において抽出された各探索解フレーム候補の第２階層の特徴量（特徴量２）との一致判定を行う。特徴量比較部１３３は、ステップＳ３６３において、ステップＳ３６２の処理により、探索元フレームと特徴量が一致すると判定された探索解フレーム候補を探索解フレームとして決定し、特徴量比較処理を終了する。

以上のような特徴量および特徴比較方法を用いても、特徴量比較部１３３は、特徴量比較の、データ変化に対するロバスト性を向上させることができる。つまり、フレーム探索装置１００は、探索処理のデータ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確にフレーム探索を行うことができる。また、探索解フレーム候補を徐々に絞り込むことにより、特徴量比較部１３３は、特徴量比較（マッチング）処理の負荷を低減させることができる。これによりフレーム探索装置１００は、コストを低減させたり、より高速にフレーム探索を行ったりすることができる。

図２においては、探索元フレームの特徴量は、フレーム探索を行う際に抽出するように説明したが、探索先フレームの場合と同様に、探索処理の前に予め複数の特徴量を抽出しておくようにしてもよい。

図１８は、その場合の、本発明を適用したフレーム探索装置の構成例を示すブロック図である。

図１８に示されるフレーム探索装置４００は、図２のフレーム探索装置１００と基本的に同様の構成を有するが、さらに、探索元特徴量データ保持部４２４を有している。探索元特徴量データ保持部４２４は、例えば、ハードディスクやフラッシュメモリ等の記憶媒体を有し、探索元特徴量計算部１２３において算出された各特徴量データを保持する。

また、フレーム探索装置４００は、図２のフレーム探索装置１００の探索元特徴量選択部１２２の代わりに探索元特徴量選択部４２２を有する。探索元特徴量選択部４２２は、特徴比較制御部１４４に制御され、探索元特徴量データ保持部４２４に保持されている特徴量データの中から特徴量比較部１３３に供給させる特徴量を選択する。探索元特徴量データ保持部４２４は、選択された特徴量データを特徴量比較部１３３に供給する。

つまり、フレーム探索装置４００の探索元特徴量計算部１２３は、探索処理の前に、特徴量１計算部１２３−１乃至特徴量計算部１２３−Ｎによって、探索元フレームより各特徴量（特徴量１乃至特徴量Ｎ）を抽出し、それらの特徴量データを探索元特徴量データ保持部４２４に保持させる。そして、特徴量を比較する探索処理の際には、探索元特徴量選択部４２２が、必要な特徴量（探索先フレームと同種の特徴量）を選択し、探索元特徴量データ保持部４２４に対して、その特徴量データを特徴量比較部１３３に供給させる。

従って、この場合の、探索元フレームの特徴量抽出処理は、図３のフローチャートを参照して説明した、探索先特徴量抽出処理と同様に、探索処理とは独立して行われる。つまり、「探索先」を「探索元」とするだけで、図３のフローチャートを適用することができるので、探索元特徴量抽出処理の流れの説明は省略する。

また、この場合の探索処理の流れの例を図１９のフローチャートを参照して説明する。この場合、探索元の特徴量は既に抽出されているので、探索処理が開始されると、図４のステップＳ１２１乃至ステップＳ１２３に対応する処理の代わりに、ステップＳ４０１において、探索元特徴量選択部４２２が特徴量を選択する。選択された特徴量についてのそれ以降の処理は、基本的に図４の場合と同様に行われる。つまり、ステップＳ４０２乃至ステップＳ４１３の各処理は、図４のステップＳ１２４乃至ステップＳ１３５の各処理と同様に実行される。ただし、ステップＳ４０９において、全ての特徴量を処理していないと判定された場合、処理は、ステップＳ４０２に戻され、探索元フレームの特徴量も再選択される。

このように、探索元フレームの特徴量を予め抽出する場合であっても、フレーム探索装置４００は、フレーム探索装置１００の場合と同様に、探索処理のデータ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確にフレーム探索を行うことができる。

以上においては、本発明をフレーム探索装置に適用する場合について説明したが、本発明はフレーム探索装置に限らず、上述したようなフレーム探索を行う装置であれば、どのような装置にも適用することができる。

以下にその具体例として、本発明を画像処理装置に適用する場合について説明する。

本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置５０２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。

記録モードでは、図２０で示されるように、画像処理装置５０２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア５０１からDVDプレーヤなどにより再生される画像を表示部５０３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置５０２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部５０３に表示させる。さらに、画像処理装置５０２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部５０４に蓄積させる。

次に、再生モードでは、図２１で示されるように、画像処理装置５０２は、動画像を含むコンテンツが予め記録されている記録メディア５０１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置５０２は、操作履歴格納部５０４に特徴量に対応付けられて記録されている設定情報を、記録メディア５０１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部５０３に表示させる。

以上のような動作により、画像処理装置５０２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、コピーワンス（Copy Once）制限などの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。

図２２は、図２０および図２１に示される画像処理装置５０２に対応する画像処理装置５１３の一実施の形態の構成を示した図である。

画像再生部５１２は、図２０および図２１の記録メディア５０１に対応する記録メディア５１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部５４１および遅延部５４８に供給する。

特徴量抽出部５４１は、画像再生部５１２より順次供給されてくる画像の特徴量を抽出して、同期検出部５４２、および蓄積ブロック５４３の特徴量設定情報記録部５６１に供給する。

リモートコントローラ５１４は、キーやボタンなどから構成され、図２０および図２１で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置５１３の受光部５４４に発光する。

受光部５４４は、リモートコントローラ５１４の発光パターンに基づいて、リモートコントローラ５１４の操作信号に変換し、操作情報認識部５４５に供給する。操作情報認識部５４５は、受光部５４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部５４６に供給する。尚、蓄積ブロック５４３は、リモートコントローラ５１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部５４５において、蓄積ブロック５４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部５４５は、蓄積ブロック５４３の動作をオンまたはオフに制御する。

設定情報決定部５４６は、操作情報認識部５４５より供給されてくる操作情報に基づいて、後述する反映部５４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部５６１および選択部５４７に供給する。

蓄積ブロック５４３の特徴量設定情報記録部５６１は、特徴量抽出部５４１より供給されてくる特徴量と、設定情報決定部５４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部５６２（図２０および図２１の操作履歴格納部５０４に対応するもの）に蓄積させる。

同期検出部５４２は、特徴量設定情報蓄積部５６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部５４１より供給されてくる画像再生部５１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部５６３に供給する。

特徴量設定情報読出部５６３は、同期検出部５４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部５６２に記憶されている設定情報を読み出し、選択部５４７に供給する。選択部５４７は、設定情報決定部５４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部５６３より設定情報が供給されることがあっても、設定情報決定部５４６からの設定情報を反映部５４９に供給する。また、選択部５４７は、設定情報決定部５４６より設定情報の供給がなく、特徴量設定情報読出部５６３より設定情報が供給された場合、特徴量設定情報読出部５６３より供給された設定情報を反映部５４９に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部５４７は、設定情報を反映部５４９に供給しない。

遅延部５４８は、特徴量抽出部５４１、同期検出部５４２、蓄積ブロック５４３、および、選択部５４７の処理における遅延時間だけ、画像再生部５１２より供給されてくる画像を一時的に記憶し、反映部５４９に出力する。反映部５４９は、選択部５４７より設定情報が供給されてくる場合、遅延部５４８より供給されてくる画像に対する処理を反映して、表示部５１５に表示する。また、反映部５４９は、選択部５４７より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部５１５に表示させる。

このとき、図２の探索先動画像データ保持部１１１および探索元フレーム画像データ保持部１２１が、図２２の記録メディア５１１に対応する。また、図２の探索先フレーム選択部１１２、探索先特徴量計算部１１３、探索元特徴量選択部１２２、および探索元特徴量計算部１２３は、図２２の特徴量抽出部５４１に対応する。さらに、図２の探索先特徴量データ保持部１１４は、図２２の特徴量設定情報記録部５６１および特徴量設定情報蓄積部５６２に対応する。また、図２の探索先特徴量選択部１３１、探索先フレーム選択部１３２、特徴量比較部１３３、比較結果保持部１３４、探索解フレーム候補選択部１４１、探索解フレーム候補保持部１４２、探索解フレーム決定部１４３、特徴比較制御部１４４、および探索解フレーム出力部１４５は、図２２の同期検出部５４２に対応する。

つまり、図２２の同期検出部５４２が、同期検出の際に、図１乃至図１９を参照して説明したように、探索解フレーム候補を絞り込むように特徴量比較を繰り返し行うようにする。このようにすることにより、同期検出部５４２は、信号劣化等に対するロバスト性を向上させることができる。つまり、画像処理装置５１３は、画像処理の、データ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確に画像処理を行うことができ、操作データの記録・再生・編集作業を問題なく行うことが可能になる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２３において、パーソナルコンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。

入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した特徴量比較の概要を説明する図である。 本発明を適用したフレーム探索装置の主な構成例を示すブロック図である。 探索先特徴量抽出処理の流れの例を説明するフローチャートである。 探索処理の流れの例を説明するフローチャートである。 フレーム探索の様子の例を説明する図である。 特徴量抽出の様子の例を説明する図である。 第１階層の特徴量算出処理の流れの例を説明するフローチャートである。 第２階層の特徴量算出処理の流れの例を説明するフローチャートである。 特徴量比較の様子の例を説明する図である。 第１階層の特徴量比較処理の流れの例を説明するフローチャートである。 第２階層の特徴量比較処理の流れの例を説明するフローチャートである。 特徴量抽出の様子の、他の例を説明する図である。 第１階層の特徴量算出処理の流れの、他の例を説明するフローチャートである。 第２階層の特徴量算出処理の流れの、他の例を説明するフローチャートである。 特徴量比較の様子の、他の例を説明する図である。 第１階層の特徴量比較処理の流れの、他の例を説明するフローチャートである。 第２階層の特徴量比較処理の流れの、他の例を説明するフローチャートである。 本発明を適用したフレーム探索装置の、他の構成例を示すブロック図である。 探索処理の流れの、他の例を説明するフローチャートである。 本発明を適用した画像処理装置の記録モードについて説明する図である。 本発明を適用した画像処理装置の再生モードについて説明する図である。 本発明を適用した画像処理装置の主な構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ フレーム探索装置， １０１ 探索先特徴量抽出処理部， １０２ 探索処理部， １１３ 探索先特徴量計算部， １２２ 探索元特徴量選択部， １２３ 探索元特徴量計算部， １３１ 探索先特徴量選択部， １３２ 探索先フレーム選択部， １３３ 特徴量比較部， １４１ 探索解フレーム候補選択部， １４３ 探索解フレーム決定部， １４４ 特徴比較制御部， １４５ 探索解フレーム出力部， １５１ 抽出処理部， １５２ 比較処理部， １５３ 階層処理部， ４００ フレーム探索装置， ４２２ 探索元特徴量選択部， ４２４ 探索元特徴量データ保持部， ５１３ 画像処理装置， ５４１ 特徴量抽出部， ５４２ 同期検出部

Claims (8)

1. 探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する抽出手段と、
   前記抽出手段により抽出された前記探索元フレームの特徴量と、前記複数の探索先フレームの特徴量を比較し、所定の基準に基づいて一致するか否かを判定する比較手段と、
   前記比較手段を制御し、前記探索元フレームに一致すると判定されるフレームを絞り込むように、前記比較を階層的に複数回実行させる階層制御手段と
   を備える情報処理装置。
2. 前記階層制御手段は、前記比較手段を制御し、
   １回目の比較においては、前記探索元フレームの特徴量と、全ての前記探索先フレームの特徴量を比較させ、所定の基準に基づいて一致するか否かを判定させ、
   ２回目以降の比較においては、前記探索元フレームの特徴量と、前回の比較において前記探索元フレームに一致すると判定された探索先フレームの特徴量を比較させ、所定の基準に基づいて一致するか否かを判定させ、
   最後の比較においては、前記探索元フレームの特徴量と、前回の比較において前記探索元フレームに一致すると判定された探索先フレームの特徴量を比較させ、所定の基準に基づいて、前記探索元フレームに一致するフレームとして１つのフレームを選択させる
   請求項１に記載の情報処理装置。
3. 前記階層制御手段は、前記比較手段を制御し、最後以外の比較においては、フレーム内の輝度値の統計情報を前記特徴量とし、前記最後の比較においては、複数のフレーム間の輝度値の差分の統計量を前記特徴量とする
   請求項２に記載の情報処理装置。
4. 前記階層制御手段は、前記比較手段を制御し、前記最後の比較において、前記探索元フレームに一致するフレームとして１つのフレームを選択することができない場合、その旨を通知させる
   請求項２に記載の情報処理装置。
5. 前記階層制御手段は、前記比較手段を制御し、前記最後以外の比較において、前記探索元フレームに一致するフレームが１つのフレームに絞り込まれた場合、その旨を通知させる
   請求項２に記載の情報処理装置。
6. 前記抽出手段は、前記探索元フレームおよび全ての前記探索先フレームより複数種類の特徴量を抽出し、
   前記階層制御手段は、前記比較手段を制御し、各階層において互いに異なる特徴量を比較させる
   請求項１に記載の情報処理装置。
7. 抽出手段が、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出し、
   比較手段が、前記抽出手段により抽出された前記探索元フレームの特徴量と、前記複数の探索先フレームの特徴量を比較し、所定の基準に基づいて一致するか否かを判定し、
   階層制御手段が、前記比較手段を制御し、前記探索元フレームに一致すると判定されるフレームを絞り込むように、前記比較を階層的に複数回実行させる
   情報処理方法。
8. コンピュータを、
   探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する抽出手段、
   前記抽出手段により抽出された前記探索元フレームの特徴量と、前記複数の探索先フレームの特徴量を比較し、所定の基準に基づいて一致するか否かを判定する比較手段、
   前記比較手段を制御し、前記探索元フレームに一致すると判定されるフレームを絞り込むように、前記比較を階層的に複数回実行させる階層制御手段
   として機能させるためのプログラム。

Images