JP2006325223A - 動画像の特徴情報記述方法および記憶媒体 - Google Patents

Abstract

【課題】階層的な特徴区間決定を可能にし、特徴画面の検索を容易にするための動画像データの特徴情報記述方法および記憶媒体を提供することにある。
【解決手段】動画像ファイルに対して、動画像ファイル全体の特徴情報を記述し、該動画像ファイル全体の特徴情報の下位情報として動画像ファイル内の各ショットの特徴情報＃１〜＃Ｎｓを記述し、該ショットの特徴情報の下位情報として各ショット内の同一特徴区間の特徴情報＃１〜＃Ｎｋを記述する。また、前記各ショット内の同一特徴区間の特徴情報の下位情報として、さらに第ｎ階層（ｎは正の整数）まで下位の同一特徴区間の特徴情報を記述する。
【選択図】 図１２

Description

本発明は動画像の特徴情報記述方法および記憶媒体に関し、特に、デジタル動画像信号の特徴情報記述方法および記憶媒体に関する。

動画像信号から特徴画面を抽出する従来装置の一例を図２３に示す。図２３において、制御部１０８からの制御信号ａにより、動画像データは動画像メモリ１０４から１画面ずつ順次取り出され、特徴ベクトル抽出部１００に入力される。特徴ベクトル抽出部１００では、入力画面の特徴ベクトルＩＶが抽出される。該特徴ベクトルとしては輝度のヒストグラムなどを利用することができる。抽出された入力画面の特徴ベクトルＩＶは、変化度測定部１０１に入力されると共に、入力ベクトルメモリ１０５に蓄積される。

入力画面の特徴ベクトルＩＶは、変化度測定部１０１にて、参照ベクトルメモリ１０６に蓄積されている参照画面の特徴ベクトルＲＶと比較され、参照画面からの変化度値Ｄが測定される。この変化度値Ｄは、例えば、入力画面の特徴ベクトルＩＶと参照画面の特徴ベクトルＲＶの絶対差分和などで求めることができる。

次に、該変化度値Ｄは特徴区間決定部１０２に入力される。該特徴区間決定部１０２は、変化度値Ｄが予め定められた閾値Ｔより大きいか否かの判断をする。この判断が終わると、該判断の結果を示す信号ｂが参照ベクトル更新部１０７および制御部１０８に伝えられる。

該特徴区間決定部１０２において、前記変化度値Ｄが前記閾値Ｔより大きいと判断された場合には、同一特徴区間を終了させ、同一特徴区間情報ｃを特徴画面抽出部１０３に出力する。特徴画面抽出部１０３は、同一特徴区間情報ｃから同一特徴区間内における先頭の画面の画面番号を求め、該画面番号ｄを特徴画面として出力する。これと同時に、参照ベクトル更新部１０７は参照ベクトルを更新する。参照ベクトルの更新方法としては、最後に入力された画面の特徴ベクトルを入力ベクトルメモリ１０５から取り出すことにより更新することができる。この更新された参照ベクトルは参照ベクトルメモリ１０６に蓄積される。次に、画像メモリ１０４から次の画像データが読み出され、該入力画像データの特徴ベクトルと更新された参照ベクトルを用いて、前記したのと同じ動作が行われ、次の同一特徴区間が決定される。

一方、前記変化度測定部１０１で測定された変化度値Ｄが閾値Ｔ以下の場合は、制御部１０８からの制御信号ａにより、画像メモリ１０４から次の画像データが読み出され、これを特徴ベクトル抽出部１００に入力させて、前記と同様の変化度測定処理を行う。

なお、画像メモリ１０４から読み出される動画像データが第１画面の場合は、入力ベクトルメモリ１０５に蓄積された入力画面の特徴ベクトルＩＶを参照ベクトルメモリ１０６に参照ベクトルとして入力させ、第１画面に関する処理を終了させる。その後は、制御部１０８からの制御により、画像メモリ１０４から次の画像データを特徴ベクトル抽出部１００に入力させて、次の変化度測定処理を行う。

前記した従来方法では、変化度値Ｄが高い画面が現れた時点で同一特徴区間が終了するが、常に区間の最初の画面と入力画面を比較しているため、同一特徴区間の決定は先頭画面の特性に大きく左右されることになる。

また、固定した閾値で特徴区間を決定するため、大きな動きがあるシーンでは特徴区間数および特徴画面数は多くなり、逆に動きの少ないシーンでは特徴区間数および特徴画面数は少なくなる。このため、目標の特徴画面数でシーンを分割することは困難になる。

さらに、特徴画面は同一特徴区間の先頭の画面を用いることが多いが、例えばパンするシーンでは先頭画面よりも中ほどの画面が意味的に重要なことが多い。しかし、従来装置では、該意味的に重要な画面を特徴画面とすることができない。さらに、各特徴画面間の関係がわからないため、特徴区間を階層的に表示することができない。

本発明の目的は、前記した従来技術の問題点を解決し、階層的な特徴区間決定を可能にし、特徴画面の検索を容易にするための動画像データの特徴情報記述方法および記憶媒体を提供することにある。

前記の目的を達成するために、本発明は、動画像ファイルに対して、動画像ファイル全体の特徴情報を記述し、該動画像ファイル全体の特徴情報の下位情報として動画像ファイル内の各ショットの特徴情報を記述し、該ショットの特徴情報の下位情報として各ショット内の同一特徴区間の特徴情報を記述するようにした点に特徴がある。

本発明によれば、映像ファイルの内容を階層的に記述することができ、必要とするレベルで、情報の内容を容易に検索することが可能となる。

また、動画像の特徴情報記述方法により得られた動画像ファイルを、コンピュータ読取り可能な記憶媒体に格納して、提供できるようになる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図、図２はその動作を説明するフローチャートである。この実施形態は、動画像データから、目標とする個数の同一特徴区間を抽出できるようにした点に特徴がある。

図１において、制御部１０８からの制御信号ａにより動画像データが動画像メモリ１０４から１画面ずつ順次取り出され、該取り出された画面は特徴ベクトル抽出部１００に入力される。特徴ベクトル抽出部１００は、該動画像データから入力画面の特徴ベクトルＩＶを順次抽出する。該特徴ベクトルとしては、輝度のヒストグラムなどを利用することができる。次に、入力画面の特徴ベクトルＩＶは変化度測定部１０１に送られ、また入力ベクトルメモリ１０５に送られて蓄積される。

変化度測定部１０１に送られた入力画面の特徴ベクトルＩＶは、参照ベクトルメモリ１０６に蓄積されている参照画面の特徴ベクトルＲＶと比較され、変化度値Ｄが測定される。例えば、変化度値Ｄは、図２２の（１）式や（２）式のように入力画面の特徴ベクトルＩＶ(i) と参照画面の特徴ベクトルＲＶ(i) の絶対差分和や絶対差分二乗和などで求めることができる。

ここで、Ｍはベクトルの次数である。特徴ベクトルとしては、輝度画素データ、ＹＵＶ画素データ、サブサンプリングした画素データ、小領域内の平均輝度データ、輝度ヒストグラム、ＹＵＶヒストグラム、ＲＧＢヒストグラムや、輝度、ＲＧＢ、ＹＵＶ画面平均などを用いることができる。

変化度値Ｄは特徴区間決定部１０２に入力され、予め定められた閾値ＴＫ0 と比較される。該比較の結果を示す信号ｂは、参照ベクトル更新部１０７と制御部１０８に送られる。該変化度値Ｄが該閾値ＴＫ0 より大きいと判断された場合には、特徴区間決定部１０２は同一特徴区間を終了させ、また参照ベクトル更新部１０７は参照ベクトルを更新する。また、同一特徴区間数カウンタ２１はカウントアップする。参照ベクトルの更新方法の一例としては、最後に入力された画面の特徴ベクトルを入力ベクトルメモリ１０５から取り出し、参照ベクトルとして参照ベクトルメモリ１０６に蓄積する。

上記のようにして、１個の同一特徴区間が決定されると、画像メモリ１０４は制御部１０８からの制御信号ａにより、引き続き、動画像データを１画面ずつ読み出す。そして、前記と同様の動作が行われ、更新された参照ベクトルを用いて、次の同一特徴区間を決定する。

一方、前記変化度値Ｄが閾値ＴＫ0 以下の場合は、特徴区間決定部１０２から、変化度値Ｄと閾値ＴＫ0 との比較結果を示す信号ｂが制御部１０８に送られる。そうすると、制御部１０８は、制御信号ａにより、画像メモリ１０４からの次の画像データを読み出させ、次の１画面の特徴ベクトルＩＶと前記参照ベクトルＲＶとの変化度値Ｄを測定する処理を行う。以下、前記と同様の動作が繰り返される。

また、第１画面の場合は、入力ベクトルメモリ１０５に蓄積された入力画面の特徴ベクトルＩＶを参照ベクトルメモリ１０６に参照ベクトルとして入力させ、第１画面に関する処理を終了させる。次いで、制御部１０８からの制御により、画像メモリ１０４から次の画像データを読出して特徴ベクトル抽出部１００に入力させて、次の変化度値Ｄを測定する処理を行う。

これらの処理をショット内の画面がすべて入力されるまで繰り返した後で、同一特徴区間数ＮＫ0 を同一特徴区間数カウンタ２１から閾値決定部２２に入力させる。閾値決定部２２では、１ショット内の同一特徴区間数ＮＫ0 と、制御部１０８から指示された目標の同一特徴区間数ＮＫＴから同一特徴区関数特性を用いて、目標の同一特徴区間数ＮＫＴを得るための閾値ＴＫＴを決定する。

同一特徴区間数特性は、例えば図３のような特性図を用いることができる。図３の横軸は閾値（＝ＴＫ）を示し、縦軸は同一特徴区間数（＝ＮＫＴ）を示す。例えば、閾値ＴＫ0 ＝５００における同一特徴区関数ＮＫ0 ＝８で、目標の同一特徴区間数ＮＫＴ＝２の場合には、目標の閾値ＴＫＴ＝１０００に設定すればよい。また、特性図から、多項式近似曲線を特性関数として求め、特性関数から数値計算することも可能である。

なお、このような特性図は、いくつかのテスト画像を用いて閾値ＴＫ0 を変化させたときの同一特徴区間数ＮＫ１の変化を調査し、グラフ化することにより求めることができる。また複数テスト画像が類似した特性を有する場合はそれらの特性曲線を平均化などの統計処理を行って特性の信頼性を高めることができる。

次に、新しく決定した閾値ＴＫＴを特徴区間決定部１０２に入力させる。次に、既に入力ベクトルメモリ１０５に記憶されているショット内の入力ベクトルを第１画面から取り出して、参照ベクトルメモリ１０６にセットする。次に、第２画面の入力ベクトルＶを入力ベクトルメモリ１０５から取り出して、変化度測定部１０１に入力させる。また参照ベクトルメモリ１０６から参照ベクトルＲＶを取り出して変化度測定部１０１に入力させて、入力ベクトルＶと参照ベクトルＲＶの変化度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴよりも大きい場合は同一特徴区間を終了させ、参照ベクトルを更新させる。

さらに、同一特徴区間のタイムコードを特徴画面抽出部１０３に入力させる。特徴画面抽出部１０３では同一特徴区間内の特徴画面を抽出する。例えば、同一特徴区間内における先頭の画面の画面番号を特徴画面として出力することができる。また、変形例として、先頭の画面から連続する画面の番号を特徴映像として出力することもできる。この場合、画面数としては、固定した画面数や同一特徴区間の長さに応じた比率で画面数を決定してもよい。

一方、変化度値Ｄが閾値ＴＫＴ以下の場合は、次の画面の特徴ベクトルＶを入力ベクトルメモリ１０５から取り出して、変化度値Ｄの測定を行う。

以上の処理を、ショット内の画面全てについて行う。図２のフローチャートは、本実施形態の前記した動作を示したものであるが、詳細な説明は省略する。この処理により、図４に示されているように、１ショットの動画像データを、目標とする個数（図示の場合４個）の同一特徴区間に分けることができるようになる。

次に、本発明の第２の実施形態について、図１、図５を参照して説明する。前記第１の実施形態では、参照ベクトル更新部１０７における参照ベクトルの更新は、更新前に入力されたベクトルのうち最後に入力されたベクトルを参照ベクトルとするように更新している。したがって、変化度値Ｄを測定する場合、常に同一特徴区間内で最初の画面の入力ベクトルと現在入力されているベクトルを比較することになる。例えば、図５(a) では、同一特徴区間１では入力画面１の特徴ベクトルを参照ベクトルＲＶ１として、ＲＶ１と第２画面以降の画面の入力ベクトルを比較して特徴区間を決定している。この場合、同一特徴区間内における最初の画面の特性に変化度測定が大きく依存する。

これに対して、該第２の実施形態は、図５(b) に示されているように、参照ベクトルの特性を画面入力の度に更新して参照ベクトルの特性変動を抑えるようにした点に特徴がある。この場合、新たな画面が入力される度に参照ベクトルが更新されるため、同一特徴区間の特徴を表した参照ベクトルを得ることができる。参照ベクトルの更新方法としては、これまで入力されてきた特徴ベクトルＩＶk(i)の平均やメディアン等の共通特徴ベクトルを用いることができる。

特徴ベクトルの平均ベクトルＲＶc(i)は、例えば図２２の（３）式から求めることができる。

ここで、Ｃはこれまで入力された画面のうち同一特徴区間内の画面数を示す。

また、特徴ベクトルのメディアンベクトルＲＶc(i)は、例えば下記の（４）式から求めることができる。

ＲＶc(i)＝Median｛ＩＶk(i)，ｋ＝０，１，…，Ｃ−１｝ …（４）

また、同一区間内に存在する画面を画素単位で平均した画面平均に対する上記の特徴ベクトルを参照ベクトルとすることもできる。

次に、本発明の第３の実施形態について説明する。前記第１の実施形態では特徴画面抽出部１０３において同一特徴区間内における先頭の画面の画面番号、または先頭の画面から連続する画面の番号を特徴画面として出力している。しかしながら、同一特徴特徴画面がカメラパンのシーンの場合には、必ずしも最初の画面がその同一特徴区間を代表する画面とはいえず、区間内における共通の特徴を有する画面を代表画面とすることが望ましい。区間内の共通の特徴ベクトルをＣＶとすると、代表画面Ｒは、下記の（５）式のように、ＣＶとＩＶの距離を最小にする画面Ｒとして求めることができる。

Ｒ＝arg[Min{Dist( ＣＶ(i) ，ＩＶR(i))}] …（５）

ここで、ＣＶとＩＶの距離Distの測定については、（１）（２）式のようにベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、共通特徴ベクトルＣＶとしては、図２２の（６）式のような同一特徴区間内の平均ベクトルや、下記の（７）式のようなメディアンベクトルを用いることができる。

ＣＶ(i) ＝Median｛ＩＶk(i)，ｋ＝０，１，…，ＴＣ−１｝ …（７）

ここで、ＴＣは同一特徴区間全体の画面数を示す。

本実施形態の変形例として、代表画面を、連続する複数の画面とすることも可能である。この場合、代表画面Ｒを含むＲＶフレームを代表映像とすることができる。ＲＶの値は、同一特徴区間長に依存しない固定値でも、同一特徴区間長に比例した値でもかまわない。また、代表映像における代表画面Ｒの位置は、代表映像の中心に位置しなくてもよい。

次に、本発明の第４実施形態について、図６を参照して説明する。前記第１の実施形態では、図３の同一特徴区間数特性図を用いて目標の特徴画面数に対する閾値を閾値決定部２２において決定し、新しく決定した閾値ＴＫＴを用いて特徴区間決定部１０２で特徴区間の決定を行っている。

これに対して、本実施形態は、同一特徴区間数特性図を再帰的に用いて階層的に特徴区間を決定するようにした点に特徴がある。

この実施形態では、まず、第１の実施形態と同様に、ショット内のすべての画面に対して閾値ＴＫ0 で変化度を測定して、同一特徴区間数ＮＫ0 を求める。この際、参照ベクトルの更新については、前記第２の実施形態の手法を用いることが可能である。次に、第１階層の同一特徴区間数ＮＫＴ1 を設定し、図６の特徴区間数特性からＴＫ0 に対してＮＫ0 を示す曲線１を用いてＮＫＴ1 に対する閾値ＴＫＴ1 を求める。第１階層では閾値ＴＫＴ1 を用いてショット内のすべての画面に対して変化度を測定して第１階層の同一特徴区間数ＮＫ1 を求め、各同一特徴区間の特徴画面を抽出する。この際、前記第１の実施形態や、第３の実施形態の手法を用いて特徴画面抽出することが可能である。

次に、第２階層の同一特徴区間数ＮＫＴ2 を設定し、図６の特徴区間数特性からＴＫＴ1 に対してＮＫ1 を示す曲線２を用いてＮＫＴ2 に対する閾値ＴＫＴ2を求める。第２階層では閾値ＴＫＴ2 を用いてショット内の変化度を測定して第２階層の同一特徴区間数ＮＫ2 を求め、各同一特徴区間の特徴画面を抽出する。この処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面を抽出する。なお、前記曲線１、２、…は、トレーニング画像を用いて求められた、予め求められている特性曲線である。

この実施形態によれば、ショット内の同一特徴区間数を階層的に決定することができるようになる。

次に、本発明の第５実施形態について、図７と図８を用いて説明する。なお、図７の図１と同一の符号は、同一または同等物を示し、詳細な動作説明を省略する。

前記第４の実施形態では、各階層についてショット内のすべての画面の特徴ベクトルを用いて同一特徴区間を求めているが、第５の実施形態は、各階層で求められた同一特徴区間の情報、例えば代表特徴ベクトルを用いて、次の階層の同一特徴区間を求めるようにした点に特徴がある。構成的には、入力ベクトルメモリ１０５と参照ベクトルメモリ１０６との間に、入力ベクトル更新部７０を設けた点に特徴があるので、主に該入力ベクトル更新部７０の動作について、詳しく説明する。

図１で説明したのと同様の動作により、閾値ＴＫ0 を用いて同一特徴区間を求める処理を、ショット内の画面がすべて画像メモリ１０４から入力されるまで繰り返した後で、同一特徴区間数カウンタ２１でカウントした同一特徴区間数ＮＫ0 を閾値決定部２２に入力させる。閾値決定部２２では、同一特徴区間数ＮＫ0と第１階層における目標の同一特徴区間数ＮＫＴ１から、図３または図６の同一特徴区間数特性を用いて目標の閾値ＴＫＴ１を決定する。

次に、閾値決定部２２で新しく決定された閾値ＴＫＴ１は特徴区間決定部１０２に入力される。制御部１０８は入力ベクトル更新部７０に指示を出して、第１特徴区間に存在する画面の入力ベクトルを入力ベクトルメモリ１０５から取り出させる。入力ベクトル更新部７０は、受けとった入力ベクトルで参照ベクトルを更新し、参照ベクトルメモリ１０６にセットする。次に、第２特徴区間に存在する画面の入力ベクトルを入力ベクトルメモリ１０５から取り出して入力ベクトル更新部７０で更新し、変化度測定部１０１に入力させる。

入力ベクトル更新部７０では、下記の方法１〜４のいずれかを用いて、入力ベクトルを更新し、これを同一特徴区間の代表特徴ベクトルとすることができる。

方法１ 同一特徴区間の先頭画面の入力特徴ベクトルを代表特徴ベクトルとして用いる。

方法２ 同一特徴区間内の画面の入力特徴ベクトル平均ベクトルを代表特徴ベクトルとして用いる。

方法３ 同一特徴区間内の画面の入力特徴ベクトルのメディアンベクトルを代表特徴ベクトルとして用いる。

方法４ 同一特徴区間内の画面の入力ベクトルの平均ベクトルに最も距離の小さい入力ベクトルを有する画面の入力ベクトルを代表特徴ベクトルとして用いる。なお、距離の測定には、前記（１）式や（２）式のようにベクトル間の絶対差分和や絶対差分二乗和を用いることができる。

次に、参照ベクトルメモリ１０６から参照ベクトルＲＶを取り出して変化度測定部１０１に入力させて、第２特徴区間に存在する画面の代表特徴ベクトルと参照ベクトルの変化度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴ1 よりも大きい場合は同一特徴区間を終了させ、参照ベクトルを更新させる。さらに同一特徴区間のタイムコードを特徴画面抽出部１０３に入力させる。特徴画面抽出部１０３では同一区間内の特徴画面を抽出する。例えば同一特徴区間内における先頭の画面の画面番号を特徴画面として出力することができる。

逆に、変化度値Ｄが閾値ＴＫＴ以下の場合は、次の同一特徴区間の画面の代表特徴ベクトルを入力ベクトルメモリ１０５から取り出して、変化度測定を行う。

これらの処理をすべての同一特徴区間について行い、第１階層の特徴区間を決定する。この際、実施形態１や実施形態３の手法を用いて、各特徴区間における特徴画面抽出をすることが可能である。

次に、第２階層の同一特徴区間数ＮＫＴ2 を設定し、特徴区間数特性からＮＫＴ2 に対する閾値ＴＫＴ2 を求める。なお、閾値の求め方としては第１の実施形態や第４の実施形態に記載された方法を用いることができる。

第２階層では閾値ＴＫＴ2 を用いて、第１階層で求めた各特徴区間における代表特徴ベクトルの参照ベクトルに対する変化度値を測定する。そして、第２階層の同一特徴区間数ＮＫ２を求め、各同一特徴区間の特徴画面を抽出する。この処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面を抽出する。

前記第１〜５実施形態で説明した動画像の特徴画面抽出機能は、ソフトウェア（プログラム）で実現でき、該ソフトウェアは、光ディスク、フロッピディスク、ハードディスクなどの過般型記憶媒体に記憶することができる。また、コンピュータなどのハードディスクなどのメモリ中に予め入れておいても、また該コンピュータが接続されたネットワークから該コンピュータのハードディスクなどのメモリ中に取り込むようにしてもよい。また、ネットワークのように、データを一時的に記憶保持するような伝送媒体であってもよい。

図２１は、前記過般型記憶媒体あるいはハードディスクなどの記憶媒体に記憶されたプログラムを読み取って、前記動画像の特徴画面抽出機能を実行するコンピュータのハード構成を示すブロック図である。該コンピュータ２００は、前記図１、図７に示した、特徴ベクトル抽出部１００、変化度測定部１０１、特徴区間決定部１０２、特徴画面抽出部１０３、同一特徴区間数カウンタ２１、閾値決定部２２、および参照ベクトル更新部１０７の機能のプログラムが記憶された記憶媒体２１０と、該記憶媒体２１０に記憶されたプログラムを実行するＣＰＵ２１１と、各種のデータを記憶するＲＯＭ２１２と、画像、入力ベクトル、参照ベクトル、演算パラメータ等を記憶するＲＡＭ２１３と、キーボード、マウスなどの入力装置２１４と、ディスプレー、プリンタなどの出力装置２１５と、ネットワークなどと接続される入出力インタフェース２１６等から構成されている。

ＣＰＵ２１１は、記憶媒体２１０に記憶されている前記動画像の特徴画面抽出機能プログラムを実行することにより、前記第１〜５実施形態で説明した動画像の特徴画面抽出処理を実行する。

図８は、前記した処理を分かりやすく図示したもので、閾値ＴＫ0 を用いて同一特徴区間を求める処理をショット内の画面のすべてに対して行うことにより、ＮＫ0 個の同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ0 −１）が得られたとすると、その後、前記のようにして、第１階層における目標の閾値ＴＫＴ１を決定する。そして、該閾値ＴＫＴ１を用いて、前記同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ0 −１）から、それらの代表特徴ベクトルを用いて、第１階層の同一特徴区間Ｋ１（０），Ｋ１（１），…，Ｋ１（ＮＫ1 −１）を抽出する。次に、第２階層における目標の閾値ＴＫＴ２を決定し、該閾値ＴＫＴ２を用いて、前記第２階層の同一特徴区間Ｋ２（０），Ｋ２（１），…，Ｋ２（ＮＫ2 −１）を抽出する。以下、同様の処理をして、第ｎ階層における目標の閾値ＴＫＴn を決定し、該閾値ＴＫＴn を用いて、第ｎ階層の同一特徴区間Ｋｎ（０），Ｋｎ（１），…，Ｋｎ（ＮＫn −１）を抽出する。

次に、本発明の第６実施形態について説明する。前記第１〜５の実施形態では同一特徴区間の検出方法について述べた。この第６の実施形態は、ショットとファイル全体の代表画面、代表映像の決定方法に特徴がある。図９は、本実施形態の動作を示すフローチャートである。まず、動画像を入力し（ステップＳ１）、入力された動画像についてカット点が検出される。カット点の検出方法としては「動画像のカット画面検出方法」（特開平７−５９１０８号公報）などを利用することができる。これによりカット点とカット点間を示すショット区間を検出することができる（ステップＳ２）。次に、各ショット区間の動画像について、第１〜第５の実施形態で述べた同一特徴区間検出を用いて各ショット内における同一特徴区間を検出すると共に、同一特徴区間を代表する代表画面や代表映像を決定する（ステップＳ３）。

次に、ショット内の代表画面や代表映像を決定する（ステップＳ４）。図１０はショット内の代表画面、代表映像を決定する方法を示すブロック図である。ショット内の画像はショット内画像メモリ８０１から取り出され、ショット内特徴ベクトル抽出部８００に入力される。ショット内特徴ベクトルとしては第１の実施形態と同様に、画面内の輝度ヒストグラムなどを用いることができる。ショット内特徴ベクトルＳＩＶはショット内特徴ベクトルメモリ８０２に蓄積されると共に、ショット内特徴画面・映像抽出部８０３に入力される。ショット内特徴画面・映像抽出部８０３では、共通特徴ベクトルＳＣＶを用いて、ショット内の代表画面・映像が決定される。

すなわち、ショット内の代表画面ＳＲはＳＣＶとＳＩＶの距離を最小にする画面として求めることができる。ここで、ＳＣＶとＳＩＶの距離の測定についてはベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、ショット内共通特徴ベクトルＳＣＶについては、ショット内の平均ベクトルやメディアンベクトルを用いることができる。ショット内の代表映像としては、代表画面ＳＲを含むＳＲＶフレームを代表映像とすることができる。ＳＲＶの値はショット長に依存しない固定値でも、ショット長に比例した値でもかまわない。また、代表映像における代表画面ＳＲの位置は代表映像の中心に位置しなくてもよい。さらにショット内の同一特徴区間情報を用いて、ショット代表画面が存在する同一特徴画面区間すべてを代表映像としてもよい。

本実施形態の変形例としては、前に求めた同一特徴区間における代表画面を用いてショット代表画面を決定することができる。この場合、ショット内画像メモリ８０１にはショット内のすべての画像を用いる代わりに、各同一特徴区間の代表画面のみを用いる。これにより特徴ベクトルの抽出処理や特徴画面・映像抽出に必要な処理量を大幅に削減することができる。さらに特徴ベクトルとして、同一特徴区間検出で用いた特徴ベクトルと同一のベクトルを用いることにより、ショット内特徴ベクトル抽出処理を省略することができる。

別の変形例としては、既に求められている各同一特徴区間における共通ベクトルＣＶを各同一特徴区間の特徴ベクトルとして用いて、上で述べた方法を用いてショット内共通特徴ベクトルＳＣＶを求めることができる。この場合、各同一特徴画面における共通ベクトルをショット内特徴ベクトルとして用いることにより、前記変形例と同様にショット内特徴ベクトル抽出処理が不要になり、全体の処理量を削減することができる。

また、別の変形例の代表画面・代表映像の決定方法として、各同一特徴区間で最も長い区間を有する同一特徴区間の代表画面・代表映像を用いることも可能である。

次に、ファイル全体の代表画面や代表映像を決定する（ステップＳ５）。図１１は映像ファイル内の代表画面、代表映像を決定する方法を示したものである。映像ファイル内の画像はファイル内画像メモリ９０１から取り出され、ファイル内特徴ベクトル抽出部９００に入力される。ファイル内特徴ベクトルとしては、第１の実施形態と同様に、画面内の輝度ヒストグラムなどを用いることができる。ファイル内特徴ベクトルＦＩＶはファイル内特徴ベクトルメモリ９０２に蓄積されると共に、ファイル内特徴画面・映像抽出部９０３に入力される。ファイル内特徴画面・映像抽出部９０３では、ファイル内の共通特徴ベクトルＦＣＶを用いて、ファイル内の代表画面・映像ＦＲが決定される。

ファイル内の代表画面ＦＲはＦＣＶとＦＩＶの距離を最小にする画面として求めることができる。ここで、ＦＣＶとＦＩＶの距離の測定についてはベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、ファイル内共通特徴ベクトルＦＣＶについてはファイル内画面の特徴ベクトルの平均ベクトルやメディアンベクトルを用いることができる。ファイル内の代表映像としては、代表画面ＦＲを含むＦＲＶフレームを代表映像とすることができる。また、ショット情報を用いて、ファイル代表画面を含むショットすべてを代表映像としてもよい。また、ショット内の同一特徴区間情報を用いて、ファイル代表画面が存在する同一特徴画面区間すべてを代表映像としてもよい。

変形例としては，前に求めた各ショット区間における代表画面を用いてファイル代表画面を決定することができる。この場合、ファイル内画像メモリ９０１にはファイル内のすべての画像を用いる代わりに，各ショットの代表画面のみを用いる。これにより特徴ベクトルの抽出処理や特徴画面・映像抽出に必要な処理量を大幅に削減することができる。さらに特徴ベクトルとして、ショット内代表画面検出で用いた特徴ベクトルと同一のベクトルを用いることにより、ファイル内特徴ベクトル抽出処理を省略することができる。

別の変形例としては，ショット代表画面検出で用いたショット内の共通特徴ベクトルＳＣＶを用いてファイル代表画面を求めることができる。この場合、各ショットにおける共通特徴ベクトルをファイル内特徴ベクトルとして用いることにより，前記変形例と同様にファイル内特徴ベクトル抽出処理が不要になり、全体の処理量を削減することができる。

また別の変形例としては，代表画面・代表映像の決定方法として各ショットで最も長いショット長を有するショットの代表画面・代表映像を用いることも可能である。

次に、本発明の第７実施形態について説明する。前記第１〜５の実施形態では同一特徴区間の検出方法について述べた。これらの検出処理を各映像ファイルに対して毎回行う代わりに、各映像ファイルにおける特徴区間情報ファイルを作成し、これを例えば図２１の記憶媒体２１０に格納して使用することにより、映像ファイルの同一特徴区間に対する検索効率を高めることが可能である。

図１２は特徴情報ファイルの１構成例を示したものである。特徴情報ファイルはファイルヘッダの後にショット情報＃１、ショット情報＃２、…のように各ショット情報で構成される。

さらに、各ショット情報はショットヘッダの後に同一特徴区間情報＃１、同一特徴区間情報＃２、…の順で構成される。また、各同一特徴区間情報は同一特徴区間ヘッダと同一特徴区間詳細情報で構成される。

前記ファイルヘッダの構成例を、図１３に示す。ファイルヘッダはファイルヘッダスタートコードの後に、ファイル属性情報、ショット数、ショット情報アドレス＃１、ショット情報アドレス＃２、…の順に構成される。ファイルヘッダスタートコードはファイルヘッダ情報を示す開始コードで、他のスタートコードと区別できるようなユニークなコードを用いる。ファイル属性情報には、映像ファイルの属性情報について記述する。

ファイル属性情報には、映像ファイルの符号化形式、映像タイトル、映像サブタイトル、著作権情報、再生時間長、ファイル代表画面、ファイル代表映像など映像ファイルに関する属性情報などを含めることができる。このうち映像ファイル代表画面については、前の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述する。記述方法としては、代表画面のタイムコードや画像データを用いることができる。後者の場合、ＪＰＥＧなどの静止画像圧縮方式で圧縮された画像データを用いることができる。また、画像サイズを元の動画像ファイルよりも小さくすることにより、属性情報のファイルサイズを削減することができる。また、映像全体を代表する動画像については、代表する動画像の開始と終了タイムコードを用いて動画像の位置を指定したり、動画像データを用いることができる。後者の場合、ＭＰＥＧ−４などの動画像圧縮方式で圧縮された動画像データを用いることができる。また画像サイズを元の動画像ファイルより小さくすることにより属性情報のファイルサイズを削減することができる。

ショット数は映像ファイルに含まれるショットの数ＮＳを記述する。ショット情報アドレスでは、各ショット情報が格納されている位置を示すアドレスを記述する。このアドレス情報はショットの数ＮＳに等しい個数作成される。このアドレス情報を用いることにより、各ショット情報をランダムに検索してショット内容の閲覧などに用いることができる。

図１２のショットヘッダの構成例を、図１４に示す。ショットヘッダはショットヘッダスタートコードの後に、ショット属性情報、同一特徴区間数、同一特徴区間情報アドレス＃１、同一特徴区間情報情報アドレス＃２、…の順に構成される。ショットヘッダスタートコードはショットヘッダ情報を示す開始コードで、ファイルヘッダスタートコードなど他のスタートコードと区別できるようなユニークなコードを用いる。ショット属性情報には、ショットの属性情報について記述する。属性情報にはショット番号、ショットタイトル、ショットサブタイトル、ショット開始時刻、ショット終了時刻、ショット長、ショット代表画面・映像に関する属性情報などを含めることができる。このうちショット代表画面については第６の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述することができる。記述方法としては、先のファイル代表画面の場合と同様な方法を用いることができる。

同一特徴区間数はショットに含まれる同一特徴区間数ＮＫを記述する。同一特徴区間情報アドレスには、各同一特徴区間情報が格納されている位置を示すアドレスを記述する。このアドレス情報は同一特徴区間の数ＮＫに等しい個数作成される。このアドレス情報を用いることにより、各同一特徴区間情報をランダムに検索して、同一特徴区間の内容の閲覧などに用いることができる。

図１２の同一特徴区間情報ヘッダの構成例を、図１５に示す。同一特徴区間情報ヘッダは、同一特徴区間情報ヘッダスタートコードと同一特徴区間属性情報で構成される。同一特徴区間情報ヘッダスタートコードは、同一特徴区間ショットヘッダ情報を示す開始コードでファイルヘッダスタートコードなど他の種類のコードと区別できるようなユニークなコードを用いる。同一特徴区間属性情報には、同一特徴区間の属性情報について記述する。属性情報には、同一特徴区間番号、同一特徴区間階層番号、同一特徴区間開始時刻、同一特徴区間終了時刻、同一特徴区間長など、同一特徴区間に関する属性情報などを含めることができる。同一特徴区間階層番号は記述された同一特徴区間の階層を表すため、要求される階層レベルに応じて同一特徴区間を検索することが可能である。

図１２の同一特徴区間詳細情報には、各同一特徴区間の詳細情報が記述される。詳細情報としては、同一特徴区間代表画面・映像時刻や同一特徴区間代表画面・映像データなどを含めることが可能である。またこれらの代表画面や代表映像については第６の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述することができる。

次に、本発明の第８の実施形態について説明する。

第７の実施形態では各ショットごとに、ショット内の同一特徴区間の記述方法について述べた。この場合、各ショットを階層的に検索する場合、各ショットの情報を順に読み込むことで詳細な内容を把握することができる。本実施形態は、１つの映像ファイルを階層ごとに記述するようにした点に特徴がある。なお、この実施形態の記述方法で得られたファイルを、例えば図２１の記憶媒体２１０に格納して使用することにより、検索効率を高めることができるようになる。

図１６は第８の実施形態の構成例を示したものである。ファイルは第１階層から第ｎ階層までの情報で構成される。第１階層には最も高いレベルの情報を記述する。記述例を図１７に示す。図１７は第１階層をファイル全体の情報としたもので、ファイルヘッダで構成される。ファイルヘッダの内容としてはファイルヘッダスタートコードの後にファイル属性情報が続く。ファイルヘッダスタートコードやファイル属性情報については、第７の実施形態と同様な情報を記述することができる。

第２階層情報の構成例を図１８に示す。第２階層情報には各ショット情報を記述し、ショットヘッダの後に、ショット情報＃１，…，ショット情報＃Nsを続けて記述する。なお、Ｎs はショット数を示す。ショットヘッダはショットヘッダスタートコードのあとにショット数、ショット情報アドレス＃１，…，ショット情報アドレス＃Ｎs で構成される。ショットヘッダスタートコードは第７の実施形態と同様なコードを用いることができる。また、ショット情報アドレスでは各ショット情報が格納されている位置を示すアドレスを記述する。このアドレス情報を用いることにより、各ショット情報をランダムに検索してショット内容の閲覧などに用いることができる。

各ショット情報は、ショットスタートコードとショット属性情報で構成される。ショットスタートコードは各ショット情報の開始点を示すコードでショットヘッダスタートコードと同様にユニークなコードを用いることによって他のスタートコードと識別する。また、ショット属性情報については、第７実施形態のショット属性情報と同様な情報を記述することができる。なお、本実施形態では、第７実施形態とは異なり、ショット情報には同一特徴区間に関する情報は記述されておらず、ショット全体の内容を示す記述のみが行われる。

次に、第３階層情報の記述例を図１９に示す。第３階層情報では各ショット内の同一特徴区間について記述し、第３階層同一特徴区間ヘッダのあとに第３特徴区間情報＃１から第３特徴区間情報＃Ｎk3までが続く。なお、Ｎk3は第３階層におけるファイル全体の同一特徴区関数を示す。第３階層同一特徴区間ヘッダは、第３階層特徴区間ヘッダスタートコードの後に、第３階層同一特徴区間数、第３階層同一特徴区間情報アドレス＃１から第３階層同一特徴区間情報アドレス＃Ｎｋ３までが続く。第３階層同一特徴区間ヘッダスタートコードは、第３階層情報の開始点を示すコードでユニークなコードを用いることによって他のスタートコードと識別する。

第３階層同一特徴区間情報は、第３階層同一特徴区間スタートコードと、それに続く第３階層同一特徴区間属性情報からなる。第３階層同一特徴区間スタートコードは、第３階層同一特徴区間の開始点を示すコードでユニークなコードを用いることによって他のスタートコードと識別する。また第３階層同一特徴区間属性情報には、同一特徴区間の属性情報について記述する。属性情報には、第７実施形態の同一特徴区間属性情報と同様な情報を記述することができる。これにより、第２階層情報についてさらに詳細の情報を第３階層情報から得ることが可能になる。

同様な方法を用いて、第ｎ階層情報を構成した例を図２０に示す。第ｎ階層情報は第ｎ−１階層の情報をさらに詳細に記述するための情報で、例えば第１の実施形態や第４の実施形態で述べた階層的な同一特徴区関数について、ｎ−１階層に比べてさらに同一特徴区関数を多くした場合の記述を第ｎ階層で行う。例えば第ｎ−１階層でＮＫn-1 個の同一特徴区間数を記述して、第ｎ階層ではさらに詳細のＮＫn 個（＞ＮＫn-1 ）の同一特徴区関数について記述する。これによりｎが大きくなるに従い、より詳しい内容について情報を得ることが可能になる。

このような方法により、第７実施形態と比べると、階層ごとに映像内容が記述されているため、必要とするレベルで検索ができ、検索効率を高めることが可能になる。

本発明の一実施形態の構成を示すブロック図である。 本実施形態の動作を示すフローチャートである。 同一特徴区間数特性の一例を示す特性図である。 本実施形態により抽出される特徴画面の一例を示す図である。 本発明の第２実施形態の同一特徴区間決定方法の具体例を示す説明図である。 本発明の第４実施形態に使用される同一特徴区間数特性の他の例を示す特性図である。 本発明の第５実施形態の構成を示すブロック図である。 該第５実施形態の各階層の同一特徴区間決定方法を示す説明図である。 本発明の第６実施形態の動作の概要を示すフローチャートである。 第６実施形態の概略の構成を示すブロック図である。 第６実施形態の変形例の概略の構成を示すブロック図である。 本発明の第７実施形態の特徴情報ファイルの一構成例を示す図である。 ファイルヘッダの構成例を示す図である。 ショットヘッダの構成例を示す図である。 同一特徴区間ヘッダの構成例を示す図である。 本発明の第８実施形態の階層情報の一構成例を示す図である。 第一階層の構成例を示す図である。 第二階層の構成例を示す図である。 第三階層の構成例を示す図である。 第ｎ階層の構成例を示す図である。 記録媒体に記録された本発明によるプログラムを実行するコンピュータの構成を示すブロック図である。 数式を表す図である。 従来の動画像データ特徴画面抽出装置の構成を示すブロック図である。

符号の説明

２１…同一特徴区間数カウンタ、２２…閾値決定部、７０…入力ベクトル更新部、１００…特徴ベクトル抽出部、１０１…変化度測定部、１０２…特徴区間決定部、１０３…特徴画面抽出部、１０４…画像メモリ、１０５…入力ベクトルメモリ、１０６…参照ベクトルメモリ、１０７…参照ベクトル更新部、１０８…制御部、８００…ショット内特徴ベクトル抽出部、８０１…ショット内画像メモリ、８０２…ショット内特徴ベクトルメモリ、８０３…ショット内特徴画面映像抽出部、９００…ファイル内特徴ベクトル抽出部、９０１…ファイル内画像メモリ、９０２…ファイル内特徴ベクトルメモリ、９０３…ファイル内特徴画面映像抽出部。

Claims (9)

1. 動画像ファイルに対して、動画像ファイル全体の特徴情報を記述し、
   該動画像ファイル全体の特徴情報の下位情報として動画像ファイル内の各ショットの特徴情報を記述し、
   該ショットの特徴情報の下位情報として各ショット内の同一特徴区間の特徴情報を記述することを特徴とする動画像の特徴情報記述方法。
2. 請求項１に記載の動画像の特徴情報記述方法において、
   前記各ショット内の同一特徴区間の特徴情報の下位情報として、さらに第ｎ階層（ｎは正の整数）まで下位の同一特徴区間の特徴情報を記述することを特徴する動画像の特徴情報記述方法。
3. 請求項１または２に記載の動画像の特徴情報記述方法において、
   該動画像の各特徴情報は、ヘッダ情報と下位特徴情報で記述されることを特徴とする動画像の特徴情報記述方法。
4. 請求項３に記載の動画像の特徴情報記述方法において、
   前記ヘッダ情報は、スタートコード、属性情報、下位特徴情報数、および下位特徴情報アドレスで構成されることを特徴とする動画像の特徴情報記述方法。
5. 請求項１または２に記載の動画像の特徴情報記述方法において、
   該動画像の各特徴情報は、ヘッダ情報と同位の詳細特徴情報で記述されることを特徴とする動画像の特徴情報記述方法。
6. 請求項５に記載の動画像の特徴情報記述方法において、
   前記ヘッダ情報は、スタートコード、同位の特徴情報数、および同位の特徴情報アドレスで構成されることを特徴とする動画像の特徴情報記述方法。
7. 請求項５に記載の動画像の特徴情報記述方法において、
   前記詳細特徴情報は、スタートコードと属性情報で構成されることを特徴とする動画像の特徴情報記述方法。
8. 請求項４または７に記載の動画像の特徴情報記述方法において、
   前記属性情報は、特徴情報のタイトル、開始・終了時間、代表画面、代表映像情報のうち少なくとも１個以上の情報で構成されることを特徴とする動画像の特徴情報記述方法。
9. 請求項１ないし８のいずれかに記載の動画像の特徴情報記述方法により得られた動画像ファイルを記録したコンピュータ読取り可能な記憶媒体。
   
   

Images