JP2001256245A - 動画像の特徴画面抽出装置、その記憶媒体および動画像の特徴情報記述方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像データから、任意のレベルで同一特徴
区間を決定し、同一特徴区間の特性に最も適した特徴画
面を抽出する。 【解決手段】 動画像データが動画像メモリ１０４から
１画面ずつ順次取り出され、その特徴ベクトルＩＶと参
照画面の特徴ベクトルＲＶとの変化度値Ｄが、特徴区間
決定部１０２で予定の閾値ＴＫ0 と比較される。該変化
度値Ｄが該閾値ＴＫ0 より大きい場合には、特徴区間決
定部１０２は同一特徴区間を終了させ、参照ベクトルを
更新して、同様の処理をショット内の画面が全て入力さ
れるまで繰り返す。その後、同一特徴区間数ＮＫ0 を閾
値決定部２２に入力させる。閾値決定部２２では、１シ
ョット内の同一特徴区間数ＮＫ0 と、目標の同一特徴区
間数ＮＫＴから同一特徴区関数特性を用いて、目標の同
一特徴区間数ＮＫＴを得るための閾値ＴＫＴを決定し、
特徴区間決定部１０２に設定する。該閾値ＴＫＴを用い
て、再度同一特徴区間を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像データの特徴
画面抽出方法、その記憶媒体および特徴画面抽出装置に
関し、特に、デジタル動画像信号の特徴画面抽出方法、
そのためのプログラムを記憶した記憶媒体および特徴画
面抽出装置に関する。

【０００２】

【従来の技術】動画像信号から特徴画面を抽出する従来
装置の一例を図２３に示す。図２３において、制御部１
０８からの制御信号ａにより、動画像データは動画像メ
モリ１０４から１画面ずつ順次取り出され、特徴ベクト
ル抽出部１００に入力される。特徴ベクトル抽出部１０
０では、入力画面の特徴ベクトルＩＶが抽出される。該
特徴ベクトルとしては輝度のヒストグラムなどを利用す
ることができる。抽出された入力画面の特徴ベクトルＩ
Ｖは、変化度測定部１０１に入力されると共に、入力ベ
クトルメモリ１０５に蓄積される。

【０００３】入力画面の特徴ベクトルＩＶは、変化度測
定部１０１にて、参照ベクトルメモリ１０６に蓄積され
ている参照画面の特徴ベクトルＲＶと比較され、参照画
面からの変化度値Ｄが測定される。この変化度値Ｄは、
例えば、入力画面の特徴ベクトルＩＶと参照画面の特徴
ベクトルＲＶの絶対差分和などで求めることができる。

【０００４】次に、該変化度値Ｄは特徴区間決定部１０
２に入力される。該特徴区間決定部１０２は、変化度値
Ｄが予め定められた閾値Ｔより大きいか否かの判断をす
る。この判断が終わると、該判断の結果を示す信号ｂが
参照ベクトル更新部１０７および制御部１０８に伝えら
れる。

【０００５】該特徴区間決定部１０２において、前記変
化度値Ｄが前記閾値Ｔより大きいと判断された場合に
は、同一特徴区間を終了させ、同一特徴区間情報ｃを特
徴画面抽出部１０３に出力する。特徴画面抽出部１０３
は、同一特徴区間情報ｃから同一特徴区間内における先
頭の画面の画面番号を求め、該画面番号ｄを特徴画面と
して出力する。これと同時に、参照ベクトル更新部１０
７は参照ベクトルを更新する。参照ベクトルの更新方法
としては、最後に入力された画面の特徴ベクトルを入力
ベクトルメモリ１０５から取り出すことにより更新する
ことができる。この更新された参照ベクトルは参照ベク
トルメモリ１０６に蓄積される。次に、画像メモリ１０
４から次の画像データが読み出され、該入力画像データ
の特徴ベクトルと更新された参照ベクトルを用いて、前
記したのと同じ動作が行われ、次の同一特徴区間が決定
される。

【０００６】一方、前記変化度測定部１０１で測定され
た変化度値Ｄが閾値Ｔ以下の場合は、制御部１０８から
の制御信号ａにより、画像メモリ１０４から次の画像デ
ータが読み出され、これを特徴ベクトル抽出部１００に
入力させて、前記と同様の変化度測定処理を行う。

【０００７】なお、画像メモリ１０４から読み出される
動画像データが第１画面の場合は、入力ベクトルメモリ
１０５に蓄積された入力画面の特徴ベクトルＩＶを参照
ベクトルメモリ１０６に参照ベクトルとして入力させ、
第１画面に関する処理を終了させる。その後は、制御部
１０８からの制御により、画像メモリ１０４から次の画
像データを特徴ベクトル抽出部１００に入力させて、次
の変化度測定処理を行う。

【０００８】

【発明が解決しようとする課題】前記した従来方法で
は、変化度値Ｄが高い画面が現れた時点で同一特徴区間
が終了するが、常に区間の最初の画面と入力画面を比較
しているため、同一特徴区間の決定は先頭画面の特性に
大きく左右されることになる。

【０００９】また、固定した閾値で特徴区間を決定する
ため、大きな動きがあるシーンでは特徴区間数および特
徴画面数は多くなり、逆に動きの少ないシーンでは特徴
区間数および特徴画面数は少なくなる。このため、目標
の特徴画面数でシーンを分割することは困難になる。

【００１０】さらに、特徴画面は同一特徴区間の先頭の
画面を用いることが多いが、例えばパンするシーンでは
先頭画面よりも中ほどの画面が意味的に重要なことが多
い。しかし、従来装置では、該意味的に重要な画面を特
徴画面とすることができない。さらに、各特徴画面間の
関係がわからないため、特徴区間を階層的に表示するこ
とができない。

【００１１】本発明の目的は、前記した従来技術の問題
点を解決し、任意のレベルで特徴区間を決定でき、先頭
画面の特性に左右されずに同一特徴区間を決定でき、ま
たは同一特徴区間の特性に最も適した特徴画面を抽出で
きる動画像データの特徴画面抽出方法および装置を提供
することにある。また、他の目的は、階層的な特徴区間
決定を可能にし、特徴画面の検索を容易にするための動
画像データの特徴画面抽出方法および装置を提供するこ
とにある。

【００１２】

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、入力画面の特徴ベクトルと参照ベク
トルとの変化度値Ｄを測定する変化度測定部と、該変化
度測定部で測定された変化度値Ｄと第１の閾値ＴＫ0 と
を比較して、同一特徴区間を決定する特徴区間決定部
と、該特徴区間決定部で決定された同一特徴区間数ＮＫ
0 と、目標の同一特徴区間数ＮＫＴとから、第２の閾値
ＴＫＴ1 を決定する閾値決定部とを具備し、該閾値決定
部で決定された第２の閾値ＴＫＴ1 を前記特徴区間決定
部で用いることにより、前記目標の同一特徴区間数に基
づく同一特徴区間を決定するようにした点に第１の特徴
がある。この特徴によれば、目標のレベルで同一特徴区
間を決定することができるようになる。

【００１３】また、本発明は、閾値決定部は、前記特徴
区間決定部で決定された同一特徴区間数ＮＫと目標の同
一特徴区間数ＮＫＴとから閾値ＴＫＴを決定する処理を
繰返し行い、該処理により得られた閾値を前記特徴区間
決定部で用いることにより、ｎ階層（ｎは２以上の整
数）の同一特徴区間を決定するようにした点に第２の特
徴がある。この特徴によれば、同一特徴区間内の特徴ベ
クトルを再帰的に用いて階層的な同一特徴区間を求める
ことが可能になる。

【００１４】また、本発明は、前記特徴区間決定部で決
定された同一特徴区間の代表特徴ベクトルを抽出する手
段を具備し、前記変化度測定部は、該代表特徴ベクトル
と参照ベクトルとから変化度値を求めるようにした点に
第３の特徴がある。この特徴によれば、先頭画面の特性
に左右されずに同一特徴区間を決定できるようになる。
また、本発明は、前記特徴画面抽出部によって抽出さ
れる特徴画面は、同一特徴区間の先頭画面、同一特徴区
間内の共通特徴ベクトルとの距離が最も小さい画面、お
よび特徴画面を含む時間的に連続な複数画面のいずれか
である点に第４の特徴がある。この特徴によれば、同一
特徴区間の特性に最も適した特徴画面を抽出できるよう
になる。

【００１５】また、本発明は、動画像の各画面の特徴ベ
クトルを抽出する機能と、該特徴ベクトルと参照画面の
特徴ベクトルとの変化度値Ｄを測定する機能と、該変化
度値Ｄと閾値とを比較して同一特徴区間を決定する機能
と、該同一特徴区間から特徴画面を抽出する機能と、前
記同一特徴区間を決定するための閾値を、目標とする同
一特徴区間数に応じた値に変更する機能とからなる、コ
ンピュータを実行させるためのプログラムを記録したコ
ンピュータ読取り可能な記憶媒体を提供する点に第５の
特徴がある。

【００１６】また、本発明は、ショット区間の動画像を
蓄積するショット内画像蓄積部と、前記第１、第２の特
徴でのべた構成で求められた同一特徴区間画面を用いて
ショット内特徴ベクトルを求めるショット内特徴ベクト
ル抽出部と、該ショット内特徴ベクトルの共通特徴ベク
トルに最も近い画面をショット代表画面とするショット
内特徴画面映像抽出部とを具備した点に第６の特徴があ
り、また、ファイルの動画像を蓄積するファイル内画像
蓄積部と、該第６の特徴で求められたショット代表画面
を用いてファイル内特徴ベクトルを求めるファイル内特
徴ベクトル抽出部と、該ファイル内特徴ベクトルの共通
特徴ベクトルに最も近い画面をファイル代表画面とする
ファイル内特徴画面映像抽出部とを具備した点に第７の
特徴がある。

【００１７】本発明は、動画像ファイルに対して、動画
像ファイル全体の特徴情報を記述し、該動画像ファイル
全体の特徴情報の下位情報として動画像ファイル内の各
ショットの特徴情報を記述し、該ショットの特徴情報の
下位情報として各ショット内の同一特徴区間の特徴情報
を記述するようにした点に第８の特徴がある。

【００１８】前記第６〜８の特徴によれば、映像ファイ
ルの内容を階層的に記述することができ、必要とするレ
ベルで、情報の内容を容易に検索することが可能とな
る。

【００１９】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の一実施形態の概略
の構成を示すブロック図、図２はその動作を説明するフ
ローチャートである。この実施形態は、動画像データか
ら、目標とする個数の同一特徴区間を抽出できるように
した点に特徴がある。

【００２０】図１において、制御部１０８からの制御信
号ａにより動画像データが動画像メモリ１０４から１画
面ずつ順次取り出され、該取り出された画面は特徴ベク
トル抽出部１００に入力される。特徴ベクトル抽出部１
００は、該動画像データから入力画面の特徴ベクトルＩ
Ｖを順次抽出する。該特徴ベクトルとしては、輝度のヒ
ストグラムなどを利用することができる。次に、入力画
面の特徴ベクトルＩＶは変化度測定部１０１に送られ、
また入力ベクトルメモリ１０５に送られて蓄積される。

【００２１】変化度測定部１０１に送られた入力画面の
特徴ベクトルＩＶは、参照ベクトルメモリ１０６に蓄積
されている参照画面の特徴ベクトルＲＶと比較され、変
化度値Ｄが測定される。例えば、変化度値Ｄは、図２２
の（１）式や（２）式のように入力画面の特徴ベクトル
ＩＶ(i) と参照画面の特徴ベクトルＲＶ(i) の絶対差分
和や絶対差分二乗和などで求めることができる。

【００２２】ここで、Ｍはベクトルの次数である。特徴
ベクトルとしては、輝度画素データ、ＹＵＶ画素デー
タ、サブサンプリングした画素データ、小領域内の平均
輝度データ、輝度ヒストグラム、ＹＵＶヒストグラム、
ＲＧＢヒストグラムや、輝度、ＲＧＢ、ＹＵＶ画面平均
などを用いることができる。

【００２３】変化度値Ｄは特徴区間決定部１０２に入力
され、予め定められた閾値ＴＫ0 と比較される。該比較
の結果を示す信号ｂは、参照ベクトル更新部１０７と制
御部１０８に送られる。該変化度値Ｄが該閾値ＴＫ0 よ
り大きいと判断された場合には、特徴区間決定部１０２
は同一特徴区間を終了させ、また参照ベクトル更新部１
０７は参照ベクトルを更新する。また、同一特徴区間数
カウンタ２１はカウントアップする。参照ベクトルの更
新方法の一例としては、最後に入力された画面の特徴ベ
クトルを入力ベクトルメモリ１０５から取り出し、参照
ベクトルとして参照ベクトルメモリ１０６に蓄積する。

【００２４】上記のようにして、１個の同一特徴区間が
決定されると、画像メモリ１０４は制御部１０８からの
制御信号ａにより、引き続き、動画像データを１画面ず
つ読み出す。そして、前記と同様の動作が行われ、更新
された参照ベクトルを用いて、次の同一特徴区間を決定
する。

【００２５】一方、前記変化度値Ｄが閾値ＴＫ0 以下の
場合は、特徴区間決定部１０２から、変化度値Ｄと閾値
ＴＫ0 との比較結果を示す信号ｂが制御部１０８に送ら
れる。そうすると、制御部１０８は、制御信号ａによ
り、画像メモリ１０４からの次の画像データを読み出さ
せ、次の１画面の特徴ベクトルＩＶと前記参照ベクトル
ＲＶとの変化度値Ｄを測定する処理を行う。以下、前記
と同様の動作が繰り返される。

【００２６】また、第１画面の場合は、入力ベクトルメ
モリ１０５に蓄積された入力画面の特徴ベクトルＩＶを
参照ベクトルメモリ１０６に参照ベクトルとして入力さ
せ、第１画面に関する処理を終了させる。次いで、制御
部１０８からの制御により、画像メモリ１０４から次の
画像データを読出して特徴ベクトル抽出部１００に入力
させて、次の変化度値Ｄを測定する処理を行う。

【００２７】これらの処理をショット内の画面がすべて
入力されるまで繰り返した後で、同一特徴区間数ＮＫ0
を同一特徴区間数カウンタ２１から閾値決定部２２に入
力させる。閾値決定部２２では、１ショット内の同一特
徴区間数ＮＫ0 と、制御部１０８から指示された目標の
同一特徴区間数ＮＫＴから同一特徴区関数特性を用い
て、目標の同一特徴区間数ＮＫＴを得るための閾値ＴＫ
Ｔを決定する。

【００２８】同一特徴区間数特性は、例えば図３のよう
な特性図を用いることができる。図３の横軸は閾値（＝
ＴＫ）を示し、縦軸は同一特徴区間数（＝ＮＫＴ）を示
す。例えば、閾値ＴＫ0 ＝５００における同一特徴区関
数ＮＫ0 ＝８で、目標の同一特徴区間数ＮＫＴ＝２の場
合には、目標の閾値ＴＫＴ＝１０００に設定すればよ
い。また、特性図から、多項式近似曲線を特性関数とし
て求め、特性関数から数値計算することも可能である。

【００２９】なお、このような特性図は、いくつかのテ
スト画像を用いて閾値ＴＫ0 を変化させたときの同一特
徴区間数ＮＫ１の変化を調査し、グラフ化することによ
り求めることができる。また複数テスト画像が類似した
特性を有する場合はそれらの特性曲線を平均化などの統
計処理を行って特性の信頼性を高めることができる。

【００３０】次に、新しく決定した閾値ＴＫＴを特徴区
間決定部１０２に入力させる。次に、既に入力ベクトル
メモリ１０５に記憶されているショット内の入力ベクト
ルを第１画面から取り出して、参照ベクトルメモリ１０
６にセットする。次に、第２画面の入力ベクトルＶを入
力ベクトルメモリ１０５から取り出して、変化度測定部
１０１に入力させる。また参照ベクトルメモリ１０６か
ら参照ベクトルＲＶを取り出して変化度測定部１０１に
入力させて、入力ベクトルＶと参照ベクトルＲＶの変化
度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴより
も大きい場合は同一特徴区間を終了させ、参照ベクトル
を更新させる。

【００３１】さらに、同一特徴区間のタイムコードを特
徴画面抽出部１０３に入力させる。特徴画面抽出部１０
３では同一特徴区間内の特徴画面を抽出する。例えば、
同一特徴区間内における先頭の画面の画面番号を特徴画
面として出力することができる。また、変形例として、
先頭の画面から連続する画面の番号を特徴映像として出
力することもできる。この場合、画面数としては、固定
した画面数や同一特徴区間の長さに応じた比率で画面数
を決定してもよい。

【００３２】一方、変化度値Ｄが閾値ＴＫＴ以下の場合
は、次の画面の特徴ベクトルＶを入力ベクトルメモリ１
０５から取り出して、変化度値Ｄの測定を行う。

【００３３】以上の処理を、ショット内の画面全てにつ
いて行う。図２のフローチャートは、本実施形態の前記
した動作を示したものであるが、詳細な説明は省略す
る。この処理により、図４に示されているように、１シ
ョットの動画像データを、目標とする個数（図示の場合
４個）の同一特徴区間に分けることができるようにな
る。

【００３４】次に、本発明の第２の実施形態について、
図１、図５を参照して説明する。前記第１の実施形態で
は、参照ベクトル更新部１０７における参照ベクトルの
更新は、更新前に入力されたベクトルのうち最後に入力
されたベクトルを参照ベクトルとするように更新してい
る。したがって、変化度値Ｄを測定する場合、常に同一
特徴区間内で最初の画面の入力ベクトルと現在入力され
ているベクトルを比較することになる。例えば、図５
(a) では、同一特徴区間１では入力画面１の特徴ベクト
ルを参照ベクトルＲＶ１として、ＲＶ１と第２画面以降
の画面の入力ベクトルを比較して特徴区間を決定してい
る。この場合、同一特徴区間内における最初の画面の特
性に変化度測定が大きく依存する。

【００３５】これに対して、該第２の実施形態は、図５
(b) に示されているように、参照ベクトルの特性を画面
入力の度に更新して参照ベクトルの特性変動を抑えるよ
うにした点に特徴がある。この場合、新たな画面が入力
される度に参照ベクトルが更新されるため、同一特徴区
間の特徴を表した参照ベクトルを得ることができる。参
照ベクトルの更新方法としては、これまで入力されてき
た特徴ベクトルＩＶk(i)の平均やメディアン等の共通特
徴ベクトルを用いることができる。

【００３６】特徴ベクトルの平均ベクトルＲＶc(i)は、
例えば図２２の（３）式から求めることができる。ここ
で、Ｃはこれまで入力された画面のうち同一特徴区間内
の画面数を示す。

【００３７】また、特徴ベクトルのメディアンベクトル
ＲＶc(i)は、例えば下記の（４）式から求めることがで
きる。 ＲＶc(i)＝Median｛ＩＶk(i)，ｋ＝０，１，…，Ｃ−１｝ …（４）

【００３８】また、同一区間内に存在する画面を画素単
位で平均した画面平均に対する上記の特徴ベクトルを参
照ベクトルとすることもできる。

【００３９】次に、本発明の第３の実施形態について説
明する。前記第１の実施形態では特徴画面抽出部１０３
において同一特徴区間内における先頭の画面の画面番
号、または先頭の画面から連続する画面の番号を特徴画
面として出力している。しかしながら、同一特徴特徴画
面がカメラパンのシーンの場合には、必ずしも最初の画
面がその同一特徴区間を代表する画面とはいえず、区間
内における共通の特徴を有する画面を代表画面とするこ
とが望ましい。区間内の共通の特徴ベクトルをＣＶとす
ると、代表画面Ｒは、下記の（５）式のように、ＣＶと
ＩＶの距離を最小にする画面Ｒとして求めることができ
る。 Ｒ＝arg[Min{Dist( ＣＶ(i) ，ＩＶR(i))}] …（５）

【００４０】ここで、ＣＶとＩＶの距離Distの測定につ
いては、（１）（２）式のようにベクトル間の絶対差分
和や絶対差分二乗和などを用いることができる。また、
共通特徴ベクトルＣＶとしては、図２２の（６）式のよ
うな同一特徴区間内の平均ベクトルや、下記の（７）式
のようなメディアンベクトルを用いることができる。 ＣＶ(i) ＝Median｛ＩＶk(i)，ｋ＝０，１，…，ＴＣ−１｝ …（７） ここで、ＴＣは同一特徴区間全体の画面数を示す。

【００４１】本実施形態の変形例として、代表画面を、
連続する複数の画面とすることも可能である。この場
合、代表画面Ｒを含むＲＶフレームを代表映像とするこ
とができる。ＲＶの値は、同一特徴区間長に依存しない
固定値でも、同一特徴区間長に比例した値でもかまわな
い。また、代表映像における代表画面Ｒの位置は、代表
映像の中心に位置しなくてもよい。

【００４２】次に、本発明の第４実施形態について、図
６を参照して説明する。前記第１の実施形態では、図３
の同一特徴区間数特性図を用いて目標の特徴画面数に対
する閾値を閾値決定部２２において決定し、新しく決定
した閾値ＴＫＴを用いて特徴区間決定部１０２で特徴区
間の決定を行っている。

【００４３】これに対して、本実施形態は、同一特徴区
間数特性図を再帰的に用いて階層的に特徴区間を決定す
るようにした点に特徴がある。

【００４４】この実施形態では、まず、第１の実施形態
と同様に、ショット内のすべての画面に対して閾値ＴＫ
0 で変化度を測定して、同一特徴区間数ＮＫ0 を求め
る。この際、参照ベクトルの更新については、前記第２
の実施形態の手法を用いることが可能である。次に、第
１階層の同一特徴区間数ＮＫＴ1 を設定し、図６の特徴
区間数特性からＴＫ0 に対してＮＫ0 を示す曲線１を用
いてＮＫＴ1 に対する閾値ＴＫＴ1 を求める。第１階層
では閾値ＴＫＴ1 を用いてショット内のすべての画面に
対して変化度を測定して第１階層の同一特徴区間数ＮＫ
1 を求め、各同一特徴区間の特徴画面を抽出する。この
際、前記第１の実施形態や、第３の実施形態の手法を用
いて特徴画面抽出することが可能である。

【００４５】次に、第２階層の同一特徴区間数ＮＫＴ2
を設定し、図６の特徴区間数特性からＴＫＴ1 に対して
ＮＫ1 を示す曲線２を用いてＮＫＴ2 に対する閾値ＴＫ
Ｔ2を求める。第２階層では閾値ＴＫＴ2 を用いてショ
ット内の変化度を測定して第２階層の同一特徴区間数Ｎ
Ｋ2 を求め、各同一特徴区間の特徴画面を抽出する。こ
の処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面
を抽出する。なお、前記曲線１、２、…は、トレーニン
グ画像を用いて求められた、予め求められている特性曲
線である。

【００４６】この実施形態によれば、ショット内の同一
特徴区間数を階層的に決定することができるようにな
る。

【００４７】次に、本発明の第５実施形態について、図
７と図８を用いて説明する。なお、図７の図１と同一の
符号は、同一または同等物を示し、詳細な動作説明を省
略する。

【００４８】前記第４の実施形態では、各階層について
ショット内のすべての画面の特徴ベクトルを用いて同一
特徴区間を求めているが、第５の実施形態は、各階層で
求められた同一特徴区間の情報、例えば代表特徴ベクト
ルを用いて、次の階層の同一特徴区間を求めるようにし
た点に特徴がある。構成的には、入力ベクトルメモリ１
０５と参照ベクトルメモリ１０６との間に、入力ベクト
ル更新部７０を設けた点に特徴があるので、主に該入力
ベクトル更新部７０の動作について、詳しく説明する。

【００４９】図１で説明したのと同様の動作により、閾
値ＴＫ0 を用いて同一特徴区間を求める処理を、ショッ
ト内の画面がすべて画像メモリ１０４から入力されるま
で繰り返した後で、同一特徴区間数カウンタ２１でカウ
ントした同一特徴区間数ＮＫ0 を閾値決定部２２に入力
させる。閾値決定部２２では、同一特徴区間数ＮＫ0と
第１階層における目標の同一特徴区間数ＮＫＴ１から、
図３または図６の同一特徴区間数特性を用いて目標の閾
値ＴＫＴ１を決定する。

【００５０】次に、閾値決定部２２で新しく決定された
閾値ＴＫＴ１は特徴区間決定部１０２に入力される。制
御部１０８は入力ベクトル更新部７０に指示を出して、
第１特徴区間に存在する画面の入力ベクトルを入力ベク
トルメモリ１０５から取り出させる。入力ベクトル更新
部７０は、受けとった入力ベクトルで参照ベクトルを更
新し、参照ベクトルメモリ１０６にセットする。次に、
第２特徴区間に存在する画面の入力ベクトルを入力ベク
トルメモリ１０５から取り出して入力ベクトル更新部７
０で更新し、変化度測定部１０１に入力させる。

【００５１】入力ベクトル更新部７０では、下記の方法
１〜４のいずれかを用いて、入力ベクトルを更新し、こ
れを同一特徴区間の代表特徴ベクトルとすることができ
る。方法１ 同一特徴区間の先頭画面の入力特徴ベクト
ルを代表特徴ベクトルとして用いる。方法２ 同一特徴
区間内の画面の入力特徴ベクトル平均ベクトルを代表特
徴ベクトルとして用いる。方法３ 同一特徴区間内の画
面の入力特徴ベクトルのメディアンベクトルを代表特徴
ベクトルとして用いる。方法４ 同一特徴区間内の画面
の入力ベクトルの平均ベクトルに最も距離の小さい入力
ベクトルを有する画面の入力ベクトルを代表特徴ベクト
ルとして用いる。なお、距離の測定には、前記（１）式
や（２）式のようにベクトル間の絶対差分和や絶対差分
二乗和を用いることができる。

【００５２】次に、参照ベクトルメモリ１０６から参照
ベクトルＲＶを取り出して変化度測定部１０１に入力さ
せて、第２特徴区間に存在する画面の代表特徴ベクトル
と参照ベクトルの変化度値Ｄを測定する。変化度値Ｄが
新しい閾値ＴＫＴ1 よりも大きい場合は同一特徴区間を
終了させ、参照ベクトルを更新させる。さらに同一特徴
区間のタイムコードを特徴画面抽出部１０３に入力させ
る。特徴画面抽出部１０３では同一区間内の特徴画面を
抽出する。例えば同一特徴区間内における先頭の画面の
画面番号を特徴画面として出力することができる。

【００５３】逆に、変化度値Ｄが閾値ＴＫＴ以下の場合
は、次の同一特徴区間の画面の代表特徴ベクトルを入力
ベクトルメモリ１０５から取り出して、変化度測定を行
う。

【００５４】これらの処理をすべての同一特徴区間につ
いて行い、第１階層の特徴区間を決定する。この際、実
施形態１や実施形態３の手法を用いて、各特徴区間にお
ける特徴画面抽出をすることが可能である。

【００５５】次に、第２階層の同一特徴区間数ＮＫＴ2
を設定し、特徴区間数特性からＮＫＴ2 に対する閾値Ｔ
ＫＴ2 を求める。なお、閾値の求め方としては第１の実
施形態や第４の実施形態に記載された方法を用いること
ができる。

【００５６】第２階層では閾値ＴＫＴ2 を用いて、第１
階層で求めた各特徴区間における代表特徴ベクトルの参
照ベクトルに対する変化度値を測定する。そして、第２
階層の同一特徴区間数ＮＫ２を求め、各同一特徴区間の
特徴画面を抽出する。この処理を第ｎ階層まで繰り返し
て、第ｎ階層の特徴画面を抽出する。

【００５７】前記第１〜５実施形態で説明した動画像の
特徴画面抽出機能は、ソフトウェア（プログラム）で実
現でき、該ソフトウェアは、光ディスク、フロッピディ
スク、ハードディスクなどの過般型記憶媒体に記憶する
ことができる。また、コンピュータなどのハードディス
クなどのメモリ中に予め入れておいても、また該コンピ
ュータが接続されたネットワークから該コンピュータの
ハードディスクなどのメモリ中に取り込むようにしても
よい。また、ネットワークのように、データを一時的に
記憶保持するような伝送媒体であってもよい。

【００５８】図２１は、前記過般型記憶媒体あるいはハ
ードディスクなどの記憶媒体に記憶されたプログラムを
読み取って、前記動画像の特徴画面抽出機能を実行する
コンピュータのハード構成を示すブロック図である。該
コンピュータ２００は、前記図１、図７に示した、特徴
ベクトル抽出部１００、変化度測定部１０１、特徴区間
決定部１０２、特徴画面抽出部１０３、同一特徴区間数
カウンタ２１、閾値決定部２２、および参照ベクトル更
新部１０７の機能のプログラムが記憶された記憶媒体２
１０と、該記憶媒体２１０に記憶されたプログラムを実
行するＣＰＵ２１１と、各種のデータを記憶するＲＯＭ
２１２と、画像、入力ベクトル、参照ベクトル、演算パ
ラメータ等を記憶するＲＡＭ２１３と、キーボード、マ
ウスなどの入力装置２１４と、ディスプレー、プリンタ
などの出力装置２１５と、ネットワークなどと接続され
る入出力インタフェース２１６等から構成されている。

【００５９】ＣＰＵ２１１は、記憶媒体２１０に記憶さ
れている前記動画像の特徴画面抽出機能プログラムを実
行することにより、前記第１〜５実施形態で説明した動
画像の特徴画面抽出処理を実行する。

【００６０】図８は、前記した処理を分かりやすく図示
したもので、閾値ＴＫ0 を用いて同一特徴区間を求める
処理をショット内の画面のすべてに対して行うことによ
り、ＮＫ0 個の同一特徴区間Ｋ０（０），Ｋ０（１），
…，Ｋ０（ＮＫ0 −１）が得られたとすると、その後、
前記のようにして、第１階層における目標の閾値ＴＫＴ
１を決定する。そして、該閾値ＴＫＴ１を用いて、前記
同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ
0 −１）から、それらの代表特徴ベクトルを用いて、第
１階層の同一特徴区間Ｋ１（０），Ｋ１（１），…，Ｋ
１（ＮＫ1 −１）を抽出する。次に、第２階層における
目標の閾値ＴＫＴ２を決定し、該閾値ＴＫＴ２を用い
て、前記第２階層の同一特徴区間Ｋ２（０），Ｋ２
（１），…，Ｋ２（ＮＫ2 −１）を抽出する。以下、同
様の処理をして、第ｎ階層における目標の閾値ＴＫＴn
を決定し、該閾値ＴＫＴn を用いて、第ｎ階層の同一特
徴区間Ｋｎ（０），Ｋｎ（１），…，Ｋｎ（ＮＫn −
１）を抽出する。

【００６１】次に、本発明の第６実施形態について説明
する。前記第１〜５の実施形態では同一特徴区間の検出
方法について述べた。この第６の実施形態は、ショット
とファイル全体の代表画面、代表映像の決定方法に特徴
がある。図９は、本実施形態の動作を示すフローチャー
トである。まず、動画像を入力し（ステップＳ１）、入
力された動画像についてカット点が検出される。カット
点の検出方法としては「動画像のカット画面検出方法」
（特開平７−５９１０８号公報）などを利用することが
できる。これによりカット点とカット点間を示すショッ
ト区間を検出することができる（ステップＳ２）。次
に、各ショット区間の動画像について、第１〜第５の実
施形態で述べた同一特徴区間検出を用いて各ショット内
における同一特徴区間を検出すると共に、同一特徴区間
を代表する代表画面や代表映像を決定する（ステップＳ
３）。

【００６２】次に、ショット内の代表画面や代表映像を
決定する（ステップＳ４）。図１０はショット内の代表
画面、代表映像を決定する方法を示すブロック図であ
る。ショット内の画像はショット内画像メモリ８０１か
ら取り出され、ショット内特徴ベクトル抽出部８００に
入力される。ショット内特徴ベクトルとしては第１の実
施形態と同様に、画面内の輝度ヒストグラムなどを用い
ることができる。ショット内特徴ベクトルＳＩＶはショ
ット内特徴ベクトルメモリ８０２に蓄積されると共に、
ショット内特徴画面・映像抽出部８０３に入力される。
ショット内特徴画面・映像抽出部８０３では、共通特徴
ベクトルＳＣＶを用いて、ショット内の代表画面・映像
が決定される。

【００６３】すなわち、ショット内の代表画面ＳＲはＳ
ＣＶとＳＩＶの距離を最小にする画面として求めること
ができる。ここで、ＳＣＶとＳＩＶの距離の測定につい
てはベクトル間の絶対差分和や絶対差分二乗和などを用
いることができる。また、ショット内共通特徴ベクトル
ＳＣＶについては、ショット内の平均ベクトルやメディ
アンベクトルを用いることができる。ショット内の代表
映像としては、代表画面ＳＲを含むＳＲＶフレームを代
表映像とすることができる。ＳＲＶの値はショット長に
依存しない固定値でも、ショット長に比例した値でもか
まわない。また、代表映像における代表画面ＳＲの位置
は代表映像の中心に位置しなくてもよい。さらにショッ
ト内の同一特徴区間情報を用いて、ショット代表画面が
存在する同一特徴画面区間すべてを代表映像としてもよ
い。

【００６４】本実施形態の変形例としては、前に求めた
同一特徴区間における代表画面を用いてショット代表画
面を決定することができる。この場合、ショット内画像
メモリ８０１にはショット内のすべての画像を用いる代
わりに、各同一特徴区間の代表画面のみを用いる。これ
により特徴ベクトルの抽出処理や特徴画面・映像抽出に
必要な処理量を大幅に削減することができる。さらに特
徴ベクトルとして、同一特徴区間検出で用いた特徴ベク
トルと同一のベクトルを用いることにより、ショット内
特徴ベクトル抽出処理を省略することができる。

【００６５】別の変形例としては、既に求められている
各同一特徴区間における共通ベクトルＣＶを各同一特徴
区間の特徴ベクトルとして用いて、上で述べた方法を用
いてショット内共通特徴ベクトルＳＣＶを求めることが
できる。この場合、各同一特徴画面における共通ベクト
ルをショット内特徴ベクトルとして用いることにより、
前記変形例と同様にショット内特徴ベクトル抽出処理が
不要になり、全体の処理量を削減することができる。

【００６６】また、別の変形例の代表画面・代表映像の
決定方法として、各同一特徴区間で最も長い区間を有す
る同一特徴区間の代表画面・代表映像を用いることも可
能である。

【００６７】次に、ファイル全体の代表画面や代表映像
を決定する（ステップＳ５）。図１１は映像ファイル内
の代表画面、代表映像を決定する方法を示したものであ
る。映像ファイル内の画像はファイル内画像メモリ９０
１から取り出され、ファイル内特徴ベクトル抽出部９０
０に入力される。ファイル内特徴ベクトルとしては、第
１の実施形態と同様に、画面内の輝度ヒストグラムなど
を用いることができる。ファイル内特徴ベクトルＦＩＶ
はファイル内特徴ベクトルメモリ９０２に蓄積されると
共に、ファイル内特徴画面・映像抽出部９０３に入力さ
れる。ファイル内特徴画面・映像抽出部９０３では、フ
ァイル内の共通特徴ベクトルＦＣＶを用いて、ファイル
内の代表画面・映像ＦＲが決定される。

【００６８】ファイル内の代表画面ＦＲはＦＣＶとＦＩ
Ｖの距離を最小にする画面として求めることができる。
ここで、ＦＣＶとＦＩＶの距離の測定についてはベクト
ル間の絶対差分和や絶対差分二乗和などを用いることが
できる。また、ファイル内共通特徴ベクトルＦＣＶにつ
いてはファイル内画面の特徴ベクトルの平均ベクトルや
メディアンベクトルを用いることができる。ファイル内
の代表映像としては、代表画面ＦＲを含むＦＲＶフレー
ムを代表映像とすることができる。また、ショット情報
を用いて、ファイル代表画面を含むショットすべてを代
表映像としてもよい。また、ショット内の同一特徴区間
情報を用いて、ファイル代表画面が存在する同一特徴画
面区間すべてを代表映像としてもよい。

【００６９】変形例としては，前に求めた各ショット区
間における代表画面を用いてファイル代表画面を決定す
ることができる。この場合、ファイル内画像メモリ９０
１にはファイル内のすべての画像を用いる代わりに，各
ショットの代表画面のみを用いる。これにより特徴ベク
トルの抽出処理や特徴画面・映像抽出に必要な処理量を
大幅に削減することができる。さらに特徴ベクトルとし
て、ショット内代表画面検出で用いた特徴ベクトルと同
一のベクトルを用いることにより、ファイル内特徴ベク
トル抽出処理を省略することができる。

【００７０】別の変形例としては，ショット代表画面検
出で用いたショット内の共通特徴ベクトルＳＣＶを用い
てファイル代表画面を求めることができる。この場合、
各ショットにおける共通特徴ベクトルをファイル内特徴
ベクトルとして用いることにより，前記変形例と同様に
ファイル内特徴ベクトル抽出処理が不要になり、全体の
処理量を削減することができる。

【００７１】また別の変形例としては，代表画面・代表
映像の決定方法として各ショットで最も長いショット長
を有するショットの代表画面・代表映像を用いることも
可能である。

【００７２】次に、本発明の第７実施形態について説明
する。前記第１〜５の実施形態では同一特徴区間の検出
方法について述べた。これらの検出処理を各映像ファイ
ルに対して毎回行う代わりに、各映像ファイルにおける
特徴区間情報ファイルを作成し、これを例えば図２１の
記憶媒体２１０に格納して使用することにより、映像フ
ァイルの同一特徴区間に対する検索効率を高めることが
可能である。

【００７３】図１２は特徴情報ファイルの１構成例を示
したものである。特徴情報ファイルはファイルヘッダの
後にショット情報＃１、ショット情報＃２、…のように
各ショット情報で構成される。

【００７４】さらに、各ショット情報はショットヘッダ
の後に同一特徴区間情報＃１、同一特徴区間情報＃２、
…の順で構成される。また、各同一特徴区間情報は同一
特徴区間ヘッダと同一特徴区間詳細情報で構成される。

【００７５】前記ファイルヘッダの構成例を、図１３に
示す。ファイルヘッダはファイルヘッダスタートコード
の後に、ファイル属性情報、ショット数、ショット情報
アドレス＃１、ショット情報アドレス＃２、…の順に構
成される。ファイルヘッダスタートコードはファイルヘ
ッダ情報を示す開始コードで、他のスタートコードと区
別できるようなユニークなコードを用いる。ファイル属
性情報には、映像ファイルの属性情報について記述す
る。

【００７６】ファイル属性情報には、映像ファイルの符
号化形式、映像タイトル、映像サブタイトル、著作権情
報、再生時間長、ファイル代表画面、ファイル代表映像
など映像ファイルに関する属性情報などを含めることが
できる。このうち映像ファイル代表画面については、前
の実施形態で述べた方法を用いて決定した画面や映像に
関する情報を記述する。記述方法としては、代表画面の
タイムコードや画像データを用いることができる。後者
の場合、ＪＰＥＧなどの静止画像圧縮方式で圧縮された
画像データを用いることができる。また、画像サイズを
元の動画像ファイルよりも小さくすることにより、属性
情報のファイルサイズを削減することができる。また、
映像全体を代表する動画像については、代表する動画像
の開始と終了タイムコードを用いて動画像の位置を指定
したり、動画像データを用いることができる。後者の場
合、ＭＰＥＧ−４などの動画像圧縮方式で圧縮された動
画像データを用いることができる。また画像サイズを元
の動画像ファイルより小さくすることにより属性情報の
ファイルサイズを削減することができる。

【００７７】ショット数は映像ファイルに含まれるショ
ットの数ＮＳを記述する。ショット情報アドレスでは、
各ショット情報が格納されている位置を示すアドレスを
記述する。このアドレス情報はショットの数ＮＳに等し
い個数作成される。このアドレス情報を用いることによ
り、各ショット情報をランダムに検索してショット内容
の閲覧などに用いることができる。

【００７８】図１２のショットヘッダの構成例を、図１
４に示す。ショットヘッダはショットヘッダスタートコ
ードの後に、ショット属性情報、同一特徴区間数、同一
特徴区間情報アドレス＃１、同一特徴区間情報情報アド
レス＃２、…の順に構成される。ショットヘッダスター
トコードはショットヘッダ情報を示す開始コードで、フ
ァイルヘッダスタートコードなど他のスタートコードと
区別できるようなユニークなコードを用いる。ショット
属性情報には、ショットの属性情報について記述する。
属性情報にはショット番号、ショットタイトル、ショッ
トサブタイトル、ショット開始時刻、ショット終了時
刻、ショット長、ショット代表画面・映像に関する属性
情報などを含めることができる。このうちショット代表
画面については第６の実施形態で述べた方法を用いて決
定した画面や映像に関する情報を記述することができ
る。記述方法としては、先のファイル代表画面の場合と
同様な方法を用いることができる。

【００７９】同一特徴区間数はショットに含まれる同一
特徴区間数ＮＫを記述する。同一特徴区間情報アドレス
には、各同一特徴区間情報が格納されている位置を示す
アドレスを記述する。このアドレス情報は同一特徴区間
の数ＮＫに等しい個数作成される。このアドレス情報を
用いることにより、各同一特徴区間情報をランダムに検
索して、同一特徴区間の内容の閲覧などに用いることが
できる。

【００８０】図１２の同一特徴区間情報ヘッダの構成例
を、図１５に示す。同一特徴区間情報ヘッダは、同一特
徴区間情報ヘッダスタートコードと同一特徴区間属性情
報で構成される。同一特徴区間情報ヘッダスタートコー
ドは、同一特徴区間ショットヘッダ情報を示す開始コー
ドでファイルヘッダスタートコードなど他の種類のコー
ドと区別できるようなユニークなコードを用いる。同一
特徴区間属性情報には、同一特徴区間の属性情報につい
て記述する。属性情報には、同一特徴区間番号、同一特
徴区間階層番号、同一特徴区間開始時刻、同一特徴区間
終了時刻、同一特徴区間長など、同一特徴区間に関する
属性情報などを含めることができる。同一特徴区間階層
番号は記述された同一特徴区間の階層を表すため、要求
される階層レベルに応じて同一特徴区間を検索すること
が可能である。

【００８１】図１２の同一特徴区間詳細情報には、各同
一特徴区間の詳細情報が記述される。詳細情報として
は、同一特徴区間代表画面・映像時刻や同一特徴区間代
表画面・映像データなどを含めることが可能である。ま
たこれらの代表画面や代表映像については第６の実施形
態で述べた方法を用いて決定した画面や映像に関する情
報を記述することができる。

【００８２】次に、本発明の第８の実施形態について説
明する。

【００８３】第７の実施形態では各ショットごとに、シ
ョット内の同一特徴区間の記述方法について述べた。こ
の場合、各ショットを階層的に検索する場合、各ショッ
トの情報を順に読み込むことで詳細な内容を把握するこ
とができる。本実施形態は、１つの映像ファイルを階層
ごとに記述するようにした点に特徴がある。なお、この
実施形態の記述方法で得られたファイルを、例えば図２
１の記憶媒体２１０に格納して使用することにより、検
索効率を高めることができるようになる。

【００８４】図１６は第８の実施形態の構成例を示した
ものである。ファイルは第１階層から第ｎ階層までの情
報で構成される。第１階層には最も高いレベルの情報を
記述する。記述例を図１７に示す。図１７は第１階層を
ファイル全体の情報としたもので、ファイルヘッダで構
成される。ファイルヘッダの内容としてはファイルヘッ
ダスタートコードの後にファイル属性情報が続く。ファ
イルヘッダスタートコードやファイル属性情報について
は、第７の実施形態と同様な情報を記述することができ
る。

【００８５】第２階層情報の構成例を図１８に示す。第
２階層情報には各ショット情報を記述し、ショットヘッ
ダの後に、ショット情報＃１，…，ショット情報＃Nsを
続けて記述する。なお、Ｎs はショット数を示す。ショ
ットヘッダはショットヘッダスタートコードのあとにシ
ョット数、ショット情報アドレス＃１，…，ショット情
報アドレス＃Ｎs で構成される。ショットヘッダスター
トコードは第７の実施形態と同様なコードを用いること
ができる。また、ショット情報アドレスでは各ショット
情報が格納されている位置を示すアドレスを記述する。
このアドレス情報を用いることにより、各ショット情報
をランダムに検索してショット内容の閲覧などに用いる
ことができる。

【００８６】各ショット情報は、ショットスタートコー
ドとショット属性情報で構成される。ショットスタート
コードは各ショット情報の開始点を示すコードでショッ
トヘッダスタートコードと同様にユニークなコードを用
いることによって他のスタートコードと識別する。ま
た、ショット属性情報については、第７実施形態のショ
ット属性情報と同様な情報を記述することができる。な
お、本実施形態では、第７実施形態とは異なり、ショッ
ト情報には同一特徴区間に関する情報は記述されておら
ず、ショット全体の内容を示す記述のみが行われる。

【００８７】次に、第３階層情報の記述例を図１９に示
す。第３階層情報では各ショット内の同一特徴区間につ
いて記述し、第３階層同一特徴区間ヘッダのあとに第３
特徴区間情報＃１から第３特徴区間情報＃Ｎk3までが続
く。なお、Ｎk3は第３階層におけるファイル全体の同一
特徴区関数を示す。第３階層同一特徴区間ヘッダは、第
３階層特徴区間ヘッダスタートコードの後に、第３階層
同一特徴区間数、第３階層同一特徴区間情報アドレス＃
１から第３階層同一特徴区間情報アドレス＃Ｎｋ３まで
が続く。第３階層同一特徴区間ヘッダスタートコード
は、第３階層情報の開始点を示すコードでユニークなコ
ードを用いることによって他のスタートコードと識別す
る。

【００８８】第３階層同一特徴区間情報は、第３階層同
一特徴区間スタートコードと、それに続く第３階層同一
特徴区間属性情報からなる。第３階層同一特徴区間スタ
ートコードは、第３階層同一特徴区間の開始点を示すコ
ードでユニークなコードを用いることによって他のスタ
ートコードと識別する。また第３階層同一特徴区間属性
情報には、同一特徴区間の属性情報について記述する。
属性情報には、第７実施形態の同一特徴区間属性情報と
同様な情報を記述することができる。これにより、第２
階層情報についてさらに詳細の情報を第３階層情報から
得ることが可能になる。

【００８９】同様な方法を用いて、第ｎ階層情報を構成
した例を図２０に示す。第ｎ階層情報は第ｎ−１階層の
情報をさらに詳細に記述するための情報で、例えば第１
の実施形態や第４の実施形態で述べた階層的な同一特徴
区関数について、ｎ−１階層に比べてさらに同一特徴区
関数を多くした場合の記述を第ｎ階層で行う。例えば第
ｎ−１階層でＮＫn-1 個の同一特徴区間数を記述して、
第ｎ階層ではさらに詳細のＮＫn 個（＞ＮＫn-1 ）の同
一特徴区関数について記述する。これによりｎが大きく
なるに従い、より詳しい内容について情報を得ることが
可能になる。

【００９０】このような方法により、第７実施形態と比
べると、階層ごとに映像内容が記述されているため、必
要とするレベルで検索ができ、検索効率を高めることが
可能になる。

【００９１】

【発明の効果】以上の説明から明らかなように、本発明
によれば、入力画面の特徴ベクトルと逐次更新された参
照ベクトルとを比較して同一特徴区間を決定し、同一特
徴区間数と閾値の特性曲線から目標の同一特徴区関数に
対する閾値を決定し、決定された閾値を用いて目標の同
一特徴区間を求めるようにしたので、任意のレベルで特
徴区間を決定できるようになる。

【００９２】また、本発明によれば、同一特徴区間内の
特徴ベクトルを再帰的に用いて、同一特徴区間を階層的
に求めるようにしたので、ｎ階層（ｎは２以上の整数）
の同一特徴区間を合理的に、かつ容易に求めることがで
きるようになる。

【００９３】また、本発明によれば、特徴区間決定部で
決定された同一特徴区間の代表特徴ベクトルと参照ベク
トルとから変化度値を求めるようにしたので、先頭画面
の特性に左右されずに同一特徴区間を決定できるように
なる。

【００９４】また、本発明によれば、特徴画面抽出部に
よって抽出される特徴画面を、同一特徴区間の先頭画
面、同一特徴区間内の共通特徴ベクトルとの距離が最も
小さい画面、および特徴画面を含む時間的に連続な複数
画面のいずれかであるようにしたので、同一特徴区間の
特性に最も適した特徴画面を抽出できるようになる。

【００９５】また、本発明によれば、動画像の各画面の
特徴ベクトルを抽出する機能と、該特徴ベクトルと参照
画面の特徴ベクトルとの変化度値Ｄを測定する機能と、
該変化度値Ｄと閾値とを比較して同一特徴区間を決定す
る機能と、該同一特徴区間から特徴画面を抽出する機能
と、前記同一特徴区間を決定するための閾値を、目標と
する同一特徴区間数に応じた値に変更する機能とからな
るプログラムを、コンピュータ読取り可能な記憶媒体に
格納して、提供できるようになる。

【００９６】また、本発明によれば、動画像ファイルに
対して、動画像ファイル全体の特徴情報を記述し、該動
画像ファイル全体の特徴情報の下位情報として動画像フ
ァイル内の各ショットの特徴情報を記述し、該ショット
の特徴情報の下位情報として各ショット内の同一特徴区
間の特徴情報を記述するようにしたので、映像ファイル
の内容を階層的に記述することができ、必要とするレベ
ルで、情報の内容を容易に検索することが可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態の構成を示すブロック図
である。

【図２】 本実施形態の動作を示すフローチャートであ
る。

【図３】 同一特徴区間数特性の一例を示す特性図であ
る。

【図４】 本実施形態により抽出される特徴画面の一例
を示す図である。

【図５】 本発明の第２実施形態の同一特徴区間決定方
法の具体例を示す説明図である。

【図６】 本発明の第４実施形態に使用される同一特徴
区間数特性の他の例を示す特性図である。

【図７】 本発明の第５実施形態の構成を示すブロック
図である。

【図８】 該第５実施形態の各階層の同一特徴区間決定
方法を示す説明図である。

【図９】 本発明の第６実施形態の動作の概要を示すフ
ローチャートである。

【図１０】 第６実施形態の概略の構成を示すブロック
図である。

【図１１】 第６実施形態の変形例の概略の構成を示す
ブロック図である。

【図１２】 本発明の第７実施形態の特徴情報ファイル
の一構成例を示す図である。

【図１３】 ファイルヘッダの構成例を示す図である。

【図１４】 ショットヘッダの構成例を示す図である。

【図１５】 同一特徴区間ヘッダの構成例を示す図であ
る。

【図１６】 本発明の第８実施形態の階層情報の一構成
例を示す図である。

【図１７】 第一階層の構成例を示す図である。

【図１８】 第二階層の構成例を示す図である。

【図１９】 第三階層の構成例を示す図である。

【図２０】 第ｎ階層の構成例を示す図である。

【図２１】 記録媒体に記録された本発明によるプログ
ラムを実行するコンピュータの構成を示すブロック図で
ある。

【図２２】 数式を表す図である。

【図２３】 従来の動画像データ特徴画面抽出装置の構
成を示すブロック図である。

【符号の説明】

２１…同一特徴区間数カウンタ、２２…閾値決定部、７
０…入力ベクトル更新部、１００…特徴ベクトル抽出
部、１０１…変化度測定部、１０２…特徴区間決定部、
１０３…特徴画面抽出部、１０４…画像メモリ、１０５
…入力ベクトルメモリ、１０６…参照ベクトルメモリ、
１０７…参照ベクトル更新部、１０８…制御部、８００
…ショット内特徴ベクトル抽出部、８０１…ショット内
画像メモリ、８０２…ショット内特徴ベクトルメモリ、
８０３…ショット内特徴画面映像抽出部、９００…ファ
イル内特徴ベクトル抽出部、９０１…ファイル内画像メ
モリ、９０２…ファイル内特徴ベクトルメモリ、９０３
…ファイル内特徴画面映像抽出部。

フロントページの続き Ｆターム(参考） 5B075 ND12 NK06 PP02 PP03 PQ02 QM08 5L096 AA02 FA19 FA32 FA37 GA28 GA51 HA02

Claims (23)

【特許請求の範囲】
1. 【請求項１】 入力画面の特徴ベクトルと参照ベクトル
   との変化度値Ｄを測定する変化度測定部と、 該変化度測定部で測定された変化度値Ｄと第１の閾値Ｔ
   Ｋ0 とを比較して、同一特徴区間を決定する特徴区間決
   定部と、 該特徴区間決定部で決定された同一特徴区間数ＮＫ0
   と、目標の同一特徴区間数ＮＫＴとから、第２の閾値Ｔ
   ＫＴ1 を決定する閾値決定部とを具備し、 該閾値決定部で決定された第２の閾値ＴＫＴ1 を前記特
   徴区間決定部で用いることにより、該特徴区間決定部は
   前記目標の同一特徴区間数に基づく同一特徴区間を決定
   することを特徴とする動画像の特徴画面抽出装置。
2. 【請求項２】 請求項１に記載の動画像の特徴画面抽出
   装置において、 前記閾値決定部は、前記特徴区間決定部で決定された同
   一特徴区間数ＮＫと目標の同一特徴区間数ＮＫＴとから
   閾値ＴＫＴを決定する処理を繰返し行い、該処理により
   得られた閾値を前記特徴区間決定部で用いることによ
   り、ｎ階層（ｎは２以上の整数）の同一特徴区間を決定
   することを特徴とする動画像の特徴画面抽出装置。
3. 【請求項３】 請求項１または２に記載の動画像の特徴
   画面抽出装置において、 前記特徴区間決定部で決定された同一特徴区間の代表特
   徴ベクトルを抽出する手段を具備し、 前記変化度測定部は、該代表特徴ベクトルと参照ベクト
   ルとから変化度値を求めることを特徴とする動画像の特
   徴画面抽出装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の動
   画像の特徴画面抽出装置おいて、 前記変化度測定部は、入力画面の特徴ベクトルと参照画
   面の特徴ベクトルとの間の距離を測定し、同一特徴区間
   は閾値より小さい範囲として決定されることを特徴とす
   る動画像の特徴画面抽出装置。
5. 【請求項５】 請求項１ないし４に記載の動画像の特徴
   画面抽出装置において、 前記特徴ベクトルは、画面内の輝度、色成分のヒストグ
   ラム、および画面内画素平均値のいずれかを用いること
   を特徴とする動画像の特徴画面抽出装置。
6. 【請求項６】 請求項１ないし５のいずれかに記載の動
   画像の特徴画面抽出装置において、 前記特徴区間決定部は、閾値と特徴画面数の特性曲線か
   ら、次の閾値ＴＫＴを決定することを特徴とする動画像
   の特徴画面抽出装置。
7. 【請求項７】 請求項１ないし６のいずれかに記載の動
   画像の特徴画面抽出装置において、 前記参照ベクトルは、同一特徴区間内の先頭の画面のベ
   クトル、同一特徴区間内の共通特徴ベクトル、および同
   一特徴区間内の画面平均のベクトルのいずれかを用いる
   ことを特徴とする動画像の特徴画面抽出装置。
8. 【請求項８】 請求項１ないし６のいずれかに記載の動
   画像の特徴画面抽出装置において、 さらに、前記特徴区間決定部で決定された同一特徴区間
   の特徴画面を抽出する特徴画面抽出部を具備し、 前記特徴画面抽出部によって抽出される特徴画面は、同
   一特徴区間の先頭画面、同一特徴区間内の共通特徴ベク
   トルとの距離が最も小さい画面、および特徴画面を含む
   時間的に連続な複数画面のいずれかであることを特徴と
   する動画像の特徴画面抽出装置。
9. 【請求項９】 動画像の各画面の特徴ベクトルを抽出す
   る機能と、 該特徴ベクトルと参照画面の特徴ベクトルとの変化度値
   Ｄを測定する機能と、 該変化度値Ｄと閾値とを比較して同一特徴区間を決定す
   る機能と、 該同一特徴区間から特徴画面を抽出する機能と、 前記同一特徴区間を決定するための閾値を、目標とする
   同一特徴区間数に応じた値に変更する機能とからなる、 コンピュータを実行させるためのプログラムを記録した
   コンピュータ読取り可能な記憶媒体。
10. 【請求項１０】 ショット区間の動画像を蓄積するショ
    ット内画像蓄積部と、 請求項１または２で求められた
    同一特徴区間画面を用いてショット内特徴ベクトルを求
    めるショット内特徴ベクトル抽出部と、 該ショット内特徴ベクトルの共通特徴ベクトルに最も近
    い画面をショット代表画面とするショット内特徴画面映
    像抽出部とを具備したことを特徴とする動画像の特徴画
    面抽出装置。
11. 【請求項１１】 請求項１０で求められたショット代表
    画面を含む同一特徴区間をショット代表映像とすること
    を特徴とする動画像の特徴画面抽出装置。
12. 【請求項１２】 ファイルの動画像を蓄積するファイル
    内画像蓄積部と、 請求項１０で求められたショット代表画面を用いてファ
    イル内特徴ベクトルを求めるファイル内特徴ベクトル抽
    出部と、 該ファイル内特徴ベクトルの共通特徴ベクトルに最も近
    い画面をファイル代表画面とするファイル内特徴画面映
    像抽出部とを具備したことを特徴とする動画像の特徴画
    面抽出装置。
13. 【請求項１３】 請求項１２で求められたファイル代表
    画面を含むショット区間をファイル代表映像とすること
    を特徴とする動画像の特徴画面抽出装置。
14. 【請求項１４】 請求項８、１０、または１２に記載の
    動画像の特徴画面抽出装置において、 前記共通特徴ベクトルは、同一特徴区間内の入力ベクト
    ルの平均値、またはメディアンベクトルを用いることを
    特徴とする動画像の特徴画面抽出装置。
15. 【請求項１５】 動画像ファイルに対して、動画像ファ
    イル全体の特徴情報を記述し、該動画像ファイル全体の
    特徴情報の下位情報として動画像ファイル内の各ショッ
    トの特徴情報を記述し、該ショットの特徴情報の下位情
    報として各ショット内の同一特徴区間の特徴情報を記述
    することを特徴とする動画像の特徴情報記述方法。
16. 【請求項１６】 請求項１５に記載の動画像の特徴情報
    記述方法において、 前記各ショット内の同一特徴区間の特徴情報の下位情報
    として、さらに第ｎ階層（ｎは正の整数）まで下位の同
    一特徴区間の特徴情報を記述することを特徴する動画像
    の特徴情報記述方法。
17. 【請求項１７】 請求項１５または１６に記載の動画像
    の特徴情報記述方法において、 該動画像の各特徴情報は、ヘッダ情報と下位特徴情報で
    記述されることを特徴とする動画像の特徴情報記述方
    法。
18. 【請求項１８】 請求項１７に記載の動画像の特徴情報
    記述方法において、 前記ヘッダ情報は、スタートコード、属性情報、下位特
    徴情報数、および下位特徴情報アドレスで構成されるこ
    とを特徴とする動画像の特徴情報記述方法。
19. 【請求項１９】 請求項１５または１６に記載の動画像
    の特徴情報記述方法において、 該動画像の各特徴情報は、ヘッダ情報と同位の詳細特徴
    情報で記述されることを特徴とする動画像の特徴情報記
    述方法。
20. 【請求項２０】 請求項１９に記載の動画像の特徴情報
    記述方法において、 前記ヘッダ情報は、スタートコード、同位の特徴情報
    数、および同位の特徴情報アドレスで構成されることを
    特徴とする動画像の特徴情報記述方法。
21. 【請求項２１】 請求項１９に記載の動画像の特徴情報
    記述方法において、 前記詳細特徴情報は、スタートコードと属性情報で構成
    されることを特徴とする動画像の特徴情報記述方法。
22. 【請求項２２】 請求項１８または２１に記載の動画像
    の特徴情報記述方法において、 前記属性情報は、特徴情報のタイトル、開始・終了時
    間、代表画面、代表映像情報のうち少なくとも１個以上
    の情報で構成されることを特徴とする動画像の特徴情報
    記述方法。
23. 【請求項２３】 請求項１５ないし２２のいずれかに記
    載の動画像の特徴情報記述方法により得られた動画像フ
    ァイルを記録したコンピュータ読取り可能な記憶媒体。