JP2005513675A

JP2005513675A - 静止画像形状記述子の統計的特性を示す動画形状記述子の抽出装置及びその方法とそれを利用した動画索引システム

Info

Publication number: JP2005513675A
Application number: JP2003556909A
Authority: JP
Inventors: サン−ヨンイ; ヨン−シクチョ; ウ−ヨンイム; ヘ−クァンキム
Original assignee: KT Corp
Current assignee: KT Corp
Priority date: 2001-12-31
Filing date: 2002-09-27
Publication date: 2005-05-12
Also published as: US7609761B2; US20050012815A1; AU2002367239A1; KR100876280B1; KR20030058566A; WO2003056463A1

Abstract

静止画像形状記述子の統計的特性を含む動画形状記述子の抽出装置及びその方法と、それを利用した画像索引システムに関する。本発明の画像索引システムは、画像を分割するための分割手段と、分割された画像情報から動画形状記述子情報を抽出するための抽出手段と、動画形状記述子情報をメタデータとして格納するための格納手段とを備える。

Description

本発明は、静止画像形状記述子の統計的特性を示す動画形状記述子を抽出して動画索引技術に利用する動画形状記述子の抽出装置及びその方法と、それを利用した動画索引装置と前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体に関する。

動画及びオーディオのデータ量が急速に増加することによって、これを效率よく検索し管理する技術が要求されるが、このような技術の核心のひとつはマルチメディアの索引技術であって、マルチメディア情報を代表する索引情報を抽出し検索及び探索に利用するものである。

現在、マルチメディアを代表する索引情報を抽出するため、静止画像に対してはカラーヒストグラム、形状記述子及びテクスチャ記述子などが用いられ、オーディオに対してはスペクトル記述子などが用いられ、動画に対しては動きベクトルを使用する動き情報記述子及び画像オブジェクトの軌跡記述子などが用いられているが、このような記述子を利用した従来の技術は、動画内の画像オブジェクトの形状情報を動的に索引するために利用される記述子ではない。

また、形状情報の動的な変化を索引する動的索引の一方法として、動画を構成する全体の静止画像、あるいは代表静止画像から画像オブジェクトの形状情報を従来の静止画像形状情報索引方法を適用して索引する方法はあるが、このような従来の方法は形状情報を抽出するための静止画像の数が多くなるにつれて、索引情報の量も多くなるため、格納や検索の効率性が低下するという問題点があった。

したがって、本発明は前記のような問題点を解決するために案出されたものであって、その目的とするところは、動画を構成する画像オブジェクトの静止画像から静止画像形状記述子を抽出し、前記抽出された形状記述子から統計的特性を示す動画形状記述子を抽出し動画索引情報として使用する動画形状記述子の抽出装置及びその方法と、それを利用した動画索引装置と前記方法を実現させるためのコンピュータで読み出すことのできる記録媒体を提供することである。

前記目的を達成するため、本発明は、動画を效率的に索引するための動画形状記述子の抽出装置において、動画を時間分割するための動画分割器から分割された動画情報を受け取って、形状情報動画を出力するための形状抽出手段と、前記形状情報動画情報を受け取って形状ベクトル記述子ベクトルシーケンスを抽出するための形状ベクトル記述子の抽出手段と、前記形状記述子ベクトルシーケンス情報を受け取って動画形状記述子を出力するための統計的形状記述子ベクトルの抽出手段と、動画メタデータデータベースとを備えてなることを特徴とする。

上述したような本発明は、動画オブジェクトの変化する形状情報を動画形状記述子を利用して效果的に格納し、格納された動画情報を動画検索に利用して動画索引に応用できるという効果がある。

一般に、静止画像のための画像オブジェクトの形状記述子には、輪郭線(Ｏｕｔｌｉｎｅ)ベースの形状記述子及び領域(Ｒｅｇｉｏｎ)ベースの形状記述子などがある。本発明では全体動画を構成する画像オブジェクト等の各静止画像から前記の形状記述子(輪郭線ベースの形状記述子、または領域ベースの形状記述子など)を抽出し、抽出された形状記述子を統計的に処理した記述子を称する「動画形状記述子」を提示したが、統計的に処理した動画形状記述子(統計的特性記述子）は平均、分散などのモーメント特性を有している。

本発明の動画形状記述子を抽出するための統計的形状記述子ベクトル抽出器における抽出過程は次の通りである。

入力された画像オブジェクトの形状シーケンスはＳＳ＝｛ｓ_１、ｓ_２、ｓ_３、...、ｓ_ｎ｝に表現されるが、ここでｓ_ｍはm番目の形状を表す。上記の形状シーケンスから各々の形状に対して従来の静止画像形状記述子(領域ベース、あるいは輪郭線ベース)抽出方法を適用し、静止画像形状記述子のシーケンスＳＤ={ｓｄ_１、ｓｄ_２、ｓｄ_３、...、ｓｄ_ｎ｝を得る。ここで、ｓｄ_ｍはｍ番目の形状ｓ_ｍから抽出された静止画像形状記述子である。静止画像形状記述子ｓｄ_ｍは一般に次のようなベクトル形式の数式(［数１］)で表現される。

ｓｄ_ｍ＝｛ｓｄ_ｍ(１)、ｓｄ_ｍ(２)、ｓｄ_ｍ(３)、...、ｓｄ_ｍ(ｌ)｝数１

ここでｌは、ベクトルを構成する要素の数であり、ｓｄ_ｍ(ｐ)は、ｐ番目の要素を表す。

本発明では上記の静止画像形状記述子のシーケンスＳＤを利用し、下記に列挙した四つの形状記述子(（１)ないし(４))を抽出して、動画形状記述子を構成する。

(１)平均形状記述子
平均形状記述子ｓｄ^ａｖ＝｛ｓｄ^ａｖ(１)、ｓｄ^ａｖ(２)、ｓｄ^ａｖ(３)、...、ｓｄ^ａｖ(ｌ)｝は次のように抽出する。すなわち、ｍ番目の要素、ｓｄ^ａｖ(ｍ）は、ｎ個の形状記述子から構成されたＳＤ＝｛ｓｄ１、ｓｄ２、ｓｄ３、...、ｓｄｎ｝ｗｏ構成する各形状記述子のｍ番目の要素の平均値であって、次の数式(［数２］)により求めることができる。

(２)分散形状記述子
分散形状記述子ｓｄ^ｖａｒ＝｛ｓｄ^ｖａｒ(１)、ｓｄ^ｖａｒ(２)、ｓｄ^ｖａｒ(３)、...、ｓｄ^ｖａｒ(ｌ)｝は次のように抽出する。すなわち、ｍ番目の要素ｓｄ^ｖａｒ(ｍ)はｎ個の形状記述子から構成されたＳＤ＝｛ｓｄ１、ｓｄ２、ｓｄ３、...、ｓｄｎ｝を構成する各形状記述子のｍ番目の要素の分散値であって、次の数式(［数３］)により求めることができる。

(３)標準偏差形状記述子
標準偏差形状記述子ｓｄ^ｓｔｄ＝｛ｓｄ^ｓｔｄ(１)、ｓｄ^ｓｔｄ(２)、ｓｄ^ｓｔｄ(３)、...、ｓｄ^ｓｔｄ（ｌ）｝は次のように抽出する。すなわち、ｍ番目の要素ｓｄ^ｓｔｄ(ｍ）はｎ個の形状記述子から構成されたＳＤ={ｓｄ１、ｓｄ２、ｓｄ３、...、ｓｄｎ｝を構成する各形状記述子のｍ番目の要素の標準偏差値であって、次の数式(［数４］)により求めることができる。

(４)差分形状記述子
差分形状記述子は形状記述子シーケンスにおいて連続した２形状記述子の変化を示す。形状記述子シーケンスＳＤ＝｛ｓｄ１、ｓｄ２、ｓｄ３、...、ｓｄｎ｝から差分形状記述子シーケンスＤＳＤ＝｛ｄｓｄ_１、ｄｓｄ_２、ｄｓｄ_３、...、ｄｓｄ_ｎ-１｝は次のような数式(［数５］)により求めることができる。

ｄｓｄ_ｒ＝(ｓｄ_ｒ+１＊ｐ_ｒ+１)(ｓｄ_ｒ＊ｐ_ｒ) 数５

ここで、０＜ｒ＜ｎで、ｐ_ｒはｒ番目の形状記述子ｓｄ_ｒの加重値であって、形状記述子が代表する形状が全体形状シーケンスで占める時間比率などから求めることができる。

このような差分形状記述子シーケンスＤＳＤ＝｛ｄｓｄ_１、ｄｓｄ_２、ｄｓｄ_３、...、ｄｓｄ_ｎ-１｝から(１)、(２)、(３)、すなわち平均形状記述子、分散形状記述子、標準偏差形状記述子を求め、これを動画形状記述子を抽出するために用いる。

本発明で提案した動画形状記述子は、上述した形状記述子を単独、あるいは結合して使用することもでき、前記形状記述子を結合使用して抽出した動画形状記述子は下記のように表すことができる。

ＣＳＳＤ＝｛ｃｓｓｄ_１、ｃｓｓｄ_２、ｃｓｓｄ_ｉ、...、ｃｓｓｄ_１｝

ここで、ｃｓｓｄ_１も本発明で提案した動画形状記述子の一つである。

また、大きさ及び回転変形に関係ない静止画像形状記述子を適用すれば、大きさ及び回転変形に関係ない性質を有した動画形状記述子を具現できる。

また、本発明で適用した形状記述子のみならず他の静止画像に対する記述子(例えば静止画像の質感記述子等)に対しても上述した統計的処理をした動画形状記述子を抽出する方法を適用させることもできるので、本発明の技術を一般化させることができる長所がある。

以下、添付した図面を参照しながら本発明の最も好ましい実施の形態を説明する。

図１は、本発明に係る動画形状記述子の抽出装置及び動画索引システムの一実施の形態の構成図である。

図１に示すように、動画検索システムは第１動画形状記述子の抽出器１３０、動画検索装置１１０、動画ＤＢ１２０及び動画形状記述子のメタデータＤＢ１５０を備えて構成され、動画検索装置１１０は第２動画形状記述子の抽出器１３０ａ、動画形状記述子の類似度計算器１１１及び距離ベースの分類器１１２を備えて構成される。

以下、前記各構成部の動作を述べると、以下のようである。

ユーザにより分割された動画１２０が入力されれば、第１動画形状記述子の抽出器１３０から分割された動画１２０に対する動画形状記述子が抽出され、抽出された動画形状記述子は、動画検索装置１１０の動画形状記述子の距離計算器(あるいは類似度の計算器)１１１に入力される。

動画格納手段である動画ＤＢ１２０に格納された動画は、動画検索装置１１０内の第２動画形状記述子の抽出器１３０ａに入力され、第２動画形状記述子の抽出器１３０ａから出力された情報を動画形状記述子メタデータＤＢ１５０にメタデータ形態に記録しておく。動画形状記述子の類似度計算器１１１は、第１動画形状記述子の抽出器１３０から出力された動画形状記述子と動画形状記述子メタデータＤＢ１５０にある動画形状記述子との差(類似度)を計算する。類似度計算(距離計算）は２ベクトル間の距離を測定するユークリッド(ｅｕｃｌｉｄｉａｎ)距離や絶対差異値の和などの方法を使用する。距離ベースの分類器１１２では計算された距離情報を距離が近い順に整理し、該当するメタデータ情報を動画形状記述子メタデータＤＢ１３０から抽出し、抽出された類似動画情報１４０をユーザに出力する。

図２は、本発明に係る前記図１の動画形状記述子の抽出装置の一実施の形態構成図である。

図２に示すように、本発明による動画形状記述子の抽出装置は、動画分割器２１０、動画形状記述子の抽出器２３０及び動画メタデータＤＢ２５０を備えて構成され、動画形状記述子の抽出器２３０は、形状抽出器２３１、形状ベクトル記述子の抽出器２３３及び統計的形状記述子ベクトル抽出器２３５を備えて構成される。

以下、前記各構成部の動作を述べると以下のようである。

まず、動画分割器２１０に動画２００が入力されれば、動画分割器２１０は入力された動画を時間分割する。時間分割された動画２２０は形状抽出器２３１に入力され、形状抽出器２３１は一つの画像オブジェクトに該当する形状情報動画２３２を出力する。形状情報動画２３２の各静止画像等の形状情報は形状ベクトル記述子の抽出器２３３に入力され、形状ベクトル記述子の抽出器２３３は形状記述子ベクトル列(ベクトルシーケンス)２３４を出力する。形状ベクトル記述子の抽出器２３３から出力された形状記述子ベクトルシーケンス２３４は、統計的形状記述子ベクトル抽出器２３５に入力され、統計的形状記述子ベクトル抽出器１３５は、前記に列挙した(１)平均形状記述子、(２)分散形状記述子、(３)標準偏差形状記述子、(４)差分形状記述子などに該当する数式(数１)〜(数５）を単独あるいは結合の方法で利用して、最終的に動画形状記述子２４０を出力する。動画形状記述子２４０は動画メタデータ格納手段である動画メタデータＤＢ２５０に記録される。

図３は、本発明によって動画形状記述子を格納する動画メタデータＤＢに記録されたメタデータをテーブルで表した一実施の形態の図面であって、動画形状記述子ベクトル、動画タイトル、ファイル位置及び元来動画における開始時間位置などに分離してテーブルで表したものである。

図４は、本発明に係る動画形状記述子の抽出方法に対する一実施の形態のフローチャートである。

図４に示すように、本発明に係る動画形状記述子の抽出方法は、まず入力された動画４００を時間分割し(４０３)、時間分割された動画から一つの画像オブジェクトに該当する形状情報動画を抽出する(４０５)。

次に、抽出された形状情報動画から形状記述子ベクトル列(ベクトルシーケンス）を抽出し(４０７)、前記形状記述子ベクトルシーケンスから統計的形状記述子ベクトルである動画形状記述子を抽出し(４０９)、抽出された動画形状記述子情報を動画メタデータ格納手段である動画メタデータＤＢに記録(格納)する(４１１)。

尚、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更して実施することが可能である。

本発明に係る動画形状記述子の抽出装置及び動画索引システムの一実施の形態の構成図である。本発明に係る前記図１の動画形状記述子の抽出装置の一実施の形態の構成図である。本発明によって動画形状記述子を格納する動画メタデータＤＢに記録されたメタデータをテーブルで表した一実施の形態の図面である。本発明に係る動画形状記述子の抽出方法に対する一実施の形態のフローチャートである。

Claims

動画検索システムにおいて、
動画を時間分割するための動画分割手段と、
分割された動画情報から動画形状記述子情報を出力するための動画形状記述子の抽出手段と、
前記動画形状記述子情報をメタデータで格納するための動画メタデータ格納手段と
を備えることを特徴とする動画検索システム。
前記動画形状記述子の抽出手段は、
分割された動画情報から一つの画像オブジェクトに該当する形状情報を抽出するための形状抽出手段と、
前記抽出された形状情報から形状ベクトル記述子ベクトル列情報を抽出するための形状ベクトル記述子の抽出手段と、
前記抽出された形状記述子ベクトル列情報から動画形状記述子情報を抽出するための統計的形状記述子ベクトルの抽出手段と
を備えることを特徴とする請求項１に記載の動画検索システム。
前記統計的形状記述子ベクトルの抽出手段は、
平均形状記述子、分散形状記述子、標準偏差形状記述子及び差分形状記述子のいずれか一つの記述子または複数個を合わせた記述子を利用し動画形状記述子情報を抽出することを特徴とする請求項２に記載の動画検索システム。
前記平均形状記述子は、
下記の数式により求めることができることを特徴とする請求項３に記載の動画検索システム。

(ここで、ｓｄ_ｉ={ｓｄ_ｉ(１)、ｓｄ_ｉ(２)、ｓｄ_ｉ(３)、...、ｓｄ_ｉ(ｍ)}である。)
前記分散形状記述子は、
下記の数式により求めることができることを特徴とする請求項３に記載の動画検索システム。

(ここで、ｓｄ^ａｖ(ｍ)=(Σ_i=１ _to _n ｓｄ_ｉ(ｍ))/ｎであり、ｓｄ_ｉ={ｓｄ_ｉ(１)、ｓｄ_ｉ(２)、ｓｄ_ｉ(３)、...、ｓｄ_ｉ(ｍ)}である。)
前記標準偏差形状記述子は、
下記の数式により求めることができることを特徴とする請求項３に記載の動画検索システム。

（ここで、ｓｄ^ａｖ(ｍ)=（Σ_ｉ＝1 _ｔｏ _ｎｓｄ_ｉ(ｍ)/ｎであり、ｓｄ_ｉ(ｍ)={ｓｄ_ｉ(1)、ｓｄ_ｉ(２)、ｓｄ_ｉ(３)、．．．，ｓｄ_ｉ(ｍ)}である。）
前記差分形状記述子は、下記の数式により求めることができることを特徴とする動画検索システム。
ｄｓｄ_ｒ=(ｓｄ_ｒ+1 * ｐ_ｒ+1) (ｓｄ_ｒ * ｐ_ｒ)
(ここで、ｓｄ_ｒはｍ番目の形状ｓ_ｒから抽出された形状記述子、０＜ｒ＜ｎであり、ｐ_ｒはｒ番目の形状記述子ｓｄ_ｒの加重値である)
動画検索システムにおいて、
入力された動画に対する動画形状記述子情報を抽出するための第１動画形状記述子の抽出手段と、
動画情報を格納するための動画格納手段と、
前記動画形状記述子情報を格納するための動画形状記述子メタデータ格納手段と、
前記動画形状記述子の抽出手段から抽出された動画形状記述子情報と前記動画形状記述子メタデータ格納手段から出力した動画形状記述子情報との類似度を計算し、前記計算値が小さい順に情報を整理し類似動画情報として出力するための動画検索手段と
を備えることを特徴とする動画検索システム。
前記動画検索手段は、
前記動画格納手段から出力された動画情報から動画形状記述子情報を抽出して前記動画形状記述子メタデータ格納手段に格納するための第２動画形状記述子の抽出手段と、
前記第１動画形状記述子の抽出手段から出力された第１動画形状記述子情報と前記動画形状記述子メタデータ格納手段から出力された第２動画形状記述子情報との間の類似度を計算するための動画形状記述子の類似度計算手段と、
前記動画形状記述子の類似度計算手段から出力された類似度計算情報を分類して類似動画情報を出力するための距離ベースの分類手段と
を備えることを特徴とする請求項８に記載の動画検索システム。
前記距離ベースの分類手段は、
前記類似度計算情報等の距離が近い順に分類することを特徴とする請求項８または請求項９に記載の動画検索システム。
前記動画形状記述子の類似度計算器は、
入力される２情報ベクトル間の距離を測定するユークリッド(Ｅｕｃｌｉｄｉａｎ)距離または絶対差異値の和の方法を利用することを特徴とする請求項８または請求項９に記載の動画検索システム。
動画形状記述子の抽出装置に適用される動画形状記述子の抽出方法において、
動画を時間分割し前記時間分割された動画から一つの画像オブジェクトに該当する形状情報動画を抽出する第１段階と、
抽出された形状情報動画から統計的形状記述子ベクトルである動画形状記述子情報を抽出する第２段階と、
前記抽出された動画形状記述子情報を動画メタデータ格納手段に格納する第３段階と
を備えることを特徴とする静止画像形状記述子の統計的特性を示す動画形状記述子の抽出方法。
動画形状記述子情報を抽出するため、
前記抽出された形状情報動画から形状記述子ベクトル列情報を抽出する第４段階と、
前記形状記述子ベクトル列情報から統計的形状記述子ベクトルである動画形状記述子情報を抽出する第５段階と
をさらに備えること特徴とする請求項１２に記載の静止画像形状記述子の統計的特性を示す動画形状記述子の抽出方法。
前記第５段階の統計的形状記述子ベクトル情報である動画形状記述子情報は、
下記の数式により求めることができることを特徴とする静止画像形状記述子の統計的特性を示す動画形状記述子の抽出方法。
ｓｄ^ａｖ(ｍ) = (Σ_ｉ=１ _ｔｏ _ｎｓｄ_ｉ(ｍ))/n
(ここで、ｓｄ_ｉ={ｓｄ_ｉ(１)、ｓｄ_ｉ(２)、ｓｄ_ｉ(３)、...、ｓｄ_ｉ(m)}である。)
前記第５段階の統計的形状記述子ベクトル情報である動画形状記述子情報は、
下記の数式で求めることができることを特徴とする請求項１３に記載の静止画像形状記述子の統計的特性を示す動画形状記述子の抽出方法。

(ここで、ｓｄ^ａｖ(ｍ)=(Σ_i=１ _to _n ｓｄ_ｉ(ｍ))/ｎであり、ｓｄ_ｉ={ｓｄ_ｉ(１)、ｓｄ_ｉ(２)、ｓｄ_ｉ(３)、...、ｓｄ_ｉ(ｍ)}である。)
前記第５段階の統計的形状記述子ベクトル情報である動画形状記述子情報は、
下記の数式により求めることができることを特徴とする請求項１３に記載の静止画像形状記述子等の統計的特性を示す動画形状記述子の抽出方法。

(ここで、ｓｄ^ａｖ(ｍ)=(Σ_i=１ _to _n ｓｄ_ｉ(ｍ))/ｎであり、ｓｄ_ｉ(ｍ)={ｓｄ_ｉ(１)、ｓｄ_ｉ(２)、ｓｄ_ｉ(３)、...、ｓｄ_ｉ(ｍ)}である。)
前記第５段階の統計的形状記述子ベクトル情報である動画形状記述子情報は、
下記の数式により求めることができることを特徴とする請求項１３に記載の静止画像形状記述子等の統計的特性を示す動画形状記述子の抽出方法。
ｄｓｄ_ｒ=(ｓｄ_ｒ+1 * ｐ_ｒ+1) (ｓｄ_ｒ * ｐ_ｒ)
(ここで、ｓｄ_ｒはｍ番目の形状ｓｒから抽出された形状記述子、０＜ｒ＜ｎであり、ｐ_ｒはｒ番目の形状記述子ｓｄ_ｒの加重値である。)
プロセッサを備えた動画形状記述子の抽出装置に、
動画を時間分割し前記時間分割された動画から一つの画像オブジェクトに該当する形状情報動画を抽出する第１機能と、
抽出された形状情報動画から統計的形状記述子ベクトルである動画形状記述子情報を抽出する第２機能と、
前記抽出された動画形状記述子情報を動画メタデータ格納手段に格納する第３機能と
を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体。