JP2000029881A - マルチメディア・データ検索方法 - Google Patents
マルチメディア・データ検索方法Info
- Publication number
- JP2000029881A JP2000029881A JP10192539A JP19253998A JP2000029881A JP 2000029881 A JP2000029881 A JP 2000029881A JP 10192539 A JP10192539 A JP 10192539A JP 19253998 A JP19253998 A JP 19253998A JP 2000029881 A JP2000029881 A JP 2000029881A
- Authority
- JP
- Japan
- Prior art keywords
- content
- multimedia
- data
- feature data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 マルチメディア・コンテンツが圧縮符号化さ
れて記録されている場合、特徴データが作成されてない
コンテンツの高速検索は出来ないと言う欠点があった。 【解決手段】 映像・音声等のマルチメディア・コンテ
ンツを蓄積するコンテンツ蓄積手段と、これに通信手段
で接続され、蓄積されたマルチメディア・コンテンツか
ら特徴データを抽出して蓄積する特徴データ蓄積手段を
備えると共に、通信手段により接続されたクライアント
から入力された特徴キーワードに近いマルチメディア・
コンテンツを、特徴データから検索してコンテンツ蓄積
手段に蓄積された対応するマルチメディア・コンテンツ
を抽出してクライアントに返すコンテンツ検索手段から
なり、該コンテンツ検索手段は、圧縮符号化されたマル
チメディア・コンテンツから直接特徴データを抽出して
検索に用いる。
れて記録されている場合、特徴データが作成されてない
コンテンツの高速検索は出来ないと言う欠点があった。 【解決手段】 映像・音声等のマルチメディア・コンテ
ンツを蓄積するコンテンツ蓄積手段と、これに通信手段
で接続され、蓄積されたマルチメディア・コンテンツか
ら特徴データを抽出して蓄積する特徴データ蓄積手段を
備えると共に、通信手段により接続されたクライアント
から入力された特徴キーワードに近いマルチメディア・
コンテンツを、特徴データから検索してコンテンツ蓄積
手段に蓄積された対応するマルチメディア・コンテンツ
を抽出してクライアントに返すコンテンツ検索手段から
なり、該コンテンツ検索手段は、圧縮符号化されたマル
チメディア・コンテンツから直接特徴データを抽出して
検索に用いる。
Description
【０００１】
【発明の属する技術分野】本発明は、デジタル化された
画像や音声等のマルチメディア・コンテンツを蓄積する
サーバーと、サーバーに希望するコンテンツを要求する
クライアントからなるサーバ・クライアント・システム
と、その中間に位置し、クライアントが希望するコンテ
ンツの特徴を表す特徴キーワードをクライアントから得
て、これを手掛りに要求されたコンテンツを検索してク
ライアントに返す、マルチメディア・コンテンツ検索シ
ステムに関するものである。
画像や音声等のマルチメディア・コンテンツを蓄積する
サーバーと、サーバーに希望するコンテンツを要求する
クライアントからなるサーバ・クライアント・システム
と、その中間に位置し、クライアントが希望するコンテ
ンツの特徴を表す特徴キーワードをクライアントから得
て、これを手掛りに要求されたコンテンツを検索してク
ライアントに返す、マルチメディア・コンテンツ検索シ
ステムに関するものである。
【０００２】
【従来の技術】従来、マルチメディア・コンテンツ検索
システムでは、コンテンツの概略を表す微小画像を作成
すると共に、画像サイズや、主要色情報等をコンテンツ
の特徴データとして用いていた。
システムでは、コンテンツの概略を表す微小画像を作成
すると共に、画像サイズや、主要色情報等をコンテンツ
の特徴データとして用いていた。
【０００３】図７は、従来のマルチメディア・コンテン
ツ検索システムの構成図である。本図において、コンテ
ンツはディスク・ドライブ１０１上のディスク１０３に
記録され、ファイルサーバ１０２の制御で読み出され、
通信回線１０６を介してクライアント側コンピュータ１
０５のディスプレイ１０４に表示される。
ツ検索システムの構成図である。本図において、コンテ
ンツはディスク・ドライブ１０１上のディスク１０３に
記録され、ファイルサーバ１０２の制御で読み出され、
通信回線１０６を介してクライアント側コンピュータ１
０５のディスプレイ１０４に表示される。
【０００４】クライアントは希望するコンテンツの抽出
を容易にする為に、図８に示す様な特徴キーワードをコ
ンピュータ１０５に入力する。ディスクに記録された複
数のコンテンツの夫々の特徴を表す特徴データは、図８
に示す様な表の形で夫々メモリ１０３にあらかじめ貯え
られており、コンピュータ１０５は、クライアントから
与えられた特徴キーワードとメモリ１０３内の特徴デー
タとを比較し、最も近いコンテンツから順に複数個を選
んで、それに対応する微小画像をディスプレイ１０４に
表示し、クライアントがその中から所望のコンテンツを
選択する事によって、希望するコンテンツへのアクセス
を行っていた。
を容易にする為に、図８に示す様な特徴キーワードをコ
ンピュータ１０５に入力する。ディスクに記録された複
数のコンテンツの夫々の特徴を表す特徴データは、図８
に示す様な表の形で夫々メモリ１０３にあらかじめ貯え
られており、コンピュータ１０５は、クライアントから
与えられた特徴キーワードとメモリ１０３内の特徴デー
タとを比較し、最も近いコンテンツから順に複数個を選
んで、それに対応する微小画像をディスプレイ１０４に
表示し、クライアントがその中から所望のコンテンツを
選択する事によって、希望するコンテンツへのアクセス
を行っていた。
【０００５】以上のような技術は、公知例として、USP
５，７６１，６５５”Image File Storage and Retriev
al System”に開示されている。
５，７６１，６５５”Image File Storage and Retriev
al System”に開示されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上記の
例では、コンテンツが圧縮符号化されて記録されている
場合、その特徴データは、コンテンツ作成時に非圧縮コ
ンテンツから作成して登録して置かねばならず、特徴デ
ータが作成されてないコンテンツの高速検索は出来ない
と言う欠点があった。
例では、コンテンツが圧縮符号化されて記録されている
場合、その特徴データは、コンテンツ作成時に非圧縮コ
ンテンツから作成して登録して置かねばならず、特徴デ
ータが作成されてないコンテンツの高速検索は出来ない
と言う欠点があった。
【０００７】
【課題を解決するための手段】このような課題を解決す
る為、本願の請求項１記載の発明は、圧縮されたコンテ
ンツの中から所望のコンテンツの検索を行う方法であっ
て、圧縮符号化された映像・音声等のマルチメディア・
コンテンツを蓄積するコンテンツ蓄積手段と、これに通
信手段で接続され、蓄積されたマルチメディア・コンテ
ンツから特徴データを抽出して蓄積する特徴データ蓄積
手段を備えると共に、通信手段により接続されたクライ
アントから入力された特徴キーワードに近いマルチメデ
ィア・コンテンツを、特徴データから検索してコンテン
ツ蓄積手段に蓄積された対応するマルチメディア・コン
テンツを抽出してクライアントに返すコンテンツ検索手
段からなり、コンテンツ検索手段は圧縮されたコンテン
ツの中から特徴データを抽出してコンテンツの検索を行
う事を特徴とするものである。
る為、本願の請求項１記載の発明は、圧縮されたコンテ
ンツの中から所望のコンテンツの検索を行う方法であっ
て、圧縮符号化された映像・音声等のマルチメディア・
コンテンツを蓄積するコンテンツ蓄積手段と、これに通
信手段で接続され、蓄積されたマルチメディア・コンテ
ンツから特徴データを抽出して蓄積する特徴データ蓄積
手段を備えると共に、通信手段により接続されたクライ
アントから入力された特徴キーワードに近いマルチメデ
ィア・コンテンツを、特徴データから検索してコンテン
ツ蓄積手段に蓄積された対応するマルチメディア・コン
テンツを抽出してクライアントに返すコンテンツ検索手
段からなり、コンテンツ検索手段は圧縮されたコンテン
ツの中から特徴データを抽出してコンテンツの検索を行
う事を特徴とするものである。
【０００８】また本願の請求項２及び３の発明は、請求
項１のマルチメディア・コンテンツ検索方法において、
コンテンツ検索手段は、圧縮符号化されたマルチメディ
ア・コンテンツ中の形状情報を特徴データとして抽出し
て検索を行う事を特徴とするものである。
項１のマルチメディア・コンテンツ検索方法において、
コンテンツ検索手段は、圧縮符号化されたマルチメディ
ア・コンテンツ中の形状情報を特徴データとして抽出し
て検索を行う事を特徴とするものである。
【０００９】また本願の請求項４の発明は、請求項１の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中の色ないし明るさ情報を特徴データとして用
いる事を特徴とするものである。
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中の色ないし明るさ情報を特徴データとして用
いる事を特徴とするものである。
【００１０】また本願の請求項５の発明は、請求項１の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中の動き情報を特徴データとして用いる事を特
徴とするものである。
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中の動き情報を特徴データとして用いる事を特
徴とするものである。
【００１１】また本願の請求項６の発明は、請求項１の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中のテクスチャ情報を特徴データとして用いる
事を特徴とするものである。
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中のテクスチャ情報を特徴データとして用いる
事を特徴とするものである。
【００１２】また本願の請求項７及び８の発明は、請求
項１のマルチメディア・コンテンツ検索方法において、
コンテンツ検索手段は、圧縮符号化されたマルチメディ
ア・コンテンツ中の音色情報を特徴データとして用いる
事を特徴とするものである。
項１のマルチメディア・コンテンツ検索方法において、
コンテンツ検索手段は、圧縮符号化されたマルチメディ
ア・コンテンツ中の音色情報を特徴データとして用いる
事を特徴とするものである。
【００１３】また本願の請求項９及び１０の発明は、請
求項１のマルチメディア・コンテンツ検索方法におい
て、コンテンツ検索手段は、圧縮符号化されたマルチメ
ディア・コンテンツ中のリズム情報を特徴データとして
用いる事を特徴とするものである。
求項１のマルチメディア・コンテンツ検索方法におい
て、コンテンツ検索手段は、圧縮符号化されたマルチメ
ディア・コンテンツ中のリズム情報を特徴データとして
用いる事を特徴とするものである。
【００１４】また本願の請求項１１及び１２の発明は、
請求項１のマルチメディア・コンテンツ検索方法におい
て、コンテンツ検索手段は、圧縮符号化されたマルチメ
ディア・コンテンツ中のメロディ情報を特徴データとし
て用いる事を特徴とするものである。
請求項１のマルチメディア・コンテンツ検索方法におい
て、コンテンツ検索手段は、圧縮符号化されたマルチメ
ディア・コンテンツ中のメロディ情報を特徴データとし
て用いる事を特徴とするものである。
【００１５】また本願の請求項１３の発明は、請求項１
のマルチメディア・コンテンツ検索方法において、コン
テンツ検索手段は、圧縮符号化されたマルチメディア・
コンテンツに付随するコンテンツ・デスクリプタ内に使
用されている単語から特徴データを抽出して用いる事を
特徴とするものである。
のマルチメディア・コンテンツ検索方法において、コン
テンツ検索手段は、圧縮符号化されたマルチメディア・
コンテンツに付随するコンテンツ・デスクリプタ内に使
用されている単語から特徴データを抽出して用いる事を
特徴とするものである。
【００１６】以上のような方法により、マルチメディア
・コンテンツがMPEG規格などで圧縮符号化されていて
も、圧縮符号化されたコンテンツを復号する事なく直接
特徴データを抽出する事を可能にすると共に、抽出され
た特徴データを用いてマルチメディア・コンテンツの高
速検索が可能になる。
・コンテンツがMPEG規格などで圧縮符号化されていて
も、圧縮符号化されたコンテンツを復号する事なく直接
特徴データを抽出する事を可能にすると共に、抽出され
た特徴データを用いてマルチメディア・コンテンツの高
速検索が可能になる。
【００１７】
【発明の実施の形態】以下、本発明の実施の形態におけ
るマルチメディア・コンテンツ検索方法について図面を
参照して説明する。図１は、本実施の形態のマルチメデ
ィア・コンテンツ検索方法を実現する為のマルチメディ
ア・コンテンツ検索システムの構成図である。このマル
チメディア・コンテンツ検索システムは、コンテンツ蓄
積手段１、コンテンツ検索手段２、クライアント３、通
信手段４１、４２を含んで構成される。
るマルチメディア・コンテンツ検索方法について図面を
参照して説明する。図１は、本実施の形態のマルチメデ
ィア・コンテンツ検索方法を実現する為のマルチメディ
ア・コンテンツ検索システムの構成図である。このマル
チメディア・コンテンツ検索システムは、コンテンツ蓄
積手段１、コンテンツ検索手段２、クライアント３、通
信手段４１、４２を含んで構成される。
【００１８】圧縮されたマルチメディア・コンテンツ１
１はディスク・ドライブ等の駆動装置１３を備えるコン
テンツ蓄積手段１に貯えられている。コンテンツ検索手
段２は、通信手段４１を介してコンテンツ蓄積手段１に
接続されており、コンテンツの特徴を抽出して、図２に
示すような特徴データの表として特徴データ蓄積手段２
１に記録する。通信手段４２を介してコンテンツ検索手
段２に接続されたクライアント３は、検索したいコンテ
ンツの特徴を特徴キーワード３１としてコンテンツ検索
手段２に与える。コンテンツ検索手段２は、与えられた
特徴キーワードと蓄積手段２１に蓄積された特徴データ
を順次比較し、最も近いコンテンツを決定して、コンテ
ンツ蓄積手段１から読み出し、クライアント３に返す。
１はディスク・ドライブ等の駆動装置１３を備えるコン
テンツ蓄積手段１に貯えられている。コンテンツ検索手
段２は、通信手段４１を介してコンテンツ蓄積手段１に
接続されており、コンテンツの特徴を抽出して、図２に
示すような特徴データの表として特徴データ蓄積手段２
１に記録する。通信手段４２を介してコンテンツ検索手
段２に接続されたクライアント３は、検索したいコンテ
ンツの特徴を特徴キーワード３１としてコンテンツ検索
手段２に与える。コンテンツ検索手段２は、与えられた
特徴キーワードと蓄積手段２１に蓄積された特徴データ
を順次比較し、最も近いコンテンツを決定して、コンテ
ンツ蓄積手段１から読み出し、クライアント３に返す。
【００１９】図３は、本発明の実施の形態における圧縮
されたコンテンツのデータ構成図である。本発明では、
映像・音声などのマルチメディア・コンテンツは、MPEG
規格などの圧縮符号化方式で圧縮されているものを扱
う。映像のデータ構造は、最初に映像のサイズや圧縮方
法、読み出す時の速度や伸長した後表示する時の速度、
一度に読み出すべきデータの区切り等の情報がヘッダと
して書き込まれている。MPEG方式では、映像の各フレー
ムは、８×８画素のブロック単位に離散コサイン変換さ
れ、その変換後の係数が直流(DC)成分から交流(AC)高域
成分へと順次可変長符号化されて並べられている。又、
カラー映像の場合は、隣り合う４つのブロック毎に、輝
度成分（Y）４ブロックと、色差成分（Pb,Pr)各1ブロッ
クが同様に順に並べられ、これをマクロブロックと呼
ぶ。マクロブロックは、フレーム間で動き補償付き予測
符号化されても良く、この場合マクロブロックの頭の位
置に、動き補償に使った動きベクトルのデータが入れら
れる。
されたコンテンツのデータ構成図である。本発明では、
映像・音声などのマルチメディア・コンテンツは、MPEG
規格などの圧縮符号化方式で圧縮されているものを扱
う。映像のデータ構造は、最初に映像のサイズや圧縮方
法、読み出す時の速度や伸長した後表示する時の速度、
一度に読み出すべきデータの区切り等の情報がヘッダと
して書き込まれている。MPEG方式では、映像の各フレー
ムは、８×８画素のブロック単位に離散コサイン変換さ
れ、その変換後の係数が直流(DC)成分から交流(AC)高域
成分へと順次可変長符号化されて並べられている。又、
カラー映像の場合は、隣り合う４つのブロック毎に、輝
度成分（Y）４ブロックと、色差成分（Pb,Pr)各1ブロッ
クが同様に順に並べられ、これをマクロブロックと呼
ぶ。マクロブロックは、フレーム間で動き補償付き予測
符号化されても良く、この場合マクロブロックの頭の位
置に、動き補償に使った動きベクトルのデータが入れら
れる。
【００２０】又、圧縮方式がMPEG4の場合は、フレーム
内の映像は、前景の人物と背景の山等のレーヤに分けら
れ、各レーヤー画像は、意味のある部分のみに注目して
オブジェクトと称し、その部分のマクロブロック情報の
みが記録される。レーヤ内のオブジェクトの形状は、画
素単位に与えられるオブジェクトの透明度の情報で知る
事が出来る。この形状情報は、マクロブロック単位に符
号化され、動きベクトルの前に入れられる。
内の映像は、前景の人物と背景の山等のレーヤに分けら
れ、各レーヤー画像は、意味のある部分のみに注目して
オブジェクトと称し、その部分のマクロブロック情報の
みが記録される。レーヤ内のオブジェクトの形状は、画
素単位に与えられるオブジェクトの透明度の情報で知る
事が出来る。この形状情報は、マクロブロック単位に符
号化され、動きベクトルの前に入れられる。
【００２１】尚、ＭＰＥＧ４規格の詳細は、ISO/IEC 14
496-1, -2, -3 Final Committee Draft of Internation
al Standard, May 1998に記載されている。
496-1, -2, -3 Final Committee Draft of Internation
al Standard, May 1998に記載されている。
【００２２】上記の様に構成された圧縮コンテンツから
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの形状情報を抽出する場合、コン
テンツ検索手段２は、コンテンツ蓄積手段１に貯えられ
た圧縮コンテンツ１１のデータ構成を順に検査して行
き、マクロブロック単位にコンテンツの形状データ部を
読み出す。一方、1フレーム内のマクロブロック数に相
当するビット数をもつメモリ領域を特徴データとして特
徴データメモリ２１内に確保しておき、マクロブロック
の形状データが全て透明な画素である場合は、特徴デー
タの対応するビットを０とし、不透明な画素を含むマク
ロブロック、すなはちオブジェクトの一部であるマクロ
ブロックの場合は、対応する特徴データビットを１とし
て行くと、オブジェクトの特徴データとして形状情報が
得られる。以降、蓄積されたマルチメディア・コンテン
ツ１１全てに対して形状情報を抽出し、特徴データメモ
リ２１に順に貯えて行く。
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの形状情報を抽出する場合、コン
テンツ検索手段２は、コンテンツ蓄積手段１に貯えられ
た圧縮コンテンツ１１のデータ構成を順に検査して行
き、マクロブロック単位にコンテンツの形状データ部を
読み出す。一方、1フレーム内のマクロブロック数に相
当するビット数をもつメモリ領域を特徴データとして特
徴データメモリ２１内に確保しておき、マクロブロック
の形状データが全て透明な画素である場合は、特徴デー
タの対応するビットを０とし、不透明な画素を含むマク
ロブロック、すなはちオブジェクトの一部であるマクロ
ブロックの場合は、対応する特徴データビットを１とし
て行くと、オブジェクトの特徴データとして形状情報が
得られる。以降、蓄積されたマルチメディア・コンテン
ツ１１全てに対して形状情報を抽出し、特徴データメモ
リ２１に順に貯えて行く。
【００２３】クライアント３が希望する形状のオブジェ
クトを含むマルチメディア・コンテンツを検索する場
合、特徴キーワード３１として、検索したい形状を手書
きデータ又は、類似の形状を持つオブジェクトの符号化
データの形でコンテンツ検索手段２に送り、形状での検
索を指示する。コンテンツ検索手段２は、与えられた特
徴キーワード３１を特徴データメモリ２１に貯えられた
形状情報と同じ形式に変換した後、両者を順に比較して
行く。類似度の最も簡単な判定は、両者のビット毎の差
分の絶対値和を計算する事である。特徴データの内、最
も誤差の小さい特徴データを選び出し、対応するマルチ
メディア・コンテンツをコンテンツ蓄積手段１より読み
出し、クライアント３に送り返す事で、形状情報でのコ
ンテンツ検索が実現される。
クトを含むマルチメディア・コンテンツを検索する場
合、特徴キーワード３１として、検索したい形状を手書
きデータ又は、類似の形状を持つオブジェクトの符号化
データの形でコンテンツ検索手段２に送り、形状での検
索を指示する。コンテンツ検索手段２は、与えられた特
徴キーワード３１を特徴データメモリ２１に貯えられた
形状情報と同じ形式に変換した後、両者を順に比較して
行く。類似度の最も簡単な判定は、両者のビット毎の差
分の絶対値和を計算する事である。特徴データの内、最
も誤差の小さい特徴データを選び出し、対応するマルチ
メディア・コンテンツをコンテンツ蓄積手段１より読み
出し、クライアント３に送り返す事で、形状情報でのコ
ンテンツ検索が実現される。
【００２４】マルチメディア・コンテンツの形状がコン
ピュータ・グラフィックスのワイヤーフレーム・モデル
の頂点座標で表されており、これがＭＰＥＧ４規格のメ
ッシュ符号化方式で圧縮符号化されている場合、コンテ
ンツ検索手段２は、符号化されたマルチメディア・コン
テンツ１１のメッシュ符号化データ部を特徴データとし
て抽出して特徴データメモリ２１に貯え、クライアント
３から特徴キーワード３１として与えられる類似コンテ
ンツのメッシュ符号化データとを順に比較して行き、最
も誤差の小さい特徴データを持つマルチメディアコンテ
ンツを検索結果としてクライアント３に返す事で、形状
情報でのコンテンツ検索が実現される。
ピュータ・グラフィックスのワイヤーフレーム・モデル
の頂点座標で表されており、これがＭＰＥＧ４規格のメ
ッシュ符号化方式で圧縮符号化されている場合、コンテ
ンツ検索手段２は、符号化されたマルチメディア・コン
テンツ１１のメッシュ符号化データ部を特徴データとし
て抽出して特徴データメモリ２１に貯え、クライアント
３から特徴キーワード３１として与えられる類似コンテ
ンツのメッシュ符号化データとを順に比較して行き、最
も誤差の小さい特徴データを持つマルチメディアコンテ
ンツを検索結果としてクライアント３に返す事で、形状
情報でのコンテンツ検索が実現される。
【００２５】特徴データとしてオブジェクトの色ないし
明るさ情報を使用する場合は、コンテンツ検索手段２
は、コンテンツ蓄積手段１に貯えられた圧縮コンテンツ
１１のデータ構成を順に検査して行き、マクロブロック
単位にコンテンツの輝度成分（Ｙ）の直流成分の平均値
と色差成分（Ｐｂ，Ｐ）の各直流成分を順に読み出す。
一方、オブジェクト内のマクロブロック数の３倍に相当
するワード数をもつメモリ領域を特徴データとして特徴
データメモリ２１内に確保しておき、マクロブロックの
輝度直流成分の平均値と２つの色差直流成分の値を夫
々、特徴データの対応するワードの値として記録して行
くと、オブジェクトの特徴データとして色ないし明るさ
情報が得られる。以降、蓄積されたマルチメディア・コ
ンテンツ１１全てに対して色ないし明るさ情報を抽出
し、特徴データメモリ２１に順に貯えて行く。
明るさ情報を使用する場合は、コンテンツ検索手段２
は、コンテンツ蓄積手段１に貯えられた圧縮コンテンツ
１１のデータ構成を順に検査して行き、マクロブロック
単位にコンテンツの輝度成分（Ｙ）の直流成分の平均値
と色差成分（Ｐｂ，Ｐ）の各直流成分を順に読み出す。
一方、オブジェクト内のマクロブロック数の３倍に相当
するワード数をもつメモリ領域を特徴データとして特徴
データメモリ２１内に確保しておき、マクロブロックの
輝度直流成分の平均値と２つの色差直流成分の値を夫
々、特徴データの対応するワードの値として記録して行
くと、オブジェクトの特徴データとして色ないし明るさ
情報が得られる。以降、蓄積されたマルチメディア・コ
ンテンツ１１全てに対して色ないし明るさ情報を抽出
し、特徴データメモリ２１に順に貯えて行く。
【００２６】クライアント３が希望する色ないし明るさ
のオブジェクトを含むマルチメディア・コンテンツを検
索する場合、特徴キーワード３１として、検索したい色
ないし明るさを手書きデータの形もしくは、類似の色な
いし明るさを持つ参照オブジェクトを符号化データの形
でコンテンツ検索手段２に送り、色ないし明るさでの検
索を指示する。コンテンツ検索手段２は、与えられた特
徴キーワード３１を特徴データメモリ２１に貯えられた
色ないし明るさ情報と同じ形式に変換した後、両者を順
に比較して行く。類似度の最も簡単な判定は、両者のワ
ード毎の差分の絶対値和を計算する事である事は上述の
通りである。特徴データの内、最も誤差の小さい特徴デ
ータを選び出し、対応するマルチメディア・コンテンツ
をコンテンツ蓄積手段１より読み出し、クライアント３
に送り返す事で、色ないし明るさでのコンテンツ検索が
実現される。
のオブジェクトを含むマルチメディア・コンテンツを検
索する場合、特徴キーワード３１として、検索したい色
ないし明るさを手書きデータの形もしくは、類似の色な
いし明るさを持つ参照オブジェクトを符号化データの形
でコンテンツ検索手段２に送り、色ないし明るさでの検
索を指示する。コンテンツ検索手段２は、与えられた特
徴キーワード３１を特徴データメモリ２１に貯えられた
色ないし明るさ情報と同じ形式に変換した後、両者を順
に比較して行く。類似度の最も簡単な判定は、両者のワ
ード毎の差分の絶対値和を計算する事である事は上述の
通りである。特徴データの内、最も誤差の小さい特徴デ
ータを選び出し、対応するマルチメディア・コンテンツ
をコンテンツ蓄積手段１より読み出し、クライアント３
に送り返す事で、色ないし明るさでのコンテンツ検索が
実現される。
【００２７】特徴データとしてオブジェクトの動き情報
を使用する場合は、コンテンツ検索手段２は、コンテン
ツ蓄積手段１に貯えられた圧縮コンテンツ１１のデータ
構成を順に検査して行き、マクロブロック単位にコンテ
ンツの動きデータを読み出し、この値のオブジェクトの
平均値を求めてその時間的に変化する値を特徴データと
し、特徴データメモリ２１内に記録して行く。以降、蓄
積されたマルチメディア・コンテンツ１１全てに対して
動き情報を抽出し、特徴データメモリ２１に順に貯えて
行く。
を使用する場合は、コンテンツ検索手段２は、コンテン
ツ蓄積手段１に貯えられた圧縮コンテンツ１１のデータ
構成を順に検査して行き、マクロブロック単位にコンテ
ンツの動きデータを読み出し、この値のオブジェクトの
平均値を求めてその時間的に変化する値を特徴データと
し、特徴データメモリ２１内に記録して行く。以降、蓄
積されたマルチメディア・コンテンツ１１全てに対して
動き情報を抽出し、特徴データメモリ２１に順に貯えて
行く。
【００２８】クライアント３が希望する動きを持つオブ
ジェクトを含むマルチメディア・コンテンツを検索する
場合、特徴キーワード３１として、検索したい動きを手
書きデータの形もしくは、類似の動きを持つ参照オブジ
ェクトの符号化データの形でコンテンツ検索手段２に送
り、動きでの検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１を特徴データメモリ
２１に貯えられた動き情報と同じ形式に変換した後、両
者を順に比較して行く。類似度の最も簡単な判定は、両
者の差分の絶対値和を計算する事である事は上述の通り
である。特徴データの内、最も誤差の小さい特徴データ
を選び出し、対応するマルチメディア・コンテンツをコ
ンテンツ蓄積手段１より読み出し、クライアント３に送
り返す事で、動きでのコンテンツ検索が実現される。
ジェクトを含むマルチメディア・コンテンツを検索する
場合、特徴キーワード３１として、検索したい動きを手
書きデータの形もしくは、類似の動きを持つ参照オブジ
ェクトの符号化データの形でコンテンツ検索手段２に送
り、動きでの検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１を特徴データメモリ
２１に貯えられた動き情報と同じ形式に変換した後、両
者を順に比較して行く。類似度の最も簡単な判定は、両
者の差分の絶対値和を計算する事である事は上述の通り
である。特徴データの内、最も誤差の小さい特徴データ
を選び出し、対応するマルチメディア・コンテンツをコ
ンテンツ蓄積手段１より読み出し、クライアント３に送
り返す事で、動きでのコンテンツ検索が実現される。
【００２９】特徴データとしてオブジェクトのテキスチ
ャ情報を使用する場合は、コンテンツ検索手段２は、コ
ンテンツ蓄積手段１に貯えられた圧縮コンテンツ１１の
データ構成を順に検査して行き、マクロブロック単位に
コンテンツの輝度成分と色差成分の直流成分(DC)及び交
流成分(AC)の値を夫々読み出し、これらの成分毎の平均
値をオブジェクト全体で求めてその値をテキスチャ情報
の特徴データとし、特徴データメモリ２１内に記録して
行く。以降、蓄積されたマルチメディア・コンテンツ１
１全てに対してテキスチャ情報を抽出し、特徴データメ
モリ２１に順に貯えて行く。
ャ情報を使用する場合は、コンテンツ検索手段２は、コ
ンテンツ蓄積手段１に貯えられた圧縮コンテンツ１１の
データ構成を順に検査して行き、マクロブロック単位に
コンテンツの輝度成分と色差成分の直流成分(DC)及び交
流成分(AC)の値を夫々読み出し、これらの成分毎の平均
値をオブジェクト全体で求めてその値をテキスチャ情報
の特徴データとし、特徴データメモリ２１内に記録して
行く。以降、蓄積されたマルチメディア・コンテンツ１
１全てに対してテキスチャ情報を抽出し、特徴データメ
モリ２１に順に貯えて行く。
【００３０】クライアント３が希望するテキスチャを持
つオブジェクトを含むマルチメディア・コンテンツを検
索する場合、特徴キーワード３１として、検索したいテ
キスチャを手書きデータの形もしくは、類似のテキスチ
ャを持つ参照オブジェクトの符号化データの形でコンテ
ンツ検索手段２に送り、テキスチャでの検索を指示す
る。コンテンツ検索手段２は、与えられた特徴キーワー
ド３１を特徴データメモリ２１に貯えられたテキスチャ
情報と同じ形式に変換した後、両者を順に比較して行
く。類似度の最も簡単な判定は、両者の各成分毎の差分
の絶対値和を計算する事である事は上述の通りである。
特徴データの内、最も誤差の小さい特徴データを選び出
し、対応するマルチメディア・コンテンツをコンテンツ
蓄積手段１より読み出し、クライアント３に送り返す事
で、テキスチャでのコンテンツ検索が実現される。
つオブジェクトを含むマルチメディア・コンテンツを検
索する場合、特徴キーワード３１として、検索したいテ
キスチャを手書きデータの形もしくは、類似のテキスチ
ャを持つ参照オブジェクトの符号化データの形でコンテ
ンツ検索手段２に送り、テキスチャでの検索を指示す
る。コンテンツ検索手段２は、与えられた特徴キーワー
ド３１を特徴データメモリ２１に貯えられたテキスチャ
情報と同じ形式に変換した後、両者を順に比較して行
く。類似度の最も簡単な判定は、両者の各成分毎の差分
の絶対値和を計算する事である事は上述の通りである。
特徴データの内、最も誤差の小さい特徴データを選び出
し、対応するマルチメディア・コンテンツをコンテンツ
蓄積手段１より読み出し、クライアント３に送り返す事
で、テキスチャでのコンテンツ検索が実現される。
【００３１】図４は、本発明の他の実施の形態における
圧縮された音声コンテンツのデータ構成図である。最初
に音声の長さや圧縮方法、読み出す時の速度や伸長した
後再生する時の速度、一度に読み出すべきデータ（フレ
ーム）の区切り等の情報がヘッダとして書き込まれてい
る。MPEG４方式の符号励振線形予測（ＣＥＬＰ）音声符
号化では、音声を線形予測符号化（ＬＰＣ）で予測した
時の予測係数が、音色情報として符号化されている。予
測誤差は、音源情報（振幅情報）として別途符号化さ
れ、音色情報と対にして所定の時間間隔（フレーム）単
位に順に並べられている。
圧縮された音声コンテンツのデータ構成図である。最初
に音声の長さや圧縮方法、読み出す時の速度や伸長した
後再生する時の速度、一度に読み出すべきデータ（フレ
ーム）の区切り等の情報がヘッダとして書き込まれてい
る。MPEG４方式の符号励振線形予測（ＣＥＬＰ）音声符
号化では、音声を線形予測符号化（ＬＰＣ）で予測した
時の予測係数が、音色情報として符号化されている。予
測誤差は、音源情報（振幅情報）として別途符号化さ
れ、音色情報と対にして所定の時間間隔（フレーム）単
位に順に並べられている。
【００３２】上記の様に構成された圧縮コンテンツから
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの音色情報を使用する場合は、コ
ンテンツ検索手段２は、コンテンツ蓄積手段１に貯えら
れた圧縮コンテンツ１１のデータ構成を順に検査して行
き、フレーム単位にコンテンツのＬＰＣ係数の値を読み
出し、これらの係数毎の平均値をフレーム単位に求めて
その値を音色情報の特徴データとして、特徴データメモ
リ２１内に記録する。以降、蓄積されたマルチメディア
・コンテンツ１１全てに対して音色情報を抽出し、特徴
データメモリ２１に順に貯えて行く。
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの音色情報を使用する場合は、コ
ンテンツ検索手段２は、コンテンツ蓄積手段１に貯えら
れた圧縮コンテンツ１１のデータ構成を順に検査して行
き、フレーム単位にコンテンツのＬＰＣ係数の値を読み
出し、これらの係数毎の平均値をフレーム単位に求めて
その値を音色情報の特徴データとして、特徴データメモ
リ２１内に記録する。以降、蓄積されたマルチメディア
・コンテンツ１１全てに対して音色情報を抽出し、特徴
データメモリ２１に順に貯えて行く。
【００３３】クライアント３が希望する音色を持つマル
チメディア・コンテンツを検索する場合、特徴キーワー
ド３１として、検索したい音色をハミングした時のデー
タの形もしくは、類似の音色を持つ参照オブジェクトの
符号化データの形でコンテンツ検索手段２に送り、音色
での検索を指示する。コンテンツ検索手段２は、与えら
れた特徴キーワード３１を特徴データメモリ２１に貯え
られた音色情報と同じ形式に変換した後、両者を順に比
較して行く。類似度の最も簡単な判定は、両者の各係数
毎の差分の絶対値和を計算する事である事は上述の通り
である。特徴データの内、最も誤差の小さい特徴データ
を選び出し、対応するマルチメディア・コンテンツをコ
ンテンツ蓄積手段１より読み出し、クライアント３に送
り返す事で、音色でのコンテンツ検索が実現される。
チメディア・コンテンツを検索する場合、特徴キーワー
ド３１として、検索したい音色をハミングした時のデー
タの形もしくは、類似の音色を持つ参照オブジェクトの
符号化データの形でコンテンツ検索手段２に送り、音色
での検索を指示する。コンテンツ検索手段２は、与えら
れた特徴キーワード３１を特徴データメモリ２１に貯え
られた音色情報と同じ形式に変換した後、両者を順に比
較して行く。類似度の最も簡単な判定は、両者の各係数
毎の差分の絶対値和を計算する事である事は上述の通り
である。特徴データの内、最も誤差の小さい特徴データ
を選び出し、対応するマルチメディア・コンテンツをコ
ンテンツ蓄積手段１より読み出し、クライアント３に送
り返す事で、音色でのコンテンツ検索が実現される。
【００３４】特徴データとしてオブジェクトのリズム情
報を使用する場合は、コンテンツ検索手段２は、コンテ
ンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデー
タ構成を順に検査して行き、フレーム単位にコンテンツ
の予測残さの値を読み出し、これらの振幅の変化をフレ
ーム単位に求めてその値をリズム情報の特徴データとし
て、特徴データメモリ２１内に記録して行く。以降、蓄
積されたマルチメディア・コンテンツ１１全てに対して
リズム情報を抽出し、特徴データメモリ２１に順に貯え
て行く。
報を使用する場合は、コンテンツ検索手段２は、コンテ
ンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデー
タ構成を順に検査して行き、フレーム単位にコンテンツ
の予測残さの値を読み出し、これらの振幅の変化をフレ
ーム単位に求めてその値をリズム情報の特徴データとし
て、特徴データメモリ２１内に記録して行く。以降、蓄
積されたマルチメディア・コンテンツ１１全てに対して
リズム情報を抽出し、特徴データメモリ２１に順に貯え
て行く。
【００３５】クライアント３が希望するリズムを持つマ
ルチメディア・コンテンツを検索する場合、特徴キーワ
ード３１として、検索したいリズムをハミングした時の
データの形もしくは、類似のリズムを持つ参照オブジェ
クトの符号化データの形でコンテンツ検索手段２に送
り、リズムでの検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１を特徴データメモリ
２１に貯えられたリズム情報と同じ形式に変換した後、
両者を順に比較して行く。類似度の最も簡単な判定は、
両者の各振幅データの差分の絶対値和を計算する事であ
る事は上述の通りである。特徴データの内、最も誤差の
小さい特徴データを選び出し、対応するマルチメディア
・コンテンツをコンテンツ蓄積手段１より読み出し、ク
ライアント３に送り返す事で、リズムでのコンテンツ検
索が実現される。
ルチメディア・コンテンツを検索する場合、特徴キーワ
ード３１として、検索したいリズムをハミングした時の
データの形もしくは、類似のリズムを持つ参照オブジェ
クトの符号化データの形でコンテンツ検索手段２に送
り、リズムでの検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１を特徴データメモリ
２１に貯えられたリズム情報と同じ形式に変換した後、
両者を順に比較して行く。類似度の最も簡単な判定は、
両者の各振幅データの差分の絶対値和を計算する事であ
る事は上述の通りである。特徴データの内、最も誤差の
小さい特徴データを選び出し、対応するマルチメディア
・コンテンツをコンテンツ蓄積手段１より読み出し、ク
ライアント３に送り返す事で、リズムでのコンテンツ検
索が実現される。
【００３６】特徴データとしてオブジェクトのメロディ
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、フレーム単位にコンテン
ツのＬＰＣ係数の値を読み出し、これらの各係数の時間
的変化をフレーム単位に求めてその値をメロディ情報の
特徴データとして、特徴データメモリ２１内に記録して
行く。以降、蓄積されたマルチメディア・コンテンツ１
１全てに対してメロディ情報を抽出し、特徴データメモ
リ２１に順に貯えて行く。
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、フレーム単位にコンテン
ツのＬＰＣ係数の値を読み出し、これらの各係数の時間
的変化をフレーム単位に求めてその値をメロディ情報の
特徴データとして、特徴データメモリ２１内に記録して
行く。以降、蓄積されたマルチメディア・コンテンツ１
１全てに対してメロディ情報を抽出し、特徴データメモ
リ２１に順に貯えて行く。
【００３７】クライアント３が希望するメロディを持つ
マルチメディア・コンテンツを検索する場合、特徴キー
ワード３１として、検索したいメロディをハミングした
時のデータの形もしくは、類似のメロディを持つ参照オ
ブジェクトの符号化データの形でコンテンツ検索手段２
に送り、メロディでの検索を指示する。コンテンツ検索
手段２は、与えられた特徴キーワード３１を特徴データ
メモリ２１に貯えられたメロディ情報と同じ形式に変換
した後、両者を順に比較して行く。類似度の最も簡単な
判定は、両者の各係数毎の差分の絶対値和を計算する事
である事は上述の通りである。特徴データの内、最も誤
差の小さい特徴データを選び出し、対応するマルチメデ
ィア・コンテンツをコンテンツ蓄積手段１より読み出
し、クライアント３に送り返す事で、メロディでのコン
テンツ検索が実現される。
マルチメディア・コンテンツを検索する場合、特徴キー
ワード３１として、検索したいメロディをハミングした
時のデータの形もしくは、類似のメロディを持つ参照オ
ブジェクトの符号化データの形でコンテンツ検索手段２
に送り、メロディでの検索を指示する。コンテンツ検索
手段２は、与えられた特徴キーワード３１を特徴データ
メモリ２１に貯えられたメロディ情報と同じ形式に変換
した後、両者を順に比較して行く。類似度の最も簡単な
判定は、両者の各係数毎の差分の絶対値和を計算する事
である事は上述の通りである。特徴データの内、最も誤
差の小さい特徴データを選び出し、対応するマルチメデ
ィア・コンテンツをコンテンツ蓄積手段１より読み出
し、クライアント３に送り返す事で、メロディでのコン
テンツ検索が実現される。
【００３８】図５は、本発明の他の実施の形態における
圧縮されたオーディオ・コンテンツのデータ構成図であ
る。最初にオーディオ信号のサンプリング周波数や圧縮
方法、読み出す時の速度や伸長した後再生する時の速
度、一度に読み出すべきデータ（フレーム）の区切り等
の情報がヘッダとして書き込まれている。MPEG４方式の
時間／周波数変換符号化では、オーディオ信号の周波数
スペクトル包絡情報を周波数分析等で抽出し、この値を
スペクトル正規化係数として符号化すると共に、この値
で離散コサイン変換（ＭＤＣＴ）で周波数成分に変換さ
れた入力オーディオ信号の対応する周波数成分の値を割
る事でスペクトルの振幅正規化を行い、正規化された周
波数成分は、予測符号化で時間方向の冗長度を削減され
ると共に、チャンネル間の冗長度をチャンネル間の予測
符号化で削減された後、量子化、可変長符号化され、ス
ペクトル正規化係数と共に所定の時間間隔（フレーム）
単位に順に並べられている。
圧縮されたオーディオ・コンテンツのデータ構成図であ
る。最初にオーディオ信号のサンプリング周波数や圧縮
方法、読み出す時の速度や伸長した後再生する時の速
度、一度に読み出すべきデータ（フレーム）の区切り等
の情報がヘッダとして書き込まれている。MPEG４方式の
時間／周波数変換符号化では、オーディオ信号の周波数
スペクトル包絡情報を周波数分析等で抽出し、この値を
スペクトル正規化係数として符号化すると共に、この値
で離散コサイン変換（ＭＤＣＴ）で周波数成分に変換さ
れた入力オーディオ信号の対応する周波数成分の値を割
る事でスペクトルの振幅正規化を行い、正規化された周
波数成分は、予測符号化で時間方向の冗長度を削減され
ると共に、チャンネル間の冗長度をチャンネル間の予測
符号化で削減された後、量子化、可変長符号化され、ス
ペクトル正規化係数と共に所定の時間間隔（フレーム）
単位に順に並べられている。
【００３９】上記の様に構成された圧縮コンテンツから
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの音色情報を使用する場合は、コ
ンテンツ検索手段２は、コンテンツ蓄積手段１に貯えら
れた圧縮コンテンツ１１のデータ構成を順に検査して行
き、フレーム単位にコンテンツのスペクトル正規化係数
の値を読み出し、これらの係数毎の平均値を所定時間単
位に求めてその値を音色情報の特徴データとして、特徴
データメモリ２１内に記録して行く。以降、蓄積された
マルチメディア・コンテンツ１１全てに対して音色情報
を抽出し、特徴データメモリ２１に順に貯えて行く。
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの音色情報を使用する場合は、コ
ンテンツ検索手段２は、コンテンツ蓄積手段１に貯えら
れた圧縮コンテンツ１１のデータ構成を順に検査して行
き、フレーム単位にコンテンツのスペクトル正規化係数
の値を読み出し、これらの係数毎の平均値を所定時間単
位に求めてその値を音色情報の特徴データとして、特徴
データメモリ２１内に記録して行く。以降、蓄積された
マルチメディア・コンテンツ１１全てに対して音色情報
を抽出し、特徴データメモリ２１に順に貯えて行く。
【００４０】クライアント３が希望する音色を持つマル
チメディア・コンテンツを検索する場合、特徴キーワー
ド３１として、検索したい音色をハミングした時のデー
タの形もしくは、類似の音色を持つ参照オブジェクトの
符号化データの形でコンテンツ検索手段２に送り、音色
での検索を指示する。コンテンツ検索手段２は、与えら
れた特徴キーワード３１を特徴データメモリ２１に貯え
られた音色情報と同じ形式に変換した後、両者を順に比
較して行く。類似度の最も簡単な判定は、両者の各周波
数成分毎の差分の絶対値和を計算する事である事は上述
の通りである。特徴データの内、最も誤差の小さい特徴
データを選び出し、対応するマルチメディア・コンテン
ツをコンテンツ蓄積手段１より読み出し、クライアント
３に送り返す事で、音色でのオーディオ・コンテンツの
検索が実現される。
チメディア・コンテンツを検索する場合、特徴キーワー
ド３１として、検索したい音色をハミングした時のデー
タの形もしくは、類似の音色を持つ参照オブジェクトの
符号化データの形でコンテンツ検索手段２に送り、音色
での検索を指示する。コンテンツ検索手段２は、与えら
れた特徴キーワード３１を特徴データメモリ２１に貯え
られた音色情報と同じ形式に変換した後、両者を順に比
較して行く。類似度の最も簡単な判定は、両者の各周波
数成分毎の差分の絶対値和を計算する事である事は上述
の通りである。特徴データの内、最も誤差の小さい特徴
データを選び出し、対応するマルチメディア・コンテン
ツをコンテンツ蓄積手段１より読み出し、クライアント
３に送り返す事で、音色でのオーディオ・コンテンツの
検索が実現される。
【００４１】特徴データとしてオブジェクトのリズム情
報を使用する場合は、コンテンツ検索手段２は、コンテ
ンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデー
タ構成を順に検査して行き、フレーム単位にコンテンツ
のスペクトル正規化後の周波数成分の値を読み出し、こ
れらの振幅の変化をフレーム単位に求めてその値をリズ
ム情報の特徴データとして、特徴データメモリ２１内に
記録して行く。以降、蓄積されたマルチメディア・コン
テンツ１１全てに対してリズム情報を抽出し、特徴デー
タメモリ２１に順に貯えて行く。
報を使用する場合は、コンテンツ検索手段２は、コンテ
ンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデー
タ構成を順に検査して行き、フレーム単位にコンテンツ
のスペクトル正規化後の周波数成分の値を読み出し、こ
れらの振幅の変化をフレーム単位に求めてその値をリズ
ム情報の特徴データとして、特徴データメモリ２１内に
記録して行く。以降、蓄積されたマルチメディア・コン
テンツ１１全てに対してリズム情報を抽出し、特徴デー
タメモリ２１に順に貯えて行く。
【００４２】クライアント３が希望するリズムを持つマ
ルチメディア・コンテンツを検索する場合、特徴キーワ
ード３１として、検索したいリズムをハミングした時の
データの形もしくは、類似のリズムを持つ参照オブジェ
クトの符号化データの形でコンテンツ検索手段２に送
り、リズムでの検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１を特徴データメモリ
２１に貯えられたリズム情報と同じ形式に変換した後、
両者を順に比較して行く。類似度の最も簡単な判定は、
両者の各振幅の差分の絶対値和を計算する事である事は
上述の通りである。特徴データの内、最も誤差の小さい
特徴データを選び出し、対応するマルチメディア・コン
テンツをコンテンツ蓄積手段１より読み出し、クライア
ント３に送り返す事で、リズムでのコンテンツ検索が実
現される。
ルチメディア・コンテンツを検索する場合、特徴キーワ
ード３１として、検索したいリズムをハミングした時の
データの形もしくは、類似のリズムを持つ参照オブジェ
クトの符号化データの形でコンテンツ検索手段２に送
り、リズムでの検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１を特徴データメモリ
２１に貯えられたリズム情報と同じ形式に変換した後、
両者を順に比較して行く。類似度の最も簡単な判定は、
両者の各振幅の差分の絶対値和を計算する事である事は
上述の通りである。特徴データの内、最も誤差の小さい
特徴データを選び出し、対応するマルチメディア・コン
テンツをコンテンツ蓄積手段１より読み出し、クライア
ント３に送り返す事で、リズムでのコンテンツ検索が実
現される。
【００４３】特徴データとしてオブジェクトのメロディ
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、フレーム単位にコンテン
ツのスペクトル正規化係数の値を読み出し、これらの各
係数の時間的変化をフレーム単位に求めてその値をメロ
ディ情報の特徴データとして、特徴データメモリ２１内
に記録して行く。以降、蓄積されたマルチメディア・コ
ンテンツ１１全てに対してメロディ情報を抽出し、特徴
データメモリ２１に順に貯えて行く。
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、フレーム単位にコンテン
ツのスペクトル正規化係数の値を読み出し、これらの各
係数の時間的変化をフレーム単位に求めてその値をメロ
ディ情報の特徴データとして、特徴データメモリ２１内
に記録して行く。以降、蓄積されたマルチメディア・コ
ンテンツ１１全てに対してメロディ情報を抽出し、特徴
データメモリ２１に順に貯えて行く。
【００４４】クライアント３が希望するメロディを持つ
マルチメディア・コンテンツを検索する場合、特徴キー
ワード３１として、検索したいメロディをハミングした
時のデータの形もしくは、類似のメロディを持つ参照オ
ブジェクトの符号化データの形でコンテンツ検索手段２
に送り、メロディでの検索を指示する。コンテンツ検索
手段２は、与えられた特徴キーワード３１を特徴データ
メモリ２１に貯えられたメロディ情報と同じ形式に変換
した後、両者を順に比較して行く。類似度の最も簡単な
判定は、両者の各係数毎の差分の絶対値和を計算する事
である事は上述の通りである。特徴データの内、最も誤
差の小さい特徴データを選び出し、対応するマルチメデ
ィア・コンテンツをコンテンツ蓄積手段１より読み出
し、クライアント３に送り返す事で、メロディでのコン
テンツ検索が実現される。
マルチメディア・コンテンツを検索する場合、特徴キー
ワード３１として、検索したいメロディをハミングした
時のデータの形もしくは、類似のメロディを持つ参照オ
ブジェクトの符号化データの形でコンテンツ検索手段２
に送り、メロディでの検索を指示する。コンテンツ検索
手段２は、与えられた特徴キーワード３１を特徴データ
メモリ２１に貯えられたメロディ情報と同じ形式に変換
した後、両者を順に比較して行く。類似度の最も簡単な
判定は、両者の各係数毎の差分の絶対値和を計算する事
である事は上述の通りである。特徴データの内、最も誤
差の小さい特徴データを選び出し、対応するマルチメデ
ィア・コンテンツをコンテンツ蓄積手段１より読み出
し、クライアント３に送り返す事で、メロディでのコン
テンツ検索が実現される。
【００４５】図６は、本発明の他の実施の形態における
圧縮されたマルチメディア・コンテンツのデータ構成図
である。ＭＰＥＧ４符号化方式においては、マルチメデ
ィア・コンテンツは、オブジェクトで構成され、各々の
オブジェクトは圧縮符号化されて記録されている。更に
各圧縮されたオブジェクト・データには、そのオブジェ
クトの内容をテキスト形式で記述するオブジェクト記述
が同時に記録されている。
圧縮されたマルチメディア・コンテンツのデータ構成図
である。ＭＰＥＧ４符号化方式においては、マルチメデ
ィア・コンテンツは、オブジェクトで構成され、各々の
オブジェクトは圧縮符号化されて記録されている。更に
各圧縮されたオブジェクト・データには、そのオブジェ
クトの内容をテキスト形式で記述するオブジェクト記述
が同時に記録されている。
【００４６】上記の様に構成された圧縮コンテンツから
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクト記述の中で使用されている単語の
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、オブジェクト単位にコン
テンツのオブジェクト記述を読み出し、この記述内で使
われている単語毎の出現頻度や、その単語の前後にある
単語を調べてそれらの単語との組み合わせとしての出現
頻度を単語情報の特徴データとして、特徴データメモリ
２１内に記録して行く。以降、蓄積されたマルチメディ
ア・コンテンツ１１全てに対してオブジェクト記述内で
使用されている単語の単語情報を抽出し、特徴データメ
モリ２１に順に貯えて行く。
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクト記述の中で使用されている単語の
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、オブジェクト単位にコン
テンツのオブジェクト記述を読み出し、この記述内で使
われている単語毎の出現頻度や、その単語の前後にある
単語を調べてそれらの単語との組み合わせとしての出現
頻度を単語情報の特徴データとして、特徴データメモリ
２１内に記録して行く。以降、蓄積されたマルチメディ
ア・コンテンツ１１全てに対してオブジェクト記述内で
使用されている単語の単語情報を抽出し、特徴データメ
モリ２１に順に貯えて行く。
【００４７】クライアント３がオブジェクト記述内に希
望する単語を持つマルチメディア・コンテンツを検索す
る場合、特徴キーワード３１として、検索したい単語ま
たは単語の組み合わせをコンテンツ検索手段２に送り、
単語情報での検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１と特徴データメモリ
２１に貯えられた単語情報とを順に比較して行く。類似
度の最も簡単な判定は、与えられた単語または単語の組
み合わせの出現頻度を調べることである。特徴データの
内、最も高い出現頻度を示す単語情報を持つ特徴データ
を選び出し、対応するマルチメディア・コンテンツをコ
ンテンツ蓄積手段１より読み出し、クライアント３に送
り返す事で、単語情報でのマルチメディア・コンテンツ
の検索が実現される。
望する単語を持つマルチメディア・コンテンツを検索す
る場合、特徴キーワード３１として、検索したい単語ま
たは単語の組み合わせをコンテンツ検索手段２に送り、
単語情報での検索を指示する。コンテンツ検索手段２
は、与えられた特徴キーワード３１と特徴データメモリ
２１に貯えられた単語情報とを順に比較して行く。類似
度の最も簡単な判定は、与えられた単語または単語の組
み合わせの出現頻度を調べることである。特徴データの
内、最も高い出現頻度を示す単語情報を持つ特徴データ
を選び出し、対応するマルチメディア・コンテンツをコ
ンテンツ蓄積手段１より読み出し、クライアント３に送
り返す事で、単語情報でのマルチメディア・コンテンツ
の検索が実現される。
【００４８】以上述べた各手段は、コンピュータのプロ
グラムとして実現可能である。
グラムとして実現可能である。
【００４９】
【発明の効果】以上のように本願の請求項１〜８の発明
のマルチメディア・コンテンツ検索方法によれば、圧縮
符号化されたコンテンツから直接特徴データを作成する
ことが可能で、コンテンツ作成時に特徴データが作成さ
れてないコンテンツでも、希望する特徴を持つコンテン
ツを容易に検索・抽出することができる。
のマルチメディア・コンテンツ検索方法によれば、圧縮
符号化されたコンテンツから直接特徴データを作成する
ことが可能で、コンテンツ作成時に特徴データが作成さ
れてないコンテンツでも、希望する特徴を持つコンテン
ツを容易に検索・抽出することができる。
【００５０】特に請求項２及び３の発明によれば、コン
テンツの形状での検索が可能になり、より直観的に希望
するマルチメディア・コンテンツの検索・抽出が実現さ
れる。
テンツの形状での検索が可能になり、より直観的に希望
するマルチメディア・コンテンツの検索・抽出が実現さ
れる。
【００５１】特に請求項４の発明によれば、コンテンツ
の色及び明るさでの検索が可能になり、言葉では表現し
にくいマルチメディア・コンテンツの検索・抽出が実現
される。
の色及び明るさでの検索が可能になり、言葉では表現し
にくいマルチメディア・コンテンツの検索・抽出が実現
される。
【００５２】特に請求項５の発明によれば、コンテンツ
の動きでの検索が可能になり、静止画情報のみならず動
画コンテンツの検索・抽出が実現される。
の動きでの検索が可能になり、静止画情報のみならず動
画コンテンツの検索・抽出が実現される。
【００５３】特に請求項６の発明によれば、コンテンツ
のテキスチャでの検索が可能になり、複雑な絵柄のマル
チメディア・コンテンツの検索・抽出が実現される。
のテキスチャでの検索が可能になり、複雑な絵柄のマル
チメディア・コンテンツの検索・抽出が実現される。
【００５４】特に請求項７及び８の発明によれば、コン
テンツの音色での検索が可能になり、音楽及び音声コン
テンツの音での検索・抽出が実現される。
テンツの音色での検索が可能になり、音楽及び音声コン
テンツの音での検索・抽出が実現される。
【００５５】特に請求項９及び１０の発明によれば、コ
ンテンツのリズムでの検索が可能になり、音楽及び音声
コンテンツの感覚的な検索・抽出が実現される。
ンテンツのリズムでの検索が可能になり、音楽及び音声
コンテンツの感覚的な検索・抽出が実現される。
【００５６】特に請求項１１及び１２の発明によれば、
コンテンツのメロディでの検索が可能になり、音楽及び
音声コンテンツの直接的な検索・抽出が実現される。
コンテンツのメロディでの検索が可能になり、音楽及び
音声コンテンツの直接的な検索・抽出が実現される。
【００５７】特に請求項１３の発明によれば、コンテン
ツの記述内で使われている単語での検索が可能になり、
マルチメディア・コンテンツの記述用語による検索・抽
出が実現される。
ツの記述内で使われている単語での検索が可能になり、
マルチメディア・コンテンツの記述用語による検索・抽
出が実現される。
【図１】本発明の実施の形態におけるマルチメディア・
コンテンツ検索システムの構成図
コンテンツ検索システムの構成図
【図２】本発明の実施の形態における特徴データの表を
示す図
示す図
【図３】圧縮符号化された映像コンテンツの構成図
【図４】圧縮符号化された音声コンテンツの構成図
【図５】圧縮符号化されたオーディオ・コンテンツの構
成図
成図
【図６】圧縮符号化されたマルチメディア・コンテンツ
の構成図
の構成図
【図７】従来のマルチメディア・コンテンツ検索システ
ムの構成図
ムの構成図
【図８】従来の特徴データの表を示す図
１ コンテンツ蓄積手段 ２ コンテンツ検索手段 ３ クライアント １１ マルチメディア・コンテンツ １２ ファイル・サーバ １３ ディスク・ドライブ ２１ 特徴データ蓄積手段 ２２ 特徴抽出／検索エンジン ３１ 特徴キーワード ４１，４２ 通信手段
Claims (13)
- 【請求項１】映像・音声等のマルチメディア・コンテン
ツを蓄積するコンテンツ蓄積手段と、これに通信手段で
接続され、蓄積されたマルチメディア・コンテンツから
特徴データを抽出して蓄積する特徴データ蓄積手段を備
えると共に、通信手段により接続されたクライアントか
ら入力された特徴キーワードに近いマルチメディア・コ
ンテンツを、特徴データから検索してコンテンツ蓄積手
段に蓄積された対応するマルチメディア・コンテンツを
抽出してクライアントに返すコンテンツ検索手段からな
り、該コンテンツ検索手段は、圧縮符号化されたマルチ
メディア・コンテンツから直接特徴データを抽出して検
索に用いる事を特徴とするマルチメディア・データ検索
方法。 - 【請求項２】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のマクロブロック単位に
記録された形状データをビット単位に変換して、形状情
報の特徴データとして用いる事を特徴とする請求項１記
載のマルチメディア・データ検索方法。 - 【請求項３】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のメッシュ符号化データ
を形状情報の特徴データとして用いる事を特徴とする請
求項１記載のマルチメディア・データ検索方法。 - 【請求項４】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のマクロブロック単位に
記録された輝度成分（Ｙ）の直流成分の平均値求めると
同時に、色差成分（Ｐｂ，Ｐ）の各直流成分の平均値を
求めて、色情報ないし明るさ情報の特徴データとして用
いる事を特徴とする請求項１記載のマルチメディア・デ
ータ検索方法。 - 【請求項５】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のマクロブロック単位に
記録された動きデータを読み出し、この値のオブジェク
ト全体での平均値を求め、その時間的に変化する値を動
き情報の特徴データとして用いる事を特徴とする請求項
１記載のマルチメディア・データ検索方法。 - 【請求項６】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のマクロブロック単位に
記録された輝度成分と色差成分の直流成分(DC)及び交流
成分(AC)の値を夫々読み出し、これらの成分毎の平均値
をオブジェクト全体で求めてその値をテクスチャ情報の
特徴データとして用いる事を特徴とする請求項１記載の
マルチメディア・データ検索方法。 - 【請求項７】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のフレーム単位に記録さ
れたＬＰＣ係数の値を読み出し、係数毎の平均値をフレ
ーム単位に求めてその値を音色情報の特徴データとして
用いる事を特徴とする請求項１記載のマルチメディア・
データ検索方法。 - 【請求項８】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のフレーム単位に記録さ
れたスペクトル正規化係数の値を読み出し、これらの係
数毎の平均値を所定時間単位に求めて、その値を音色情
報の特徴データとして用いる事を特徴とする請求項１記
載のマルチメディア・データ検索方法。 - 【請求項９】コンテンツ検索手段は、圧縮符号化された
マルチメディア・コンテンツ中のフレーム単位に記録さ
れた予測残さの値を読み出し、これらの振幅の変化をフ
レーム単位に求めてその値をリズム情報の特徴データと
して用いる事を特徴とする請求項１記載のマルチメディ
ア・データ検索方法。 - 【請求項１０】コンテンツ検索手段は、圧縮符号化され
たマルチメディア・コンテンツ中のフレーム単位に記録
されたスペクトル正規化後の周波数成分の値を読み出
し、これらの振幅の変化をフレーム単位に求めてその値
をリズム情報の特徴データとして用いる事を特徴とする
請求項１記載のマルチメディア・データ検索方法。 - 【請求項１１】コンテンツ検索手段は、圧縮符号化され
たマルチメディア・コンテンツ中のフレーム単位に記録
されたＬＰＣ係数の値を読み出し、この各係数の時間的
変化をフレーム単位に求めてその値をメロディ情報の特
徴データとして用いる事を特徴とする請求項１記載のマ
ルチメディア・データ検索方法。 - 【請求項１２】コンテンツ検索手段は、圧縮符号化され
たマルチメディア・コンテンツ中のフレーム単位に記録
されたスペクトル正規化係数の値を読み出し、これらの
各係数の時間的変化をフレーム単位に求めてその値をメ
ロディ情報の特徴データとして用いる事を特徴とする請
求項１記載のマルチメディア・データ検索方法。 - 【請求項１３】コンテンツ検索手段は、圧縮符号化され
たマルチメディア・コンテンツのオブジェクト単位に記
録されたオブジェクト記述を読み出し、この記述内で使
われている単語毎の出現頻度と、その単語の前後にある
単語との組み合わせの出現頻度を単語情報の特徴データ
として用いる事を特徴とする請求項１記載のマルチメデ
ィア・データ検索方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10192539A JP2000029881A (ja) | 1998-07-08 | 1998-07-08 | マルチメディア・データ検索方法 |
| US09/347,383 US6785429B1 (en) | 1998-07-08 | 1999-07-06 | Multimedia data retrieval device and method |
| EP99113114A EP0971296A2 (en) | 1998-07-08 | 1999-07-07 | Multimedia data retrieval device and method |
| KR1019990027535A KR100327085B1 (ko) | 1998-07-08 | 1999-07-08 | 멀티미디어 데이터 검색 장치 및 방법 |
| CNB991097130A CN1168035C (zh) | 1998-07-08 | 1999-07-08 | 多媒体数据检索装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10192539A JP2000029881A (ja) | 1998-07-08 | 1998-07-08 | マルチメディア・データ検索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000029881A true JP2000029881A (ja) | 2000-01-28 |
Family
ID=16292967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10192539A Pending JP2000029881A (ja) | 1998-07-08 | 1998-07-08 | マルチメディア・データ検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000029881A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001333389A (ja) * | 2000-05-17 | 2001-11-30 | Mitsubishi Electric Research Laboratories Inc | ビデオ再生システムおよびビデオ信号処理方法 |
| JP2009526301A (ja) * | 2006-02-10 | 2009-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メタデータを生成する方法及び装置 |
-
1998
- 1998-07-08 JP JP10192539A patent/JP2000029881A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001333389A (ja) * | 2000-05-17 | 2001-11-30 | Mitsubishi Electric Research Laboratories Inc | ビデオ再生システムおよびビデオ信号処理方法 |
| JP2009526301A (ja) * | 2006-02-10 | 2009-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メタデータを生成する方法及び装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6785429B1 (en) | Multimedia data retrieval device and method | |
| US6088484A (en) | Downloading of personalization layers for symbolically compressed objects | |
| KR100515542B1 (ko) | 콘텐츠 검색 분배 장치 및 콘텐츠 검색 분배 방법 | |
| JP4138007B2 (ja) | Ｄｃ及び動き符号を用いたｍｐｅｇ圧縮列のビデオ検索 | |
| KR100727974B1 (ko) | 디지털 이미지에서 썸네일을 생성하는 방법 및 장치 | |
| JP3597025B2 (ja) | 頂点群をデータベースとする階層的形状符号化／復号方法並びに装置 | |
| CN1251494C (zh) | 用于创建多媒体可操作光盘的系统和方法 | |
| WO2001040995A1 (fr) | Systeme et procede de recuperation d'images | |
| US6683993B1 (en) | Encoding and decoding with super compression a via a priori generic objects | |
| JP2009502055A (ja) | 変更ファイルフォーマット、ファイルサーバ、データ処理システム及びデータ抽出方法 | |
| JP2001160062A (ja) | 画像データ検索装置 | |
| JP2004104836A (ja) | 動画像検索情報生成装置、動画像要約情報生成装置、記録媒体、および動画像要約情報格納フォーマット | |
| JP2000112975A (ja) | マルチメディア・コンテンツ検索方法 | |
| US7050700B2 (en) | Picture compression managing apparatus and picture compression managing method used therefor | |
| US20030163480A1 (en) | Meta data creation apparatus and meta data creation method | |
| JP2000029881A (ja) | マルチメディア・データ検索方法 | |
| US7751483B1 (en) | Video codec for embedded handheld devices | |
| RU2654126C2 (ru) | Способ и устройство высокоэффективного сжатия мультимедийной информации большого объема по критериям ее ценности для запоминания в системах хранения данных | |
| JP3158064B2 (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP2795150B2 (ja) | 動画像の再現装置及び符号化・復号システム | |
| JP4053251B2 (ja) | 画像検索システムおよび画像蓄積方法 | |
| Boschetti et al. | Image coding with face descriptors embedding | |
| JP2000201078A (ja) | デ―タ圧縮装置および方法、デ―タ伸長装置および方法、デ―タ圧縮伸長システムおよび方法、コ―ドブックの作成方法、記録媒体 | |
| Yuvaraj | Digital File Formats for Digital Preservation | |
| Boschetti et al. | High Dynamic Range Images Coding: Embedded and Multiple Description |