JP2000112975A - マルチメディア・コンテンツ検索方法 - Google Patents

マルチメディア・コンテンツ検索方法

Info

Publication number
JP2000112975A
JP2000112975A JP10282437A JP28243798A JP2000112975A JP 2000112975 A JP2000112975 A JP 2000112975A JP 10282437 A JP10282437 A JP 10282437A JP 28243798 A JP28243798 A JP 28243798A JP 2000112975 A JP2000112975 A JP 2000112975A
Authority
JP
Japan
Prior art keywords
content
feature data
feature
multimedia
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10282437A
Other languages
English (en)
Inventor
Takanori Senoo
孝憲 妹尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP10282437A priority Critical patent/JP2000112975A/ja
Priority to US09/347,383 priority patent/US6785429B1/en
Priority to EP99113114A priority patent/EP0971296A2/en
Priority to KR1019990027535A priority patent/KR100327085B1/ko
Priority to CNB991097130A priority patent/CN1168035C/zh
Publication of JP2000112975A publication Critical patent/JP2000112975A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 高度な検索を行いたい場合、高レベルの意味
的記述ではコンテンツの検索は出来ない。 【解決手段】 映像・音声等のマルチメディア・コンテ
ンツを蓄積するコンテンツ蓄積手段と、これに通信手段
で接続され、蓄積されたマルチメディア・コンテンツか
ら特徴データを抽出して蓄積する特徴データ蓄積手段を
備えると共に、通信手段により接続されたクライアント
から入力された特徴記述文章に合う内容を持つマルチメ
ディア・コンテンツを特徴データから検索して、コンテ
ンツ蓄積手段に蓄積された対応するマルチメディア・コ
ンテンツそのものもしくは、そのアドレスを抽出してク
ライアントに返すコンテンツ検索手段からなり、該コン
テンツ検索手段は、特徴記述文章からキーワードを抽出
し、これを特徴データに変換して検索に用いる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタル化された
画像や音声等のマルチメディア・コンテンツを蓄積する
サーバーと、サーバーに希望するコンテンツを要求する
クライアントからなるサーバ・クライアント・システム
と、その中間に位置し、クライアントが希望するコンテ
ンツの特徴を記述する特徴記述文書をクライアントから
得て、これを手掛りに要求されたコンテンツを検索して
クライアントに返すコンテンツ検索手段を備える、マル
チメディア・コンテンツ検索システムに関するものであ
る。
【０００２】
【従来の技術】従来、マルチメディア・コンテンツ検索
システムでは、コンテンツの概略を表す微小画像を作成
すると共に、画像サイズや、主要色情報等をコンテンツ
の特徴データとして用いており、コンテンツの検索に
は、この特徴データを直接指定する事で検索を行ってい
た。
【０００３】図７は、従来のマルチメディア・コンテン
ツ検索システムの構成図である。本図において、コンテ
ンツはディスク・ドライブ１０１上のディスク１０３に
記録され、ファイルサーバ１０２の制御で読み出され、
通信回線１０６を介してクライアント側コンピュータ１
０５のディスプレイ１０４に表示される。
【０００４】クライアントは希望するコンテンツの抽出
を容易にする為に、図８に示す様な特徴キーワードをコ
ンピュータ１０５に入力する。ディスクに記録された複
数のコンテンツの夫々の特徴を表す特徴データは、図８
に示す様な表の形で夫々メモリ１０３にあらかじめ貯え
られており、コンピュータ１０５は、クライアントから
与えられた特徴キーワードとメモリ１０３内の特徴デー
タとを比較し、最も近いコンテンツから順に複数個を選
んで、それに対応する微小画像をディスプレイ１０４に
表示し、クライアントがその中から所望のコンテンツを
選択する事によって、希望するコンテンツへのアクセス
を行っていた。
【０００５】以上のような技術は、公知例として、USP
５，７６１，６５５”Image File Storage and Retriev
al System”に開示されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上記の
例では、クライアントは抽出したいコンテンツの特徴を
色、幅、高さなどの低レベルのキーワードで表現しなけ
ればならず、高度な検索を行いたい場合、例えば「夕日
の中を人が走るシーン」等と言う高レベルの意味的記述
ではコンテンツの検索は出来ないと言う欠点があった。
【０００７】
【課題を解決するための手段】このような課題を解決す
る為、本願の請求項１記載の本発明は、コンテンツの中
から所望のコンテンツの検索を行う方法であって、映像
・音声等のマルチメディア・コンテンツを蓄積するコン
テンツ蓄積手段と、これに通信手段で接続され、蓄積さ
れたマルチメディア・コンテンツから特徴データを抽出
して蓄積する特徴データ蓄積手段を備えると共に、通信
手段により接続されたクライアントから入力された特徴
記述文章に合う内容を持つマルチメディア・コンテンツ
を特徴データから検索して、コンテンツ蓄積手段に蓄積
された対応するマルチメディア・コンテンツそのものも
しくは、そのアドレスを抽出してクライアントに返すコ
ンテンツ検索手段からなり、コンテンツ検索手段は特徴
記述文章からキーワードを抽出し、これを特徴データに
変換して検索に用いる事を特徴とするものである。
【０００８】また本願の請求項２の発明は、請求項１の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、キーワードを特徴データに変換するキ
ーワード辞書を備え、これを用いて特徴記述文章から抽
出されたキーワードを特徴データに変換して、検索を行
う事を特徴とするものである。
【０００９】また本願の請求項３の発明は、請求項２の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、特徴記述文章から名詞、動詞、形容
詞、及び副詞を抽出してキーワードとする事を特徴とす
るものである。
【００１０】また本願の請求項４の発明は、請求項２の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、マルチメディア・コンテンツ中の形状
情報を特徴データとして用いる事を特徴とするものであ
る。
【００１１】また本願の請求項５の発明は、請求項２の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、マルチメディア・コンテンツ中の色情
報ないし明るさ情報を特徴データとして用いる事を特徴
とするものである。
【００１２】また本願の請求項６の発明は、請求項２の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、マルチメディア・コンテンツ中の動き
情報を特徴データとして用いる事を特徴とするものであ
る。
【００１３】また本願の請求項７の発明は、請求項２の
マルチメディア・コンテンツ検索方法において、コンテ
ンツ検索手段は、圧縮符号化されたマルチメディア・コ
ンテンツ中のテクスチャ情報を特徴データとして用いる
事を特徴とするものである。
【００１４】また本願の請求項８の発明は、映像・音声
等のマルチメディア・コンテンツを蓄積するコンテンツ
蓄積手段と、これに通信手段で接続され、蓄積されたマ
ルチメディア・コンテンツから特徴データを抽出して蓄
積する特徴データ蓄積手段を備えると共に、通信手段に
より接続されたクライアントから入力された特徴記述文
章に合う内容を持つマルチメディア・コンテンツを特徴
データから検索して、コンテンツ蓄積手段に蓄積された
対応するマルチメディア・コンテンツそのものもしく
は、そのアドレスを抽出してクライアントに返すコンテ
ンツ検索手段からなり、該コンテンツ検索手段は、マル
チメディア・コンテンツに付加されているオブジェクト
記述内で使われている単語を特徴データとして用い、特
徴記述文章からキーワードを抽出して特徴データと比較
する事で検索を行う事を特徴とするものである。
【００１５】以上のような方法により、検索したいマル
チメディア・コンテンツの特徴が高レベルの特徴記述文
章で与えられても、マルチメディア・コンテンツから抽
出された低レベルの特徴データに変換して検索する事を
可能にする事により、クライアントから与えられた高度
な内容表現でのコンテンツの自動検索が可能となる。
【００１６】
【発明の実施の形態】（実施の形態１）以下、本発明の
実施の形態におけるマルチメディア・コンテンツ検索方
法について図面を参照して説明する。図１は、本実施の
形態のマルチメディア・コンテンツ検索方法を実現する
為のマルチメディア・コンテンツ検索システムの構成図
である。このマルチメディア・コンテンツ検索システム
は、コンテンツ蓄積手段１、コンテンツ検索手段２、特
徴データメモリ２１、クライアント３、通信回線４１、
４２を含んで構成される。
【００１７】圧縮されたマルチメディア・コンテンツ１
１はディスク・ドライブ等の駆動装置１３を備えるコン
テンツ蓄積手段１に貯えられている。コンテンツ検索手
段２は、通信回線４１を介してコンテンツ蓄積手段１に
接続されており、コンテンツの特徴を抽出して、図２に
示すような形状、色、明るさ、動き等の低レベル特徴デ
ータの表として特徴データメモリ２１に記録する。通信
回線４２を介してコンテンツ検索手段２に接続されたク
ライアント３は、検索したいコンテンツの特徴を記述し
た特徴記述文章３１をコンテンツ検索手段２に与える。
コンテンツ検索手段２は、与えられた特徴記述文章か
ら、キーワードを抽出し、これを低レベル特徴データに
変換し、これと特徴データメモリ２１に蓄積された特徴
データとを順次比較し、最も類似度の高いコンテンツを
決定して、コンテンツ蓄積手段１から読み出し、クライ
アント３に返すか、又はそのコンテンツが蓄積されてい
る場所のアドレスを返す事により、クライアントの求め
るコンテンツの検索を実現する。
【００１８】図３は、本発明の実施の形態におけるコン
テンツ検索手段２の更に詳細な構成図である。コンテン
ツ検索手段２は、通信回線４１に接続された特徴抽出／
検索エンジン２２と、これに接続された特徴データメモ
リ２１と、通信回線４２及び特徴抽出／検索エンジン２
２に接続されたキーワード抽出／翻訳機２４と、これに
接続されたキーワード辞書２３を含んで構成される。
【００１９】図３において、クライアント３から特徴記
述文章がコンテンツ検索手段２に与えられると、キーワ
ード抽出／翻訳機２４は、特徴記述文章から、キーワー
ドを抽出する。キーワード抽出の方法は、「は、が、
の、を、に」などの助詞を先ず検出して、その部分で文
章を分かち書きにし、各文節の中に含まれる名詞、動
詞、形容詞、副詞等の単語を抽出してキーワードとする
事でキーワード抽出を行う。例えば、特徴記述文章とし
て「夕日の中を人が走るシーン」と言う表現が与えられ
た場合、「の」、「を」、「が」の助詞が先ず検出さ
れ、特徴記述文章は、「夕日の 中を 人が 走るシー
ン」と４文節に分かち書きされる。次に各文節から助詞
を除いた文字列に対して、キーワード辞書２３に登録さ
れているキーワードと一致するか否かが順に比較されて
行く。今、キーワード辞書２３には、図４に示す様に
「夕日」、「人」、「走る」等の語が、登録されている
ものとすると、これらの一致した単語がキーワードとし
て抽出される。
【００２０】次に、キーワード抽出／翻訳機２４は、キ
ーワード辞書２３を用いて、抽出されたキーワードを特
徴データに変換する。キーワード「夕日」は、（形状：
丸型、色：赤、明度：１９２、動き：（０，−１）、テ
キスチャ：一様）と言う５つの特徴データに変換され、
キーワード「人」は、（形状：人型、色：肌色、明度：
１２８、テキスチャ：皮膚型）の４つの特徴データに変
換され、キーワード「走る」は、（動き：（±１０，
０））の１つの特徴データに変換される。これらの特徴
データは、特徴抽出／検索エンジン２２に送られる。
【００２１】特徴抽出／検索エンジン２２は、キーワー
ド抽出／翻訳機２４から与えられた特徴データを、特徴
データメモリ２１に貯えられた各種コンテンツの特徴デ
ータと比較し、最も類似度の高い特徴データを持つコン
テンツを選び出す。類似度の評価は、全ての特徴データ
に関して、対応する特徴データどうしの差分の絶対値和
を求め、その値の最も小さいものが、最も類似度が高い
とする事で実現できる。選び出されたコンテンツは、そ
れが蓄積されているコンテンツ蓄積手段１より読み出さ
れて、クライアント３に送り返されても良いし、それが
蓄積されている場所を示すアドレスのみがクライアント
に返され、クライアントが直接そのアドレスにアクセス
する事でコンテンツを取り出しても良い。
【００２２】特徴データメモリ２１に貯えられる各コン
テンツの特徴データは、コンテンツ制作時に手動により
作成されても良いし、以下に伸べる方法で、各コンテン
ツから自動抽出されて記録されても良い。
【００２３】以下に、コンテンツ検索手段２が、コンテ
ンツ蓄積手段１に貯えられたマルチメディアコンテンツ
から特徴データを抽出する方法について述べる。映像・
音声などのマルチメディア・コンテンツは、そのデータ
量が膨大な為、通常はMPEG規格などの圧縮符号化方式で
圧縮されてコンテンツ蓄積手段１に貯えられている。
【００２４】図５は、本発明の実施の形態における圧縮
されたコンテンツのデータ構成図である。圧縮された映
像のデータ構造は、最初に映像のサイズや圧縮方法、読
み出す時の速度や伸長した後表示する時の速度、一度に
読み出すべきデータの区切り等の情報がヘッダとして書
き込まれている。MPEG方式では、映像の各フレームは、
８×８画素のブロック単位に離散コサイン変換され、そ
の変換後の係数が直流(DC)成分から交流(AC)高域成分へ
と順次可変長符号化されて並べられている。又、カラー
映像の場合は、隣り合う４つのブロック毎に、輝度成分
（Y）４ブロックと、色差成分（Pb,Pr)各1ブロックが同
様に順に並べられ、これをマクロブロックと呼ぶ。マク
ロブロックは、フレーム間で動き補償付き予測符号化さ
れても良く、この場合マクロブロックの頭の位置に、動
き補償に使った動きベクトルのデータが入れられる。
【００２５】又、圧縮方式がMPEG4の場合は、フレーム
内の映像は、前景の人物と背景の山等のレーヤに分けら
れ、各レーヤー画像は、意味のある部分のみに注目して
オブジェクトと称し、その部分のマクロブロック情報の
みが記録される。レーヤ内のオブジェクトの形状は、画
素単位に与えられるオブジェクトの透明度の情報で知る
事が出来る。この形状情報は、マクロブロック単位に符
号化され、動きベクトルの前に入れられる。
【００２６】尚、ＭＰＥＧ４規格の詳細は、ISO/IEC 14
496-1, -2, -3 Final Committee Draft of Internation
al Standard, May 1998に記載されている。
【００２７】上記の様に構成された圧縮コンテンツから
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクトの形状情報を抽出する場合、コン
テンツ検索手段２は、コンテンツ蓄積手段１に貯えられ
た圧縮コンテンツ１１のデータ構成を順に検査して行
き、マクロブロック単位にコンテンツの形状データ部を
読み出す。一方、1フレーム内のマクロブロック数に相
当するビット数をもつメモリ領域を特徴データとして特
徴データメモリ２１内に確保しておき、マクロブロック
の形状データが全て透明な画素である場合は、特徴デー
タの対応するビットを０とし、不透明な画素を含むマク
ロブロック、すなはちオブジェクトの一部であるマクロ
ブロックの場合は、対応する特徴データビットを１とし
て行くと、オブジェクトの特徴データとして形状情報が
得られる。得られた情報は、例えば１６×１６ビットの
サイズに正規化して置く事で、コンテンツ内で表現され
た時の大きさの違いを吸収可能になる。以降、蓄積され
たマルチメディア・コンテンツ１１全てに対して形状情
報を抽出し、特徴データメモリ２１に順に貯えて行く。
【００２８】キーワード辞書２３には、マルチメディア
・コンテンツの特徴記述に使われる可能性のある単語全
てに対して特徴データをあらかじめ登録して置くが、形
状に関する特徴データは上記と同じデータ形式で書いて
おく事により、クライアントから与えられた特徴記述文
章から抽出されたキーワードが形状情報に関する単語で
ある場合、同じデータ形式の特徴データに変換され、形
状での検索が可能になる。
【００２９】マルチメディア・コンテンツの形状がコン
ピュータ・グラフィックスのワイヤーフレーム・モデル
の頂点座標で表されており、これがＭＰＥＧ４規格のメ
ッシュ符号化方式で圧縮符号化されている場合、コンテ
ンツ検索手段２は、符号化されたマルチメディア・コン
テンツ１１のメッシュ符号化データ部を特徴データとし
て抽出して、特徴データメモリ２１に貯えると同時に、
キーワード辞書２３内の形状に関する特徴データの別の
表現として、メッシュ符号化データ形式でも書いてお
く。こうする事により、クライアント３から特徴記述文
章３１が与えられ、これから形状情報のキーワードが抽
出されるとメッシュ符号化データ形式の特徴データに変
換され、特徴データメモリ内に貯えられたコンテンツの
メッシュ符号化データとを順に比較する事で、メッシュ
符号化データ形式の形状情報でのコンテンツ検索が実現
される。
【００３０】特徴データとしてオブジェクトの色ないし
明るさ情報を使用する場合は、コンテンツ検索手段２
は、コンテンツ蓄積手段１に貯えられた圧縮コンテンツ
１１のデータ構成を順に検査して行き、マクロブロック
単位にコンテンツの輝度成分（Ｙ）と色差成分（Ｐｂ，
Ｐ）の各直流成分を順に読み出し、これをオブジェクト
内の全マクロブロックに対し、各成分毎の平均値を計算
する事で、オブジェクトの特徴データとして色ないし明
るさ情報が得られる。以降、蓄積されたマルチメディア
・コンテンツ１１全てに対して色ないし明るさ情報を抽
出し、特徴データメモリ２１に順に貯えて行く。キーワ
ード辞書２３内の色ないし明るさに関する特徴データ
も、同じデータ形式で書いておく事は言うまでもない。
【００３１】クライアント３から与えられた特徴記述文
章３１から色ないし明るさ情報のキーワードが抽出され
ると、これをキーワード辞書２３を用いて、特徴データ
メモリ２１に貯えられた色ないし明るさ情報と同じ形式
に変換した後、両者を順に比較して行く。類似度の最も
簡単な判定は、両者の差分の絶対値和を計算する事であ
る事は上述の通りである特徴データの内、最も誤差の小
さい特徴データを選び出す事で、色ないし明るさでのコ
ンテンツ検索が実現される。
【００３２】特徴データとしてオブジェクトの動き情報
を使用する場合は、コンテンツ検索手段２は、コンテン
ツ蓄積手段１に貯えられた圧縮コンテンツ１１のデータ
構成を順に検査して行き、マクロブロック単位にコンテ
ンツの動きデータを読み出し、この値のオブジェクト毎
の平均値を求めてその時間毎の値を特徴データとし、特
徴データメモリ２１内に記録して行く。以降、蓄積され
たマルチメディア・コンテンツ１１全てに対して動き情
報を抽出し、特徴データメモリ２１に順に貯えて行く。
【００３３】クライアント３から与えられた特徴記述文
章３１から動き情報のキーワードが抽出された場合、こ
れをキーワード辞書２３を用いて、特徴データメモリ２
１に貯えられた動き情報と同じ形式に変換した後、両者
を順に比較して行く。類似度の最も簡単な判定は、両者
の差分の絶対値を計算する事である事は上述の通りであ
る。特徴データの内、最も誤差の小さい特徴データを選
び出す事で、動きでのコンテンツ検索が実現される。
【００３４】特徴データとしてオブジェクトのテキスチ
ャ情報を使用する場合は、コンテンツ検索手段２は、コ
ンテンツ蓄積手段１に貯えられた圧縮コンテンツ１１の
データ構成を順に検査して行き、マクロブロック単位に
コンテンツの輝度成分と色差成分の直流成分(DC)及び交
流成分(AC)の値を夫々読み出し、これらの成分毎の平均
値をオブジェクト全体で求めてその値をテキスチャ情報
の特徴データとし、特徴データメモリ２１内に記録して
行く。以降、蓄積されたマルチメディア・コンテンツ１
１全てに対してテキスチャ情報を抽出し、特徴データメ
モリ２１に順に貯えて行く。
【００３５】クライアント３から与えられた特徴記述文
章３１からテキスチャ情報のキーワードが抽出された場
合、これをキーワード辞書２３を用いて、特徴データメ
モリ２１に貯えられたテキスチャ情報と同じ形式に変換
した後、両者を順に比較して行く。類似度の最も簡単な
判定は、両者の各成分毎の差分の絶対値和を計算する事
である事は上述の通りである。特徴データの内、最も誤
差の小さい特徴データを選び出す事で、テキスチャでの
コンテンツ検索が実現される。
【００３６】クライアント３から与えられた特徴記述文
章３１から複数のキーワードが抽出された場合は、その
各々について上記の変換・検索を行い、各コンテンツの
特徴データ毎の類似度を加え合わせる事により、そのコ
ンテンツと特徴記述文章３１との総合類似度が選られ
る。すべてのコンテンツに対して総合類似度を調べるこ
とにより、クライアントの希望する特徴記述に最も近い
コンテンツの検索が実現される。
【００３７】（実施の形態２）図６は、本発明の他の実
施の形態における圧縮されたマルチメディア・コンテン
ツのデータ構成図である。ＭＰＥＧ４符号化方式におい
ては、マルチメディア・コンテンツは、オブジェクトで
構成され、各々のオブジェクトは圧縮符号化されて記録
されている。更に各圧縮されたオブジェクト・データに
は、そのオブジェクトの内容をテキスト形式で記述する
オブジェクト記述が同時に記録されている。
【００３８】上記の様に構成された圧縮コンテンツから
特徴データを抽出する方法を以下に説明する。特徴デー
タとしてオブジェクト記述の中で使用されている単語の
情報を使用する場合は、コンテンツ検索手段２は、コン
テンツ蓄積手段１に貯えられた圧縮コンテンツ１１のデ
ータ構成を順に検査して行き、オブジェクト単位にコン
テンツのオブジェクト記述を読み出し、この記述内で使
われている単語毎の出現頻度や、その単語の前後にある
単語を調べてそれらの単語との組み合わせとしての出現
頻度とその単語自身を単語情報の特徴データとして、特
徴データメモリ２１内に記録して行く。以降、蓄積され
たマルチメディア・コンテンツ１１全てに対してオブジ
ェクト記述内で使用されている単語の単語情報を抽出
し、特徴データメモリ２１に順に貯えて行く。
【００３９】希望するコンテンツを単語で検索する場
合、コンテンツ検索手段２は、与えられた特徴記述文章
３１からキーワードを抽出し、キーワード辞書２３を用
いる事なく、抽出されたキーワードと特徴データメモリ
２１に貯えられた単語情報とを順に比較して行く。類似
度の最も簡単な判定は、与えられた単語と一致する単語
の出現頻度を調べることである。与えられた単語と一致
する単語が特徴データメモリにない場合は、類似度＝０
とする。特徴データの内、最も高い類似度を持つ特徴デ
ータを選ぶ事で、単語情報でのマルチメディア・コンテ
ンツの検索が実現される。
【００４０】特徴記述文章３１から複数の単語が抽出さ
れた場合は、コンテンツ毎に全ての単語の類似度の総和
（総合類似度）を求め、最も高い総合類似度を与えるコ
ンテンツを選ぶ事で、クライアント３の希望にもっとも
近いコンテンツを抽出する事が出来る。
【００４１】以上述べた各手段は、コンピュータのプロ
グラムとして実現可能である。
【００４２】
【発明の効果】以上のように本願の請求項１〜８の発明
のマルチメディア・コンテンツ検索方法によれば、クラ
イアントが検索を希望するコンテンツの内容が高レベル
の特徴記述文章で表現された場合でも、圧縮符号化され
たコンテンツから直接抽出された低レベルの特徴データ
での検索が可能となり、コンテンツ作成時に特徴データ
が作成されてないコンテンツでも、希望する特徴を持つ
コンテンツを容易に検索・抽出することができる。
【００４３】特に請求項２の発明によれば、特徴記述文
章から抽出されたキーワードを、特徴データメモリ内の
データ形式に合った特徴データに容易に変換する事が可
能になり、より正確に希望するマルチメディア・コンテ
ンツの検索・抽出が実現される。
【００４４】特に請求項３の発明によれば、特徴記述文
章から抽出されるキーワードは、特徴データメモリ内の
データ形式に合った特徴データに変換され易くなり、よ
り高い成功率で希望するマルチメディア・コンテンツの
検索・抽出が実現される。
【００４５】特に請求項４の発明によれば、特徴記述文
章から形状情報が抽出された場合に、より高い成功率で
希望するマルチメディア・コンテンツの検索・抽出が実
現される。
【００４６】特に請求項５の発明によれば、特徴記述文
章から色及び明るさ情報が抽出された場合に、コンテン
ツの色及び明るさでの検索が可能になり、より正確に希
望するマルチメディア・コンテンツの検索・抽出が実現
される。
【００４７】特に請求項６の発明によれば、特徴記述文
章から動き情報が抽出された場合に、コンテンツの動き
での検索が可能になり、より正確に希望するマルチメデ
ィア・コンテンツの検索・抽出が実現される。
【００４８】特に請求項７の発明によれば、特徴記述文
章からテキスチャに関するキーワードが抽出された場合
に、コンテンツのテキスチャ情報での検索が可能にな
り、複雑な絵柄のマルチメディア・コンテンツでも検索
・抽出が可能になる。
【００４９】特に請求項８の発明によれば、コンテンツ
の記述内で使われている単語での検索が可能になり、マ
ルチメディア・コンテンツの記述用語による検索・抽出
が実現される。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるマルチメディア・
コンテンツ検索システムの構成図
【図２】本発明の実施の形態における特徴データの構成
図
【図３】本発明の実施の形態におけるマルチメディア・
コンテンツ検索システムのコンテンツ検索手段の更に詳
細な構成図
【図４】本発明の実施の形態におけるキーワード辞書の
構成図
【図５】圧縮符号化されたマルチメディア・コンテンツ
の構成図
【図６】オブジェクト記述があらかじめ付加されたマル
チメディア・コンテンツの構成図
【図７】従来のマルチメディア・コンテンツ検索システ
ムの構成図
【図８】従来の特徴データの構成図
【符号の説明】
１ コンテンツ蓄積手段 ２ コンテンツ検索手段 ３ クライアント １１ マルチメディア・コンテンツ １２ ファイル・サーバ １３ 駆動装置 ２１ 特徴データメモリ ２２ 特徴抽出／検索エンジン ２３ キーワード辞書 ２４ キーワード抽出／翻訳機 ３１ 特徴記述文章 ４１，４２ 通信回線

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】映像・音声等のマルチメディア・コンテン
    ツを蓄積するコンテンツ蓄積手段と、これに通信手段で
    接続され、蓄積されたマルチメディア・コンテンツから
    特徴データを抽出して蓄積する特徴データ蓄積手段を備
    えると共に、通信手段により接続されたクライアントか
    ら入力された特徴記述文章に合う内容を持つマルチメデ
    ィア・コンテンツを特徴データから検索して、コンテン
    ツ蓄積手段に蓄積された対応するマルチメディア・コン
    テンツそのものもしくは、そのアドレスを抽出してクラ
    イアントに返すコンテンツ検索手段からなり、該コンテ
    ンツ検索手段は、特徴記述文章からキーワードを抽出
    し、これを特徴データに変換して検索に用いる事を特徴
    とするマルチメディア・コンテンツ検索方法。
  2. 【請求項２】コンテンツ検索手段は、キーワードを特徴
    データに変換するキーワード辞書を備え、これを用いて
    特徴記述文章から抽出されたキーワードを特徴データに
    変換して、検索を行う事を特徴とする請求項１記載のマ
    ルチメディア・コンテンツ検索方法。
  3. 【請求項３】コンテンツ検索手段は、特徴記述文章から
    名詞、動詞、形容詞、及び副詞を抽出してキーワードと
    する事を特徴とする請求項２記載のマルチメディア・コ
    ンテンツ検索方法。
  4. 【請求項４】コンテンツ検索手段は、マルチメディア・
    コンテンツ中の形状情報を特徴データとして用いる事を
    特徴とする請求項２記載のマルチメディア・コンテンツ
    検索方法。
  5. 【請求項５】コンテンツ検索手段は、マルチメディア・
    コンテンツ中の色情報ないし明るさ情報を特徴データと
    して用いる事を特徴とする請求項２記載のマルチメディ
    ア・コンテンツ検索方法。
  6. 【請求項６】コンテンツ検索手段は、マルチメディア・
    コンテンツ中の動き情報を特徴データとして用いる事を
    特徴とする請求項２記載のマルチメディア・コンテンツ
    検索方法。
  7. 【請求項７】コンテンツ検索手段は、圧縮符号化された
    マルチメディア・コンテンツ中のテクスチャ情報を特徴
    データとして用いる事を特徴とする請求項２記載のマル
    チメディア・コンテンツ検索方法。
  8. 【請求項８】映像・音声等のマルチメディア・コンテン
    ツを蓄積するコンテンツ蓄積手段と、これに通信手段で
    接続され、蓄積されたマルチメディア・コンテンツから
    特徴データを抽出して蓄積する特徴データ蓄積手段を備
    えると共に、通信手段により接続されたクライアントか
    ら入力された特徴記述文章に合う内容を持つマルチメデ
    ィア・コンテンツを特徴データから検索して、コンテン
    ツ蓄積手段に蓄積された対応するマルチメディア・コン
    テンツそのものもしくは、そのアドレスを抽出してクラ
    イアントに返すコンテンツ検索手段からなり、該コンテ
    ンツ検索手段は、マルチメディア・コンテンツに付加さ
    れているオブジェクト記述内で使われている単語を特徴
    データとして用い、特徴記述文章からキーワードを抽出
    して特徴データと比較する事で検索を行う事を特徴とす
    るマルチメディア・コンテンツ検索方法。
JP10282437A 1998-07-08 1998-10-05 マルチメディア・コンテンツ検索方法 Pending JP2000112975A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP10282437A JP2000112975A (ja) 1998-10-05 1998-10-05 マルチメディア・コンテンツ検索方法
US09/347,383 US6785429B1 (en) 1998-07-08 1999-07-06 Multimedia data retrieval device and method
EP99113114A EP0971296A2 (en) 1998-07-08 1999-07-07 Multimedia data retrieval device and method
KR1019990027535A KR100327085B1 (ko) 1998-07-08 1999-07-08 멀티미디어 데이터 검색 장치 및 방법
CNB991097130A CN1168035C (zh) 1998-07-08 1999-07-08 多媒体数据检索装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10282437A JP2000112975A (ja) 1998-10-05 1998-10-05 マルチメディア・コンテンツ検索方法

Publications (1)

Publication Number Publication Date
JP2000112975A true JP2000112975A (ja) 2000-04-21

Family

ID=17652413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10282437A Pending JP2000112975A (ja) 1998-07-08 1998-10-05 マルチメディア・コンテンツ検索方法

Country Status (1)

Country Link
JP (1) JP2000112975A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167109A (ja) * 1999-12-08 2001-06-22 Kddi Corp オーディオビデオ情報の特徴記述群構成方法
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法
KR100512275B1 (ko) * 2002-01-17 2005-09-02 엘지전자 주식회사 멀티미디어 객체의 특징 기술정보 생성방법
JP2005538583A (ja) * 2002-08-20 2005-12-15 テレノール アーアスアー 通信ネットワークを介しサービス、アプリケーション及び／またはコンテンツにアクセスするためのシステム及び方法
JP2007306559A (ja) * 2007-05-02 2007-11-22 Mitsubishi Electric Corp 画像特徴符号化方法及び画像検索方法
US7409382B2 (en) 2000-12-08 2008-08-05 Fujitsu Limited Information processing system, terminal device, method and medium
US7490107B2 (en) 2000-05-19 2009-02-10 Nippon Telegraph & Telephone Corporation Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167109A (ja) * 1999-12-08 2001-06-22 Kddi Corp オーディオビデオ情報の特徴記述群構成方法
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法
US7490107B2 (en) 2000-05-19 2009-02-10 Nippon Telegraph & Telephone Corporation Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium
US7409382B2 (en) 2000-12-08 2008-08-05 Fujitsu Limited Information processing system, terminal device, method and medium
KR100512275B1 (ko) * 2002-01-17 2005-09-02 엘지전자 주식회사 멀티미디어 객체의 특징 기술정보 생성방법
JP2005538583A (ja) * 2002-08-20 2005-12-15 テレノール アーアスアー 通信ネットワークを介しサービス、アプリケーション及び／またはコンテンツにアクセスするためのシステム及び方法
JP2007306559A (ja) * 2007-05-02 2007-11-22 Mitsubishi Electric Corp 画像特徴符号化方法及び画像検索方法

Similar Documents

Publication Publication Date Title
US6785429B1 (en) Multimedia data retrieval device and method
EP1125245B1 (en) Image description system and method
US7254285B1 (en) Image description system and method
US10311094B2 (en) Synthetic audiovisual description scheme, method and system for MPEG-7
JP4138007B2 (ja) Ｄｃ及び動き符号を用いたｍｐｅｇ圧縮列のビデオ検索
Tseng et al. Video summarization and personalization for pervasive mobile devices
WO2022188644A1 (zh) 词权重的生成方法、装置、设备及介质
JP2003525504A (ja) モデルを使用して画像内のオブジェクトの位置を特定するシステム及び方法
KR20020060981A (ko) 화상 검색 시스템 및 화상 검색 방법
JP2002529858A (ja) 相互使用可能なマルチメディアコンテンツ記述のためのシステムおよび方法
JP2000112975A (ja) マルチメディア・コンテンツ検索方法
JP3720412B2 (ja) 情報処理方法及び装置
Chang Compressed-domain content-based image and video retrieval
Dai et al. IMShare: Instantly sharing your mobile landmark images by search-based reconstruction
CN113705209A (zh) 一种副标题的生成方法、装置、电子设备和存储介质
AT&T
JP2000029881A (ja) マルチメディア・データ検索方法
JP2002318812A (ja) 類似画像検索装置，類似画像検索方法並びに類似画像検索プログラム
Panchanathan et al. Indexing and retrieval of color images using vector quantization
Yi et al. A motion based scene tree for browsing and retrieval of compressed videos
Turau et al. A Schema Partition for Multimedia Database Management Systems
KR20110108454A (ko) 재배열 체인 코드 기반 영상 검색 방법
Velammal et al. Dynamic Content Adaptation for Multimedia Content in Handheld Devices
González-Conejero et al. Legal multimedia management and semantic annotation for improved search and retrieval
CN116485949A (zh) 基于多模态神经网络模型的图文视频化方法、装置及设备