JP2001184357A - マルチメディア素材検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 検索対象のマルチメディア素材とは異なる種
類のマルチメディア素材を検索キーとして検索を行うこ
とができるマルチメディア素材検索装置を提供する。 【解決手段】 検索キー入力手段１に入力された検索キ
ーから、ビデオ特徴抽出手段２１によりマルチメディア
素材であるビデオシーンに特有の特徴が抽出される。抽
出された特徴は、特徴記述変換手段２２によりマルチメ
ディア素材の種類に依存しない共通の特徴記述に変換さ
れる。変換された特徴記述は、特徴記述変換手段３３に
より検索対象のマルチメディア素材である楽曲に特有の
特徴記述に再変換される。再変換された特徴記述と、検
索対象の楽曲データベース４より抽出された特徴とを比
較し、その類似度に基づいて検索解を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディア素
材のデータベースの検索において、検索対象のマルチメ
ディア素材とは種類の異なるマルチメディア素材を検索
キーとして検索を行う検索装置に関するものである。

【０００２】

【従来の技術】例えば、画像データベースにおいて、検
索キーとなる画像を１つまたは複数入力し、そのキー画
像に類似した画像を出力する検索装置がある。このよう
な検索装置では、入力されたキー画像の色やテクスチ
ャ、画像に含まれる物体の形状などに関する特徴を抽出
し、画像データベースのあらかじめ抽出された特徴記述
（画像データベースにあらかじめ記憶されている各画像
（検索対象画像）から抽出された特徴記述）と比較し
て、キー画像と検索対象画像との類似度を求め、類似度
の高い画像を検索解として出力する。

【０００３】また、例えば、楽曲データベースにおい
て、検索したい楽曲を人間の音声や楽器演奏などで入力
し、類似する楽曲を検索する検索装置がある。このよう
な検索装置では、入力された音声データの音程、リズ
ム、歌詞などを抽出し、データベースのデータと比較し
て類似度の高い楽曲を検索解として出力する。

【０００４】

【発明が解決しようとする課題】従来のマルチメディア
素材データベースの検索技術では、画像を検索キーとし
て画像を検索したり、音声を検索キーとして楽曲を検索
するなど、検索対象のマルチメディア素材と同じ種類の
検索キーを用いて検索を行う。しかし、例えば、ビデオ
の編集において、あるシーンのＢＧＭとして適当な楽曲
データを検索する場合に、ビデオシーンを検索キーとし
て楽曲データベースを検索する検索装置が望ましい。こ
のように、検索対象のマルチメディア素材とは異なる種
類のマルチメディア素材を検索キーとする検索装置は有
用である。

【０００５】本発明は、検索対象のマルチメディア素材
とは異なる種類のマルチメディア素材を検索キーとして
検索を行うことができるマルチメディア素材検索装置を
提供することを目的としている。

【０００６】

【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、検索対象である第１の種類のマル
チメディア素材とは種類の異なる第２の種類に属するマ
ルチメディア素材を検索キーとして入力する検索キー入
力手段と、前記検索キーから、前記第２の種類に属する
マルチメディア素材に特有の特徴を抽出し、その抽出し
た特徴を、マルチメディア素材の種類に依存しない共通
の特徴記述に変換する特徴抽出手段と、前記共通の特徴
記述を、検索対象である前記第１の種類のマルチメディ
ア素材に特有の特徴記述に再変換し、この再変換された
特徴記述と、検索対象である前記第１の種類の各マルチ
メディア素材が記憶されているデータベースから抽出し
た前記第１の種類の各マルチメディア素材の特徴記述と
を比較し、両者の類似度に基づいて検索解を出力する検
索手段と、を設けたことを特徴とするマルチメディア素
材検索装置、を提供するものである。

【０００７】

【発明の実施の形態】本発明は、検索対象のマルチメデ
ィア素材とは異なる種類のマルチメディア素材を検索キ
ーとして用いて検索の行える検索装置である。入力され
た検索キーから、そのマルチメディア素材に特有の特徴
が抽出される。抽出された特徴は、マルチメディア素材
の種類に依存しない共通の特徴記述に変換される。変換
された特徴記述は、検索対象のマルチメディア素材に特
有の特徴記述に再変換される。再変換された特徴記述
と、検索対象のデータベースより抽出された特徴とを比
較し、その類似度に基づいて検索解を出力する。

【０００８】次に、本発明の第１の実施例について説明
する。第１の実施例は、検索キーとしてビデオのシーン
を入力し、それに類似する楽曲データを検索する装置で
ある。本発明の第１の実施例の構成を図１に示す。

【０００９】検索キー入力手段１により、検索キーとな
るビデオのシーン（画像データ）が入力される。入力さ
れたビデオシーンは、特徴抽出手段２へ出力される。

【００１０】特徴抽出手段２は、ビデオ特徴抽出手段２
１および特徴記述変換手段２２により構成される。ビデ
オ特徴抽出手段２１は、検索キー入力手段１より入力さ
れるビデオシーンからビデオに特有の特徴を抽出し、抽
出された特徴記述を特徴記述変換手段２２へ出力する。
特徴記述変換手段２２は、ビデオ特徴抽出手段２１より
入力されるビデオシーンの特徴記述を各種マルチメディ
ア素材に共通の特徴記述に変換し、検索手段３へ出力す
る。

【００１１】検索手段３は、特徴記述変換手段３３、楽
曲特徴抽出手段３４、類似度判定手段３５により構成さ
れる。特徴記述変換手段３３は、特徴抽出手段２より入
力されるマルチメディア共通特徴記述を楽曲に特有の特
徴記述に変換し、類似度判定手段３５へ出力する。楽曲
特徴抽出手段３４は、楽曲データベース４に記憶されて
いる楽曲データから楽曲に特有の特徴を抽出し、類似度
判定手段３５へ出力する。類似度判定手段３５は、特徴
記述変換手段３３より入力される特徴記述と、楽曲特徴
抽出手段３４より入力される特徴記述とを比較し、その
類似度を判定し、基準以上の類似度のものを検索解とし
て検索解出力手段５へ出力する。

【００１２】楽曲データベース４は、楽曲データを記憶
するための記憶装置であり、楽曲データを検索手段３へ
出力する。検索解出力手段５は、検索手段３より入力さ
れる検索解を利用者に提示する。

【００１３】次に、図２に示す第１の実施例の処理の流
れを表すフローチャートに沿って、第１の実施例の処理
の流れを具体的に説明する。利用者は、検索キー入力手
段１を用いてビデオの１シーンを入力する（ステップＳ
１）。入力するビデオシーンは、ビデオデータを人間が
手動で分割したものでもよいし、動きの激しさ等に基づ
いて自動分割されたものでもよい。

【００１４】ビデオ特徴抽出手段２１において、ビデオ
シーンのビデオに特有の特徴が抽出される（ステップＳ
２）。ここで抽出される特徴としては、色のヒストグラ
ム、動きの激しさ、ビデオ中の物体の移動の軌跡などの
統計的な特徴や、ビデオに付加されたキーワードやビデ
オ中の物体に付加されたキーワードなどの意味的な特徴
などが考えられる。

【００１５】ビデオに特有の特徴記述は、特徴記述変換
手段２２において、各種マルチメディア素材に共通の特
徴記述に変換される（ステップＳ３）。各種マルチメデ
ィア素材に共通な特徴記述としては、「楽しさ」「スピ
ード感」などの人間の感性に関するものや、対象年齢
層、対象性別などの利用者に関するものなど、マルチメ
ディア素材の種類に関係なく用いることのできる特徴記
述を使用する。特徴記述の変換は、例えば、ビデオ中の
物体の移動の速度が速い場合に「スピード感」の値を大
きくするなど、一定の規則に基づいて行われる。利用者
の検索の履歴を学習し、特徴記述変換の規則を動的に変
更する構成にしてもよい。

【００１６】マルチメディア共通特徴記述は、特徴記述
変換手段３３において、楽曲に特有の特徴記述に変換さ
れる（ステップＳ４）。楽曲に特有の特徴記述として
は、周波数やテンポなどの統計的な特徴や、使用楽器や
ジャンルなどの意味的な特徴などが考えられる。特徴記
述の変換は、例えば、「スピード感」の値をテンポの値
に対応させるなど、一定の規則に基づいて行われる。学
習によって変換規則を動的に変更する構成にしてもよ
い。

【００１７】楽曲特徴抽出手段３４により、楽曲データ
ベース４に記憶されているデータの楽曲に特有の特徴が
抽出される（ステップＳ５）。あらかじめ各楽曲の特徴
を抽出しておき、特徴記述をデータベース４に記憶させ
ておいてもよい。

【００１８】類似度判定手段３５では、特徴記述変換手
段３３より入力される楽曲特徴記述と、楽曲特徴抽出手
段３４より入力される楽曲特徴記述とを比較し、その類
似度を計算する（ステップＳ６）。そして、類似度が基
準値以上のものを検索解とするか、あるいは類似度が高
いものから一定数のものを検索解とするなどの方法で検
索解を求める。

【００１９】検索解出力手段５では、検索解の曲名、作
詞者、作曲者などの情報をディスプレイに表示する（ス
テップＳ７）。以上の構成により、ビデオシーンを検索
キーとして楽曲データを検索することができる。これを
応用し、ビデオの編集において、あるシーンのＢＧＭと
して適する楽曲データを検索する装置などが構成可能で
ある。

【００２０】次に、本発明の第２の実施例について説明
する。第２の実施例は、検索キーとして文書データを入
力し、それに類似する画像データを検索する装置であ
る。第２の実施例の構成を図３に示す。

【００２１】第２の実施例の構成は、図１に示す第１の
実施例の構成と基本的には同じである。図１でビデオに
関する部分が図３では文書に関するものに置き換わり、
図１で楽曲に関する部分が図３では画像に関するものに
置き換わっているものの、各部分の動作は第１の実施例
と同様である。

【００２２】特徴抽出手段２ａは、文書特徴抽出手段２
３および特徴記述変換手段２４より構成される。検索手
段３ａは、特徴記述変換手段３６、画像特徴抽出手段３
７、類似度判定手段３８により構成される。画像データ
ベース６は画像データを記憶するための記憶装置であ
る。

【００２３】図４は、第２の実施例の処理の流れを表す
フローチャートである。第２の実施例の処理の流れは、
図２に示す第１の実施例の処理の流れと概念的には同じ
である。図４に示すステップＳ１１，Ｓ１３，Ｓ１６，
Ｓ１７は、それぞれ図２に示すステップＳ１，Ｓ３，Ｓ
６，Ｓ７と同様の動作である。以下では、特に異なる部
分のみを説明する。

【００２４】文書特徴抽出のステップＳ１２で抽出され
る文書に特有の特徴としては、文書中に存在するキーワ
ードや、文書に付加された情報などが考えられる。ステ
ップＳ１４，Ｓ１５での画像に特有の特徴としては、色
のヒストグラム、テクスチャ、画像中の物体の形状など
の統計的な特徴や、画像に付加されたキーワードや画像
中の物体に付加されたキーワードなどの意味的な特徴な
どが考えられる。

【００２５】以上の構成により、文書データを検索キー
として画像データを検索することができる。これを応用
し、文書の編集において、文書に適する挿絵を検索する
装置などが構成可能である。

【００２６】また、第１の実施例および第２の実施例は
検索対象のマルチメディア素材が１種類であるが、マル
チメディア共通特徴記述を様々なマルチメディア素材に
特有の特徴記述に変換し、複数の種類のマルチメディア
素材を同時に検索するような構成も可能である。

【００２７】

【発明の効果】以上の通り、本発明のマルチメディア素
材検索装置は、検索対象のマルチメディア素材とは異な
る種類のマルチメディア素材を検索キーとして検索を行
うことができるので、ビデオの編集や文書の編集などの
場面において、利用者に有益な検索手法を提供できると
いう効果がある。

【図面の簡単な説明】

【図１】第１の実施例を示す構成図である。

【図２】第１の実施例の処理の流れを示すフローチャー
トである。

【図３】第２の実施例を示す構成図である。

【図４】第２の実施例の処理の流れを示すフローチャー
トである。

【符号の説明】

１ 検索キー入力手段 ２ 特徴抽出手段 ３ 検索手段 ４ 楽曲データベース

Claims (1)

【特許請求の範囲】
1. 【請求項１】検索対象である第１の種類のマルチメディ
   ア素材とは種類の異なる第２の種類に属するマルチメデ
   ィア素材を検索キーとして入力する検索キー入力手段
   と、 前記検索キーから、前記第２の種類に属するマルチメデ
   ィア素材に特有の特徴を抽出し、その抽出した特徴を、
   マルチメディア素材の種類に依存しない共通の特徴記述
   に変換する特徴抽出手段と、 前記共通の特徴記述を、検索対象である前記第１の種類
   のマルチメディア素材に特有の特徴記述に再変換し、こ
   の再変換された特徴記述と、検索対象である前記第１の
   種類の各マルチメディア素材が記憶されているデータベ
   ースから抽出した前記第１の種類の各マルチメディア素
   材の特徴記述とを比較し、両者の類似度に基づいて検索
   解を出力する検索手段と、を設けたことを特徴とするマ
   ルチメディア素材検索装置。