JP2002049627A - コンテンツの自動検索システム - Google Patents

Abstract

(57)【要約】 【課題】楽曲の一部が入力された時に、データベースを
検索することによって楽曲とともにその楽曲に関連する
画像をもユーザ側に提供できるようにする。 【解決手段】サーバ２には、楽曲データベース、画像デ
ータベース、曲画像関係データベースを記憶する曲画像
データベース２１が接続されていて、携帯端末１は、入
力キーまたは音声入力によって楽曲データの一部を入力
する。すると、サーバ２がこの情報を受信して、曲画像
データベース２１を検索し、楽曲の全てのデータとこれ
に関連する画像データを抽出して携帯端末１に送信す
る。携帯端末１では、送信されてきた画像データを表示
部で再生し、楽曲データをスピーカーもしくはイヤホン
で再生する。

Description

【発明の詳細な説明】

【発明の属する技術分野】この発明は、楽曲データや画
像データが記憶されているデータベースから、ユーザが
希望する楽曲データまたは画像データを自動的に検索し
てユーザ側の端末に配信することのできるコンテンツの
自動検索システムに関する。

【０００１】

【従来の技術】キーボード等を使用して、曲のイントロ
やサビ等の一部を入力することによって、その曲全体の
楽曲データをデータベースから検索し、これをユーザ側
に返すようにしたシステムが従来から提案されている。
また、入力したメロディデータが曲のどの部分かを指定
することにより、検索精度と検索スピードを改善したシ
ステムも提案されている。

【０００２】

【発明が解決しようとする課題】しかし、上記のシステ
ムにおいては、ユーザ側に返すコンテンツは楽曲データ
だけである。このため、このようなシステムは、ユーザ
が曲のメロディは知っているが曲の題名や歌手名等を失
念している場合に極めて有用であるが、システムが検索
する情報は楽曲データだけであるために、面白さに欠
け、マルチメディアのコンテンツ流通または利用形態を
考えると利用範囲に限界があった。

【０００３】そこで、この発明の目的は、楽曲の一部が
入力された時に、データベースを検索することによって
楽曲とともにその楽曲に関連する画像をもユーザ側に送
信できるようにしたコンテンツの自動検索システムを提
供することにある。

【０００４】また、画像が入力された時には、その画像
に関連する楽曲データを自動的にデータベースから検索
してユーザ側に送信するコンテンツの自動検索システム
を提供することにある。

【０００５】

【発明が解決しようとする課題】この発明は、上記の課
題を解決するために次のように構成される。

【０００６】（１）楽曲データが登録されている楽曲デ
ータベースと、画像データが登録されている画像データ
ベースと、楽曲と画像との関係を記憶する曲画像関係デ
ータベースと、これらのデータベースを有するサーバ
と、前記サーバに接続可能であって、楽曲の一部を入力
可能な入力部を備える端末と、からなるシステムであっ
て、前記端末は、楽曲の一部が入力されたときに、該楽
曲の一部のデータを前記サーバに送信する手段を備え、
前記サーバは、前記楽曲の一部のデータを受信したとき
に、該データが含まれる楽曲データを前記楽曲データベ
ースから検索し、さらに、前記曲画像関係データベース
を参照することにより、該楽曲データに関係する画像デ
ータを前記画像データベースから検索し、これらの検索
した楽曲データと画像データとを前記端末に対して送信
する手段を備えてなる。

【０００７】ユーザは、端末上で楽曲の一部を入力する
と、その端末上にサーバ側から楽曲データと画像データ
が送信される。ユーザは、端末の表示部で前記画像デー
タを見ることができ、また、端末のスピーカーから前記
楽曲データを聞くことができる。

【０００８】端末で楽曲の一部を入力するには、メロデ
ィの一部を入力キーから入力してもよいし、歌詞の一部
を入力してもよい。また、入力する部分が、楽曲のイン
トロかサビかを区別する情報を入力すれば、サーバ側で
の検索精度が向上する。

【０００９】この発明では、サーバにおいて、上記入力
された楽曲の一部を検索のための情報として使用し、そ
の楽曲の一部が含まれる楽曲データを楽曲データベース
から検索するだけではなく、曲画像関係データベースを
参照することによって、その楽曲データに関係する画像
データを画像データベースから検索して、これらの検索
した楽曲データと画像データとを端末に対して送信す
る。

【００１０】曲画像関係データベースには、楽曲と画像
との関係があらかじめ記憶されている。たとえば、短調
でゆったりした楽曲であれば、それに関係する画像は暗
い感じの画像となる。このような関係を決める情報を、
この明細書ではタグと称する。通常は、１つの楽曲デー
タに対し多数の楽曲データタグが付され、１つの画像デ
ータに対し多数の画像データタグが付される。これらの
タグを参照することによって、１つの楽曲データが確定
すると、それに最も関係する画像データを画像データベ
ースから抽出して、これを楽曲データとともにユーザ側
の端末に送信する。

【００１１】このような制御によって、ユーザは、楽曲
の曲名、作曲者、題名等を失念していても、メロディの
一部だけを入力することで、正しい楽曲データをサーバ
からダウンロードすることができるとともに、それに関
係する画像データをもダウンロードできるから、ユーザ
は画像を楽しみながら目的とする楽曲を聞くことができ
る。

【００１２】（２）前記入力部は、マイクロフォンであ
り、前記端末または前記サーバは、該マイクロフォンか
ら入力された音に基づいて前記楽曲データベース検索の
ためのメロディの一部を検出する手段を備える。

【００１３】端末側において楽曲の一部を入力するに
は、上記（１）のように入力キーに限る必要はなく、た
とえば、この発明のようにマイクロフォンによってユー
ザの音声によって入力してもよい。音声データからメロ
ディを抽出する技術については、公知の幾つかの方法が
ある。たとえば、音声データから、繰返し周期特性を持
つ母音部を検出し、この部分の周波数分析を行うことに
よって周波数、すなわち音高を知る。この音高のデータ
列からメロディデータを把握することが可能である。し
たがって、ユーザ側からみれば、端末のマイクロフォン
に向かって、鼻唄でメロディの一部を歌えば、これに対
応する楽曲データと画像データがサーバ側から返されて
端末の表示部と音声出力部で再生されるようになる。

【００１４】（３）楽曲データが登録されている楽曲デ
ータベースと、楽曲と画像との関係を記憶する曲画像関
係データベースと、これらのデータベースを有するサー
バと、前記サーバに接続可能であって、画像を入力可能
な入力部を備える端末と、からなるシステムであって、
前記端末は、画像が入力されたときに、該入力された画
像データを前記サーバに送信する手段を備え、前記サー
バは、前記画像データを受信したときに、前記曲画像関
係データベースを参照することにより該画像データに関
係する楽曲データを前記楽曲データベースから検索し、
この検索した楽曲データを前記端末に対して送信する手
段を備える。

【００１５】この発明では、端末で入力する情報を画像
とする。すなわち、端末で画像を入力し、この画像に対
応する楽曲データをサーバで検索し、これを端末に送信
する。

【００１６】端末で入力された画像が、楽曲データベー
スに記憶されているどの楽曲データに対応するかを判断
するには、曲画像関係データベースが参照される。この
曲画像関係データベースは、楽曲と画像との関係を記憶
するもので、たとえば、上記（１）に示したように、各
楽曲にタグが付される。たとえば、明るいという画像デ
ータのタグを付された画像データに対しては、長調や、
プレストの楽曲データのタグが対応することを記憶して
おく。すると、入力された画像データから、その画像デ
ータの特徴を表すタグを抽出することにより、それに対
応する楽曲データのタグを上記曲画像関係データベース
を参照することによって知り、該楽曲データタグの付さ
れた楽曲データを楽曲データベースから検索する。した
がって、端末で入力された画像データが、どのようなも
のであっても（ユーザがペンで入力したようなラフな画
像であっても、また、ディジタルカメラで入力したよう
な精度の高い画像であっても）、その画像データの特徴
を表すタグを検出できる機能さえあれば、入力された画
像のイメージを表す楽曲データを自動的に検索してユー
ザ側の端末に送信することができる。

【００１７】このようなシステムにおいても、上記
（１）または（２）のシステムと同様に、コンテンツの
面白さを出すことができ、その利用範囲を広めることが
できる。 （４）楽曲データが登録されている楽曲データベース
と、画像データが登録されている画像データベースと、
楽曲と画像との関係を記憶する曲画像関係データベース
と、これらのデータベースを有するサーバと、前記サー
バに接続可能であって、画像を入力可能な入力部を備え
る端末と、からなるシステムであって、前記端末は、画
像が入力されたときに、該入力画像データを前記サーバ
に送信する手段を備え、前記サーバは、前記入力画像デ
ータを受信したときに、該入力画像データを含む画像デ
ータを前記画像データベースから検索し、さらに、前記
曲画像関係データベースを参照することにより、該検索
した画像データに関係する楽曲データを前記楽曲データ
ベースから検索し、これらの検索した画像データと楽曲
データとを前記端末に対して送信する手段を備えてな
る。

【００１８】この発明では、上記（３）において、さら
に画像データが登録されている画像データベースを使用
し、入力された画像のイメージに対応する楽曲データと
画像データとをデータベースから検索して、これらをと
もに端末に送信できるようにしたものである。

【００１９】したがって、特に、このシステムでは、端
末で入力された画像がユーザによって手で入力された画
像のようにラフものである場合、よりリアルな画像デー
タが送られてくる点で、上記（３）のシステムに比べて
利用価値が高くなる。

【００２０】

【発明の実施の形態】図１は、この発明の実施形態であ
るコンテンツの自動検索システムの概略図である。

【００２１】この実施形態では、端末として、携帯端末
１を用いている。この携帯端末１は、携帯電話と兼用す
ることも可能である。携帯端末１は、サーバ２に無線ま
たは有線で、インターネット等のコンピュータネットワ
ークや公衆回線網等の通信回線を介して接続することが
できる。サーバ２には、曲画像データベース２１が接続
されている。この曲画像データベース２１は、楽曲デー
タが登録されている楽曲データベースと、画像データが
登録されている画像データベースと、さらに、楽曲と画
像との関係を記憶する曲画像関係データベースとが含ま
れている。

【００２２】図２は、携帯端末１の構成図である。

【００２３】この携帯端末１は、本体１０上に、入力キ
ー１１、表示部１２、左右のスピーカー１３、左右のマ
イクロフォン１４を備えている。ユーザは、楽曲データ
の一部を入力しようとする時、入力キー１１を使って、
メロディの一部を入力するか、または、マイクロフォン
１４に向かってメロディの一部を歌う。本体１０では、
これらの入力があると、入力されたデータをそのまま、
または、加工を行ってサーバに送信する。なお、マイク
ロフォン１４から音声が入力された時には、この音声デ
ータからメロディラインを抽出してサーバに送信するよ
うにするのが望ましい。音声データからメロディデータ
を抽出するには、たとえば、音声データの中から、繰り
返し周期特性を持つ母音となる部分を抽出し、この部分
を周波数解析することによって周波数、すなわち音高を
検出し、このデータ列をメロディデータとして抽出す
る。

【００２４】表示部１２には、これらの入力を行う時に
は、図示するような表示が行われている。この表示は、
キー操作によってメロディ入力モードに設定された時に
行われる。図に示す例では、表示部１２に「メロディの
一部を入力して下さい。」の表示が行われている。ユー
ザは、このモードに設定されると、入力キー１１から、
メロディの一部またはマイク１４に向かってメロディの
一部を音声入力し、図外の送信ボタンを押す。すると、
それらの情報がサーバに送られ、サーバにおいて上記入
力された一部のメロディを含む楽曲データが検索され、
且つ、その楽曲データに関係する画像データが検索され
て、両方が該サーバから送られてきて、それぞれスピー
カー１３から出力されるとともに表示部１２に表示され
る。

【００２５】図１はこの状態を示している。すなわち、
携帯端末１がメロディ入力モードに設定されて、入力キ
ー１１またはマイクロフォン１４から楽曲の一部が入力
されると、それらの情報が検索要求とともにサーバ２に
対して送られる。サーバ２では、それらの情報に基づい
て、曲画像データベース２１を検索し、上記楽曲の一部
を含む楽曲データと、該楽曲データに関係する画像デー
タとを検索して、携帯端末１に対して出力する。これに
より、携帯端末１のスピーカー１３から、上記楽曲の一
部を含む全体の楽曲が出力され、また、表示部１２に
は、その楽曲に関係する画像が表示される。図に示す例
では、海に関係する楽曲の一部が入力されたために、表
示部１２に、海の画像データが表示されている。

【００２６】図３は、曲画像データベース２１の構成図
である。同図（Ａ）は、楽曲データベース２１ａ、同図
（Ｂ）は画像データベース２１ｂを示し、同図（Ｃ）〜
（Ｅ）は曲画像関係データベースを示している。

【００２７】楽曲データベース２１ａは、楽曲番号、楽
曲データ、楽曲データタグ、その他情報で構成される。
その他情報とは、各楽曲データの著作権者（作曲者、編
曲者、作詩者等）、作成された日付等を含んでいる。ま
た、楽曲データは、この実施形態では、音符データとと
もに歌詞データを含んでいる。楽曲データタグとは、楽
曲の特徴、特性を表す特徴パラメータである。たとえ
ば、長調、短調、プレスト、アダージョ、ワルツ等が上
げられる。この楽曲データタグは、システム設計時に、
自動的に付加してもよいし、マニュアルで付加してもよ
い。

【００２８】図３（Ｂ）に示す画像データベース２１ｂ
は、画像データ番号と、画像データそのものと、画像デ
ータタグとその他情報とで構成される。その他情報は、
画像データの著作権者（作成者等）、作成の日付等を含
んでいる。画像データタグは、その画像データの特徴、
特性を表す特徴パラメータである。たとえば、山、海、
空、明るい、暗い等が上げられる。この画像データタグ
についても、システム設計時に自動的に付加してもよい
し、マニュアルで付加することもできる。

【００２９】この実施形態では、曲画像関係データベー
スは図３（Ｃ）〜（Ｅ）に示すように、タグ関係リスト
１〜３で構成されている。

【００３０】図３（Ｃ）のタグ関係リスト１は、１つの
楽曲データタグに対する画像データタグの関係を示して
おり、図３（Ｄ）のタグ関係リスト２は、１つの画像デ
ータタグに対する曲データタグを示している。また、図
３（Ｅ）のタグ関係リスト３は、各画像番号に対する、
ユーザに関するタグを示している。ユーザに関するタグ
は、たとえば、その画像が使用可能なユーザＩＤの範
囲、その画像が使用可能なユーザのいる場所、その画像
が使用可能な時間帯等である。このタグ関係リスト３
は、後述の検索を絞り込む時に使用される。

【００３１】次に、上記の曲画像データベース２１を使
用して、サーバ２が携帯端末１から検索要求を受けた時
の概略の動作を説明する。

【００３２】図１において、携帯端末１でユーザが楽曲
の一部を入力キー１１またはマイクロフォン１４で入力
すると、サーバ２に対しその入力された楽曲の一部が検
索要求とともに送信される。サーバ２は、まず、その楽
曲の一部が含まれる楽曲データを楽曲データベース２１
ａから検索する。検索の方法は、最も簡単には、入力さ
れた楽曲の一部を各楽曲データの先頭から時間方向に移
動していきながら相関値を求めていき、この相関値が最
も高くなる楽曲データを目的の楽曲データと推定する。
また、入力された楽曲の一部からこの楽曲の楽曲データ
タグを抽出し、この抽出したタグと楽曲データベース２
１ａに記憶されている楽曲データタグとが一致する条件
を加えるようにして、検索の精度を高めるようにしても
よい。

【００３３】また、携帯端末１において、マイクロフォ
ン１４から音声データが楽曲の一部として入力される場
合には、この入力された音声データを楽曲データに変換
する必要があるが、この変換を行うには、たとえば次の
手法を採用することができる。

【００３４】すなわち、入力された音声データから、繰
り返し周期特性を持つ母音部を抽出し、この母音部の周
波数を分析することによって、各音素の周波数、すなわ
ち音高（音程）を求める。そして、この音高の時系列デ
ータを楽曲データと比較する検索用のデータとする。

【００３５】上記のようにして、楽曲データベース２１
ａを検索することによって楽曲データを抽出すると、次
に、この楽曲データに関係する画像データを画像データ
ベース２１ｂを検索することによって抽出する。この画
像データの抽出には、図３（Ｃ）に示す曲画像関係デー
タベース２１ｃ、すなわちタグ関係リスト１を参照す
る。上記のようにして楽曲データが検索されると、その
楽曲データの楽曲データタグが分かる。そこで、タグ関
係リスト１の左欄に、得られた楽曲タグが当てはまるも
のを全て選択し、該当する右欄の画像データタグを抽出
する。次に、このようにして抽出された複数の画像デー
タタグの内、最も多数の画像データタグが含まれている
画像データを図３（Ｂ）に示す画像データベース２１ｂ
から検索する。たとえば、楽曲データベース２１ａを検
索することによって得られた楽曲データの楽曲データタ
グに「長調」と「ワルツ」が記憶されていたとすると、
画像データタグとして、「明るい」、「太陽」、
「山」、「軽快」のいずれかの画像データタグが含まれ
る画像データ全てが候補として選ばれる。次に、この候
補の画像データの中から、上記の画像データタグが最も
多く含まれる画像データを目的の画像データとして抽出
する。

【００３６】こうして、検索された１つの楽曲データと
１つの画像データとがサーバ２から、携帯端末１に対し
て送信される。携帯端末１では、サーバ２から送出され
た、すなわち、サーバ２からダウンロードされた画像デ
ータが表示部１２に表示されるとともに、楽音データが
スピーカー１３から出力される。なお、携帯端末１で
は、これらの楽曲データおよび画像データを一旦、内部
のメモリに蓄積しておき、後でこれらを再生してもよ
い。

【００３７】また、以上の実施形態では、マイクロフォ
ン１４から入力された音声データの解析を、サーバ側で
行っていたが、これを携帯端末１自身で行ってもよい。

【００３８】また、楽曲データを検索した後、画像デー
タを検索する時に、画像データの絞り込みを行うことも
可能である。画像データの絞り込みを行うには、図３
（Ｅ）に示す曲画像関係データベース２１ｅ、すなわち
タグ関係リスト３を参照する。これを具体的に説明する
と次のようになる。

【００３９】タグ関係リスト３は、画像番号に対応して
ユーザタグが記憶されていて、このユーザタグとして
は、ユーザＩＤの範囲、場所、時間帯等が含まれてい
る。したがって、画像データベース２１ｂを検索する時
に、検索要求の行ったユーザＩＤが含まれる画像番号を
絞り込み、この画像番号に対応する画像データのみ上記
の検索対象とする。あるいは、携帯端末１の使用場所を
検出し、この使用場所が、ユーザタグに記憶されている
場所に一致する画像番号の画像データのみを上記の検索
対象とする。あるいは、現在の時間が含まれている時間
帯の画像番号の画像データのみを上記の検索対象とす
る。このような絞り込みを行うと、検索が容易になると
ともに、複数の画像データが検索結果として出力される
確率を小さくすることができる。

【００４０】図４は、上記サーバ２の概略の動作を示す
フローチャートである。

【００４１】ステップ１００において、携帯端末１から
の曲画像データベース２１への検索要求があると、入力
された楽曲の一部に基づいて楽曲データベース２１の検
索を行う（ステップ１０１）。また、曲画像関係データ
ベース２１ｃ、２１ｄを参照し（ステップ１０２）、そ
の後に画像データベース２１ｂの検索を行う（ステップ
１０３）。このようにして、ステップ１０１で得られた
楽曲データと、ステップ１０３で得られた画像データと
を携帯端末に対して送信する（ステップ１０４）。

【００４２】次に、この発明の第２の実施形態について
説明する。

【００４３】図５は、この発明の第２の実施形態のコン
テンツ自動検索システムの概略を示している。図１、図
３に示す第１の実施形態のシステム概略図と相違する点
は、携帯端末１の構成であって、サーバ２および曲画像
データベース２１については図３に示す構成と同様であ
る。

【００４４】携帯端末１には、表示部１２が、タッチパ
ネル付き表示部となっており、このタッチパネル面にお
いて、ペン１５により、ユーザが任意の画像を描き、図
示しない送信ボタンを押すと、サーバ２に対し、上記入
力した画像に関係する楽曲の検索要求を出す。サーバ２
は、この検索要求を受けると、入力された画像を解析す
ることによって画像の特徴パラメータ（この実施形態で
は画像データタグとしている）を抽出する。画像を解析
することによって画像データタグを抽出する方法は、た
とえば、全体のカラーの色調、明度のヒストグラムをと
ること等によって実現することができる。サーバ２は、
入力された画像の画像データタグを抽出すると、図３
（Ｄ）に示す曲画像関係データベース２１ｄ（タグ関係
リスト２）を参照することによって、その画像データに
関連する楽曲データタグを全て求める。次に、楽曲デー
タベース２１ａの楽曲データタグと上記のようにして求
めたタグ関係リスト２からの楽曲データタグを対比し、
タグ関係リスト２から求めた楽曲データタグが最も多く
含んでいる楽曲データを検索し、これを携帯端末１に送
信する。携帯端末１では、この楽曲データがダウンロー
ドされると、スピーカー１３から出力する。

【００４５】図６は、以上の実施形態のサーバ２の概略
動作を示すフローチャートである。ステップ１１０にお
いて、携帯端末１から、入力画像データが送られて検索
要求があると、ステップ１１１において、その入力画像
データから画像データタグを抽出する。この抽出された
画像データタグを使って、曲画像関係データベース２１
ｄ（タグ関係リスト２）を参照し（ステップ１１２）、
楽曲データタグを抽出し、これを使って楽曲データベー
ス２１ａを検索して、１つの楽曲データを得る。ステッ
プ１１４において、このようにして得られた楽曲データ
を携帯端末に対して送信する。

【００４６】図７はこの発明のさらに他の実施形態のコ
ンテンツ自動検索システムの概略図を示している。

【００４７】このシステムが図５に示すシステムと相違
する点は、ユーザがペン１５によって表示部１２に描い
た画像を含む画像データを曲画像データベース２１内の
画像データベースから検索し、さらに、これに関連する
楽曲データを楽曲データベースから検索して、これらの
画像データと楽曲データを携帯端１に対して送信するよ
うにしている。ユーザがペン１５によって表示部１２に
描いた画像を含む画像データとは、表示部１５にラフに
描いた画像のイメージを持つ画像である。したがって、
ユーザは、ペン１５を使用して表示部１２上にラフなス
ケッチをすると、そのスケッチのイメージを持つ画像デ
ータが画像データベースから検索されて表示部１２に表
示されるとともに、同画像に関係する楽音データも検索
されてスピーカー１３から出力される。

【００４８】図８は上記のシステムでのサーバ２の概略
動作を示すフローチャートである。

【００４９】ステップ１２０において、携帯端末１から
入力画像データが送られて検索要求があることを判断す
ると、その入力画像データから画像の特徴パラメータ
（この実施形態では画像データタグとしている）を抽出
する（ステップ１２１）。抽出した画像データタグが最
も多く含む画像データを、画像データベース２１ｂから
検索して、入力された画像データのイメージに最も近い
画像データを抽出する（ステップ１２２）。次に、この
画像データの持つ画像データタグを用い、図３（Ｄ）の
曲画像関係データベース２１ｄ（タグ関係リスト２）を
参照して、関係する楽曲データタグを全て求める（ステ
ップ１２３）。次に、このようにして求めた全ての楽曲
データタグが最も多く含まれる楽曲データを、楽曲デー
タベース２１ａを検索することによって得る（ステップ
１２４）。そして、得られた楽曲データと画像データと
を携帯端末１に対して送信する（ステップ１２５）。

【００５０】以上の動作により、ユーザが携帯端末１に
おいてラフなスケッチをするだけで、このイメージやモ
チーフを持つ画像データと楽曲データが携帯端末１にお
いて再生される。

【００５１】なお、以上の実施形態では、携帯端末１に
おいて入力された入力画像データの画像データタグをサ
ーバ２において抽出するようにしているが、この機能を
携帯端末１側に持たせることも可能である。このように
すると、携帯端末１からサーバ２に対して送信するデー
タ量が少なくなる利点がある。

【００５２】この発明では、さらに次のような利用法が
ある。

【００５３】図１に示す第１の実施形態では、入力キー
１１から、メロディデータ等楽音の一部のデータを入力
したり、マイクロフォン１４に向かって楽音の一部を音
声入力するようにしているが、これに代えて、携帯端末
１自身で任意の楽曲を再生し、この再生されている楽曲
の一部または全部をサーバ２に送信し、これに関係する
画像データを画像データベース２１ｂから検索してダウ
ンロードし、表示部１２に表示させることが可能であ
る。

【００５４】また、上記の実施形態では、曲画像関係デ
ータベースとして、図３（Ｃ）〜（Ｅ）に示すようなタ
グ関係リストを用いているが、このリストを、キーワー
ドに対する画像データ群のリストや、さらに、ユーザの
体調や気分等をユーザが入力した声から分析して、これ
に対応する画像データ群を記憶するリスト構造にするこ
とも可能である。このようにすると、ユーザが端末に対
して何かを話した時に、その音声データから、音声速
度、音程、音素間の時間、キーワードを抽出し、これに
基づいてユーザの体調や気分等を判断し、上記リストを
参照することによって画像データ群を判断し、この群の
中から、適当なものを選択して端末に送信することも可
能である。

【００５５】同様に、上記画像データに代えて、楽音デ
ータをキーワードやユーザの体調、気分等から判断して
端末に送信することも可能である。

【００５６】

【発明の効果】この発明によれば、ユーザが端末に対し
て楽曲の一部を入力したり、または楽曲の一部を音声入
力するだけで、その楽曲全体のデータがサーバで検索さ
れるとともに、さらに、楽曲データに関係する画像デー
タも検索されて、それらが端末で再生されるようにな
る。このため、ユーザは再生される楽曲データにふさわ
しい画像を見ながらその楽曲データを楽しむことができ
るようになる。

【００５７】特に、楽曲の一部を入力するのにマイクロ
フォンを用いると、ユーザは、楽曲の一部を口ずさむだ
けで、画像と楽音の再生が行われるから、使い勝手が非
常によく、コンテンツの利用形態を広め、且つその普及
を促進することができる。

【００５８】また、この発明では、画像データを入力す
ることで、その画像データに関係する楽曲データを検索
して再生することも可能である。さらには、画像データ
を入力することにより、その画像データを含む画像デー
タとそれに関係する楽曲データを検索して再生すること
ができる。したがって、この発明によれば、ユーザは端
末にラフスケッチを行うだけで、そのスケッチ内容のイ
メージを持つ画像データを再生でき、且つそれに関係す
る楽曲データを再生することができる。

【図面の簡単な説明】

【図１】この発明の第の実施形態であるコンテンツ自動
検索システムの概略図

【図２】携帯端末の概略構成図

【図３】曲画像データベースの構成図

【図４】上記システムでのサーバの概略動作を示すフロ
ーチャート

【図５】この発明の第２の実施形態のコンテンツ自動検
索システムの概略図

【図６】同システムでのサーバの概略動作を示すフロー
チャート

【図７】この発明の第３実施形態のコンテンツ自動検索
システム概略図

【図８】同システムでのサーバの概略動作を示すフロー
チャート

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/173 ６２０ Ｈ０４Ｎ 7/173 ６４０Ｚ ６４０ Ｇ１０Ｌ 3/00 ５３１Ｎ Ｆターム(参考） 5B075 ND14 PP02 PP07 PP12 PP30 PQ02 PQ04 PQ32 5C064 BC18 BC20 BC23 BC25 BD02 BD08 BD16 5D015 AA06 CC13 HH00 5D108 BC17 BC20 BE06

Claims (5)

【特許請求の範囲】
1. 【請求項１】 楽曲データが登録されている楽曲データ
   ベースと、 画像データが登録されている画像データベースと、 楽曲と画像との関係を記憶する曲画像関係データベース
   と、 これらのデータベースを有するサーバと、 前記サーバに接続可能であって、楽曲の一部を入力可能
   な入力部を備える端末と、 からなるシステムであって、 前記端末は、楽曲の一部が入力されたときに、該楽曲の
   一部のデータを前記サーバに送信する手段を備え、 前記サーバは、前記楽曲の一部のデータを受信したとき
   に、該データが含まれる楽曲データを前記楽曲データベ
   ースから検索し、さらに、前記曲画像関係データベース
   を参照することにより、該楽曲データに関係する画像デ
   ータを前記画像データベースから検索し、これらの検索
   した楽曲データと画像データとを前記端末に対して送信
   する手段を備えてなる、コンテンツの自動検索システ
   ム。
2. 【請求項２】 前記入力部は、マイクロフォンであり、
   前記端末または前記サーバは、該マイクロフォンから入
   力された音に基づいて前記楽曲データベース検索のため
   のメロディの一部を検出する手段を備える、請求項１記
   載のコンテンツの自動検索システム。
3. 【請求項３】 楽曲データが登録されている楽曲データ
   ベースと、 楽曲と画像との関係を記憶する曲画像関係データベース
   と、 これらのデータベースを有するサーバと、 前記サーバに接続可能であって、画像を入力可能な入力
   部を備える端末と、からなるシステムであって、 前記端末は、画像が入力されたときに、該入力された画
   像データを前記サーバに送信する手段を備え、 前記サーバは、前記画像データを受信したときに、前記
   曲画像関係データベースを参照することにより該画像デ
   ータに関係する楽曲データを前記楽曲データベースから
   検索し、この検索した楽曲データを前記端末に対して送
   信する手段を備えてなる、コンテンツの自動検索システ
   ム。
4. 【請求項４】 楽曲データが登録されている楽曲データ
   ベースと、画像データが登録されている画像データベー
   スと、 楽曲と画像との関係を記憶する曲画像関係データベース
   と、 これらのデータベースを有するサーバと、 前記サーバに接続可能であって、画像を入力可能な入力
   部を備える端末と、からなるシステムであって、 前記端末は、画像が入力されたときに、該入力画像デー
   タを前記サーバに送信する手段を備え、 前記サーバは、前記入力画像データを受信したときに、
   該入力画像データを含む画像データを前記画像データベ
   ースから検索し、さらに、前記曲画像関係データベース
   を参照することにより、該検索した画像データに関係す
   る楽曲データを前記楽曲データベースから検索し、これ
   らの検索した画像データと楽曲データとを前記端末に対
   して送信する手段を備えてなる、コンテンツの自動検索
   システム。
5. 【請求項５】 前記画データを前記サーバに送信する手
   段は、入力された画像の特徴パラメータを送信する手段
   であり、前記画像データベースは、画像データとともに
   画像の特徴パラメータを記憶し、前記サーバの画像デー
   タベース検索は、前記特徴パラメータを受信したとき
   に、該特徴パラメータと一致する特徴パラメータを有す
   る画像データを前記画像データベースから検索すること
   を特徴とする、請求項４記載のコンテンツの自動検索シ
   ステム。