JP2001075992A - 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体 - Google Patents
音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体Info
- Publication number
- JP2001075992A JP2001075992A JP25262899A JP25262899A JP2001075992A JP 2001075992 A JP2001075992 A JP 2001075992A JP 25262899 A JP25262899 A JP 25262899A JP 25262899 A JP25262899 A JP 25262899A JP 2001075992 A JP2001075992 A JP 2001075992A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- data
- search
- similarity
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 abstract description 6
- 230000002123 temporal effect Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【課題】複数の音響、または映像データから与えられた
キー音響データに一致、または類似する音響データを検
索し、該データと、該データの中でキー音響と一致、ま
たは類似する部分の時間位置を表示する音響検索装置に
関する。 【解決手段】各データに対し、キー音響と最も類似する
時刻位置とその類似度合いを求め、記憶し、類似度合い
でソートして最も類似するデータから順に幾つかを表示
する。これによって、音響を入力として複数の音響等、
または映像データ中から類似する音響、または映像を検
索できる。
キー音響データに一致、または類似する音響データを検
索し、該データと、該データの中でキー音響と一致、ま
たは類似する部分の時間位置を表示する音響検索装置に
関する。 【解決手段】各データに対し、キー音響と最も類似する
時刻位置とその類似度合いを求め、記憶し、類似度合い
でソートして最も類似するデータから順に幾つかを表示
する。これによって、音響を入力として複数の音響等、
または映像データ中から類似する音響、または映像を検
索できる。
Description
【０００１】
【発明の属する技術分野】本発明は、音響情報を用いて
該音響情報と類似する音響を検索する方法、及び装置に
関する。
該音響情報と類似する音響を検索する方法、及び装置に
関する。
【０００２】
【従来の技術】従来例として、特開平6-68168には、１
つの音響データからキー音響と一致している時間位置を
検出し、同位置を記憶し、記憶された位置の映像(以
下、「映像」とは、音響と画像を含むものとして用いる)
データの代表画像を順に、または一覧として表示する技
術が開示されている。しかし、同手法では以下に示す問
題があった。
つの音響データからキー音響と一致している時間位置を
検出し、同位置を記憶し、記憶された位置の映像(以
下、「映像」とは、音響と画像を含むものとして用いる)
データの代表画像を順に、または一覧として表示する技
術が開示されている。しかし、同手法では以下に示す問
題があった。
【０００３】（１） 複数の音響データに対応できな
い。（２） 一致はしていないが類似している音響デー
タの検出ができない。（３） 音響データを検索する場
合、検索結果をユーザに直感的に示すこと(音響データ
の検索結果の「表示」)ができない。
い。（２） 一致はしていないが類似している音響デー
タの検出ができない。（３） 音響データを検索する場
合、検索結果をユーザに直感的に示すこと(音響データ
の検索結果の「表示」)ができない。
【０００４】
【発明が解決しようとする課題】本発明では、複数の音
響、または映像データから与えられたキー音響データに
一致、または類似する音響データを検索し、該音響デー
タと、該音響データの中でキー音響と一致、または類似
する部分の時間位置を表示するための手段を提供する。
響、または映像データから与えられたキー音響データに
一致、または類似する音響データを検索し、該音響デー
タと、該音響データの中でキー音響と一致、または類似
する部分の時間位置を表示するための手段を提供する。
【０００５】
【課題を解決するための手段】本発明では、まず、音響
類似距離という、音響データの類似度合いを表わす値を
定義する。次に、検索対象のファイル名、該ファイルの
データ内で音響類似距離が最小となる時間位置、最小音
響類似距離を記憶するテーブルを設け、検索対象の全て
のファイルに関して該情報を求める。最後に最小音響類
似距離が最も小さいデータ、もしくは最小音響類似距離
が小さい順に幾つかのデータを連続再生、もしくは図形
表示する。
類似距離という、音響データの類似度合いを表わす値を
定義する。次に、検索対象のファイル名、該ファイルの
データ内で音響類似距離が最小となる時間位置、最小音
響類似距離を記憶するテーブルを設け、検索対象の全て
のファイルに関して該情報を求める。最後に最小音響類
似距離が最も小さいデータ、もしくは最小音響類似距離
が小さい順に幾つかのデータを連続再生、もしくは図形
表示する。
【０００６】
【発明の実施の形態】まず、本発明で用いられる音響検
索方法の実施例を、図１を用いて説明する。
索方法の実施例を、図１を用いて説明する。
【０００７】本方法では、データベースに格納された複
数の音響データから、与えられたキー音響と類似するデ
ータを、類似する順に表示する。本方法を実現するプロ
グラムのアルゴリズムを以下に示す。
数の音響データから、与えられたキー音響と類似するデ
ータを、類似する順に表示する。本方法を実現するプロ
グラムのアルゴリズムを以下に示す。
【０００８】（１） キー音響xK(t)の周波数解析を行う
（１０１） （２） （３）〜（４）の処理をデータベースに格納さ
れたデータ全てに施す（１０２）。 （３） （１）の解析結果とj番目のデータxj(t)の周波
数解析結果とから、時間方向にずらしながら音響類似距
離dj(a)を計算する（１０３〜１０５）。 （４） dj(a)の最小値をデータxj(t)のxK(t)に対する音
響類似距離djとし、dj(a)= djとなる時刻aminを、デー
タを同定する情報と共に記憶する（１０６）。 （５） （４）で記憶されたデータを類似距離の昇順で
ソートする （１０７）。
（１０１） （２） （３）〜（４）の処理をデータベースに格納さ
れたデータ全てに施す（１０２）。 （３） （１）の解析結果とj番目のデータxj(t)の周波
数解析結果とから、時間方向にずらしながら音響類似距
離dj(a)を計算する（１０３〜１０５）。 （４） dj(a)の最小値をデータxj(t)のxK(t)に対する音
響類似距離djとし、dj(a)= djとなる時刻aminを、デー
タを同定する情報と共に記憶する（１０６）。 （５） （４）で記憶されたデータを類似距離の昇順で
ソートする （１０７）。
【０００９】（６） 上位N番目までを検索結果として表
示する（１０８）。 ここで、周波数解析（１０１、１０３）には、一般に良
く知られているフーリエ変換を用いる。
示する（１０８）。 ここで、周波数解析（１０１、１０３）には、一般に良
く知られているフーリエ変換を用いる。
【００１０】次に、処理１０６で記憶されるデータを、
図２を用いて説明する。同データはデータベースに格納
された音響データ数Nと等しい行を持つテーブルであ
り、データを表わすＩＤ（２０１）、音響類似距離d
j（２０２）、同類時距離を与える時刻amin（２０３）
の情報が記憶される。同テーブルは処理１０７において
類似距離（２０２）の昇順でソートされる。
図２を用いて説明する。同データはデータベースに格納
された音響データ数Nと等しい行を持つテーブルであ
り、データを表わすＩＤ（２０１）、音響類似距離d
j（２０２）、同類時距離を与える時刻amin（２０３）
の情報が記憶される。同テーブルは処理１０７において
類似距離（２０２）の昇順でソートされる。
【００１１】次に、処理１０５で求める音響類似距離の
計算方法を、図３と図４を用いて説明する。xK(t)とx
j(t)との間の音響類似距離dj(a)（３００）は、各時刻
における周波数解析結果の対応する周波数成分間の距離
の平均値と定義する（図３）。ここでr(a、i、f)（３０
３）はスペクトル比、Nf（３０２）は周波数成分数、Nt
（３０１）は周波数解析で用いるフレーム数である。な
お、フレームとは周波数解析で用いるデータの集合で、
一般にi番目のフレームはx(2iNf)〜x(2(i+1)Nf-1)の2Nf
個のデータから構成される。
計算方法を、図３と図４を用いて説明する。xK(t)とx
j(t)との間の音響類似距離dj(a)（３００）は、各時刻
における周波数解析結果の対応する周波数成分間の距離
の平均値と定義する（図３）。ここでr(a、i、f)（３０
３）はスペクトル比、Nf（３０２）は周波数成分数、Nt
（３０１）は周波数解析で用いるフレーム数である。な
お、フレームとは周波数解析で用いるデータの集合で、
一般にi番目のフレームはx(2iNf)〜x(2(i+1)Nf-1)の2Nf
個のデータから構成される。
【００１２】更にスペクトル比（３０３）は図４に示す
ように、キー音響のi番目のフレームと、被検索データj
のa+i番目のフレームにおける、f番目の周波数成分の比
と定義される。但し、比を求める際、小さい方の値を大
きい方の値で割る。ここで、K(i、j)（４０２）はキー
音響の、i番目のフレームにおけるf番目の周波数成分、
Kj(i、j)（４０１）は被検索データjの、i番目のフレー
ムにおけるf番目の周波数成分である。
ように、キー音響のi番目のフレームと、被検索データj
のa+i番目のフレームにおける、f番目の周波数成分の比
と定義される。但し、比を求める際、小さい方の値を大
きい方の値で割る。ここで、K(i、j)（４０２）はキー
音響の、i番目のフレームにおけるf番目の周波数成分、
Kj(i、j)（４０１）は被検索データjの、i番目のフレー
ムにおけるf番目の周波数成分である。
【００１３】次に、処理１０８における検索結果の表示
方法の例を幾つか挙げる。まず、処理１０７でソートを
行った後の図２のテーブルで、類似距離が小さい幾つか
のデータの情報をそのまま表示する方法が考えられる。
図５にその例を示す。このユーザ・インターフェイスで
は、類似距離が小さい順、すなわちキー音響により一致
するデータ順で５つのデータを、オプション・ボタン
（５０１）として示している。この中から１つを選択す
る（図５では１番一致したデータを選択している）こと
により、対応するデータの中で類似が検出された時刻
（５０２）、音響類似距離（５０３）、データＩＤ（５
０４）が表示される。
方法の例を幾つか挙げる。まず、処理１０７でソートを
行った後の図２のテーブルで、類似距離が小さい幾つか
のデータの情報をそのまま表示する方法が考えられる。
図５にその例を示す。このユーザ・インターフェイスで
は、類似距離が小さい順、すなわちキー音響により一致
するデータ順で５つのデータを、オプション・ボタン
（５０１）として示している。この中から１つを選択す
る（図５では１番一致したデータを選択している）こと
により、対応するデータの中で類似が検出された時刻
（５０２）、音響類似距離（５０３）、データＩＤ（５
０４）が表示される。
【００１４】次に、検索結果を、音響を再生することに
より表示する方法が考えられる。通常、検索結果が表示
された後に、ユーザは、表示されたデータの中から視聴
したいデータを選択し、再生する。しかし、検索に時間
を要する場合、ユーザは、検索結果が表示されるまで待
たなければならないという問題がある。この場合には、
図６に示すように、処理１０６と同様に音響類似距離dj
と時刻aminを記憶した（６０１）後、djを予め与えられ
た類似距離閾値Dと比較し、小さい場合にはjを再生する
（６０２、６０３）。これにより、検索処理が終了する
前に、検索結果として選ばれる可能性があるデータを閲
覧することが出来る。
より表示する方法が考えられる。通常、検索結果が表示
された後に、ユーザは、表示されたデータの中から視聴
したいデータを選択し、再生する。しかし、検索に時間
を要する場合、ユーザは、検索結果が表示されるまで待
たなければならないという問題がある。この場合には、
図６に示すように、処理１０６と同様に音響類似距離dj
と時刻aminを記憶した（６０１）後、djを予め与えられ
た類似距離閾値Dと比較し、小さい場合にはjを再生する
（６０２、６０３）。これにより、検索処理が終了する
前に、検索結果として選ばれる可能性があるデータを閲
覧することが出来る。
【００１５】更に、処理１０７でソートを行った後の図
２のテーブルで、類似距離が小さい幾つかのデータを小
さい順に連続再生することにより検索結果を表示するこ
とも出来る。この場合の具体的な手順を以下に示す。
２のテーブルで、類似距離が小さい幾つかのデータを小
さい順に連続再生することにより検索結果を表示するこ
とも出来る。この場合の具体的な手順を以下に示す。
【００１６】（１） ソートの検索結果データ（図２）
の第１行から第N行までに以下の処理を施す。（２） 該
当するデータ２０１の時刻２０３からT秒間再生する。
但し、NとTは予め与えられているとする。
の第１行から第N行までに以下の処理を施す。（２） 該
当するデータ２０１の時刻２０３からT秒間再生する。
但し、NとTは予め与えられているとする。
【００１７】次に、検索結果を、図形表示することによ
り表示する方法が考えられる。図７にその例を示す。検
索結果に含まれるデータに対応し、類似距離が小さい順
に上から、データの再生時間に比例した横幅を持つ長方
形（７０１）を描き、aminに対応する位置を異なった色
で塗りつぶす（７０２）。この時、djの値に応じて塗り
つぶす色を変える。例えば図7の場合、djが小さいほど
黒い色で表わす。これにより、データのどの辺りがどの
程度類似しているのかを、データを聴かずに理解でき
る。また、マウス等の入力デバイスにより同長方形（７
０１）の一部を指示することにより、該当するデータの
該当する時刻からの再生が可能となる。
り表示する方法が考えられる。図７にその例を示す。検
索結果に含まれるデータに対応し、類似距離が小さい順
に上から、データの再生時間に比例した横幅を持つ長方
形（７０１）を描き、aminに対応する位置を異なった色
で塗りつぶす（７０２）。この時、djの値に応じて塗り
つぶす色を変える。例えば図7の場合、djが小さいほど
黒い色で表わす。これにより、データのどの辺りがどの
程度類似しているのかを、データを聴かずに理解でき
る。また、マウス等の入力デバイスにより同長方形（７
０１）の一部を指示することにより、該当するデータの
該当する時刻からの再生が可能となる。
【００１８】次に、本発明を用いる装置や応用の例を幾
つか示す。まず、装置の基本的な構成を図８に示す。本
装置は、本方法の処理を行うプロセッサ（８０１）、本
方法を実現するプログラムと処理の際に必要な一時的記
憶や図２に示すテーブルを記憶するためのメモリ（８０
２）、検索結果を表示するための手段（８０３）、キー
音響を入力するための手段（８０４）、検索される複数
の音響データが格納されている音響データベース（８０
６）及び該データベースより音響データを入力するため
の手段（８０５）より構成される。
つか示す。まず、装置の基本的な構成を図８に示す。本
装置は、本方法の処理を行うプロセッサ（８０１）、本
方法を実現するプログラムと処理の際に必要な一時的記
憶や図２に示すテーブルを記憶するためのメモリ（８０
２）、検索結果を表示するための手段（８０３）、キー
音響を入力するための手段（８０４）、検索される複数
の音響データが格納されている音響データベース（８０
６）及び該データベースより音響データを入力するため
の手段（８０５）より構成される。
【００１９】なお、このプログラムは、ＣＤＲＯＭ等の
コンピュータ読みとり可能な記録媒体に記録して、これ
を用いてインストールしたり、あるいは、ネットワーク
を通じてダウンロードすることにより、他の装置のメモ
リに格納し実行することもできる。
コンピュータ読みとり可能な記録媒体に記録して、これ
を用いてインストールしたり、あるいは、ネットワーク
を通じてダウンロードすることにより、他の装置のメモ
リに格納し実行することもできる。
【００２０】検索結果表示手段（８０３）は、図２の内
容をそのまま表示する場合や、図形表示する場合にはビ
デオカードとディスプレイのような画像表示装置、再生
により表示する場合にはオーディオカードとアンプ、ス
ピーカのような音響出力装置である。また、キー音響入
力手段（８０４）は、オーディオカードのような音響デ
ータ入力装置と、マイクのような音響入力装置、または
カセット、ＭＤ、ＣＤ等の再生装置である。データ音響
入力手段（８０５）は、音響データベースがハードディ
スクのような二次記憶装置である場合にはディスクアク
セス装置であるが、キー音響入力手段と同一の場合も考
えられる。なお、以下の説明では、８００の部分を音響
検索コアと呼ぶことにする。
容をそのまま表示する場合や、図形表示する場合にはビ
デオカードとディスプレイのような画像表示装置、再生
により表示する場合にはオーディオカードとアンプ、ス
ピーカのような音響出力装置である。また、キー音響入
力手段（８０４）は、オーディオカードのような音響デ
ータ入力装置と、マイクのような音響入力装置、または
カセット、ＭＤ、ＣＤ等の再生装置である。データ音響
入力手段（８０５）は、音響データベースがハードディ
スクのような二次記憶装置である場合にはディスクアク
セス装置であるが、キー音響入力手段と同一の場合も考
えられる。なお、以下の説明では、８００の部分を音響
検索コアと呼ぶことにする。
【００２１】次に、マルチメディア・データベースの例
を示す。これは検索キーとして、キーワードに加えて音
響を用いることが出来るデータベースで、検索方法とし
ては、キーワード検索と音響検索を別個に行う。次に、
それらがＡＮＤ結合されている場合には、音響検索結果
データの中でキーワード検索結果に含まれるデータのみ
を検索結果として表示する。一方、ＯＲ結合である場合
には、ＡＮＤ結合の結果、前記結果に含まれない音響検
索結果、前記結果に含まれないキーワード検索結果の順
に表示する。
を示す。これは検索キーとして、キーワードに加えて音
響を用いることが出来るデータベースで、検索方法とし
ては、キーワード検索と音響検索を別個に行う。次に、
それらがＡＮＤ結合されている場合には、音響検索結果
データの中でキーワード検索結果に含まれるデータのみ
を検索結果として表示する。一方、ＯＲ結合である場合
には、ＡＮＤ結合の結果、前記結果に含まれない音響検
索結果、前記結果に含まれないキーワード検索結果の順
に表示する。
【００２２】次に、音楽データ販売システムの例を図９
に示す。ユーザが、ＴＶ／ラジオ放送等で放送された音
楽を、ＭＤ・カセットテープ等の音楽記録媒体（９０
１）に録音し、音楽データ販売装置（９０２）に同音楽
を入力すると、音楽データベース（９０３）中から同音
楽と一致、または類似する音楽を検索（９０４）する。
ユーザは検索結果の中から所望の音楽をＭＤ等の記憶媒
体にデータとして、またはＣＤとして購入（９０５）す
る。
に示す。ユーザが、ＴＶ／ラジオ放送等で放送された音
楽を、ＭＤ・カセットテープ等の音楽記録媒体（９０
１）に録音し、音楽データ販売装置（９０２）に同音楽
を入力すると、音楽データベース（９０３）中から同音
楽と一致、または類似する音楽を検索（９０４）する。
ユーザは検索結果の中から所望の音楽をＭＤ等の記憶媒
体にデータとして、またはＣＤとして購入（９０５）す
る。
【００２３】次に、ミュージックビデオ検索システムの
例を図１０に示す。ユーザが、ＴＶ／ラジオ放送等で放
送された音楽をＭＤ・カセットテープ等に録音したもの
やＣＤ等（１００１）を、音楽ビデオ販売装置（１００
２）に入力すると、Music VideLibrary（１００３）中
から同音楽と一致、または類似するMusic Videoを検索
（１００４）する。ユーザは検索結果の中から所望のビ
デオをＤＶＤ−ＲＡＭ等の記憶媒体にデータとして、ま
たはビデオテープとして購入（１００５）する。
例を図１０に示す。ユーザが、ＴＶ／ラジオ放送等で放
送された音楽をＭＤ・カセットテープ等に録音したもの
やＣＤ等（１００１）を、音楽ビデオ販売装置（１００
２）に入力すると、Music VideLibrary（１００３）中
から同音楽と一致、または類似するMusic Videoを検索
（１００４）する。ユーザは検索結果の中から所望のビ
デオをＤＶＤ−ＲＡＭ等の記憶媒体にデータとして、ま
たはビデオテープとして購入（１００５）する。
【００２４】上記３つのシステムは、音響検索コア（８
００、９０４、１００４）とデータベース（８０５、９
０３、１００３）と、キー音響入力手段（８０４）の一
部や販売装置（９０２、１００２）が分離していて、互
いにネットワークで接続されている場合もある。この場
合は前者がサーバ、後者がクライアントとして機能す
る。例えば音楽データ販売システムがこのような形態に
なった場合には、音楽配信システムとなる。
００、９０４、１００４）とデータベース（８０５、９
０３、１００３）と、キー音響入力手段（８０４）の一
部や販売装置（９０２、１００２）が分離していて、互
いにネットワークで接続されている場合もある。この場
合は前者がサーバ、後者がクライアントとして機能す
る。例えば音楽データ販売システムがこのような形態に
なった場合には、音楽配信システムとなる。
【００２５】次に、音楽自動録音／録画システムの例
を、図１１に示す。同システムは、ユーザが、ＴＶ／ラ
ジオ放送等で放送された音楽をＭＤ・カセットテープ等
に録音したものやＣＤ等（１１０１）を与えると、同音
楽に一致、または類似する音楽が放送されたときに録音
／録画される。具体的な処理（図１２）を以下に記す。
を、図１１に示す。同システムは、ユーザが、ＴＶ／ラ
ジオ放送等で放送された音楽をＭＤ・カセットテープ等
に録音したものやＣＤ等（１１０１）を与えると、同音
楽に一致、または類似する音楽が放送されたときに録音
／録画される。具体的な処理（図１２）を以下に記す。
【００２６】（１） 与えられたキー音響（１１０１）
を周波数解析する（１２０１）。（２） 放送受信機等
（１１０３）から入力された音響を周波数解析する（１
２０２）。（３） （１）と（２）の結果からdjを計算
する（１２０３）。（４） もしdjが予め与えられた類
似距離閾値Dより小さいならば（１２０４）、入力音響
をT秒間録音する（１２０５）。（５） （２）〜（４）
の処理を繰り返す。但し、Tは予め与えられる。
を周波数解析する（１２０１）。（２） 放送受信機等
（１１０３）から入力された音響を周波数解析する（１
２０２）。（３） （１）と（２）の結果からdjを計算
する（１２０３）。（４） もしdjが予め与えられた類
似距離閾値Dより小さいならば（１２０４）、入力音響
をT秒間録音する（１２０５）。（５） （２）〜（４）
の処理を繰り返す。但し、Tは予め与えられる。
【００２７】最後に、著作権検査システムの例を示す。
この場合、著作権侵害の疑いがある音楽と、元の音楽と
の間のdjを求め、予め与えられた類似距離閾値Dより小
さければ侵害と判定する。または、音楽データベースか
ら音響検索を行い、最も一致したデータのdjがDより小
さければ侵害と判定する。これにより新しく作曲した曲
が著作権を侵害しているか否かを予め確認することを支
援することが出来る。
この場合、著作権侵害の疑いがある音楽と、元の音楽と
の間のdjを求め、予め与えられた類似距離閾値Dより小
さければ侵害と判定する。または、音楽データベースか
ら音響検索を行い、最も一致したデータのdjがDより小
さければ侵害と判定する。これにより新しく作曲した曲
が著作権を侵害しているか否かを予め確認することを支
援することが出来る。
【００２８】以上、説明したように、本発明によって、
音響情報をキーとしてライブラリ中の音響情報を検索す
る音響データベースシステム、及びその検索方法、ま
た、キーワードとして音響情報を与えることが可能な、
音響情報や映像情報を含むマルチメディア・データベー
スシステム、及びその検索方法を実現できる。
音響情報をキーとしてライブラリ中の音響情報を検索す
る音響データベースシステム、及びその検索方法、ま
た、キーワードとして音響情報を与えることが可能な、
音響情報や映像情報を含むマルチメディア・データベー
スシステム、及びその検索方法を実現できる。
【００２９】また、本発明によって、ＭＤやカセットテ
ープ等の記録媒体に記録された、またはマイク等の音響
入力装置から入力された音楽情報をキーとして音楽ライ
ブラリから該当音楽を検索し、販売する音楽データ販売
システム、また、ＭＤやカセットテープ等の記録媒体に
記録された、またはマイク等の音響入力装置から入力さ
れた音楽情報をキーとしてプロモーションビデオやライ
ブビデオのような映像ライブラリから該当音楽を検索す
るミュージック・ビデオ検索システムを実現することが
できる。
ープ等の記録媒体に記録された、またはマイク等の音響
入力装置から入力された音楽情報をキーとして音楽ライ
ブラリから該当音楽を検索し、販売する音楽データ販売
システム、また、ＭＤやカセットテープ等の記録媒体に
記録された、またはマイク等の音響入力装置から入力さ
れた音楽情報をキーとしてプロモーションビデオやライ
ブビデオのような映像ライブラリから該当音楽を検索す
るミュージック・ビデオ検索システムを実現することが
できる。
【００３０】さらに、本発明によって、ＴＶ／ラジオ等
で放送された音響をＭＤやカセットテープ等の記録媒体
に録音したものや、ＣＤ等を与えて、その音響と類似す
る音響が放送された場合に録音／録画される自動録音／
録画装置を実現することができる。
で放送された音響をＭＤやカセットテープ等の記録媒体
に録音したものや、ＣＤ等を与えて、その音響と類似す
る音響が放送された場合に録音／録画される自動録音／
録画装置を実現することができる。
【００３１】さらに、本発明によって、音楽データベー
スやインターネット上の音楽ファイル等から与えられた
音楽情報と類似するものを検索し、著作権の侵害を検知
する著作権検査システムを実現することができる。
スやインターネット上の音楽ファイル等から与えられた
音楽情報と類似するものを検索し、著作権の侵害を検知
する著作権検査システムを実現することができる。
【００３２】
【発明の効果】本発明によれば、複数の音響、または映
像データから与えられたキー音響データに一致、または
類似する音響データを検索し、該データと、該データの
中でキー音響と一致、または類似する部分の時間位置を
表示することを可能とする。
像データから与えられたキー音響データに一致、または
類似する音響データを検索し、該データと、該データの
中でキー音響と一致、または類似する部分の時間位置を
表示することを可能とする。
【図１】本発明の音響検索方法を表わしたＰＡＤ図であ
る。
る。
【図２】検索処理の際に記憶されるデータを表わした図
である。
である。
【図３】音響類似距離の計算式である。
【図４】音響類似距離の計算に必要な周波数スペクトル
比の計算式である。
比の計算式である。
【図５】検索結果の単純な表示例である。
【図６】検索処理の途中で検索結果と思われる音響デー
タを再生する方法を示したＰＡＤ図である。
タを再生する方法を示したＰＡＤ図である。
【図７】検索結果の図形表示例である。
【図８】本発明の検索装置における基本部分の例を表わ
したブロック図である。
したブロック図である。
【図９】本発明を用いた音楽データ販売システムの例を
表わしたブロック図である。
表わしたブロック図である。
【図１０】本発明を用いたミュージックビデオ販売シス
テムの例を表わしたブロック図である。
テムの例を表わしたブロック図である。
【図１１】本発明を用いた音楽自動録音／録画システム
の例を表わしたブロック図である。
の例を表わしたブロック図である。
【図１２】本発明を用いた音楽自動録音／録画方法を表
わしたＰＡＤ図である。
わしたＰＡＤ図である。
２０１、５０４…音響データＩＤ、２０２、３００、５
０３…音響類似距離、２０３、５０２…最類似時刻位
置、３０１…フレーム数、３０２…周波数成分数、３０
３…スペクトル比、４０１、４０２…周波数成分、５０
１…オプションボタン、７０１…音響データ、７０２…
最類似部分、８００、９０４、１００４、１１０２…音
響検索コア、８０１…プロセッサ、８０２…メモリ、８
０３…表示手段、８０４、８０５…音響入力手段、８０
６、９０３、１００３…データベース、９０１、９０
５、１００１、１００５、１１０１…音響データ、９０
２、１００２…データ販売装置、１１０３…放送受信装
置、１１０４…記憶媒体。
０３…音響類似距離、２０３、５０２…最類似時刻位
置、３０１…フレーム数、３０２…周波数成分数、３０
３…スペクトル比、４０１、４０２…周波数成分、５０
１…オプションボタン、７０１…音響データ、７０２…
最類似部分、８００、９０４、１００４、１１０２…音
響検索コア、８０１…プロセッサ、８０２…メモリ、８
０３…表示手段、８０４、８０５…音響入力手段、８０
６、９０３、１００３…データベース、９０１、９０
５、１００１、１００５、１１０１…音響データ、９０
２、１００２…データ販売装置、１１０３…放送受信装
置、１１０４…記憶媒体。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 3/00 ５３１Ｅ ５６１Ｃ 7/08 Ｂ
Claims (21)
- 【請求項１】音響の中から、与えられたキー音響と一
致、または類似する部分を検出する音響検索方法であっ
て、複数の音響データから、該キー音響と一致、または
類似する部分を含むデータを検出することを特徴とする
音響検索方法。 - 【請求項２】請求項１の音響検索方法において、各音響
データに対し、該キー音響と一致、または類似する部分
の類似度合いをあらわす値を求め、該値から最も一致す
るとみなされる音響データから順に１つ以上の音響デー
タを検索結果とすることを特徴とする音響検索方法。 - 【請求項３】請求項２の音響検索方法において、音響デ
ータとキー音響との類似度を、音響データの部分の中
で、キー音響と最も類似する部分の類似度とすることを
特徴とする音響検索方法。 - 【請求項４】請求項３の音響検索方法において、音響デ
ータの部分とキー音響との類似度合いを表わす値とし
て、互いの周波数スペクトルの比を用いることを特徴と
する音響検索方法。 - 【請求項５】請求項４の音響検索方法において、音響デ
ータの部分とキー音響との類似度合いを表わす値とし
て、互いの周波数スペクトルの比を１から減じた値を用
いることを特徴とする音響検索方法。 - 【請求項６】請求項４または請求項５の音響検索方法に
おいて、音響データの部分とキー音響との類似度合いを
表わす値として、互いの周波数スペクトルの比、または
その値を１から減じた値の総和、または平均値を用いる
ことを特徴とする音響検索方法。 - 【請求項７】請求項１〜６のいずれかの音響検索方法に
おいて、検索結果のデータ名、類似度合い、該データの
中で最も類似している時刻位置の中のいずれか、または
全てを表示することを特徴とする音響検索方法。 - 【請求項８】請求項１〜６のいずれかの音響検索方法に
おいて、検索結果の音響データを全て、または該データ
の中で最も類似している部分を連続、またはユーザの指
定により再生することを特徴とする音響検索方法。 - 【請求項９】請求項１〜６のいずれかの音響検索方法に
おいて、検索結果のデータを長方形等の図形で表示し、
該図形の長さ等を該データの再生時間とみなし、該デー
タの中で最も類似している部分の時刻位置に相当する部
分を異なる色等で表示することを特徴とする音響検索方
法。 - 【請求項１０】請求項９の音響検索方法において、最も
類似している部分の色を類似度合いにより変えることを
特徴とする音響検索方法。 - 【請求項１１】請求項７〜１０の検索結果表示、または
再生方法において、類似している順に表示、または再生
することを特徴とする音響検索方法。 - 【請求項１２】請求項１〜１１のいずれかの検索方法を
含むことを特徴とする音響検索装置、または検索サービ
ス。 - 【請求項１３】請求項１〜１１のいずれかの検索方法を
含むことを特徴とするマルチメディア・データベース、
または該データベース検索サービス。 - 【請求項１４】請求項１〜１１のいずれかの検索方法を
含むことを特徴とする音楽データ検索、または販売シス
テム、または音楽データ検索、または販売サービス。 - 【請求項１５】請求項１〜１１のいずれかの検索方法を
含むことを特徴とするミュージック・ビデオ検索、また
は販売システム、またはミュージック・ビデオ検索、ま
たは販売サービス。 - 【請求項１６】請求項１２〜１５の検索装置において、
キー音響の入力と検索結果表示をネットワーク等で接続
された別の装置で行うことを特徴とする検索サーバ。 - 【請求項１７】請求項１６の検索サーバに接続されたキ
ー音響の入力と検索結果表示を行うためのクライアント
装置。 - 【請求項１８】請求項１６、１７の装置を用いて行う検
索サービス、または該サービスに必要なネットワーク。 - 【請求項１９】放送、または配信されてくる音響、また
は映像データと与えられたキー音響との類似度合いを求
め、一定の類似度以上の類似が検知された場合に自動的
に該音響、または映像データを録音、または録画するこ
とを特徴とする音楽自動録音、録画装置。 - 【請求項２０】著作物である音響をキー音響とし、与え
られた、または蓄えられた、または放送された、または
配信された音響との類似度合いを求め、一定の類似度以
上の類似が検知された場合に著作権侵害と判定して結果
を表示することを特徴とする著作権審査システム。 - 【請求項２１】与えられたキー音響と一致、または類似
する音響を検出する音響検索方法が記録されたコンピュ
ータ読みとり可能な記録媒体であって、複数の音響デー
タと該キー音響との類似度を求めるステップと、一定値
以上の該類似度を有する音響データを該類似度の高い順
にユーザに提示するステップとを有する音響検索方法が
記録されていることを特徴とするコンピュータ読みとり
可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25262899A JP2001075992A (ja) | 1999-09-07 | 1999-09-07 | 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25262899A JP2001075992A (ja) | 1999-09-07 | 1999-09-07 | 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001075992A true JP2001075992A (ja) | 2001-03-23 |
Family
ID=17240015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25262899A Pending JP2001075992A (ja) | 1999-09-07 | 1999-09-07 | 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001075992A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004505328A (ja) * | 2000-07-31 | 2004-02-19 | シャザム エンターテインメント リミテッド | 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法 |
| JP2004265376A (ja) * | 2002-09-30 | 2004-09-24 | Mitsubishi Electric Research Laboratories Inc | メモリに格納されたデータベースから録音物を選択する方法及び装置 |
| JP2004537760A (ja) * | 2001-07-31 | 2004-12-16 | グレースノート インコーポレイテッド | 録音の多段階識別関連出願の相互参照本出願は、「デジタル音楽の多段階識別の方法およびシステム」と題された米国仮出願第６０／３０８，５９４号（発明者：デールＴ．ロバーツ（ＤａｌｅＴ．Ｒｏｂｅｒｔｓ）ら、出願日：２００１年７月３１日）に関連し、これを優先権主張するとともに、本願明細書に援用するものである。 |
| JP2011017987A (ja) * | 2009-07-10 | 2011-01-27 | Brother Industries Ltd | データ集配システム，通信カラオケシステム |
| JP2012008793A (ja) * | 2010-06-24 | 2012-01-12 | Hitachi Ltd | 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法 |
| JP2013003684A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理システム、情報処理方法、および、プログラム |
| US8725829B2 (en) | 2000-07-31 | 2014-05-13 | Shazam Investments Limited | Method and system for identifying sound signals |
-
1999
- 1999-09-07 JP JP25262899A patent/JP2001075992A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004505328A (ja) * | 2000-07-31 | 2004-02-19 | シャザム エンターテインメント リミテッド | 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法 |
| US8725829B2 (en) | 2000-07-31 | 2014-05-13 | Shazam Investments Limited | Method and system for identifying sound signals |
| JP2004537760A (ja) * | 2001-07-31 | 2004-12-16 | グレースノート インコーポレイテッド | 録音の多段階識別関連出願の相互参照本出願は、「デジタル音楽の多段階識別の方法およびシステム」と題された米国仮出願第６０／３０８，５９４号（発明者：デールＴ．ロバーツ（ＤａｌｅＴ．Ｒｏｂｅｒｔｓ）ら、出願日：２００１年７月３１日）に関連し、これを優先権主張するとともに、本願明細書に援用するものである。 |
| JP2004265376A (ja) * | 2002-09-30 | 2004-09-24 | Mitsubishi Electric Research Laboratories Inc | メモリに格納されたデータベースから録音物を選択する方法及び装置 |
| JP2011017987A (ja) * | 2009-07-10 | 2011-01-27 | Brother Industries Ltd | データ集配システム，通信カラオケシステム |
| JP2012008793A (ja) * | 2010-06-24 | 2012-01-12 | Hitachi Ltd | 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法 |
| JP2013003684A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理システム、情報処理方法、および、プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6748360B2 (en) | System for selling a product utilizing audio content identification | |
| US7031921B2 (en) | System for monitoring audio content available over a network | |
| US6604072B2 (en) | Feature-based audio content identification | |
| US7650563B2 (en) | Aggregating metadata for media content from multiple devices | |
| US20090254554A1 (en) | Music searching system and method | |
| US7908338B2 (en) | Content retrieval method and apparatus, communication system and communication method | |
| JP4332988B2 (ja) | 信号処理装置及び方法 | |
| JP3966515B2 (ja) | ネットワークシステム、サーバ、データ記録再生装置及びその方法並びにプログラム | |
| US20080189330A1 (en) | Probabilistic Audio Networks | |
| US20090228800A1 (en) | Display device | |
| JP2004537760A (ja) | 録音の多段階識別関連出願の相互参照本出願は、「デジタル音楽の多段階識別の方法およびシステム」と題された米国仮出願第６０／３０８，５９４号（発明者：デールＴ．ロバーツ（ＤａｌｅＴ．Ｒｏｂｅｒｔｓ）ら、出願日：２００１年７月３１日）に関連し、これを優先権主張するとともに、本願明細書に援用するものである。 | |
| WO2008004181A2 (en) | Methods and devices for managing a play-list of digital content | |
| US8209348B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP2007012013A (ja) | 映像データ管理装置及び方法及びプログラム | |
| US20090132510A1 (en) | Device for enabling to represent content items through meta summary data, and method thereof | |
| EP1497935B1 (en) | Feature-based audio content identification | |
| US8655874B2 (en) | Method and apparatus for acquiring and displaying image data corresponding to content data | |
| JP2004173102A (ja) | 映像コンテンツ視聴方法及びシステム及び映像視聴端末装置及び映像配信装置及び映像コンテンツ視聴プログラム及び映像コンテンツ視聴プログラムを格納した記憶媒体 | |
| JP2001075992A (ja) | 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体 | |
| JP2002245066A (ja) | 情報検索装置及び方法、並びに記憶媒体 | |
| US9047916B2 (en) | Recording medium, category creating apparatus, and category creating method | |
| US20040182225A1 (en) | Portable custom media server | |
| JP2005018205A (ja) | 楽曲検索システム、楽曲検索方法、及び楽曲検索装置 | |
| JP2001265779A (ja) | 音響検索方法 | |
| JP2005148801A (ja) | 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体 |