JP2006519452A - オ―ディオフィンガプリンティングにおけるデジタルサイレンスの処理 - Google Patents

オ―ディオフィンガプリンティングにおけるデジタルサイレンスの処理 Download PDF

Info

Publication number
JP2006519452A
JP2006519452A JP2006502595A JP2006502595A JP2006519452A JP 2006519452 A JP2006519452 A JP 2006519452A JP 2006502595 A JP2006502595 A JP 2006502595A JP 2006502595 A JP2006502595 A JP 2006502595A JP 2006519452 A JP2006519452 A JP 2006519452A
Authority
JP
Japan
Prior art keywords
fingerprint
digital
media signal
silence
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006502595A
Other languages
English (en)
Inventor
ヤープ エイ ハイツマ
タルストラ ヨハン シー
スタリング アントニウス エイ エム
アントニウス エイ シー エム カルケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006519452A publication Critical patent/JP2006519452A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10009Improvement or modification of read or write signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions

Abstract

本発明は、デジタル媒体信号をフィンガプリンティングする場合に、デジタルサイレンスを処理するコンピュータプログラムプロダクト及びコンピュータプログラム要素と同様に、方法、装置、クライアント−サーバシステムにも関する。このデジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを有するフィンガプリントが発生し(ステップ42)、このフィンガプリントへの前記媒体信号の少なくとも一片の影響が除去又は変更され(ステップ48)、この一片はデジタルサイレンスに相当する。本発明は、デジタルサイレンスが含まれる、例えばオーディオ信号のような媒体信号の誤った特定を信頼できるやり方で防ぐ。本発明は、既にコンピュータに設けられた機能の幾つかを必要とするだけで、実施も容易である。

Description

本発明は通常、オーディオ信号のようなデジタル媒体信号のフィンガプリンティング(fingerprinting)の分野に関し、特にこのデジタル媒体信号の一部がデジタルサイレンス(digital silence)を含む場合のフィンガプリントの発生に関する。
ある1曲を特定するために、オーディオ信号のような媒体信号にフィンガプリントを設けることが知られている。ローカルコンピュータはこのとき、オーディオ信号に対するフィンガプリントを発生させ、このフィンガプリントをクエリとしてデータベースに送る。このデータベースにおいて、前記フィンガプリントは他のフィンガプリントと比較され、一致が見つかる場合、このフィンガプリンタはローカルコンピュータに戻され、このコンピュータは次いでオーディオ信号の特定を受ける。
このようなフィンガプリンティングは、多くのアプリケーション、例えばプレイリストを特定するラジオ局において有用であるが、例えばラジオで楽曲を特定した後、その楽曲を購入したいと思っている個人にとっても成長する市場である。
あるこのようなフィンガプリンティング方式は、Jaap Haitsma及びTon Kaller, Ismir著、”A Highly Robust Audio Fingerprinting System” October 2002に記載され、ここでフィンガプリントは、多数のサブフィンガプリントにより構成されている。サブフィンガプリントは、媒体信号の一部に基づいている。フィンガプリント又はフィンガプリントブロックと呼ばれる256個の連続するサブフィンガプリントは、媒体信号の迅速且つ安全な特定を提供するために、短い時間期間中に計算される。これにより、例えば媒体信号の最初の3秒でフィンガプリントが得られる。この得られたフィンガプリントと、データベースにあるフィンガプリントとの間のハミング距離(Hamming distance)があるしきい値よりも低いかに基づいて、成功した特定(positive identification)が、フィンガプリントのデータベースにおいてなされる。
既知のフィンガプリント方式の問題点は、しばしば媒体信号がデジタルサイレンスを構成する部分を持つことである。オーディオクリップが例えばPCMサンプルが零値を持つサイレンスで始まり、ビデオクリップは多数の黒フレームで始まることができる。これは、このデジタルサイレンス中、最初に作成されるサブフィンガプリントが同じであり、情報が存在しないと反映することを意味する。多くの異なる媒体信号又はファイルが最初にこのデジタルサイレンス信号を持つことができるので、最初に作成されるフィンガプリントを備えるクエリが前記データベースにおける幾つかの異なる記憶される媒体信号に誤って対応していることをわかることが可能である。
これにより、本発明の目的は、フィンガプリントが誤った媒体信号を特定する危険性を減少して用いられるように、媒体信号におけるデジタルサイレンスの影響が除去される。
本発明の第1の態様によれば、本目的は、デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する方法により達成され、このデジタルサイレンスは、
−デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを有するフィンガプリントを発生させるステップ、及び
−前記フィンガプリントへの前記媒体信号の少なくとも一片の影響を除去又は変更するステップであり、その一片がデジタルサイレンスに相当するステップ
を有する。
本発明の第2の態様によれば、本目的は、デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理すると共に、
−デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを有するフィンガプリントを発生するように構成されるフィンガプリント発生装置、及び
−前記フィンガプリントへの前記媒体信号の少なくとも一片の影響を除去又は変更し、その一片がデジタルサイレンスに相当するように構成されるデジタルサイレンス除去ユニット
を有する装置によっても達成される。
本発明の第3の態様によれば、本目的はさらに、デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理すると共に、
−媒体ファイルとして記憶される媒体信号に関するフィンガプリントのデータベースを持つサーバ装置、及び
−前記サーバ装置にフィンガプリントのクエリを発生させるクライアント装置
を有する装置のシステムにより達成され、ここで、クライアント装置及びサーバ装置の少なくとも1つは、
−デジタル媒体信号の少なくとも一部に対する多数のフィンガプリントを発生するように構成されるフィンガプリント発生ユニット、及び
−前記フィンガプリントへの前記媒体信号の少なくとも一片の影響を除去又は変更し、その一片がデジタルサイレンスに相当するように構成されるデジタルサイレンス除去ユニット
を有する。
本発明の第4の態様によれば、本目的はさらに、デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する、コンピュータ上で用いられるべき、コンピュータプログラムプロダクトにより達成される。このコンピュータは、
−前記プログラムがこのコンピュータにロードされる場合、コンピュータを実施させ、
−デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを発生させ、及び
−前記フィンガプリントへの前記媒体信号の少なくとも一片の影響を除去又は変更し、その一片がデジタルサイレンスに相当する
ためのコンピュータプログラムコード手段を持つコンピュータ読取可能媒体を有する。
本発明の第5の態様によれば、本目的はさらに、デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する、コンピュータ上で用いられるべき、コンピュータプログラム要素によっても達成され、このコンピュータプログラム要素は、
−前記プログラムがコンピュータにロードされる場合、コンピュータを実施させ、
−デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを発生させ、及び
−前記フィンガプリントへの前記媒体信号の少なくとも一片の影響を除去又は変更し、その一片がデジタルサイレンスに相当する
ためのコンピュータプログラムコード手段を有する。
請求項2及び3は、デジタルサイレンスの原因を除去することを述べている。
請求項4は、乱数値を媒体信号全体に追加することを述べている。
請求項5及び16は、デジタルサイレンスの影響を変更する乱数値を供給することを述べている。
請求項6及び17は、デジタルサイレンスを表すサブフィンガプリントを乱数値に置換することを述べている。
請求項7及び18は、デジタルサイレンスを表す媒体信号のサンプルを乱数値に置換することを述べている。
請求項8は、クライアント及びサーバ装置に異なる形式の乱数値の発生を供給することを述べている。
請求項10及び19は、媒体信号を誤って特定する可能性を低くするための、フィンガプリントに関する日時情報を用いて、前記乱数値を処理することを述べている。
本発明は、デジタルサイレンスが含まれる媒体信号の誤った特定を防止する信頼性のある方法の利点を持っている。さらに、コンピュータに既に設けられた機能の幾つかを必要とするだけで容易に実施する。本発明の変形例において、発生する前記乱数値が殆ど確実に誤った特定を生じさせないことを保証する。
本発明の背後にある一般的な考えはこれにより、媒体信号に対するフィンガプリントを発生する場合、媒体信号に関するデジタルサイレンスを除去することか、又はそのデジタルサイレンスを乱数値に置換することかである。
デジタルサイレンスと言う表現は、フレーム内の情報が黒を表す又は画像が認識できないあるしきい値よりも下にあるデジタルビデオ情報と同じく、信号内の情報が無音声である又は異なる値のサブフィンガプリントを生じることができないある低いしきい値よりも下にある音声を表すデジタルオーディオ信号を有する。
本発明のこれら及び他の態様は、以下に記載される実施例から明白であり、これら実施例を参照して説明される。
本発明は、デジタル媒体信号にフィンガプリントを供給する分野に関し、オーディオ信号のフィンガプリンティングに関して以下に説明される。しかしながら、本発明はオーディオに限定されるのではなく、例えばビデオのような他の媒体信号にも応用可能である。
図1は、フィンガプリンティング装置10又はデータベース21に接続され、オーディオ信号に基づくサブフィンガプリントを発生するように構成されるフィンガプリント発生ユニットのブロック図である。図1におけるフィンガプリンティング装置10は、データベースを含み、サーバと通信可能であるクライアント装置に設けられる。クライアントはフィンガプリントによりオーディオ信号を特定するために、このデータベースと交信することができる。フィンガプリントを発生させるために、フィンガプリンティング装置10は、オーディオ信号をダウンサンプリングするダウンサンプラー11においてオーディオ信号を入力する。ダウンサンプリングされたオーディオ信号は、次いでこのダウンサンプラーから、フレーミング回路12に転送され、このフレーミング回路12はこのオーディオ信号をハミングウィンドウにより重み付けされる(好ましくはオーバーラッピングする)フレームに分割する。これによりフレーミングされたオーディオ信号は次いで、フーリエ変換回路13に転送され、このフーリエ回路13は各フレームのスペクトル表現を計算する。後続するブロック14において、これらフーリエ係数の絶対値が計算される。この装置はさらに帯域分割段15も含み、この段は、周波数スペクトルを多数の帯域に分割すると共に、多数のセレクタ151を含んでいる。これらセレクタ151は個々の帯域のフーリエ係数を選択する。各帯域に対する段161を持つエネルギー計算段16は、この帯域分割段15に接続される。この計算段16は、個々の帯域のフーリエ係数の大きさのエネルギーを計算する。ビット導出回路17は、エネルギー計算段16に接続される。このビット導出回路17は、各帯域のエネルギーレベルをビットに変換し、この目的のために、各帯域に対して第1の減算器171、フレーム遅延172、第2の減算器173及び比較器174を備える。全ての連続するフレームの結果生じるサブフィンガプリントは、フィンガプリントとしてバッファ18に記憶される。このフィンガプリンティング装置18は、ビットの信頼性を判断する回路19も含み、フィンガプリントにおけるビットの信頼性を判断する。バッファ18におけるフィンガプリント、及びビットの信頼性を判断する回路19からのビットの信頼性の情報は、前記装置10からサーバに設けられるコンピュータ20に送られる。このコンピュータ20に接続されるデータベース21は、多数のオーディオ信号又は歌曲に対するサブフィンガプリント全てを有する多数の記憶されるフィンガプリントを持つ。図1にはルックアップテーブル22も示され、コンピュータ20はデータベース21において一致するフィンガプリントを検索する場合、使用し、この一致するフィンガプリントは、前記装置10から入力されるフィンガプリントに対応する。
クライアントにおけるフィンガプリントとサーバにおけるフィンガプリントとの間にある1つの違いは、データベースがオーディオ信号全体に対するフィンガプリントを含んでいる一方、クライアントは通常、オーディオ信号に対する1つ又は数個のフィンガプリントしか発生しないことである。図1に示される装置の機能及びフィンガプリントの発生、並びにフィンガプリントの一致が行われる方法は、Jaap Haitsma及びTon Kalker, Ismir著の文献”A Highly Robust Audio Fingerprinting System”, October 2002において詳細に説明され、この文献は、参照することによりこれに含まれるものとする。
図2は、インターネットのようなコンピュータネットワーク28を介してサーバ装置26に接続されるクライアント装置24を示す。このクライアント装置24はこれにより、上述したやり方で発生するフィンガプリントを発生させ、これをビットの信頼性の情報と一緒に、クエリとして、特定を必要とするオーディオ信号に対するサーバ26に送る。このサーバ26は、データベースを調べ、データベースを調査した後に前記オーディオ信号に関する情報をクライアントに戻す。この戻された情報は通常、曲名、アーチスト名等のようなメタデータ(metadata)である。この特定を行う場合、サーバは、フィンガプリントにおけるサブフィンガプリントをデータベースに記憶されるオーディオ信号のサブフィンガプリントと比較し、2つのフィンガプリント間のハミング距離があるしきい値よりも下にあることが分かる場合、成功した特定を戻す。
上述した装置において、1曲のオーディオの特定は、約3秒に相当し、256個のサブフィンガプリントを含むフィンガプリントに基づいて迅速に行われる。しかしながら、これは、本発明が解決するであろう幾つかの問題点を導く。多くのオーディオ信号又はクリップは、サイレンスで始まり、このサイレンスは数秒の長さとすることができる。これにより、多くのオーディオ信号は実際にはサイレンスを表す情報を含むであろう。これは、それら信号の全てがさらにフィンガプリントがとられるオーディオファイルに相当していると分かるサイレンスで開始する幾つかのオーディオ信号であることを意味する。これにより、このサイレンスを処理する必要がある。ビデオの場合、これは最初にある多数の黒フレームに相当する。
本発明によるデジタルサイレンス30を処理する装置30が、図3にブロック図で示される。この装置30は、図1に示されるフィンガプリンティング装置のバッファ18に接続されるように構成される制御ユニット32、及び前記制御ユニット32に接続される乱数発生ユニット34を含む。
本発明による第1の実施例のフローチャートを示す図4と共にクライアント装置において使用する、図3におけるユニットの機能がここに記載されている。クライアント装置は最初に、フィンガプリンティング装置において、オーディオ信号用の多数のサブフィンガプリントを発生させる(ステップ42)。これらサブフィンガプリンタはレジスタ18に記憶されている。装置30の制御ユニット32は、これらサブフィンガプリンタを前記レジスタ18から取り出し、これらサブフィンガプリンタの何れかが零値を持っているか検査する、すなわち記載されるフィンガプリンティングアルゴリズムの場合、デジタルサイレンスに相当しているか検査する(ステップ44)。これらサブフィンガプリンタの何れも零値を持たない場合、サブフィンガプリンタは、レジスタにおいて変化しないままでいて、次いで検査が終了する(ステップ50)。これらサブフィンガプリンタが零値を含む場合、制御ユニット32は、乱数値を発生させる乱数発生ユニット34と交信する(ステップ46)。これら乱数値は次いで、零値のサブフィンガプリントをサブフィンガレジスタ18におけるこれらの乱数値と置換する制御ユニット32に送信され、そこで前記調査は終了する(ステップ50)。クライアント装置はその後、零値のサブフィンガプリントがこれら乱数値により置換されたフィンガプリントを含むクエリを前記サーバに送信する場合、そのデータベースにおいて一致を見つける可能性は非常に低く、オーディオ信号の誤った一致を戻すのを防ぐ。クライアント装置が成功した特定を行わなければならない場合、オーディオ信号がサイレントではないときは、他のクエリを後で送らなければならなく、そして成功した特定が行われる。
装置30は、代替として、クライアント装置の入力側、すなわちサブフィンガプリントが発生する前に設けられる。この場合、制御ユニット32は、実際のオーディオ信号がフィンガプリンティングされる前に一時的に記憶されるレジスタに接続される。本発明の他の実施例による方法は、この第2の実施例による方法のフローチャートを示す図5を参照して説明される。最初に、多数のPCMサンプルから構成されるオーディオ信号のサンプルは、零サンプルが存在するか、若しくは、それが零のサブフィンガプリントとなる、ある最低レベルよりも下にサンプルが存在するかを判断する(ステップ54)ために、制御ユニットにより分析される(ステップ52)。それらが存在している場合、乱数発生器は乱数を発生させる(ステップ56)。その後、制御ユニット32は、零値のPCMサンプル、若しくは前記しきい値より下にあるサンプルを乱数と置換する(ステップ58)。その後、オーディオ信号のサンプルは、既知のやり方でサブフィンガプリンタを発生させるフィンガプリンティング装置に送信される(ステップ60)。このオーディオ信号の零レベルのサンプルは既に置換されたので、これらサンプルに対し後続して発生するサブフィンガプリントは同様に、実際に乱数値であり、これにより、データベースにおけるオーディオ信号のサイレント部分に対する一致がより少ないであろう。零値のサンプルが存在しない場合(ステップ54)、フィンガプリンティングの発生は直接行われる(ステップ60)。
上述した方式に対し幾つかの他の可能な変形例が存在する。本発明の他の実施例の1つの変形例は、ランダムノイズの小片を、フィンガプリントが発生する前のオーディオ信号のサンプル全てに、すなわちサイレンスには相当しないサンプルにも加えることである。その上、フィンガプリンティングが行われる前のデジタルサンプルの何れかからデジタルサイレンスを除去する、又はサブフィンガプリンタを乱数と置換する代わりに、デジタルサイレンスに相当するサブフィンガプリントを除去することも可能である。しかしながら、これが行われる場合、後続するサブフィンガプリント間の間隔が11.8ms離れていることは保証されない。このとき、サイレンスの代わりにラジオ放送用のオーディオ信号に加えられることができる低い振幅ノイズが、データベースに送られるフィンガプリントの一部となる危険がある。このデータベースが除去された対応するサイレンスを持つ場合、これは、最適な一致よりも僅かに少なくなるであろう。
図3におけるユニットは同様に、サーバにおけるフィンガプリンティング装置と一緒に、クライアントにおけるフィンガプリンティング装置として、上述したように、このフィンガプリンティング装置の前若しくは後に設けられる。これは、データベースが一片のオーディオのフィンガプリントに対し零値を持つ如何なるサブフィンガプリンタも持たないのではなく、乱数語により置換されることを保証する。デジタルサイレンスはさらに、上記段落に記載したのと同じやり方で、デジタルサイレンスのサンプル又はデジタルサイレンスに対応するサブフィンガプリントを除去することにより、サーバ内において除去される。
発生するこれらサブフィンガプリンタは、32ビットからなり、サイレンスに対応するサブフィンガプリンタは、このとき16進法の値0x00000000である。零のサブフィンガプリントを置換するのに使用するために、32ビットの乱数語を発生させる、標準の線形合同乱数発生器を使用するのが便利である。この乱数発生器は、乱数X0で初期化される。後続する乱数は、以下の等式
N+1=(1664525*XN+1013904223)mod 232 (1)
により得られる。
しかしながら、クライアント装置及びサーバ装置の両方がフィンガプリンタを持ち、この同じ形式の乱数発生器が使用される場合、この方法を用いることによる問題点が存在する。実数の乱数だけが最初の乱数であり、後続する乱数の全ては、既知のやり方でこの最初の乱数から計算されるので、両方の装置がデジタルサイレンスに対し同じ乱数で終わる危険性がある。これが、サイレンスに対し、“ランダムな”サブフィンガプリンタのシーケンスに基づく、データベースにおけるフィンガプリントの一致となる。このデータベースが約100万曲を保有している場合、この危険性は、少なくとも1/4000、すなわち0.025%である。実際に、その危険性は、クエリにおけるサブフィンガプリントと、フィンガプリントにおいて異なる位置に設けられるデータベースとの間の一致の危険性により、これよりもさらに高い。
この問題のある解決法は、クライアント及びサーバに対して異なる乱数発生方式を持つことである。これは、データベースを別々に実施して、サーバ及びクライアントにおいてフィンガプリントクエリを発生する。この問題の他の解決法は、図6に関連して以下に記載される。
図6は、乱数発生ユニット34の第1の変形例を示す。このユニットは、本事例では排他的論理和ユニット40である論理ユニット40の第1の入力部に接続される標準的な線形合同乱数発生器36を含む。この論理ユニット40は、第2の入力部において値V(tSYS)を入力し、この値は、フィンガプリントを発生する日時に依存する32ビット値である。この値V(tSYS)は、乱数発生器が設けられるコンピュータのシステム時間に依存している。これは、後続する乱数値を第1の乱数値だけでなく、現在のシステムの時間及び日時にも依存させる。
これら値がクライアント及びサーバの両方におけるデジタルサイレンスに相当する可能性は、これによりかなり減少する。
この論理ユニットの1つの変形例が図7に示される。図7は、ランダムビットを発生させるのに用いられる線形フィードバックシフトレジスタユニット62を示す。このユニットは、多数のタップ付き遅延ラインτ64−72を含む。これら遅延ラインは直列に接続され、最後の72は、乱数発生ユニット62の出力部94に接続されている。乗算ユニットg182、g284、...g2978、g3076及びg3174は、各遅延ユニット間に設けられている。この増倍率は、1又は0のどちらかにすることができる。各乗算ユニットは、対応する加算ユニット84−92に接続され、この加算ユニットの最後の92は、直接前記出力部94にも接続され、最初の84は、第1の遅延ユニット64の入力部に接続される。32ビットの乱数を作成するために、これら線形フィードバックシフトレジスタ(LFSR)を32個必要とする。これら32個のLFSRの各々は、コンピュータのシステム時間から得られる異なる32ビット数を用いて初期化される。各LSFRは、1つのランダムビットを発生する。各LSFRが前記システム時間に依存する32ビット数を用いて初期化されるので、この実施のサイクルもこのシステム時間に依存される。
本発明は、本発明による方法を実施するためのプログラムコードが記憶される関連するプログラムメモリを備える1つ以上の処理器を好ましくは具備する。このプログラムコードは、図8に示されるようなCD−ROMディスク96のようなデータ担体の形式で設けられることもできる。このプログラムコードは、図2に示されるようなネットワークを介してサーバから装置へダウンロードされることもできる。
本発明には幾つかの利点がある。デジタルサイレンスが含まれる媒体信号の誤った特定を信頼できる方法で防ぐ。既にコンピュータに設けられる機能の幾つかを使用するので、実施することも容易である。本発明の変形例において、発生する乱数がほぼ確実に誤った特定を起こさないことも保証される。
本発明は、コンピュータシステムにおけるコンピュータに関連して記載されている。しかしながら、本発明は、これに限定されるのではなく、例えばセルラーネットワークを介してサーバと通信する移動電話のように、他の形式の環境において使用されることができる。移動電話は、上述したデータベースを含むサーバに接続するクライアント装置であるコンピュータと通信することもできる。本発明はその上、記載したフィンガプリンティング方式に限定されるのではなく、デジタルサイレンスの処理が可能でなければならない如何なるフィンガプリンティング方式において実施されることができる。本発明はPCMサンプルに関連して記載される。ビデオのような他の形式の媒体信号に対してと同様に、MP3符号化のような、異なる形式の圧縮及び符号化が用いられる場合も応用可能であることも分かるべきである。従って、本発明は、特許請求の範囲により限定されるべきである。
要約すると、本発明は、デジタル媒体信号をフィンガプリンティングする場合に、デジタルサイレンスを処理するコンピュータプログラムプロダクト及びコンピュータプログラム要素と同様に、方法、装置、クライアント−サーバシステムにも関する。このデジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを有するフィンガプリントが発生し(ステップ42)、このフィンガプリントへの前記媒体信号の少なくとも一片の影響が除去又は変更され(ステップ48)、この一片はデジタルサイレンスに対応する。本発明は、デジタルサイレンスが含まれる、例えばオーディオ信号のような媒体信号の誤った特定を信頼できるやり方で防ぐ。本発明は、既にコンピュータに設けられた機能の幾つかを必要とするだけで、実施も容易である。
フィンガプリントのデータベースと一緒にフィンガプリンタを発生する装置のブロック図。 ネットワークを介してサーバ装置に接続されるクライアント装置を概略的に示す。 本発明によるデジタルサイレンスを処理する装置のブロック図。 本発明の第1の実施例によるデジタルサイレンスを処理する方法のフローチャート。 本発明の第2の実施例によるデジタルサイレンスを処理する方法のフローチャート。 図3における装置にある乱数発生ユニットの第1の変形例のブロック図。 本発明によるデジタルサイレンスを処理するための装置のための乱数発生ユニットの第2の変形例を示す。 本発明を実施するためのプログラムコードが記憶された光学ディスクを示す。

Claims (26)

  1. デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する方法において、
    −前記デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを有するフィンガプリントを発生させるステップ、及び
    −前記フィンガプリントへの前記デジタル媒体信号の少なくとも一片の影響を除去又は変更するステップであり、前記一片がデジタルサイレンスに相当するステップ
    を有する方法。
  2. 前記影響を除去又は変更するステップは、フィンガプリントを発生させる前に、前記デジタル媒体信号の前記一片を除去するステップを有する請求項1に記載の方法。
  3. 前記影響を除去又は変更するステップは、前記媒体信号の前記一片のデジタルサイレンスに相当する値を持つ前記フィンガプリントからサブフィンガプリントを除去するステップを有する請求項1に記載の方法。
  4. 前記影響を除去又は変更するステップは、デジタルサイレンスに相当する前記媒体信号の前記一片に乱数値を供給するステップを有する請求項1に記載の方法。
  5. 乱数値を供給する前記ステップは、前記媒体信号の各一片に乱数値を追加するステップを有する請求項4に記載の方法。
  6. 乱数値を供給する前記ステップは、前記媒体信号におけるデジタルサイレンスに相当する値を持つサブフィンガプリントを乱数値と置換するステップを有する請求項4に記載の方法。
  7. 乱数値を供給する前記ステップは、デジタルサイレンスに相当する前記媒体信号の一片を、フィンガプリントを発生し始める前に、ランダムノイズに相当する一片と置換するステップを有する請求項4に記載の方法。
  8. 請求項4に記載の方法において、前記方法は、第1の装置において実行され、前記第1の装置において乱数値が発生するやり方は、前記第1の装置が媒体信号を特定するために通信している第2の装置において乱数値が発生するやり方とは異なっている方法。
  9. 乱数値を供給する前記ステップは、乱数発生器を用いて乱数値を発生させるステップを有する請求項4に記載の方法。
  10. フィンガプリントの発生に関する日時情報に依存する追加情報を用いて前記乱数値を処理するステップをさらに含む請求項9に記載の方法。
  11. 請求項10に記載の方法において、前記処理するステップは、前記乱数値及び前記追加情報において排他的論理和演算を行うステップを有する方法。
  12. 請求項10に記載の方法において、前記処理は、多数の線形フィードバックシフトレジスタを介して行われる請求項10に記載の方法。
  13. フィンガプリントのデータベースに一致するためのサーバに前記フィンガプリントを転送するステップをさらに含む請求項1に記載の方法。
  14. クライアント装置から入力されるフィンガプリントに突き合わせるために用いられるべきサーバのフィンガプリントのデータベースに前記フィンガプリントを記憶するステップをさらに含む請求項1に記載の方法。
  15. デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する装置において、
    −デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを有するフィンガプリントを発生させるように構成されるフィンガプリント発生ユニット、及び
    −前記フィンガプリントへの前記媒体信号の少なくとも一片の影響を除去又は変更するように構成されるデジタルサイレンス除去ユニット
    を有する装置。
  16. 前記サイレンス除去ユニットは、デジタルサイレンスに相当する前記媒体信号の前記一片に対する乱数値を発生させる乱数発生ユニットを含む請求項15に記載の装置。
  17. 前記サイレンス除去ユニットは、前記媒体信号におけるデジタルサイレンスに相当する値を持つ前記フィンガプリント発生ユニットにより発生するサブフィンガプリントを乱数値と置換するように構成される請求項16に記載の装置。
  18. 前記サイレンス除去ユニットは、デジタルサイレンスに相当する前記媒体信号の前記一片を、フィンガプリントを発生する前記フィンガプリント発生ユニットに送る前に、ランダムノイズに相当する一片と置換するように構成される請求項16に記載の装置。
  19. 前記フィンガプリントの発生に関する日時情報に依存する追加情報を用いて、前記乱数値を処理するように構成される論理関数ユニットをさらに含む請求項16に記載の装置。
  20. 前記論理関数ユニットは、排他的論理和ユニットである請求項19に記載の装置。
  21. 前記乱数発生ユニットは、多数の線形フィードバックシフトレジスタとして設けられる請求項16に記載の装置。
  22. 多数の異なる媒体信号に対するフィンガプリントのデータベースを含むサーバ装置にフィンガプリントのクエリを発生させるように構成されるクライアント装置である請求項15に記載の装置。
  23. 少なくとも1つのクライアント装置と通信するのに使用される多数の異なる媒体信号に対するフィンガプリントのデータベースを含むサーバに設けられる請求項15に記載の装置。
  24. デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する装置のシステムであり、
    −媒体ファイルとして記憶される媒体信号に関するフィンガプリントのデータベースを持つサーバ装置、及び
    −前記サーバ装置に対するフィンガプリントのクエリを発生させるクライアント装置
    を有する装置のシステムにおいて、前記クライアント装置及びサーバ装置の少なくとも1つは、
    −デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを発生させるように構成されるフィンガプリント発生ユニット、及び
    −前記フィンガプリンティングへの前記媒体信号の少なくとも一片の影響を除去又は変更するように構成され、前記一片がデジタルサイレンスに相当するサイレンス除去ユニット
    を有するシステム。
  25. デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する、コンピュータ上で用いられるべき、コンピュータプログラムプロダクトであり、前記プログラムが前記コンピュータにロードされる場合、前記コンピュータを実行させるために、その上にコンピュータプログラムコード手段を持つコンピュータ読取可能媒体を有するコンピュータプログラムプロダクトにおいて、
    −デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリンタを発生させ、
    −前記フィンガプリントへの、前記媒体信号の少なくとも一片の影響を除去又は変更し、前記一片はデジタルサイレンスに相当している
    コンピュータプログラムプロダクト。
  26. デジタル媒体信号をフィンガプリンティングする場合、デジタルサイレンスを処理する、コンピュータ上で使用されるべき、コンピュータプログラム要素であり、前記プログラムが前記コンピュータにロードされる場合、前記コンピュータを実行させるための、コンピュータプログラムコード手段を有するコンピュータプログラム要素において、
    −デジタル媒体信号の少なくとも一部に対する多数のサブフィンガプリントを発生させ、
    −前記フィンガプリントへの、前記媒体信号の少なくとも一片の影響を除去又は更新し、前記一片はデジタルサイレンスに相当している
    コンピュータプログラム要素。
JP2006502595A 2003-02-26 2004-02-18 オ―ディオフィンガプリンティングにおけるデジタルサイレンスの処理 Pending JP2006519452A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100461 2003-02-26
PCT/IB2004/050120 WO2004077430A1 (en) 2003-02-26 2004-02-18 Handling of digital silence in audio fingerprinting

Publications (1)

Publication Number Publication Date
JP2006519452A true JP2006519452A (ja) 2006-08-24

Family

ID=32921603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006502595A Pending JP2006519452A (ja) 2003-02-26 2004-02-18 オ―ディオフィンガプリンティングにおけるデジタルサイレンスの処理

Country Status (8)

Country Link
US (1) US20060143190A1 (ja)
EP (1) EP1599879A1 (ja)
JP (1) JP2006519452A (ja)
KR (1) KR20050113614A (ja)
CN (1) CN1754218A (ja)
AU (1) AU2004216171A1 (ja)
BR (1) BRPI0407870A (ja)
WO (1) WO2004077430A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL182469B1 (pl) 1995-12-07 2002-01-31 Koninkl Philips Electronics Nv Sposób i urządzenie do kodowania strumienia bitowego nie-PCM, zawierającego sygnał fonii
WO2002017135A1 (en) * 2000-08-23 2002-02-28 Koninklijke Philips Electronics N.V. Method of enhancing rendering of a content item, client system and server system
US7890374B1 (en) 2000-10-24 2011-02-15 Rovi Technologies Corporation System and method for presenting music to consumers
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
JP4723171B2 (ja) 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
US7477739B2 (en) * 2002-02-05 2009-01-13 Gracenote, Inc. Efficient storage of fingerprints
JP2006501498A (ja) * 2002-09-30 2006-01-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 指紋抽出
AU2003264774A1 (en) * 2002-11-01 2004-05-25 Koninklijke Philips Electronics N.V. Improved audio data fingerprint searching
WO2004044820A1 (en) * 2002-11-12 2004-05-27 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
US20150051967A1 (en) 2004-05-27 2015-02-19 Anonymous Media Research, Llc Media usage monitoring and measurment system and method
US7567899B2 (en) 2004-12-30 2009-07-28 All Media Guide, Llc Methods and apparatus for audio recognition
US20080162435A1 (en) * 2005-02-22 2008-07-03 Koninklijke Philips Electronics, N.V. Retrieving Content Items For A Playlist Based On Universal Content Id
US20070106405A1 (en) * 2005-08-19 2007-05-10 Gracenote, Inc. Method and system to provide reference data for identification of digital content
US20080274687A1 (en) 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8620967B2 (en) 2009-06-11 2013-12-31 Rovi Technologies Corporation Managing metadata for occurrences of a recording
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
US8677400B2 (en) 2009-09-30 2014-03-18 United Video Properties, Inc. Systems and methods for identifying audio content using an interactive media guidance application
US8886531B2 (en) * 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
US20110173185A1 (en) * 2010-01-13 2011-07-14 Rovi Technologies Corporation Multi-stage lookup for rolling audio recognition
US20140074469A1 (en) * 2012-09-11 2014-03-13 Sergey Zhidkov Apparatus and Method for Generating Signatures of Acoustic Signal and Apparatus for Acoustic Signal Identification
US9679583B2 (en) 2013-03-15 2017-06-13 Facebook, Inc. Managing silence in audio signal identification
CN104008173B (zh) * 2014-05-30 2017-08-11 杭州智屏电子商务有限公司 一种流式的实时音频指纹识别方法
US20170309298A1 (en) * 2016-04-20 2017-10-26 Gracenote, Inc. Digital fingerprint indexing
KR20200142787A (ko) 2019-06-13 2020-12-23 네이버 주식회사 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법
WO2023235255A1 (en) * 2022-05-30 2023-12-07 Ribbon Communications Operating Company, Inc, Methods and apparatus for generating and/or using communications media fingerprints

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717818A (en) * 1992-08-18 1998-02-10 Hitachi, Ltd. Audio signal storing apparatus having a function for converting speech speed
JPH076484A (ja) * 1993-06-16 1995-01-10 Pioneer Electron Corp 録音装置
JP3674872B2 (ja) * 1993-06-16 2005-07-27 パイオニア株式会社 オーディオ信号録音装置およびオーディオ信号録音方法
JPH11203790A (ja) * 1998-01-06 1999-07-30 Pioneer Electron Corp 記録媒体情報読取装置
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
US6539395B1 (en) * 2000-03-22 2003-03-25 Mood Logic, Inc. Method for creating a database for comparing music
US7277766B1 (en) * 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
DE10058811A1 (de) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Verfahren zur Identifizierung von Musikstücken
JP4723171B2 (ja) * 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
AU2002346116A1 (en) * 2001-07-20 2003-03-03 Gracenote, Inc. Automatic identification of sound recordings
US7477739B2 (en) * 2002-02-05 2009-01-13 Gracenote, Inc. Efficient storage of fingerprints
US20030191764A1 (en) * 2002-08-06 2003-10-09 Isaac Richards System and method for acoustic fingerpringting

Also Published As

Publication number Publication date
AU2004216171A1 (en) 2004-09-10
WO2004077430A1 (en) 2004-09-10
EP1599879A1 (en) 2005-11-30
BRPI0407870A (pt) 2006-03-01
CN1754218A (zh) 2006-03-29
US20060143190A1 (en) 2006-06-29
KR20050113614A (ko) 2005-12-02

Similar Documents

Publication Publication Date Title
JP2006519452A (ja) オ―ディオフィンガプリンティングにおけるデジタルサイレンスの処理
JP2006506659A (ja) フィンガープリントのサーチおよびその改良
EP1550297B1 (en) Fingerprint extraction
US6971013B2 (en) Recognizer of content of digital signals
JP4723171B2 (ja) マルチメディア・コンテンツのハッシュの生成および突合せ
JP2005525600A (ja) 透かしの埋め込み及び取り出し
CN104221080B (zh) 嵌入与检测模式的方法和系统
KR20050013630A (ko) 압축된 멀티미디어 컨텐트로부터 해시들을 발생하는 방법
US20090089587A1 (en) Methods, Apparatus and Programs for Generating and Utilizing Content Signatures
US20140280304A1 (en) Matching versions of a known song to an unknown song
WO2004044820A1 (en) Fingerprinting multimedia contents
JP6901798B2 (ja) オーディオエネルギー特性に基づくオーディオフィンガープリンティング
WO2005101243A1 (en) Method and apparatus for identifying audio such as music
JP2005522744A (ja) 音声コンテンツを特定する方法
Kekre et al. A review of audio fingerprinting and comparison of algorithms
Zhang Audio dual watermarking scheme for copyright protection and content authentication
Kraetzer et al. Improvement of information fusion-based audio steganalysis
JP3933668B2 (ja) 信号処理装置および信号処理方法およびコンピュータ読取可能記憶媒体
KR102651318B1 (ko) 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템