JP2006527425A

JP2006527425A - 改良されたデータ検索方法およびシステム

Info

Publication number: JP2006527425A
Application number: JP2006506672A
Authority: JP
Inventors: ルエイテルヘンドリクスエイエイエムデ; ヤープエイハイツマ; アルノルダスジェイエルエムマーンドンクス
Original assignee: グレイスノートインコーポレイテッド
Priority date: 2003-03-13
Filing date: 2004-03-03
Publication date: 2006-11-30
Also published as: AU2004219418A1; EP1606733A1; CN1759396A; WO2004081817A1; US20060218126A1; BRPI0408288A; EP1457889A1; KR20050117558A

Abstract

コンテンツアイテムに関連するデータを得る方法であって、この方法が、コンテンツアイテムの識別子を得るステップ（３２）、データを得るために識別子を用いてデータベースルックアップを実行するステップ（３３）、およびデータベースルックアップがデータを得ることができない場合、人間（２００）によって処理するために出力部（２１０）にコンテンツアイテムを送るステップ（３７）、を有し、この方法は、コンテンツアイテムを多数のクラスのうちの一つに自動的に分類するステップ（３５）により特徴付けられ、且つコンテンツアイテムの分類に基づくことを条件に、識別子を得るステップ、データベースルックアップを実行するステップ、およびコンテンツアイテムを送るステップのうちの少なくとも１つを実行することにより特徴付けられる。一実施例では、データベースルックアップがデータを得ることができず、コンテンツアイテムが多数の所定のクラスのうちの一つに分類されたときのみ（３６）、コンテンツアイテムを出力部に送る。この発明を実行するサーバ（３００）およびコンピュータプログラムプロダクトも備えられる。

Description

本発明は、コンテンツアイテムに関連するデータを得る方法であって、上記コンテンツアイテムの識別子を得るステップ、上記データを得るために上記識別子を用いてデータベースルックアップを実行するステップ、および上記データベースルックアップがデータを得ることができない場合、人間によって処理するために出力部に上記コンテンツアイテムを送るステップ、を有する方法に関する。

本発明は、更に、コンテンツアイテムに関連するデータを得るシステムであって、上記コンテンツアイテムの識別子を得る手段、上記データを得るために上記識別子を用いてデータベースルックアップを実行する手段、および上記データベースルックアップが上記データを得ることができない場合、人間によって処理するために出力部に上記コンテンツアイテムを送る手段、を有するシステムに関する。

本発明は、更にコンピュータープログラムプロダクトに関する。

ますます多くのコンテンツが利用可能になっているにしたがって、自動ブロードキャストモニタリング、即ち、ラジオ局又はテレビ局のプレイリストの自動生成が、ますます重要になる。自動コンテンツ識別の既知の技術は、多くはウォータマーク又はフィンガープリントに基づいている。ウォータマークに基づくシステムは、コンテンツアイテムに埋め込まれるウォータマークのペイロードから、コンテンツアイテムの識別子を取り出す。フィンガープリントに基づくシステムは、アイテムの最も関連する知覚的特徴の表現を計算し、それを識別子として使用する。関連するデータ（例えば、タイトル、アーティスト、ジャンルなど）とともに多くのコンテンツアイテムの識別子が、データベースに記憶される。特定のコンテンツアイテムのデータは、その識別子を得て、その識別子をルックアップキー又はクエリーパラメータとして用いてデータベースでルックアップ又はクエリーを実行することによって、検索される。次いで、ルックアップは、識別子に関連するデータを返す。

斯かるシステムは、データベースに識別子が存在している歌、ビデオクリップ、映画、又は他のコンテンツがブロードキャストされているときは、自動的に識別する。しかし、データベースがどんなに大きくても、データベースに識別子が存在していないブロードキャストコンテンツが常に存在するだろう。例えば、データベースに識別子がまだ加えられていない新しくリリースされた歌は、識別できない。更に、システムのコストはデータベースのサイズとともに直線的に増加するので、極端に大きいデータベースを有することは、あまり経済的でもない。更に、１つの国のラジオ局によりブロードキャストされる歌の９８％は、小規模な歌の集合（典型的には２０．０００乃至３０．０００）だけに存在している。

現在、ブロードキャストモニタリングプロバイダは、それらプロバイダがブロードキャストされるあらゆるコンテンツアイテムを識別したいとすると、識別されなかった全てのコンテンツを人間に聞かせる又は見させる。これは手作業であるので、プロバイダは大きなコストを負う。

オーディオフィンガープリンティングの応用例は、顧客が自分の携帯電話を使用して顧客が知らないタイトルの歌を識別するサービスである。最大の顧客満足のため、顧客が識別したい歌のフィンガープリントがデータベースに存在している確率が、重大である。したがって、フィンガープリントサービスへの全ての電話はオーディオファイルに記録され、例えば、週に一度、それらファイルの全て（又は、或る部分）が手作業で識別される。これは、フィンガープリントデータベースのコンテンツを最適化するために行われ、したがって、顧客が識別したい歌のフィンガープリントがデータベースに存在している確率を最大にしている。同じようなビデオ用の応用例も可能である。

米国特許５，８６２，２２３号は、ユーザのリクエストが専門家によって答えられるようにリクエストが専門家に割り当てられる専門家照合方法および装置を開示している。リクエストが受け取られると、データベースは、専門家による仕事の重複を避けるために、同様のリクエストをサーチする。同様のリクエストが発見されない場合、リクエストの中に発見されるキーワード又は内容の指示子（designator）を用いて、リクエストの分類に基づき、適切な専門家のサーチが実行される。

米国特許出願２００３／００３７０１０号は、デジタル作品の不法な伝送を検出する方法を開示している。興味のある作品は、ＭＰ３、ＡＶＩ、ＡＳＦ又はＯＧＧのような、興味のあるファイルタイプによって認識され識別される。データベースは、問題としている作品がデータベースのコンテンツと一致するかどうかを決定するために問い合わせを受ける。コンテンツアイテムのメタデータは、データベースルックアップによって得られる。データベースルックアップがうまくいかない場合、メタデータを手作業で与えることができる。データベースは、作品の識別子を使用してサーチされる。その作品は著作権で保護されるものとして識別されることがデータベースサーチで明らかになれば、適切な動作（伝送を阻止する等）が取られる。

本発明の目的は、プリアンブルによる方法であって、先行技術で必要とされる手作業を削減する方法を提供することにある。

この目的は、本発明によれば、上記コンテンツアイテムを複数のクラスのうちの一つに自動的に分類するステップにより特徴付けられ、且つ上記コンテンツアイテムの分類に基づくことを条件に他のステップのうちの少なくとも１つを実行することにより特徴付けられる方法によって達成される。自動分類技術をコンテンツ識別技術と組み合わせることによって、失敗したデータベースのルックアップを手作業で処理しなければならないコストは、かなり削減される。本発明は、データベースルックアップおよび／又はコンテンツアイテムを人間に送ることが有用な目的にかなうのかどうかを十分な情報を得た上で決定することを、自動分類ステップが可能にするという洞察に基づく。

上記の先行技術の文献には、この洞察は開示又は示唆されていない。米国特許５,８６２,２２３号では、データベースサーチも専門家によるサーチも、分類を条件に実行されていない。つまり、両方のステップとも、リクエストが分類されたクラスにかかわらず、実行される。クラスはサーチを容易にするために使用されるが、サーチが必要ではないことを決定するためには使用されない。米国特許出願２００３／００３７０１０号では、コンテンツをＭＰ３又はＡＶＩとして認識するステップが、適切なコンテンツ識別子モジュールを選択するためにのみ使用されるが、データベースルックアップが必要ではないことを決定するためには使用されない。メタデータデータベース又は登録されたコンテンツを有するデータベースに問い合わせることは、コンテンツのＭＰ３又はＡＶＩとしての認識を条件とするものではない。

これらのシステムは、処理されるべき全てのコンテンツを認識できるという絶対的な前提に基づいて構成される。したがって、データベースルックアップを飛ばすことはできず、データルックアップが失敗した場合、これは手動識別のためにコンテンツを常に送ることを意味する。したがって、これらのシステムは、問題のコンテンツが識別できない単なるランダムノイズであっても、常にデータベースルックアップを実行し、手動識別のためにコンテンツを送る。

本発明の第１の態様では、その方法は、上記コンテンツアイテムが複数の所定のクラスのうちの一つに分類されたとき、且つそのときに限り、上記データベースルックアップを実行するステップを有する。この方法により、ルックアップがうまくいかないことが回避される。例えば、コンテンツアイテムがクラス「音楽」に分類される場合、音楽でのデータベースのルックアップは成功するであろうが、「ノイズ」として分類されたコンテンツアイテムは発見できず、したがって除外できる。

本発明の第２の態様では、その方法は、上記データベースルックアップが上記データを得ることができず、上記コンテンツアイテムが複数の所定のクラスのうちの一つに分類されたとき、且つそのときに限り、上記コンテンツアイテムを上記出力部に送るステップを有する。これは、人間オペレータが聞かなければならない又は見なければならないコンテンツの量を削減する。例えば、ブロードキャストオーディオモニタリングの場合、「音楽」と「音楽以外」とを区別する簡単な二クラス分類器を使用することができる。この場合、フィンガープリンティングによって識別されず「音楽」として分類されなかったオーディオを、手作業で識別しなければならないだけである。識別されなかったオーディオの大部分はスピーチからなるので、手作業をかなり削減することが達成できる。

それは、人間オペレータに知らされるデータの量を最小限にするという利点を提供する。サーバによって認識されない全てのコンテンツは、人間オペレータがそれらのコンテンツを聞く又は見ることができる端末に送られなければならない。これは、潜在的に大量のオーディオコンテンツ又はビデオコンテンツをオペレータに送らなければならないことを意味する。オペレータが物理的に遠い場所に位置している場合、必要な帯域幅は費用がかかるだろう。本発明によれば、認識できないものとして分類されるコンテンツを送る必要はなく、これは必要な帯域幅を削減する。

他の実施例では、その方法は、上記コンテンツアイテムが分類されたクラスに基づいて、上記出力部を複数の出力部から選択するステップを有する。識別されなかったコンテンツを特定のジャンル（ポップ、クラシック等）に分類できるさらに高性能の分類器は、識別されなかったコンテンツを、対応するジャンルの専門知識を有する適切な人に自動的に配信できる特別の可能性を加えたものである。

他の実施例では、その方法は、上記コンテンツアイテムのフィンガープリントを算出することによって上記識別子を得るステップを有する。オーディオクリップ又はビデオクリップのようなコンテンツアイテムのフィンガープリントは、問題のアイテムの最も関連がある知覚的特徴の表現である。斯かるフィンガープリントは時には「（強い（robust））ハッシュ」としても知られる。

他の実施例では、その方法は、上記コンテンツアイテムに埋められるウォータマークのペイロードから上記識別子を抽出することによって上記識別子を得るステップを有する。ウォータマーク検出は、特にビデオウォータマーク検出の場合、かなりの処理量を必要とするだろう。

本発明の第３の態様によれば、識別子がフィンガープリント算出又はウォータマークペイロード抽出によって得られるものである場合、コンテンツアイテムを複数の所定のクラスのうちの１つに分類したとき、且つそのときに限り、これらの動作を実行することが有利である。

ウォータマークの場合、ウォータマークを含んでいないものとして認識されるコンテンツを分類および無視することによって、必要な処理量が削減される。ウォータマークが存在していることを示さないクラスに分類することができるコンテンツ（例えばコマーシャル又はランダムノイズ）は、ウォータマーク検出を受ける必要がない。

フィンガープリント算出の場合、幾つかの構成では、フィンガープリント算出は、データベースルックアップが実行される場所から物理的に離れた位置で行われる。斯かる構成では、スピーチ若しくはノイズのような認識できないコンテンツ、又はコマーシャルブレーク若しくはニュースのような識別される必要がないコンテンツに対しても、フィンガープリントが算出される。斯かる認識できないコンテンツを「排除する」ために分類器を適用することにより、データベースルックアップ部分に送られる必要があるフィンガープリントの量が削減される。

本発明の別の目的は、プリアンブルによるシステムであって、従来技術で必要な手作業を削減するシステムを提供することである。

この目的は、本発明によれば、上記識別子を得る手段、上記データベースルックアップを実行する手段、および上記コンテンツアイテムを送る手段のうちの少なくとも１つが、上記コンテンツアイテムを複数のクラスのうちの一つに分類する手段の出力に依存して動作することを特徴とするシステムによって、達成される。

一実施例では、人間によって処理するためにコンテンツアイテムを送る手段は、上記データベースルックアップを実行する手段が上記データを得ることができず、且つ上記分類する手段が上記コンテンツアイテムを複数の所定のクラスのうちの一つに分類することを条件に、上記コンテンツアイテムを送る。

本発明のこれらおよび他の態様は、図面に示される実施例から明らかであり、その実施例を基準にして説明されるだろう。

図を通じて、同じ符号は、同様の又は対応する特徴を示す。図面に示される特徴の幾つかは、典型的にはソフトウェア、およびソフトウェアエンティティを表すようなもの（例えば、ソフトウェアモジュール又はソフトウェアオブジェクト）で実現される。

図１は、クライアント１０１、サーバ３００、およびフィンガープリントデータベース３１０を概略的に示す。クライアント１０１は、ラジオのようなオーディオ設備、又はテレビ受信機のような映像信号のソースとすることができる。クライアント１０１は、携帯電話とすることもできるだろう。クライアント１０１は、通常、レンダーするコンテンツアイテムを別のソースから得る。例えば、ラジオは、空中から又はケーブル接続から、ブロードキャスト伝送を受け取り、そこから可聴信号を発生／レンダーするだろう。電話は、その内蔵マイクロホンを使用して音声を、又はその内蔵カメラを使用して映像を、受け取ることができる。

簡潔にするために、図１の実施例は、オーディオクリップを基準にして説明されているが、本発明はビデオクリップも等しく十分に扱うことができる。

サーバ３００は、ここでは、入力モジュール３０１、フィンガープリントモジュール３０２、データベースマネージメントシステム（ＤＢＭＳ）バックエンドモジュール３０３、およびレスポンスモジュール３０４を有する。クライアント１０１により届けられるオーディオクリップに関連するデータを得ることが、サーバ３００のタスクである。通常、このデータは、オーディオクリップのタイトル又はアーティストのようなメタデータであるが、オーディオクリップにおいて広告される製品を購入することができるインターネット上のサイトのようなデータとすることもできるだろう。

入力モジュール３０１は、クライアント１０１からオーディオクリップを受け取る。次いで、このオーディオクリップは、フィンガープリントモジュール３０２に供給される。フィンガープリントモジュール３０２は、受け取ったオーディオクリップからフィンガープリントを算出する。強い（robust）フィンガープリントを算出する１つの方法が、国際特許出願ＷＯ０２／０６５７８２号（代理人整理番号ＰＨＮＬ０１０１１０）に記載されているが、もちろん、フィンガープリントを算出する如何なる方法も使用することができる。次いで、フィンガープリントモジュール３０２は、算出されたフィンガープリントを、識別子としてＤＢＭＳバックエンドモジュール３０３に供給する。

ＤＢＭＳバックエンドモジュール３０３は、データベース３１０から、受け取った識別子に関連するメタデータの集合を検索するためにデータベース３１０に問合せをする。図１に示すように、データベース３１０はフィンガープリントＦＰ１、ＦＰ２、ＦＰ３、ＦＰ４、およびＦＰ５の形式の識別子と、それぞれに関連するメタデータの集合ＭＤＳ１、ＭＤＳ２、ＭＤＳ３、ＭＤＳ４、およびＭＤＳ５とを有する。上記の国際特許出願ＷＯ０２／０６５７８２号は、未知の信号を識別するために、未知の信号を表すフィンガープリントを、データベースに記憶されている識別信号の複数のフィンガープリントと照合する効率的な方法も記載している。

データベース３１０を種々の方法で編成してクエリー時間および／又はデータ編成を最適化することができる。フィンガープリンティングモジュール３０２の出力は、データベース３１０のテーブルを設計するとき、考慮されるべきである。図１に示される実施例では、データベース３１０は、対応するフィンガープリントとメタデータの集合とを有するエントリ（レコード）を持つ単一テーブルを有する。

データベース３１０を実現する別の方法は、幾つかのテーブルをセットアップすることである。第１のテーブルは複数の固有の識別子（主キー）を有しており、この固有の識別子の各々は、対応するメタデータの集合に関連する。斯かるテーブルは種々の音楽識別ソースから得ることができる。アーティスト、タイトル、およびリリースの年の組合せは、固有の識別子を形成するために組み合わせることができるが、この識別子は固有のものである保証はなく、そのため、好ましくは実際に世界的に固有の値が使用される。

第２のテーブルは、エントリが各コンテンツアイテムについてフィンガープリントと第１のテーブルからの固有の識別子とを有するように、セットアップされる。この方法により、メタデータを複製しなくても、複数のフィンガープリントを１つのメタデータの集合に関連させることができる。１つのコンテンツアイテムに対して複数のフィンガープリントが可能である場合、これら全てのフィンガープリントは第２のテーブルに記憶され、全てのフィンガープリントはその１つのコンテンツアイテムのための唯一の識別子に関連している。

ＤＢＭＳバックエンドモジュール３０３は、受け取ったフィンガープリントを第２のテーブルの中のフィンガープリントと照合し、識別子を得、メタデータを得るためにその識別子を第１のテーブルと照合する。データベース３１０がＳＱＬデータベースである場合、２つのテーブルをその識別子で結合することができるだろう。ＤＢＭＳバックエンドモジュール３０３はクエリーの結果をレスポンスモジュール３０４に供給し、モジュール３０４はその発見されたメタデータをクライアント１０１に送り返す。

クライアント１０１が携帯電話である場合、メタデータを、例えばＳＭＳメッセージ又は電子メールメッセージとして伝送することができるだろう。入力モジュール３０１で受け取られるオーディオクリップが携帯電話で送られた場合、CallerID又は自動番号識別又は同様の手段により電話番号を得ることができる。次いで、入力モジュール３０１は発信者番号をレスポンスモジュール３０４に供給し、このためＳＭＳメッセージをその同じ番号に送ることができる。

あるいは、入力モジュール３０１は、サーバ３００にコンタクトするときにユーザにより提供されるユーザネーム又は電子メールアドレスのようなユーザを識別する別の手段を受け取ることができるだろう。このサービスを使用するために登録を必要とすることができ、ユーザの登録を、例えば、ユーザにより提供されるユーザネームに基づいて詳細にチェックすることによって、宛先アドレスを得ることができる。

さらには、発見されたメタデータを、好ましくはクライアント１０１の識別子とエントリが記録されたタイムスタンプと一緒に、ログファイルに記録することができる。この方法により、ログファイルは処理されたコンテンツアイテムの正確なレポートを含む。このログファイルは、例えば特定のチャネルに何がブロードキャストされたのかについての証拠として役立せることが可能である。このログファイルは、American Society of Composers, Authors and
Publishers(ASCAP)又はDutch BUMA/Stemra等の著作権クリヤリングハウスにより使用され、どれくらいのロイヤリティが特定の著作権者に与えられるべきであるのかを決めることができる。斯かるロイヤリティは、多くの場合、特定の歌がブロードキャストされる回数の評価に基づいており、このリストは公平な第三者によって正確な評価を提供する。放送局は、特定のコンテンツアイテムをブロードキャストする回数を少なく又は多く見積もることができ、又は十分な詳細を供給するのを好まないとすることができる。

もちろん、このリストは、他の多くの目的にも価値があるものとなり得る。このようにして識別されるコンテンツアイテムが広告又は販売促進メッセージを有する場合、リストを使用して、特定の広告又はメッセージが特定の時刻にブロードキャストされたということを証明する（又は、反証する）ことができる。この方法により、放送局は、広告主に対する契約義務を満たしたことを示すことができる。

他の拡張について、国際特許出願シリアル番号ＰＣＴ／ＩＢ０３／００２６０（代理人整理番号ＰＨＮＬ０２０１０１）に記載されている。この文献によれば、サーバ３００はクライアント１０１からのリクエストの処理に加えて、一つ以上のブロードキャストチャネルをモニターしなければならない。これらのチャネルのコンテンツに関連するメタデータは、二次データベースにコピーされなければならない。二次データベースは、少数のエントリを含む。したがって、二次データベースとの照合は、第１のデータベースとの照合よりも速い。二次データベースにおいて一致が見つからないときだけ、一次データベースでの照合が実行される。モニターされた伝送チャネル上で伝送されるコンテンツアイテムに対して多くのリクエストが到着することが予期されるので、より小さく且つ速い二次データベースのみを使用して多くのリクエストに答えることができることになる。概して、フィンガープリントを照合するのに必要な時間が削減される。

図２は、図１のシステムの変形例であって、フィンガープリントモジュール３０２がウォータマーク抽出モジュール３２２に置き換えられたものを概略的に示す。受信モジュール３０１により受け取られるクリップは、クリップの中のウォータマークされたデータを検出し抽出することを試みるウォータマーク抽出モジュール３２２に渡される。次いで、抽出されたデータは、データベースルックアップを実行して識別子に関連するメタデータを得るＤＢＭＳバックエンドモジュール３０３に渡すことができる識別子として使用される。

図２に示すように、データベース３２０は識別子ＩＤ１、ＩＤ２、ＩＤ３、ＩＤ４、およびＩＤ５と、それぞれに関連するメタデータの集合ＭＤＳ１、ＭＤＳ２、ＭＤＳ３、ＭＤＳ４、およびＭＤＳ５とを有する。サーバ３００の残りの動作は、図１を基準にして上に記載されたのと同じである。

サーバ３００では、フィンガープリント技術を用いて動作するか、ウォータマーク技術を用いて動作するか、又は他のタイプの識別手法を用いて動作するかによって、特定の識別子をデータベース３１０、３２０内に発見できないことが起こり得る。斯かる場合、問題となっているコンテンツアイテムは、人間オペレータ２００が手作業でコンテンツアイテムを調査し、手動認識を試みることができるように、出力部に送ることができる。出力部は、例えば、端末、音声スピーカ、表示画面、又はネットワークへの接続部とすることができる。データベースで発見することができないコンテンツは、電子メールで、又は他の手段によって、遠隔位置に送ることができるだろう。次いで、遠隔位置のオペレータは、コンテンツを手作業で調査することができる。

図１および図２において、コンテンツアイテムは、斯かる場合において、スピーカを用いて端末２１０で再生され、人間オペレータ２００はそのアイテムを聞いてメタデータを入力又は選択するだろう。次いで、このメタデータは、クライアント１０１に送る又はログファイルに記録する又は他の方法で使用できるように、レスポンスモジュール３０４に供給される。オペレータ２００がメタデータをリアルタイムで入力しない、又はコンテンツアイテムを識別できない場合、レスポンスモジュール３０４によってクライアント１０１に適切なメッセージが送られるだろう。

本発明は、サーバ３００が、コンテンツアイテムを多数のクラスのうちの一つに分類する自動分類技術の使用によって利益を得るという洞察に基づく。上記のステップのうちの少なくとも１つがコンテンツアイテムの分類を条件に実行される場合、サーバ３００の動作が向上する。

この目的のために、サーバ３００は自動分類器３０９を備えている。本明細書の終わりに、多数の自動分類方法が述べられている。自動分類の典型的システムは、特徴抽出ステージで構成され、この特徴抽出ステージの次には、特徴を1つ以上のコンテンツのクラスにマッピングする分類ステージが続いている。

分類器３０９は、コンテンツアイテムを分析し、コンテンツアイテムを多数のクラスのうちの一つに分類する。分類は、例えば、「音楽」および「音楽以外」（例えば、「スピーチ」若しくは「ノイズ」）又は「映画」対「コマーシャルブレーク」のように簡単にすることができるだろう。ジャンル分類、特定のコンテンツハイライトの自動検出、および自動話者認識などの、更に詳細な分類も利用できる。斯かる分類方法は、オーディオを、「クラシック」、「ロック」、「スピーチ」、「ジャズ」、「ラップ」等のクラスに分類すること、又はビデオを「映画」、「コマーシャルブレーク」、「ニュース」等のクラスに分類することを可能にする。

本発明の一態様によれば、データベースルックアップがデータを得ることができず、コンテンツアイテムが多数の所定のクラスのうちの一つに分類された場合、コンテンツアイテムは人間によって処理するために送られる。例えば、ブロードキャストモニタリングの場合、簡単な二つのクラス分類器（「音楽」と「音楽以外」とを区別する）を使用することができる。この場合、自動的に識別されなかったオーディオであって、「音楽」として分類されるオーディオを、手作業で識別する必要があるだけである。識別されなかったオーディオの大部分はスピーチから成るので、大幅な手作業の削減を達成することができる。

一実施例では、処理するためにコンテンツアイテムが送られる人の出力部は、コンテンツアイテムが分類されたクラスに基づいて、複数の出力部から選択される。多重クラス分類器が使用される場合、フィンガープリントデータベースのコンテンツをさらに高い水準で管理することもできる。識別されなかった音楽を特定のジャンル（ポップ、クラシック等）に分類できるさらに高性能の分類器は、識別されなかったオーディオを、対応するジャンルの専門知識を有する適切な人に自動的に配信できる特別の可能性を加えたものである。

このために、サーバ３００はコンテンツアイテムを複数の出力部のうちの一つに送るようにプログラムされる。各出力部は、１つの特定のクラスに関係している。例えば、人間オペレータが特定の端末でログインするときこの関係を手作業で又は自動で作れるだろう。人間オペレータはこの情報を入力することができ、又はこの情報を、サーバ３００がこの情報を自動的に知るように、データベース又はこのオペレータのユーザプロファイルに登録できるだろう。サーバ３００は、コンテンツアイテムを、コンテンツが分類されたクラスに関連する特定の端末に送る。

斯かる高度な分類は、データベース３１０、３２０のコンテンツを調整することも可能にする。例えば、手動識別のために送られるコンテンツアイテムの大部分がジャズとして分類される場合、もっと多くのジャズミュージックがデータベース３１０、３２０に加えられるべきである。なぜならば、これは、多くのメタデータのリクエストがジャズミュージックに関係し、データベースは現在十分なジャズミュージックを含んでいないことを明らかに示すものだからである。

本発明の別の態様によれば、コンテンツアイテムが多数の所定のクラスのうちの一つに分類された場合、データベースルックアップが実行される。例えば、データベース３１０、３２０が音楽又は広告のみを含む場合、コンテンツアイテムが「音楽」又は「広告」として分類される場合のみデータベースルックアップを実行することができるだろう。この方法により、ルックアップがうまくいかないことが回避される。

携帯電話サービスの場合、全ての記録され識別されなかったオーディオクリップのかなりの部分が、ノイズのみからなる。これは、通常、携帯電話が音源から遠すぎるときに生じる。二クラス分類器が使用される場合、「音楽以外」又は「ノイズ」として分類される全ての録音を無視することができる。したがって、人間オペレータ２００は「音楽」として分類される録音を聞き、識別するだけである。したがって、識別されなかったオーディオクリップの識別をより効率的に行うことができる。

しかし、本実施例では、非常に低いフォールスネガティブレートを有する分類技術を選択することが重要である。すなわち、エラーにより所定のクラスのうちの一つに分類されないアイテムの数を非常に少なくすべきである。発明者は、実際に、典型的な二クラス分類器が短いオーディオクリップ（５秒から１０秒）に対して約９０％の分類性能を有することができることを発見した。これは、音楽の１０％が音楽以外として分類されることを意味する。したがって、組合型の分類／識別システムの全体的な性能は、９０％よりも下がるであろうし、これは明らかに望ましくない。

さらに別の態様（図示せず）では、フィンガープリントモジュール３０２又はウォータマーク抽出モジュール３２２は、分類器３０９によりコンテンツアイテムが多数のクラスのうちの一つのクラスに分類されることを条件に動作するように構成される。本実施例において、「ノイズ」又は「音楽以外」等のクラスに分類されるコンテンツは、ウォータマークペイロード抽出又はフィンガープリント算出を受ける必要はない。

上記の実施例を組み合わせることが可能である点に注意すべきである。例えば、フィンガープリント算出は分類を条件にして行うことができ、識別されなかったコンテンツを送るためにどの出力部を選択するかということを分類に基づいて自動的に行うこともできる。または、識別子を得ることに意味があるかどうかを決定するために二クラス分類器を使用することができ、コンテンツを出力部に送るかどうかを決定するために、又はコンテンツがどの出力部に送られるべきかを決定するために、多クラス分類器を使用することができる。

図３は、本発明による方法の実施例を図示するフローチャートを示す。この方法は、ステップ３０から始まる。ステップ３１では、コンテンツアイテム（例えばオーディオクリップ又はビデオクリップ）が受け取られる。ステップ３２において、例えば、コンテンツアイテムに埋められるウォータマークのペイロードから識別子を抽出することによって、又はコンテンツアイテムのフィンガープリントを算出することによって、コンテンツアイテムの識別子が得られる。

ステップ３３では、識別子に関連するデータを検索するためにデータベースルックアップが実行される。ステップ３４において、ルックアップが成功したと判断された場合、リクエストされたデータが得られ、この方法はステップ３９で終了する。ルックアップが失敗した場合、方法はステップ３５に進む。

ステップ３５では、コンテンツアイテムは、例えば「音楽」又は「ノイズ」のどちらかとして、多数のクラスのうちの一つに分類される。次いで、ステップ３６において、分類に基づいてコンテンツアイテムを人間オペレータ２００に送るかどうかの決定が行われる。例えば、コンテンツが「音楽」として分類される場合、コンテンツアイテムはオペレータ２００に送られる。

決定がコンテンツアイテムを送ることである場合、ステップ３７において、オペレータ２００が入力した又はデータベースから選択したデータが受け取られる。そのとき、この方法もステップ３９において終了する。コンテンツアイテムが送られる必要がない場合、この方法は直にステップ３９において終了する。この場合、幾つかの種類のエラーメッセージがクライアント１０１に与えられるべきである。

図４は、本発明による方法の別の実施例を図示するフローチャートを示す。図３のステップと同一のステップは、ここでは繰り返して説明しない。

ステップ４４において、ステップ３５から得られた分類に基づいて、識別子に関連するデータを検索するためにデータベースルックアップを実行するかどうかの決定が行われる。例えば、コンテンツアイテムが「ノイズ」として分類される場合、データベースルックアップは適合の検索をすることはなく、したがってルックアップをスキップできる。データベースルックアップが望まれる場合、この方法はステップ３９に進み、望まれていなければステップ３９において終了する。ステップ４６においてステップ３３のルックアップが失敗したと決定されると、この方法はステップ３７に進み、失敗しなければ、ステップ３９において、この方法は終了する。

図５は、本発明による方法の更に別の実施例を例示するフローチャートを示す。図３又は図４のステップと同一のステップは、ここでは繰り返して説明しない。

ステップ５４において、ステップ３５から得られた分類に基づいて、コンテンツアイテムの識別子を得るかどうかの決定が行われる。例えば、コンテンツアイテムが「ノイズ」として分類される場合、検出されるウォータマークは存在せず、ノイズのフィンガープリントを算出することもコンテンツアイテムの意味のある識別子をもたらさないだろう。それ故に、斯かる場合には、この方法を直ちに終了することができる。他の場合には、この方法は、識別子を得るためにステップ３２に進み、データベースルックアップを実行するためにステップ３３に進む。それ以降は、ステップは図４と同一である。

当業者が本発明にしたがってサーバを構成することができるように、既存の分類技術の幾つかの参考文献が以下に与えられている。本発明が１つの特定の分類技術に依存していない点に注意すべきである。使用する特定の技術の選択は、環境（例えば、二クラス分類器又は多クラス分類器が必要であるかどうか、人間は「音楽」および「ノイズ」のみがサーバ等に備えられることを期待しているかどうか）に依存する。

幾つかの二クラス分類技術は、以下の通りである。
・ E. Scheirer and M. Slaney. Construction and
evaluation of a robust multifeature speech/music discriminator. In Proc.
ICASSP, pages 1331-1334, Munich, Germany, 1997.
・ G. Lu and T. Hankinson. A technique towards
automatic audio classification and retrieval. In 4th int. conference on signal
processing, Beijing, 1998.
・ R. Jarina, N. Murphy, N. O’connor, and S. Marlow.
Speech-music discrimination from MPEG-1 bitstream. In WSES International
Conference on Speech, Signal and Image Processing, Malta, 2001.

幾つかの多クラス分類技術は、以下の通りである。
・ M. Zhang, K. Tan, and M. H. Er. Three-dimensional
sound synthesis based on headrelated transfer functions. J. Audio. Eng. Soc.,
146:836-844, 1998.
・ T. Zhang and C. C. J. Kuo. Audio content analysis
for online audiovisual data segmentation and classification. IEEE Transactions
on speech and audio processing, 9:441-457, 2001.
・ J. Foote. A similarity measure for automatic audio
classification. In Proc. AAAI 1997 Spring Symposium on Intelligent Integration and
Use of Text, Image, Video, and Audio Corpora, 1997.
・ M. S. Spina and V. W. Zue. Automatic transcription
of general audio data: Effect of environment segmentation on phonetic
recognition. In Proceedings of Eurospeech, Rhodes, Greece, 1997.
・ G. Tzanetakis, G. Essl, and P. Cook. Automatic
musical genre classification of audio signals. In Proceedings International
Symposium for Audio Information Retrieval (ISMIR), Princeton, NJ.
・ D. Pye. Content-based methods for the management of
digital music. In ICASSP 2000, Vol IV, pp 2437-2440, 2000.
・ D. N. Jiang, H. J. Zhang, J. H. Tao, and L. H. Cai.
Music type classification by spectral contrast feature. In Proceedings of ICME:
2002 IEEE international conference on multimedia and expo, Lausanne,
Switzerland, 2002.

上記の実施例は本発明を限定するものではなく、当業者は添付請求項の範囲を逸脱すること無く、多くの代替実施例を設計できることに注意すべきである。

例えば、パソコンに接続されるマイクロホンをクライアント１０１として使用することができるだろう。コンピュータはマイクロホンから音を録音し、その録音を例えばインターネットを通じて電子メールメッセージとして、又はＦＴＰ、ＨＴＴＰファイルアップロード若しくは同様のメカニズムを用いて、サーバ３００に送る。斯かる録音を行うために、記録手段を有するポータブル装置を使用することもできるだろう。ポータブル装置は、電話回線又はネットワーク接続を通じて、サーバに接続することができる。インターネットラジオ等の他の伝送チャネルは、コンテンツアイテムの直接記録および直接伝送が可能である。なぜならば、そのアイテムはデジタルフォーマットで伝送されるからである。

用語「有する」は、請求項に挙げられている以外の要素又はステップの存在を排除するものではない。要素が単数であることは、斯かる要素の複数の存在を排除するものではない。

本発明は、幾つかの別個の要素を有するハードウェアによって、および適切にプログラムされたコンピュータによって、実現することができる。幾つかの手段を列挙している装置請求項において、これらの手段の幾つかは、同じ１つのハードウェアによって実現できる。特定の手段が相互に異なる独立項に挙げられているという単なる事実は、これらの手段の組合せを有利に使用できないことを示すものではない。

フィンガープリントを識別子として使用してコンテンツアイテムに関連するデータを得るシステムを概略的に示す。ウォータマークのペイロードから取り出される識別子を使用してコンテンツアイテムに関連するデータを得るシステムを概略的に示す。本発明による方法の実施例を例示するフローチャートを示す。本発明による方法の別の実施例を例示するフローチャートを示す。本発明による方法の更に別の実施例を例示するフローチャートを示す。

Claims

コンテンツアイテムに関連するデータを得る方法であって、前記方法が、
前記コンテンツアイテムの識別子を得るステップ、
前記データを得るために前記識別子を用いてデータベースルックアップを実行するステップ、および
前記データベースルックアップが前記データを得ることができない場合、人間によって処理するために出力部に前記コンテンツアイテムを送るステップ、を有し、
前記方法は、前記コンテンツアイテムを複数のクラスのうちの一つに自動的に分類するステップを有し、前記コンテンツアイテムの分類に基づくことを条件に、前記識別子を得るステップ、前記データベースルックアップを実行するステップ、および前記コンテンツアイテムを送るステップのうちの少なくとも１つを実行する、方法。
前記コンテンツアイテムが複数の所定のクラスのうちの一つに分類されたとき、且つそのときに限り、前記データベースルックアップを実行するステップを有する、請求項１の方法。
前記データベースルックアップが前記データを得ることができず、前記コンテンツアイテムが複数の所定のクラスのうちの一つに分類されたとき、且つそのときに限り、前記コンテンツアイテムを前記出力部に送るステップを有する、請求項１の方法。
前記コンテンツアイテムが分類されたクラスに基づいて、前記出力部を複数の出力部から選択するステップを有する、請求項１、２、又は３に方法。
前記コンテンツアイテムのフィンガープリントを算出することによって前記識別子を得るステップを有する、請求項１の方法。
前記コンテンツアイテムに埋められるウォータマークのペイロードから前記識別子を抽出することによって前記識別子を得るステップを有する、請求項１の方法。
前記コンテンツアイテムが複数の所定のクラスのうちの一つに分類されたとき且つそのときに限り前記識別子を得るステップを有する、請求項５又は６の方法。
コンテンツアイテムに関連するデータを得るシステムであって、前記システムが、
前記コンテンツアイテムの識別子を得る手段、
前記データを得るために前記識別子を用いて前記コンテンツアイテムに対しデータベースルックアップを実行する手段、および
前記データベースルックアップが前記データを得ることができない場合、人間によって処理するために出力部に前記コンテンツアイテムを送る手段、を有し、
前記識別子を得る手段、前記データベースルックアップを実行する手段、および前記コンテンツアイテムを送る手段のうちの少なくとも１つが、前記コンテンツアイテムを複数のクラスのうちの一つに分類する手段の出力に依存して動作する、システム。
前記コンテンツアイテムを送る手段は、前記データベースルックアップを実行する手段が前記データを得ることができず、且つ前記分類する手段が前記コンテンツアイテムを複数の所定のクラスのうちの一つに分類することを条件に、前記コンテンツアイテムを送る、請求項８のシステム。
プロセッサに請求項１の方法を実行させるコンピュータプログラム。