JP2006513513A - ディスプレイを使用することなしにオーディオコンテンツのメニューを作成及びアクセスするための方法 - Google Patents

Abstract

たとえば、音楽トラックであるオーディオコンテンツ用のメニューＴを作成するための方法は、オーディオコンテンツを類似のトラックからなるクラスタＣ１，．．．，Ｃ３に分類するための手段ＣＬを使用し、類似性とは、トラックの物理的、知覚的及び心理的な特徴を示している。本方法は、クラスタＣ１，．．．，Ｃ３について自動的な代表の選択のための手段Ｒ、及びオーディオトラックのサムネイルの代表を発生するための手段Ｘを備えている。該オーディオサムネイルは、メニューＴに関連されている。有利なことに、ユーザはオーディオサムネイルを聞き、たとえば、関連されるトラック又は同じクラスタに属する類似のトラックを聞くか、又は別のクラスタを表現している別のサムネイルを選択することで別のタイプの音楽を聞くかのいずれかについて適切なボタンを押すことで、コマンドを入力する場合があるので、グラフィックディスプレイ及びテクスチャディスプレイがナビゲーションのために必要とされない。

Description

本発明は、非常に自然なやり方で、記憶されているオーディオファイルを通してユーザがブラウジングするのを可能にするオーディオマネージメントシステムに関する。本発明は、ＭＰＥＧオーディオレイヤ３（ＭＰ３）のようなオーディオコンテンツ用の大容量デジタルストレージプレイバックシステムに関する。

デジタルストレージ及びオーディオ圧縮の技術における最近の進歩に駆動されて、オーディオファイルの非常に大きなコレクションを管理する問題が主要になってきている。たとえば、現世代のＭＰ３プレーヤは、１０ギガビットのハードディスクドライブを含んでおり、このドライブにより、ユーザは、たとえば、４．０００を超えるタイトルを意味する３００時間を超えるＭＰ３ＰＲＯミュージックを記憶するのが可能となる。
信頼できるツールは、それらのコレクションをユーザにとってアクセス可能にするために必要とされる。

オーディオファイルに索引を付ける古典的なやり方は、たとえば、ＭＰ３オーディオファイルのＩＤ３タグのようなタイトル、アーティスト、アルバム又はジャンルのようなテクスチャ・メタ情報に基づいている。この類の組織化には幾つかの問題点がある。
１．メタデータはテクスチャであって、オーディオではなく、したがって、オーディオコンテンツの正確な表現を与えることができず、コンテンツの代表的な抜粋のように行うことができる。
２．ジャンル又はアーティストにより記憶される組織化により、ユーザは特定の１曲の音楽を配置することができる。これは、ユーザが何を聞きたいかを正確にわかっている、ユーザが良好に定義された目標を有していることを前提としている。方策を探しているユーザは、目標で駆動されなければならず、及び決定的でなければならない。
３．多数のジャンルが存在する。たとえば、ミュージックアーカイブｍｐ３．ｃｏｍは、１６の主要なジャンルに組織化される１８０の異なるサブジャンルの下でそのタイトルを現在列挙している。ユーザにとって、かかる組織化においてナビゲーションを行うことは困難である。
４．ジャンルは、先験的に確立され、コンテンツそれ自身から推測されないため、主観的なことがある。それらは、解釈するのが困難なことがある。
５．ジャンルによる分類は、たとえば、「この１曲の音楽は私をリラックスさせる。これに類似した曲をもっと聞きたい」のようなユーザニーズを非常に簡単に満たすことができない。

本発明は、上記の問題点を克服するために対処される。
本発明は、オーディオコンテンツの簡単な例（見本）を使用して、たとえばＭＰ３といった大量のオーディオファイルを通してナビゲーションを行うための処理及びシステムを扱う。ユーザがミュージックトラックを選択する前に、彼は、オーディオサムネイル（audio thumbnail）と以下で呼ばれる、簡単な代表的な引用を聞くことの利益を得ることができる。オーディオサムネイルは、たとえば５又は６秒の音楽を認識するに十分な長さからなる。

記憶されたオーディオファイルは、幾つかの関係した、主観的な記述子を抽出するために前もって処理される。本発明によれば、これらの記述子は、ミュージックトラックを知覚によって同種のグループにクラスタリングするために使用される。それぞれのクラスタから、関連するトラックが自動的又は手動的、若しくは半自動的に選択され、該選択されたトラックから、オーディオサムネイルが抽出される。次いで、これらキーフレーズであるオーディオサムネイルは、ディスプレイのような視覚的なナビゲーション手段なしにユーザがナビゲーションするのを可能にする、ツリーデータ構造、又はコンテンツのテーブルに配列される。

さらに、オーディオサムネイルにより、ユーザは、タイトル又は俳優名のようなテクスチャエレメントを思い出す必要なしに、オーディオデータベースを通して知覚的にナビゲーションを行うことができる。何を聞きたいかに関する正確な考えなしにそれらのデータベースをブラウジングすること、及び歌のクラスタから知覚的に選択することを可能にするために特に適している。知覚的にとは、本明細書では、サムネイルがユーザの知覚に向けられ、ユーザの記憶に向けられるのではないことを意味している。また、かかるクラスタは知覚的であって、クラスタの構造がユーザにとって適切であり、したがって、該構造化が実際のユーザニーズに合致することを意味している。

本発明を使用して、ユーザは、ポップ又はカントリーのような古典的な音楽のカテゴリを超えて、プレイリストを作成することができる。本発明の例示的な実施の形態は、添付図面を参照して記載される。

本発明は、オーディオコンテンツのオーディオの例を作成、組織化及び使用するための方法を説明する。本発明の構成が図１に示されている。通常は音楽であるオーディオトラックは、記憶手段Ｓに記憶されている。トラックは、分類手段ＣＬで分類され、トラックＣ１，Ｃ２，Ｃ３のクラスタに関連付けされる。それぞれのクラスタについて、代表的な例が代表選択手段Ｒで選択される。さらに、抽出手段Ｘは、該例から特徴的なサンプルすなわちサムネイルを抽出し、サムネイルは、コンテンツのテーブルＴに関連付けされている。ユーザは、第一のサムネイルにより表される第一のクラスタを選択するためにインタフェースＩを使用し、選択されたサムネイルを聞き、別のクラスタを選択するか、又は該第一のサムネイルに関連する該第一のクラスタを選択すべきかを判定し、該クラスタに属するトラックを選択し、次いでそのトラックは、ストレージ手段Ｓから読み出され、再生される。

有利なことに、このアプローチは、前の方法よりも知覚に基づいており、したがって、ユーザにとって更に便利である。本発明に係るオーディオベースのインデックスシステムは、他のコンテンツサーチシステムから知られている２つの方法、すなわち「テーブル・オブ・コンテンツ」方法及び「ラジオ・ライク・ナビゲーション」方法を組み合わせている。

「テーブル・オブ・コンテンツ」方法は、コンテンツのブックテーブルに関連するものであって、この場合、実際のテキストを要約する短い例のシーケンスがブックスコンテンツの構造に従ってグループ化される。これは、通常、トピックスへの論理的な分類との相関付けを行う。オーディオコンテンツ向けのこの方法を使用することは、以下に定義される主観的な基準に従って、オーディオファイルからパラメータ又は記述子を抽出することを意味し、次いで、クラスタにおける同種のトラックを互いにグループ化する。ユーザの観点で、それらのコンテンツベースの性質がジャンルにおける先験的な分類よりも更に進むため、これらのクラスタは意味がある。たとえば、全てのジャンルから到来する、全てのギターミュージックのグラグメントは、クラスタで互いにグループ化される場合がある。全てのリラックスさせる音楽は、別のクラスタを構成することができる。本発明によれば、異なるクラスタは、データベースの「テーブル・オブ・コンテンツ」を構成する。さらに、コンテンツのブックステーブルにおけるように、たとえば、１章、１．１章等のような異なる詳細のレベルが存在する場合がある。読者のように、章から章へナビゲーションを行うことができ、より詳細にある章を読むことを決定する場合があり、聞き手は、クラスタからクラスタにナビゲーションするか、又はクラスタからより類似の音楽を聴くことを決定する場合がある。

「ラジオ・ライク・ナビゲーション」方法は、ラジオを聞いているとき、典型的なユーザの振る舞いに関連する。この環境でのコンテンツのブラウジングは、たとえば、ユーザが自動車のラジオでのＦＭバンドをスキャニングしており、トラックを聞いているか又は次の放送局に切り替える。本発明は、ラジオステーションがトラックのクラスタに対応する、このコンセプトを使用している。次いで、「別の放送局への切り替え」は、「別のクラスタを選択する」に対応し、及び「トラックを聞く」は、「このトラックを聞くか、又は同じクラスタから類似のトラックを聞く」に対応する。

以下では、オーディオの例を作成及び組織化する上述されたステップが更に詳細に説明され、これらのステップは、トラックがデータベースに新たに追加されたとき、データベースが再組織化されたときに実行される。

第一のステップでは、オーディオトラックから記述子が抽出される。ユーザにとって主観的であって関連性のあることを試みて、３つのタイプの記述子が使用される。

第一のタイプの記述子は、信号処理方法にとって典型的である低レベルの記述子、又は物理的な特徴である。例は、スペクトルセントロイド、短時間エネルギー又は短時間アベレージのゼロクロスである。

第二のタイプの記述子は、ミュージシャンにより典型的に使用されるように媒体レベルの記述子、又は知覚的な特徴である。例は、２進リズム又は３進リズムといったリズム、調性、たとえばボイス又は特定の楽器といったフォーメーションの種類である。

第三のタイプの記述子は、平均的なユーザにとって典型的である、高水準の記述子、又はトラックの心理学的及び社会的な特性である。これらの特徴の主観的な性質を最小にするのを試みて、幸せ又は心配、平穏又はエネルギッシュであるとして音楽を分類することが可能である。これらの特性は、所定の程度に割り当てることができるか、所定の確率により、たとえば前に記載されたタイプの記述子が使用されるときに１曲の音楽に割り当てられる。また、ある曲は高く記憶することができ、所定のムード又は情緒を伝達することができ、何かのユーザを思い出させることができる等である。これは、管理されたアルゴリズム、すなわちユーザインタラクションを必要とするアルゴリズムを使用して自動的に行われる場合がある。

第二のステップは、音楽トラックをクラスタリングすることからなる。第一のステップで定義された記述子を使用して、トラックは、同種のクラスに分類することができる。これらのクラスは、アーティスト又はタイトルにより音楽を分類するよりもユーザにとって価値がある。類似の特性をもつパケットにトラックをクラスタリングするため、管理されていないアルゴリズムが使用される場合がある。かかるアルゴリズムの例は、Ｋ−ｍｅａｎｓ又は自己組織化マップである。新たなクラスタは、新たに追加されるトラックが類似しないことが既存のクラスタに比較して所定の最小レベルに到達したときに自動的に発生される場合があり、そのケースでは、新たに追加されたトラックは、新たなクラスタと関連される。

このポイントで、トラックが分類され、したがってコンテンツのテーブルを作成することが可能である。シャープな分類が必要とされておらず、たとえば、いずれかの数のクラスタで同じトラックを有することが可能である。たとえば、あるクラスタは、ギター音楽用であり、別のクラスタは、平穏な音楽用である場合があり、両方の特徴に整合するトラックが両方のクラスタと関連付けされる場合がある。このケースでは、両方のクラスタは、かかるオーディオトラックへのリンクを含んでいる場合があるが、トラックそれ自身は、一度だけ記憶される必要がある。

第三のステップは、それぞれのクラスタについて代表的なトラックを自動的に選択することからなる。有利なことに、古典的なメドイド（medoid）選択を使用して、クラスタについて最も代表的なトラックが選択される。メドイドは、クラスタの全てのオブジェクトに対する平均の相違が最小であるクラスタのオブジェクトである。かかる相違は、たとえば、第一のステップの間に抽出された記述子を使用して決定することができる。

第四のステップでは、メドイドトラックについてオーディオサムネイルが作成され、記憶される。本発明の別の実施の形態では、オーディオサムネイルは、他のトラックについても作成され、記憶される場合がある。サムネイルの作成について、短いオーディオシーケンスによりオーディオトラックを特徴付けするためにどの基準が最良であるかが評価される。オーディオシーケンスは、たとえば５又は６秒といったトラックを認識するために十分に長い。本発明の１実施の形態では、サムネイルの長さは一定であり、第二の実施の形態では、サムネイルの長さを変更することができ、第三の実施の形態では、トラック記述子に従って、サムネイルの長さをトラックからトラックに変化することができる。さらに、本発明の１実施の形態では、サムネイルは、トラックからのオリジナルのサンプルであるか、又は別の実施の形態では、かかるトラックから自動的に合成される。

第五のステップでは、オーディオサムネイルは、バーチャルテーブルに一覧され、このバーチャルテーブルは、異なるラジオステーションを通してスキャニングするように、ユーザによりスキャニングすることができる。テーブルをスキャニングしたときに、クラスタ内で最も関連するトラック、すなわちメドイドが最初に発見されるように、テーブルが組織化される場合がある。たとえば、関連性に従って、クラスタ内の他のトラックがソートされる場合がある。有利なことに、コンテンツのテーブルを通してスキャニングするため、グラフィカルディスプレイ又はテクスチャディスプレイが必要とされない。コンテンツのテーブルの構造は、以下のようである場合がある。

ユーザは、現在のトラックを聞くか、又は同じクラスタに属している別のトラックを聞くか、従って該現在のトラックに類似している別のトラックを決定する場合がある。代替的に、ユーザは、別のクラスタからのトラックを聞くのを決定する場合がある。有利なことに、いわば「クラスタを切り替える」である、ナビゲーションシステムを動作するため、唯一のボタン、又はコマンド入力の他の手段が必要とされる。ユーザにとってより快適なのは、図２に示されるような３つのボタンをもつ装置である。１つのボタンＳＤは、「近くのクラスタに切り替える」であり、１つのボタンＳＵは、「離れたクラスタに切り替える」であり、１つのボタンＭは、「現在のクラスタから別のトラックに切り替える」である。

代替的に、ボタンが１を超える機能又はユーザ入力の他の手段を有する場合は、唯一のボタンを有することが十分である。ユーザ入力により制御される他の機能は、たとえば、ランダムトラックセレクション又はランダムクラスタセレクションモードである。別の機能は、ユーザが１つのクラスタを選択するまで全てのクラスタの典型を連続的に再生することであり、該機能は、ユーザがコンテンツのテーブルを手動的にスキャニングする必要がないので有利である。

以下、更なる実施の形態が記載される。
ぞれぞれのクラス基準が互いを排除しないとき、本発明の１実施の形態では、オーディオトラックは、唯一のクラスタに属し、別の実施の形態では、オーディオトラックは、１を超えるクラスタに属している場合がある。

本発明の１実施の形態では、コンテンツのテーブルは、先に記載された例におけるように唯一のクラスタリングのレベルを有し、別の実施の形態では、コンテンツのテーブルは、より階層的なクラスタのレベルを有することができる。

本発明の１実施の形態では、オーディオトラックのための分類のルールは最終的なものであって、別の実施の形態では、該ルールは変更される場合がある。かかる変更は、たとえばインターネットを介して更新によるか、又はたとえばＰＣへのアップロード、ＰＣからのエディット及びダウンロードであるユーザインタラクションの形態によるか、又はたとえば人工知能により使用されるような統計的又はセルフラーニング方法によるか、のいずれかで生じる場合がある。

これは、変更又は拡張されたルールによる自動又は半自動再分類が、たとえばあるクラスタに関連されるトラック数が他のクラスタに関連されるトラック数よりも非常に大きいときに実行される場合があるように実現される場合がある。

本発明の１実施の形態では、サムネイルは、クラスタを表現しているトラックについてのみ作成される場合がある。本発明の別の実施の形態では、サムネイルは、たとえば、非常に頻繁に選択されるか、又は滅多に選択されないか、若しくは非常に長く選択されているような所定の条件を満たすトラックといった、他のトラックについても作成される場合がある。第三の実施の形態では、サムネイルは、全てのトラックについて作成される。

本発明の１実施の形態では、クラスタ内のトラックは、ユーザが所定のトラックが到来したときにしばらくして学習することができるように、一定のオーダーを有する場合がある。オーダーは、トラックの関連性、若しくは、たとえばストレージタイム又は選択の頻度といった他のパラメータに従うことができる。本発明の別の実施の形態では、クラスタ内のトラックがオーダリングされないか、又はユーザがクラスタを選択したときにランダムであるように見える場合がある。

本発明の１実施の形態では、それぞれのクラスタについて選択される代表的なトラックが存在し、別の実施の形態では、たとえば、好みのクラスタであるか、又は利用される方法により分類可能でないトラックのクラスタである、かかるクラスタのうちの１つについて代表的なトラックを持たないことが有効な場合がある。

有利なことに、音楽又は他のオーディオデータの記憶及び再生のため、知覚に基づいた分類及びオーディオコンテンツの検索のための記載される方法は、たとえばＭＰ３プレーヤである、好ましくは携帯用装置である装置で使用することができる。

オーディオメニューを使用したオーディオ再生システムの例示的なアーキテクチャである。 ディスプレイを持たない例示的なユーザインタフェースである。

Claims (18)

1. 記憶手段に記憶されるオーディオコンテンツのためのメニューを作成及びアクセスするための方法であって、該コンテンツはオーディオトラックからなり、該メニューは該オーディオトラックの表現を含み、
   該オーディオトラックの特徴パラメータに従って実行される分類により、該オーディオトラックをグループ又はクラスタに分類するステップと、
   該オーディオトラックの特徴パラメータ及び該クラスタの他のオーディオトラックの特徴パラメータに従って実行される選択により、クラスタにとって代表的であるオーディオトラックを自動的に選択するステップと、
   該代表的なオーディオトラックから再生可能なオーディオの抜粋を該表現として生成するステップと、
   該オーディオの抜粋をメニューリストに関連付けするステップと、
   を備えることを特徴とする方法。
2. オーディオコンテンツの分類のために使用される該特徴パラメータは、１以上のオーディオ記述子を備え、該オーディオ記述子は、該オーディオコンテンツの物理的な特徴、又は知覚的な特徴、若しくは心理的又は社会的な特徴のいずれかである、
   請求項１記載の方法。
3. 該オーディオトラックは、１を超えるクラスタに分類される、
   請求項１又は２記載の方法。
4. クラスタ内の該オーディオトラックは、クラスタを選択したときに、ユーザが、該クラスタに属する、ランダムに選択されたトラックを聞くように可変の順序を有する、
   請求項１乃至３のいずれか記載の方法。
5. ユーザは、オーディオトラックの自動的な分類の結果を変更する、
   請求項１乃至４のいずれか記載の方法。
6. ユーザは、オーディオトラックの自動的な分類のための分類ルールを変更する、
   請求項１乃至５のいずれか記載の方法。
7. 実際のオーディオデータは、該メニューに従って該記憶手段内で纏められる、
   請求項１乃至６のいずれか記載の方法。
8. 該オーディオの抜粋は、該オーディオトラックからのサンプルであるか、又は該実際のオーディオトラックから合成されたオーディオシーケンスである、
   請求項１乃至７のいずれか記載の方法。
9. 該オーディオの抜粋は、クラスタの代表ではないオーディオトラックについて更に作成される、
   請求項１乃至８のいずれか記載の方法。
10. 該オーディオの抜粋の長さは予め決定されない、
    請求項１乃至９のいずれか記載の方法。
11. 該クラスタのうちの１つは、代表的なトラックを有さない、
    請求項１乃至１０のいずれか記載の方法。
12. 該メニューは、クラスタが１以上のサブクラスタを含むように階層的である、
    請求項１乃至１１のいずれか記載の方法。
13. 該分類ルールは定義された前提条件が検出された場合に自動的に変更され、再分類が実行される、
    請求項１乃至１２のいずれか記載の方法。
14. 該前提条件は、あるクラスタにおけるトラック数と別のクラスタにおけるトラック数との間の差が最大の制限値に到達することを備える、
    請求項１３記載の方法。
15. 該前提条件は、全ての記憶されたトラックが１つのクラスタに分類され、全体のトラック数が最大の制限値に到達したことを備える、
    請求項１３記載の方法。
16. 記憶手段に記憶されるオーディオコンテンツのためのメニューを作成及びアクセスするための装置であって、該コンテンツはオーディオトラックからなり、該メニューはオーディオトラックの表現を含み、
    該オーディオトラックの特徴パラメータに従って実行される分類により、該オーディオトラックをグループ又はクラスタに自動的に分類するための手段と、
    該オーディオトラックの特徴パラメータ及び該クラスタの他のオーディオトラックの特徴パラメータに従って実行される選択により、クラスタにとって代表的であるオーディオトラックを自動的に選択するための手段と、
    該代表的なオーディオトラックから再生可能なオーディオの抜粋を生成するための手段と、
    該オーディオの抜粋をメニューリストに関連付けするための手段と、
    を備えることを特徴とする装置。
17. 第一のクラスタから第一のオーディオの表現を選択及び再生するための手段と、
    現在選択されたオーディオのサムネイルと関連されるクラスタが選択されたか否かを制御する入力である、第一のユーザ入力のための手段と、
    別のクラスタが選択されたか否かを制御する入力である、第二のユーザ入力のための手段と、
    を更に備えることを特徴とする請求項１６記載の装置。
18. 該選択されたクラスタのオーディオトラックは、再生のために該記憶手段から読み出される、
    請求項１６又は１７記載の装置。

Images