JP2013534333A - メディアアイテムを編成して視覚化する方法およびシステム - Google Patents

Abstract

本発明は、電子装置（３）上でメディアアイテム（２）を備える電子ファイル（１）を編成して視覚化する方法であって、この方法が、以下のステップ、すなわち、電子ファイル（１）にアクセスしてオープンし、かつコンテンツ（４）および／またはメタ情報（５）を抽出するメディアアイテム（２）の分析ステップと、コンテンツ（４）および／またはメタ情報（５）内のそれらの類似度に従うメディアアイテム（２）の編成ステップと、それらの類似度に従ってユーザインタフェース（７）上にレイアウトされる、および／または配置される視覚実体（６）としてのメディアアイテム（２）の視覚化ステップと、を含むことを特徴とする方法に関する。本発明は、更にこの種の方法を実現するコンピュータプログラムおよびこの種のコンピュータプログラムを備えるコンピュータ可読のメディア、同じくメディアアイテムを備える電子ファイルを編成して視覚化するための電子装置に関する。
【選択図】 図５

Description

本発明は一般に、電子装置上でメディアアイテムを備える電子ファイルを編成して視覚化する方法およびシステムに関し、このシステムがユーザインタフェース、処理ユニットおよび記憶ユニットを備える。

デジタル音楽データベースが、プロ用リポジトリ、同じく個人オーディオコレクションの両方に関して人気を得ている。インターネットサービスのネットワーク帯域幅および人気の継続的な進展は、オーディオライブラリと関係して働く人々の数の更なる増加さえ予想する。しかしながら、大きな音楽リポジトリの編成は、特にメディアアイテムに意味情報を手動で注釈する従来の解決策が選択される時、手間がかかり時間集約的なタスクである。

一般的に言って、この種のデータベースは、画像ファイル、オーディオファイル、ビデオファイルまたは他の電子的に格納されたアイテムとして代表されるメディアアイテムの大きなプールを分析し、編成し、かつ視覚化する。メディアプールは、１００，０００個の異なったメディアアイテムを容易に拡大することができる。ユーザに対して、それはしたがって、タイトル、ジャンル、アルバム、その他のような特定の基準に基づいてこの種の大きなデータベースをブラウズし、検索し、かつフィルタをかけることが可能な最高の重要性である。それに加えて、コンテンツベースの特徴は音楽の類似度、編成または分類によるブラウジングのようなタスクにますます役立つ。

コンテンツベースの記述子が、これらのタスクに対するベースを形成してかつ意味論的メタデータを音楽に加えることが可能である。しかしながら、何がメディアアイテムのコンテンツまたは意味論を定義するかの何の絶対的な定義もない。

音楽ジャンルは、多分音楽コンテンツの記述のための最も人気のメタデータであるだろう。音楽業界がジャンルの使用を奨励し、および、家庭ユーザはこの注釈によって彼らのオーディオコレクションを編成するのを好む。従って、ジャンルへのオーディオデータの自動分類の必要性が生じる。

オーディオトラックのようなメディアアイテムを備える電子ファイルの検索および分類のための方法は、現状水準で例えば（特許文献１）において周知である。コンテンツの分類は、複数の特徴ベクトルによって実行されることができる。類似度が次いで、多次元ベクトル空間内のこれらのベクトル間の距離によって定義される。しかしながら、共通して使う特徴ベクトルは通常、感情的特質、声の特質またはジャンルのような、メディアアイテムの主観的な特性を記述する。この種の特徴ベクトルは自動的に抽出されることができず、たとえばアンケートを用いて、ユーザから長々と引き出されなければならない。

それに加えて、これらの類似度に基づく編成および視覚化は、たとえばマッチしているアイテムの単純リストによる、一次元の表現を可能にするだけである。粗い検索に対して、何百または何千のメディアアイテムが、指定された類似度の範囲内で検索基準にマッチするかもしれず、かつユーザによって目を通されなければならないかもしれない。

米国特許出願第２００２／０００２８９９ Ａ１号明細書

現状水準の限界を克服してかつメディアアイテムの巨大なコレクションの高速調査を可能にするメディアアイテム編成および視覚化のためのシステムを実現し、ならびに、メディアプールコンテンツを調べる間、情報過負荷を回避してかつ適切な方向づけをもたらす適切な方法で利用可能で抽出されたデータを凝集することが、したがって、本発明の一目的である。

これらの目的その他を達成するために、電子装置上でメディアアイテムを備える電子ファイルを編成して視覚化する一方法が提示され、それが以下の諸ステップを含む：
電子ファイルにアクセスしてオープンし、かつコンテンツおよび／またはメタ情報を抽出するメディアアイテムの分析ステップと、
コンテンツおよび／またはメタ情報内のそれらの類似度に従うメディアアイテムの編成ステップと、
それらの類似度に従ってユーザインタフェース上にレイアウトされる、および／または配置される視覚エンティティとしてのメディアアイテムの視覚化ステップ。

それらの類似度に従うメディアアイテムの編成によって、大きなメディアプールのナビゲーション、検索および探査が、ユーザにとって極めて簡単にされる。類似したメディアアイテムが、より高速アクセスのためにグループ、とりわけ階層化グループに編成されることができる。コンテンツは、オーディオ信号、オーディオ波形、ビデオ信号、ビデオコンテンツ、テキストコンテンツ、画像コンテンツまたはそれの組合せを備えることができる。それは、任意の電子的にアクセス可能なコンテンツ、とりわけオーディオトラック、ビデオクリップ、デジタル画像または電子ブックであることができる。

メタ情報は、ファイルサイズのようなファイル特有情報、ＩＤ３タグ、アーティストまたはアルバムのような添付された情報、購買統計値のような外部情報、タグ、アーティスト、アルバムまたはジャンルのような手動で添付された情報、使用統計値のような自動的に添付された情報を備えることができる。

リズム、音質または視覚構造のようなスペクトル特徴が、メディアアイテムの類似度を評価するために１つ以上の周波数帯上のメディアアイテムのコンテンツから抽出されることができる。

メディアアイテムおよび／またはグループを視覚化するために、それらは二次元グリッドまたは三次元グリッドのような、グリッド上に配置されることができる。本発明に従うメディアアイテムが、コンテンツおよび／またはメタ情報に基づいて複数の特徴によって特徴づけられるので、特徴ベクトルの次元は適切な視覚化のために減少させられなければならない。これは、多次元的尺度構成法による、またはその他の次元低減方法による、自己組織化マップトレーニングとして公知の反復過程によって実行されることができる。自己組織化マップおよび多次元特徴ベクトルの多次元的尺度構成法に基づくマップの作成は、現状水準で周知であり、詳述しない。

とりわけ、グリッド上のメディアアイテムの位置は、空間データに対して特別データベース形態を利用して地理情報システム（ＧＩＳ）内に格納されることができる。これは、クライアントがズームインおよびアウトのような空間的問合せをすばやく実行することを可能にする。とりわけ、位置はＰｏｓｔＧＩＳデータベース内に格納されることができる。グリッド上のこの配置はメディアアイテムのマップを作り出し、ここで類似したメディアアイテムが共に近くに配置され、強く異なるメディアアイテムは、はるかに離れて配置される。

視覚化が、サイズの減少する任意の、好ましくは半径方向形状のカーネルによってグリッドデータを処理するステップおよび視覚エンティティを生成して配置するピーク検出ステップを含むことができる。視覚化は、また、グレースケール画像へのメディアアイテムの二次元グリッドの変換のステップを含むことができる。現状水準で周知であるカーネル相関またはスムージングのような画像処理方式が使用されることができ、したがって詳述しない。とりわけ、グリッドノードあたりメディアアイテムのカウントが実行され、グリッドノードあたり頻度のマトリクスに結びつくことができる。マトリクスは次いで、次第に減少する半径と共に（二次元グリッドに対して）ｘ軸およびｙ−軸に沿って半径方向カーネルとの畳み込みをつくられることができる。選ばれる最大カーネル半径は、ズームレベルによって決定されることができる。次いで、ピークが検出されることができ、それがクラスタセンターの位置を示す。

所定のズームレベルの視覚化が予備計算されることができ、かつより高速なユーザアクセスのためにデータベース内に格納されることができる。視覚エンティティは、円形、円形構造体、矩形構造体、ポリゴン、色のついた形状、三次元オブジェクトまたはそれの組合せを備えることができる。

メタ情報は、好ましくは記述ラベルを使用して視覚化されることができる。異なるメディアアイテムを記述する複数のラベルがしばしばあるので、同様にラベルの複雑度を減少させる必要性がある。とりわけ、複数のラベルがクラスタ化されることができ、および、クラスタがそのようなものとしてラベルをつけられることができる。ラベルクラスタの配置が、各可能なラベルに対するクラスタの数の推定ステップ、各可能なラベルに対するｋ平均法ステップ、そのクラスタセンターによるラベル位置の決定ステップによって決定されることができる。

あるいは、複数のラベルがクラスタ化されることができ、ならびにラベルクラスタの数および配置が、各可能なメタデータラベルに対する階層化凝集クラスタリングステップ、特定の位置で階層化ツリーを切断するステップ、残りのクラスタの重心の位置によってラベル位置を決定するステップによって決定されることができる。

また、データのｋ平均法または階層化凝集クラスタリングの技法は現状水準で周知であり、詳細な説明は省略される。

視覚化は、ユーザ入力を通してまたは自動的に適応される、および／または変更されることができる。とりわけ、メディアアイテムはユーザとの対話処理によって、選択され、取り出され、視覚化され、および／または再生され、および／または買物かごに入れられることができる。メディアアイテムプレイヤは、再生、ポーズ、次のトラック、最後のトラック、音量調節、（アーティスト、アルバム、タイトル、ジャンル、その他のような）トラックに関する表示情報および時間バーの表示のような機能を組み込む視覚化に一体化されることができる。拡張機能は、イコライザ、シャッフル、リピートおよび高度な視覚化特徴（スペクトラム、その他）を含む。アーティスト情報、他のメタ情報または音楽ビデオを含む関連のメディアアイテムが、表示されることができる。検索フィールドを備える、検索およびフィルタ機能が設けられることができ、ここで、ユーザが彼らの検索条件を入力することができる。得られたメディアアイテムが、視覚化ウィンドウ内に強調されることができる。アーティスト、歌の歌詞、ビデオへのリンク、コンサート、カバーまたは他のユーザのコメントに関する情報を備える付加情報が表示されることができる。これらの情報は外部データベースによって、とりわけインターネット上のサーバから提供されてもよい。

本発明は、本発明に従う方法を実現するコンピュータプログラムおよびこの種のコンピュータプログラムを備えるコンピュータ可読のメディアを更に備える。

とりわけ、本発明に従う方法のステップが、以下を含むことができる：
１．以下の方法の１つ以上での、メディアアイテムの分析：
ａ）ファイル名、タイトル、作者、アーティスト、カテゴリ、ジャンル、出版者、その他のような、しかしそれに限定されないメタ情報を処理する−（例えばファイルシステム情報を通して）それらに添付されるか、（例えばＩＤ３タグ内のＭＰＥＧレイヤ３ファイル内の）データと共に格納されるか、または外部ソース（デバイスデータベース、異なるソースから供給されるデータベース）から供給される、メディアアイテムを備える情報から引き出される
ｂ）ユーザによってメディアアイテムに添付されるメタ情報を明示的に（例えばカテゴリ、タグ、プレファレンスおよび他の関連する情報）、または、暗示的に（使用統計値、購買統計値、ユーザ／ユーザおよびユーザ／アイテム関係の分析または他の関連する情報）処理する
ｃ）コンテンツに関する特性情報を抽出して引き出すようにコンテンツ（例えばオーディオ信号、オーディオ波形、ビデオ信号、ビデオコンテンツ、画像コンテンツ、その他）を処理する
２．データのクラスタリング：データのグループ化またはクラスタリングを実施してコンテンツのグループ化／クラスタリングに関する凝集された情報をもたらすための１）内に概説されるコンテンツおよび／またはメタ情報の使用。グループ化／クラスタリングが、種々のレベルの詳細で実行され、データのより粗いまたはより細かいグループ化の層を多少類似した実体に作り出す。これらを達成するために、アイテム間の類似度が異なる基準に基づいて計算される。複数の層が作り出され、それがアイテムの階層化編成に結びつき、それがこのプロセスおよび全ての更なるステップへの鍵である。階層内の複数の層が、増加または減少するレベルの詳細を通してメディアアイテムグループ／クラスタに関するより多くの詳細またはより高い凝集を明らかにすることを可能にする。
３．データの視覚表現：１）および２）において定義した類似したコンテンツおよび／またはメタ情報によるデータのクラスタリング／グループ化が、いくつかの形式の１つで、グラフィカルな視覚化を作り出すために用いられる。メディアアイテムのグループ／クラスタおよび／または個々のメディアアイテムが、（たとえば、しかし限定されないが）円形、円形構造体、矩形構造体、色のついた形状、三次元オブジェクトのような視覚エンティティによって示される。配置およびレイアウトは、２）内の処理に従う種々の特性およびクラスタ関係の類似度に基づく。メディアアイテムグループの個々のメディアアイテムは、異なる層上で明らかにされる（２）および４）を参照）。個々のメディアアイテムは、メディアアイテムのグループと一緒に視覚化されることができる。視覚充実の説明的なラベルおよび他の形式（例えばアルバムカバーアート）が、視覚化またはメディアアイテムグループもしくはメディアアイテムに添付されることができる。視覚表現は、ポータブル音楽プレイヤ、携帯電話、スマートフォン、タッチスクリーン装置、タブレットコンピュータ、ポータブルコンピュータ、ポータブルデジタルアシスタント、ノートパソコン、（ウェブブラウザを含む）パーソナルコンピュータ、公共スクリーン、公共端末、ウェブ端末、ビデオ壁、対話型壁、その他のような、しかしそれに限定されない装置のスクリーン上で実行される。視覚表現はまた、壁および他のオブジェクト上に、映写装置によって映写されることができる。

任意選択で、本発明に従う方法は以下の諸ステップの一方または両方を更に含むことができる：
４．視覚表現の適応−対話処理。視覚表現は、
ａ）自動的に
ｂ）ユーザ入力（対話処理）、例えば、しかし限定されないが、装置のキーまたはボタンを押す、装置のスクリーンに触れる、ジェスチャを実行する、オブジェクトの物理的操作、センサ入力、暗示的入力（通りかかる）、その他を通して、適応されて変更されることができる。ユーザとの対話処理は、視覚表現、とりわけ（しかしそれに限定されないが）、２）および３）にて説明した、クラスタリングおよび視覚化プロセスの詳細のレベルまたは異なるビューもしくは層の提示を変更して適応する。
５．取り出しおよび再現／再生の起動。４ｂ）または他内に概説される類似した対話処理を通して、従ったメディアアイテム（複数アイテム）が、選択され、取り出され、視覚化される、および／または再生される（再現される）ことができるか、または異なる方法で処理される（例えば、しかし限定されないが、買物かごに移される）ことができる。

この方法は、ポータブル音楽プレイヤ、携帯電話、スマートフォン、タッチスクリーン装置、タブレットコンピュータ、ポータブルコンピュータ、ポータブルデジタルアシスタント、ノートパソコン、パーソナルコンピュータ、サーバコンピュータ、公共端末、ウェブ端末、テレビジョン受信機、対話型設備、その他を含むが、これに限定されない、任意の種類のコンピューティング装置上で実施されることができる。コンピュータタスクを実行する装置は、視覚化装置と同一であるか、または異なることができる。視覚表現は、ポータブル音楽プレイヤ、携帯電話、スマートフォン、タッチスクリーン装置、タブレットコンピュータ、ポータブルコンピュータ、ポータブルデジタルアシスタント、ノートパソコン、（ウェブブラウザを含む）パーソナルコンピュータ、公共スクリーン、公共端末、ウェブ端末、ビデオ壁、テレビジョン受信機、対話型壁、その他のような、しかしこれに限定されない装置のスクリーン上で実行される。視覚表現はまた、壁および他のオブジェクト上に、映写装置によって映写されることができる。

大きなメディアコレクション内のナビゲーションを容易にするために、利用可能なアイテム（すなわち配置）がクラスタ化され、かつより少ない詳細のレベルを作り出してより良い概観を作り出すためにグループに入れられる。これらの詳細レベルは、コンテンツがますます凝集されるところでより遠いものがズームアウトする、Ｇｏｏｇｌｅマップと同等のズームレベルとみなされることができる。円形、円形構造体、長方形、矩形構造体、形状、ポリゴンまたは三次元オブジェクトのような視覚オブジェクトが、凝集されたアイテムを視覚化するのに用いられることができる。オブジェクトが、複数のトラックおよび／または他のオブジェクトを代表し、含有されるトラックの量を示す。サイズは、代わりにまた、使用頻度か何かのような他の基準を表すかもしれない。

本発明は、メディアアイテムが、コンテンツおよび／またはメタ情報内のそれらの類似度に従って編成され、かつそれらの類似度に従ってレイアウトされる、および／または配置される視覚エンティティとして視覚化されることを特徴とする、ユーザインタフェース、処理ユニットおよび記憶ユニットを備える、メディアアイテムを備える電子ファイルを編成して視覚化するための電子装置を更に備える。上記の通りに、コンテンツはオーディオ信号、オーディオ波形、ビデオ信号、ビデオコンテンツ、テキストコンテンツ、画像コンテンツまたはそれの組合せを備えることができる。

処理ユニットは、メディアアイテムの類似度を評価するために、１つ以上の周波数帯上のメディアアイテムのリズム構造のようなメディアアイテムのコンテンツから特徴を抽出するように適応される特徴抽出部を備えることができる。メタ情報は、ファイルサイズのようなファイル特有情報、ＩＤ３タグのような添付された情報、購買統計値のような外部情報、タグまたはジャンル、アーティスト、アルバムのような手動で添付された情報、使用統計値のような自動的に添付された情報を備えることができる。

視覚エンティティは、円形、円形構造体、矩形構造体、色のついた形状、ポリゴン、三次元オブジェクトまたはそれの組合せを備えることができる。電子装置は、ポータブル音楽プレイヤ、携帯電話、スマートフォン、タッチスクリーン装置、タブレットコンピュータ、ポータブルコンピュータ、ポータブルデジタルアシスタント、ノートパソコン、パーソナルコンピュータ、ウェブブラウザを備えたコンピュータ、公共スクリーン、公共端末、ビデオ壁、映写装置、ハイファイ装置、テレビジョン受信機または対話型壁を備えることができる。表現『電子装置』は、本発明に従う機能を実行する別個の単一の電子装置、同じく、２台以上の接続された電子装置のシステムを備える。例えば、ユーザインタフェースおよび記憶ユニットが別々の電子装置内に設置されることが可能かもしれない。

ユーザインタフェースは、メディアアイテムを選択して、取り出して、視覚化し、および／または再生する手段、および／またはメディアアイテムを買物かごに入れる手段を備えることができる。電子装置は、外部処理ユニットおよび／または外部データベースにアクセスする手段を更に備えることができる。視覚化は、ユーザ入力を通してまたは自動的に適応できるおよび／または変えられるかもしれない。とりわけ、視覚化ウィンドウは自己組織化マップとして実現されることができ、ここで、各アイテムが１つのグリッドノードに割り当てられる。グリッドのサイズは、メディアプールのサイズ（メディアアイテムの数）に関連して選択されることができる。他のクラスタリング方法もまた、用いられることができる。ラベルは、グループまたはメディアアイテムから独立に配置されることができる。処理ユニットおよびユーザインタフェースは、別々の電子装置内に設置されるかもしれない。

本発明の更なる態様が、請求項、図および／または図面からとられることができる。本発明のより完全な理解が、添付の図面と関連して実施態様の以下の記述によって得られることができる。

本発明に従うメディアアイテムの例示的な一実施態様を示す。 本発明に従ってメディアアイテムを編成して視覚化する方法の例示的な一実施態様を示す。 メディアアイテムをグループ化して視覚化するステップの異なる実施態様を示す。 メディアアイテムをグループ化して視覚化するステップの異なる実施態様を示す。 グローバルラベルを使用するメタ情報の視覚化の異なる実施態様を示す。 ローカルラベルを使用するメタ情報の視覚化の異なる実施態様を示す。 本発明に従う視覚化例内の３つのズームレベルを示す。 本発明に従う電子装置の異なる実施態様を示す。 本発明に従う電子装置の異なる実施態様を示す。 本発明に従う例示的なユーザインタフェースの異なるスナップショットを示す。 本発明に従う例示的なユーザインタフェースの異なるスナップショットを示す。 本発明に従う例示的なユーザインタフェースの異なるスナップショットを示す。 本発明に従う例示的なユーザインタフェースの異なるスナップショットを示す。 本発明に従う電子装置の更なる異なる実施態様を示す。 本発明に従う電子装置の更なる異なる実施態様を示す。

図１は、本発明に従うメディアアイテム２を備える電子ファイル１の例示的な一実施態様を示す。たとえばオーディオトラック、ビデオ、電子ブック、デジタル画像またはその他の電子メディアアイテムであるメディアアイテム２が、コンテンツ４およびメタ情報５を備える。コンテンツ４は、オーディオ信号、画像、テキストまたはビデオ信号のデジタル表現であるかもしれない。メタ情報５は、ファイル特有情報８、添付された情報９、外部情報１０、手動で添付された情報１１および自動的に添付された情報１２を備える。

ファイル特有情報８は、ファイル名、ファイルサイズおよび電子ファイル１によって与えられる他のファイルシステム情報を備える。添付された情報９は、タイトル、アーティスト、ラベルおよび記録のようなメディアアイテム２に添付される情報を備える。たとえば、ＩＤ３タグによって与えられる、メディアアイテム２に添付されるさらに多くの情報があるかもしれない。外部情報１０は、ローカルデータベースまたはインターネットデータベースのような、外部ソースから供給される情報を備える。これらの外部データベース内に格納される情報は、購買統計値または評価値を備えるかもしれない。更に、手動で添付された情報１１はメディアアイテム２に対するタグ、ユーザによって加えられるジャンルまたは複数ジャンル、メディアアイテム２と関連している感情ムードまたは複数の星印もしくはスコアのような人的評価を備える。最後に、自動的に添付された情報１２はマルチユーザ環境での使用統計値またはユーザ／アイテム関係のような自動的に生成された情報を備える。

図２は、提唱される方法の基本ステップを示し、最初のステップにおいて、メディアアイテム２を備える電子ファイル１がアクセスされる。コンテンツ４およびメタ情報５が、抽出されて分析される。このステップでは、特徴ベクトルが作り出されることができ、それがメタ情報５の特定のまたは全ての部分を備えることができる。更に、このステップはまた、特定のスペクトル特徴を抽出するためにコンテンツのスペクトル分析を備えることができる。

特徴ベクトルは、メタ情報５またはコンテンツ４の任意の特性に対してメディアアイテムを特徴づける。多次元特徴ベクトルが、次いでそれらの類似度に従ってグループ化されて編成される。これは実際には、メディアアイテムおよび対応する多次元特徴ベクトルを代表する識別子を備えるローカルまたは外部データベースを構築することによって実行されることができる。更に、メディアアイテムがそれらの特徴ベクトルの類似度に従って視覚化される。類似度がメタ情報の任意の特定の部分（例えばジャンルだけ）における類似度から、または利用可能なメタ情報およびコンテンツの任意の組合せによって引き出されるかもしれないことに留意することが重要である。メディアアイテムのグループまたはクラスタおよび／または個々のメディアアイテムが、円形、円形構造体、矩形構造体、色のついた形状、ポリゴン、三次元オブジェクト、などのような、視覚エンティティによって視覚化される。

この方法の任意選択のステップにおいて、視覚化が自動的にまたはユーザ入力（対話処理）によって適応される。これは、視覚化における詳細のレベルの変更または表示された情報の適応を備えるかもしれない。この方法の更なる任意選択のステップでは、それぞれのメディアアイテムが選択され、取り出され、視覚化される、および／または再生される（再現される）ことができるか、または異なる方法で処理される（たとえば買物かごに移される）ことができる。

図３ａは、本発明に従うメディアアイテムを編成して視覚化する視覚化方法の第１の例示的な実施態様を示す。最初のステップでは、アクセスされて分析されたメディアアイテムが、それらの特徴ベクトルに基づいて反復的ＳＯＭ（自己組織化マップ）トレーニングによって二次元グリッド上で位置合わせされる。グリッドノードあたりメディアアイテムのカウントが実行され、グリッドノードあたり頻度のマトリクスに結びつく。マトリクスは、減少する半径と共にｘ軸およびｙ軸に沿って半径方向カーネルとの畳み込みをつくられる。選ばれる最大カーネル半径は、ズームレベルによって決定される。次いで、ピークが検出され、それがクラスタセンターの位置を示す。一般的に、いくつかのズームレベルがあり、および、すべてのズームレベルに対して、ステップが減少するカーネルサイズと共に繰り返される。処理が全てのズームレベルに対して終わる場合、得られた画像が凝集され、および、視覚エンティティのサイズが、含有されるメディアアイテムの数によって決定される。視覚エンティティの位置が、ピーク位置によって決定される。

図３ｂは、本発明に従うメディアアイテムを編成して視覚化する方法の第２の例示的な実施態様を示す。最初のステップにおいて、アクセスされて分析されたメディアアイテムが、それらの特徴ベクトルに基づいて多次元スケーリングによって二次元グリッド上で位置合わせされる。得られた二次元グリッドは次いで、できる限り異なるカーネル形状で図３ａに示すような類似した方法（減少するカーネルサイズ、ピーク検出、視覚エンティティの凝集および配置によるカーネル畳み込み）で処理される。

図４ａおよび４ｂは、グローバルおよびローカルラベルの視覚化のための方法の一実施態様を示す。グローバルラベル（図４ａ）に対して、各可能なメタデータラベルに対するクラスタの数が、まず推定される。次いで、各可能なラベルに対して、ｋ平均法が実行され、および、ラベル位置がｋ平均クラスタセンターによって決定される。ローカルラベル（図４ｂ）に対して、ツリー構造が各可能なメタデータラベルに対して生成される。ツリー構造は、選ばれた不整合性係数に基づいて特定の位置で切り離される。次いで、ラベル位置が残りのクラスタの重心として決定される。

図５は、本発明に従う視覚化例における３つのズームレベルを示す。第１層において、非常に高いレベルの詳細が視覚化ウィンドウ２４内にすべての単一のメディアアイテム２を示すことによって達成される。第２のズームレベルでは、個々のメディアアイテム２がグループ化されるかまたはクラスタ化されてグループ１３を形成し、それが、たとえば、類似したメディアアイテムのアーティスト、ジャンルまたは感情ムードを示すラベル１４を備える。これらのラベル１４は、特定の位置でラベルの予備計算されたツリーを切り離すことに基づくローカルラベル、またはｋ平均フィルタリングに基づくグローバルラベルであることができる。グループに属さない個々のメディアアイテムが、なお示される。第３のレベルでは、グループ１３および／または類似したグループのクラスタだけが示される。グループ１３がオーバーラップすることが可能にされることに留意することが重要である。ラベル１４および視覚充実の他の形式（例えばアルバムカバーアート）が、グループ１３またはメディアアイテム２の視覚化に添付されることができる。このズームレベルでは、グローバルレベルだけが示されることができる。

図６ａは、本発明に従う電子装置３の例示的な実施態様を示す。電子装置３は、ユーザインタフェース７、処理ユニット１５、記憶ユニット１６および特徴抽出部１７を備える。それは処理されたメディアアイテムに関する特有情報をダウンロードするためにインターネットに接続されることができる。ユーザインタフェース７は、ユーザとの対話処理を可能にする。

図６ｂは、本発明に従うシステムの更なる例示的な実施態様を示す。この場合、ユーザインタフェース７は、インターネットに接続される電子装置３内に設置される。メディアアイテム２は、インターネットに接続されたサーバ１９上に格納される。インターネットの代わりに、接続はまた、ローカル域ネット（ＬＡＮ）、ワイヤレスＬＡＮ（ＷＬＡＮ）、広域ネット（ＷＡＮ）または３Ｇもしくは４Ｇモバイルネットワークのようなその他の電子ネットワークとしてもたらされるかもしれない。メタ情報５のような他のデータが、データベース１８に格納される。

図７ａ−７ｄは、本発明に従う例示的なユーザインタフェースの異なるスナップショットを示す。ユーザインタフェース７は、プレイヤを備えるトップパネル２０、検索、フィルタリング、プレイリストの作成およびメディアアイテムの購入のための機能を備える側面パネル２１、視覚化ウィンドウ２４および状態に関する情報を備えた下方パネル２２に分割される。

プレイヤは、次の機能を組み込む：再生、ポーズ、次のトラック、最後のトラック、音量調節、トラックに関する表示情報（例えばアーティスト、アルバム、タイトル、ジャンル、その他）および時間バーの表示。拡張機能が、イコライザ、シャッフル、リピートおよび高度な視覚化特徴（スペクトラム、その他）を含む。アーティスト情報、他のメタ情報または音楽ビデオを含む関連のメディアアイテムが、表示されることができる。

検索およびフィルタ機能が検索フィールドを備え、ここで、ユーザは彼らの検索条件を入力することができる。得られたメディアアイテムが、視覚化ウィンドウ内に強調される。これはさらに、可能性がある検索条件が予測される高性能検索機能を備える。フィルタ機能に対して、フィルタ基準にマッチするメディアアイテムだけが、視覚化ウィンドウ内に示される。更なる検索特徴が、最近加えられたメディアアイテムを示す『新規／最近』オプション、人気のメディアアイテムを強調する『人気』オプションおよび特定のユーザ特有の基準にマッチするメディアアイテムを強調する『あなたもまた好むかもしれない』オプションを備える。

視覚化は、最も低いレベルの個々のメディアアイテムおよび最高レベルのグループまたはクラスタによって、階層化レベルに構造化される。ユーザは、これらのレベル間をズームすることができる。レベルの数は固定されず、メディアプールのサイズおよび多様性、すなわちメディアアイテムの数および類似度に依存する。

ナビゲーションを容易にするために、特定のグループがラベルで上に書かれる。ミニマップもまた、視覚化の一部であるかもしれない。メディアアイテム間の類似度を考慮に入れるアルゴリズムによって、視覚化ウィンドウ内のトラックの配置が実行される。ユーザに対する方向づけを容易にするために、メディアアイテムの編成（配置）は安定している。ユーザは、一般に同じ場所で彼らの好ましいメディアアイテムを見つける。しかしながら、ユーザがメディアアイテムを加えるかまたは除去する場合、編成方式が適応されるかもしれない。

異なる視覚化レベルが、ボタン２３との対話処理によってアクセスされることができる。図７ａ内に示される起動スクリーンは、視覚化ウィンドウ２４内に個々のメディアアイテム２およびグループ１３の両方を示す。更に、隣接したグループ１３のクラスタが視認できる。ユーザは、メディアアイテム２、グループ１３またはクラスタと直接対話処理する（メタ情報を表示して、メディアアイテムまたはグループを再生して、それらをプレイリストに加える、など）ことができる。ラベル１４は、（たとえば、アーティストまたはジャンルによる）特定のグループを示して、したがって、メディアアイテムプールをナビゲートする際にユーザを補助するのに用いられる。ユーザは、また、グループまたはクラスタに自分のラベルを割り当てるかもしれない。

検索およびフィルタ機能によって、ユーザはプール内のメディアアイテムの特定の特徴を除外するかまたは検索することができる。メディアアイテムが視覚化から抑制される場合、これらのメディアアイテムを含むグループまたはクラスタはそれぞれ収縮する。ユーザが特定の好ましいメディアアイテム、プレイリストまたはグループ（「トップ１０」、「作者の選択」、その他）を与える彼ら自身のカスタマイズされた起動スクリーンを作り出すこともまた、提示される。マルチユーザ環境では、登録ユーザは彼らの嗜好に従って視覚化の設定を変更することができる。

ズームレベル間の変更は、それらのメディアプールのサイズに関するフィードバックをユーザに与えるように指示するためにグラフィカルに動く方法で実行されることができる。図７ｃに示すように、現在の視覚化ウィンドウの外に設置される近くのラベルが、視覚化ウィンドウのエッジに示される。

図７ｄは、個々のメディアアイテム２のレベルでの詳細ズームを示す。このレベルは最も低いレベルであり、ここで、メディアアイテム２の特定のメタ情報５がメディアアイテム２を代表する視覚エンティティの隣に示される。ユーザは、個々のメディアアイテム、例えばトラックと直接対話処理することができる。現在再生されているメディアアイテムが、特定の方法で強調される。

メディアアイテム２との可能な対話処理が、（情報を示すために）それをクリックする、（それを再生するために）ダブルクリックする、メディアアイテムをプレイヤ（トップパネル２０）またはプレイリスト（側面パネル２１）にドラッグアンドドロップする、または文脈情報を表示するために右マウスボタンをクリックすること（または同等のユーザとの対話処理）を含む。タッチスクリーン装置上で、それぞれのユーザとの対話処理特徴が与えられる。

表示される付加情報は、アーティスト、歌の歌詞、ビデオへのリンク、コンサートまたは他のユーザのコメントに関する情報を備えるかもしれない。これらの情報は外部データベースによって、とりわけインターネット上のサーバから与えられるかもしれない。

図７ｄは、カバー情報２６が示されるズームレベルを示す。カバーは、少なくとも６０画素ｘ６０画素のグリッドで代表される。この視覚化方式では、メディアアイテムもしくはアルバムを再生するか、またはプレイリストにメディアアイテムもしくはアルバムを加えるような特定の機能がボタンによってカバーに直接添付される。

図８ａおよび８ｂは、電子装置３の更なる実施態様を、図８ａに示すタブレットコンピュータとして、または図８ｂにスマートフォンとして示す。この電子装置は、異なるユーザインタフェースを有するが、グループ１３およびラベル１４を備えた類似した視覚化ウィンドウ２４を示し、一方個々のメディアアイテム２はタブレットコンピュータ上にだけ示される。

本発明は、記述された実施態様に限定されず、同様に請求項の有効範囲内に含まれる更なる実施態様を備える。特定の実施態様内に示される本発明の個々の特徴および特性は、組み合わせられることができ、かつ特定の実施態様に限定されない。特に、本発明はユーザインタフェースの特定の視覚化および設計にも、また、特定の種類のメディアアイテムにも限定されない。本発明はまた、類似度のアセスメントのために用いられる特性に関しても限定されない。

１ 電子ファイル
２ メディアアイテム
３ 電子装置
４ コンテンツ
５ メタ情報
６ 視覚エンティティ
７ ユーザインタフェース
８ ファイル特有情報
９ 添付された情報
１０ 外部情報
１１ 手動で添付された情報
１２ 自動的に添付された情報
１３ グループ
１４ ラベル
１５ 処理ユニット
１６ 記憶ユニット
１７ 特徴抽出部
１８ データベース
１９ サーバ
２０ トップパネル
２１ 側面パネル
２２ 下方パネル
２３ ボタン
２４ 視覚化ウィンドウ
２５ 強調されたメディアアイテム
２６ カバー情報

Claims (25)

1. 電子装置（３）上でメディアアイテム（２）を備える電子ファイル（１）を編成してかつ視覚化する方法であって、前記方法が以下のステップ、すなわち、
   ａ）前記電子ファイル（１）にアクセスしてかつオープンし、かつコンテンツ（４）および／またはメタ情報（５）を抽出する前記メディアアイテム（２）の分析ステップと、
   ｂ）コンテンツ（４）および／またはメタ情報（５）内のそれらの類似度に従うメディアアイテム（２）の編成ステップと、
   ｃ）それらの類似度に従ってユーザインタフェース（７）上にレイアウトされる、および／または配置される視覚エンティティ（６）としてのメディアアイテム（２）の視覚化ステップと、を含むことを特徴とする方法。
2. 前記コンテンツ（４）が、オーディオ信号、オーディオ波形、ビデオ信号、ビデオコンテンツ、テキストコンテンツ、画像コンテンツまたはそれの組合せを備えることを特徴とする請求項１に記載の方法。
3. 請求項１または２に記載の方法であって、前記メタ情報（５）が、
   ａ．ファイルサイズのようなファイル特有情報（８）、
   ｂ．ＩＤ３タグ、アーティスト、アルバムのような添付された情報（９）、
   ｃ．購買統計値のような外部情報（１０）、
   ｄ．タグまたはジャンルのような手動で添付された情報（１１）、
   ｅ．使用統計値のような自動的に添付された情報（１）、を備えることを特徴とする方法。
4. リズム、音質および／または視覚構造のようなスペクトル特徴が、前記メディアアイテム（２）の類似度を更に評価するために１つ以上の周波数帯上で前記メディアアイテム（２）の前記コンテンツ（４）から抽出されることを特徴とする請求項１−３のうちいずれかに記載の方法。
5. 前記メディアアイテム（２）が、階層化グループ（１３）内に編成されることを特徴とする請求項１−４のうちいずれかに記載の方法。
6. 前記視覚化ステップが、反復的自己組織化マップトレーニングまたは多次元的尺度構成法のような次元低減方法を使用するグリッド上の前記メディアアイテムの配置のステップを含むことを特徴とする請求項１−５のうちいずれかに記載の方法。
7. 前記視覚化ステップが、サイズの減少する任意の、好ましくは半径方向形状のカーネルによって前記グリッドデータを処理するステップおよび前記視覚エンティティ（６）を生成してかつ配置するピーク検出ステップを含むことを特徴とする請求項６に記載の方法。
8. 所定のズームレベルの前記視覚化が、より高速なユーザアクセスのために予備計算されてかつデータベースに格納されることを特徴とする請求項１−７のうちいずれかに記載の方法。
9. 前記視覚エンティティ（６）が、円形、円形構造体、矩形構造体、ポリゴン、色のついた形状、三次元オブジェクトまたはそれの組合せを備えることを特徴とする請求項１−８のうちいずれかに記載の方法。
10. メタ情報（５）が、説明的ラベル（１４）を表示することによって視覚化されることを特徴とする請求項１−９のうちいずれかに記載の方法。
11. 請求項１０に記載の方法であって、前記ラベル（１４）がクラスタ化され、および、前記クラスタがラベルをつけられ、ならびに、前記クラスタラベルの数および配置が以下のステップ、すなわち、
    ａ．各可能なラベルに対するクラスタの数の推定ステップ、
    ｂ．各可能なラベルに対するｋ平均法ステップ、
    ｃ．そのクラスタセンターによるラベル位置の決定ステップ、によって決定されることを特徴とする方法。
12. 請求項１０に記載の方法であって、前記ラベル（１４）がクラスタ化され、および、前記クラスタがラベルをつけられ、ならびに、前記クラスタラベルの数および配置が以下のステップ、すなわち、
    ａ．各可能なメタデータラベルに対する階層化凝集クラスタリングステップ、
    ｂ．特定の位置での前記階層化ツリーのカットオフステップ、
    ｃ．残りのクラスタの重心の位置によるラベル位置の決定ステップ、によって決定されることを特徴とする方法。
13. 前記視覚化が、ユーザ入力を通してまたは自動的に適応される、および／または変更されることを特徴とする請求項１−１２のうちいずれかに記載の方法。
14. メディアアイテム（２）がユーザとの対話処理によって、選択され、取り出され、視覚化され、および／または再生される、および／または買物かごに入れられることを特徴とする請求項１−１３のうちいずれかに記載の方法。
15. メディアアイテムまたはグループの位置が、地理情報システムデータベースに格納されることを特徴とする請求項１−１４のうちいずれかに記載の方法。
16. コンピュータプログラムが、請求項１−１５のうちいずれかに記載の方法を実現することを特徴とする前記コンピュータプログラム。
17. コンピュータ可読のメディアが、請求項１６に記載のコンピュータプログラムを備えることを特徴とする前記コンピュータ可読のメディア。
18. ユーザインタフェース（７）、処理ユニット（１５）および記憶ユニット（１６）を備える、メディアアイテム（２）を備える電子ファイル（１）を編成してかつ視覚化するための電子装置（３）であって、メディアアイテム（２）が、コンテンツ（４）および／またはメタ情報（５）内のそれらの類似度に従って編成され、かつそれらの類似度に従ってレイアウトされる、および／または配置される視覚エンティティ（６）として視覚化されることを特徴とする電子装置（３）。
19. 前記コンテンツ（４）がオーディオ信号、オーディオ波形、ビデオ信号、ビデオコンテンツ、テキストコンテンツ、画像コンテンツまたはそれの組合せを備えることを特徴とする請求項１８に記載の電子装置（３）。
20. 前記処理ユニット（１５）が、前記メディアアイテム（２）の類似度を更に評価するために、１つ以上の周波数帯上の前記メディアアイテム（２）のリズム、音質および／または視覚構造のような前記メディアアイテム（２）の前記コンテンツ（４）からスペクトル特徴を抽出するように適応される特徴抽出部（１７）を備えることを特徴とする請求項１８または１９に記載の電子装置（３）。
21. 請求項１８−２０のうちいずれかに記載の電子装置（３）であって、前記メタ情報（５）が、
    ａ．ファイルサイズのようなファイル特有情報（８）、
    ｂ．ＩＤ３タグ、アーティスト、アルバムのような添付された情報（９）、
    ｃ．購買統計値のような外部情報（１０）、
    ｄ．タグまたはジャンル、アーティスト、アルバムのような手動で添付された情報（１１）、
    ｅ．使用統計値のような自動的に添付された情報（１２）、を備えることを特徴とする電子装置（３）。
22. 前記視覚エンティティ（６）が、円形、円形構造体、矩形構造体、色のついた形状、ポリゴン、三次元オブジェクトまたはそれの組合せを備えることを特徴とする請求項１８−２１のうちいずれかに記載の電子装置（３）。
23. 前記電子装置（３）が、ポータブル音楽プレイヤ、携帯電話、スマートフォン、タッチスクリーン装置、タブレットコンピュータ、ポータブルコンピュータ、ポータブルデジタルアシスタント、ノートパソコン、パーソナルコンピュータ、ウェブブラウザを備えたコンピュータ、公共スクリーン、公共端末、ビデオ壁、映写装置、ハイファイ装置、テレビジョン受信機または対話型壁を備えることを特徴とする請求項１８−２２のうちいずれかに記載の電子装置（３）。
24. 前記ユーザインタフェース（７）が、前記メディアアイテム（２）を選択し、取り出し、視覚化し、および／または再生する手段、および／または買物かごに前記メディアアイテム（２）を入れる手段を備えることを特徴とする請求項１８−２３のうちいずれかに記載の電子装置（３）。
25. 前記電子装置が、外部処理ユニット（１５）および／または外部データベース（１８）にアクセスする手段を備えることを特徴とする請求項１８−２４のうちいずれかに記載の電子装置（３）。