JP2010504567A - コンテンツ拡張方法及びサービスセンタ - Google Patents

Abstract

コンテンツ拡張用のコンテンツ拡張プロセスは、サービスセンタ(SC)を利用する。サービスセンタは、ネットワークを介して、様々な異なるユーザから個人的記録を収集し、個人的記録のデータベース(DB)を作成する。特定の場面に関連し且つ互いに補足的な個人的記録を、サービスセンタ(SC)がデータベース(DB)内で特定し、コンテンツ拡張処理に備えて個人的記録を選択する(FSRR)。サービスセンタ(SC)は、選択された個人的記録(FSRR)にコンテンツ拡張処理を施し(AUGP)、拡張された表現(CA)を取得する。

Description

本発明の一形態は、例えば写真、ビデオ及びオーディオ記録のような個人的記録物のコンテンツ拡張方法に関連する。本発明の他の形態は、個人的記録物のサービスセンタ及びプログラマブルプロセッサ用のコンピュータプログラム関連製品に関連する。

コンテンツ拡張(content augmentation)は或るプロセスであり、そのプロセスでは、或る場面(scene)の拡張された表現(enhanced representation)が、その場面の様々な異なる表現に基づいて確立される。その場面は、例えば、観光地、スポーツイベント、コンサート、会議、展覧会、結婚式等かもしれない。或る場面の表現は、例えば、写真、ビデオ又はオーディオ記録のような何らかの適切な記録形式でなされるのが一般的である。場面の表現は、その場面に関する或る情報を含む。若干、別様に形成されたその場面の別の表現は、補足的な情報(complementary information)を有するかもしれない。コンテンツ拡張は、言わば、互いに補足的な情報(場面の多種多様な表現に含まれている情報)を使用し、拡張された表現を形成する。

多くの様々なコンテンツ拡張法及び技法が存在する。例えば、対象物の３次元モデルは、比較的多数の相補的な２次元画像に基づいて構築されてもよく、その相補的な２次元画像は同じ対象物を異なる観点から表現したものである。いわゆる２次元半空間モデル(two−and−one−half dimensional model)は、対象物の２次元画像に奥行き情報を追加したものであり、いくつかの異なる角度から対象物を見るいくつかの画像に基づいて構築される。そのようなモデルの構築方法は或る方法と同様であり、その方法は、左目及び右目からのそれぞれの情報に基づいて、人間の脳が奥行きの感じを生み出す方法である。

別の例のコンテンツ拡張は、他の表現が与える相補的な情報に基づいて、特定の表現中のノイズを抑制する。これは特にオーディオ記録に使用される。オーディオ記録に関するコンテンツ拡張の別の例は、互いに異なる音源を区別することである。この技法はしばしばブラインドソース分離(blind source separation)と言及される。オーディオコンテンツ拡張の更に別の例は、特定のスピーカを突き止めて会話を認識することである。オーディオコンテンツ拡張の更に別の例は、サラウンド効果を生み出すこと、或いは複数の視聴者に対して仮想的な音響イメージを生み出すことである。

特許文献１は、インターネットベースの音楽共同システムを開示しており、クライアントの場所における音楽家及び／又は歌手がオーディオ信号をサーバーの場所に送信する。その場所では、オーディオ信号が複合的な音楽著作物に合成され、クライアントの場所の各々に返送される。その作品／著作物は、複合的な音楽信号として送信されてよく、個々のオーディオ信号の全てを連結したもの又はオーディオ信号を混合したものである。

米国特許第6,898,637号明細書

本発明の課題は、個人的記録物のユーザフレンドリなコンテンツ拡張を可能にすることである。本願出願時の独立請求項は本発明の様々な形態を規定する。本願出願時の従属請求項は、本発明を実施する際に有利な付加的な特徴を規定する。

本発明は以下の事項を考慮に入れている。同一の場面に関する複数の記録をとることで、ある人は、拡張されたコンテンツを自主的に取得するかもしれない。例えば、対象物の複数の写真を撮ることで、ある人は、その対象物の３次元モデルを取得するかもしれない。このようなことは熱心な専門家には受け入れられるかもしれないが、平均的な人(普通の人)には全く魅力的ではない。普通の人は、例えば、アトラクションを訪れている観光客、スポーツイベント、コンサート又は展覧会の見物人、結婚式その他のパーティの招待客かもしれない。概して普通の人は、その場面の多くの記録をとることよりも、その場を実際に楽しむことに彼又は彼女の時間を費やしたいであろう。

普通の人が或る場面のディジタル記録をとることを可能にする消費者装置は、今日非常に手頃であり、その結果そのような装置が普及している。比較的多数の人々が、ディジタルカメラ、ディジタルカムコーダ、ディジタルオーディオレコーダ又はそれらの少なくとも１つを所有している。これらの人々は一般に何らかの通信装置を同様に所有しており、ディジタル記録を肉親や友人に知らせることができる。通信装置は例えばパーソナルコンピュータや同様な装置であり、サーバーを介してインターネットに結合される。更に、益々多くの人々が移動電話を持つようになり、ディジタル記録をとること及びそれらの記録を速やかに通信することが可能である。

従って、比較的多くの人々が関与する場面は、何人もの人によってディジタル的に記録されている可能性が高い。その結果、そのような場面の所与の記録に関し、コンテンツ拡張に相応しい１つ以上の相補的な記録の存在する確率は比較的高い。例えば、その場面が、多くの客を惹き付ける観光地であったとする。特定の時点でその観光地のディジタル写真を何人もの人が撮影している確率は比較的高い。従って、特定の観光客がその観光地のディジタル写真を撮った場合、おそらくは、コンテンツ拡張に相応しい相補的なディジタル写真を、１人以上の他の観光客も撮影しているであろう。

しかしながら、特定の場面の相補的な記録を別々に取得する各人は、必ずしも互いを知っている必要はない。従ってこれらの人々は、コンテンツ拡張のために、彼ら各自の記録物を決して共有しないであろう。例えば、スポーツイベントのディジタル写真を撮っている見物人は、そのスポーツイベントの相補的なディジタル写真を撮っている他の全ての見物人を必ずしも知っている必要はない。せいぜい、その見物人には同様に見物している１人又はそれ以上の肉親や友人がいるに過ぎず、その内にある者もスポーツイベントのディジタル写真を撮っているかもしれない。その結果、関心のある見物人及び彼又は彼女の肉親や友人が、スポーツイベントの最中に多くのディジタル写真をとることに比較的多くの時間を捧げない限り、コンテンツ拡張は比較的少数のディジタル写真に基づくことになる。

本発明の一形態によれば、個人的記録用のコンテンツ拡張方法は、１つ以上のネットワーク形式でサービスセンタを利用する。サービスセンタは、ネットワークを介して、様々な異なるユーザから個人的記録を収集し、個人的記録のデータベースを作成する。特定の場面に関連し且つ互いに補足的な個人的記録を、前記サービスセンタが前記データベース内で特定し、コンテンツ拡張処理に備えて個人的記録を選択する。前記サービスセンタは、選択された個人的記録にコンテンツ拡張処理を施し、拡張された表現を取得する。

従って、コンテンツ拡張による拡張表現を希望するユーザは、多くの他のユーザが作成した多くの個人的記録による恩恵を大いに受けることができる。これは、ユーザ(彼又は彼女)が楽しみたい場面で比較的多くの個人的記録をユーザがとる負担を軽減する。サービスセンタから拡張表現を取得するユーザは、他ユーザ各人の身元を知らないままであり、該他ユーザの個人的記録は拡張表現を作成するのに使用されている。ユーザ間では初めに如何なる連絡も連携も必要ない。この意味において、サービスセンタは、多くのユーザどうしの間で、コンテンツ拡張を目的とした匿名の協力を可能にする。この協力は非常に効果的である。なぜなら、上述したように、サービスセンタのデータベースは、特定の場面について互いに補足的な個人的記録を含んでいる可能性が比較的高いからである。

本発明の一形態は、有利なことに、１つ以上の以下の特徴を有し、それらは出願時の個々の従属請求項で規定されている。

サービスセンタは、収集された個人的記録にメタデータを関連付ける。前記メタデータは、前記個人的記録の内容を記述する。コンテンツ拡張処理に備えて個人的記録の選択を行うため、サービスセンタは、ある個人的記録に関連するメタデータと、別の個人的記録に関連するメタデータとを比較することが好ましい。

補足的なメタデータを生成するため、サービスセンタは、個人的記録に関連して受信したメタデータに基づいて、補助データベースに問い合わせを行うことが好ましい。

前記サービスセンタは或る装置に問い合わせメッセージを送り、個人的記録は該装置から前記サービスセンタに送られている。前記問い合わせメッセージは、メタデータを特定するように該装置のユーザを該装置が促すようにする。これらの追加的特徴は、上述の特徴と相俟って、独立に又は組み合わせにより、効率的且つロバストなコンテンツ拡張処理に大きく寄与する。

前記サービスセンタは、特定のユーザに属する個人的記録のコレクション各々を管理する。個人的記録のコレクション各々は、前記データベースに保存される。前記選択ステップでは、異なるコレクションは異なるユーザに属する。これらの追加的特徴は、コンテンツ拡張サービスに加えて、個人的記録に関する信頼性の高い大容量ストレージの所謂「ワンストップショッピング(one-stop-shopping)」を可能にする。

図面と共に以下の詳細な説明は、付加的な特徴と共にここで要約された本発明を更に明らかにする。

コンテンツ拡張のインフラストラクチャを示す概念図。 コンテンツ拡張のインフラストラクチャの一部をなす、個人的記録のサービスセンタを示す機能ブロック図。 ユーザがサービスセンタに提示した個人的記録を処理及び格納するために、サービスセンタが実行する一連のステップを示すフローチャート。 ユーザが提示した個人的記録のコンテンツ拡張バージョンを作成するために、サービスセンタが実行する一連のステップを示すフローチャート。

図１は、協同的なコンテンツ拡張サービスにより、ユーザが恩恵を受けるインフラストラクチャを示す。インフラストラクチャは、個人的記録のサービスセンタSC及びネットワークNWを含む。個人的記録のサービスセンタSCは、ネットワークサーバの形式をとり、１つ以上の他のネットワークサービスと協力してもよい。個人的記録のサービスセンタは、以後、単にサービスセンタSCと言及される。様々な移動電話がネットワークNWを介してサービスセンタSCと通信できる。図１は、ユーザＡ，Ｂ，Ｃにそれぞれ属する３つの移動電話MP1，MP2，MP3を示す。３つの移動電話MP1，MP2，MP3にはそれぞれカメラが備わっている。このことは、ユーザＡ，Ｂ，Ｃが写真をとる、ビデオを写す又は双方を可能にする。移動電話は一般にマイクロフォンを有し、従って、音のレコーダとして使用されてもよい。即ち、各ユーザＡ，Ｂ，Ｃは、彼又は彼女の移動電話をそれぞれ利用して、個人的記録をとる。そして個人的記録は、オーディオ情報又はビジュアル情報を有し、それらは写真又はビデオの形式でもよいし、又はそれらの何らかの組み合わせの形式でもよい。

サービスセンタSCは、データベースDB及びコンテンツ拡張部AUGを有する。ユーザは、サービスセンタSCのデータベースDBへ個人的記録をアップロードしてよい。それを行うため、ユーザはサービスセンタSCに加入している必要がある。サービスセンタは、料金従量制(pay-per-use basis)で運営されてもよい(例えばクレジットを保存するプリペイドカードが使用されてもよい。)。クレジットは、ユーザが個人的記録をアップロードした場合に所定の量だけ減らされてもよい。或いは、個人的記録のアップロードは無料でもよい。いずれにせよ、データベースDBは多数の様々なユーザの個人的記録を保存し、ユーザＡ、ユーザＢ及びユーザＣの個人的記録を含む。

サービスセンタSCは、ユーザＡに属する個人的記録のコレクション、ユーザＢに属する記録の別のコレクション、及びユーザＣに属する記録の更に別のコレクションを維持してもよい。従って、各ユーザは、あたかもコレクションが彼又は彼女のハードディスク上に存在するかのように、データベース中の彼又は彼女の個人的記録のコレクションに対するアクセス及び管理を行ってよい。即ち、サービスセンタSCは、データ損失に備えて保護する大容量保存装置として機能する。

コンテンツ拡張部AUGは、様々なユーザからの様々な個人的記録に基づいて、拡張された表現を生成することができる。拡張された表現は、例えば対象物の３次元モデルであり、異なる角度からその対象物を見た様々な写真に基づいて生成される。別の例として、拡張された表現は、音楽的イベントのサラウンド音響表現であり、異なる場所でなされた様々な音の記録に基づいて作成される。

図１の場合、ユーザＡ，Ｂ，Ｃは観光地の別々の写真P1,P2,P3をそれぞれ撮影している。ユーザＡ，Ｂ，Ｃはこれら各自の写真をサービスセンタSCに送信する。ユーザＡが、その観光地の拡張表現ERを要求しているとする。ユーザＡは、例えば写真P1をサービスセンタSCに送信する一方、そのような要求を起こす。これに応じて、コンテンツ拡張部AUGは、言わば、ユーザＡにより撮影された写真P1を、ユーザＢ，Ｃによりそれぞれ撮影された写真P2及びP3と組み合わせる。より正確には、コンテンツ拡張部AUGは、上記の写真に基づいて、観光地の拡張表現ERを生成する。サービスセンタSCは、その拡張された表現ERを、リクエストを起こしたユーザＡに送信する。サービスセンタSCは、拡張された表現が利用可能であることをユーザＢ，Ｃに更に通知し、彼らが望むならば、これらのユーザがその強調表現ERをダウンロードしてよいようにする。

強調された表現を生成するため、コンテンツ拡張部AUGは、相互の相補的な個人的記録を特定する必要がある。このため、コンテンツ拡張部AUGは、いわゆるメタデータを利用してもよい。ある個人的記録に属するメタデータは、その個人的記録を説明するデータである。例えば、個人的記録がなされた場所及び個人的記録がなされた時間を、メタデータが示してもよい。また、メタデータは、個人的記録をとった装置の様々な設定を示してもよい。

例えば、図１に示されている３つの移動電話MP1，MP2，MP3の各々は、考察される移動電話の場所を示すGPS受信機を備えていてもよい。ネトワークNWは、３つの移動電話MP1，MP2，MP3各自の場所の指標を与えてもよい。３つの移動電話MP1，MP2，MP3の各々は、時間を示すクロックを有する。従って、移動電話MP1は写真P1に関連するメタデータを送る際、そのメタデータは、写真P1が撮影された場所及び写真が撮影された時間を示す。メタデータは、写真を撮ったユーザＡを識別する指標を含んでもよい。そのような身元の指標は、移動電話MP1に含まれている識別情報(ネットワークNW内で身元を確認するための識別情報)に基づいてもよい。同様に、他の移動電話MP2，MP3は、写真P2，P3に関するメタデータをそれぞれ送信する。

図２は、サービスセンタSCの詳細を示す。データベースDBは短期メモリST及び長期メモリLTを含んでよい。コンテンツ拡張部AUGは、次の機能エンティティを含む：粗選択部CSEL(coarse selection facility)、詳細選択部FSEL(fine selection facility)及びコンテンツ拡張プロセッサAUGP。詳細選択部FSEL及びコンテンツ拡張プロセッサAUGPは、人的介在コンソールHICと共にやりとりを行う。

サービスセンタSCは、図１に示されるコンテンツ拡張部AUG及びデータベースDBに加えて、様々な機能エンティティを有する。これらの機能エンティティは、受信部REC、コンテンツプロセッサPRC、メタデータ生成部GMD、メタデータ処理部MDH及び関連付部ASSを含む。これらの機能エンティティは、データベースDBに保存する個人的記録を準備する役割を演じる。更に、これらの機能エンティティは、コンテンツ拡張部AUGの申し分のない処理に寄与する。そのためには、メタデータ生成部GMDは１つ以上の補助データベースXDBとやりとりを行い、補助データベースは、必ずしもサービスセンタSCの一部を形成する必要はない。これについては以下で更に説明される。サービスセンタSCは、以下の機能エンティティを有する：リクエスト処理部RQH及び配信部DLV。

上記のどの機能エンティティも、ソフトウエアにより、ハードウエアにより又はソフトウエア及びハードウエアの組み合わせにより実現されてよい。例えば、これらの機能エンティティの各々は、プロセッサを適切にプログラミングすることで実現されてもよい。そのようなソフトウエア形式でえ実現する場合、ソフトウエアモジュールは、特定の機能エンティティに属する特定の処理をプロセッサが実行することを引き起こす。別の例として、上記の機能エンティティの各々は、専用回路の形式で実現されてもよい。これはハードウエア形式の実現例になる。混合形態は、１つ以上の専用回路に加えてソフトウエアモジュールを含む。

図３Ａは、入力メッセージを受信した際にサービスセンタSCが行う様々なステップを示す。入力メッセージIMは、例えば、図１に示されている３つの移動電話MP1，MP2，MP3の何れかから発してよい。入力メッセージIMは、ユーザがサービスセンタSCに送った個人的記録に関連する。従って、入力メッセージIMは記録コンテンツCRを有する。更に入力メッセージIMは以下の要素を含んでもよい：記録コンテンツに属するメタデータMD、ユーザ識別子UID及びサービスのリクエストRQ。サービスのリクエストRQは、例えば、ユーザが個人的記録のコレクションに個人的記録を追加することを希望していることを示し、そのコレクションはそのユーザに属するものである。特に、サービスのリクエストは、その個人的記録のコンテンツ拡張バージョンをユーザが受け取ることを希望していることを示す。

ステップS1では、受信部RECは、特定のフォーマットの入力メッセージを構文的に分析する。これを行う場合、受信部RECは、入力メッセージIMに含まれている要素各々を分離する。例えば、記録コンテンツCR、曽於記録コンテンツに属するメタデータMD、ユーザの身元UID及びサービスリクエストRQを、受信部RECは抽出する。受信部RECは更に入力メッセージに含まれているメタデータMDを構文的に分析し、例えばメタデータMDのフォーマットを整え直す。サービスセンタSCは或る特定の共通のメタデータフォーマットを使用し、全てのメタデータがそのフォーマットに投じられるようにしてもよい。受信部RECが入力メッセージIMから抽出したメタデータは、以後、「受信メタデータ」と言及される。

ステップS2では、コンテンツプロセッサPRCが様々な目的で記録コンテンツCRを処理する。例えば、コンテンツプロセッサPRCは、品質の向上を図るため、記録コンテンツCR内のノイズを抑制してもよい。コンテンツプロセッサPRCは、信号の規格化処理を実行し、様々な個人的記録の間で基準の統一を図ってもよい。従って、コンテンツプロセッサPRCは、品質の改善されたバージョンの記録コンテンツCRである処理済み記録コンテンツCPを提供する。或いは、コンテンツプロセッサPRCは、事実上、不活性化されてもよい。その場合、処理済み記録コンテンツCPは、記録コンテンツCRに相当する。

ステップS3では、メタデータ生成部GMDは、必要に応じて、補足的なメタデータMDXを生成する。補足的なメタデータMDXは、受信メタデータMDを補足する１つ以上の要素を有する。メタデータ生成部GMDは、１つ以上のマルチメディアコンテンツ分析アルゴリズムを実行することで、処理済み記録コンテンツCPに基づいて補足的なメタデータMDXを生成してもよい。マルチメディアコンテンツ分析アルゴリズムは、一般的には、マルチメディアコンテンツから１つ以上の記述子を抽出する。記述子は、マルチメディアコンテンツを表し、例えば、統計的なパターン認識により取得されてもよい。

メタデータ生成部GMDは、受信メタデータMDに基づいて、補足的なメタデータMDXを生成してもよい。メタデータ生成部GMDは、受信メタデータMD中の１つ以上の要素を含む問い合わせ(クエリ)を用意してもよい。メタデータ生成部GMDは、そのクエリををサーチエンジンに送り、サーチエンジンは１つ以上の補助データベースXDBに問い合わせを行う。メタデータ生成部GMDはサーチエンジンを含んでもよく、１つ以上の補助データベースXDBに直接的に問い合わせてもよい。問い合わせに対する応答(クエリレスポンス)は、補足的なメタデータMDXを構築する１つ以上の要素を含む可能性がある。

以下、受信メタデータに基づいて、補足的なメタデータを生成する例を説明する。例えば、記録コンテンツCRが、エッフェル塔のような野外の観光地の写真に関連するとする。受信メタデータMDは、写真が撮られた時点を特定する時間指標と、写真が撮られた場所を地理的な座標形式で特定する場所指標とを有するものとする。メタデータ生成部GMDは、場所指標及び時間指標がそれぞれ指定する地理的座標及び時間に基づいて、希少データベースに問い合わせを行うことができる。従ってメタデータ生成部GMDは、写真が撮られた照明条件及び天気を確認(証明)できる。この例の場合、メタデータ生成部GMDが生成する補足的なメタデータMDXは、これらの条件を指定する。写真が撮られた際の天気及び証明条件の情報は、コンテンツ拡張部AUGにとって特に有用である。メタデータ生成部GMDは、時間及び場所を指定する問い合わせを行うことで、他のデータベースから別のコンテンツ情報を導出できる。

以下、受信メタデータに基づいて、補足的なメタデータを生成する別の例を説明する。記録コンテンツCRが、コンサートホールでの公演中にとられた写真に関連するとする。更に、受信メタデータMDは、上記の場合と同様に、場所指標及び時間指標を含むとする。メタデータ生成部GMDは、場所指標が指定する地理的座標を使って、地理的データベースDBに問い合わせを行う。その地理的データベースDBは詳細な地図に関連し、人工的な建造物や自然物を地理的座標のゾーンに関連付ける。従ってメタデータ生成部GMDは、その写真がコンサートホールで撮られたことを証明できる。

メタデータ生成部GMDは、コンサートホールのウェブサイトで利用可能な、コンサートのスケジュールを更に問い合わせてもよい。これにより、メタデータ生成部GMDは、写真が撮られた時に行われていた特定のコンサートを証明できる。メタデータ生成部GMDは、講演に参加しているアーティストであり且つ撮られた写真に写っている可能性の高いアーティストの名前を証明できる。従ってこの例の場合、メタデータ生成部GMDが生成する補足的なメタデータMDXは、以下の要素を指定する：コンサートホール名、コンサート名、演じるアーティスト等。

メタデータ生成部GMDは、ユーザが補足的なメタデータを提供するように、サービスセンタSCがユーザに要求することさえ引き起こしてよい。この目的のため、サービスセンタSCは問い合わせメッセージ(クエリメッセージ)をユーザに送信してよい。例えば、上記の例の場合、問い合わせメッセージは、コンサートホール内で写真が撮られた座席の番号に関連してもよい。サービスセンタSCは、この問い合わせメッセージを、例えば、写真を撮った装置に送信してもよい。これは、ユーザが記録コンテンツCRをサービスセンタSCに送った直後に実行可能であり、速やかなフィードバックがなされるようにする。問い合わせメッセージを受信すると、装置は、ユーザに対して彼又は彼女の座席番号を入力するよう促す。装置は、この情報をサービスセンタSCに自動的に送信するように構築され、サービスセンタは、座席番号の情報をメタデータ生成部GMDに送る。

ステップS4では、メタデータ処理部MDHは、受信メタデータMDとメタデータ処理部MDHが用意した補足的なメタデータMDX(存在する場合)とを組み合わせる。この組み合わせ処理はサービスメタデータMDSを構築し、これをコンテンツ拡張部AUGは後述の方法で使用する。メタデータ処理部MDHは、受信メタデータMD及び補足的なメタデータMDXを解析し、一切矛盾のないことを確認する。メタデータ処理部MDHは、欠落している１つ以上の要素を確認し、メタデータ生成部GMDがそれらの要素を用意することを引き起こす。即ち、メタデータ処理部MDHは、サービスメタデータMDSが十分に完全で矛盾のないことを確実にする。

ステップS5では、リクエスト処理部RQHが、記録識別子RIDを処理済み記録コンテンツCPに割り当てる。記録識別子RIDは、サービスセンタSCの中で、処理された記録コンテンツCPを一意に区別する。記録識別子RIDは、ユーザ識別子UIDを含み、その後にシリアル番号が続く。ステップS6では、関連付部ASSが様々な要素を互いに関連付け、様々な要素は：記録識別子RID、処理された記録コンテンツCP及びサービスメタデータMDSである。これらの要素は、データベースDBに保存される個人的記録レコードRRを構築する。

ステップS7においてリクエスト処理部RQHは、個人的記録レコードRRが、データベースDBに保存されることを引き超す。より具体的には、コンテンツ拡張部AUGが処理済み記録コンテンツCPを相対的に短期間の間に使用しがちであるか否かに依存して、データベースDBの短期メモリST内に、長期メモリLT内に又は双方のメモリ内に、個人的記録レコードRRが保存される。例えば、処理された記録コンテンツCPが、行われているスポーツイベントの短いビデオに関連するとする。この短いビデオは、撮影されたばかりであり、例えばフットボールの試合でのゴールのようなスポーツイベントの特別なハイライトに関連するかもしれない。スポーツインベントに参加している他のユーザが、スポーツイベントの別の短いビデオ及び写真をサービスセンタSCに送ることが予想される。これらの１人以上のユーザが、スポーツイベントの行われている間又はその後間もなく、彼又は彼女の個人的記録のコンテンツ拡張バージョンをリクエストすることも予想される。従って、リクエスト処理部RQHは、スポーツイベントに関連する個人的記録レコードが、短期メモリSTに保存されるようにする。これは、スポーツイベントに関連するビデオ、写真その他の個人的記録の様々なものを、コンテンツ拡張部AUGが速やかに抽出できるようにし、１つ以上の拡張された個人的記録を生成するようにする。

リクエスト処理部RQHは、例えばサービスメタデータMDSに基づいて、データベースDBの短期メモリSTに又は長期メモリLTに個人的記録レコードRRを保存することを決定する。上述したように、サービスメタデータMDSは、個人的記録レコードRRが生活上の出来事(例えば、スポーツイベント、コンサート、結婚式等のような出来事)に関連しているか否かを示す。個人的記録レコードRRが生活上の出来事に関連する場合、概してリクエスト処理部RQHは、データベースDBの短期メモリSTに個人的記録が保存されることを引き起こす。

リクエスト処理部RQHは、ある個人的記録レコードの各々を組織的に保存するよう決定し、その個人的記録レコードは、短期メモリに関する以下の２つの基準を満たす。第１は、個人的記録レコードが、最近記録されたコンテンツを有することである。即ち、ユーザである彼又は彼女が個人的記録をとった直後に、ユーザが個人的記録をサービスセンタSCに送っていることである。第２は、サービスリクエストRQが、入力メッセージIMの中で個人的記録を伴い、サービスリクエストRQは、その個人的記録のコンテンツ拡張バージョンをユーザが受け取ることを希望しているのを示すことである。

図３ＢはサービスセンタSCが実行する様々なステップを示し、これらのステップは、入力メッセージ中のサービスリクエストRQが、個人的記録のコンテンツ拡張バージョンを受信することをユーザが希望している場合に行われる。入力メッセージIMは、拡張されることを要する記録コンテンツCRを含み、この場合、入力メッセージは図3Aを参照しながら説明されたように処理される。

或いは、記録コンテンツCRはサービスセンタSCに前もって送られ、その記録コンテンツCRは、図3Aを参照しながら説明したように既に処理されているようにしてもよい。その場合、入力メッセージIMは、拡張される記録コンテンツCRを指すリファレンスを単に含んでもよい。記録識別子RIDは、上述したように、サービスセンタSC内で使用されるリファレンスを形成する。記録識別子RIDは、拡張される必要のある記録コンテンツCRに加えて、ユーザのコンテンツに属するサービスメタデータMDSを識別し、そのコンテンツは、データベースDB内で特定の個人的記録に含まれるもの全てである。

リクエスト処理部RQHは、サービスのリクエストRQから１つ以上のパラメータPARを導出し、そのパラメータは、コンテンツ拡張部AUGが考慮すべきものである。例えば、１つ以上のパラメータPARは、ユーザ(彼又は彼女)が写真撮影した対象物の３次元モデルを受信することをユーザが希望していることを示すかもしれない。別の例として１つ以上のパラメータPARは、ユーザ(彼又は彼女)が写真撮影した対象物の全景(パノラマ写真)を受信することをユーザが希望していることを示すかもしれない。更に別の例は音楽イベントの音楽的記録に関し、１つ以上のパラメータPARは、ユーザ(彼又は彼女)がとった記録のサラウンド音響バージョンを受信することをユーザが希望していることを示すかもしれない。更に別の例として１つ以上のパラメータPARは、ユーザ(彼又は彼女)がとった記録のノイズのないバージョンを受信することをユーザが希望していることを示すかもしれない。ユーザが除去したい背景雑音が、記録の中に比較的多く存在しているかもしれない。

上述の１つ以上のパラメータPARは対話式に設定されてもよいことに留意すべきである。即ち、ユーザは彼又は彼女の個人的記録をサービスセンタSCに単に送り、具体的な詳細情報を与えずに、コンテンツ拡張バージョンの受信を彼又は彼女が希望していることを明確にする。これに応答して、サービスセンタSCは、利用可能な様々なコンテンツ拡張の選択肢があることを示すメニューメッセージを提供する。そしてユーザは１つ以上の選択肢を選び、選ばれたものはサービスセンタSCに通知される。同様な方法でサービスセンタSCはユーザが更に詳細な情報を指定するように要求してもよい。

ステップS8では、粗選択部CSELが、記録識別子RIDに基づいて、個人的記録レコードの粗選択CSRRを行う。上述したように、記録識別子RIDは、ユーザが拡張を希望する記録コンテンツCRを識別する。この記録コンテンツCRは特定の個人的記録レコードRRに含まれ、そのレコードは、上述したように記録コンテンツCRに属するサービスメタデータMDSを更に有する。ユーザが拡張を希望する記録コンテンツCRを含む特定の個人的記録レコードRRは、以後、「リファレンス個人的記録レコードRR」と言及する。

粗選択部CSEは、データベースDB内で、ある記録コンテンツを含む個人的記録レコードを探し、該ある記録コンテンツは、リファレンス個人的記録レコードRRの記録コンテンツCRを補足するものである。この探索(サーチ)はサービスメタデータに基づいて行われ、サービスメタデータは、データベースDB内の個人的記録レコードに含まれている。粗選択部CSELは或る個人的記録レコードを特定し、そのレコードのサービスメタデータは、リファレンス個人的記録レコードRRのサービスメタデータMDSと類似するものである。１つ以上のパラメータPARは、リクエスト処理部RQHがサービスのリクエストRQから導出したものであり、似ている１つ以上の特定のサービスメタデータ要素を指定する。この場合、他のメタデータ要素は事実上無視される。別の例の場合には、粗選択部CSELは全てのメタデータ要素を考慮してもよい。

例えば、リファレンス個人的記録レコードRR中のサービスメタデータMDSが、そのレコードの記録コンテンツCRは、特定の日の特定のコンサートホールにおける特定の講演に関連することを示していたとする。例えば、対象の特定の公演に関する３次元表現のような記録コンテンツCRの拡張バージョンを、ユーザが取得しようとしていたとする。この場合、粗選択部CSELは、同じ特定の日の同じ特定のコンサートホールにおける同じ特定の公演に関する個人的記録レコードを識別する。

一般に、粗選択部CSELは、関連するサービスメタデータ要素に基づいて、相補的な個人的記録レコードを識別する(探す)。「個人的記録レコード内の関連するサービスメタデータ要素は、リファレンス個人的記録レコードRR内の関連するサービスメタデータ要素に一致するか？」を確認する。一致する場合、個人的記録レコード内の記録コンテンツは、ユーザが拡張することを希望している記録コンテンツCRと相補的である可能性がある。そのような相補的な記録コンテンツは、コンテンツ拡張プロセッサAUGPにおけるコンテンツ拡張処理に有益である可能性がある。従って、個人的記録レコードの粗選択物CSRRは或るコレクションであり、そのコレクションは、リファレンス個人的記録レコードRRと、補足的になる可能性のある個人的記録レコードとを含む。

ステップS9では、詳細選択部FSELが個人的記録レコードRPの詳細な選択を行い、詳細な選択物は、個人的記録レコードの粗選択物CSRRの一部分(部分集合)である。このため、詳細選択部FSELは、粗選択物中の個人的記録レコード各々の記録コンテンツを分析し、その記録コンテンツと、ユーザが拡張を希望している記録コンテンツCRとが十分に合致するか否かを判定する。この分析は、記録コンテンツCR中の所謂「特徴点」を判別することを含んでよい。

詳細選択部FSELは、これらの特徴点を自動的に識別する適切にプログラムされたプロセッサを含んでもよい。ユーザが拡張を希望する記録コンテンツCRの特徴点と、個人的記録の粗選択物CSRR中の他の記録コンテンツ各々の特徴点とを、そのプロセッサは以後比較する。プロセッサは、記録コンテンツCRが十分に合致する特徴点を有する個人的記録のみを自動的に維持する。記録コンテンツCRが画像である場合、詳細選択部FSELは所謂「コンピュータ視覚技術」を使用し、その技術は、特徴点に基づく画像照合処理を含む。オーディオの場合、詳細選択部FSELは所謂「音響解析技術」を使用し、その技術は、時間又は周波数領域の分析に基づく音声照合処理を含む。この場合、特徴点は、スペクトル係数、ピッチ係数等の形式をとる。

詳細選択部FSELは、人的介在コンソールHICを介して人の介在を可能にする。人の介在は、十分に合致する記録コンテンツを発見する際、詳細選択部FSELを支援できる。例えば、ある人が、画像を視覚的に検査し、比較的短期間の間にその画像中の１つ以上の初期特徴点を特定する。その後に、適切にプログラムされたプロセッサは、それらの初期特徴点に基づいて一致度を計算し、その画像が維持されるべきか否かを判定できる。同様な方法がオーディオ記録の場合に使用されてもよい。一般に、そのような人的支援を伴う自動選択は、完全に自動的に選択する場合よりも、間違いが少ない。

適切にプログラムされたプロセッサが、個人的記録レコードの初期の詳細選択を一旦行うと、人的介在もまた有用になる。ある人が、初期の詳細選択物中の記録コンテンツ各々を確認し、コンテンツ拡張プロセッサAUGPにおけるコンテンツ拡張処理に対して、記録コンテンツが有益であるか否かを判別できるようにする。従って、初期の詳細選択物中の有益でないものを排除することで、その人は、個人的記録の精選FSRRを行うことができる。人的介在を行う人は、例えば、記録コンテンツの一部分を排除することで、１つ以上の個人的記録レコードを編集してもよい。編集は、記録コンテンツの１つ以上の特徴を修正することを含んでよく、例えば、画像の輝度や色を調整することや、オーディオ記録の音量を調整すること等を含んでもよい。編集は、更に、例えばノイズ抑制のような信号処理を含んでもよい。適切な編集ソフトウエアが、そのような人的介在を支援してもよい。

ステップS10では、コンテンツ拡張プロセッサAUGPが、個人的記録レコードの精選FSRRに基づいて、コンテンツ拡張表現CAを用意する。拡張プロセッサAUGPは、１つ以上のパラメータPARを考慮し、そのパラメータは、リクエスト処理部RQHがサービスリクエストRQから導出したものである。人的介在コンソールHICを介して、１つ以上のコンテンツ拡張パラメータを、人が指定してもよい。

コンテンツ拡張プロセッサAUGPが使用してよいコンテンツ拡張法及び技法は、多数存在する。例えば、拡張されることになる記録コンテンツCRが、対象物の２次元画像であったとする。この場合、コンテンツ拡張プロセッサAUGPは、別の角度から同じ対象物を表現する補足的な２次元画像に基づいて、３次元モデルを構築する。３次元モデルの構築は、一般に、２次元画像各々の特徴点を照合することを含む。

別の例として、コンテンツ拡張プロセッサAUGPは、いわゆる２次元半空間モデルを構築し、このモデルは、対象物の２次元画像に奥行き情報を追加したものである。このようなモデルは、僅かに異なる数個の角度から対象物を見た比較的少数の画像と共に構築できる。そのようなモデルの構築方法は或る方法と同様であり、その方法は、左目及び右目からのそれぞれの情報に基づいて、人間の脳が奥行きの感じを生み出す方法である。モデルは、画像に関連する所謂「深度図」(depth map)の形式で表現されてもよい。深度図は、奥行きの感じを生み出すように、異なる表示を視聴者に投影できる特殊なディスプレイで画像を表現できるようにする。そのような特殊な装置は、例えばレンズ系(lenticular-based)である。

更に別の例として、記録コンテンツCRがオーディオ情報をなすものとする。様々な場所の様々なユーザは、特定の音楽的場面の異なる個人的記録をとる。粗選択部CSEL及び詳細選択部FSELは、データベースDBに存在するかもしれないこれらの様々な個人的記録を特定する。この場合において、個人的記録の精選FSRRは、複数のマイクロフォンによるオーディオ場面の記録を構築する。個人的記録の精選物FSRRの中のサービスメタデータは、相対的なマイクロフォンの場所を示す(或るマイクロフォンが他のマイクロフォンに対して何処にあるかを示す)。

コンテンツ拡張プロセッサAUGPは、所望の結果に依存して、様々な方法及び技法を使用できる。例えば、コンテンツ拡張プロセッサAUGPは、背景雑音を抑制し、会話認識用の特定のスピーカを見出し、或いは個々の音源を互いに分離することができる。最後に言及した技法は、ブラインド音源分離(blind source separation)と呼ばれることもしばしばある。更に別の例として、コンテンツ拡張プロセッサAUGPは、サラウンド音響効果を創作することができ、或いは複数の視聴者に対して仮想的な聴覚映像(acoustic image)さえ創作できる。これらの例全ては、音源の特定及び分離を含む。従って、相対的なマイクロフォンの場所の情報(サービスメタデータに含まれている情報)は、コンテンツ拡張プロセッサAUGPにとって有用である。

ステップS11では、配信部DLVがリターンメッセージRMを或るユーザに送信し、サービスリクエストRQを伴う入力メッセージIMは、そのユーザから発信されている。このため、配信部DLVは、リクエスト処理部RQHからユーザ識別子UIDを受信する。リターンメッセージRMは、コンテンツ拡張表現CAが準備できたことをユーザに通知する。リターンメッセージRMは、コンテンツ拡張表現CAを含んでいてもよい。リターンメッセージRMは、コンテンツ拡張表現CAに至るリンクを含んでいてもよい。例えば、コンテンツ拡張プロセッサAUGPがコンテンツ拡張表現CAを生成すると、コンテンツ拡張表現CAが、サービスセンタSCのデータベースDBに保存されてもよい。リターンメッセージRM中に存在するリンクは、コンテンツ拡張表現CAが保存されているデータベースDB内のアドレスを指定する。

リターンメッセージRM又は同様なメッセージは、他ユーザに送られてもよく、該他ユーザの記録コンテンツは、個人的記録の精選物FSRRに含まれている。即ち、リターンメッセージRMは、コンテンツ拡張表現CAに寄与したユーザ全員に送られてもよい。そのようなサービスは、個人的記録をサービスセンタSCに送るように、ユーザを刺激するであろう。

＜むすび＞
図面を参照しながらなされた詳細な説明は、特許請求の範囲で規定される特徴及び本発明の単なる例示に過ぎない。本発明は、多種多様な方法で実現可能である。これを明らかにするため、いくつかの代替例を概説する。

個人的記録のための本発明によるサービスセンタを実現する方法は多数存在する。図２に示される個人的記録のサービスセンタSCは、一例に過ぎない。サービスセンタは、様々な機能エンティティを含む。これらの機能エンティティの１つ以上が或るサーバに存在し、１つ以上の別の機能要素が別のサーバに存在してもよい。即ち、サービスセンタSCを構築する機能エンティティは、ネットワークを通じて分散していてもよい。サービスセンタは、データベース内で個人的記録を必ずしも組織的に保存しなくてよい。個人的記録のコンテンツ拡張バージョンを取得する目的で、ユーザは、個人的なデータベースストレージを要求せずに、個人的記録を単に送ってもよい。

個人的記録のサービスセンタは、暗号化−解読部を備え、ユーザとの安全な通信を行ってもよい。ユーザ(彼又は彼女)の個人的記録の全部又は一部のプライバシ及びセキュリティを保護することを、ユーザは望むかもしれない。例えば、個人的記録が私的な出来事に関連し、比較的小規模のサークルの人々のためだけに意図されているかもしれない。そのような個人的記録を安全な形式でサービスセンタSCに送ることとは別に、ユーザは、その個人的記録のサービスセンタ内での利用を制限することを希望するかもしれない。このため、サービスセンタはアクセス管理部を備えてもよく、アクセス管理部は、その個人的記録が、例えばコンテンツ拡張に使用されることを選択的に許可する。この機能部は、個人的記録の利用を含むサービスが、小規模のそのサークルの人達の中の誰かから要求された者であるか否かを検査し、その人達は、個人的記録を排他的に共有することをユーザが希望している人々である。これらの人々でなかった場合、アクセス管理部はその個人的記録が利用されることを妨げる。

ハードウエア、ソフトウエア又は双方を用いて上記の機能を実現する様々な方法が存在する。この点に関し、図面は非常に概略的なものにすぎず、各々は本発明の１つの可能な例を表しているに過ぎない。即ち、図面は異なる機能を異なるブロックで示しているが、ハードウエア又はソフトウエアの１つの要素が、いくつもの機能を実行してよいことを排除するものではない。ハードウエア、ソフトウエア又は双方で組み立てられた物が或る機能を実行することを排除するものでもない。

ここでなされる諸注意は、図面を参照しながらなされる説明が、本発明を限定するものではなく、例示するものであることを示す。添付の特許請求の範囲に包含される代替例は数多く存在する。特許請求の範囲におけるどの参照符号も(もし存在すれば)、特許請求の範囲を限定するように解釈されるべきでない。「有する(comprising)」という用語は、請求項に列挙されたもの以外の他の要素やステップが存在することを排除しない。要素やステップに先行する「ある」又は「或る」という用語は、そのような要素やステップが複数個存在することを排除するものではない。

Claims (8)

1. 個人的記録の収集ステップと、
   選択ステップと、
   コンテンツ拡張ステップと
   を有するコンテンツ拡張方法であって、
   前記収集ステップでは、個人的記録のデータベースを作成するため、サービスセンタが、ネットワークを介して、異なるユーザから個人的記録を収集し、
   前記選択ステップでは、特定の場面に関連し且つ互いに補足的な個人的記録を、前記サービスセンタが前記データベース内で特定し、コンテンツ拡張処理に備えて個人的記録を選択し、
   前記コンテンツ拡張ステップでは、前記サービスセンタが、選択された個人的記録にコンテンツ拡張処理を施し、拡張された表現を取得する、
   ようにしたコンテンツ拡張方法。
2. 当該コンテンツ拡張方法が関連付けステップを更に有し、該関連付けステップでは、サービスセンタが、収集された個人的記録にメタデータを関連付け、
   前記メタデータは、前記個人的記録の内容を記述し、
   前記選択ステップは、ある個人的記録に関連するメタデータと、別の個人的記録に関連するメタデータとを比較することを含む、請求項１記載のコンテンツ拡張方法。
3. 当該コンテンツ拡張方法がメタデータ生成ステップを更に有し、該メタデータ生成ステップでは、個人的記録に関連して受信したメタデータに基づいて、サービスセンタが、補足的なメタデータを生成する、請求項２記載のコンテンツ拡張方法。
4. 前記メタデータ生成ステップは、前記個人的記録に関連して受信した前記メタデータに基づいて、補助データベースに問い合わせを行うことを含む、請求項３記載のコンテンツ拡張方法。
5. 当該コンテンツ拡張方法がメタデータ要求ステップを有し、該メタデータ要求ステップでは、前記サービスセンタが或る装置に問い合わせメッセージを送り、個人的記録は該装置から前記サービスセンタに送られており、前記問い合わせメッセージは、メタデータを特定するように該装置のユーザを該装置が促すようにする、請求項２記載のコンテンツ拡張方法。
6. 当該コンテンツ拡張方法が個人的記録の管理ステップを更に有し、該管理ステップでは、前記サービスセンタが、特定のユーザに属する個人的記録のコレクション各々を管理し、個人的記録のコレクション各々は、前記データベースに保存され、前記選択ステップでは、異なるコレクションは異なるユーザに属する、請求項１記載のコンテンツ拡張方法。
7. ネットワークを介して異なるユーザから個人的記録を収集し、個人的記録のデータベースを構築するサービスセンタであって、
   特定の場面に関連し且つ互いに補足的な個人的記録を、前記データベース内で特定し、コンテンツ拡張処理に備えて個人的記録を選択する選択部と、
   選択された個人的記録にコンテンツ拡張処理を施し、拡張された表現を取得するコンテンツ拡張プロセッサと、
   を備えるサービスセンタ。
8. プログラム可能なプロセッサにロードされた場合、請求項１記載の方法を前記プログラム可能なプロセッサに実行させる命令群を有するコンピュータプログラム。

Images