JP2009536390A

JP2009536390A - コンテンツに注釈付けする装置及び方法

Info

Publication number: JP2009536390A
Application number: JP2009508628A
Authority: JP
Inventors: フレッディスネイデル
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-05-09
Filing date: 2007-05-07
Publication date: 2009-10-08
Also published as: WO2007132395A1; US8996983B2; US20090164462A1; CN101443763B; EP2018618A1; CN101443763A

Abstract

コンテンツに注釈付けする方法及び装置が提供される。該装置は、上記コンテンツを分析すると共に該コンテンツの分析に基づいて第１出力２０５を発生する手段１５０と、注釈リクエストを発生する手段２３０と、上記注釈リクエストを少なくとも１つの他の装置に配信すると共に該少なくとも１つの他の装置から注釈結果を受信するように構成された通信する手段１３０と、上記第１出力及び注釈結果を組み合わせて、改善された出力を供給する手段２４０とを有することができる。恐らくは背景の異なる知識に基づく、異なる装置からのコンテンツ分析アルゴリズムの複数の独立した結果を組み合わせることにより、当該注釈に関して一層高い品質の結果が提供される。

Description

本発明は、コンテンツに注釈付けする装置に関する。

また、本発明は、コンテンツに注釈付けする方法にも関する。

また、本発明は、プログラムエレメントにも関する。

また、本発明は、コンピュータ読み取り可能な媒体にも関する。

益々電子装置を小型化する傾向があり、結果として一層大きな処理能力を有する装置が開発され、これら装置を一層賢くすることを可能にしている。更に、一層の技術統合の傾向は、装置が、無線ネットワーク化及びセンサ能力等の益々多くの技術を、利用可能な装置に統合することを可能にするであろう。これら２つの傾向の結合は、装置が、賢い装置、状況認識的及びネットワーク内の他の斯様な装置（その場限り、固定、又はそれ以外の）と知的に対話するようになるのを可能にするであろう。このような装置は、携帯型又は据置型であり得る。携帯型及び据置型装置の製造者は、自身の装置製品を形態及び機能の両方で市場における他の斯様な装置から差別化する傾向がある。これは、ユーザを、家庭及び移動時において更に一層斯様な装置と一緒にさせるであろう。

このような強力な装置の一使用例は、個人的コンテンツの記憶及び／又はレンダリングである。このような装置を使用する場合、ユーザにとり、例えば自身のコンテンツを容易に編成し、ブラウジングし及び見つけ出すことができるには、自身で作成した写真及びビデオ等の個人的コンテンツのメタデータが重要となる。このようなコンテンツに手動で注釈付けすることは、ユーザにとり非常に面倒な仕事である。作成されるコンテンツの量が商業的及び個人的の両方において常に増加している故に、これは特にそうである。従って、全ての新しく作成されるコンテンツを適切に注釈付けすることは実質的に不可能になりつつある。ユーザを斯様な骨の折れる仕事から解放し、コンテンツを楽しむのを可能にする解決策が必要となる。

ユーザがコンテンツに自動的に注釈付けするのを助ける目的で、コンテンツ分析等を用いた多数の解決策が開発されつつある。いずれも満足のゆくものでない。個人的なコンテンツを考えた場合、下記のタイプのメタデータが一般的に重要であると思われる：
−当該コンテンツは何故作成されたか？何が"イベント"（例えば、夏休み）であるか；
−作成された写真又はビデオには誰が現れるか？（例えば、私の妻）；
−当該コンテンツは何時作成されたか？（例えば、夏、７月）；
−当該コンテンツは何処で作成されたか？（例えば、イタリア）。

更に、ユーザにとり、"幸福"、"海岸"及び"木"等の当該コンテンツ内に存在する概念及び対象に関するメタデータのタイプも重要となり得る。

写真及びビデオに誰が現れるかの認識に関しては、多数の文献が存在し、例えばMarc Davis, Michael Smith, John Canny, Nathan Good, Simon King及び Rajkumar Janakiramanによる"Towards Context-Aware Face Recognition," Proceedings of 13th Annual ACM International Conference on Multimedia (MM 2005) in Singapore, ACM Press, 483-486, 2005を参照されたい。この文献は、携帯電話を用いて作成された個人的写真における状況認識的顔認識を特に目標にしている。他の例は、Ara V. Nefian, Monson H. Hayes IIIによる1999年の"Face recognition using an Embedded HMM"に見られ、これは顔認識方法である。

コンテンツが何処で作成されたかを決定するために、作成時に全地球測位システム（ＧＰＳ）を使用することができることは広く知られている。更に、コンテンツにより捕捉されている場所が何処であるかを推定するために、該作成されたコンテンツを分析しようと試みるシステムも開発されている。例えば、Risto Sarvas, Erick Herrarte, Anita Wilhelm及びMarc Davisによる"Metadata Creation System for Mobile Images," Proceedings of the Second International Conference on Mobile Systems, Applications, and Services (MobiSys2004) in Boston, Massachusetts, ACM Press, 36-48, 2004において、作成された画像は他の画像と比較されるためにサーバにアップロードすることができる。このような分析から、例えば画像が米国、ＵＣバークレイキャンパスの"カンパニーレ"塔で撮影されたことを導出することができる。

更に、概念及び対象を検出するための大くの努力がなされており、例えばErik Murphy-Chutorian1, Sarah Aboutalib, Jochen Trieschによる"Analysis of a Biologically-Inspired System for Real-time Object Recognition", Cognitive Science Online, Vol.3.2, pp.1-14, 2005及びI. Cohen, N. Sebe, A. Garg, M.S. Lew, T.S. Huangによる"Facial Expression Recognition from Video Sequences", IEEE International Conference on Multimedia and Expo (ICME'02), vol II, pp. 121-124, Lausanne, Switzerland, August 2002を参照されたい。

しかしながら、コンテンツ分析のための全ての作業がなされたとしても、コンテンツ分析が１００％正確な注釈結果をもたらすことはできないことが分かっている。ユーザのフィードバック及び学習アルゴリズムを組み込む努力もなされているが、ユーザが相当量のフィードバックを行う必要があるという問題が残る。

発明者は、このような課題を認識して本発明を発明した。

本発明は、コンテンツの注釈の品質を改善することを目指すものである。

従って、本発明の第１態様によれば、コンテンツに注釈付けする装置であって、前記コンテンツを分析すると共に該コンテンツの分析に基づいて第１出力を発生する手段と、注釈リクエストを発生する手段と、前記注釈リクエストを少なくとも１つの他の装置に配信すると共に該少なくとも１つの他の装置から注釈結果を受信するように構成された通信する手段と、前記第１出力と前記注釈結果とを組み合わせて改善された出力を供給する手段とを有するような装置が提供される。

上記装置はコンテンツをコンテンツ分析器を用いてローカルに分析することもできるが、結果は、利用可能な最良のアルゴリズムよりも勿論良くはないであろう。しかしながら、少なくとも１つの他の装置にもコンテンツ分析を行うようリクエストすることにより、第２の独立した注釈結果が決定される。当該装置においてローカルに実行されたコンテンツ分析の結果を、少なくとも１つの他の装置により実行され、返送されたコンテンツ分析の独立した結果と組み合わせることにより、個々の且つ独立した結果を組み合わせて、組み合わされ且つ改善された出力を供給することができる。

本発明の第２態様によれば、コンテンツに注釈付けする方法であって、前記コンテンツを分析すると共に該コンテンツの分析に基づいて第１出力を発生するステップと、注釈リクエストを発生するステップと、前記注釈リクエストを少なくとも１つの他の装置に通知すると共に該少なくとも１つの他の装置から注釈結果を受信するステップと、前記第１出力と前記注釈結果とを組み合わせて改善された出力を供給するステップとを有するような方法が提供される。

本発明の第３態様によれば、コンテンツに注釈付けするシステムであって、コンテンツに注釈付けする複数の装置を有し、これら複数の装置における各装置が、前記コンテンツを分析すると共に該コンテンツの分析に基づいて第１出力を発生する手段と、注釈リクエストを発生する手段と、前記注釈リクエストを少なくとも１つの他の装置に配信すると共に該少なくとも１つの他の装置から注釈結果を受信するように構成された通信する手段と、前記第１出力と前記注釈結果とを組み合わせて改善された出力を供給する手段とを有するようなシステムが提供される。

本発明の第４態様によれば、プログラマブル装置のメモリに直接ロードすることが可能なプログラムエレメントであって、該プログラムエレメントが前記装置上で実行された場合に、注釈付けされるべきコンテンツを分析すると共に該コンテンツの分析に基づいて第１出力を発生するステップと、注釈リクエストを発生するステップと、前記注釈リクエストを少なくとも１つの他の装置に通知すると共に該少なくとも１つの他の装置から注釈結果を受信するステップと、前記第１出力と前記注釈結果とを組み合わせて改善された出力を供給するステップとを実行するためのソフトウェアコード部分を有するようなプログラムエレメントが提供される。

本発明の第５態様によれば、プログラマブル装置のメモリに直接ロードすることが可能なコンピュータ読み取り可能な媒体であって、前記装置上で実行された場合に、注釈付けされるべきコンテンツを分析すると共に該コンテンツの分析に基づいて第１出力を発生するステップと、注釈リクエストを発生するステップと、前記注釈リクエストを少なくとも１つの他の装置に通知すると共に該少なくとも１つの他の装置から注釈結果を受信するステップと、前記第１出力と前記注釈結果とを組み合わせて改善された出力を供給するステップとを実行するためのソフトウェアコード部分を有するようなコンピュータ読み取り可能な媒体が提供される。

一実施例においては、ユーザに注釈リクエストを提示すると共にユーザから該注釈リクエストに対するフィードバックを入力するように構成されたユーザインターフェースを設けることができ、組み合わせる手段はユーザからの該フィードバックを更に組み合わせて前記改善された出力を供給する。これは、上記の改善された出力により供給される注釈の品質の改善が依然として十分でないと判断されるような状況に対するフォールバック方式を提供する。

他の実施例では、通信する手段は、他の装置から外部注釈リクエストを受信すると共にユーザからのフィードバックを他の装置に送信するように構成することができる。これは、ネットワーク内の他の装置が自身でユーザからのフィードバックをリクエストする適切なユーザインターフェース能力を有さなくても、斯かる他の装置に対してユーザフィードバックをリクエスト及び供給するサービスを提供するような装置を提供する。

他の実施例では、注釈センタマネージャを設けることができ、該注釈センタマネージャは、前記ユーザに対する複数の未処理注釈リクエストを有する待ち行列と、前記未処理注釈リクエストの待ち行列から或る未処理注釈リクエストを選択する手段とを有することができ、該注釈センタマネージャはユーザインターフェースと通信的に結合され、前記選択された未処理注釈リクエストを前記ユーザインターフェースに伝達すると共に該ユーザインターフェースから前記フィードバックを受ける。これは、注釈リクエストが収集され、適切な時点でユーザに提示されるのを可能にする。

更に他の実施例では、注釈センタマネージャは、前記ユーザからのフィードバックにより旧廃であるとされた未処理注釈リクエストである旧廃未処理注釈リクエストを決定する手段と、前記旧廃未処理注釈リクエストを前記待ち行列から削除する手段とを更に有することができ、通信する手段は更に前記フィードバックを前記旧廃未処理注釈リクエストの発信元に伝達するように構成される。これは、待ち行列に入れられた注釈リクエストがユーザからのフィードバックを考慮して分析されるのを可能にすると共に、ユーザからのフィードバックに基づいて旧廃になったであろう注釈リクエストは、待ち行列から削除し、該旧廃注釈リクエストの発信元に通知することができる。これは、旧廃な注釈リクエストに答える必要性を除去することにより、必要とされるユーザの対話の量も低減する。

一実施例において、通信する手段は、更に、他の装置を注釈センタマネージャとして識別するメッセージを受信し、該識別された注釈センタマネージャに外部注釈リクエストを送信し、前記識別された注釈センタマネージャからユーザからの外部フィードバックを受信するように構成することができ、組み合わせる手段は前記改善された出力を供給するために前記ユーザからの外部フィードバックを更に組み合わせることができる。これは、他の装置が当該装置のために提示及びユーザフィードバックを受けるのを可能にする。これは、上記他の装置が一層強力なユーザインターフェース能力を有する場合に有効である。

他の実施例においては、前記ユーザが前記装置の近傍に居ることを検出する手段を、前記ユーザが前記装置の近傍に居ることの検出に基づいて前記装置を装置のネットワークにおける注釈センタマネージャとして識別する手段と一緒に設けることができ、通信する手段は、更に、装置の前記ネットワークから外部注釈リクエストを受信するように構成することができる。これは、注釈リクエストがユーザの最寄りの装置に向けられるのを可能にする。また、これはフィードバックがユーザから速く且つ効率的に収集されるのを可能にする。

他の実施例においては、前記改善された出力を記憶する手段を設けることができる。改善された出力を記憶することは、当該コンテンツに関するメタデータが永久的に改善された品質のものであること可能にする。

他の実施例では、組み合わせる手段が更に信頼レベル決定ユニットを有することができ、該信頼レベル決定手段は、前記第１出力が正しいという信頼度を示すような該第１出力の第１信頼レベルを決定すると共に、前記注釈結果が正しいという信頼度を示すような該注釈結果の第２信頼レベルを決定するように構成することができ、組み合わせる手段は、更に、前記第１信頼レベル及び前記第２信頼レベルに基づき前記第１出力及び前記注釈結果を組み合わせて、改善された出力を供給するように構成することができる。これは、コンテンツ分析アルゴリズムが自身で信頼レベルを供給することができないような場合でも、コンテンツ分析の各結果に対して信頼レベルが決定されるのを可能にする。

他の実施例では、本発明による装置は、セットトップボックス装置、デジタルビデオ記録装置、ネットワーク対応（network-enabled）装置、限定受信（conditional access）システム、携帯オーディオプレーヤ、携帯ビデオプレーヤ、携帯電話、ＤＶＤプレーヤ、ＣＤプレーヤ、ハードディスク型メディアプレーヤ、インターネットラジオ装置、コンピュータ、テレビジョン、公衆娯楽装置、メモリスティック及びＭＰ３プレーヤからなる群のうちの少なくとも１つとして実現することができる。しかしながら、これら用途は例示に過ぎない。

他の実施例では、注釈リクエストをユーザに提示することができ、該ユーザから前記注釈リクエストに対するフィードバックを受けることができ、組み合わせる方法ステップは、前記ユーザからのフィードバックを更に組み合わせて前記改善された出力を供給することができる。これは、上記改善された出力により供給される注釈の品質の改善が依然として十分であると判定されないような状況に対するフォールバック手順（fallback scenario）を提供する。

一実施例では、外部注釈リクエストを他の装置から受信することができ、ユーザからのフィードバックを該他の装置に送信することができる。これは、ネットワーク内の他の装置が自身でユーザからのフィードバックを要求する適切なユーザインターフェース能力を有さないような場合でも、斯かる他の装置にユーザフィードバックを要求及び供給するサービスを提供する。

本発明により必要とされるデータ処理は、コンピュータプログラムにより、即ちソフトウェアにより、又は１以上の特別な電子最適化回路を用いて、即ちハードウェアにより、又は複合形態で、即ちソフトウェア成分及びハードウェア成分により実現することができる。該データ処理は、サーバ上で動作する外部サービスにより提供することもできる。

本発明の上述した態様及び他の態様は、以下に説明する実施例から明らかとなり、これら実施例を参照して説明する。

以下、本発明を、実施例を参照して詳細に説明するが、本発明はこれらに限定されるものではない。尚、図は概略的に描かれたものであって、寸法通りではなく、異なる図における同一の符号は対応する構成要素を示している。また、当業者であれば、本発明の代替的又は等価な実施例が真の発明的概念から逸脱することなしに可能であり、本発明の範囲は請求項のみにより限定されるものであることは明らかであろう。

図１は、本発明の一実施例を示す。装置１００が設けられ、該装置はネットワーク１８０内に存在することができる。ネットワーク１８０はローカルネットワーク又はインターネットとすることができる。他の装置１６５も当該ネットワークに存在することができる。装置１００は自律型装置であり、該装置１００が、他の装置の明示的制御無しで動作し、アクセスしており且つ装置１００の機能及びデータを用いている者又は物を制御するのを可能にする。これは、異なる環境で動作する必要があり、幾つかのものはユーザの自身の（ホーム／プライベート）ネットワーク外でありえるような携帯型装置にとり特に重要である。装置１００は、今日の装置に普通に適用されているような、マシン読み取り可能なコードを実行するプロセッサ１２０を有することができる。また、装置１００は当該装置１００内のシステム構成要素を相互接続するためのバス１４０も有することができる。例えば、プロセッサ１２０は、コードを実行し及び／又はデータを記憶するためにメモリ１１０を使用することができる。また、該装置は、ネットワークインターフェース１３０等の通信する手段を有することもでき、該装置１００が他の装置１６５又は更なる装置と通信するのを可能にする。

ネットワークインターフェース１３０は、有線イーサネット（登録商標）インターフェース等のネットワークインターフェースとするか、又は無線的性質のものとすることができる。例えば、ネットワークインターフェース１３０はＷｉＦｉ、ブルートゥース、携帯電話又は他の適切なネットワークインターフェースであり得る。表示器１６０は、ユーザに対してコンテンツをレンダリングするために設けることができる。ユーザ１９２は、リモコン１９１及びユーザインターフェース１９０を用いて装置１００と対話することができる。ユーザインターフェース１９０は、勿論、表示器１６０を使用することもできる。リモコン以外に、キーボード、タッチスクリーン、マウス又は他のポインティング装置等の他の形態のユーザ対話も好適であり得る。コンテンツ、メタデータ並びに何らかの処理ステップの中間及び／又は最終結果を記憶するために記憶手段１７０を設けることができる。該記憶手段は、揮発性又は不揮発性とすることができ、例えばＳＲＡＭ、ＤＲＡＭ若しくはフラッシュメモリ、ハードディスクドライブ又は光ドライブとすることができる。コンテンツは記憶手段１７０からアクセスすることができるが、コンテンツにネットワークインターフェース１３０を介してアクセスすることも等しく可能であることに注意されたい。そのような場合、記憶手段１７０は完全にオプションとなる。

コンテンツ分析器１５０は、当該装置によりローカルに又はネットワーク１８０を介してアクセス可能なコンテンツを分析するために設けることができる。コンテンツの分析は、より多くのメタデータ又は改善された品質のメタデータを供給することができる。これは、以下のタイプのメタデータが一般的に重要であると思われるような個人的コンテンツを考える場合に特に関係する：
当該コンテンツは何故作成されたか？何が"イベント"（例えば、夏休み）か。
作成された写真又はビデオに誰が現れるか？例えば、私の妻。
当該コンテンツは何時作成されたか？例えば、夏、７月。
当該コンテンツは何処で作成されたか？例えば、イタリア。

ユーザ１９２は、当該コンテンツ内に含まれる一層高い概念及び対象に関するメタデータを評価する。例えば、"幸福"、"海岸"及び"木"の概念はユーザにとり重要なものであると思われている。既述したように、写真及びビデオに誰が現れるかの認識に関する場合、多数の文献が存在する。例えば、"Towards Context-Aware Face Recognition," Proceedings of 13th Annual ACM International Conference on Multimedia (MM 2005) in Singapore, ACM Press, 483-486, 2005は、携帯電話を用いて作成された個人的写真における状況認識的顔認識を特に目標にしている。他の例が、Ara V. Nefian, Monson H. Hayes IIIによる1999年の"Face recognition using an Embedded HMM"に見られ、これは顔認識方法である。

他の重要なメタデータの側面は、コンテンツが何処で作成されたかを決定することに関するもので、作成時に全地球測位システム（ＧＰＳ）を使用することができることは広く知られている。更に、コンテンツにより捕捉されている場所が何処であるかを推定するために、該作成されたコンテンツを分析しようと試みるシステムも開発されている。例えば、"Metadata Creation System for Mobile Images," Proceedings of the Second International Conference on Mobile Systems, Applications, and Services (MobiSys2004) in Boston, Massachusetts, ACM Press, 36-48, 2004においては、作成された画像は他の画像と比較されるためにサーバにアップロードすることができる。このような分析から、例えば画像が米国、ＵＣバークレイキャンパスの"カンパニーレ"塔で撮影されたことを導出することができる。

更に、概念及び対象を検出する努力もなされており、例えばErik Murphy-Chutorian1, Sarah Aboutalib, Jochen Trieschによる"Analysis of a Biologically-Inspired System for Real-time Object Recognition", Cognitive Science Online, Vol.3.2, pp.1-14, 2005及びI. Cohen, N. Sebe, A. Garg, M.S. Lew, T.S. Huangによる"Facial Expression Recognition from Video Sequences", IEEE International Conference on Multimedia and Expo (ICME'02), vol II, pp. 121-124, Lausanne, Switzerland, August 2002を参照されたい。

これら形態のコンテンツ分析は全て有用であるが、自身で動作するほど信頼性はない。従って、ユーザのフィードバックを組み込む努力がなされている。このフィードバックは、コンテンツ分析方法の結果が低い信頼度を有する場合に注釈付けを行うために、及びコンテンツ分析アルゴリズムを改善するために（オンライン学習）使用することができる。例えば、"Semantic Learning and Analysis of Multimedia", SLAM project, IBM Research, http://www.research.ibm.com/slam/を参照されたい。既知の解決策は、殆どが、コンテンツ分析アルゴリズムのオンライン学習のために如何にフィードバックを使用するかに焦点を絞っている。

ユーザがコンテンツに注釈付けをする全く異なる方法は、例えばJournal of Information Science (2006), Information Dynamics Lab, HP LabsにおけるScott A. Golder and Bernardo A. Hubermanによる"The Structure of Collaborative Tagging Systems"におけるような"連携型タグ付け"を介してのものである。この解決策において、ユーザはウェブサイトにアップロードされる如何なるコンテンツにも注釈を付加することができる。

以下において、注釈付けとは、メタデータの作成のみならず、ユーザ付加情報の作成も意味する。注釈は、オプションとして、将来のブラウジング又は検索操作を補助するために記憶することができる。

ユーザフィードバックはユーザに課された明示的質問に対してのみ信頼性があり、ユーザの応答からなされる如何なる推論も完全には信頼がおけないとうい問題が残る。更に、広範囲な処理プラットフォーム、即ち装置及び装置の種々の能力により、如何なる単一のコンテンツ分析アルゴリズムの結果が信頼され得る程度も限定されるであろう。

図２には、コンテンツ分析からの出力の品質を改善する一実施例が詳細に示されている。注釈付けされるべきコンテンツ２１０が、装置１００に対して利用可能にされる。コンテンツ２１０は、写真、オーディオ、ビデオ又は何らかの他のデータ形態であり得る。コンテンツ分析器１５０は、コンテンツ２１０を例えば顔検出アルゴリズム等の既知のアルゴリズムを使用して分析する。コンテンツ分析器１５０は、コンテンツ分析ステップの結果を伴う第１出力２０５を発生する。第１出力２０５は、注釈のみか又は注釈及び該注釈における信頼度を有することができる。実際の注釈及び如何なる信頼度も、各々のコンテンツ分析アルゴリズムに固有のものであるから、特に信頼度の何らかの形の標準化が有効であろう。第１出力２０５は、例えば顔の数及び斯かる顔が誰を表すか等を含むことができる。カラー等のビデオの特徴、又は音量及びテンポ等のオーディオの特徴に焦点を合わせた多くの他のコンテンツ分析アルゴリズムも可能である。

第１出力２０５は注釈マネージャ２２０に伝達される。注釈マネージャ２２０は注釈リクエスト発生器２３０及びコンバイナ２４０を有することができる。注釈リクエスト発生器２３０は上記第１出力２０５を入力し、該第１出力２０５に基づいて注釈リクエスト２１５を発生する。オプションとして、注釈リクエスト発生器２３０は、他の装置１６５がコンテンツ２１０を最初から分析することができるように、注釈リクエスト２１５内に該コンテンツ２１０へのリンクのみを設けることもできる。注釈リクエスト２１５は内部的にネットワークインターフェース１３０に伝達され、該ネットワークインターフェースからネットワーク１８０内の、他の装置１６５等の別の装置へ配信される。

この例において、他の装置１６５は注釈リクエスト２１５に従ってコンテンツ２１０を分析する。注釈リクエスト２１５は、コンテンツ２１０を最初から分析する一般的なリクエストであり得るか、又はコンテンツ２１０の特定の側面を分析する固有のリクエストであり得る。例えば、固有のリクエストは、写真で検出された顔のみを分析するリクエストであり得る。分析を実行した後、他の装置１６５は上記注釈リクエスト２１５に対して注釈結果２２５で以って応答するであろう。独立の注釈結果が、異なるコンテンツ分析アルゴリズムにより達成され得るか、又は異なる背景知識に基づいて分析され得る。注釈結果２２５は、注釈メタデータのみを有するか、又はオプションとして該注釈メタデータにおける信頼度も有し得る。

装置１００は上記注釈結果２２５を他の装置１６５からネットワークインターフェース１３０を介して受信する。コンバイナ２４０は上記注釈結果２２５を入力し、該注釈結果を第１出力２０５と組み合わせる。コンバイナ２４０は、上記２つの独立した結果を分析し、一方又は両方の結果の品質又は信頼性を判定し、改善された出力２３５を供給する。該改善された出力２３５は、第１出力２０５と注釈結果２２５との如何なる既知の組み合わせ又は関数とすることもできる。

他の実施例では、図３に示されるように、注釈マネージャ２２０は信頼レベル決定ユニット３１０を有することができる。該信頼レベル決定ユニット３１０は、コンテンツ分析器１５０から第１出力２０５を取り込むように示されている。明瞭化のために、コンテンツ分析器１５０はハードウェア構成部品又はプロセッサ１２０上で動作するソフトウェアモジュールとすることができることに注意されたい。コンテンツ分析器１５０が第１出力２０５において如何なる信頼度も供給しない場合、信頼レベル決定ユニット３１０は履歴情報を用いて信頼レベルを推定することができる。第１出力２０５における信頼レベルに基づいて、信頼レベル決定ユニット３１０は、注釈リクエスト発生器２３０を起動して注釈リクエスト２１５を発生させるか、又は第１出力２０５をスイッチ３２０を介して改善された出力２３５に直接通過させるかを決定することができる。注釈リクエストを利用するように経路が選択された場合、注釈リクエスト２１５は通常のように処理され、コンバイナ２４０及びスイッチ３２０（下側に設定されている場合）を介して、改善された出力２３５に伝達される。

図４には、他の実施例が示されている。図４において、注釈マネージャ２２０は、ネットワーク１８０上の装置から注釈リクエスト２１５を受信することが可能な注釈リクエスト受信器４１０を有することができる。注釈リクエスト受信器４１０は、コンテンツ分析器１５０を用いて、コンテンツ２１０のコンテンツ分析を開始することができる。コンテンツ２１０は、図４に示されるように、遠隔に位置することができる。コンテンツ２１０は、他の装置１６５上に記憶することもできる。注釈マネージャ２２０は、注釈質問発生器４２０を更に有することができる。注釈質問発生器４２０は、信頼レベル決定ユニット３１０に通信的に結合され、信頼レベル決定ユニット３１０により実行された分析の結果により起動されてユーザ１９２に対する質問を発生する。この目的のために、表示器１６０及びユーザインターフェース１９０を使用することができる。ユーザ１９２はフィードバック４１５を供給することができる。該フィードバック４１５に基づいて、注釈質問発生器４２０は高信頼レベルの注釈結果２２５を発生する。注釈結果２２５は、注釈リクエスト２１５の発信元に通知することができる。この通知は、図４には示されていないが、ネットワークインターフェース１３０により実行することができる。

図５には、注釈質問をネットワークインターフェース１３０を介して注釈センタマネージャ５２０を有する遠隔装置５１０に通知することがでるような実施例を示している。注釈センタマネージャ５２０は、ユーザに対して注釈質問を図４に記載したのと同様の態様で表示する。フィードバック４１５は、遠隔装置５１０の注釈センタマネージャ５２０からネットワーク１８０を介して装置１００の注釈質問発生器４２０に伝達される。次いで、注釈結果２２５が注釈質問発生器４２０により発生される。ここでも、注釈結果２２５はネットワークインターフェース１３０を介して他の装置に伝達することができる。

図６には、装置１００がネットワーク１８０における注釈センタマネージャ５２０として作用し得る実施例が示されている。注釈センタマネージャ５２０は、注釈リクエスト受信器４１０及び注釈リクエスト待ち行列６２０を有することができる。これは、ユーザがフィードバックを付与する準備が整うまで注釈リクエストが収集されるのを可能にする。注釈リクエスト待ち行列６２０は、ユーザインターフェース１９０を起動してユーザ１９２からのフィードバックを直接要求することができる。代わりに、注釈リクエスト待ち行列６２０は、コンテンツ分析器１５０を起動してコンテンツ２１０を分析させることができる。ユーザ１９２からのフィードバック４１５に基づいて、旧廃（obsolete）リクエスト決定ユニット６３０は、注釈リクエスト待ち行列６２０内の何のリクエストが、ユーザ１９２により供給されたフィードバック４１５を考慮すると今や旧く廃れたものであるかを決定することができる。例えば、フィードバック４１５が、"ジョン"の顔は今や高い信頼度で認識することができると分析された後、"ジョン"の顔に関する如何なる他の注釈リクエストもユーザ１９２に送る必要はない。従って、ユーザ１９２から必要とされる作業負荷は低減される。

図７には、注釈センタマネージャ５２０として動作する装置１００の他の実施例が示されている。該注釈センタマネージャ５２０は、ユーザ接近検出ユニット７１０も有することができる。該ユーザ接近検出ユニット７１０は、ユーザ１９２が当該装置１００に極接近していることを検出する如何なる既知の手段を使用することもできる。例えば、ユーザ接近検出ユニット７１０は、カメラ、温度検出器等を使用することができる。ユーザ接近検出ユニット７１０は、ユーザ１９２の接近を、ユーザの対話及び斯かる対話が発生してから経過した時間を記録することにより推定することもできる。例えばユーザ１９２が装置１００を操作しているか又は極最近操作した場合、ユーザ１９２は当該装置１００の極近接範囲内に多分居るであろう。この場合、ユーザ接近検出ユニット７１０は、ネットワーク１８０内の他の装置に指示情報７０５を介して、自身が現在の中心的注釈センタマネージャになること及びユーザのフィードバックを要する全ての注釈リクエスト又は質問は装置１００に向けられるべきであることを知らせることができる。

図８には、装置１００のプロセッサ１２０上で本発明の一実施例を実施する方法を示すフローチャートが示されている。ステップ８００において、コンテンツ２１０が入力されるか、又は少なくともアクセス可能にされる。ステップ８１０において、コンテンツ２１０はコンテンツ分析アルゴリズムを用いてローカルに分析され、第１出力２０５が生成される。ステップ８２０において、注釈リクエスト２１５が発生され、ステップ８３０において該注釈リクエスト２１５が他の装置１９５に伝達される。ステップ８４０において、該他の装置１９５から注釈結果２２５が受信される。ステップ８５０において、第１出力２０５と注釈結果２２５とが組み合わされ、改善された出力２３５を供給する。

図９には、装置１００のプロセッサ１２０上で本発明の一実施例を実施する他の方法を示す第２フローチャートが示されている。ステップ８２０の後、２つの並列経路が可能である。第１経路は図８の説明で記載した方法ステップ、即ちステップ８３０及び８４０を含む。第２経路は、ステップ９１０においてユーザ１９２に対し注釈リクエスト２１５を質問として提示する。該ユーザ１９２に対する提示は、ローカルな装置、例えば装置１００上でもよく、又は他の装置１６５上でもよい。ユーザ１９２の正確な場所は重要ではない。しかしながら、ステップ９２０においてユーザ１９２がフィードバック４１５を供給することが重要である。ステップ９３０において、第１出力２０５、注釈結果２２５及びフィードバック４１５が全て組み合わされて、非常に高い品質の注釈を改善された出力２３５として供給する。

図１０には、装置１００のプロセッサ１２０上で本発明の一実施例を実施する他の方法を示す第３フローチャートが示されている。図１０の実施例では、ステップ１０１０において外部注釈リクエストを遠隔装置から受信することができる。ステップ９１０及びステップ９２０は、図９で説明したステップと同様であるが、上記外部注釈リクエストに対して動作する。ここでも、ユーザ１９２に対する提示は、ローカルな装置、例えば装置１００上でもよく、又は他の装置１６５上でもよい。ステップ１０２０において、フィードバック４１５は前記外部注釈リクエストの発信元に送信することができる。これは、注釈リクエストがユーザ１９２に近い場所に転送されるのを可能にする。

要約すると、本発明はコンテンツに注釈付けする方法及び装置を開示している。該装置は、上記コンテンツを分析し、該コンテンツの分析に基づいて第１出力を発生する手段と、注釈リクエストを発生する手段と、上記注釈リクエストを少なくとも１つの他の装置に配信すると共に該少なくとも１つの他の装置から注釈結果を受信するように構成された通信する手段と、上記第１出力及び注釈結果を組み合わせて、改善された出力を供給する手段とを有することができる。恐らくは背景の異なる知識に基づく、異なる装置からのコンテンツ分析アルゴリズムの複数の独立した結果を組み合わせることにより、当該注釈に関して一層高い品質の結果が得られる。

尚、上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項に記載された本発明の範囲から逸脱することなく多くの代替実施例を設計することができるであろうことに注意されたい。更に、上述した実施例の何れも、電池又は蓄電池等の内部電流源のような暗黙的な特徴を有している。また、請求項において、括弧内に記載された如何なる符号も、請求項を限定するものと見なしてはならない。また、"有している"及び"有する"等の用語は、何れかの請求項又は明細書全体に掲載されたもの以外の構成要素又はステップの存在を排除するものではない。また、単数形の構成要素は、斯様な構成要素の複数の参照を排除するものではなく、その逆も真である。幾つかの手段を列挙する装置の請求項において、これら手段のうちの幾つかは単一且つ同一のハードウェア品目により実施化することができる。また、特定の手段が相互に異なる従属請求項において引用されるという単なる事実は、これら手段の組み合わせが有利に使用することができないということを示すものではない。

図１は、本発明の一実施例による装置のシステム図である。図２は、本発明の一実施例による装置を更に詳細に示す。図３は、コンテンツ分析の結果における信頼レベルが決定されるような本発明の一実施例を示す。図４は、ユーザからのフィードバックがコンテンツ分析の結果における信頼レベルに基づいてリクエストされるような本発明の一実施例を示す。図５は、コンテンツ分析の結果における信頼レベルに基づいて他の装置から注釈がリクエストされるような本発明の一実施例を示す。図６は、注釈リクエストが待ち行列に入れられ、ユーザからのフィードバックに基づいて旧廃注釈リクエストを待ち行列から削除することができるような本発明の一実施例を示す。図７は、装置に対するユーザの接近が検出され、該装置が他の装置に対しユーザからのフィードバックを必要とする注釈リクエストを受信することができることを通知することができるような本発明の一実施例を示す。図８は、本発明の一実施例に使用されるフローチャートを示す。図９は、本発明の一実施例に使用される第２のフローチャートを示す。図１０は、本発明の一実施例に使用される第３のフローチャートを示す。

Claims

コンテンツに注釈付けする装置において、
前記コンテンツを分析すると共に、該コンテンツの分析に基づいて第１出力を発生する手段と、
注釈リクエストを発生する手段と、
前記注釈リクエストを少なくとも１つの他の装置に配信すると共に該少なくとも１つの他の装置から注釈結果を受信するように構成された通信する手段と、
改善された出力を供給するために前記第１出力及び前記注釈結果を組み合わせる手段と、
を有する装置。
請求項１に記載の装置において、前記注釈リクエストをユーザに提示すると共に該ユーザから前記注釈リクエストに対するフィードバックを受けるユーザインターフェースを更に有し、
前記組み合わせる手段が、前記改善された出力を供給するために前記ユーザからのフィードバックを更に組み合わせるような装置。
請求項２に記載の装置において、前記通信する手段が、更なる装置から外部注釈リクエストを受信すると共に前記ユーザからのフィードバックを該更なる装置に送信するように構成されている装置。
請求項２又は請求項３に記載の装置において、注釈センタマネージャを更に有し、該注釈センタマネージャが、
前記ユーザに対する複数の未処理注釈リクエストを有する待ち行列と、
前記未処理注釈リクエストの待ち行列から或る未処理注釈リクエストを選択する手段と、
を有し、
前記注釈センタマネージャは前記ユーザインターフェースと通信的に結合され、前記選択された未処理注釈リクエストを前記ユーザインターフェースに伝達すると共に該ユーザインターフェースから前記フィードバックを受けるような装置。
請求項４に記載の装置において、前記注釈センタマネージャが、
前記ユーザからのフィードバックにより旧廃であるとされた未処理注釈リクエストである旧廃未処理注釈リクエストを決定する手段と、
前記旧廃未処理注釈リクエストを前記待ち行列から削除する手段と、
を更に有し、前記通信する手段が更に前記フィードバックを前記旧廃未処理注釈リクエストの発信元に伝達するように構成されているような装置。
請求項１に記載の装置において、前記通信する手段が、更に、
他の装置を注釈センタマネージャとして識別するメッセージを受信し、
該識別された注釈センタマネージャに外部注釈リクエストを送信し、
前記識別された注釈センタマネージャからユーザからの外部フィードバックを受信する、
ように構成され、
前記組み合わせる手段が、前記改善された出力を供給するために前記ユーザからの外部フィードバックを更に組み合わせるような装置。
請求項３に記載の装置において、
前記ユーザが前記装置の近傍に居ることを検出する手段と、
前記ユーザが前記装置の近傍に居ることの検出に基づいて、前記装置を装置のネットワークにおける注釈センタマネージャとして識別する手段と、
を更に有し、
前記通信する手段が、更に、装置の前記ネットワークから外部注釈リクエストを受信するように構成されるような装置。
前記改善された出力を記憶する手段を更に有する請求項１に記載の装置。
請求項１に記載の装置において、前記組み合わせる手段が更に信頼レベル決定ユニットを有し、該信頼レベル決定手段が、
前記第１出力が正しいという信頼度を示すような該第１出力の第１信頼レベルを決定し、
前記注釈結果が正しいという信頼度を示すような該注釈結果の第２信頼レベルを決定する、
ように構成され、
前記組み合わせる手段が、更に、前記第１信頼レベル及び前記第２信頼レベルに基づき前記第１出力及び前記注釈結果を組み合わせて、改善された出力を供給するように構成されているような装置。
請求項１に記載の装置において、
セットトップボックス装置、
デジタルビデオ記録装置、
ネットワーク対応装置、
限定受信システム、
携帯オーディオプレーヤ、
携帯ビデオプレーヤ、
携帯電話、
ＤＶＤプレーヤ、
ＣＤプレーヤ、
ハードディスク型メディアプレーヤ、
インターネットラジオ装置、
コンピュータ、
テレビジョン、
公衆娯楽装置、
メモリスティック、
ＭＰ３プレーヤ、
からなる群のうちの少なくとも１つとして実現された装置。
コンテンツに注釈付けする方法において、
前記コンテンツを分析すると共に、該コンテンツの分析に基づいて第１出力を発生するステップと、
注釈リクエストを発生するステップと、
前記注釈リクエストを少なくとも１つの他の装置に伝達すると共に該少なくとも１つの他の装置から注釈結果を受信するステップと、
改善された出力を供給するために前記第１出力及び前記注釈結果を組み合わせるステップと、
を有する方法。
請求項１１に記載の方法において、
前記注釈リクエストをユーザに提示すると共に該ユーザから前記注釈リクエストに対するフィードバックを受けるステップと、
前記組み合わせるステップにおいて、前記改善された出力を供給するために前記ユーザからのフィードバックを更に組み合わせるステップと、
を更に有するような方法。
請求項１２に記載の方法において、
更なる装置から外部注釈リクエストを受信するステップと、
前記ユーザからのフィードバックを前記更なる装置に送信するステップと、
を更に有するような方法。
コンテンツに注釈付けするシステムにおいて、該システムはコンテンツに注釈付けする複数の装置を有し、該複数の装置における各装置が、
前記コンテンツを分析すると共に、該コンテンツの分析に基づいて第１出力を発生する手段と、
注釈リクエストを発生する手段と、
前記注釈リクエストを少なくとも１つの他の装置に配信すると共に該少なくとも１つの他の装置から注釈結果を受信するように構成された通信する手段と、
改善された出力を供給するために前記第１出力及び前記注釈結果を組み合わせる手段と、
を有するシステム。
プログラマブル装置のメモリに直接ロード可能なプログラムであって、前記装置上で実行された場合に、
注釈付けされるべきコンテンツを分析すると共に、該コンテンツの分析に基づいて第１出力を発生するステップと、
注釈リクエストを発生するステップと、
前記注釈リクエストを少なくとも１つの他の装置に伝達すると共に該少なくとも１つの他の装置から注釈結果を受信するステップと、
改善された出力を供給するために前記第１出力及び前記注釈結果を組み合わせるステップと、
を実行するソフトウェアコード部分を有するようなプログラム。
プログラマブル装置のメモリに直接ロード可能なコンピュータ読み取り可能な媒体であって、ソフトウェアコード部分を有し、該ソフトウェアコード部分は、前記装置上で実行された場合に、
注釈付けされるべきコンテンツを分析すると共に、該コンテンツの分析に基づいて第１出力を発生するステップと、
注釈リクエストを発生するステップと、
前記注釈リクエストを少なくとも１つの他の装置に伝達すると共に該少なくとも１つの他の装置から注釈結果を受信するステップと、
改善された出力を供給するために前記第１出力及び前記注釈結果を組み合わせるステップと、
を実行するためのものであるようなコンピュータ読み取り可能な媒体。