JP2007506330A

JP2007506330A - マルチメディアコンテンツを特徴付けるコモンセンス情報の使用

Info

Publication number: JP2007506330A
Application number: JP2006526743A
Authority: JP
Inventors: エムアーディーデリクス，エルモ
Original assignee: コニンクリユケフィリップスエレクトロニクスエヌ．ブイ．
Priority date: 2003-09-16
Filing date: 2004-08-30
Publication date: 2007-03-15
Also published as: WO2005027519A1; CN1853415A; EP1665793A1; KR20060079224A; US20070028285A1

Abstract

本発明はオーディオ又はビデオコンテンツのようなマルチメディアコンテンツを処理する方法に関連する。本方法は：マルチメディアコンテンツを有するデータ信号を受信するステップ；受信したマルチメディアコンテンツ中の所定のフィーチャーを確認するステップ；確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて、受信したマルチメディアコンテンツの特徴を判定するステップ；を有し、フィーチャーと特徴との間の関連性はリアルワールド情報に基づいてなされる。特徴に基づいてパラメータが生成可能であり、そのパラメータは様々な目的（例えば、コンテンツ中のキーワードサーチ、特徴に基づくコンテンツ表現及び言語検出）に使用されてもよい。

Description

本発明はオーディオやビデオコンテンツのようなマルチメディアコンテンツを処理する方法に関する。本発明はオーディオやビデオコンテンツのようなマルチメディアコンテンツを処理する装置にも関連する。更に本発明はマルチメディアコンテンツを記述するデータ信号にも関連し、そのデータ信号はメタデータを更に有する。更に本発明はマルチメディアコンテンツを記述するデータ信号を有する記憶媒体に関連し、そのデータ信号はメタデータを更に有する。

テレビジョン視聴者に利用可能なチャネル数が増えるにつれて、そのようなチャネルで利用可能な番組内容の多様性により、テレビジョン視聴者にとって関心のあるテレビジョン番組を見分けることは益々難しくなりつつある。

歴史的にはテレビジョン視聴者は印刷されたテレビジョン番組案内を調べることで関心のあるテレビジョン番組を特定していた。典型的にはそのような印刷されたテレビジョン番組案内は、日時、チャネル及びタイトルにより利用可能なテレビジョン番組を一覧表にする格子状の線（グリッド）を含んでいた。テレビジョン番組数が増えるにつれて、そのような印刷されたガイドを用いて所望のテレビジョン番組を効果的に見分けることは益々困難になりつつある。

最近、テレビジョン番組案内は電子形式で利用可能になっており、電子番組ガイド（EPG）と言及されることも間々ある。印刷されたテレビジョン番組案内と同様に、EPGは日時、チャネル及びタイトルにより利用可能なテレビジョン番組をリストにするグリッドを含む。しかしながらそのようなEPGは個人的趣向に応じてテレビジョン視聴者が利用可能なテレビジョン番組を並べ換える或いは探すことを許容する。更にEPGは利用可能なテレビジョン番組のスクリーン表示を可能にする。

EPGは従来の印刷されたガイドよりも効率的に視聴者が所望の番組を特定可能にするが、EPGは多くの制限を受けており、その制限が克服されるならば、視聴者が所望の番組を見分ける機能を強化できるかもしれない。

一般に、例えばビデオ及び／又はオーディオ信号であるマルチメディア信号中のメタデータに基づいてコンテンツのプロパティを判定し、それにより特定のコンテンツを見分ける更なる機能を鑑賞者やリスナーに与えるリコメンダ及びコンテンツ管理システムがある。リコメンダ及びコンテンツ管理システムは適切なメタデータが利用可能な場合にのみ付加価値を与える。メタデータの種類は様々であるが、現在足りない種類の1つはコンテンツ又はコンテンツの一部（例えば場面又は一部の音楽）についての心的影響の又は感情的な記述である。MPEG7規格はそのような感情情報を含む可能性のあるメタデータタグを用意し、そのようなメタデータの重要性を予見しているが、タグに対する情報をどのように判定するかは示されていない。この種の情報の欠如する理由の１つは、標準的な分類法がないこと及び手作業での分類は時間のかかる作業になることである。更に従来の特徴抽出法（又は信号分析法）はそのような情報をもたらさない、なぜならそのような情報はコンテンツ自体の中に明示的に存在するものではないからである。
H.Liu, H.Lieberman, T.Selker(2003), A Model of Textual Affect Sensing using Real-World Knowledge, IUI 2003, January 2003, Miami, Florida, USA

本発明の課題は上記の問題に対する解決手段を提供することであり、マルチメディアコンテンツの心理的な感情的な記述を判定する方法を見出すことである。

これはオーディオ又はビデオコンテンツのようなマルチメディアコンテンツを処理する方法によって得られる。本方法は：
− 前記マルチメディアコンテンツを有するデータ信号を受信するステップ；
− 受信したマルチメディアコンテンツ中の所定のフィーチャーを確認するステップ；
− 確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて、前記受信したマルチメディアコンテンツの特徴を判定するステップ；
を有し、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされるマルチメディアコンテンツを処理する方法である。

本発明の一形態では、特徴（characteristics）はコンテンツの提示中にリアルタイムで判定される；或いは特徴はコンテンツに事前に加えられている。リアルワールド情報(real-world knowledge)に基づく特徴は悲哀、幸福、怒り等のようなコンテンツの雰囲気でもよい。リアルワールド情報は一般的な知識に加えてコモンセンス推論(common-sense reasoning)を含む。従ってマルチメディアコンテンツで検出されたコンテンツに基づいて、コモンセンス又は一般知識を含むリアルワールド情報を利用し、コンテンツを特徴に結び付けることができる。特徴及びコンテンツの関係はルールベースとして又は関連マップとして記憶されてもよい。テキストの特徴を検出するのにリアルワールド情報をどのように使用できるかについては既に報告されている。これは非特許文献１に記載されている。

特定の形態では、マルチメディアコンテンツ中の所定の特徴又はフィーチャー(feature)が、ビデオ信号中の所定の色である。所定の色は所定の色の範囲でもよいし又は予め定められた特定の色でもよい。シーンに使用される色が視聴者に伝えるためにしばしば使用され；それは例えば雰囲気や文化でもよい。

別の特定の形態では、マルチメディアコンテンツ中の所定のフィーチャーが、音声信号中の所定の音である。例えば或る場面で使用される音又は音楽が視聴者に伝えるためにしばしば使用され；例えば悲しみ、恐怖、アクション、愛情等を表現してもよく；これらの雰囲気的な特徴に加えて、それは文化でもよい。

特定の形態では、本方法は判定された特徴に従ってマルチメディア信号のコンテンツを提示するステップを含んでもよい。マルチメディアコンテンツの提示は提示中に（例えば幸せな場面で光を調整したり、特定の文化的状況で色を強調したりすることで）更に最適化されてもよい。

一形態では、判定された特徴が、マルチメディア信号にメタデータとして付加される。その信号は、例えば記憶されてもよいしブロードキャストされてもよく、メタデータを有し、受信機又はリーダは特徴を利用するのにデータを判定する必要がない。

特定の形態では、判定された特徴が、受信したマルチメディアコンテンツの情況である。情況は例えば環境の雰囲気でもよく、マルチメディアコンテンツの所定の特徴に基づく判定にマルチメディアコンテンツは比較的簡易である。特定の色又は音はマルチメディアコンテンツの視聴者にとっての雰囲気を増幅するようにしばしば利用され；上述したようにそのような雰囲気は例えば悲しみ、恐怖、アクション、愛情等である。

本発明は更にオーディオ又はビデオコンテンツのようなマルチメディアコンテンツを処理する装置に関連する。本装置は：
− 前記マルチメディアコンテンツを記述するデータ信号を受信する受信機；
− 受信したマルチメディアコンテンツ中の所定のフィーチャーを確認するプロセッサ；
− 確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性を有するデータベース；
を有し、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされ；
− 前記データベースの前記コンテンツに基づいて前記受信したマルチメディアコンテンツの特徴を判定するプロセッサを有する装置である。

特定の形態では、当該装置はマルチメディアコンテンツを有する記憶媒体のコンテンツを読み取り、受信機はマルチメディアコンテンツを記述するデータ信号を受信し、データ信号は記憶媒体から読み取られる。

本発明はマルチメディアコンテンツを記述するデータ信号にも関連し、そのデータ信号はメタデータを更に有し、前記メタデータは前記マルチメディアコンテンツの特徴を規定し、前記マルチメディアコンテンツ中の所定のフィーチャーを確認すること及び確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて前記受信したマルチメディアコンテンツの特徴を判定することによって前記特徴が判定され、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされるマルチメディアコンテンツを記述する。

本発明は上述したようなデータ信号を処理する装置にも関連する。本装置は：
− マルチメディアコンテンツの特徴の身元を有するユーザ要求を受信する手段；
− 前記ユーザ要求で確認された前記特徴に類似する特徴を規定するメタデータを探索することで前記データ信号を処理する手段；
− 前記データ信号中の前記メタデータが前記ユーザ要求により確認された前記特徴に類似する特徴を規定していた場合に、前記データ信号中の前記マルチメディアコンテンツを前記ユーザに提示する手段を有するデータ信号を処理する装置である。

本装置はコンテンツリコメンダと言及されてもよく、コンテンツを推奨するメタデータを利用することで、メタデータで規定されるリアルワールド情報ベースの特徴に従って推奨をすることができる。これは、例えばマルチメディアコンテンツの雰囲気に従って推奨を可能にすることで、リコメンダシステムの質を増進する。

本発明はマルチメディアコンテンツを記述するデータを有する記憶媒体にも関連する。そのデータはメタデータを更に有し、前記メタデータは前記マルチメディアコンテンツの特徴を規定し、前記マルチメディアコンテンツ中の所定のフィーチャーを確認すること及び確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて前記受信したマルチメディアコンテンツの特徴を判定することによって前記特徴が判定され、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされる。

以下、本発明の好適実施例が図面を参照しながら説明される。

図１では本発明によるシステム１０１が示され、そのシステムは中央処理装置（ＣＰＵ）１０３、受信機１０５及びデータベース１０７を有し、データベースは通信バス１０８を通じて通信する。受信機１０５はオーディオ及び／又はビデオデータのようなマルチメディアコンテンツデータを含むマルチメディア信号ＭＳ（１０９）を受信することができる。そのようなマルチメディアデータは記憶媒体からマルチメディアコンテンツを読み取るように適合させられた装置から受信されてもよく、その記憶媒体はＤＶＤ又はＶＣＲのようなマルチメディアデータを含む。更にマルチメディア信号は例えばディジタルＴＶ信号でブロードキャストされたマルチメディアコンテンツを受信するように適合させられた受信機から受信されてもよい。データベース１０７はマルチメディアコンテンツ中の予め定められたフィーチャー(feature)と対応する特徴との間の関連性（リンク）を含み、フィーチャー及び特徴間のリンクはリアルワールド情報１１１に基づく。そして検出アルゴリズムを実行するＣＰＵ１０３はデータベース１０７のコンテンツを用いてマルチメディアコンテンツの特徴を判定する。検出アルゴリズムは、例えばオーディオ又はビデオ検出器を用いることで、マルチメディアコンテンツ中のカラー要素及び／又はオーディオ要素を検出するステップを有する。マルチメディアコンテンツ中のカラー（色）又はオーディオ要素を検出するのに多数の方法が利用可能であり、マルチメディアコンテンツから高度な情報を得るためにそれらの方法が組み合わされてもよい。カラーエレメントを検出する１つの方法はピクセル情報から平均的なカラーを抽出することであり、その抽出は、各画素のＲＧＢ値を使用して、画面全体の又は画面内領域の若しくはオブジェクトの平均ＲＧＢ値を算出することで、ＲＧＢ色空間で実行可能である。オーディオエレメントは例えば音声波形のゼロ交差を検出することで検出されてもよく、これはその音の強弱やテンポを判定するために使用されてもよい。マルチメディアコンテンツ中のフィーチャー（特徴）を検出した後に、アルゴリズムはデータベース１０７内で検出されたフィーチャーを探し、そのフィーチャーから特徴に至るリンクに基づいて、アルゴリズムは新たな信号１１３を生成し、その信号はマルチメディア信号（ＭＳ）と生成可能な特徴を識別するメタタグ（ＭＴＡＧ）との双方を有する。

図２ではデータベース１１１の内容が示され、様々な所定のフィーチャー(F1,F2,F3,F4)又はフィーチャーの組み合わせが、様々な特徴(C1,C2,C3,C4)にリンクされている。マルチメディアコンテンツ中の所定のフィーチャーは、特定の色、特定のタイプの色又は特定の組み合わせの色でもよい。更にフィーチャーは特定の音、又は音及び色の組み合わせでもよい。より一般的にはフィーチャーは、映像場面、映像フレーム及び／又は音若しくは音の組み合わせの1以上に関連するマルチメディアコンテンツについての如何なる種類の情報でもよい。これらの所定の特徴はその後に判定され、データベース中の特徴に関連づけられる。本発明の原理によれば、この関連づけはリアルワールドの知識に基づく。

マルチメディアコンテンツのフィーチャー及び特徴は、リアルワールドの知識により関連づけられてもよく、幸福感及び祝日のような特徴は、マルチメディアコンテンツの中で、暖色、青空及びラテン音楽のような所定のフィーチャーにリンクされる。リアルワールドの知識に基づいてコンテンツのフィーチャーを特徴に関連づける他の例は、以下の筋書きでもよい。国によっては（文化に依存して）、喪に服す人々が黒い服を着用し、これは悲しみに関連づけられる。従ってマルチメディアコンテンツが、人々が黒い服を着用している特色を表す場面を含む場合に、悲しみのような特徴が判定されてもよい；この判定は、例えば或る国又は地域での特定の文化や文化の種類とフィーチャーとの間の実社会情報に基づく別の判定結果に関連付けられる必要があるかもしれない。音の場合はメロディの様々なトーンのスピード等に基づいて同様な作業が実行可能であり、遅いメロディは人々が親密な場面又は少なくとも活動的でない場面を示唆する１つのフィーチャーであり、非常に速いメロディは、多くの動作を含む場面又は少なくとも静かではない場面を意味してもよい。

図３はマルチメディアコンテンツ中の特徴をどのようにして検出するかを示す。先ず３０１においてマルチメディアコンテンツを含むマルチメディア信号がシステムで受信される；これは内部のマルチメディアコンテンツリーダ／受信機から受信されてもよいし、或いは外部に接続されたマルチメディアコンテンツリーダ／受信機から受信されてもよい。３０３では、例えばデータベース１０７内で確認されたコンテンツの中で特定の色及び／又は特定のサウンドを探索することで、データベース１０７のコンテンツに基づいてマルチメディアコンテンツ内の所定のフィーチャーが探索され確認される。

次に３０５ではデータベース１０７内で確認されたフィーチャー及びそれらの対応するリンクに基づいてコンテンツの特徴が判別される。最終的に、３０７において、マルチメディアコンテンツの特徴が判定され、そのコンテンツは付加的な判定情報を用いて処理可能である。

図４は付加的な判定情報を有するマルチメディアコンテンツを処理又は使用する様々な方法例を示す。図ではメタタグを有するマルチメディア信号４０１が処理装置４０３への入力として示されている。例えばユーザ４０５はコンテンツの特徴に基づいて特定のマルチメディアコンテンツを探してもよく、例えばその人は悲しい内容、アクション豊かな内容又はそれらの組み合わせを探索してもよい。４０７では特徴を用いて文化及び国を判別し、例えば音声を文字に変換する場合やビデオコンテンツに字幕を付ける場合に、情報が使用されるかもしれない言語を判定する。４０９ではコンテンツを提示する場合にその情報が使用され、例えばその特徴に依存して或る場面の光を弱めることによって又は音楽の特定のメロディを強調することによってコンテンツを表現する場合に、メタデータが使用されてもよい。

処理はコンテンツリコメンダシステムで実行されてもよく、そのシステムはマルチメディアコンテンツの特徴に基づいて特定のマルチメディアコンテンツを推奨することができる。一例としてマルチメディアコンテンツはＤＶＤのようなソース等からのビデオコンテンツでもよく、そのＤＶＤにマルチメディアコンテンツ及びメタデータを有するデータが格納されている。或いはＤＶＤにマルチメディアコンテンツだけが格納され、上述したようなメタデータ生成法が、コンテンツリコメンダシステムがそのコンテンツを処理する前に実行されてもよい。コンテンツリコメンダシステムはＤＶＤ上のデータを読み取る装置を有し、メタデータで確認された特徴に基づいてマルチメディアコンテンツの特定の部分を提示するためにメタデータが利用されてもよい。より具体的にはキーボードや遠隔制御装置のような入力装置を使用するユーザは、鑑賞を希望する唯一の場面であるコンテンツ中の幸福な場面を指定してもよい。リコメンダシステムはメタデータ中の幸福に関する特徴を探索し、その幸福の特徴を見分けるメタデータによりコンテンツを提示する。或いはリコメンダはＤＶＤのデータを初期にスキャンし、検出されたメタデータに基づいてコンテンツを評価してもよい、例えばコンテンツの所定の割合（パーセンテージ）が悲しみ、バイオレンス（暴力的）又は性的な場面であったならば、そのマルチメディアコンテンツは子供には不適切であると評価されてもよい。

上述の実施例は本発明を限定するものではないこと、及び添付の特許請求の範囲の内容から逸脱せずに当業者は多くの代替実施例を設計可能であることに留意を要する。特許請求の範囲では語句の間にあるかもしれない如何なる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。「有する」なる動詞及びその活用形は請求項に述べられたもの以外の要素の存在する可能性を排除するものではない。本発明はいくつもの個別的な要素を有するハードウエアにより、及び適切にプログラムされたコンピュータを利用することにより実現可能である。複数の手段を列挙する装置の請求項では、そのいくつもの手段はハードウエアの１つの同じ品目で具現化されてもよい。或る複数の手段が互いに異なる従属請求項で引用されるという単なる事実は、それらの手段の組み合わせが有利に使用できないことを意味するわけではない。

本発明によるシステムを示す。所定のフィーチャー及び特徴間のリンクを含むデータベースを示す。マルチメディアコンテンツの特徴を判定する本発明による方法を示す。本発明によるメタタグを有するマルチメディア信号に関する異なるタイプの処理及び利用状況を示す。

Claims

マルチメディアコンテンツを処理する方法であって、
− 前記マルチメディアコンテンツを有するデータ信号を受信するステップ；
− 受信したマルチメディアコンテンツ中の所定のフィーチャーを確認するステップ；
− 確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて、前記受信したマルチメディアコンテンツの特徴を判定するステップ；
を有し、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされるマルチメディアコンテンツを処理する方法。
前記マルチメディアコンテンツ中の前記所定のフィーチャーが、ビデオ信号中の所定の色である請求項１記載の方法。
前記マルチメディアコンテンツ中の前記所定のフィーチャーが、音声信号中の所定の音である請求項１記載の方法。
判定された特徴に従って前記マルチメディア信号の前記コンテンツを提示するステップ
を更に有する請求項１乃至３の何れか１項に記載の方法。
判定された特徴が、前記マルチメディア信号にメタデータとして付加される請求項１乃至４の何れか1項に記載の方法。
判定された特徴が、前記受信したマルチメディアコンテンツの雰囲気である請求項１乃至５の何れか1項に記載の方法。
オーディオ又はビデオコンテンツのようなマルチメディアコンテンツを処理する装置であって、
− 前記マルチメディアコンテンツを記述するデータ信号を受信する受信機；
− 受信したマルチメディアコンテンツ中の所定のフィーチャーを確認するプロセッサ；
− 確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性を有するデータベース；
を有し、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされ；
− 前記データベースの前記コンテンツに基づいて前記受信したマルチメディアコンテンツの特徴を判定するプロセッサ；
を有する装置。
当該装置はマルチメディアコンテンツを有する記憶媒体の前記コンテンツを読み取り、前記受信機は前記マルチメディアコンテンツを記述するデータ信号を受信し、前記データ信号は前記記憶媒体から読み取られる請求項７記載の装置。
マルチメディアコンテンツを記述するデータ信号であって、前記データ信号はメタデータを更に有し、前記メタデータは前記マルチメディアコンテンツの特徴を規定し、前記マルチメディアコンテンツ中の所定のフィーチャーを確認すること及び確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて前記受信したマルチメディアコンテンツの特徴を判定することによって前記特徴が判定され、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされるマルチメディアコンテンツを記述するデータ信号。
請求項９記載のデータ信号を処理する装置であって、
− マルチメディアコンテンツの特徴の身元を有するユーザ要求を受信する手段；
− 前記ユーザ要求で確認された前記特徴に類似する特徴を規定するメタデータを探索することで前記データ信号を処理する手段；
− 前記データ信号中の前記メタデータが前記ユーザ要求により確認された前記特徴に類似する特徴を規定していた場合に、前記データ信号中の前記マルチメディアコンテンツを前記ユーザに提示する手段；
を有するデータ信号を処理する装置。
マルチメディアコンテンツを記述するデータを有する記憶媒体であって、前記データはメタデータを更に有し、前記メタデータは前記マルチメディアコンテンツの特徴を規定し、前記マルチメディアコンテンツ中の所定のフィーチャーを確認すること及び確認された所定のフィーチャーの1以上と1以上の特徴との間の所定の関連性に基づいて前記受信したマルチメディアコンテンツの特徴を判定することによって前記特徴が判定され、前記フィーチャーと前記特徴との間の前記関連性はリアルワールド情報に基づいてなされる、マルチメディアコンテンツを記述するデータを有する記憶媒体。