JP2009022010A - オーバーレイされるコンテンツの配置情報をビデオストリームのユーザに提供する方法及び装置 - Google Patents

Abstract

【課題】
ビデオストリーム作成者からビデオストリームをローカル配信局に送信する場合に、主要内容の主要領域が、ローカル配信局で地域を対象とするコンテンツをオーバーレイする場合に、不適切に覆い隠されたり又は変更される場合がある。この様な問題を防止することが本発明の課題である。
【解決手段】
本願発明では、ビデオストリーム作成者が、主要内容を含むビデオストリーム及びオーバーレイされるコンテンツの配置情報に関する値を送信する。ローカル配信局ではそれらの情報を受信し、この値を使用してビデオストリーム上に、ローカル配信局でオーバーレイされるコンテンツの配置情報を生成し、ビデオストリーム上にコンテンツを適切にオーバーレイして表示する。
【選択図】図５

Description

本発明は、ビデオストリームの主要内容の主要領域が、地域を対象とするコンテンツをオーバーレイするカスタマイゼーションエンジンによって不適切に覆い隠されないこと又は変更されないことを確実にすることに関する。

ビデオストリームは、種々の理由、すなわち、情報の伝達のため（ニュースの放送等）、教育のため（ハウツー番組又はドキュメンタリー等）、又は娯楽のため（スポーツイベント、ゲームショー、又はストリーミングビデオゲーム等）に作成されている。一般的に、ビデオストリームの作成者は、ビデオストリームを構成する素材の内容及び外観に第一に関心を抱く。ビデオストリームが、配信者、例えばＴＶコンテンツの放送局に配信されると、配信者は、ビデオストリーム単体で又は対象となる他のビデオコンテンツと組み合わせて、どのようにビデオストリームを使用及び表示するかを決定する。
Gene Cheung, Antonio Ortega, Takashi Sakamoto, "Fast H.264 Mode Selection Using Depth Information for Distributed Game Viewing," IS&T/SPIE Visual Communications and Image Processing (VCIP), San Jose, CA, January 2008.

ビデオを使用する通信は現代の文化に普及している。ビデオは、娯楽のため、情報を提供するため、及び製品を売り込むため等の目的で家庭へと届けられる。しかしながら、ビデオストリームの主要内容の主要領域が、地域を対象とするコンテンツをオーバーレイするカスタマイゼーションエンジンによって、不適切に覆い隠されたり又は変更される場合がある。本願明細書では、「主要内容の主要領域」とは主要内容に含まれる主要なピクセルの領域及び主要なフレームを含む「空間領域」を言う。視聴者側によるビデオストリーム受信時に、主要内容の主要領域が変化しないで、覆い隠されることも、失われることもないことが、ビデオストリームの作成者と受信者との両方にとって望ましい。

本願発明では、ビデオストリームにオーバーレイされるコンテンツの配置情報を提供する種々の実施形態が本明細書に記載される。一実施形態では、主要内容を含むビデオストリームが受信され、またビデオストリーム内の主要内容に対応する値が受信される。この値は、ビデオストリームに結合され、この値を使用してビデオストリーム上にオーバーレイされるコンテンツの配置情報を生成することができる。

添付の図面は、本明細書に組み込まれると共に本明細書の一部を成し、本発明の実施形態を説明し、また、本明細書と共に、本発明の原理を説明するのに役立つ。

本明細書において参照される図面は、特に注記する場合を除き、一定の縮尺で描かれているものとして理解されるべきではない。

ビデオストリームにオーバーレイされるコンテンツの配置情報を提供する、本発明の種々の実施形態が本明細書に記載される。一実施形態では、主要内容を含むビデオストリームが受信される。ビデオストリーム内の主要内容に対応する値が受信される。この値は、ビデオストリームに結合されて、それによって、この値を使用してビデオストリーム上にオーバーレイされるコンテンツの配置情報を生成することができる。

これより、本発明の種々の実施形態が詳細に参照される。これらの実施形態の例は、添付の図面に例示されている。本発明は種々の実施形態を鑑みて説明されるが、これらの実施形態は本発明を自身に限定することを意図するものではないことを理解されたい。それとは逆に、本発明の実施形態は、添付の特許請求の範囲によって規定される本発明の精神及び範囲内に含まれる、代替形態、変更形態、及び均等物を包含することが意図されている。さらに、本発明の種々の実施形態の以下の説明において、本発明の実施形態の完全な理解を提供するために、多数の具体的な詳細が説明される。他の例では、既知の方法、手順、及び構成要素は、本発明の実施形態の態様を不必要に不明確にしないように、詳細には記載されない。

ビデオを使用する通信は、現代の文化に普及している。ビデオは、娯楽のため、情報を提供するため、及び製品を売り込むために家庭へと届けられる。ビデオの主要内容は非常に広範囲にわたる可能性があり、且つ主要内容の作成者と、視聴者すなわち主要内容の消費者との両方にとって、主要領域が変化する。ビデオの受信時に主要内容の主要領域が覆い隠されることも失われることもないことが、作成者と受信者との両方にとって望ましい。

一般的に、種々の異なる関係者がビデオコンテンツの制作の作成、配信及び消費に関わっている。例えば、放送されるビデオであるテレビ（ＴＶ）の関連では、ビデオコンテンツはスタジオ、例えばウォルトディズニー・プロダクションズによって作成され、地方放送局、例えばChannel 7によって配信され、個人によって消費されることができる。配信者、例えば地方放送局が地域のコンテンツ情報をビデオストリームに追加したいと望む場合に、主要内容の主要領域が配信者によって覆い隠される可能性がある。地方放送局によって主要内容が不明確にされるのを避けるために使用される１つの方法は、地域のコンテンツ情報を挿入することができるビデオストリームの場所を一時的に特定することである。一時的な特定は、ビデオコンテンツの配信者が、その地域の関心事である広告又は告知を挿入するのに役に立つ。一時的な特定によって、配信者は、主要内容がビデオストリームのどこで開始及び終了するのか、又は主要内容がどこで再開若しくは停止するのかを知ることが出来る。

地方放送局は、オーバーレイされるコンテンツを有する場合があり、そのコンテンツは、その放送局が抱える人口と密接な関係がある。オーバーレイされるコンテンツは、種々のコミュニティの数と同様、多岐にわたる可能性がある。オーバーレイされるコンテンツの例は、現地語の字幕、地域ニュース、今後開催される社会及びコミュニティのイベント、その放送の地域におけるスポンサー、及び今後放送される番組の通知である。

配信者は、ピクチャインピクチャオーバーレイ（picture-in-picture overlay）、コンテンツ合成、動画ロゴ、及び字幕の挿入等の、ビデオベースの操作によってビデオコンテンツの娯楽的及び商業的な価値の両方をさらに高めることができる。これらの操作によって、対象となる異なる視聴者向けにコンテンツをカスタマイゼーションすることが可能になる。それぞれが対象となるグループ向けに特別に調整された、コンテンツの多数の強化されたバージョンを、元のコンテンツの作成者／所有者に作らせることは困難であろう。コンテンツ配信者、例えば地方放送局にとってより拡張可能な手法は、カスタマイゼーションエンジンを使用して、その放送局が必要とし得るあらゆるカスタマイゼーションを行うことである。カスタマイゼーションエンジンは、コンテンツ配信者が、地域の関心事であるコンテンツを、ビデオストリームによって生成される画像上にオーバーレイすることができる手段である。

本発明の実施形態は、ビデオストリームの主要内容の主要領域が、地域を対象とするコンテンツをオーバーレイするカスタマイゼーションエンジンによって不適切に覆い隠されるか、又は変更されないことを確実にするという問題に対処する。コンテンツ作成及び主要内容を制御するエンティティ、例えばスタジオは、コンテンツのオーバーレイを行うエンティティ、例えばテレビ放送局とは異なる場合がある。ビデオストリームの主要内容が覆い隠されないか又は変更されてコンテンツの本来の価値が低減されることがないことをコンテンツの作成者又は所有者が確認することが重要である。他のビデオ操作がその後行われる場合でも、ビデオにおける主要内容の主要領域は覆い隠されるか又は変更されるべきではない。

本発明の実施形態は、特別オペレーション領域（special regions of operations、以下、ＳＲＯと略する）及び関連するオペレータを定義することができ、それによって、許可された領域及び許可されたオペレーションのみをカスタマイゼーションエンジンによって実行することができる、空間注釈付きシステムを提示する。注釈は、符号化されたビデオストリーム内に埋め込むことができるか、ビデオストリームに付加することができるか、又は、例えばメタデータストリーム（例えばＭＰＥＧ−７を使用する）に別個に送信／記憶することができる。

図１Ａは、本発明の実施形態を実行することができる、ビデオストリームから生成される画像１００の例を示す。画像１００は、ネットワークビデオコンテンツ１４０を含み、カスタムエンジンが、画像１００を生成するビデオストリームに、画像１００内の主要内容に関連するロゴ１１０及びキャプション１２０を配置する。例示的な放送されるビデオストリームの画像１００において、主要内容のキャプション１２０は、「２００７年一般教書演説」である。コンテンツの作成者が重要であり且つ価値があるとみなしている主要内容は、話している頭部１４５、キャプション１２０、及びロゴ１１０である。配信者及び話している頭部１４５の画像の作成者が最も興味を抱いていることは、主要内容が変更又は遮蔽なく明確に放送されることである。ＴＶ放送局はコンテンツ１３０をビデオストリーム上にオーバーレイし、放送されるビデオストリームの画像１００と共に表示されるときに、ロゴ１１０及びキャプション１２０がオーバーレイされるコンテンツ1３０によって意図せずに覆い隠されている。オーバーレイされるコンテンツ１３０は、「１０時のニュースまでチャンネルはそのまま」である。

図１Ｂは、本発明の一実施形態による、ビデオストリームの主要内容（１５０、１５５）である。主要内容１５５は、放送されるビデオストリームの画像１００の話している頭部１４５とほぼ一致する。主要内容１５０は、キャプション１２０及びロゴ１１０とほぼ一致する。放送されるビデオストリームの主要内容（１５０、１５５）は、放送されるビデオストリームの画像１００を生成するビデオストリームに結合される。放送局は、主要内容に関連付けられる値を使用して、オーバーレイされるコンテンツ１３０を、主要内容（１５０、１５５）以外の領域に配置することができ、それによって、ロゴ１１０、キャプション１２０、又は話している頭部１４５を覆い隠すこと、変更すること、又はそれらに干渉することを避けることが出来る。

主要内容（１５０、１５５）は、相互に類似するハッチパターンによって指示される、類似する値を有する。本発明の一実施形態によれば、主要内容（１５０、１５５）の値は、放送されるビデオストリームの画像１００を生成するビデオストリームと結合される。主要内容の値に関連付けられている、主要内容（１５０、１５５）の重要度メトリックが、放送されるビデオストリームの画像１００に関連付けられているビデオストリームが送信される前に割り当てられる。ここで、「重要度メトリック」とは与えられた値を解釈する指標である。例えば、与えられた値が「９」である場合には、その値の範囲が例えば1から10であるというメトリックの場合には、その重要度は10段階のうち上位2番目のランクであることが分かる。一実施形態によれば、ビデオストリーム内の主要内容の主要領域（１５０、１５５）の値に関連付けられている重要度メトリックは、放送されるビデオストリームの画像１００を生成するビデオストリームに埋め込まれる。別の実施形態によれば、ビデオストリーム内の主要内容の主要領域（１５０、１５５）の値に関連付けられる重要度メトリックを含む、メタデータストリームがビデオストリームの放送者に送信され、放送者は放送されるビデオストリームの画像１００を生成する。

図１Ｃは、本発明の一実施形態による、ビデオストリームから生成される画像１６０を提示する。画像１６０は画像１００を含み、オーバーレイされるコンテンツ1３０は、ビデオストリームから生成される画像１００に含まれる主要内容を覆い隠さないようにオーバーレイされている。図１Ｂ内の主要内容（１５０、１５５）に関連付けられている重要度メトリックが利用されて、コンテンツをビデオストリーム内にオーバーレイするための配置情報が生成され、それによって、オーバーレイされるコンテンツ1３０が表示されると共にロゴ１１０、キャプション１２０、及び話している頭部１４５を含む主要内容を覆い隠さないように、ビデオストリームにコンテンツ１３０がオーバーレイされる。

図２Ａは、本発明の実施形態を実施することができる、ビデオストリームから生成される画像２００の一例を示す。画像２００は、ビデオゲームコンテンツ２４０を含み、ビデオゲームのプロバイダが、対話型装置２４２、対話型装置２４２の標的フィールド２４５、及びスコア２２０を配置する。この例では、対話型装置２４２はピストルである。対話型装置２４２の標的フィールド２４５は、この例では、浮かんでいる風船のフィールドである。スコア２２０は、放送されるビデオストリームの画像２００のビデオゲームコンテンツ２４０に関連する。ビデオゲームのプロバイダが重要であり且つ価値があるとみなしている主要内容は、対話型装置２４２、標的フィールド２４５、及びスコア２２０である。ビデオゲームコンテンツのプロバイダ及びビデオゲームコンテンツのユーザが最も興味を抱いていることは、主要内容が変更又は遮蔽されることなく明確に提示されることである。

ビデオゲーム産業における新しい傾向は、少なくとも１人のプレーヤを有するビデオゲームを、参観者である視聴者に放送することである。プレーヤ及び視聴者がビデオゲームコンテンツ２４０をより楽しむために、放送者は、放送されるビデオストリームの画像２００内にコンテンツ２３０をオーバーレイすることによって、視聴者のメンバーが、アクティブな参観者として参加することを可能にする。図２Ａに提示される例では、オーバーレイされるコンテンツ２３０はアバターである。アバターは、視聴者のメンバーによって制御されて、可聴音、言葉、ポップアップ式のコメント、ジェスチャー、及びアニメーションによる動きによって相互にコミュニケーションして盛り上げる等の行動によって参加することができる。

図２Ａに示す例では、オーバーレイされるコンテンツ２３０は、４人の前述の「盛り上げ役参加者」から成るグループである。配信局はオーバーレイされるコンテンツ２３０をビデオストリーム上にオーバーレイし、それによって、オーバーレイされるコンテンツ２３０が放送されるビデオストリームの画像２００と共に表示されるときに、対話型装置２４２及びスコア２２０がオーバーレイされたコンテンツ２３０によって不適切に覆い隠されている。

図２Ｂは、本発明の一実施形態による、ビデオストリームの主要内容（２５０、２５２、２５４、２５５）である。主要内容（２５０、２５４）は、放送されるビデオストリームの画像２００のスコア２２０とほぼ一致する。主要内容２５２は、対話型装置２４２とほぼ一致する。主要内容２５５は、標的フィールド２４５とほぼ一致する。放送されるビデオストリームの、現在の例の主要内容（２５０、２５２、２５４、２５５）は、放送されるビデオストリームの画像２００を生成するビデオストリームに結合される。放送局は、主要内容に関連付けられる値を使用して、オーバーレイされるコンテンツ２３０を、主要内容（２５０、２５２、２５４、２５５）以外の領域に配置することができ、それによって、対話型装置２４２、標的フィールド２４５、及びスコア２２０を覆い隠すこと、変更すること、又はそれらに干渉することを避けることが出来る。

主要内容（２５０、２５２、２５４）は、相互に類似するハッチパターンによって指示される、類似する値を有する。主要内容２５５は、主要内容（２５０、２５２、２５４）とは異なる値を有する。値の差の一例は、オーバーレイされるコンテンツ２３０のアバターが主要内容２５５に、場合によっては侵入することを可能にする値であり、これは、標的フィールド２４５における風船の位置が一時的なものであるためである。値の差の別の例は、オーバーレイされるコンテンツ２３０のアバターが主要内容２５５に透明になってオーバーレイされることを可能にする値であり、これは、標的フィールド２４５の風船が透明なアバターを透過して見ることが可能であるためである。

本発明の一実施形態によれば、主要内容（２５０、２５２、２５４、２５５）の値が、放送されるビデオストリームの画像２００を生成するビデオストリームと結合される。主要内容（２５０、２５２、２５４、２５５）の値に関連付けられる、それらの重要度メトリックが、放送されるビデオストリームの画像２００に関連付けられるビデオストリームが送信される前に割り当てられる。一実施形態によれば、ビデオストリームの主要内容の主要領域（２５０、２５２、２５４、２５５）の値に関連付けられている重要度メトリックは、放送されるビデオストリームの画像２００を生成するビデオストリームに埋め込まれる。別の実施形態によれば、ビデオストリームの主要内容の主要領域（２５０、２５２、２５４、２５５）に対応する値に関連付けられている重要度メトリックを含む、メタデータストリームがビデオストリームの配信者に送信され、配信者は放送されるビデオストリームの画像２００を生成する。

図２Ｃは、本発明の一実施形態による、ビデオストリームから生成される画像２６０を提示する。図２Ｂの主要内容（２５０、２５２、２５４、２５５）に関連付けられている重要度メトリックが利用されて、ビデオストリームにオーバーレイされるコンテンツ２３０をオーバーレイするための配置情報が生成され、それによって、オーバーレイされるコンテンツ２３０が表示され、対話型装置２４２、標的フィールド２４５、及びスコア２２０を含む主要内容は覆い隠されない。

図３は、本発明の一実施形態による、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するプロセス３００を示す流れ図である。一実施形態では、プロセス３００は、コンピュータ可読且つコンピュータ実行可能な命令の制御下にあるプロセッサ及び電気部品によって実行される。コンピュータ可読且つコンピュータ実行可能な命令は、例えば、コンピュータで使用可能な揮発性メモリ及び不揮発性メモリ等のデータ記憶機構に存在する。しかしながら、コンピュータ可読且つコンピュータ実行可能な命令は、タイプのコンピュータ可読媒体に存在してもよい。プロセス３００では特定の構成要素が開示されるが、このような構成要素は例示である。すなわち、本発明の実施形態は、種々の他の構成要素又は図３に記載される構成要素の変形を実行するのに好適である。本実施形態において、プロセス３００の構成要素はソフトウェアによって、ハードウェアによって、組立機構によって、人間による相互作用を通じて、又はソフトウェア、ハードウェア、組立機構、及び人間による相互作用の任意の組み合わせによって実行することができることは理解されたい。

プロセス３００は、図１Ａ、図１Ｃ、図２Ａ、図２Ｂ、及び図２Ｃに示す構成要素を参照して記載される。

一実施形態では、プロセス３００の３１０において示すように、主要内容を含むビデオストリームが受信される。本発明の一実施形態及び図１Ａによれば、画像１００を生成するビデオストリームを構成する主要内容１４０は、ネットワークビデオコンテンツを含む。本発明の一実施形態及び図２Ａによれば、画像２００を生成するビデオストリームを構成する主要内容２４０は、ビデオゲームコンテンツを含む。本発明の一実施形態及び図１Ａによれば、画像１００を生成するビデオストリームを受信することは、ネットワークビデオコンテンツを受信することを含む。本発明の一実施形態及び図２Ａによれば、画像２００を生成するビデオストリームを受信することは、ビデオゲームコンテンツを受信することを含む。

一実施形態では、プロセス３００の３２０において示すように、ビデオストリーム内の主要内容に対応する値が受信される。

別の実施形態では、プロセス３００の３２５において示すように、主要内容を受信することは、主要内容に対応する値に関連付けられる重要度メトリックを、ビデオストリーム内の少なくとも１つの領域に割り当てることをさらに含む。一例として、図２Ｂを参照すると、主要内容（２５０、２５２、２５４）は、類似のハッチパターンによって示される類似の値を有する。主要内容２５５は、主要内容（２５０、２５２、２５４）とは異なる値を有する。

値は、いくつかの異なる手段によって決定される。高い値の決定及び適切な重要度メトリックの割当ての例は、以下の通りである。テニスの試合の場合には、緑色は、テニスの試合のプレーが行われている場所であると類推されるため、重要度の値を与えられる可能性がある。ビデオコンテンツ内の主要内容は焦点が合っていると推測されるために、画素の収束度又は解像度から、ビデオコンテンツ内の主要内容の主要領域を推定することができる。ビデオストリームによって生成される画像１００の中心領域から、最も主要な領域が、ビデオストリームによって生成される画像１００の中心部にあることが推定される。高い値が決定されると、適切な重要度メトリックを割り当てることができ、例えばこの最も主要な領域においてコンテンツをオーバーレイすることが不可能になる。

特別オペレーション領域（ＳＲＯ）及びそれに関連する操作は、上記で決定された値によって推定される。上記の例示的な手段によって最も主要な領域であると評価されていない領域は、特別なオペレータが許可される重要度メトリックが割り当てられているＳＲＯである。特別なオペレータが許可される重要度メトリックの例は、現地語の字幕を許可すること、地域ニュースを許可すること、今後開催される社会及びコミュニティのイベントを許可すること、その放送の地域のスポンサーを許可すること、及び今後放送される番組の告知を許可することである。重要度メトリックによって許可される特別なオペレータの例は、図１Ｃのオーバーレイされるコンテンツ1３０、及び図２Ｃのオーバーレイされるコンテンツ２３０によって例示されるような「盛り上げ役参加者」によって例示される。図２Ｃのビデオゲームコンテンツの例では、また本発明の一実施形態によれば、ＳＲＯはビデオゲームコンテンツの作成者によって定義される。

上記の例のいずれも、オーバーレイされるコンテンツ（１３０、２３０）の外観を定義する重要度メトリックによって制御することができる。例えば、重要度メトリックが主要内容に対して低い値を有する主要内容に関連付けられている場合、重要度メトリックは、コンテンツ（１３０、２３０）を、不透明なコンテンツとして主要内容にオーバーレイすることを可能にする。主要内容に対して中程度の値を有する主要内容に関連付けられている重要度メトリックは、コンテンツ（１３０、２３０）を、透明なコンテンツとして主要内容にオーバーレイすることを可能にする。上記に提示したように、重要度メトリックが主要内容に対して高い値を有する主要内容に関連付けられている場合、いかなるコンテンツ（１３０、２３０）も主要内容にオーバーレイしないようにすることができる。

一実施形態では、プロセス３００の３３０において、並びに図１Ｃ及び図２Ｃにおいて示すように、或る値がビデオストリームに結合され、それによって、その値を利用して画像（１６０、２６０）を生成するビデオストリーム上にオーバーレイされるコンテンツ（１３０、２３０）の配置情報を生成することができる。本発明の一実施形態によれば、値は、ビデオストリーム内の主要内容に対応する値に関連付けられている重要度メトリックを埋め込むことによってビデオストリームに結合される。本発明の別の実施形態によれば、値は、主要内容に対応する値に関連付けられている重要度メトリックを含むメタデータストリームをビデオストリームに結合することによって、ビデオストリームに結合される。

一実施形態では、示すように、並びに図１Ｃ及び図２Ｃにおいて、ビデオストリーム上にオーバーレイされるコンテンツの配置情報が提供される。本発明の別の実施形態によれば、重要度メトリックを使用して、画像（１６０、２６０）を生成するビデオストリーム上にコンテンツ（１３０、２３０）を配置する。生成された配置情報、及びビデオストリーム内の主要内容に対応する値に関連付けられる重要度メトリックに従って、コンテンツ（１３０、２３０）はビデオストリームによって生成された画像（１６０、２６０）に表示される。ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供する方法が完了する。

図４は、本発明の一実施形態による、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するプロセス４００を示す流れ図である。一実施形態では、プロセス４００は、コンピュータ可読且つコンピュータ実行可能な命令の制御下にあるプロセッサ及び電気部品によって実行される。コンピュータ可読且つコンピュータ実行可能な命令は、例えば、コンピュータで使用可能な揮発性メモリ及び不揮発性メモリ等のデータ記憶機構に存在する。しかしながら、コンピュータ可読且つコンピュータ実行可能な命令は、いかなるタイプのコンピュータ可読媒体に存在してもよい。プロセス４００では特定の構成要素が開示されるが、このような構成要素は例示である。すなわち、本発明の実施形態は、種々の他の構成要素又は図４に記載される構成要素の変形を実行するのに好適である。本実施形態において、プロセス４００の構成要素はソフトウェアによって、ハードウェアによって、組立機構によって、人間による相互作用を通じて、又はソフトウェア、ハードウェア、組立機構、及び人間による相互作用の任意の組み合わせによって実行することができることは理解されたい。

プロセス４００は、図１Ａ、図１Ｃ、図２Ａ、図２Ｂ、及び図２Ｃに示す構成要素を参照して記載される。

一実施形態では、プロセス４００の４１０において示すように、主要内容を含むビデオストリームが受信される。本発明の一実施形態及び図１Ａによれば、画像１００を生成するビデオストリームを構成する主要内容１４０は、ネットワークビデオコンテンツを含む。本発明の一実施形態及び図２Ａによれば、画像２００を生成するビデオストリームを構成する主要内容２４０は、ビデオゲームコンテンツを含む。本発明の一実施形態及び図１Ａによれば、画像１００を生成するビデオストリームを受信することは、ネットワークビデオコンテンツを受信することを含む。本発明の一実施形態及び図２Ａによれば、画像２００を生成するビデオストリームを受信することは、ビデオゲームコンテンツを受信することを含む。

一実施形態では、プロセス４００の４２０において示すように、主要内容に対応する値に関連付けられる重要度メトリックが、ビデオストリーム内の少なくとも１つの領域に割り当てられる。一例として、図２Ｂを参照すると、主要内容（２５０、２５２、２５４）は、相互に類似するハッチパターンによって示される類似する値を有する。主要内容２５５は、他の主要内容（２５０、２５２、２５４）とは異なる値を有する。本発明の一実施形態によれば、ビデオストリーム内の少なくとも１つの領域の重要度メトリックを、主要内容の値に関して割り当てることは、重要度メトリックをビデオストリームのフレームのいくつかのブロックに割り当てることを含む。

値は、いくつかの異なる手段によって決定される。高い値を決定すること及び適切な重要度メトリックの割当ての例は、以下の通りである。テニスの試合の場合に、緑色はテニスの試合のプレーが行われている場所であると類推されるため、高い重要度の値を与えられる可能性がある。画素の収束度又は解像度から、ビデオコンテンツ内の主要内容の主要領域を推定することができる。ビデオストリームによって生成される画像１００の中心領域から、最も主要な領域が、ビデオストリームによって生成される画像１００の中心部にあることが推定される。高い値が決定されると、適切な重要度メトリックを割り当てることができ、例えばこの最も主要な領域においてコンテンツをオーバーレイすることが不可能になる。

特別オペレーション領域（ＳＲＯ）及びそれに関連する操作は、上記で決定された値によって推定される。上記の例示的な手段によって最も主要な領域であると評価されていない領域は、特別なオペレータが許可される重要度メトリックが割り当てられているＳＲＯである。特別なオペレータが許可される重要度メトリックの例は、現地語の字幕を許可すること、地域ニュースを許可すること、今後開催される社会及びコミュニティのイベントを許可すること、その放送の地域のスポンサーを許可すること、及び今後放送される番組の告知を許可することである。重要度メトリックによって許可される特別なオペレータの例は、図１Ｃのオーバーレイされるコンテンツ1３０、及び図２Ｃのオーバーレイされるコンテンツ２３０によって例示されるような「野次馬的参加者」によって例示される。図２Ｃのビデオゲームコンテンツの例では、また本発明の一実施形態によれば、ＳＲＯはビデオゲームコンテンツの作成者によって定義される。

上記の例のいずれも、オーバーレイされるコンテンツ（１３０、２３０）の外観を定義する重要度メトリックによって制御することができる。例えば、重要度メトリックは、重要度メトリックが主要内容に対して低い値を有する主要内容に関連付けられている場合、コンテンツ（１３０、２３０）を、不透明なコンテンツとして主要内容にオーバーレイすることを可能にする。主要内容に対して中程度の値を有する主要内容に関連付けられている重要度メトリックは、コンテンツ（１３０、２３０）を、透明なコンテンツとして主要内容にオーバーレイすることを可能にする。上記に提示したように、重要度メトリックが主要内容に対して高い値を有する主要内容に関連付けられている場合、いかなるコンテンツ（１３０、２３０）も主要内容にオーバーレイしないようにすることができる。

一実施形態では、プロセス４００の４３０において、並びに図１Ｃ及び図２Ｃにおいて示すように、重要度メトリックがビデオストリーム内の少なくとも１つの領域に結合され、それによって、その値を利用して、画像（１６０、２６０）を生成するビデオストリーム上にオーバーレイされるコンテンツ（１３０、２３０）の配置情報を生成することができる。本発明の一実施形態によれば、値は、ビデオストリーム内の主要内容に対応する値に関連付けられている重要度メトリックを埋め込むことによってビデオストリームに結合される。本発明の別の実施形態によれば、値は、主要内容に対応する値に関連付けられている重要度メトリックを含むメタデータストリームをビデオストリームに結合することによってビデオストリームに結合される。本発明の一実施形態によれば、ビデオストリームの少なくとも１つの領域の重要度メトリックは、ビデオストリームのユーザに送信される。

４４０において、並びに図１Ｃ及び図２Ｃにおいて示されるように、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を使用して、コンテンツ（１３０、２３０）を、画像（１６０、２６０）を生成するビデオストリーム上に配置する。

一実施形態では、４５０において、並びに図１Ｃ及び図２Ｃにおいて示すように、生成された配置情報及びビデオストリーム内の主要内容に対応する値に関連付けられる重要度メトリックに従って、コンテンツ（１３０、２３０）はビデオストリームによって生成される画像（１６０、２６０）に表示される。ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供する方法が完了する。

図５は、本発明の一実施形態による、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するシステム５００を例示するブロック図である。システム５００は、主要内容を含むビデオストリームを受信するビデオストリーム受信機５１０、ビデオストリーム内の少なくとも１つの領域の重要度メトリックを、主要内容の値に関して割り当てる重要度メトリック割当てモジュール５２０、重要度メトリック５０２がビデオストリームに適合するように、少なくとも１つの領域の重要度メトリック５０２を結合する重要度メトリック−ビデオストリーム結合器５３０、及び少なくとも１つの領域の重要度メトリック５０２を送信する送信機５４０とを備え、重要度メトリックは、ユーザによってオーバーレイされるコンテンツの配置情報をビデオストリームのユーザに提供するように構成されている。システム５００は、受像機５５０をさらに備える。

システム５００は、図１Ｂ、図１Ｃ、図２Ｂ、及び図２Ｃに示す構成要素を参照して説明される。

一実施形態では、ビデオストリーム受信機５１０はビデオストリーム５０１を受信する。ビデオストリーム受信機５１０は、クライアント装置に結合される受信機、インターネット又はイントラネットを通じてビデオストリームを受信するように構成されるＴＣＰ受信機、ＷｉＦｉ受信機等のような、ビデオストリームを受信するように動作可能な任意の数の手段である。本発明の一実施形態によれば、ビデオストリーム受信機５１０は、フレキシブルディスク、ＵＳＢメモリ、ハードディスクドライブ、記録用テープ等のような、記憶媒体である任意の物理的受信手段でもある。ビデオストリーム５０１は、或るイベントを記録するニュースチーム、ビデオカメラ及び携帯電話のカメラからの個人的なビデオを公開している市民、並びに監視カメラのような、多数の情報源から受信機５１０によって受信される。ビデオストリーム５０１は、ビデオストリーム内の主要な内容としての主要内容と共に、受信機５１０によって受信され、ビデオストリームのコンテンツ及び／又は情報源に関連するいくつかのグラフィック及びテキストを含むことが出来る。

一実施形態では、重要度メトリック割当てモジュール５２０が、重要度メトリック５０２を割り当てる。図１Ｂ及び図２Ｂを参照すると、重要度メトリック５０２が、主要内容（１５０、１５５、２５０、２５２、２５４、２５５）内の主要内容に対応する値に関連付けられている。重要度メトリック割当てモジュール５２０は、オーバーレイされるコンテンツによって主要内容（１５０、１５５、２５０、２５２、２５４）の主要内容を覆い隠すことを決して可能にしない等の、適切な重要度メトリック５０２を割り当てる。重要度メトリック割当てモジュール５２０が割り当てることができる重要度メトリック５０２の別の例は、主要内容２５５において、オーバーレイされるコンテンツによって一時的に覆い隠すことを可能にすることである。「一時的に覆い隠す」という重要度メトリック５０２は、例示的な領域２５５に一時的に移動するか、又はコンテンツが透明なコンテンツとしてオーバーレイされることを可能にするという形態を取ることができる。重要度メトリック割当てモジュール５２０が割り当てることができる適切な重要度メトリック５０２の別の例は、オーバーレイされるコンテンツによって主要内容（１５０、１５５、２５０、２５２、２５４、２５５）以外を覆い隠すことを許可することである。

本発明の一実施形態によれば、ビデオストリーム内の少なくとも１つの領域の重要度メトリックを、主要内容の値に関して割り当てることは、ビデオストリームの「フレーム」のいくつかのブロックに重要度メトリックを割り当てることが含まれる。このような場合に、フレーム間で主要内容が変化するか又は移動する場合に、オーバーレイされるコンテンツはビデオストリームの主要内容間で滑らかに移動する。この実施形態から利益を得ることができる一例は、バスケットボールの試合のような、素早い動きと変化するカメラのアングルとを伴うスポーツイベントのビデオストリームである。配信者及び視聴者が最も興味を抱いていることは、ビデオストリームにおいて、他のバスケットボールの試合のスコアのようなオーバーレイされるコンテンツによって、バスケットボールの試合の主要内容が遮断されないことである。他のバスケットボールの試合のスコアが大部分において或る位置からまれにしか変化せず、ビデオストリームの全ての変化と共に動くことはない場合、バスケットボールの試合のビデオストリームが、選手、ボール、ゲームの外覧、及びバスケット付近のシュートのクローズアップであるフレームにおいて変化するため、ビデオストリームの「フレーム」のいくつかのブロックに重要度メトリックを割り当てることは、試合の娯楽的価値を高める。

一実施形態では、重要度メトリック−ビデオストリーム結合器５３０が、重要度メトリック５０２をビデオストリーム５０１に結合する。本発明の一実施形態によれば、メトリック−ビデオストリーム結合器５３０は、ビデオストリーム５０１内の主要内容に対応する値に関連付けられる重要度メトリック５０２を埋め込むことによって、重要度メトリック５０２をビデオストリーム５０１に結合する。本発明の別の実施形態によれば、メトリック−ビデオストリーム結合器５３０は、主要内容に対応する値に関連付けられている重要度メトリック５０２を含むメタデータストリームをビデオストリーム５０１に結合することによって、重要度メトリック５０２をビデオストリーム５０１に結合する。

一実施形態では、送信機５４０は、ビデオストリーム５０１に結合された重要度メトリック５０２を送信する。送信機５４０は、サーバ装置に結合される送信機、インターネット又はイントラネットを通じてビデオストリームを送信するように構成されるＴＣＰ送信機、ＷｉＦｉ送信機等のような、ビデオストリームを送信するように動作可能な任意の数の手段である。本発明の一実施形態によれば、ビデオストリーム送信機５４０は、フレキシブルディスク、ジャンプドライブ、ハードディスクドライブ、記録用テープ等のような、記憶媒体である任意の物理的受信手段でもある。

本発明の一実施形態によれば、システム５００は、表示受信機５５０をさらに備える。表示受信機５５０は、ビデオストリーム５０１に結合された重要度メトリック５０２を送信機５４０から受信する。表示受信機５５０は、ビデオストリーム５０１の重要なコンテンツを公開して表示しながら、オーバーレイされるユーザコンテンツ（１３０、２３０）をビデオストリーム５０１と同時に表示するように動作可能である。
図６は、図５に示したビデオストリーム送信システム５００のハードウェアを例示する図である。図６に示すように、ビデオストリーム送信システム５００は、ＣＰＵ６２２およびメモリ６２４などを含む本体６２０、キーボードおよび表示装置などを含む入出力装置６２６、ネットワーク６００を介して、ビデオストリームの受信及びオーバーレイされたコンテンツを含むビデオストリームの送信を行う通信装置１２８、並びに、ＦＤ，ＣＤ，ＤＶＤ，ＨＤ等の記録媒体６３２に対するデータの記録および再生を行う記録装置６３０から構成される。

本発明の種々の実施形態は、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供する方法を提供する。本方法は、ビデオストリームを受信すること及びビデオストリームの領域に重要度メトリックを割り当てることを可能にし、それによって、送信者は重要度メトリックを使用して、オーバーレイするコンテンツを配置することができる。このようにすることで、ビデオストリームの主要内容の作成者及び／又は所有者は、それらのビデオストリームの主要内容を覆い隠す、オーバーレイされるコンテンツによってビデオストリームの価値が損なわれることを防ぐことができる。放送者は、地域の関心事であるコンテンツをオーバーレイすることによって、そのビデオストリームの価値を高めながらも、放送されるビデオストリームの価値を保持する。

本発明の種々の実施形態は、放送されるビデオストリームに限定されず、ビデオオンデマンド、コンピュータにダウンロードされるビデオストリーム、ＤＶＤ又はＣＤに含まれるビデオストリーム等を含み、且つそれらに限定されないことが理解される。

本発明の特定の実施形態の以上の説明は、例示及び説明を目的として提示されてきた。これらの説明は、網羅的であることを意図するものでもなければ、開示されている厳密な形態に本発明を限定することを意図するものでもなく、上記の教示に照らして多くの変更及び変形が可能である。本発明の原理及びその実用的な用途をよりよく説明し、それによって、当業者が、考察される特定の使用に適しているような種々の変更と共に本発明及び種々の実施形態をよりよく利用するために、本明細書に記載される実施形態が選択及び記載された。本発明の範囲は、本明細書に添付される特許請求の範囲及びその均等物によって規定されることが意図されている。

本発明の実施形態を実施することができる、ビデオストリームから生成される画像の一例を示す図である。 本発明の一実施形態による、ビデオストリーム内の主要内容を示す図である。 本発明の一実施形態による、オーバーレイされるコンテンツが適切に配置されている、ビデオストリームから生成される画像を示す図である。 本発明の実施形態を実施することができる、ビデオストリームから生成される画像の一例を示す図である。 本発明の一実施形態による、ビデオストリームの主要内容を示す図である。 本発明の一実施形態による、ビデオストリームから生成される画像を示す図である。 本発明の一実施形態による、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するプロセスを示す流れ図である。 本発明の一実施形態による、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するプロセスを示す流れ図である。 本発明の一実施形態による、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するシステムを例示するブロック図である。 図５に示したシステムのハードウェア構成を例示する図である。

Claims (16)

1. コンピュータを使って、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供する方法であって、
   主要内容を含む前記ビデオストリームを受信するステップ、
   前記ビデオストリーム内の前記主要内容に対応する値を受信するステップ、及び
   前記値を利用して前記ビデオストリーム上にオーバーレイされる前記コンテンツの配置情報を生成することができるように、前記値を前記ビデオストリームに結合するステップ、
   を含む方法。
2. 前記ビデオストリーム内の少なくとも１つの領域に、前記主要内容に対応する前記値に関連付けられている、重要度メトリックを割り当てるステップをさらに含む、請求項１に記載の方法。
3. 前記値を前記ビデオストリームに結合するステップは、前記主要内容に対応する前記値に関連付けられている前記重要度メトリックを前記ビデオストリーム内に埋め込むステップを含む、請求項２に記載の方法。
4. 前記値を前記ビデオストリームに結合するステップは、前記ビデオストリーム内の前記主要内容に対応する前記値に関連付けられている前記重要度メトリックを含むメタデータストリームを送信するステップを含む、請求項２に記載の方法。
5. 以下のステップをさらに含む、請求項２に記載の方法、
   前記ビデオストリーム上にオーバーレイされる前記コンテンツを配置するために前記重要度メトリックを利用するステップ、及び 前記主要内容を有するビデオストリーム上にオーバーレイされる前記コンテンツを、前記生成された配置情報と、前記ビデオストリーム内の、前記主要内容に対応する前記値に関連付けられている前記重要度メトリックとに従って、表示するステップ。
6. 実行されると、ビデオストリーム上にオーバーレイされるコンテンツの配置情報を提供するために、以下のステップを含む方法を実行する実行可能な命令を含むコンピュータ可読メモリ、
   主要内容を含む前記ビデオストリームを受信するステップ、
   前記ビデオストリーム内の少なくとも１つの領域に、前記ビデオストリーム内の前記主要内容の主要領域に対応する値に関連付けられている該重要度メトリックを割り当てるステップ、及び
   前記ビデオストリームの前記少なくとも１つの領域の前記重要度メトリックを結合するステップ。
7. 前記少なくとも１つの領域の前記主要領域を割り当てるステップは、前記重要度メトリックを前記ビデオストリームのフレームのいくつかのブロックに割り当てるステップを含む、請求項６に記載のコンピュータ可読メモリ。
8. 前記ビデオストリームの前記少なくとも１つの領域の前記重要度メトリックを結合するステップは、前記ビデオストリーム内の前記主要内容の主要領域に対応する前記値に関連付けられている前記重要度メトリックを、前記ビデオストリームに埋め込むステップを含む、請求項６に記載のコンピュータ可読メモリ。
9. 前記ビデオストリームの前記少なくとも１つの領域の前記重要度メトリックを結合するステップは、前記ビデオストリーム内の前記主要内容に対応する前記値に関連付けられている前記重要度メトリックを含むメタデータストリームを前記ビデオストリームに結合するステップを含む、請求項６に記載のコンピュータ可読メモリ。
10. 前記ビデオストリームの前記少なくとも１つの領域の前記重要度メトリックを前記ビデオストリームのユーザに送信するステップをさらに含む、請求項６に記載のコンピュータ可読メモリ。
11. 前記重要度メトリックを利用することであって、前記ビデオストリーム上にオーバーレイされる前記コンテンツを配置する、利用すること、及び
    前記主要内容を有するビデオストリーム上にオーバーレイされる前記コンテンツを、前記生成された配置情報と、前記ビデオストリーム内の、前記主要内容に対応する前記値に関連付けられている前記重要度メトリックとに従って、表示すること
    をさらに含む、請求項６に記載のコンピュータ可読メモリ。
12. 主要内容を含むビデオストリームを受信するビデオストリーム受信機と、
    前記ビデオストリーム内の少なくとも１つの領域の重要度メトリックを、前記主要内容に関して割り当てる割当てモジュールと、
    前記重要度メトリックが前記ビデオストリームに適合するように前記少なくとも１つの領域の前記重要度メトリックを結合するビデオストリーム−重要度メトリック結合器と、
    ユーザによってオーバーレイされるコンテンツの配置情報を前記ビデオストリームの前記ユーザに提供するように構成される、前記少なくとも１つの領域の、前記重要度メトリックを送信する送信機と、
    を備える、ビデオストリーム送信システム。
13. 前記ビデオストリーム内の前記少なくとも１つの領域の前記重要度メトリックを、前記割り当てモジュールは、前記重要度メトリックを前記ビデオストリームのフレームのいくつかのブロックに割り当てる手段を含む、請求項１２に記載のシステム。
14. 前記少なくとも１つの領域の前記重要度メトリックを前記ビデオストリームに結合する前記ビデオストリーム−重要度メトリック結合器は、前記主要内容の主要領域に対応する前記値に関する前記重要度メトリックを前記ビデオストリームに埋め込む手段を含む、請求項１２に記載のビデオストリーム送信システム。
15. 前記少なくとも１つの領域の前記重要度メトリックを結合する前記ビデオストリーム−重要度メトリック結合器は、前記主要内容の主要領域に対応する前記値に関する前記重要度メトリックを含むメタデータストリームを前記ビデオストリームに結合する手段を含む、請求項１２に記載のビデオストリーム送信システム。
16. 前記ビデオストリームの重要なコンテンツを公開して表示しながら、オーバーレイされるユーザコンテンツを前記ビデオストリームと、同時に表示する受信機をさらに備える、請求項１２に記載のビデオストリーム送信システム。

Images