JP2004304791A - デジタルシネマフレームコンテンツを修正する方法及び装置 - Google Patents

Abstract

【課題】 夫々可変コンテンツ表示領域を有する少なくとも１つの変更可能な画像フレームのシーケンスを含む画像フレームのシーケンスを形成するために、デジタル画像データストリームとして供給される動画を表示する方法を提供する。
【解決手段】 可変コンテンツ表示領域（２０４）を有するデジタルシネマ画像フレーム（２００）のコンテンツを動的に変更する方法。各変更可能な画像フレーム（２００）に対応するメタデータが供給され、このメタデータは、可変コンテンツ表示領域（２０４）の境界を画成する。代替のコンテンツ（２０８）が供給され、メタデータに応じて、可変コンテンツ表示領域（２０４）に対して適応される。代替のコンテンツ（２０８）は、次に、デジタルシネマ画像データストリーム内に挿入される。
【選択図】図２

Description

本発明は、一般的に、デジタルシネマに関わり、より具体的には、ローカルサイトでの表示のためにフレームコンテンツを動的に変更する方法及び装置に係る。

動画フィルム製作及び配給の従来のモデルでは、一旦、映画がフィルム上に捕捉され、配給及び劇場内での投影のためにプリントフィルム上にプリントされると、画像コンテンツを動的に追加する又は変更する全ての機会は失われる。最悪な場合は、捕捉、編集、及び製作段階で発生し且つ見過ごされたミスは、補正することができない。例えば、最近のフィルムで、ニューヨークを舞台とするシーン中に、西海岸の電話ブースが映っていた。デジタル製作技術によって、このようなタイプのエラーを補正できるが、一旦、画像がフィルムにされ、フィルムが複製され、劇場に配給されると、このようなタイプのエラーは、補正するのに非常に費用がかかってしまう。

デジタルシネマの登場により、色の増強及び他の画像化改善の機会だけではなく、より柔軟な表示構成を可能にする将来性のある技術的利点に多くの関心が向けられている。これらの技術的及び性能の利点に加えて、より経済的な動画配給、市場及び視聴者人口統計に対する改善された適応、一部のタイプのコンテンツの地域に根付いたカスタマイズ化、及び、劇場での経験をより面白くさせる全体的な発展のための利点及び機会がかなりあるように思われる。これらの利点と共に、動画コンテンツを製作し配給するスタジオ、及び、これらのコンテンツを観客に見せる劇場の両者に収益増加の機会が与えられる。

動画フィルム配給の従来のモデルは、配給及び表示過程の全体の硬直した管理に特徴付けられ、地域での適応に対する柔軟性がない。図１を参照するに、従来の動画フィルム配給システム１０のブロック図を示す。製作スタジオ２０は、フィルム特集、広告、予告編、プレビュー、及び、劇場表示のための他のコンテンツを、一般的には別個のコンテンツフィルム３０として作るコンテンツプロバイダ２２からコンテンツを取得する。スタジオ２０は、編集、マスターテープの作成、プリントフィルム２４の用意を行い、配給網２６を介して劇場２８にそのプリントフィルム２４を提供する。図１の従来モデルでは、スタジオ２０が、各劇場２８で何が視聴されるのかを指示する。何が上映されるかに関するこの管理は、フィルム特集だけではなく、任意の広告、又は、将来の上映作品のプレビュー等の予告編にも関連する。従来の構成では、劇場２８は、フィルムと他の関連のコンテンツの表示に関してスタジオ２０の命令に従う。一般的に、実際に、劇場２８の運営者／所有者は、メインのフィルムに、予告編、広告、又は他のコンテンツを差し込むことが要求され、従って、フィルムは、スタジオ２０の特定の要件に応じて上映される。図１に示す比較的柔軟性に欠けた構成では、画像コンテンツを動的に追加する又は変更する機会がない。

スタジオ２０の大きな収入源は、広告及び宣伝源からもたらされる。広告者は、自分達の製品を動画に登場させるために、製品配置（プロダクトプレイスメント）に多額を支払う。例えば、自動車製造業者は、自社製品をセットの一部として用いてもらうために割増金を支払う。同様に、ソフトドリンクの製造業者は、自社製品のラベル、自動販売機、又は、ビルボード広告を背景に登場させる、又は、俳優に会社のロゴが入ったＴシャツを着せるために支払う。従来のフィルムに基づいたプリント準備及び配給方法では、このような「隠れた」広告による収益は、スタジオ２０に行く。劇場２８は、この広告収益の利益は享受しない。当然ながら、一部の国内及び海外で広告される製品については、広告者は、フィルムの国内及び世界中での配給により利益を得る。しかし、地元の小売商人による広告又は宣伝コンテンツを映したシーンがしばしばあり、その小売商人の製品又はサービスは、その地域でしか知られていない場合がある。例えば、シーンの背景は、ある地域にしかない食料品店のアウトレット、家庭用電気器具店、公衆電話、ガソリンスタンド、又は、製品アウトレットを映す場合がある。このようなコンテンツでは、この宣伝空間の再販売による潜在的な収入は、図１の従来のフィルムに基づいたプリント及び配給方法では、望むことができない。

まとめると、図１に示すような従来のフィルムに基づくプリント及び配給方法では、スタジオ２０のみが、劇場２８に配給されるプリントフィルム２４のコンテンツを管理する。劇場２８が宣伝収益を共有する機会はない。同様に、従来のフィルムに基づいたプリント及び配給方法では、広告又は宣伝性質とは限らないコンテンツを含む他の種類のローカルコンテンツを追加する機会がない。例えば、表示される動画自体に、視聴している観客の構成員を含むことにおける娯楽の価値があり、これは、全体の娯楽の経験を高める。ほんの一例として、動画における人ごみのシーンは、観客の構成員を使って追加され得る追加の画像を可能にし得る。この可能性は、観客の映画への関心及び反応を高めるよう用いることができる。

デジタルシネマの潜在的な利点の１つは、画像が格納される方法と、画像がデータから表示される方法に関する。図２を参照するに、スタジオ１１０からポストプロダクション設備１１１に動画画像を供給するデジタルシネマ準備及び配給システム１００のブロック図を示す。ポストプロダクション設備１１１では、動画画像をデジタル化し、デジタル化された画像を、伝送システム１３０を介して、一般的には映画館であるエキシビジョンシステム１４０に供給する。（ポストプロダクション設備１１１は、スタジオ１１０の管理下にあるか、又は、（一般的にそうであるように）全体のシステム１００において独立した実体として存在し得る）。ポストプロダクション設備１１１では、フィルム１１２に対しデジタルマスタリングが行われる。フィルム１１２は、フィルム特集、広告、予告編等といった画像コンテンツを含む。データシネシステム１１４は、フィルムコンテンツをデジタル画像コンテンツに変換し、デジタル画像コンテンツを、一般的に、ディスクアレイ１２０によりサポートされるレンダリングシステム１１８に供給し、レンダリングシステム１１８は、配給及び表示に適した解像度で動画画像データを表示する。レンダリングシステム１１８は、データテープ、ＤＳテープ、データカム装置といった補助入力装置１１６からの入力も受け付け得る。マスタリングされた完成デジタルシネマ出力は、データストリームとして伝送システム１３０に供給される。伝送システム１３０は、ポストプロダクション設備１１１の機器に接続される送信器１２２と通信する衛星１３８を利用し得る。他の代替の伝送媒体は、ファイバーケーブル接続１３６、又は、例えば、ＤＶＤ又は光学ディスクといった光学媒体１３４或いはデータテープといった磁気媒体１３２を用いた伝送を含む。エキシビジョンシステム１４０では、マスタリングされたデジタル画像データが、例えば、受信器１４８、光学媒体読取り器１４４、磁気媒体読取り器１４２において、又は、データ又は光ファイバケーブル接続１３６を介して受信される。シネマオペレーティングシステム１４６は、一般的に、ディスクアレイ１２０によりサポートされ、デジタル入力データを受信し、入力データストリームを表示のために処理し、このデータを、１つ以上のデジタルプロジェクタ１５０による画像形成及び投影のために供給する。

デジタル画像処理において画像を重ね合わせるために多くの方法が開発されている。例えば、特許文献１（ムーライ（Murray））は、インターネットを介して供給されるデジタルデータストリームとしてのグラフィカルコンテンツのデリバリに用いる重ね合わせ技術を開示する。特許文献２（ガリオネ（Gaglione）外）及び特許文献３（カワナミ外）は、異なる解像度を有し得る画像を含む様々なタイプの画像を合成する技術を開示する。テレビ放送では、２次元ブルースクリーン方法が広く用いられて、１つの動く画像を別の画像の上に重ねることを可能にしている。天気予報は、この方法が用いられる最良の既知の例である。気象学者が、動的に変化する地図の前にいるかのように見えるが、実際は、気象学者は、ブルースクリーンの前に立っていて、天気地図は別のカメラを用いて記録され、遮られていない青の画素に重ね合わされている。

より高度な３次元方法及び技術が、テレビジョンで流すためのビデオデータストリームに広告及び宣伝コンテンツを入れるために開発され且つ用いられている。馴染みのある例としては、テレビ放送されるスポーツイベントの背景広告に見受けられる。例えば、野球で、ピッチャーのマウンドからのテレビ放送される眺めは、バッターの背後に広告掲示板を映し出す。この広告掲示板は、放送スタジオで付加される。実際には、ピッチャーは、バッターの背後には暗い壁しか見ず、というのは、明るい白の広告掲示板は、ピッチャーの集中力をそぐからである。このようなタイプの広告材料を組み込む高度な技術は、電子的に追加された広告が、ＴＶの視聴者に対し自然な見た目があるよう開発され、正しい遠近感と好適な輝度、色調、及び他の属性を有する。例えば、特許文献４（ロッサー（Rosser）外）は、テレビ放送されるビデオシーケンスへのロゴの挿入を開示する。特許文献５（ルーケット（Luquet）外）は、広告又は他の材料に置き換えるために連続するビデオフレームにおけるターゲット領域を識別する方法を開示し、この方法は、カメラの焦点距離及び仰角及び方位角における変化に適応する方法と、そのターゲット領域の一部をオブジェクトが遮ることを可能にする方法を含む。特許文献６（デシュパンデ（Deshpande）外）は、広告の挿入のために、ビデオ表示に仮想の代替の表示領域を与える方法を開示する。特許文献７（クレイトマン（Kreitman）外）は、ビデオ画像を合成するための画像変換方法を開示する。特許文献８（ウィリアムズ（Williams）外）は、オーディオエンハンスメントと共に画像挿入する方法を開示する。

特許文献９（コホー（Khoo）外）は、テレビの視聴者に向けて放送されるデジタルデータストリームに製品を配置する及び広告表示するための方法及びシステムを開示する。特許文献９の開示内容に記載されるスキームでは、放送スタジオは、埋め込まれた広告を、個々の視聴者について得られた個々の人口統計学的データに基づいて放送動画に代入する能力を有する。代替の画像コンテンツを供給するために、画像処理装置は、編集可能な領域を識別し、典型的には、個々の視聴者の人口統計学的データに基づいて１つの製品を別の製品に代えることによってその領域に拡大縮小された広告画像を与える。特許文献９の開示内容に記載される作業は、従って、スタジオで行われ、それぞれ特定の視聴者の人口統計学的プロファイルに的を絞った複数の異なる動画表示の作成か、又は、人口統計学的測定基準に基づいて、各個人化される動画表示の「進行中（on the fly）」の作成のいずれかを可能にする。特許文献９の開示内容の方法は、代替の広告コンテンツを供給するのに用いることができるが、この特徴の有用性及び潜在的な有効性を制限する欠点がある。１つの不利点は、この方法を用いるときの放送スタジオにより行われる管理レベルに関するものである。地元又は地域のための変更が、広告のために置換可能なシーンコンテンツを利用する選択肢はない。更に、スタジオのみで行われるシーンコンテンツの代入の能力を有する特許文献９の開示内容の方法は、広告者が、代替のシーンコンテンツの価値を適切に評価することができるようになる測定基準を提供しない。例えば、追跡シーンにおいて広告掲示板がちらりと見えることは、広告者にとって、会話だけからなるシーンの背景に映される製品表示を有するよりも価値が下である。特許文献９の開示内容に記載される方法の別の欠点は、シーンの視覚的特性、シーンの全体の「ルック・アンド・フィール」に関するものである。任意の代替のシーンコンテンツは、カメラの視覚、輝度、焦点といったシーンの多数の視覚的特性に合うよう条件付けられなければならない。代替のシーンコンテンツは、シーンの背景又は前景にあることが可能であり、理想的な焦点条件で与えられた場合には現実的には見えない場合がある。従って、コンテンツの厳しい管理と、広告者及び代替のコンテンツをシーン自体に組み込む者にとって置換可能なコンテンツに関する情報の制限された利用可能性と、スタジオ環境以外での使用の制限された柔軟性により、特許文献９の開示内容に提供される解決策は、地元又は地域レベルでの代替のシーンコンテンツの挿入を可能にすること、又は、代替のシーンコンテンツがシーンの視覚的特性に審美的に合うことを可能にすることにあまり適していない。

従って、連続画像フレームの一部にコンテンツを追加するために動画画像を変更する技術的なツールは存在するが、このような種類の画像操作は、現在、発信元のテレビスタジオ又は放送設備のみにおいて行われている。これらの技術を用いての動画画像の地域的な変更の手段は与えられていない。その結果、劇場は、画像コンテンツを挿入することによる地元及び地域的な広告から宣伝機会を利用することができない。広告者は、置換可能なシーンコンテンツの潜在的な効果性を評価するために制限された情報しか得ることができない。劇場は、例えば、観客の構成員の画像を追加するといったように、映画を良く見に行く人の経験の喜びを高めるための広告以外の種類のコンテンツを追加することもできない。

従って、劇場運営者が、広告、宣伝、及び娯楽を高めるために、動画画像の特定のコンテンツを追加する及び変更する能力が有することが有利であることが分かる。
米国特許第６，２４３，１０４号 米国特許第６，０６９，６３７号 米国特許第６，３６２，８１６号 米国特許第５，２６４，９３３号 米国特許第５，３５３，３９２号 米国特許第６，３８１，３６２号 米国特許第５，７３１，８４６号 米国特許第６，１８４，９３７号 米国特許出願番号ＵＳ２００２／０１０００４２Ａ１ 米国特許第５，４３６，６７２号 米国特許第５，５４３，８５６号 米国特許第５，８６７，２８２号 米国特許第５，８９２，５５４号 米国特許第６，０７５，５４２号 米国特許第６，２９７，８５３号 国際特許出願ＷＯ９１／１５９２１

本発明は、夫々可変コンテンツ表示領域を有する少なくとも１つの変更可能な画像フレームのシーケンスを含む画像フレームのシーケンスを形成するために、デジタル画像データストリームとして供給される動画を表示する方法を提供する。

本発明は、上述した１つ以上の問題を解決することを目的とする。要約するに、本発明の１つの面によると、本発明は、（ａ）変更可能な画像フレームに対応し、変更可能な画像フレーム内の可変コンテンツ表示領域の境界を画成するメタデータを供給する段階と、（ｂ）可変コンテンツ表示領域に対し挿入可能な画像コンテンツを供給する段階と、（ｃ）メタデータに応じて、可変コンテンツ表示領域に対して挿入可能な画像コンテンツを適応させる段階と、（ｄ）変更可能な画像フレームの可変コンテンツ表示領域内で表示するために、挿入可能な画像コンテンツをデジタル画像データストリームに挿入する段階を含む。

本発明の別の面によると、本発明は、画像フレームのシーケンスを含むデジタル画像データストリームとして、デジタル動画マスタリングシステムから動画エキシビジョンシステムに配給された動画画像を修正する方法にある。デジタル画像データストリームは、少なくとも１つの変更可能な画像フレームのシーケンスを含み、各変更可能な画像フレームは、可変コンテンツ表示領域を有する。本発明の方法は、（ａ）変更可能な画像フレームに対応し、変更可能な画像フレーム内の可変コンテンツ表示領域の境界を画成するメタデータを含むデジタル画像データストリームをエキシビジョンシステムにおいて受信する段階と、（ｂ）可変コンテンツ表示領域に対しエキシビジョンシステムにおいて利用可能な挿入可能な画像コンテンツを供給する段階と、（ｃ）変更可能な画像フレームの可変コンテンツ表示領域内で表示するために、エキシビジョンシステムにおいて、メタデータに応じて、挿入可能な画像コンテンツをデジタル画像データストリームに挿入する段階とを含み、それにより、エキシビジョンシステムによる表示のためにカスタマイズされた可変コンテンツを有する修正された動画画像を供給する。

本発明の更なる面によると、本発明は、画像フレームのシーケンスを含むデジタル画像データストリームとして供給される動画を準備且つ表示するシステムにある。デジタル画像データストリームは、少なくとも１つの変更可能な画像フレームのシーケンスを含み、各変更可能な画像フレームは、可変コンテンツ表示領域を有する。本発明のシステムは、変更可能な画像フレームに対応し、変更可能な画像フレーム内の可変コンテンツ表示領域の境界を画成するメタデータを供給するマスタリングシステムと、可変コンテンツ表示領域に対し挿入可能な画像コンテンツのソースと、メタデータに応じて、可変コンテンツ表示領域に対し挿入可能な画像コンテンツを適応させ、且つ、変更可能な画像フレームの可変コンテンツ表示領域内で表示するために、挿入可能な画像コンテンツをデジタル画像データストリームに挿入するオペレーティングシステムを含むエキシビジョンシステムとを含む。

本発明の特徴は、動画データストリームにおける任意の変更可能な画像フレームデータに対し、代替の画像コンテンツにより置き換えられることの可能な画像フレームの特定の領域の描写である。更に、特定の領域の上述した描写は、メタデータによってデータストリームと共に運ばれるので、描写された領域への作業は、例えば、エキシビション段階といったように後の段階で行われることが可能であり、それにより、エキシビジョンシステムによる表示のためにカスタマイズされた可変コンテンツを有する修正された動画画像を供給する。

本発明は、動画フィルムを表示する際の画像コンテンツの宣伝機会によって、劇場所有者が収益を得ることを可能にすることを利点とする。以前は、スタジオのみが、宣伝コンテンツの利用を管理し、且つ、宣伝コンテンツに対する支払いを受けていた。画像コンテンツに加えて、関連付けられるオーディオコンテンツも、挿入される画像コンテンツに付随するよう与えられ得る。

本発明は更に、地域の劇場所有者又は他の映画上映者が、人々の画像を、表示されるフィルムの選択部に動的に加えることを可能にし、それにより、一部の観客に一層の楽しさ及び一体感を与えることを利点とする。

本発明は更に、地域に関連するコンテンツを挿入することにより、動画上映者が、観客の動画に対する関心を高めることを可能にすることを利点とする。

本発明の上述した及び他の目的、特徴、及び、利点は、本発明の例示的な実施例を図示し且つ説明する図面を参照しながら、以下の詳細な説明を読むことにより当業者により明らかとなろう。

本願の説明は、本発明の装置の一部を形成する、又は、本発明の装置とより直接的に協働する構成要素に特に関連する。尚、具体的に図示しない、又は、説明しない構成要素は、当業者には周知である様々な形態を取りうることを理解するものとする。

図３ａ、３ｂ、３ｃ、及び３ｄを参照するに、１つの画像フレーム２００に対し、可変コンテンツ表示領域２０４を画成し且つ操作するために本発明がどのように動作するのかを説明する例示的なシーケンスを示す。一連の映画画像フレーム２００にて、このシーケンスは、図３ａの最初に撮影されたシーンから始まる。最初に撮影されたシーンには、置換可能な画像エレメント２０２がある。１つの好適な実施例では、置換可能な画像エレメント２０２は、例えば、広告掲示板、バス又は他の車両上のプラカード、お店の窓にある又は窓の上にある看板、電話ボックスのロゴ、又は、シーンコンテンツの背景に映る一部の他の識別可能なエレメントといった何らかの広告の形式を含む。図３ｂに示すように、可変コンテンツ表示領域２０４は、境界座標を与える複数の頂点２０６により画成される形状及び寸法を有する。可変コンテンツ表示領域２０４の形状、寸法、及び配置を含む情報が与えられるに、代替のコンテンツ２０８を、図３ｃの例に示すように、用意することができる。次に、代替のコンテンツ２０８は、可変コンテンツ表示領域２０４の形状及び他の特性に適応されて、修正された画像フレーム２００’に代替の置換可能な画像コンテンツ２０２’を供給する。

図３ｄに示すように代替の置換可能な画像コンテンツ２０２’を代入する可能性は、デジタル撮像の本質に関わり、この本質により、画像フレーム２００は、画素の２次元マトリクスとして表現される。このことは、デジタル撮像技術において、当業者には周知である。各画素は、画素がどのように表示されるのかを決定する１つ以上の対応するデータ値を有する。図２を再び参照するに、図３ｄの修正された画像フレーム２００’を投影するために、代替の置換可能な画像コンテンツ２０２’のデジタル画素データは、デジタルプロジェクタ１５０に供給されるデジタルデータストリーム内に挿入される。尚、フレーム２００中の可変コンテンツ表示領域２０４の境界線上又は境界線の付近にある画素は、最初に撮影されたコンテンツと代替のコンテンツ２０８との視覚的な変化を改善するよう調整され得る。このような調整は、例えば、ぼかし、又は、フェザリングで有り得、最初に撮影された画素と、代替のコンテンツを含む画素との変化に適用される。必ずしも必要ではないが、このことは、可変コンテンツ表示領域に隣接するが可変コンテンツ表示領域内ではない画素を修正することにより行われることが好適である。

可変コンテンツ表示領域２０４用のメタデータ
図２と、図３ａ−３ｄのシーケンスを共に再び参照するに、本発明は、エキシビジョンシステム１４０において、ポストプロダクション設備１１１から伝送されるデジタルデータとして派生する画像フレーム２００を修正する方法を提供する。

画像フレーム２００の修正を可能にするために、ポストプロダクション設備１１１（及び／又はスタジオ１１０）は、デジタル画像データストリームと共に十分なメタデータを供給しなければならない。必要最小限として、このメタデータは、どのフレーム２００が置換可能な画像コンテンツ２０２を有するかに関する情報、各フレーム２００内の可変コンテンツ表示領域２０４の形状、寸法、及び、配置に関する情報を含んでいなければならない。少なくとも、このタイプのデータは、画像フレーム２００のどの画素が対応する画像データストリームにおいて置換可能であるかを識別する「生の」情報を与える。或いは、変更可能な領域を特定するマスク又は選択チャンネルが供給される場合もある。しかし、視覚技術における当業者には明らかであるように、可変コンテンツ表示領域２０４自体の場所を識別するだけでは、置換可能な画像コンテンツ２０２’の信用できる、視覚的に適した代入のための十分な情報を与えない。つまり、カメラアングル、焦点距離、輝度条件、画像寸法等のシーンの視覚特性に関する更なる情報が、視覚的に容認可能な修正された画像フレーム２００’を供給するよう画像データを好適に調整するためには、考慮されなければならない。焦点情報も、代替の置換可能な画像コンテンツ２０２’の画像フレーム２００の他の構成要素に対しての見た目を決定するのに有用である。更に、寸法的及び視野のファクタデータは共に、少なくとも部分的に、１つの画像フレーム２００と次の画像フレームとでは、容易に変更する場合がある。

表１を参照するに、様々な画像フレーム２００に与えられる幾つかの簡潔且つ単純なメタデータを示し、重要なメタデータフィールドを識別する。重要なメタデータは、以下を含み得る。

（ａ）フレーム識別番号。上述したように、各フレーム２００は、順次割当てられるフレーム番号を有し、このフレーム番号は、動画の第１のフレームから始まる。

（ｂ）境界座標。境界座標は、図３ｂに示すように、可変コンテンツ表示領域２０４の頂点２０６を、一般的に、画素を単位とし、周知のデカルト座標モデルを用いて識別する。フレーム２００内の又はフレーム２００のエッジに沿っての一部の点が、一般的に、ホーム（オリジン）又は（０,０）場所として割当てられる。

（ｃ）カメラ焦点設定及びカメラ角度データ。これらのパラメータは、適切な視角と遠近感が得られるよう代替のコンテンツ２０８を調整するために必要である。代替のコンテンツ２０８を得るときに適切な視角を与えることができない場合、このことは、画像データ変換を用いることによりしばしば補正することができる。米国特許第６，０７５，５４２号の「A Method of Combining Two Digital Images」（フレッドルンド（Fredlund）外）に教示されるように、例えば、広告掲示板といった挿入された矩形の変更を特定する情報が含まれ、それにより、最終的な見た目が、カメラによって表されるような遠近感に合うようにされる。米国特許第６，０７５，５４２号は、本願に参考として組み込まれる。

（ｄ）輝度及びコントラストデータ。このデータは、全体のシーンの照明条件に関する情報を含み、これは、自然な見た目を有するよう画像フレーム２００に当てはめるよう代替のコンテンツ２０８を適応するのに必要である。動画の作成者は、輝度、コントラスト、彩度、又は、他の画像パラメータに対し制限を特定し、挿入された画素に自然な見た目を与えることを支援し得る。

（ｅ）必要に応じて他の記述情報。例えば、シーンの環境条件が、反射、雨、雪、又は、霧を含む場合、複雑性は増す。フレーム２００における可変コンテンツ表示領域２０４の位置により、投影光損失を幾らか補正する必要が有り得る。焦点情報は、画像の先鋭度及び他のパラメータを決定するのに重要で有り得る。

表１の列挙は、例示的に過ぎず、代替の及び／又は追加のメタデータフィールドを設けて、より正確にシーンの視野条件を決定することができる。メタデータのデータ形式は、例えば、周知のコンマ区切りフィールド（comma separated field）を用いるような単純なオープンデータ形式で有り得る。圧縮、復号化に鍵を必要とするセキュリティアルゴリズム、又は、データ転送のための他の周知のメカニズムを用いるようなより複雑な符号化スキームを用いることも可能である。

各画像フレーム２００に関連付けられるメタデータは、非画像化されたメタデータとしてタグ付けされるが画像データストリーム内に供給されて、画像フレーム２００のための画像データと共に伝送されるか、又は、画像データストリームに用いられる同じ伝送セッション時に伝送され得る。或いは、このメタデータは、別個の媒体上に、又は、デジタルシネマ画像化データの伝送に付随するファイルとして供給されることも可能である。又は、画像データ自体の伝送とは別個の時間の又は画像データ自体の伝送と同期する、メタデータ転送のための別個のチャネルを設けることも可能である。

実際には、任意の識別される可変コンテンツ表示領域２０４に対し、置換可能な画像コンテンツ２０２として用いられるデフォルトコンテンツが、スタジオ１１０により供給される。従って、エキシビジョンシステム１４０の運営者は、置換可能な画像コンテンツ２０２に対し代替の置換可能な画像コンテンツ２０２’を代入するか、オリジナルの置換可能な画像コンテンツ２０２を維持するかの選択肢を有する。映画劇場環境において、例えば、このような代入を提供することは、例えば、観客の人口統計に基づいて、適切又は有利である場合と、そうでない場合もあり得る。

尚、代替のシーンコンテンツのために供給されるメタデータは、更に、広告者及び潜在的な広告空間を販売する者に対し有用な測定基準も与える。例えば、製品を配置するプロダクトプレイスメント機会のために置換可能な画像コンテンツ２０２を利用する潜在的な価値を評価するには、広告者は、動画における特定のシーケンスの継続時間、焦点、及び照明条件に関するメタデータに基づいて判断することができる。

表１．メタデータの例

置換可能な画像エレメント２０２の選択肢
図３ａに示す例示的な実施例では、置換可能な画像エレメント２０２は、背景シーンコンテンツの一部である広告を含む。しかし、最も広いコンテキストでは、置換可能な画像エレメント２０２は、画像フレーム２００の任意の部分を含み得る。本発明の方法を用いるに、任意の背景エレメントが、置換可能な画像エレメント２０２として識別されることが可能であり、与えられた適切なメタデータと置き換えられることが可能である。前景エレメントや人も加えることができる。

図４を参照するに、画像フレーム２００に人又はオブジェクトの画像を加えることを可能にする代替のコンテンツ２０８を得るための構成要素の配置を示す。ブルースクリーン１６２の前の被写体１６０は、デジタルビデオカメラ１６４により撮影され、このように得られたデジタル画像データは、シネマオペレーティングシステム１４６に供給される。シネマオペレーティングシステム１４６は、プログラムされた命令に従い、このデジタル画像データを、上述したように伝送システム１３０を介して得られたデジタル動画のための画像データと合成する。シネマオペレーティングシステム１４６は、次に、デジタル画像データストリームをデジタルプロジェクタ１５０に送信し、修正された画像フレーム２００’が表示される。

テレビ放送において周知であるように、クロマキー、又は、「ブルースクリーン」技術は、画像オーバレイに用いられる。周知のクロマキー方法を用いて、気象学者は、あたかもその場にいるように背景マップ又は動くディスプレイを指し示すが、実際には、背景ディスプレイを別個に撮影するスタジオのクルーが、画像を合成し、本物のような見た目を与えるという彼らの仕事をきちんとこなすことを期待しながら、気象学者は、テレビジョンスタジオにおいて、何もないブルーのスクリーンに対しジェスチャーする。

図４の構成では、被写体１６０の画像１６０’は、動画中に表示されるよう捕捉されることが可能である。クロマキー技術を用いて、画像１６０’は、画像フレーム２００中に代替のコンテンツ２０８として挿入される。クロマキーを用いて、シネマオペレーティングシステム１４６は、ブルースクリーン１６２からの青の画素か、又は、画像１６０’の一部である画素を検出するか否かを判断し、被写体１６０の画像１６０’を動的に隔離して、画像１６０’を代替のコンテンツ２０８として供給することが可能となるよう適宜応答する。この効果を用いて、例えば、ショーの前に撮影された観客の構成員が、人ごみのシーンや、様々なタイプのアドベンチャー又はコメディーのシーンといった適切なシーンの動画に「登場」することができる。この目的のために、デジタルビデオカメラ１６４及びブルースクリーン１６２は、映画館のロビー、又は、例えば、観客の画像１６０’を得るために適した他の場所に置くことができる。

図４に示す技術を用いたオブジェクト又は人の動画画像フレーム２００への挿入は、図３ａ乃至３ｄ及び表１を参照して上述した代入例に用いられるメタデータとは異なるメタデータを必要とし得る。例えば、可変コンテンツ表示領域２０４の幾何学的属性の正確な記述ではなく、背景のより一般的な記述及びスケーリング情報が、共通に譲受された米国特許第５，８６７，２８２号（フレッドルンド（Fredlund）外）に開示される技術を用いて供給され得る。この特許は、本願に参照として組み込む。一部のカメラアングル、焦点距離、及び、輝度データも必要となる場合がある。追加のメタデータは、シーンの全体的なタイプ、及び、好適な被写体タイプ（例えば、年齢又は性別による）、姿勢又はジェスチャー、及び、画像１６０’をシーンに最も好適にはめ込むことを支援する他の情報を示し得る。

例えば、観客の人口統計により示唆されるような一部の条件下では、多数の利用可能な代替の置換可能な画像コンテンツ２０２’シーケンスから１つを選択することが有利であり得る。例えば、広告コンテンツの場合、代替の置換可能な画像コンテンツ２０２’の第１の特定のシーケンスは、十代の視聴者に最も適しており、一方、代替の置換可能な画像コンテンツ２０２’の第２のシーケンスは、より年齢が上のグループに最も適する場合がある。

広告及び宣伝空間の再販売の管理
明らかなように、本発明の方法は、劇場所有者及び他の動画上映者に利益を上げる機会を提供する。従来は、スタジオ１１０のみの領分であった現在上映される映画中の広告空間の販売は、今度は、動画上映者に有益となることが可能である。この新しい可能性を活用するために、動画フィルムは、コンテンツトラッキングリストが与えられ、このリストは、フィルムにおいて代替のコンテンツ２０８を用いることのできる場所についての情報を含む。例として、表２は、少数の予想される情報フィールドを有するコンテンツトラッキングリストを示す。

シーケンスＩＤは、フィルムにおけるシーンのシーケンスを示す。他の情報は、どのようなタイプの広告又は宣伝空間が利用可能であるかに関するアイデアを与え、利用可能な継続時間を示し、その空間に対する潜在的な又は実際のクライアントを列挙し、時間単位当たりの利用可能な空間の費用を示した十分なデータを供給する。この情報が与えられると、劇場所有者、又は、地域の映画上映者は、地元のクライアントを勧誘して、彼らに、フィルム中の１つ以上のセグメントに対し代替のコンテンツ２０８を供給する機会を提示する。代替のコンテンツ２０８の撮影は、一般的に、（表２の例にあるように）適用可能なシーンシーケンス情報と、（表１の例にあるように）メタデータが与えられて、外部の代理人により供給され得る。

表２．コンテンツトラッキング例

別の実施例
本発明の方法を用いた場合の代替案のうちの１つが、オーディオコンテンツを、代替のコンテンツ２０８の一部として組み込む機会である。サウンドトラックデータは、動画サウンドトラックデータの一部に代入するか又は動画サウンドトラックデータの一部と混合されて、修正された画像フレーム２００’の任意のシーケンスに合わせられる。

本発明の方法を用いて、代替のコンテンツ２０８及び任意の付随するオーディオコンテンツを有するデジタル動画表示データの実際のレンダリングは、動画が表示されるときに「リアルタイム」に動的に行われ得る。或いは、レンダリングは予め行われ、例えば、ディスクアレイ１２０に、後から視聴するために格納されることも可能である。

尚、スタジオ１１０は、代替のコンテンツ２０８を受け付けることのできるフレーム２００シーケンスを任意の数に指定し得る。映画上映者又は劇場所有者は、これらのフレーム２００シーケンスのうちの任意のものを修正するか、又は、全く修正しないオプションを有する。符号化によって、スタジオ１１０が、エキシビジョンシステム１４０の所有者又は運営者からの一部の支払いの受け取りに基づいて、フレーム２００のコンテンツのこの修正を可能にする又は不可能にすることが許可される。

任意の可変コンテンツ表示領域２０４に対し、映画上映者又は劇場所有者は、一組の代替のコンテンツ２０８の可能な候補から選択する選択肢を有し得る。従って、例えば、異なる広告者が、異なる番組にて自社の宣伝材料を映し得る。デフォルト画像が、代替コンテンツ２０８として与えられ得る。

本発明は、本発明の特定の実施例を特に参照して詳細に説明したが、本発明の範囲から逸脱することなく当業者によって、上述し、且つ、特許請求の範囲に示したように本発明の範囲内で変更及び修正することが可能であることを理解するものとする。例えば、表１及び図３ａ乃至３ｄを参照して与えられるメタデータ記述は、１つの好適な実施例のためのものであり、可変コンテンツ表示領域２０４及び代替のコンテンツ２０８のための選択肢を決めるために他のメタデータ値を与えることも可能である。

従来の動画フィルム準備及び配給のためのシステムを示すブロック図である。 本発明を実施するのに利用し得る、デジタル動画データのマスターテープ作成及び供給のためのシステムを示すブロック図である。 一連の処理のうち、可変コンテンツ表示領域を識別する段階を示す図である。 一連の処理のうち、可変コンテンツ表示領域を分離する段階を示す図である。 一連の処理のうち、可変コンテンツ表示領域に挿入するための代替のコンテンツを供給する段階を示す図である。 一連の処理のうち、デジタル動画画像データストリームに、関連付けられるメタデータに基づいて代替のコンテンツを挿入する段階を示す図である。 クロマキー技術を用いてデジタル動画に代替のコンテンツを供給するために用いる重要な構成要素の関係を示す図である。

符号の説明

１０ 動画フィルム配給システム
２０ スタジオ
２２ コンテンツプロバイダ
２４ プリントフィルム
２６ 配給網
２８ 劇場
３０ コンテンツフィルム
１００ デジタルシネマ準備及び配給システム
１１０ スタジオ
１１２ フィルム
１１４ データシネシステム
１１６ 補助入力装置
１１８ レンダリングシステム
１２０ ディスクアレイ
１２２ 送信器
１３０ 伝送システム
１３２ 磁気媒体
１３４ 光学媒体
１３６ ファイバーケーブル接続
１３８ 衛星
１４０ エキシビジョンシステム
１４２ 磁気媒体読取り器
１４４ 光学媒体読取り器
１４６７ シネマオペレーティングシステム
１４８ 受信器
１５０ デジタルプロジェクタ
１６０ 画像
１６２ ブルースクリーン
１６４ デジタルビデオカメラ
２００ 画像フレーム
２００’ 修正された画像フレーム
２０２ 置換可能な画像エレメント
２０２’ 代替の置換可能な画像コンテンツ
２０４ 可変コンテンツ表示領域
２０６ 頂点
２０８ 代替のコンテンツ

Claims (11)

1. 画像フレームのシーケンスを形成するために、デジタル画像データストリームとして供給される動画を表示する方法において、
   前記デジタル画像データストリームは、少なくとも１つの変更可能な画像フレームのシーケンスを含み、
   各変更可能な画像フレームは、可変コンテンツ表示領域を有する、前記方法であって、
   （ａ）前記変更可能な画像フレームに対応し、前記変更可能な画像フレーム内の前記可変コンテンツ表示領域の境界を画成するメタデータを供給する段階と、
   （ｂ）前記可変コンテンツ表示領域に対し挿入可能な画像コンテンツを供給する段階と、
   （ｃ）前記メタデータに応じて、前記可変コンテンツ表示領域に対して前記挿入可能な画像コンテンツを適応させる段階と、
   （ｄ）前記変更可能な画像フレームの前記可変コンテンツ表示領域内に表示するために前記挿入可能な画像コンテンツを前記デジタル画像データストリームに挿入する段階と、
   を含む方法。
2. 前記メタデータは更に、視角を画成する請求項１記載の動画画像を表示する方法。
3. 前記挿入可能な画像コンテンツを供給する段階（ｂ）は、人の画像を記録する段階を含む請求項１記載の動画画像を表示する方法。
4. 前記人は、前記動画の視聴観客の構成員である請求項３記載の動画画像を表示する方法。
5. 前記挿入可能な画像コンテンツを適応させる段階（ｃ）は、遠近感のために幾何学変換を計算する段階を含む請求項１記載の動画画像を表示する方法。
6. 前記可変コンテンツ表示領域に隣接するが前記可変コンテンツ表示領域内ではない画素を修正する段階を更に含む請求項１記載の動画画像を表示する方法。
7. 前記画素を修正する段階は、少なくとも一部の画素をぼやかす段階を含む請求項１５記載の動画画像を表示する方法。
8. 前記画素を修正する段階は、少なくとも一部の画素をフェザリングする段階を含む請求項１５記載の動画画像を表示する方法。
9. 前記段階（ａ）において供給される前記メタデータは、前記可変コンテンツ表示領域に対応する輝度値を特定する請求項１記載の動画画像を表示する方法。
10. 前記段階（ａ）において供給される前記メタデータは、前記可変コンテンツ表示領域に対応するコントラスト値を特定する請求項１記載の動画画像を表示する方法。
11. 前記段階（ａ）において供給される前記メタデータは、前記可変コンテンツ表示領域に対応する彩度値を特定する請求項１記載の動画画像を表示する方法。

Images