JP2008035551A - 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造 - Google Patents

Abstract

【課題】圧縮された画像フレームの時間および解像度レイヤ化を用い、透かし処理を行うための方法および装置を提供すること。
【解決手段】基本レイヤおよび拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施す方法であって、（ａ）少なくとも１つの透かし処理手法を選択するステップと、（ｂ）前記基本レイヤまたは前記拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択するステップと、（ｃ）前記少なくとも１つの選択された透かし処理手法を適用して、前記選択されたユニットの各々に透かし処理を施すステップと、（ｄ）前記少なくとも１つの選択された透かし処理手法を適用して、前記ビデオ情報のデータストリームのコピーをそのソースまで遡って追跡するために同データストリームに追跡データを追加するステップと、を含む方法。
【選択図】なし

Description

本発明は電子通信システムに関し、より詳細には、圧縮画像フレームの時間的および解像度レイヤ構造を有し、暗号化および透かしをいれる能力を提供する次世代（advanced）電子テレビジョンシステムに関する。

現在、米国ではテレビジョン伝送にＮＴＳＣ規格が使用されている。しかしながら、ＮＴＳＣ規格から次世代テレビジョン規格へ移行する提案がなされている。例えば、２４Ｈｚ、３０Ｈｚ、６０Ｈｚ、および６０Ｈｚインターレースの各レートのデジタル標準精細度および次世代テレビジョンフォーマットの米国での採用が提案されている。これらのレートは、既存のＮＴＳＣテレビジョン表示レートの６０Ｈｚ（または５９．９４Ｈｚ）を続けること（従ってそれとの互換性）を意図していることが明白である。また、時間レートが毎秒２４フレーム（ｆｐｓ）の映画を表示する場合、「３−２プルダウン」が６０Ｈｚ用ディスプレイ上での表示に意図されていることも明白である。しかしながら、上記提案は選択可能な複数のフォーマットを提供するものの、各フォーマットはそれぞれ単一の解像度およびフレームレートを符号化および複合化するにすぎない。これらのフォーマットの表示または動作レートは互いに整的に関連していないため、あるフォーマットから別のフォーマットへの変換は困難である。

更に、この提案は、極めて重大なコンピュータディスプレイとの間の互換能力を提供するものではない。提案されているこれら画像動作レートは、今世紀の初頭へ遡る歴史上のレートに基づいている。もし「白紙の状態」にするなら、これらのレートが選択されることはないだろう。過去１０年間に渡ってディスプレイに任意レートを利用してきたコンピュータ業界では、７０から８０Ｈｚレンジのレートが最適であることが証明され、７２および７５Ｈｚが最も一般的なレートになっている。残念ながら、提案のレート３０および６０Ｈｚは７２または７５Ｈｚとの有用な相互運用性に欠け、時間的性能で劣っている。

その上、高フレームレートで約１０００本の解像度を持つ必要があるとの主張は、フレームインターレースを必要とするが、その考えに基づくと、従来の６ＭＨｚ放送のテレビジョンチャネルで利用可能な１８〜１９ｍビット／秒内にこれらの画像を圧縮することは不可能であるという当業者の指摘もある。

所望の標準および高精細解像度の全てを含む単一の信号フォーマットが採用することができることは非常に望ましい。しかしながら、従来の６ＭＨｚ放送のテレビジョンチャネルの帯域幅制約内でそれを実現するには、フレームレート（時間的）および解像度（空間的）の両方の圧縮（すなわち「スケーラビリティ」）が要求される。かかるスケーラビリティの提供を具体的に意図した方法の１つにＭＰＥＧ−２規格がある。残念ながら、ＭＰＥＧ−２規格で規定されている時間的および空間スケーラビリティの特徴は、米国向け次世代テレビジョンのニーズに対応するのには十分に効率的ではない。従って、米国向け次世代テレビジョンに対する提案は、時間的（フレームレート）および空間的（解像度）レイヤ構造が不十分であり、それゆえ別個のフォーマットが必要であるという前提に基づいている。

上記課題に加え、本発明者はデジタル映画等、貴重な著作権付き音声および映像媒体の使用を保護および管理する必要性を確認している。映画データ配信の全技術の存続は、使用を保護および管理する能力にかかっていると言える。デジタルの圧縮された映画マスターの品質がオリジナル作品の品質に近づくにつれて、保護および管理手法に対するニーズが決定的な要件になる。

デジタルコンテンツの保護および管理のためのシステムアーキテクチャに取り組む際、モジュール化したフレキシブルな方式で適用できる各種のツールおよび手法を採ることが有益だろう。ほとんどの商用暗号化システムは最終的には傷つけられてしまっている。そのため、どの保護システムをも、それが傷つけられる場合、自らを適応させ、そして強化できるように、充分にフレキシブルに構築する必要がある。また、ソース及び予防措置（セキュリティ）が危険に晒された方法を正確に特定するために、記号および／またはシリアル番号情報の透かし処理により各コピーへ情報的な手掛かりを与えることも有益である。

映画館へのデジタル形式での映画配信が実現しつつある。高価な新作映画をコピーすることが今日のフィルムプリントの盗難またはコピーの標的となって久しい。ＤＶＤ等のデジタル媒体は、不十分な暗号化および認証スキーム（ＤＩＶＸ等）を試みてきた。プレミアム有線チャネルおよびペイ・パー・ビュー番組および映画の課金には、アナログ有線スクランブラ（盗視聴防止のためにテレビなどの信号を混合混乱させる周波数帯変換機）が当初から使用されている。しかしながら、これら不十分なスクランブラは幅広く傷つけられてきている。

デジタルおよびアナログのビデオシステムがかかる貧弱なセキュリティシステムを許してきた一つの理由は、２次的なビデオリリースの価値および海賊行為による損失の市場での割合が比較的小さいことである。しかしながら、デジタル形式の封切り映画、高価なライブイベントおよび高解像度画像の（ＨＤＴＶ形式による）家庭および事業所への配信の場合、強健（ロバスト）なセキュリティシステムが必需品になる。

本発明は、現行のデジタルコンテンツ保護システムの上記問題およびその他の諸問題を克服する。

要約
本発明は、高フレームレートで高品質を備えた１０００ラインの解像度よりも優れた解像度を明白に実現できる画像圧縮の方法および装置を提供する。本発明はまた、従来のテレビジョン放送チャネルで利用可能な帯域幅内で、この解像度および高フレームレートでの時間的および解像度の両方のスケーラビリティを達成する。本発明の手法は、フレキシブルな暗号化および透かし処理手法を提供しながら、次世代テレビジョンに提案されている圧縮率の２倍以上を効率的に達成する。

画像素材を、最初の、すなわち主フレーミングレートの７２ｆｐｓでキャプチャするのが好ましい。そして以下を含むＭＰＥＧ−２データストリームが生成される：
（１）好ましくはＭＰＥＧ−２のＰフレームのみ用いて符号化され、低解像度（例えば、１０２４ｘ５１２ピクセル）、低フレームレート（２４または３６Ｈｚ）のビットストリームを含む、基本レイヤ。
（２）ＭＰＥＧ−２のＢフレームのみ用いて符号化され、低解像度（例えば、１０２４ｘ５１２ピクセル）、高フレームレート（７２Ｈｚ）のビットストリームを含む、オプションの基本解像度時間拡張レイヤ。
（３）好ましくはＭＰＥＧ−２のＰフレームのみ用いて符号化され、高解像度（例えば、２ｋｘ１ｋピクセル）、低フレームレート（２４または３６Ｈｚ）のビットストリームを含む、オプションの基本時間高解像度拡張レイヤ。
（４）ＭＰＥＧ−２のＢフレームのみ用いて符号化され、高解像度（例えば、２ｋｘ１ｋピクセル）、高フレームレート（７２Ｈｚ）のビットストリームを含む、オプションの高解像度時間拡張レイヤ。

本発明は、現行提案に対して本質的な改良を可能にする幾つかの主要な技術的特性を提供し、こうした特性には以下が含まれる：数多くの解像度およびフレームレートを、単一のレイヤ化された解像度およびフレームレートに置換すること；６ＭＨｚのテレビジョンチャネル内において高フレームレート（７２Ｈｚ）で２メガピクセル画像に対し１０００ラインよりも優れた解像度を達成するためにインターレースを必要としないこと；主フレーミングレートである７２ｆｐｓを使用するコンピュータディスプレイとの互換性；そして、「ストレスの多い（stressful)」画像素材が出現した際は利用可能な全ビットを低解像度の基本レイヤに割り当て可能であることにより、次世代テレビジョンに対する現行の未レイヤ化フォーマットの提案よりも高いロバスト性。

開示のレイヤ化圧縮技術は、画像のモジュール化された分解の一形態を可能にする。このモジュール性は、スケーラブル復号化および優れたストレス復元力を可能にするにとどまらず、更なる利点を有する。モジュラー性は更に、フレキシブルな暗号化および透かし処理手法をサポートする構造として開発され得る。暗号化機能は、１つ以上の適正なキーが認証済み解読システムに適用されない限り、音声／映像ショーの視聴、上映、コピー、またはその他の使用を制限することである。透かし処理機能は、遺失したまたは窃取されたコピーをソースまで追跡し、盗難方法の性質を判定してシステムの安全性を向上するとともに、窃取にかかわった人々を特定できることである。

レイヤ化圧縮を用いることにより、基本レイヤおよびその基本レイヤの様々な内部コンポーネント（ＩフレームおよびそれらのＤＣ係数、またはＰフレームの動きベクトル等）を使用して、圧縮されたレイヤ構造の映画ストリームを暗号化できる。このようなレイヤ化されたビットのサブセットを使用することにより、ピクチャストリーム全体のビットのうちの小部分を暗号化するだけでピクチャストリーム全体を（解読されない限り）認識不能にできる。更に、様々な暗号化アルゴリズムおよび強度を、拡張レイヤ（プレミアム品質のサービスとして視聴可能であり、特別に暗号化されている）を含むレイヤ化されたストリームの様々な部分に適用できる。暗号化アルゴリズムまたはキーを各スライス境界毎に変更して、暗号化と画像ストリームとをより絡み合わせることも可能である。

本発明のレイヤ化圧縮構造は、透かし処理にも用いることができる。透かし処理の目標は、検出により高い信頼性をもって識別可能であり、なお目には本質的に不可視とすることである。例えば、Ｉフレーム内のＤＣ係数におけるローオーダービットは、目には不可視だろうけれども、透かしを持つ特定のピクチャストリームを唯一に識別するのになお使用可能である。拡張レイヤは、それら自身の唯一の識別透かし構造を有することができる。

本発明の１つ以上の実施の形態の詳細を添付の図面および以下の説明で提示する。本発明のその他の特長、目的および利点は、説明、図面、および特許請求の範囲から明らかになろう。

この説明を通じて、以下の好ましい実施の形態および実施例は、本発明を限定するのではなく模範例として解釈されるべきである。

時間的および解像度レイヤ化
時間レートファミリの目標
従来技術の諸問題を検討した上で、本発明を実施するにあたり、目標を以下の通り定めて、将来のデジタルテレビジョンシステムの時間的特徴を明確にする：
・高解像度の遺物である毎秒２４フレームのフィルムを最適に表示
・スポーツ等、素早く動く画像のタイプに対する滑らかなモーションキャプチャ
・既存のアナログＮＴＳＣディスプレイ、および７２または７５Ｈｚで動作するコンピュータ互換ディスプレイ上での、スポーツおよび同様な画像の動きの滑らかな表示
・ニュースおよび生活ドラマ等、それほど速く動かない画像の適当で且つより効率的なモーションキャプチャ
・全ての新しいデジタル形式の画像をコンバータボックスを介して既存のＮＴＳＣディスプレイ上で適当に表示
・全ての新しいデジタル形式の画像をコンピュータ互換ディスプレイ上に高品質で表示
・６０Ｈｚのデジタル標準または高解像度ディスプレイが市場に登場した場合、こうしたディスプレイ上で適当にまたは高品質で表示

６０Ｈｚおよび７２／７５Ｈｚのディスプレイは、映画のレートである２４Ｈｚ以外のいずれのレートとも本質的に互換性がないので、７２／７５と６０のどちらかを表示レートから除くのが最善であろう。７２または７５ＨｚはＮ．Ｉ．Ｉ．（National
Information Infrastructure：全米情報基盤）およびコンピュータ用途で要求されるレートであることから、６０Ｈｚのレートを基本的に時代遅れのレートとして除くのが最も未来志向であろう。しかしながら、放送およびテレビジョン機器業界内には競合する利害関係が数多くあり、そして新しいどのようなデジタルテレビジョンインフラも６０Ｈｚ（および３０Ｈｚ）に基づくべきであるという強い要請もある。このことが、テレビジョン、放送およびコンピュータ業界の間で激しい議論の火種となっている。

更に、放送およびテレビジョン業界にはインターレース６０Ｈｚフォーマットを主張する利害関係も存在し、コンピュータディスプレイの要求とのギャップを更に拡大させている。デジタルテレビジョンシステムをコンピュータ等に適用した場合には非インターレース表示が要求されるので、インターレース信号を表示するためにはデインターレーサ（de-interlacer）が必要になる。デインターレーサはそのような受信装置の全てに必要となることから、デインターレーサのコストおよび品質について相当な議論がある。デインターレース処理に加え、フレームレートの変換も更にコストおよび品質に影響を与える。例えば、ＮＴＳＣとＰＡＬ間のコンバータのコストは非常に高いままであるにもかかわらず、その変換能力は依然として一般的シーンの多くについて信頼できない。インターレースに関する議論は複雑で厄介な問題なので、また時間レートの諸問題および課題に取り組むために、本発明はインターレースのないデジタルテレビジョン規格に関連して説明する。

最適時間レートの選択
うなり（beat)の問題 ７２または７５Ｈｚ用ディスプレイ上では、その表示レート（それぞれ７２または７５Ｈｚ）と等しい動作レートを持つカメラまたはシミュレート画像が形成された場合に最適表示が得られ、その逆も同様に成り立つ。同様に、６０Ｈｚ用ディスプレイ上では、６０Ｈｚのカメラまたはシミュレート画像から最適なモーションフィデリティ（忠実度）が得られる。７２Ｈｚまたは７５Ｈｚの生成レートを６０Ｈｚ用ディスプレイで使用すると、それぞれ１２Ｈｚまたは１５Ｈｚのうなり周波数が発生する。このうなりは動作解析を通じて除去できるが、動作解析は高価な上に不正確であり、目に見える不自然な結果（可視アーチファクト）および時間的エイリアシングを引き起こしてしまうことがよくある。動作解析を伴わない場合は、うなり周波数が、感知された表示レートを支配し、１２または１５Ｈｚのうなりが出現して２４Ｈｚよりも更に不正確な動作（動き）がもたらされる。従って、２４Ｈｚが、６０および７２Ｈｚの間の自然数の時間的な共通の分母を形成する。７５Ｈｚは６０Ｈｚに対してやや高い１５Ｈｚのうなりを生じるものの、その動作はやはり２４Ｈｚほどスムースではなく、２４Ｈｚのレートを２５Ｈｚに増加しない限り７５Ｈｚと２４Ｈｚとの間に整数関係は存在しない。（欧州の５０Ｈｚの国々では、映画が４％速く２５Ｈｚで上映されることがよくあるが、これはフィルムを７５Ｈｚ用ディスプレイ上で表示できるようにするためである。）

各受信装置で動作解析をしない場合、７２または７５Ｈｚ用ディスプレイ上での６０Ｈｚの動作、および６０Ｈｚ用ディスプレイ上での７５または７２Ｈｚの動作は、２４Ｈｚ画像ほどスムースではないだろう。従って、７２／７５Ｈｚまたは６０Ｈｚの動作はどちらも、７２または７５Ｈｚ用ディスプレイおよび６０Ｈｚ用のディスプレイの両者を含む混成のディスプレイ集団に到達するには不適当である。

３−２プルダウン 最適フレームレートを選択する際の更なる難題が、テレシネ（フィルムからビデオへの）変換処理中のビデオ効果に関わる「３−２プルダウン」を使用することにより生ずる。かかる変換中、３−２プルダウンパターンが最初のフレーム（またはフィールド）を３回、そして次のフレームを２回、そして次のフレームを３回、そして次のフレームを２回というように繰り返す。このようにして、２４ｆｐｓのフィルムがテレビジョン上に６０Ｈｚ（実際には、ＮＴＳＣカラーの場合５９．９４Ｈｚ）で表示される。つまり、１秒間のフィルムにおいて２個のフレームを１対とする１２対のフレームがそれぞれ５回表示されることによって毎秒６０個の画像が与えられる。３−２プルダウンパターンを図１に示す。

ある推定によれば、ビデオ上の全フィルムの半分以上は、そのかなりの部分において、５９．９４Ｈｚのビデオフィールドレートで２４ｆｐｓのフィルムへの調整がなされている。かかる調整は、「パンアンドスキャン」、色補正、およびタイトルスクロールを含む。更に、多くのフィルムはフレームの削除またはシーンの開始および終了部分を切り取ることによって時間調整され、与えられた放送予定内に収まるように適合されている。これら操作は、５９．９４Ｈｚおよび２４Ｈｚの両方の動作が存在するので、３−２プルダウン処理が逆転することを不可能にし得る。このためＭＰＥＧ−２規格を使用してフィルムを圧縮することが非常に困難になる。幸い、３−２プルダウンを使用した高解像度デジタルフィルムの大きいライブラリがないことから、この問題は既存のＮＴＳＣ解像度の素材に限られている。

モーションブラー（動きの不鮮明化） ２４Ｈｚよりも高い共通時間レートを見つけるという課題を更に検討するため、動画のキャプチャでのモーションブラーに言及することは有効である。カメラセンサおよびモーションピクチャフィルムは、各フレームの継続時間の一部で、動いている画像を感知するべく開いている。モーションピクチャカメラおよび多くのビデオカメラでは、この露光持続時間を調整できる。フィルムカメラはフィルム送り時間を必要とするため、通常は３６０度のうちの約２１０度、すなわち５８％のデューティサイクル分だけ開いているように制限される。ＣＣＤセンサを持つビデオカメラでは、センサから画像を「読み込む」のにフレーム時間の幾らかを必要とすることが多い。これはフレーム時間の１０％から５０％の間で変動し得る。センサによっては、この読み出し時間中に光を遮断するために電子シャッタを使用しなければならない。従って、ＣＣＤセンサの「デューティサイクル」は、通常５０から９０％の間で変動し、カメラによっては調整できるものもある。光シャッタは、もし望まれるのであれば、そのデューティサイクルを更に低下させるように時には調整可能である。しかしながら、フィルムおよびビデオの両者に対し、最も一般的なセンサのデューティサイクル持続時間は５０％である。

好ましいレート この課題を念頭に置くと、６０、７２、または７５Ｈｚでキャプチャされた画像シーケンスからのフレームのほんの幾つかだけを使用することを考えることができる。１つのフレームを２、３、４個等の組で利用することにより、表１に示すサブレートが導き出される。

１５Ｈｚというレートは６０および７５Ｈｚ間の統合レートである。１２Ｈｚというレートは６０および７２Ｈｚ間の統合レートである。しかしながら、２４Ｈｚより高いレートを望むと、これらのレートは排除される。２４Ｈｚは共通ではないが、６０Ｈｚ用ディスプレイ上での表示については３−２プルダウンの使用が業界で受け入れられてきている。従って、候補となるレートは、３０、３６、および３７．５Ｈｚのみである。３０Ｈｚは７５Ｈｚに対して７．５Ｈｚのうなりを発生し、そして７２Ｈｚに対して６Ｈｚのうなりを発生するので、候補としての役に適うものではない。

３６および３７．５Ｈｚの動作レートは、６０および７２／７５Ｈｚのディスプレイ上で表示される際、２４Ｈｚ素材よりもスムースな動きをもたらす最重視すべき候補である。これらの両レートは２４Ｈｚよりも約５０％高速でスムースである。３７．５Ｈｚのレートは、６０または７２Ｈｚのどちらの使用にも適さないため排除しなければならず、３６Ｈｚのみが所望の時間レート特性を有するものとして残る。（３７．５Ｈｚの動作レートは、テレビジョンの６０Ｈｚ表示レートを６２．５Ｈｚへ４％移動可能であれば使用できるだろう。６０Ｈｚの裏にある利害関係により６２．５Ｈｚはありそうもない。中には非常に時代遅れの５９．９４Ｈｚを新しいテレビジョンシステムに提案している人々さえいる。しかしながら、かかる変更がなされれば、本発明の他の態様を３７．５Ｈｚのレートに適用できるだろう。）

２４、３６、６０、および７２Ｈｚのレートが時間レートファミリの候補として残っている。７２および６０Ｈｚのレートは、配信レートとして使用することはできない。なぜなら、上述したように、２４Ｈｚを配信レートとして使用した場合に比べ、これら２つのレートとの間で変換を行った際、動作がスムースでないためである。前提として、我々は２４Ｈｚより速いレートを求めている。そのため、３６Ｈｚが、６０および７２／７５Ｈｚのディスプレイで使用されるマスターに対するモーションキャプチャおよび画像配信を統合する最有力候補である。

上述のように、２４Ｈｚ素材に対する３−２プルダウンパターンは、最初のフレーム（またはフィールド）を３回、そして次のフレームを２回、そして次のフレームを３回、そして次のフレームを２回というように繰り返す。３６Ｈｚを用いる場合、各パターンは２−１−２のパターンで繰り返されるのが最適であろう。これは表２および図１から図式的に分かる。

この３６Ｈｚと６０Ｈｚとの間の関係は、真に３６Ｈｚの素材に対してのみ成立する。６０Ｈｚ素材はインターレースされれば３６Ｈｚで「格納」できるが、３６Ｈｚは動作解析および再構築をしなければ６０Ｈｚから適当には生み出されない。しかしながら、モーションキャプチャのための新しいレートを探す際、３６Ｈｚは、６０Ｈｚ上で２４Ｈｚよりも幾分スムースな動作を提供し、そして７２Ｈｚのディスプレイ上でかなり良好なイメージモーションのスムースさを提供する。そのため、３６Ｈｚは、６０および７２／７５Ｈｚのディスプレイで用いるマスター用のモーションキャプチャおよび画像配信レートを統合する最適なレートであり、そのようなディスプレイ上で表示される場合に２４Ｈｚ素材よりもスムースな動きをもたらす。

３６Ｈｚは上述の目標に合致しているが、キャプチャレートとして好適なものはそれだけではない。３６Ｈｚは６０Ｈｚから単純には抽出できないため、６０Ｈｚはキャプチャに適したレートを提供しない。しかしながら、７２Ｈｚは１個おきのフレームを３６Ｈｚ配信の基礎として使用することによって、キャプチャに使用できる。７２Ｈｚ素材の１個おきのフレームを使用することによって発生するモーションブラーは、３６Ｈｚのキャプチャの場合のモーションブラーの半分であろう。７２Ｈｚからの３個毎のフレームのモーションブラーの見え方を試験してみると、２４Ｈｚの断続的な閃光が嫌である。しかしながら、３６Ｈｚのディスプレイのために７２Ｈｚから１個おきのフレームを利用することは、もともと３６Ｈｚのキャプチャと比べると、目に嫌ではない。

従って、３６Ｈｚは、７２Ｈｚでキャプチャすることによって７２Ｈｚ用ディスプレイ上で非常にスムースな動作を提供できるとともに、もともと７２Ｈｚでキャプチャした素材の交互のフレームを使用して３６Ｈｚ配信レートを達成し、そして２−１−２プルダウンを用いて６０Ｈｚ画像を抽出すことによって、２４Ｈｚ素材よりも優れた動きを６０Ｈｚのディスプレイ上に提供する。

本発明によるキャプチャおよび配信の好ましい最適時間レートを表３に要約する。

また、７２Ｈｚのカメラからの交互のフレームを利用して３６Ｈｚ配信レートを達成するこの手法では、増加したモーションブラーデューティサイクルの恩恵も受けられるという点にも、言及しておく価値がある。７２Ｈｚで通常の５０％のデューティサイクルは、３６Ｈｚでは２５％のデューティサイクルをもたらすのであるが、許容できることが実証されており、そして６０Ｈｚおよび７２Ｈのディスプレイ上で２４Ｈｚを上回る顕著な改善を示している。しかしながら、デューティサイクルが７５〜９０％の範囲に増加される場合、３６Ｈｚのサンプルはより一般的な５０％のデューティサイクルに近づき始めるだろう。デューティレートを増加させることは、例えば、記録されていない時間（blanking
time）が短く、高いデューティサイクルが得られる「補助記憶（backing
store）」ＣＣＤ設計を用いることによって達成してもよい。デュアルＣＣＤ多重設計を含むその他の方法を使用してもよい。

部分修正されたＭＰＥＧ−２圧縮
効率よく格納および配信するには、好ましい時間レートである３６Ｈｚを有するデジタルソース素材を圧縮するのがよい。本発明のための好ましい圧縮形式は、ＭＰＥＧ−２規格の新規なバリエーションを用いて達成される。

ＭＰＥＧ−２の基本 ＭＰＥＧ−２は、よりコンパクトなコード化データ形式で画像シーケンスを表現する効率的な方法を提供するビデオシンタクスを定義した国際的なビデオ圧縮規格である。コード化（符合化）されたビットの言語が「シンタクス」である。例えば、数個のトークンで６４個のサンプルからなるブロック全体を表現できる。また、ＭＰＥＧは、コード化されたビットが、コンパクトな表現からオリジナルの「生」のフォーマットの画像シーケンスへとマッピングされる複合化（再構築）処理についても説明している。例えば、コード化されたビットストリーム中のフラグは、続くビットが離散コサイン変換（ＤＣＴ）アルゴリズム、または予測アルゴリズムのどちらで復号化（デコード）されるべきかを示す。復号化処理を含むアルゴリズムは、ＭＰＥＧが定義するセマンティクスによって規定されている。このシンタクスは、空間的冗長性、時間的冗長性、一定の動作、空間的マスキング等、ビデオに共通した特徴を利用するのに適用できる。ＭＰＥＧ−２は、実際にはデータフォーマットだけでなくプログラム言語も定義している。ＭＰＥＧ−２デコーダは、入ってくるデータストリームを構文解析および復号化できなければならないが、データストリームがＭＰＥＧ−２のシンタクスに準拠している限り、あり得るデータ構造および圧縮手法を幅広く使用できる。本発明は、ＭＰＥＧ−２規格を用いた時間的および解像度スケーリングのための新規な手段および方法を考案することにより、このＭＰＥＧ−２のフレキシビリティを利用している。

ＭＰＥＧ−２は、フレーム内およびフレーム間の圧縮方法を使用している。ほとんどのビデオシーンでは、背景が比較的安定している一方、前景ではアクションが発生する。背景が動くこともあるが、シーンの大部分は冗長である。ＭＰＥＧ−２は、Ｉ（Intra：イントラを表す）フレームと呼ばれる参照フレームを作成することによって圧縮を開始する。Ｉフレームは他のフレームを参照することなく圧縮され、従ってフレーム全体のビデオ情報を含む。Ｉフレームはランダムアクセスを行うためのデータビットストリームへのエントリポイントを提供するが、わずかしか圧縮できない。典型的には、Ｉフレームを表すデータは、ビットストリーム内で１０から１５フレーム毎に配置される。その後、参照用Ｉフレーム間に入るフレームはそのわずかな部分だけが両側のＩフレームと異なっているため、その差分のみキャプチャされ（とらえられ）、圧縮および格納される。かかる差分には２種類のフレームが用いられ、それらはＰ（Predicted：予測を表す）フレームおよびＢ（Bi-directional Interpolated：双方向補間を表す）フレームである。

Ｐフレームは、一般的に過去のフレーム（Ｉフレームまたは先行のＰフレームのどちらか）を参照して符号化され、概して未来のＰフレームのための参照として使用される。Ｐフレームが擁する圧縮量はかなり高い。Ｂフレームのピクチャは圧縮量が最も高いが、概して符号化されるのに過去および未来の両方の参照を必要とする。双方向フレームは参照用フレームとして使用されることはない。

Ｐフレーム内のマクロブロックも、フレーム内コード化を用いて個々に符号化され得る。また、Ｂフレーム内のマクロブロックも、フレーム内コード化、順方向予測コード化、逆方向予測コード化、順方向および逆方向の両方つまり双方向補間予測コード化を用いて個々に符号化できる。マクロブロックとは、４個の８ｘ８ＤＣＴブロックからなる１６ｘ１６ピクセルのグループであって、Ｐフレームについては１つの動きベクトルを伴い、Ｂフレームについては１つまたは２つの動きベクトルを伴っている。

コード化後、ＭＰＥＧデータのビットストリームはＩ、Ｐ及びＢフレームのシーケンスを含んでいる。一つのシーケンスは、Ｉ、Ｐ及びＢフレームのほとんどどのようなパターンからなってもよい（それらの配置に関しては重要ではない意味上の制限が少数ある）。しかしながら、固定のパターン（例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ）を有するのが業界プラクティスでは一般的である。

本発明の重要な部分として、基本レイヤ（base layer）、少なくとも１つの任意の時間拡張レイヤ（temporal enhancement layer）および任意の解像度拡張レイヤ（resolution enhancement
layer）を含むＭＰＥＧ−２データストリームが作成される。これらの各レイヤは後で詳細に説明する。

時間スケーラビリティ
基本レイヤ 基本レイヤは３６Ｈｚのソース素材の伝達に使用される。好ましい実施の形態では、２種類のＭＰＥＧ−２フレームシーケンス、すなわちＩＢＰＢＰＢＰまたはＩＰＰＰＰＰＰの一方が基本レイヤに使用され得る。後者のパターンは、デコーダがＰフレームを復号化する必要があるだけで、２４Ｈｚの映画がＢフレームを用いずに復号化されていた場合に要求されるメモリ帯域幅を削減できるので、最も好ましい。

７２Ｈｚ時間拡張レイヤ ＭＰＥＧ−２圧縮を用いる際、Ｐフレーム間の間隔が規則正しければ、３６Ｈｚ基本レイヤのＭＰＥＧ−２シーケンス内に３６Ｈｚ時間拡張レイヤをＢフレームとして埋め込むことが可能である。これにより、１つのデータストリームで３６Ｈｚのディスプレイおよび７２Ｈｚのディスプレイの両方をサポートできる。例えば、両レイヤを復号化してコンピュータモニタ用の７２Ｈｚ信号を生成できる一方で、基本レイヤのみ復号化および変換してテレビ用の６０Ｈｚ信号を生成してもよい。

好ましい実施の形態では、ＩＰＢＢＢＰＢＢＢＰＢＢＢＰまたはＩＰＢＰＢＰＢＰＢのＭＰＥＧ−２コード化パターンは共に、一つの独立したストリームに、時間的拡張Ｂフレームのみを含むフレームを一つおきに配置することによって、３６Ｈｚを７２Ｈｚにしている。これらのコード化パターンをそれぞれ図２および３に示す。図３のＰの間隔が２フレームであるコード化パターンは、３６ＨｚデコーダがＰフレームを復号化する必要があるだけで、２４Ｈｚの映画がＢフレームを用いずに復号化される場合に要求されるメモリ帯域幅を削減できるという更なる利点を有する。

高解像度画像を用いた実験は、図３のＰの間隔が２フレームである場合が、ほとんどの種類の画像について最適であると示した。つまり、図３の構成は、６０および７２Ｈｚの両方をサポートする最適な時間的構造を提供し、かつ近代の７２Ｈｚのコンピュータ互換ディスプレイ上で優れた結果をもたらすようである。この構成は２つのデジタルストリーム、すなわち基本レイヤの３６Ｈｚおよび拡張レイヤＢフレームの３６Ｈｚによって７２Ｈｚを達成している。これが図４で図解されている。図４は、３６Ｈｚ基本レイヤＭＰＥＧ−２デコーダ５０がＰフレームを単純に復号化して３６Ｈｚの出力を生成し、そしてその出力が６０Ｈｚまたは７２Ｈｚの表示のどちらにも容易に変換できることを示すブロック図である。任意の第２のデコーダ５２は、Ｂフレームを単純に復号化して第２の３６Ｈｚの出力を生成し、その出力が基本レイヤデコーダ５０の３６Ｈｚの出力と結合されると、７２Ｈｚの出力が得られる（結合方法は後に議論する）。代替の実施の形態では、１つの高速ＭＰＥＧ−２デコーダ５０は、基本レイヤのＰフレームおよび拡張レイヤのＢフレームの両方を復号化できる。

最適なマスターのフォーマット 相当数の会社が、１１Ｍピクセル／秒程度で動作するＭＰＥＧ−２復号化チップを製造している。ＭＰＥＧ−２規格は、解像度およびフレームレートに対する「プロファイル」を幾つか定義している。これらのプロファイルは、６０Ｈｚ、非正方形ピクセル、およびインターレース等、コンピュータ非互換フォーマットパラメータに強く偏っているが、多くのチップメーカは「メインプロファイル、メインレベル」で動作するデコーダチップを開発しているようである。このプロファイルは、最高７２０ピクセルの水平解像度、２５Ｈｚまでは最高５７６ラインの垂直解像度、および３０Ｈｚまでは最高４８０ラインの垂直解像度となるように定められている。また、略１．５Ｍビット／秒から約１０Ｍビット／秒までの幅広いデータレートが規定されている。しかしながら、チップの観点から重要な事項は、ピクセルが復号化されるレートである。メインレベル、メインプロファイルのピクセルレートは約１０．５Ｍピクセル／秒である。

チップメーカ間でばらつきはあるものの、ほとんどのＭＰＥＧ−２デコーダチップは、高速なサポートメモリを与えられた場合、実際には最高１３Ｍピクセル／秒で動作するだろう。２０Ｍピクセル／秒と同等又はそれを超えるほどに高速なデコーダチップもいくつか存在するだろう。所定のコストにてＣＰＵチップが毎年５０％以上性能アップする傾向を考慮すると、近い将来におけるＭＰＥＧ−２デコーダチップのピクセルレートのフレキシビリティを予測できる。

幾つかの望ましい解像度およびフレームレート、ならびにそれらに対応するピクセルレートを表４に示す。

少なくとも１２．６Ｍピクセル／秒で生成できるＭＰＥＧ−２デコーダチップを用いてこれらのフォーマットの全てを利用できる。非常に望ましい３６Ｈｚで６４０ｘ４８０のフォーマットは、そのレートが１１．１Ｍピクセル／秒であることから、ほぼ全ての現行チップで実現できる。ワイドスクリーンの１０２４ｘ５１２画像は、１．５：１の圧縮比で６８０ｘ５１２に圧縮することが可能で、１２．５Ｍピクセル／秒が扱えるならば３６Ｈｚでサポートされ得る。大いに望ましい、１０２４ｘ５１２の正方形ピクセルのワイドスクリーンテンプレートは、ＭＰＥＧ−２デコーダチップが約１８．９Ｍピクセル／秒を処理できるとき、３６Ｈｚで実現できる。これは、２４Ｈｚおよび３６Ｈｚ素材がＰフレームのみ用いてコード化され、Ｂフレームが７２Ｈｚの時間拡張レイヤデコーダにおいて必要であるとき、より実現可能性が高くなる。Ｐフレームのみ使用するデコーダは、必要なメモリおよびメモリ帯域幅が少なく、１９Ｍピクセル／秒という目標を達成し易いものにする。

１０２４ｘ５１２の解像度テンプレートは、２４ｆｐｓでアスペクト比２．３５：１および１．８５：１のフィルムに対して最も頻繁に使用されるだろう。この素材は１１．８Ｍピクセル／秒のみ必要とし、ほとんどの既存のメインレベル−メインプロファイル用デコーダの限界内に適合するはずである。

これらのフォーマットの全ては、図６において、２４または３６Ｈｚでの基本レイヤのための「マスターテンプレート」内に示されている。従って、本発明は従来技術と比べて幅広いアスペクト比および時間的解像度を収容する独特な方法を提供する。（マスターテンプレートは以下で更に議論する）。

７２Ｈｚを生成するＢフレームの時間拡張レイヤは、上で規定した２倍のピクセルレートを持つチップを使用して、または第２のチップをデコーダメモリに追加的にアクセスできるように並列的に使用することによって、復号化できる。本発明下では、拡張および基本レイヤのデータストリームを結合して交互のＢフレームを挿入する少なくとも２つの方法が存在する。第１に、結合は、ＭＰＥＧ−２トランスポート層を使用して、デコーダチップに対して不可視な状態でなされ得る。２つのＰＩＤ（プログラムＩＤ）に対するＭＰＥＧ−２トランスポートパケットは、基本レイヤおよび拡張レイヤを含むと認識されることが可能で、それらストリームのコンテンツは共に、２倍のレート能力を持つデコーダチップへ、または適切に構成された１対の標準レートのデコーダへ、単純に送られることが可能になる。第２に、ＭＰＥＧ−２システムのトランスポート層の代わりに、ＭＰＥＧ−２データストリームにおける「データ・パーティショニング」機能を用いることも可能である。データ・パーティショニング機能によってＢフレームはＭＰＥＧ−２圧縮データストリーム内で異なる分類に属するとしてマーキングされ、従って、時間的基本レイヤのレートだけをサポートする３６Ｈｚデコーダから無視されるようにフラグを立てられる。

ＭＰＥＧ−２ビデオ圧縮により定義されているように、時間スケーラビリティは、本発明の単純なＢフレーム分割ほど適切ではない。ＭＰＥＧ−２の時間スケーラビリティは先行のＰまたはＢフレームから順方向に参照されるにすぎず、従って、順方向および逆方向の両方で参照される、ここで提案されているＢフレーム符号化によって得られる効率には及ばない。それ故、Ｂフレームを時間拡張レイヤとして単純に使用することは、ＭＰＥＧ−２に定義されている時間スケーラビリティと比べてより単純かつ効率的な時間スケーラビリティをもたらす。それにもかかわらず、このようにＢフレームを時間スケーラビリティのメカニズムとして使用することは、ＭＰＥＧ−２と完全に整合している。Ｂフレームに対するデータ・パーティショニングまたは交互のＰＩＤによってこれらＢフレームを拡張レイヤとして認識する２つの方法もまた、完全に整合している。

５０／６０Ｈｚの時間拡張レイヤ 上述した７２Ｈｚ時間拡張レイヤ（３６Ｈｚ信号を符号化する）に加えて、あるいはその代替として、６０Ｈｚの時間拡張レイヤ（２４Ｈｚ信号を符号化する）を同様の方法で３６Ｈｚの基本レイヤに追加できる。６０Ｈｚ時間拡張レイヤは、既存の６０Ｈｚインターレースのビデオ素材を符号化するのに特に有用である。

既存の６０Ｈｚインターレース素材のほとんどは、アナログで、Ｄ１またはＤ２フォーマットのＮＴＳＣ用ビデオテープである。日本のＨＤＴＶ（ＳＭＰＴＥ２４０／２６０Ｍ）も少しであるが存在する。また、このフォーマットで動作するカメラも存在する。いずれの６０Ｈｚインターレースフォーマットも、信号がデインターレースされおよびフレームレート変換される既知の方法で処理され得る。この処理は、ロボットビジョンに類似した非常に複雑な画像を理解する技術を含んでいる。非常に高性能の技術をもってしても、時間的エイリアシングはアルゴリズムによる「誤解」を生じさせるのが一般的で、時折アーチファクトを生じる。画像キャプチャの典型的な５０％のデューティサイクルは、カメラが半分の時間は「見ていない」ことを意味する。映画における「馬車の車輪の逆回転」は、普通のプラクティスとしての時間的アンダーサンプリングによる時間的エイリアシングの一例である。かかるアーチファクトは人の支援による再構築なしでは除去できないのが一般的である。従って、自動的に訂正できないケースは常に存在するだろう。しかしながら、現行技術で可能な動作変換は、ほとんどの素材上でそれなりの結果をもたらすはずである。

高精細カメラまたはテープマシン１台の価格はこのようなコンバータのコストと同等であろう。従って、何台かのカメラおよびテープマシンを有するスタジオであれば、このような変換のコストは適度である。しかしながら、このような処理を十分に行うことは、現時点では家庭およびオフィス向け製品の予算を超えている。従って、既存の素材に対してインターレースを除去し、フレームレートを変換する複雑な処理は、製作スタジオで成し遂げられるのが好ましい。これを図５に示す。図５は、カメラ６０またはその他のソース（非フィルム式ビデオテープ等）６２から、デインターレーサ機能およびフレームレート変換機能を含み３６Ｈｚ信号（３６Ｈｚ基本レイヤのみ）および７２Ｈｚ信号（３６Ｈｚの基本レイヤ＋３６Ｈｚの時間拡張レイヤ）を出力できるコンバータ６４への、６０Ｈｚインターレース入力を示すブロック図である。

７２Ｈｚ信号（３６Ｈｚの基本レイヤ＋３６Ｈｚの時間拡張レイヤ）を出力する代替として、この変換処理は、２４Ｈｚの第２ＭＰＥＧ−２時間拡張レイヤを３６Ｈｚ基本レイヤ上に生成するようになされ、それによりデインターレースされているもののオリジナルの６０Ｈｚ信号を再現できるだろう。同様の量子化を６０Ｈｚ時間拡張レイヤのＢフレームに用いれば、Ｂフレームの数が少ないため、データレートは７２Ｈｚ時間拡張レイヤのレートをわずかに下回るはずである。
＞６０Ｉ→３６＋３６＝７２
＞６０Ｉ→３６＋２４＝６０
＞７２→３６，７２，６０
＞５０Ｉ→３６，５０，７２
＞６０→２４，３６，７２

米国にとって利益のある素材の圧倒的多数は低解像度ＮＴＳＣである。現在、ほとんどのＮＴＳＣ信号は、ほとんどの家庭用テレビジョン上で実質的な悪化を伴って視聴される。更に視聴者は、フィルムをテレビジョン上で上演するための３−２プルダウンの使用につきものの時間的悪化を甘受してきた。ゴールデンアワーのテレビジョンのほぼ全ては毎秒２４フレームのフィルム上で作られている。従って、スポーツ、ニュース、およびその他ビデオオリジナルのショーだけをこのように処理する必要がある。これらショーの３６／７２Ｈｚフォーマットへの変換に伴うアーチファクトおよび損失は、信号の高品質デインターレース化に伴う改善によって相殺されるはずであろう。

６０Ｈｚ（または５９．９４Ｈｚ）のフィールドに固有のモーションブラーは、７２Ｈｚのフレームにおけるモーションブラーと非常に類似しているはずである。従って、基本および拡張レイヤを提供するこの手法は、モーションブラーの点では７２Ｈｚのオリジナルと同様に見えるはずである。そのため、インターレース化された６０ＨｚのＮＴＳＣ素材を３６Ｈｚ基本レイヤへ処理し、時間拡張レイヤからの２４Ｈｚを加えて６０Ｈｚで表示した場合、わずかな改善として気付く場合はあっても、ほとんどの視聴者はその違いに気付かないだろう。しかし、新型の７２Ｈｚ非インターレース式デジタルテレビジョンを購入した人は、ＮＴＳＣを視聴した場合には小さな改善に気付き、更に、７２Ｈｚでキャプチャまたは製作された新しい素材を視聴した場合には大きな改善に気付くだろう。復号化された３６Ｈｚ基本レイヤを７２Ｈｚのディスプレイ上で表示した場合でさえ、インターレースのアーチファクトが低速フレームレートに置き換えられて、高品質デジタルＮＴＳＣと同等に見えるだろう。

同様の処理は、既存の５０ＨｚのＰＡＬ素材を第２ＭＰＥＧ−２拡張レイヤへ変換するのにも適用できる。ＰＡＬビデオテープはかかる変換の前に４８Ｈｚへ減速しておくのが最善である。生のＰＡＬは、相対関係のない５０、３６および７２Ｈｚの各レートを用いる変換が必要である。かかるコンバータユニットは、現時点では放送信号のソースでしか採算が合わず、現時点で家庭およびオフィスの各受信装置では実用的でない。

解像度スケーラビリティ
基本レイヤ上により高い解像度を達成するために、ＭＰＥＧ−２を利用した階層的な解像度スケーラビリティを用いて基本解像度テンプレートを拡張することが可能である。拡張の使用によって基本レイヤの１．５倍および２倍の解像度を達成できる。２倍の解像度は、３／２そして４／３を用いて２ステップで実現してもよいし、係数２の１ステップであってもよい。これを図７に示す。

解像度拡張処理は、独立したＭＰＥＧ−２ストリームとして解像度拡張レイヤを生成し、その拡張レイヤにＭＰＥＧ−２圧縮を適用することによって達成できる。この手法は、ＭＰＥＧ−２で定義され、極めて非効率であることが証明されている「空間スケーラビリティ」とは異なる。しかしながら、ＭＰＥＧ−２は空間スケーラビリティを提供するために、効果的なレイヤ化された解像度を構成するためのツールの全てを含んでいる。本発明の好ましいレイヤ化された解像度の符号化処理を図８に示す。本発明の好ましい復号化処理を図９に示す。

解像度レイヤのコード化 図８において、２ｋｘ１ｋのオリジナル画像８０は従来方法でフィルタ処理されて各寸法の解像度が１／２になり、１０２４ｘ５１２の基本レイヤ８１が生成される。そして、基本レイヤ８１は従来のＭＰＥＧ−２アルゴリズムに従って圧縮され、伝送に適したＭＰＥＧ−２基本レイヤ８２が生成される。この圧縮ステップの間、ＭＰＥＧ−２の全動き補償（full
MPEG-2 motion compensation）が使用され得ることが重要である。次に、その同じ信号が従来のＭＰＥＧ−２アルゴリズムを用いて伸長され、１０２４ｘ５１２の画像８３に戻る。１０２４ｘ５１２の画像８３は拡張され（例えばピクセル複製によって、または好ましくはスプライン補間等のより優れたフィルタによって）、２ｋｘ１ｋの第１の拡大画像８４になる。

一方、任意のステップとして、フィルタ処理された１０２４ｘ５１２の基本レイヤ８１が拡張されて２ｋｘ１ｋの第２拡大画像８５になる。この２ｋｘ１ｋの第２拡大画像８５が２ｋｘ１ｋオリジナル画像８０から減算され、オリジナルの高解像度画像８０とオリジナルの基本レイヤ画像８１との間の解像度のトップオクターブを表す画像が生成される。得られた画像は任意にシャープネス係数すなわち加重値と乗算され、そして２ｋｘ１ｋのオリジナル画像８０と２ｋｘ１ｋの第２拡大画像８５との間の差分に加算されて、２ｋｘ１ｋの中心加重処理された拡張レイヤのソース画像８６が生成される。次に、この拡張レイヤのソース画像８６は従来のＭＰＥＧ−２アルゴリズムに従って圧縮され、伝送に適した別のＭＰＥＧ−２解像度拡張レイヤ８７が生成される。この圧縮ステップの間、ＭＰＥＧ−２の全動き補償（full
MPEG-2 motion compensation）が利用できることが重要である。

解像度レイヤ復号化 図９において、基本レイヤ８２は従来のＭＰＥＧ−２アルゴリズムを用いて伸長され、１０２４ｘ５１２の画像９０に戻る。１０２４ｘ５１２の画像９０は拡張され、２ｋｘ１ｋの第１画像９１になる。一方、解像度拡張レイヤ８７が従来のＭＰＥＧ−２アルゴリズムを用いて伸長され、２ｋｘ１ｋの第２画像９２に戻る。そして、２ｋｘ１ｋの第１画像９１および２ｋｘ１ｋの第２画像９２は加算され、２ｋｘ１ｋの高解像度画像９３が生成される。

ＭＰＥＧ−２からの改良点 本質的に、拡張レイヤは復号化された基本レイヤを拡張し、そのオリジナル画像とその復号化された基本レイヤとの間の差分を取り、圧縮することによって形成される。しかしながら、オプションとして、圧縮された解像度拡張レイヤは、任意ではあるが復号化後に基本レイヤに加算されて、デコーダ内により高解像度の画像が作成されてもよい。本発明によるレイヤ化された解像度符号化処理は、ＭＰＥＧ−２の空間スケーラビリティと幾つかの点で異なる。すなわち：
・拡張レイヤの差分ピクチャは、Ｉ、Ｂ及びＰフレームと共に、それ自身のＭＰＥＧ−２データストリームとして圧縮される。この違いは、ＭＰＥＧ−２の空間スケーラビリティが効果的でない場合でも、本明細書で提案されている解像度スケーラビリティが効果的であるという主たる理由を表している。ＭＰＥＧ−２に定義されている空間スケーラビリティは、上位レイヤのピクチャと拡張された基本レイヤとの間の差分として、又は実際のピクチャの動き補償されたＭＰＥＧ−２データストリームとして、又は両者が結合したものとして、上位レイヤをコード化することを可能にしている。しかしながら、これらの符号化はいずれも効率的ではない。基本レイヤからの差分を、差分のＩフレームとして考えることも可能だが、それは本発明のような動き補償された差分ピクチャと比較して非効率的である。ＭＰＥＧ−２に定義されている上位レイヤの符号化も、上位レイヤを完全に符号化することに等しいため、非効率的である。そのため、本発明のように、差分ピクチャの動き補償符号化の方が大幅に効率的である。
・拡張レイヤは独立したＭＰＥＧ−２データストリームであるので、基本レイヤおよび拡張レイヤを多重化するためにＭＰＥＧ−２システムのトランスポート層（または他の同様のメカニズム）を用いなければならない。
・拡張および解像度減少フィルタ処理はガウスまたはスプライン関数でよく、ＭＰＥＧ−２の空間スケーラビリティに規定されているバイリニア補間よりも好適である。
・好ましい実施の形態では、画像のアスペクト比が下位および上位レイヤ間で一致していなければならない。ＭＰＥＧ−２の空間スケーラビリティでは、幅および／または高さに対する伸長が許容されている。かかる伸長は、効率の要求に従い、好ましい実施の形態では許容されない。
・効率の要求により、および、拡張レイヤで用いられる極めて大きな圧縮量により、拡張レイヤの全エリアはコード化されない。通常、拡張から除外されるエリアは境界エリアであろう。従って、好ましい実施の形態における２ｋｘ１ｋの拡張レイヤソース画像８６は中心加重されている。好ましい実施の形態では、フェーディング関数（線形加重等）を使用して拡張レイヤを画像の中心に向かって、境界縁部から離れるにつれて「ぼかす」ことにより、画像内の急激な変化を回避する。その上、目で追うことになるディテールを持つ領域を決定する手動または自動の方法を利用して、ディテールを必要とする領域を選択し、および過剰なディテールが要求されない領域を除外することができる。画像全体が基本レイヤレベルのディテールを持っていて、画像の総てが存在している。特別な関心の対象となるエリアのみが拡張レイヤの恩恵を受ける。その他の基準がない場合は、上記の中心加重された実施の形態のように、フレームの縁部または境界が拡張から除外され得る。ＭＰＥＧ−２パラメータであって負号付き整数として使用される「下位＿レイヤ＿予測＿水平＆垂直オフセット」パラメータを、「水平＆垂直＿サブサンプリング＿係数ｍ＆ｎ」の値と組み合わせて使用して、拡張レイヤの矩形の全体的なサイズおよび拡張された基本レイヤ内での配置を指定することができる。
・シャープネス係数を拡張レイヤに加算して、量子化中に発生するシャープネスの損失を相殺する。オリジナルピクチャの鮮明度およびシャープネスを復元するためにのみ、このパラメータを利用し、画像を強調するために利用しないように注意しなければならない。図８に関連して述べたように、シャープネス係数は、オリジナル高解像度画像８０とオリジナル基本レイヤ画像８１（拡張後）との間の解像度の「ハイオクターブ」である。このハイオクターブ画像は、ハイオクターブの解像度のシャープネスおよびディテールを含むことに加え、ノイズがかなり多くなる。この画像を加算しすぎると、拡張レイヤの動き補償符号化が不安定になり得る。加算すべき量はオリジナル画像中のノイズレベルによる。典型的な加重値は０．２５である。ノイズが多い画像の場合は、シャープネスを加算すべきではなく、むしろディテールを維持する従来のノイズ抑制手法を用いて、圧縮前に、拡張レイヤに対するオリジナル画像中のノイズを抑制するのが賢明かもしれない。
・時間スケーラビリティおよび解像度スケーラビリティは、基本レイヤおよび解像度拡張レイヤの両方において、３６から７２Ｈｚへの時間的拡張のためのＢフレームを利用することによって混合される。このようにして、時間スケーラビリティの２レベルで利用可能なオプションがあることから、解像度スケーラビリティの２つのレイヤで４レベルの復号化能力を得ることができる。

これらの違いは、ＭＰＥＧ−２の空間スケーラビリティおよび時間スケーラビリティからの本質的な改良点を表している。しかしながら、これらの違いは、図９に示す解像度拡張復号化処理において拡張および加算を行うための追加ロジックがデコーダ内で必要になるかもしれないが、依然としてＭＰＥＧ−２デコーダチップと調和している。かかる追加ロジックは、効果の点で劣るＭＰＥＧ−２の空間スケーラビリティが要求するロジックとほぼ同一である。

任意の解像度拡張レイヤの非ＭＰＥＧ−２コード化 ＭＰＥＧ−２とは異なる圧縮手法を解像度拡張レイヤに利用可能である。更に、基本レイヤに対するのと同じ圧縮技術を解像度拡張レイヤに利用する必要もない。例えば、差分レイヤがコード化されるとき、動き補償されたブロックウェーブレットを利用して、非常に効率的にディテールをマッチングおよびトラッキングすることができる。各ウェーブレットを配置する最も効率的な位置が差分の量の変化に起因して画面上でジャンプしたとしても、低振幅の拡張レイヤでは気付かれないだろう。更に、画像の全体をカバーする必要はなく、ディテール上にウェーブレットを配置することのみが必要である。ウェーブレットの配置を画像内のディテール領域によって案内させることも可能である。それらの配置は縁部から離れて偏っていてもよい。

多数の解像度拡張レイヤ ２Ｍピクセル（２０４８ｘ１０２４）、７２フレーム／秒が１８．５ｍビット／秒でコード化される本明細書に記載のビットレートでは、基本レイヤ（１０２４ｘ５１２、７２ｆｐｓ）および１つの解像度拡張レイヤだけが実現に成功しているにすぎない。しかしながら、解像度拡張レイヤコード化の更なるリファインによって可能になると予想される改善効率により、多数の解像度拡張レイヤが可能になるはずである。例えば、５１２ｘ２５６基本レイヤが４つのレイヤによって１０２４ｘ５１２、１５３６ｘ７６８および２０４８ｘ１０２４に解像度拡張可能になることが考えられる。これは、映画のフレームレートの毎秒２４フレームであれば既存のＭＰＥＧ−２コード化でも可能である。毎秒７２フレーム等の高フレームレートでは、ＭＰＥＧ−２は各解像度拡張レイヤのコード化を充分な効率で行うことができず、現時点ではこの多数レイヤを実現できない。

マスタリングフォーマット
２０４８ｘ１０２４ピクセルまたはそれに近いテンプレートを利用すると、様々な公開フォーマットに対応する単一のデジタル動画マスターフォーマットソースを作成することが可能である。図６に示すように、２ｋｘ１ｋのテンプレートは、一般的なワイドスクリーンのアスペクト比である１．８５：１および２．３５：１を効率的にサポートできる。２ｋｘ１ｋのテンプレートは１．３３：１およびその他アスペクト比にも対応できる。

解像度のレイヤ化においては整数（特に係数２）および単分数（３／２および４／３）が最も効率的なステップサイズであるが、任意の比率を用いて要求されるいかなる解像度レイヤ構造も達成可能である。しかしながら、２０４８ｘ１０２４のテンプレートまたはそれに近いものの使用は、高品質なデジタルマスターフォーマットを提供するのみならず、その他多くの都合のよい解像度を係数２の基本レイヤ（１ｋｘ５１２）から提供可能で、それらは米国テレビジョン規格のＮＴＳＣを含む。

フィルムを４ｋｘ２ｋ、４ｋｘ３ｋまたは４ｋｘ４ｋ等、より高い解像度でスキャンすることも可能である。任意の解像度拡張を用いると、２ｋｘ１ｋ付近の中心的マスターフォーマット解像度からこれらより高い解像度を形成できる。このようなフィルムに対する拡張レイヤは、画像ディテール、粒状感およびその他ノイズのソース（スキャナーノイズ等）から成るものであろう。このノイズのため、これらの非常に高い解像度に対する拡張レイヤにおいて圧縮技術を使用するには、ＭＰＥＧ−２タイプの圧縮に代わるものが必要になるだろう。幸い、画像内の所望ディテールを維持しつつこのようなノイズの多い信号を圧縮するのに利用できるその他の圧縮技術が存在する。かかる圧縮技術の一例は、動き補償ウェーブレットまたは動き補償フラクタルである。

望ましくは、既存の映画からならば、デジタルマスタリングフォーマットが、フィルムのフレームレート（すなわち２４フレーム毎秒）で作成されるべきである。３−２プルダウンおよびインターレースの両方を共に使用することは、デジタルフィルムマスターには適切ではないだろう。新しいデジタル電子素材には、６０Ｈｚインターレースの使用は近い将来なくなり、本明細書で提案されているように、７２Ｈｚ等、よりコンピュータ互換性が高いフレームレートに取って替わられることが期待されている。デジタル画像マスターは、７２Ｈｚ、６０Ｈｚ、３６Ｈｚ、３７．５Ｈｚ、７５Ｈｚ、５０Ｈｚ、またはその他のいかなるレートであれ、画像がキャプチャされるフレームレートで作られるべきである。

全ての電子公開フォーマットに対応する単一のデジタルソースピクチャフォーマットとしてのマスタリングフォーマットの概念は、ＰＡＬ、ＮＴＳＣ、レターボックス、パンアンドスキャン、ＨＤＴＶ、およびその他のマスターが全て概して独立してフィルムのオリジナルから作られるという既存のプラクティスとは異なっている。マスタリングフォーマットの使用により、フィルムおよびデジタル／電子の両方のショーは一度マスター化されれば様々な解像度およびフォーマットで公開できるようになる。

結合された解像度拡張レイヤおよび時間拡張レイヤ
上述のように、時間的および解像度の両方の拡張レイヤ化は結合できる。時間拡張はＢフレームの復号化によって提供される。解像度拡張レイヤも２つの時間レイヤを有し、従ってＢフレームを含む。

２４ｆｐｓのフィルムの場合、最も効率的かつ最も低コストのデコーダはＰフレームのみを使用するかもしれない。それによってメモリおよびメモリ帯域幅が共に最小化し、またＢフレームの復号化を排除することによりデコーダが簡素化される。従って、本発明によれば、２４ｆｐｓの映画の復号化および３６ｆｐｓの次世代テレビジョンの復号化は、Ｂフレーム処理能力を持たないデコーダを利用することも可能である。そして、図３に示すように、Ｂフレームは各Ｐフレーム間で利用され、より高い７２Ｈｚの時間レイヤを生み出し、それを第２のデコーダで復号化することも可能である。また、この第２デコーダもＢフレームを復号化するだけでよいので簡素化され得るであろう。

また、かかるレイヤ化は拡張された解像度レイヤにも適用され、２４および３６ｆｐｓの各レートについてＰおよびＩフレームだけを同様に利用できる。解像度拡張レイヤ内でＢフレームを復号化することを追加することにより、解像度拡張レイヤは高解像度で７２Ｈｚの完全な時間レートを更に達成できる。

デコーダの、結合された解像度および時間スケーラブルのオプションを図１０に示す。この例はまた、本発明の空間−時間レイヤ化された次世代テレビジョンを実現するための略１８ｍビット／秒のデータストリームの割合の配分を示す。

図１０において、基本レイヤのＭＰＥＧ−２、１０２４ｘ５１２ピクセルのデータストリーム（好ましい実施の形態ではＰフレームのみ含む）が基本解像度デコーダ１００へ与えられる。Ｐフレームには略５ｍビット／秒の帯域幅が要求される。基本解像度デコーダ１００は２４または３６ｆｐｓで復号化できる。基本解像度デコーダ１００の出力は、低解像度、低フレームレートの画像（１０２４ｘ５１２ピクセルで２４または３６Ｈｚ）を含む。

同じデータストリームからのＢフレームは構文解析され、基本解像度時間拡張レイヤデコーダ１０２へ与えられる。かかるＢフレームには略３ｍビット／秒の帯域幅が要求される。基本解像度デコーダ１００の出力は、時間拡張レイヤデコーダ１０２へも連結されている。時間拡張レイヤデコーダ１０２は３６ｆｐｓで復号化できる。時間拡張レイヤデコーダ１０２の結合出力は、低解像度、高フレームレートの画像（１０２４ｘ５１２ピクセルで７２Ｈｚ）を含む。

また図１０において、解像度拡張レイヤのＭＰＥＧ−２、２ｋｘ１ｋピクセルのデータストリーム（好ましい実施の形態ではＰフレームのみ含む）が基本時間高解像度拡張レイヤデコーダ１０４へ与えられる。これらのＰフレームには略６ｍビット／秒の帯域幅が要求される。基本解像度デコーダ１００の出力も、高解像度拡張レイヤデコーダ１０４に連結されている。高解像度拡張レイヤデコーダ１０４は２４または３６ｆｐｓで復号化できる。高解像度拡張レイヤデコーダ１０４の出力は、高解像度、低フレームレートの画像（２ｋｘ１ｋピクセルで２４または３６Ｈｚ）を含む。

同じデータストリームからのＢフレームは構文解析され、高解像度時間拡張レイヤデコーダ１０６へ与えられる。かかるＢフレームには略４ｍビット／秒の帯域幅が要求される。高解像度拡張レイヤデコーダ１０４の出力は、高解像度時間拡張レイヤデコーダ１０６へ連結されている。時間拡張レイヤデコーダ１０２の出力も高解像度時間拡張レイヤデコーダ１０６へ連結されている。高解像度時間拡張レイヤデコーダ１０６は３６ｆｐｓで復号化できる。高解像度時間拡張レイヤデコーダ１０６の結合された出力は、高解像度、高フレームレートの画像（７２Ｈｚで２ｋｘ１ｋピクセル）を含む。

このスケーラブル符号化メカニズムを通じて達成される圧縮率は非常に高く、極めて高い圧縮効率を示している。図１０の例における時間的およびスケーラビリティの各オプションについての圧縮率を表５に示す。これらの圧縮率は２４ビット／ピクセルのソースＲＧＢピクセルに基づいている。（従来の１６ビット／ピクセルの４：２：２符号化または従来の１２ビット／ピクセルの４：２：０符号化を計算にいれる場合、圧縮率は示す値のそれぞれ３／４および１／２になるだろう。）

これらの高圧縮率は２つの要素により可能になっている。
１）高フレームレートの７２Ｈｚ画像の高い時間的コヒーレント性（干渉性）
２）高解像度の２ｋｘ１ｋ画像の高い空間的コヒーレント性（干渉性）
３）解像度ディテール拡張を画像の重要部分（例えば、中央の中心部）に適用し、それほど重要でない部分（例えば、フレームの境界）には適用しないこと

これらの要素は、本発明のレイヤ化圧縮手法において、ＭＰＥＧ−２符号化シンタクスの強さを利用することによって活用されている。これらの強さは、時間スケーラビリティのための双方向補間されるＢフレームを含む。ＭＰＥＧ−２シンタクスはまた、基本および拡張の両レイヤにおいて動きベクトルを使用することよって効率的な動作表現を提供する。ＭＰＥＧ−２はまた、高いノイズおよび素早い画像変化のある閾値までは、ＤＣＴ量子化と連携した動き補償によって拡張レイヤ内で効率的にノイズではなくディテールをコード化する。この閾値を超えたら、データ帯域幅は基本レイヤへ割り当てるのが最善である。これらのＭＰＥＧ−２メカニズムは、時間的にも空間的にもスケーラブルな非常に効率的かつ効果的なコード化を生み出すために本発明に従って使用されるとき、協働する。

５ｍビット／秒のＣＣＩＲ６０１デジタルビデオの符号化と比較すると、表５中の圧縮率ははるかに高い。この理由の１つはインターレースによる、あるコヒーレンスの損失である。インターレースは、垂直に隣接するピクセル間の相関だけでなく、後続のフレームおよびフィールドの両方を予測する能力にも悪影響を与える。従って、ここで説明されている圧縮効率の増加の大部分は、インターレースがないことによるものである。

本発明によって達成される大きな圧縮率は、各ＭＰＥＧ−２マクロブロックをコード化するのに利用可能なビット数という観点から考慮することができる。上述のように、マクロブロックは、４個の８ｘ８のＤＣＴブロックからなる１６ｘ１６ピクセルのグループであって、Ｐフレームについて１つの動きベクトル、Ｂフレームについて１つまたは２つの動きベクトルを伴っている。各レイヤについてのマクロブロック当たりに利用可能なビットを表６に示す。

各マクロブロックをコード化するのに利用可能なビット数は、基本レイヤよりも拡張レイヤにおいて少ない。基本レイヤはできるだけ高品質であるのが望ましいため、これは適切である。動きベクトルは８ビット程度を必要とし、マクロブロックタイプのコードならびに全４個の８ｘ８ＤＣＴブロックについてのＤＣおよびＡＣ係数に１０〜２５ビットが残される。これは、数個分の「戦略的に利用できる」ＡＣ係数にのみしか余裕がない。従って、統計上、各ブロックについて利用可能な情報のほとんどは、拡張レイヤの先行するフレームから来るものでなければならない。

ＭＰＥＧ−２の空間スケーラビリティが、これらの圧縮率においてなぜ効果的でないかが容易に分かる。拡張差分画像によって表わされるディテールのハイオクターブを表すのに十分なＤＣおよびＡＣ係数をコード化するのに利用可能な十分なデータスペースがないからである。ハイオクターブは、主に第５乃至第８の水平および垂直ＡＣ係数において表される。ＤＣＴブロック当たり２〜３ビットしか利用可能でない場合は、これらの係数に到達できない。

ここで記述されたシステムは、過去の拡張差分フレームからの動き補償予測を利用することによってその効率を得ている。これは、時間的および解像度（空間的）レイヤ構造の符号化において優れた結果をもたらす上で明らかに効果的である。

グレースフルデグラデーション ここで述べる時間的スケーリングおよび解像度スケーリングの手法は、２ｋｘ１ｋのオリジナルソースを用いた毎秒７２フレームで通常に動作する素材に対して上手く動く。これらの手法は、２４ｆｐｓで動作するフィルムベースの素材に対しても上手く動く。しかしながら、高フレームレートでは、非常にノイズのような画像がコード化される場合、または画像ストリーム中に非常に多い撮影カットが存在する場合、拡張レイヤは、効果的なコード化のために必要なフレーム間のコヒーレンスを失ってしまうことがある。かかる損失は、典型的なＭＰＥＧ−２エンコーダ／デコーダのバッファ占有量／レート制御メカニズムが量子化器を非常に粗いセッティングに設定しようとするので、容易に検出される。この状態に遭遇したとき、通常は解像度拡張レイヤの符号化に使用されるビットを全て基本レイヤに割り当てられ得る。基本レイヤは、そのストレスの多い素材をコード化するのにできるだけ多くのビットを必要とするからである。例えば、基本レイヤについて毎フレーム約０．５および０．３３Ｍピクセルの間で、毎秒７２フレームでは、得られるピクセルレートは２４から３６Ｍピクセル／秒であろう。利用可能なビットを全て基本レイヤに与えることは、フレームあたり約５０万から６７万の追加ビットが１８．５ｍビット／秒で与え、それはストレスの多い素材であっても非常に良好にコード化するのに充分なはずである。

全フレームが非常にノイズ的であったり、および／または、数フレーム毎にカットが発生したりというような、より極端なケースであっても、基本レイヤにおける解像度の損失を伴うことなく、更にグレースフルデグラデーションを行うことが可能である。これは、時間拡張レイヤをコード化するＢフレームを除去することによって達成でき、それにより利用可能な帯域幅（ビット）の全てを３６ｆｐｓの基本レイヤのＩおよびＰフレームに使用できるようになる。これによって、基本レイヤの各フレームについて利用可能なデータ量が約１．０〜１．５ｍビット／フレーム（基本レイヤの解像度による）に増加する。また、極端にストレスの多いコーディング条件の状況下でもなお、３６ｆｐｓというかなり良好な動作表現レートを、基本レイヤのかなりの高品質な解像度で実現するだろう。しかしながら、基本レイヤの量子化器が約１８．５ｍビット／秒、３６ｆｐｓという粗いレベルで依然として動作している場合は、基本レイヤのフレームレートは毎秒２４、１８、あるいは１２フレームにまで劇的が低下し（各フレームに１．５〜４ｍビットを利用可能とするだろう）、それによって最も異常に動く画像タイプであっても処理できるはずである。かかる状況でフレームレートを変化させる方法は公知である。

米国の次世代テレビジョンに対する現行提案は、これらのグレースフルデグラデーションの方法を許容しておらず、そのためストレスの多い素材に対しては本発明のシステムほど優れた性能を発揮することはできない。

ほとんどのＭＰＥＧ−２エンコーダにおいて、適応量子化レベルは出力バッファ占有量によって制御されている。本発明の解像度拡張レイヤにおける高圧縮率では、このメカニズムは最適には動作しないかもしれない。様々な手法を使用して最適画像領域へのデータ割り当てを最適化できる。概念的に最も単純な手法は、解像度拡張レイヤ上で符号化のプリパスを実施し、統計を集めて、維持するべきディテールを検索することである。プリパスの結果は、解像度拡張レイヤにおけるディテールの維持を最適化するために適した量子化を設定することに使用され得る。また、量子化の設定を画像上で不均一なるように人為的に偏らせ、画像ディテールをメイン画面領域に割り当て、フレームの最縁部のマクロブロックから離れるように偏らせて割り当てることも可能である。

既存のデコーダはかかる改良がなくても良好に機能するので、拡張レイヤの境界を高フレームレートで残す以外は、これら調整のいずれも必要ではない。しかしながら、こうした更なる改良は、拡張レイヤエンコーダに僅かに余分な工夫を施すことによって利用できるようになる。

結論
新しい共通基盤となる時間レートとして３６Ｈｚを選択することは最適なようである。このフレームレートの使用を論証すると、６０Ｈｚおよび７２Ｈｚの両ディスプレイに対して、２４Ｈｚからは顕著な改善があることが分かる。３６Ｈｚ画像は、７２Ｈｚ画像キャプチャから１つおきのフレームを利用して作成できる。これにより、３６Ｈｚ基本レイヤ（好ましくはＰフレームを使用）と３６Ｈｚ時間拡張レイヤ（Ｂフレームを使用）とを結合して、７２Ｈｚ表示を実現できる。

本発明のアプローチによって「未来志向」のレートである７２Ｈｚは譲歩されない。６０Ｈｚ用アナログＮＴＳＣ表示のための移行が提供される。本発明はまた、検討されているその他の受動的エンターテイメント専用（コンピュータ非互換）のその他の６０Ｈｚフォーマットが受け入れられた場合でも、その６０Ｈｚ用表示のための移行をも可能にする。

解像度スケーラビリティは、解像度拡張レイヤに対して分離したＭＰＥＧ−２画像データストリームを用いることにより達成できる。解像度スケーラビリティはＢフレームアプローチを利用して、基本解像度および拡張解像度の両レイヤにおいて時間スケーラビリティを提供できる。

ここで説明する発明は多くの非常に望ましい特長を達成している。米国の次世代テレビジョン処理関係者の中には、地上波放送で利用可能な略１８．５ｍビット／秒以内では、解像度または時間スケーラビリティのどちらも高精細解像度で達成できないと主張する者もいる。しかしながら、本発明はこの利用可能なデータレート内で時間スケーラビリティおよび空間−解像度スケーラビリティの両方を達成する。

また、利用可能な１８．５ｍビット／秒のデータレート内では、インターレースを用いずに高フレームレートでの２Ｍピクセルは達成できないとも主張されてきた。しかしながら、本発明は、解像度（空間的）スケーラビリティおよび時間的なスケーラビリティを達成するのみでなく、７２フレーム／秒で２Ｍピクセルを実現できる。

これらの能力の提供に加えて、本発明は、特に次世代テレビジョンについての現行提案と比較して非常に強健（ロバスト）でもある。これは、非常にストレスの多い画像素材に遭遇した場合、ほとんどまたは全てのビットを基本レイヤに割り当てることによって可能にされている。そのようなストレスの多い素材は、その性質上ノイズのようであり、かつ、非常に素早く変化する。このような状況下では、解像度の拡張レイヤに関連したディテールは目に見えない。ビットは基本レイヤに当てられるので、再生フレームは、単一で一定した、より高い解像度を用いる現行提案の次世代テレビジョンシステムに比べて、相当に精確なものとなる。

このようにして、本発明のシステムは、最大限の視覚的インパクトを提供しつつ、知覚上の効率およびコード化の効率を共に最適化するものである。このシステムは、これまで多くの人に不可能と考えられてきた解像度およびフレームレート能力で、非常に鮮明な画像を提供する。本発明のシステムは、現時点で提案されている次世代テレビジョンフォーマットより性能がすぐれている可能性が高いと信じられる。この予想される素晴らしい性能に加え、本発明は時間的および解像度レイヤ構造の非常に価値ある特長も提供する。

暗号化および透かし処理
概要
レイヤ化圧縮は、フレキシブルな暗号化および透かし処理手法をサポートする画像のモジュール化した分解の形式を可能にする。レイヤ化圧縮を用いることにより、基本レイヤおよび基本レイヤの様々な内部コンポーネントは、圧縮されたレイヤ構造の映画データストリームを暗号化および／または透かし処理するために、使用され得る。圧縮されたデータストリームに暗号化および透かし処理を施すことは、オリジナルデータのレートで処理しなければならない高解像度のデータストリームと比較して、必要な処理量を削減する。暗号化および透かし処理に要求される計算時間は、処理しなければならないデータ量に依存する。演算リソースが特定のレベルである場合、レイヤ化圧縮を通じてデータ量を削減することは、暗号強度の改善、又は、暗号化／解読コストの削減、もしくは、その両方を生み出せる。

暗号化によって圧縮画像（および音声）データは保護され、キーを持つユーザに限って情報へ容易にアクセスできるようになる。レイヤ化圧縮は、画像をコンポーネント、すなわち時間および空間基本レイヤ、ならびに時間および空間各拡張レイヤに分解する。基本レイヤは可視ピクチャの復号化へのキーである。従って、時間および空間基本レイヤのみ暗号化すればよく、それによって必要計算量を削減できる。時間および空間拡張レイヤは、解読および伸長された基本レイヤがなければ無価値である。そのため、このようなレイヤ化されたビットのサブセットを使用することにより、ストリーム全体のビットの小部分だけを暗号化することでピクチャストリーム全体を認識不能にできる。様々な暗号化アルゴリズムおよび強度が、拡張レイヤを含むレイヤ化されたストリームの様々な部分に適用され得る。また、暗号化アルゴリズムまたはキーは、暗号化とピクチャストリームとをより絡み合わせるために、各スライス境界（信号エラー回復のためのデータストリーム構造）毎に変更され得もする。

不可視に（またはほとんど不可視に）透かし処理を行うことで作品のコピー（複製品）はマーキングされる。この概念は、紙の中に識別可能な記号を配置して書類（例えば、お金）が真正であることを保証するというプラクティスに端を発している。透かし処理によって、認証済みオーナーまたはライセンシーの所有から取り去られ得るコピーを追跡（トラッキング）できる。従って、透かし処理は遺失したまたは窃取されたコピーをそのソースまでトラッキングするのに役立ち、盗難方法の性質の判定ができ、窃取にかかわった人々の特定を可能にする。

透かし処理の概念は、表示されている実際の画像上にかすかな画像シンボルまたは署名の配置を試みることによって画像へ適用されてきた。電子透かし処理の最も幅広く認知されている概念は、高振幅の可視画像上に印加した低振幅の可視画像である。しかしながら、このアプローチは、テレビジョン上の画面の隅にネットワークロゴを印加する処理と同様に、オリジナル画像の品質を若干変更してしまう。そのような変更はピクチャ品質を低下させてしまうので望ましくない。

圧縮ドメインでは、信号を改変して、透かし記号またはコードをそれらの信号上に印加しつつも、これらの透かし改変が視覚ドメインに直接適用されないようにすることができる。例えば、ＤＣＴ変換は周波数変換スペース内にて動作する。このスペースにおけるいかなる改変も、特にフレームからフレームへと訂正されるのであれば、はるかに見え難い（または完全に不可視）かもしれない。好ましくは、透かし処理は、目には不可視またはほとんど不可視でありながらも、信頼性の高い識別を提供するために、レイヤ化圧縮映画ストリームの特定のフレームにおける特定の係数の低位ビットを使用する。透かし処理は圧縮データストリームの基本レイヤに適用できる。しかしながら、拡張レイヤは最初はディテールにおいて非常に微妙であるため、基本レイヤよりもはるかに大きい程度にて保護することができる。各拡張レイヤは、それ自身の独特な（ユニークな）識別用透かし構造を有することができる。

一般に、透かし処理がストリームから容易に除去できないように、暗号化および透かし処理を混合することを確実にするように注意が払われなければならない。このため、透かしをレイヤ化データストリーム内の様々な有用な位置に適用することが有益である。しかしながら、透かし処理は海賊および海賊行為の経路の検出に最も有用であることから、暗号化は完全にまたは部分的に弱められたと推定しなければならず、従って透かし処理は、単純な手順を使ってそれら様々な透かしを除去できないように、データストリーム中に強健に深くしみこまされるべきである。好ましいアプローチは、安全に保管された作品のマスター表示を持ち、そのマスターからランダムなバリエーションを提供して各透かしを独自に作成することである。かかるランダムなバリエーションは、最終的なストリームからはそれらのバリエーションがどのようなものであったかは検出する方法がないので、除去され得ない。しかしながら、透かしを混乱させるべく略奪されたストリームに加えられる追加のランダムなバリエーション（多分可視レベルのノイズを画像に加えることによる）から守るためには、透かしを定める様々なその他の手法（後述の動きベクトル第２ベスト手法等）を備えることが役に立つ。

暗号化は、できるだけ小さい暗号化ユニットによりできるだけ多くのフレームを撹乱する（スクランブルをかける）、または少なくとも視覚的に損傷を与えるように動作するのが好ましい。様々な種類のＭＰＥＧおよび動き補償ウェーブレット等の圧縮システムは、ある範囲のフレーム（「ピクチャ群：Group
of Pictures」、すなわちＧＯＰ）を復号化するために、カスケード処理しなければならない階層構造の情報のユニットを利用する。この特徴は、その連結された復号化されたユニットの範囲の初期に、少数のパラメータから広い範囲のフレームをスクランブルするように暗号化する機会を提供する。更に、作品を商業的に保護するためには、全てのユニットをより高レベルのユニットの暗号化によって暗号化すなわち撹乱しておく必要はない。例えば、１分おきのフィルムのフレーム、または特に重要なプロットもしくはアクションシーンを暗号化すなわち撹乱しておけば、フィルムは海賊行為にとっては無価値になるであろう。

これに対して、透かし処理の目標は、分析により検出可能ながらも画像中では不可視またはほとんど不可視の（すなわち、顕著な視覚的損傷を生じない）記号および／またはシリアル番号式の識別マークを画像ストリーム上に配置することである。従って、透かし処理は、好ましくは、フレーム群内の各フレームに生じる影響を最小限にするように、復号化ユニットチェーンにおける各ユニットの階層構造の末端付近の各部分へ適用される。

例えば、図１１は暗号化および透かし処理が及ぶ範囲をＩ、ＰおよびＢフレームに対するユニット従属性の関数として表す図である。どのフレームを暗号化しても後続の従属フレームが全て撹乱される。従って、最初のＩフレームを暗号化するとそのＩフレームから導き出される全てのＰおよびＢフレームが撹乱される。これに対して、そのＩフレーム上の透かしは通常、後続フレームへは繰り越されず、従ってより数が多いＢフレームに透かし処理を行ってデータストリーム中で透かしをより広く行き渡らせた方がよい。

ビデオ情報の単位 圧縮されたＭＰＥＧタイプまたは動き補償ウェーブレットのビットストリームは、ビデオ中の圧縮された情報の様々な基本的なユニットを正常に抽出および処理することによって、構文解析される。これは、ＭＰＥＧ−２、ＭＰＥＧ−４および動き補償ウェーブレット（ウェーブレットがＩ、ＰおよびＢフレームに相当するものを有すると考えるとき）等の最も効率的な圧縮システムに当てはまる。かかるユニットは、マルチフレームユニット（ＧＯＰ等）、シングルフレームユニット（例えばＩ、ＰおよびＢフレームのタイプ、ならびに動き補償ウェーブレットの均等物）、サブフレームユニット（ＡＣおよびＤＣ係数、マクロブロック、ならびに動きベクトル）、および「分散ユニット（distributed
unit)」（後述）から構成され得る。

ＧＯＰを暗号化ユニットとして用いる場合、各ＧＯＰは独立した方法および／またはキーで暗号化できる。このようにすると、各ＧＯＰは独自の処理およびモジュール性の恩恵を受け、非リアルタイムまたは準リアルタイム（数秒ほど僅かに遅延される）のアプリケーション（電子映画および放送等）において、他のＧＯＰと並行してまたは順不同で復号化および／または解読できる。最終的なフレームは、最終的な表示の順番に配列されるだけでよい。

上述のように、特定のユニットの暗号化は、その暗号化されたユニットから取得される情報に従属する他のユニットの適切な復号化を撹乱させることがある。つまり、一つのフレーム内のある情報が後続フレームのビデオ情報の復号化に要求され、先のフレームのみを暗号化した場合に、それ以外には暗号化されていない後のフレームの復号化が撹乱されることがある。従って、暗号化するユニットを選択する際には、特定のユニットを暗号化することによって他の関連するユニットの可用性がどのように撹乱されるかに留意することは有益である。例えば、一つのＧＯＰに及ぶ多数のフレームは、表７に示す様々なレベルで影響を受ける。

更に、ＧＯＰのある部分または全てを撹乱させるに、フレーム全体を暗号化する必要はない。フレームのサブユニットを暗号化してもよく、暗号化および解読の処理時間を削減しつつ、なおも撹乱効果を発揮する。例えば、特定フレーム内ユニットを暗号化は、表８に示す様々なレベルで後続フレームに影響を与える。

多くのアプリケーション（放送およびデジタル映画等）では遅延を適用して、同類のユニットからのアイテムの集合体を伝送前に暗号化することが可能である。これにより、暗号化／解読ユニットを含むビットが上述した種類の従来型ユニット内でデータストリームのいたるところへ物理的に割り当てられている「分散ユニット」が実現し、キーを知らずに解読することをはるかに困難にできる。解読するには、充分な数の従来型ユニットを（例えば、バッファ内に）集め、グループとして解読する。例えば、フレームまたはＧＯＰの全体についてグループ内にＤＣ係数を集めることができる。同様に、動きベクトルは、１つの動きベクトルから次の動きベクトルへ、１つのマクロブロックから次のマクロブロックへというように、フレームを通じて差分的に（differentially）コード化および予測され、これにより集合体内で暗号化および解読され得る。また、可変長コード化テーブルもグループ内に集められ、「スタートコード」間でモジュール型ユニットを形成可能である。集合化され、暗号化され、そしてその暗号化されたビットがデータストリーム内で分離されまたは分散させられることが可能なユニットまたはサブユニットの更なる例は、動きベクトル、ＤＣ係数、ＡＣ係数および量子化器のスケールファクタを含む。

暗号化の適用
好ましい実施の形態では、１つ以上の上記ユニット（または同様の特性を持つ他のデータストリームユニット）が暗号化のために選択されてもよく、各ユニットは、（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４と同様に）結合されたストリームとしてではなく、独立して暗号化され得る。各ユニットの暗号化には異なる強度の異なるキー（例えば、キー毎のビット数）を使用してもよく、そして異なる暗号化アルゴリズムを使用してもよい。

暗号化は独自に作品の個別のコピー毎に適用され得（ＤＶＤ−ＲＡＭ等の物理媒体が使用される場合）、その結果、各コピーがそれ独自のキーを有するようにできる。あるいは、暗号化アルゴリズムは、（例えば、左側のマクロブロックの動きベクトルを全てゼロに設定することによって）ストリームの重要部分が暗号化前にそのデータストリームから除去または改変された状態で組み立てられたストリームに適用され得る。それによりバルク（大量）配信用コピーの形を定める。除去または改変された部分は、次いで、各表示サイト毎に別々におよび独自に暗号化されることができ、それによって便利な方法（例えば、衛星伝送、モデム、インターネット等）で個々のサイトへ別々に送信されるカスタム配信用コピーが定められる。この手法は、例えば、作品の大部分がＤＶＤ−ＲＯＭ等の媒体で配信される一方、より小さい重要な圧縮ユニットの独自のコピーが、それら自身に独自のキーと共に独立した受取先へ別々に送信される（例えば、衛星、インターネット、モデム、速達便等で）場合に有用である。カスタム部分が解読され、そして解読されたバルク配信用コピーと再結合されて初めて、作品全体がビデオ信号として復号化できることになる。かかるカスタム情報の帯域幅（サイズ容量）が大きいほど、カスタム暗号化され得る画像部分も大きい。この手法は透かし処理とも併用できる。

このアプローチの変形には、データストリームのユニットのサブセットをカスタム配信用コピーとして暗号化し、残りのユニットは全く暗号化しないというものがある。残りのユニットはバルク形式でカスタム配信用コピーとは別に配信してもよい。カスタム部分が解読され、そして暗号化解除されたバルク配信用コピーと再結合されて初めて、作品全体がビデオ信号として復号化できる。

１つ以上の全体的な暗号化は、ビデオ復号化情報の様々な重要なユニットに対する特別なカスタマイズされた暗号化に連結又は結合され得る。例えば、ビデオデータストリーム全体を「軽く」（例えば、短いキーまたは単純なアルゴリズムを使用して）暗号化する一方、そのデータストリームの特定の鍵を握るユニットをより「重く」（例えば、長いキーまたはより複雑なアルゴリズムを使用して）暗号化してもよい。例えば、一実施の形態では、最も高次の解像度および／または時間レイヤをより重く暗号化して、適正に解読された場合に最も見栄えがよい画像を提供するプレミアム信号の形を作ってもよい。画像の低次のレイヤがかかる暗号化の影響を受けることはない。このアプローチはエンドユーザに対する様々なグレードの信号サービスを可能にするだろう。

各ユニットが互いに独立して暗号化されている場合、圧縮画像ストリーム内の別々のユニットに１つ以上の並行処理解読方法を私用し、解読を並行して実行してもよい。

透かし処理の適用
上で議論した各ユニットおよび同様の特性を有する他のユニットに関して、圧縮ビデオデータストリーム内の様々な個所が様々な方法での透かしを適用するのに適しており、そのような個所には以下が含まれる。
・変換空間もしくは実空間、またはそれらの組み合わせにおいて。
・ＤＣ係数の最下位ビット（ＬＳＢ）において。例えば、ＤＣ係数は余分なビットを有することが可能である（ＭＰＥＧ２では１０および１１ビット、ＭＰＥＧ４では最高１４ビットが許容される）。低位ビットは、画像を視覚的に全く劣化させることなく特定の透かし識別子をコード化できる。更に、明瞭な透かしが全てのフレームにある必要はないので、このような低位ビットはＩフレームだけにあればよいだろう。
・ＡＣ係数のＬＳＢ内のノイズパターンにおいて。
・低振幅のピクチャ全体の低周波数において、フレームから次のフレームへとコード化されて、視覚的に検出できない画像化パターンを形成する。これは例えば、各フレーム上の少数の低信号振幅の文字または数字であり、各文字が非常に大きく柔らかいものであってもよいだろう。例えば、ひとつのピクセルが２進数値の「８４」を有するべきであるところ、透かし処理はその値を代わりに「８３」に設定することが可能で、その透かしはこの位置において「１」の値を有することになる。その差異は本質的に目には不可視だが、圧縮データストリーム内にコードを形成する。かかる画像化パターンは、復号化画像を、乱されていない（透かし処理を施されていない）伸長されたオリジナルから（および圧縮されていないオリジナルソース作品から）減算し、そしてその振幅を大幅に増大することによって検出されることになる。すると、非常に大きくぼんやりとした一連の文字または数字が出現するだろう。
・伝搬しないフレーム（Ｉフレーム、Ｉフレームの前の最後のＰフレーム、およびＢフレーム等）において、極めて可視性が低いマークを使用する。これらのフレームはまた短時間表示されるにすぎない。
・スライス境界において（通常、マクロブロックラインの左端開始部分）

これらの個所における透かしは一般に、ピクセルデータの小変動のパターンが加えられている。これらの変動は、ピクセルの輝度および色彩におけるビット変動の振幅が非常に低いため、および／または、表示の短さのため、目には不可視またはほとんど不可視の画像または記号を形成することがある。例えば、図１２Ａおよび１２Ｂは、異なるタイプの透かしを持つ画像フレーム１２００の図である。図１２Ａは、一隅に単一の記号（「Ｘ」）１２０２を持つフレーム１２００を示す。図１２Ｂは、マーク（この例では点）１２０４のセットを持つフレーム１２００を示し、マーク１２０４はフレーム１２００上で分散している。これらの透かしはデータ比較によってのみ検出でき、透かし信号を発生する。例えば、精密なデコーダは、目には不可視であるが、オリジナル作品のカスタマイズされたコピーに独自の透かし処理を施す、オリジナル作品と透かし処理を施された作品との間の、ＬＳＢ変動を検出できる。

特定の画像や記号は付加しないが、データストリーム中にユニークなパターンを形成する他の透かし処理形式を使用してもよい。例えば、コード化のある決定は、ほとんど不可視であるが、データストリームに透かし処理を施すのに使用され得る。例えば、レート制御の小変動は目には不可視だが、各コピーをマーキングするのに用いて、各コピーが幾つかの位置ではわずかに異なる数のＡＣ係数を有するように使用され得る。その他のかかる決定の例には以下が含まれる：
・Ｉフレーム内のレート制御の変動
・ＰおよびＢフレーム内のレート制御の変動
・ＬＳＢに影響を与える、特定のＡＣ係数の割り当て

同様に、透かしコードを作成するために、最適な動きベクトルとほぼ同等の２番目に最良な動きベクトルを選択してもよい。また、全く同じＳＡＤ（差分絶対和、共通動きベクトルのマッチング基準）が発生し且つ発生する場所で、それらの２番目に最良なものを選択してもよい。必要があれば、その他の非最適（例えば、３番目及び高ランクの）動きベクトルの一致も、視覚的な損傷をほとんど伴うことなく使用できる。かかる２番目選択（およびさらにそれ以上の位）の動きベクトルは、透かしコードを形成するために、時折（例えばフレーム毎に２〜３紺個）コヒーレントのパターンで使用されることが必要となるのみである。

画像の変動は、フレームの周辺部付近（すなわち上部、下部、右縁および左縁付近）では一層見え難い。そのため、画像または記号のタイプの透かしが僅かでも見える恐れがあるなら、その選択した透かしを画像の縁部領域に適用する方がよい。可視性が極めて低い透かし処理方法（２番目に最適な動きベクトルまたはレート制御の変動等）は、画像上の至る所で使用できる。

また、透かし処理は、透かし処理を施したコピー毎に独自の（ユニークな）シリアル番号式のコードとしてコード化できる。従って、オリジナル作品の１０００個のコピーは、１つ以上の上記手法を使用してわずかに異なるように各々透かしが入れられることになる。透かし処理が施されたコピーがそれぞれどこへ出荷されたかを追跡することによって、無許可コピー中に透かしが見つかればどのコピーが無許可複製のソースになったかを決定することが可能である。

透かしの検出
これらの透かし処理方法のほとんどは、その透かしを明らかに見えるようにする（解読する）ために、透かし処理を施した各コピーとの比較用の参照基準として伸張されたオリジナル画像を使用することを要求する。両画像間の差異が透かしを明らかにする。従って、マスターとなる伸張されたソースを安全な場所に保管する必要がある。安全確保が要求されるのは、マスターとなる伸張されたソースのコピーが所有されると、透かし処理方法の多くを駄目にするのに充分な情報が提供されることになるからである。しかしながら、透かし処理比較用マスターの盗難それ自体は検出できる。透かし処理比較用マスターには自動的にそれ自身に完璧にマッチするように「透かし処理」が施されるからである。コピーを撹乱する（すなわち、透かしを見つけて除去する）のに透かし処理比較用マスターが使用された場合、それはマスターを所有していることを示唆する。

低振幅の大きくぼんやりとした記号または画像を透かしとして使用することは、伸張されたマスターソースに対する比較によるだけでなく、圧縮されていないオリジナル作品に対する比較によっても、かかる記号や画像を検出できるという利点を有する。従って、圧縮されていないオリジナル作品を独立した安全な環境に格納することにより、低振幅の透かしはオリジナルの（それ以外には変更されていない）圧縮マスターソース内で使用され得る。このように、オリジナル作品または圧縮／伸張マスターソースのどちらかが窃取されたとしても、透かし比較用の参照基準は残っているだろう。しかしながら、両方を所有することは、両方の透かしを駄目にすることができるであろう。

透かしの脆弱性
透かし処理を用いる際に重要なことは、かかるマークの検出を駄目にしたりまたは撹乱するのに使用され得る方法を理解しておくことである。透かし処理方法には、画像に少量のノイズを加えることによって撹乱されてしまうものもある。これによって画像の品質は多少劣化し、その劣化は視覚的には小さいかもしれない。しかし、透かしの判読を撹乱するには充分である可能性がある。ノイズを加える撹乱に対して脆弱な透かし処理手法は、ＤＣまたはＡＣ係数内のＬＳＢを使用するものを含む。

ノイズを用いて撹乱を起こすことがもっと困難な透かし処理方法もある。ノイズによる撹乱に対して耐性があるものの、依然として容易に検出できる透かし処理手法には、低振幅のピクチャ全体の低周波数の画像変動（画像上にスーパーインポーズされた低振幅の非常にぼんやりとした大きな単語等）、２番目に最適な動きベクトルおよびレート制御の小変動を含む。

従って、透かしの検出を撹乱しようとする単純な方法を駄目にするために、
複数の透かし処理方法を利用することは価値が高い。更に、暗号化を用いることによって、暗号化が傷つけられない限り、透かしを改変できないことを確実にすることができる。そのため、好ましくは、透かし処理はアプリケーションに適した強度の暗号化と併用される。

ツールキットアプローチ
本発明のこのような態様を含む暗号化および透かし処理の様々な概念は、好ましくは、価値の高い音声／映像媒体を保護するというタスクに適用できるツールセットとして具現化される。ツールは、レイヤ化圧縮データストリームの保護システムを作るために、コンテンツ開発者または配信者によって要望に応じて様々に組み合わせ得る。

例えば、図１３は本発明の暗号化手法を適用した１つの方法を示すフローチャートである。暗号化されるユニットが選択される（ステップ１３００）。これは、上記ユニットのいずれ（例えば、分散ユニット、マルチフレームユニット、シングルフレームユニット、もしくはサブフレームユニット）であってもよいし、または同様の特性を持つその他のユニットであってもよい。暗号化アルゴリズムが選択される（ステップ１３０２）。これは上記のように、暗号化セッションを通じて適用される単一のアルゴリズムであってもよいし、またはユニット毎に選択されたものであってもよい。好適なアルゴリズムは周知であり、例えば、ＤＥＳ、トリプルＤＥＳ、ＲＳＡ、ブローフィッシュ他等、秘密と公開キーとの両方のアルゴリズムを含む。次に、１つ以上のキーが生成される（ステップ１３０４）。これはキーの長さおよびキーの値の両方の選択を伴う。再度、これは上記のように、暗号化セッションを通じて適用される単一の選択であってもよいし、または真にユニット毎の選択であってもよい。最後に、選択されたアルゴリズムおよびキーを使用してユニットが暗号化される（ステップ１３０６）。そして次のユニットに対する処理が繰り返される。当然、幾つかのステップ、特にステップ１３００、１３０２および１３０４は、異なる順番で実行されてもよい。

伸張のためには、データストリームを解読するために関連するキーが適用されるであろう。その後、データストリームは上記のように伸張および復号化され、表示可能な画像が生成される。

図１４は本発明の透かし処理手法を適用する１つの方法を示すフローチャートである。透かし処理が施されるユニットが選択される（ステップ１４００）。これも、上記ユニットのいずれ（例えば、分散ユニット、マルチフレームユニット、シングルフレームユニット、もしくはサブフレームユニット）であってもよいし、または同様の特性を持つその他のユニットであってもよい。そして、ノイズに耐性のある方法およびノイズに耐性のない方法等、１つ以上の透かし処理手法が選択される（ステップ１４０２）。これは、透かし処理セッションを通じて適用される１つの選択であってもよいし、または真にユニット（もしくは、異なるタイプのユニットに２つ以上の透かし処理手法が適用される場合、ユニットの分類）毎の選択であってもよい。最後に、選択した手法を使用して選択したユニットに透かし処理を施す（ステップ１４０４）。そして次のユニットに対して処理を繰り返す。当然、幾つかのステップ、特にステップ１４００および１４０２は、異なる順番で実行されてもよい。

キー管理
暗号化／解読キーは、より安全なまたは同期化されたキーを構成するために、様々な情報のアイテムと結び付けられ得る。例えば、公開または秘密の暗号化および解読キーは、以下の構成要素のいずれかを含むように生成しても、あるいはそれらから導き出してもよい。
・過去のキー。
・宛先の装置（例えば、安全なシリアル番号を持つ映画館のプロジェクタ）のシリアル番号。
・日付または時間の範囲（安全な時計を使用）、キーが特定時間しか作用しないようにする（例えば、週の特定曜日のみ、１週間等の相対的な期間のみ）。例えば、暗号化システムは、時間ソースとしてデコーダ内での安全なＧＰＳ（全地球測位衛星）の使用を計画してもよい。解読処理装置はその安全な時間ソースへアクセスする必要があるだけで、画像ファイルまたはストリームを解読できる。
・解読処理装置の位置。ＧＰＳ能力によってかなり正確なリアルタイム位置情報をキーに組み込むことが可能になる。また、既知の宛先の静的インターネットプロトコル（ＩＰ）アドレスも使用可能である。
・各映画館から（手動または自動で）報告される、作品の過去の上映回数の会計記録。
・特定の認証者（例えば、映画館の管理者）の「ＰＩＮ」（個人識別番号）。
・物理的なカスタマイズ暗号化された映画（例えばＤＶＤの映画であり、そこでは各映画は特定の映画館に対してユニークにキー登録がなされる）を用いて、その意図されているサイトでキー保有者による暗号化された映画のそのものの所有をもって、後続映画のキー認証の形式とすることが可能である。例えば、映画の一部を再生し遠隔地のキー発生サイトへその部分を伝送することを、キー認証プロトコルの一部にすることが可能である。更に、配信用コピーがハードディスクまたはＤＶＤ−ＲＡＭ等の消去可能な媒体に格納されている場合、キー要素として暗号化された映画データを使用することが安全な媒体消去キーと結び付けられ得る。このようにして、新しい映画を取得するためのキー処理の一部として過去の映画は消去される。
・また、キーは、特定の上映回数またはその他の自然数の使用単位に対して有効であり、その後は新しいキーを要求するようにできる。

解読用キーの配信を管理する様々な方法が適用できる。様々なキー管理戦術が各使用方式および各データ配信方式（ネットワークデータ転送、衛星、または物理的なディスクもしくはテープ媒体のいずれか）に適用できる。キー配信および管理手続きの例を以下に示す。
・キーは、媒体（例えばフロッピーディスク（フロッピーは登録商標）、ＣＤＲＯＭ）に格納されて翌日配達で宛先へ物理的に送られ、または電子的にもしくは文書形式で（例えばファクシミリ、電子メール、直結データ伝送、インターネット伝送等によって）伝送することができる。
・公開キーによる方法は、認証された第三者によるキー検証に加えて局所的な独自キーとも併用できる。
・各宛先（例えば映画館）毎にキーの解読および適用規則を予め定義しておくことで、キーそのものを暗号化して電子的に伝送（例えば直結データ伝送、インターネット伝送、電子メール、他によって）してもよい。
・新しいキーを取得または利用する条件として現行キーの所有を要件にしてもよい。現行キー値は上記の好適などの手段でキー管理サイトへ伝送してもよく、新しいキーは上記の手段の１つで返送できる。
・解読キーの使用は、解読の全ケースでキーの適用を検証または認証するキー管理サイトとの「キー握手」を要求してもよい。例えば、解読キーは、キー管理サイトによって維持される追加記号、その特定の記号は使用の度に変化するのだが、と結合する必要があってもよい。キー握手の使用は、上映毎、もしくは使用時間の長さ毎、またはその他の自然数値の単位毎に使用可能である。かかる使用は自然数単位の課金であってもよいので、キー管理は、使用回数または使用時間をログ記録してキー保持者に対して適切に課金（例えば、映画館に対する上映毎のレンタル料金）する課金システムと一体化することもできる。例えば、キー管理および使用ログ記録の両方を、認証された各上映または使用時間、に対する課金を同時に扱えるキー認証サーバシステムに結び付けることができる。

あるキーは、オンサイトで認証されるキーに対する事前認証されたキーであってもよい。事前認証キーは、一般に、キー管理サイトによって一度に１つずつ発行されるだろう。オンサイトキー認証では、キー管理サイトが映画館に対してキーのセットを発行し、それにより現場の管理者が、観客の要望に対応するために、当初予測したよりも人気が出た映画の追加的解読（すなわち上映）の権限を与えることを可能にしてもよい。かかるキーを使用する場合、課金目的で、追加上映についてキー管理サイトへ信号を（例えば、インターネットを介して送信する電子メールもしくはデータ記録により、またはモデムにより）送るようにシステムが設計されているのが好ましい。

結論
新規であると考えられる本発明の様々な態様は、限定されることなく、以下の概念を含む。
・レイヤ化圧縮に適用する暗号化
・レイヤ化圧縮に適用する透かし処理
・レイヤ化されたシステムの各レイヤに適用され、各独立レイヤのロック解除のための異なるキー、認証、またはアルゴリズムを要求するユニークな暗号化
・各レイヤに適用され、（シリアル番号等の方法を使用して）特定レイヤを識別するためのユニークな透かし処理
・暗号化または透かし処理に圧縮画像ストリームのサブフレームユニットを利用すること
・特定種類の透かしの検出を撹乱しようとする方法から保護するため、複数の透かし処理方法を同時に利用すること
・複数の暗号化方法および強度を同時に利用。それにより、単一レイヤまたはレイヤ構造の圧縮画像ストリーム内の様々なユニットを復号化するため、複数の独立した解読システムを要求すること
・圧縮画像ストリーム内の様々なユニットに対して１つ以上の解読方法を同時に用いて並行に解読すること
・課金システムへキーを結び付けること
・特定の媒体および／または特定の目標位置もしくはシリアル番号へ暗号化を結び付けること
・安全な時計および使用日の範囲に暗号化を結び付けること
・安全な使用カウンタによる特定の使用回数へ暗号化を結び付けること
・新しい映画またはキーを取得するためのキーとして映画そのものを使用すること
・新しい映画を取得するためのキーとして使用される時、または認証された使用期間が終了する時に、物理媒体から映画データを消去すること
・フレキシブルなキーツールキットのアプローチを用い、フレキシビリティ、使用利便性、および安全性を改良するために、キーの使用方法を継続的にリファインすること
・透かし処理手法として２番目に最適な（または３番目等の最適な）の動きベクトルを使用すること
・透かし処理手法としてレート制御の小変動を使用すること（Ｉ、Ｂ、および／またはＰタイプフレームの任意の組合せ、ならびにそれらに相当する動き補償ウェーブレットに適用）
・透かし処理手法としてＤＣおよび／またはＡＣ係数における低位ビットの変動を使用すること（Ｉ、Ｂ、および／またはＰタイプフレーム、ならびにそれらに相当するものに適用）
・各コピーへユニークに透かし処理を施すために、圧縮時に画像の各コピーへユニークに加えられる低振幅のぼんやりとした文字または数字を使用すること
・画像ストリームの大きな部分に影響を与えるビットストリームの部分に暗号化を適用すること（暗号化に高影響）
・作品の大部分に全体的な暗号化を適用し、選択されたユニットにカスタマイズされた暗号化を適用すること
・データストリームのわずかな部分を暗号化し、これらをポイントツーポイントの方法で各特定の位置へ送信すること（シリアル番号、キー、職員コード、ＩＰアドレス、およびその特定の位置におけるその他のユニークな識別子へ結び付けることを含む）
・可視性を最小化するために、その他のフレームへの影響が低いビットストリームの部分に透かし処理を適用すること
・視覚的影響を最小化するために、画像の縁部領域（上部、下部、左縁および右縁付近）に対して潜在的に可視の透かし（低振幅の文字および数字、またはＤＣもしくはＡＣ係数内のＬＳＢ等）を使用すること
・左コラム（スライス開始）動きベクトル、Ｉフレーム内のＤＣおよびＡＣ係数、予測モードビット、制御コード等、独立して暗号化するためにサブフレームユニットの影響点を抽出すること

コンピュータ実装
本発明は、ハードウェア（例えば集積回路）もしくはソフトウェア、または両者の組み合わせで実施可能である。しかしながら、本発明は、少なくとも処理装置、データ記憶システム（揮発性および不揮発性メモリ、ならびに／または記憶素子を含む）、入力装置、および出力装置を含む、１つ以上のプログラム可能なコンピュータ上で実行されるコンピュータプログラムにおいて実施されるのが好ましい。プログラムコードを入力データに適用することにより、本明細書に記載する機能を実行するとともに出力情報を生成する。出力情報は既知の方法で１つ以上の出力装置に適用される。

かかるプログラムの各々は、任意の所望のコンピュータ言語（機械語、アセンブリ語、または高レベル命令型語、論理語、もしくはオブジェクト指向プログラミング言語を含む）で実装して、コンピュータシステムと通信させてもよい。いずれの場合も、言語はコンパイル言語でも翻訳言語でもよい。

かかるコンピュータプログラムの各々は、汎用または専用のプログラムマブルコンピュータシステムによって可読な記憶媒体または装置（例えば、ＲＯＭ、ＣＤ−ＲＯＭ、または磁気もしくは光学媒体）に格納され、その記憶媒体または装置がコンピュータシステムによって読み込まれるとコンピュータを環境設定および動作させて、本明細書に記載の手順を遂行するのが好ましい。本発明のシステムはまた、コンピュータプログラムと共に構成されたコンピュータ可読記憶媒体としての実装されるものと考えられ、そのように構成した記憶媒体によってコンピュータシステムを特定の予め定義された方法で動作させ、本明細書に記載の機能を遂行してもよい。

本発明の幾つかの実施の形態を説明してきたが、本発明の精神および範囲を逸脱することなく、種々の変更が可能であることは言うまでもない。例えば、好ましい実施の形態はＭＰＥＧ−２コード化および復号化を用いるが、本発明はＩ、Ｂ、およびＰフレームと均等なものならびにレイヤを提供するいかなる同様の規格でも作動するであろう。そのため、本発明は説明した特定の実施の形態に限定されるものではなく、専ら添付の特許請求範囲により限定されるものであることが理解されよう。

２４ｆｐｓおよび３６ｆｐｓの素材を６０Ｈｚで表示するためのプルダウンレートを示すタイミング図である。 第１の好ましいＭＰＥＧ−２コード化パターンを示す。 第２の好ましいＭＰＥＧ−２コード化パターンを示す。 本発明の好ましい実施の形態による時間レイヤ復号化を示すブロック図である。 ３６Ｈｚおよび７２Ｈｚの両方のフレームを出力できるコンバータへの６０Ｈｚインターレース入力を示すブロック図である。 ２４または３６Ｈｚにおける基本ＭＰＥＧ−２レイヤのための「マスターテンプレート」を示す図である。 ＭＰＥＧ−２を利用する階層的な解像度スケーラビリティを用いる基本解像度テンプレートの拡張を示す図である。 好ましいレイヤ化解像度符号化処理を示す図である。 好ましいレイヤ化解像度復号化処理を示す図である。 本発明によるデコーダに対する解像度および時間的スケーラブルのオプションの組合せを示すブロック図である。 暗号化および透かし処理が及ぶ範囲をユニット従属性の関数として表す図である。 あるタイプの透かしを持つ画像フレームの図である。 異なるタイプの透かしを持つ画像フレームの図である。 本発明の暗号化手法を適用する１つの方法を示すフローチャートである。 本発明の透かし処理手法を適用する１つの方法を示すフローチャートである。

符号の説明

５０…ＭＰＥＧ−２デコーダ、５２…第２のデコーダ、６０…カメラ、６２…他のソース、６４…コンバータ、１２００…フレーム、１２０２…記号、１２０４…マーク。

Claims (48)

1. 基本レイヤおよび少なくとも１つの拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施す方法であって、
   （ａ）少なくとも１つの透かし処理手法を選択するステップと、
   （ｂ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択するステップと、
   （ｃ）前記少なくとも１つの選択された透かし処理手法を適用して、前記選択されたユニットの各々を透かし処理が施されるユニットとして透かし処理を施すステップと、
   （ｄ）前記少なくとも１つの選択された透かし処理手法を適用して、前記ビデオ情報のデータストリームのコピーを同データストリームのソースまで遡って追跡するために同データストリームに追跡データを追加するステップと、
   を含む方法。
2. コンピュータに、前記透かしの可視性を最小化させるために、透かし処理を施すべきユニットであって透かし処理が施されないユニットへの影響が低いユニットを選択させる命令を含む請求項１に記載の方法。
3. 前記少なくとも１つの選択されたユニットがマルチフレームユニットである請求項１に記載方法。
4. 前記少なくとも１つの選択されたユニットがフレームユニットである請求項１に記載の方法。
5. 前記少なくとも１つの選択されたユニットがサブフレームユニットである請求項１に記載の方法。
6. 前記少なくとも１つの選択されたユニットが分散ユニットである請求項１に記載の方法。
7. 前記ビデオ情報のデータストリームは表示可能なフレームを含み、更に、コンピュータに、前記透かしの可視性を最小化させるために、前記選択された透かし処理手法を適用させて前記表示可能なフレームの各々の周辺部へ透かしを加えさせる命令を含む請求項１に記載の方法。
8. 基本レイヤおよび少なくとも１つの拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施す方法であって、
   （ａ）少なくとも１つの透かし処理手法を選択するステップと、
   （ｂ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択するステップと、
   （ｃ）前記少なくとも１つの選択された透かし処理手法を適用して、前記選択されたユニットの各々を透かし処理が施されるユニットとして透かし処理を施すステップと、
   （ｄ）第１のユニークな選択された透かし処理手法を前記基本レイヤから選択されたユニットに適用し、且つ、第２のユニークな選択された透かし処理手法を前記少なくとも１つの拡張レイヤから選択されたユニットに適用するステップと、
   を含む方法。
9. 前記少なくとも１つの透かし処理手法がノイズ耐性のある透かし処理手法である請求項１に記載の方法。
10. 前記少なくとも１つの透かし処理手法が、前記ビデオ情報のデータストリームの各々に対しユニークな識別記号またはコードを適用する請求項１に記載の方法。
11. 前記少なくとも１つの透かし処理手法が、前記ビデオ情報のデータストリームのレイヤの各々に対しユニークな識別記号またはコードを適用する請求項１に記載の方法。
12. １つの透かし処理手法が非最適動きベクトルを透かしとして使用する請求項１に記載の方法。
13. １つの透かし処理手法がレート制御の小変動を透かしとして使用する請求項１に記載の方法。
14. １つの透かし処理手法が前記データストリームのＤＣ係数またはＡＣ係数における低位ビットの変動を透かしとして使用する請求項１に記載の方法。
15. １つの透かし処理手法が、圧縮時に前記ビデオ情報のデータストリームへユニークに加えられる低振幅のぼんやりとした記号を使用して同データストリームへユニークに透かし処理を施す請求項１に記載の方法。
16. 請求項１に記載の方法であって、更に、
    （ｄ）少なくとも１つの暗号化アルゴリズムを選択するステップと、
    （ｅ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの暗号化すべきユニットを選択するステップと、
    （ｆ）前記少なくとも１つの選択された暗号化アルゴリズムを適用して、前記選択されたユニットの各々を暗号化されたユニットへと暗号化するステップと、
    を含む方法。
17. 基本レイヤおよび少なくとも１つの拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施すシステムであって、
    （ａ）少なくとも１つの透かし処理手法を選択する手段と、
    （ｂ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択する手段と、
    （ｃ）前記少なくとも１つの選択された透かし処理手法を適用して、前記選択されたユニットの各々を透かし処理が施されるユニットとして透かし処理を施す手段と、
    （ｄ）前記少なくとも１つの選択された透かし処理手法を適用して、前記ビデオ情報のデータストリームのコピーを同データストリームのソースまで遡って追跡するために同データストリームに追跡データを追加する手段と、
    を含むシステム。
18. 前記透かしの可視性を最小化させるために、透かし処理を施すべきユニットであって透かし処理が施されないユニットへの影響が低いユニットを選択する手段を更に含む請求項１７のシステム。
19. 前記少なくとも１つの選択されたユニットがマルチフレームユニットである請求項１７のシステム。
20. 前記少なくとも１つの選択されたユニットがフレームユニットである請求項１７のシステム。
21. 前記少なくとも１つの選択されたユニットがサブフレームユニットである請求項１７のシステム。
22. 前記少なくとも１つの選択されたユニットが分散ユニットである請求項１７のシステム。
23. 前記ビデオ情報の前記データストリームは表示可能なフレームを含み、更に、前記透かしの可視性を最小化するために、前記選択された透かし処理手法を適用して前記表示可能なフレームの各々の周辺部へ透かしを加える手段、を更に含む請求項１７のシステム。
24. 基本レイヤおよび少なくとも１つの拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施すシステムであって、
    （ａ）少なくとも１つの透かし処理手法を選択する手段と、
    （ｂ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択する手段と、
    （ｃ）前記少なくとも１つの選択された透かし処理手法を適用して、前記選択されたユニットの各々を透かし処理が施されるユニットとして透かし処理を施す手段と、
    （ｄ）第１のユニークな選択された透かし処理手法を前記基本レイヤから選択されたユニットに適用し、且つ、第２のユニークな選択された透かし処理手法を前記少なくとも１つの拡張レイヤから選択されたユニットに適用する手段と、
    を含むシステム。
25. 前記少なくとも１つの透かし処理手法が、ノイズ耐性のある透かし処理手法である請求項１７に記載のシステム。
26. 前記少なくとも１つの透かし処理手法が、前記ビデオ情報のデータストリームの各々に対しユニークな識別記号またはコードを適用する請求項１７に記載のシステム。
27. 前記少なくとも１つの透かし処理手法が、前記ビデオ情報のデータストリームのレイヤの各々に対しユニークな識別記号またはコードを適用する請求項１７に記載のシステム。
28. １つの透かし処理手法が非最適動きベクトルを透かしとして使用する請求項１７に記載のシステム。
29. １つの透かし処理手法がレート制御の小変動を透かしとして使用する請求項１７に記載のシステム。
30. １つの透かし処理手法が前記データストリームのＤＣ係数またはＡＣ係数における低位ビットの変動を透かしとして使用する請求項１７に記載のシステム。
31. １つの透かし処理手法が、圧縮時に前記ビデオ情報のデータストリームへユニークに加えられる低振幅のぼんやりとした記号を使用して同データストリームへユニークに透かし処理を施す請求項１７に記載のシステム。
32. 請求項１７に記載のシステムであって、更に、
    （ｄ）少なくとも１つの暗号化アルゴリズムを選択する手段と、
    （ｅ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの暗号化すべきユニットを選択する手段と、
    （ｆ）前記少なくとも１つの選択された暗号化アルゴリズムを適用して、前記選択されたユニットの各々を暗号化されたユニットへと暗号化する手段と、
    を含むシステム。
33. コンピュータ可読媒体に格納され、基本レイヤおよび少なくとも１つの拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施すコンピュータプログラムであって、コンピュータに、
    （ａ）少なくとも１つの透かし処理手法を選択させ、
    （ｂ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択させ、
    （ｃ）前記少なくとも１つの選択された透かし処理手法を適用させて、前記選択されたユニットの各々を透かし処理が施されるユニットとして透かし処理を施させ、
    （ｄ）前記少なくとも１つの選択された透かし処理手法を適用させて、前記ビデオ情報のデータストリームのコピーを同データストリームのソースまで遡って追跡するために同データストリームに追跡データを追加させる、
    命令を含むコンピュータプログラム。
34. 前記コンピュータに、前記透かしの可視性を最小化させるために、透かし処理を施すべきユニットであって透かし処理が施されないユニットへの影響が低いユニットを選択させる命令を更に含む請求項３３に記載のコンピュータプログラム。
35. 前記少なくとも１つの選択されたユニットがマルチフレームユニットである請求項３３に記載のコンピュータプログラム。
36. 前記少なくとも１つの選択されたユニットがフレームユニットである請求項３３に記載のコンピュータプログラム。
37. 前記少なくとも１つの選択されたユニットがサブフレームユニットである請求項３３に記載のコンピュータプログラム。
38. 前記少なくとも１つの選択されたユニットが分散ユニットである請求項３３に記載のコンピュータプログラム。
39. 前記ビデオ情報のデータストリームは表示可能なフレームを含み、更に、前記コンピュータに、前記透かしの可視性を最小化させるために、前記選択された透かし処理手法を適用させて前記表示可能なフレームの各々の周辺部へ透かしを加えさせる命令を含む請求項３３に記載のコンピュータプログラム。
40. コンピュータ可読媒体に格納され、基本レイヤおよび少なくとも１つの拡張レイヤへ符号化および圧縮されたビデオ情報のデータストリームに透かし処理を施すコンピュータプログラムであって、コンピュータに、
    （ａ）少なくとも１つの透かし処理手法を選択させ、
    （ｂ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの透かし処理を施すべきユニットを選択させ、
    （ｃ）前記少なくとも１つの選択された透かし処理手法を適用させて、前記選択されたユニットの各々を透かし処理が施されるユニットとして透かし処理を施させ、
    （ｄ）第１のユニークな選択された透かし処理手法を前記基本レイヤから選択されたユニットに適用させ、且つ、第２のユニークな選択された透かし処理手法を前記少なくとも１つの拡張レイヤから選択されたユニットに適用させる、
    命令を含むコンピュータプログラム。
41. 前記少なくとも１つの透かし処理手法がノイズ耐性のある透かし処理手法である請求項３３に記載のコンピュータプログラム。
42. 前記少なくとも１つの透かし処理手法が前記ビデオ情報のデータストリームの各々に対しユニークな識別記号またはコードを適用する請求項３３に記載のコンピュータプログラム。
43. 前記少なくとも１つの透かし処理手法が、前記ビデオ情報のデータストリームのレイヤの各々に対しユニークな識別記号またはコードを適用する請求項３３に記載のコンピュータプログラム。
44. １つの透かし処理手法が非最適動きベクトルを透かしとして使用する請求項３３に記載のコンピュータプログラム。
45. １つの透かし処理手法がレート制御の小変動を透かしとして使用する請求項３３に記載のコンピュータプログラム。
46. １つの透かし処理手法が前記データストリームのＤＣ係数またはＡＣ係数における低位ビットの変動を透かしとして使用する請求項３３に記載のコンピュータプログラム。
47. １つの透かし処理手法が、圧縮時に前記ビデオ情報のデータストリームへユニークに加えられる低振幅のぼんやりとした記号を使用して同データストリームへユニークに透かし処理を施す請求項３３に記載のコンピュータプログラム。
48. 請求項３３に記載のコンピュータプログラムであって、コンピュータに、更に、
    （ｄ）少なくとも１つの暗号化アルゴリズムを選択させ、
    （ｅ）前記基本レイヤまたは前記少なくとも１つの拡張レイヤのうちの少なくとも１つの暗号化すべきユニットを選択させ、
    （ｆ）前記少なくとも１つの選択された暗号化アルゴリズムを適用させて、前記選択されたユニットの各々を暗号化されたユニットへと暗号化させる、
    命令を含むコンピュータプログラム。

Images