JP2000513167A - ディジタルビデオ信号内に補足データを埋め込む方法及び装置 - Google Patents

Abstract

(57)【要約】 ＭＰＥＧ符号化ビデオ信号内に透かしを埋め込む方法。ＭＰＥＧ符号化ビデオ信号はピクチャのグループ（ＧＯＰ）を含み、各ＧＯＰは１つのフレーム内符号化（Ｉ）ピクチャと一連の予測符号化（Ｐ）ピクチャ及び両方向予測符号化（Ｂ）ピクチャを具える。通常、ＩＢＢＰＢＢＰ．．．のＧＯＰ構造が使用される。本発明では，通常発生しないＧＯＰ構造、例えばＢＰＰ系列を含むＧＯＰをＭＰＥＧエンコーダにより発生させることによりビデオ信号に透かしを付与する。ＧＯＰ内のＢＰＰ系列の異なる位置に異なるシンボル値を割り当てることができる。

Description

【発明の詳細な説明】 ディジタルビデオ信号内に補足データを埋め込む方法及び装置発明の技術分野 本発明はディジタルビデオ信号内に補足データを埋め込む方法及び装置に関す るものである。本発明は埋め込まれた補足データを復号する装置にも関するもの である。発明の背景 ビデオ及びオーディオ信号がディジタル的に符号化された形で、例えばＭＰＥ Ｇビットストリームの形でどんどん伝送されている。この信号内に補足データ、 例えば透かしを埋め込んで信号を真正プログラム素材として分類する必要が増大 している。透かし用ディジタル信号は特にコピー保護の用途に有用である。透か し情報は、実際には、当該信号がコピー保護材料を構成することを示す単一ビッ トの形態又は当該材料の出所を表す多ビットコードの形態を取ることができる。 オーディオ及びビデオ圧縮用の既知のＭＰＥＧ標準において、この目的のため のコピー保護ビットが規定されている。しかし、この既知の方法は保護ビットを 著作権保護機構をすり抜けるように容易に変更することができる欠点がある。本発明の目的及び概要 本発明の目的は、ビデオ信号内に透かしを、容易に検出しうるが容易に除去す ることはできないように埋め込む方法及び装置を提供することにある。 この目的のために、本発明は、ビデオ信号を1つのフレーム内符号化（Ｉ）ピク チャと一連の予測符号化（Ｐ）ピクチャ及び両方向予測符号化（Ｂ）ピクチャを 具えるピクチャのグループに符号化するステップを具える、ビデオ信号内に補足 データを埋め込む方法において、ビデオ信号を、ピクチャのグループ（ＧＯＰ） 内のピクチャ符号化タイプのパターンが補足データ値を表すように符号化するこ とを特徴とする。 本発明によれば、透かしを容易に検出することができる。ピクチャ符号化タイ プはＥＭＥＧビットストリームのピクチャヘッダ内に収納され、容易に読み出す ことができる。しかし、透かしを除去するためにピクチャヘッダ内のピクチャ符 号化タイプを変化させると、ピクチャデータは最早符号化標準に従わなくなる。 ＭＰＥＧビットストリームを最早標準デコーダにより復号することはできない。 関連するピクチャを、例えば復号した後に再び符号化することにより、新しいピ クチャ符号化タイプに従うようにトランスコードする必要がある。 ＭＰＥＧ信号内にＩ，Ｐ及びＢピクチャの予め決められた系列を発生させてデ ィジタルビデオ信号にマークを付与する一般的アイディアは本出願人の国際特許 出願ＷＯ９７／１３２４８にも提案されている。しかし、この出願は本出願の優 先日後に公開されたもであり、またこれにはピクチャのグループ（ＧＯＰ）内の ピクチャ符号化タイプのパターンにより補足データ値を表すことは開示されてい ない。 補足データ値はＧＯＰ内のＢ及びＰピクチャ符号化タイプの所定のパターン、 例えばＧＯＰ内のＢＰＰパターンの位置により表すのが好ましい。これにより、 ピクチャ符号化タイプの変化はそれが参照するＧＯＰ内の他のピクチャも変化し 、従ってその変化がＧＯＰの残部にも波及することになる。この場合、透かしを 除去するためには、ＧＯＰ内の１つのピクチャではなくかなりの数のピクチャを トランスコードする必要がある。一つの例外として，ＰピクチャをＩピクチャに トランスコードし、他のピクチャはトランスコードする必要がないようにするこ とができる。しかし、この場合にはＩピクチャをＰピクチャに使用される少数の ビットで符号化する必要がある。これはＩピクチャ並びにこのＩピクチャに関連 するＰピクチャの画質を低下する。従って、透かしはＧＯＰから、ＧＯＰの残部 をトランスコードしないで、又はＧＯＰの残部の画質を大きく低下しないで除去 することはできない。図面の簡単な説明 図１-４は本発明による補足データ埋め込み方法を説明するためのＭＰＥＧ符 号化ビデオ信号のＧＯＰ構造の例を示し、 図５はＧＯＰ内のＢＰＰパターンのそれぞれの位置に異なる補足データ値を割 り当てた一例を示し、 図６は本発明によるＭＰＥＧビデオ信号内に補足データを埋め込む装置の回路 図を示し、 図７は図６に示す制御回路の動作を示すフローチャートを示し、 図８は本発明によるＭＰＥＧ符号化ビデオ信号内に埋め込まれた補足データを 復号する装置の回路図を示す。実施例の説明 最初に、本発明による透かし付与方法に必須のＭＰＥＧの基本原理を簡単に説 明する。 効率的なビデオ圧縮を達成するために、ＭＰＥＧエンコーダは画像を３種類の 符号化方法のどれか一つで符号化する。いくつかの画像は独立に符号化される、 即ちビデオシーケンスの他の画像を参照することなく符号化される。これらの画 像はフレーム内符号化ピクチャ又はＩピクチャという。他の画像は動き補償され た前画像を参照（予測）画像として用いて予測符号化される。これらの画像はＰ ピクチャという。Ｐピクチャが参照する前画像はＩピクチャ又は他のＰピクチャ とすることができる。更に他の画像は両方向予測符号化される。これらの画像は 前後のＩ又はＰピクチャを参照し、Ｂピクチャという。一般に、１画像を表すの に必要とされるビット量はＩピクチャが最大で、Ｐピクチャがそれよりかなり少 なく、Ｂピクチャが最少である。圧縮量及び復号ビデオシーケンスの品質はエン コーダの動き推定処理の性能に大きく依存する。動き推定はＭＰＥＧエンコーダ の最も複雑な計算集約処理である。この処理が長い間専門家用エンコーダをコス トエフェクティブな消費者用エンコーダよりはるかに優れたものとしている。 ＭＰＥＧエンコーダに、受信画像がＩピクチャなのか、Ｐピクチャなのか、Ｂ ピクチャなのかを通知するために、ＭＰＥＧビデオビットストリームの各ヘッダ 内のパラメータ“ピクチャタイプ”が当該画像がどのように符号化されたか記述 する。ピクチャ符号化タイプがＩの場合には、デコーダは画像をすべて受信画像 データから再構成する。ピクチャ符号化タイプがＰの場合には、デコーダは画像 を受信画像データと既に表示されたＩ又はＰピクチャとから再構成する。ピクチ ャ符号化タイプがＢの場合には、画像は前後のＩ又はＰピクチャに基づいて再構 成される。パラメータ“ピクチャタイプ”は参照画像を暗黙的に指定し、即ちＰ ピクチャは最新のＩ又はＰピクチャを参照すること、Ｂピクチャは最新及び次の Ｉ又はＰピクチャを参照することを指定する。 １つのＩピクチャと連続するＢ及びＰピクチャの列をピクチャのグループ（Ｇ ＯＰ）という。ＭＰＥＧ標準では、エンコーダはＩ，Ｂ及びＰピクチャ符号化タ イプの最適系列を自由に選択してよい。しかし、実際には数種類のＧＯＰ構造が 使用されているにすぎない。・ ＩＰＰＰ・・・が大容量メモリへアクセスし得 ない安価なエンコーダに使用されている。 ・ ＩＢＰＢＰ・・がもう少し高度のエンコーダに使用されている。 ・ ＩＢＢＰＢＢＰ・・が専門家用エンコーダに一般に使用されている。 現在開発中のＭＰＥＧエンコーダはＧＯＰ構造を上記の慣例の系列とほぼ同程 度に最適化するものであり、通常ハードシーン変化の発生時にＩピクチャを選択 する。 図１は１２のピクチャ，１，２，．．１２を具えるＧＯＰの一般に使用されて いるＩＢＢＰＢＢＰ・・構造の例を示す。図中の矢印は参照画像を指し示す。例 えば，Ｂピクチャ２及び３はＩピクチャ１とＰピクチャ４を予測画像として用い て符号化されている。Ｂピクチャ５及び６はＰピクチャ４とＰピクチャ７を参照 画像として用いて符号化され、以下同様である。同様に，Ｐピクチャ４はＩピク チャ１を予測画像として用いて符号化されている。Ｐピクチャ７はＰピクチャ４ を予測画像として用いて符号化され、以下同様である。これらのピクチャは表示 順に示されている点に注意されたい。Ｂピクチャを復号するためにはデコーダは 後のＰ又はＩピクチャをその前に使用し得る必要があるため、伝送順序は異なる 。 図１に示すように、一般に使用されているＧＯＰ構造は複数のＢＢＰパターン を含む。ＢＰＰパターンはＧＯＰにめったに使用されない。本発明の好適実施例 では、このパターンを用いて透かしデータを表す。図２はこのようなＢＰＰパタ ーン（ピクチャ５，６及び７）を含むＧＯＰを示す。 ＢＰＰパターンの形態の透かしは容易に検出することができる。その理由は、 ピクチャ符号化タイプがそれぞれのピクチャヘッダに含まれているためである。 しかし、この透かしは単にパラメータ“ピクチャタイプ”を変えることにより除 去することはできない。例えば、図２のピクチャ６のパラメータ“ピクチャタイ プ”を図３に示すようにＰからＢに変えると、エンコーダはＰピクチャ４のみを 予測画像として使用したのに対し、デコーダはこのピクチャ６をＰピクチャ４及 びＰピクチャ７を参照して復号する。ピクチャ７も正しく復号されない。その理 由は、エンコーダはピクチャ６を参照したのに対し、この場合にはデコーダはＰ ピクチャ４を参照するためである。デコーダは正しい復号を行わず、少なくとも 誤った結果を発生すること言うまでもない。 同様に、透かしを図２のピクチャ７のパラメータ“ピクチャタイプ”を図４に 示すようにＰからＢに変えることにより除去すると、エンコーダはＰピクチャ６ のみを参照したのに対し、デコーダはピクチャ７をＰピクチャ６及び１０を参照 して復号する。ピクチャ８，９および１０も正しく復号されない。その理由は、 これらはもともとＰピクチャ７を参照してえら得たものであるがＰピクチャ６を 参照するものに変更されるからである。また、Ｐピクチャ６又はＰピクチャ７の パラメータ“ピクチャタイプ”のどちらもＰからＩに変えることはできない。そ の理由は、その場合には、予測符号化ピクチャが独立符号化ピクチャとして解釈 される（画素差が画素として解釈される）ためである。 従って、透かしを除去するためには、該当ピクチャをトランスコードする、即 ち画素領域に復号した後、その変更されたピクチャ符号化タイプに従って再び符 号化する必要がある。これはハッカーにとってまったく魅力的でない。なぜなら 、前述したように、画質の著しい悪化を受け入れない限り、高品質符号化のため に複雑な動き推定回路が必要となるからである。この点に関し、ピクチャタイプ パラメータが変更されたピクチャのみを再符号化する必要があるだけではない点 に注意されたい。変更されたピクチャを参照するピクチャも再符号化する必要が ある。例えば、図２のピクチャ７を図４に示すようにＰピクチャからＢピクチャ にトランスコードする場合には、Ｂピクチャ８，９及びＰピクチャ１０もそれら の参照ピクチャが変更されているためトランスコードする必要がある。従って、 当該ＰピクチャをＩピクチャにトランスコードしない限り、トランスコーディン グがＧＯＰの残部にも必要になる。しかし、この場合にはＩピクチャをＰピクチ ャに最初に割り当てられたビット数と同数の（比較的少数の）ビット数に圧縮す る必要がある。 ２つの連続するＰピクチャの発生がアクシデントにより希に起こる。このため 、 フォールスアラーム（透かしなし信号内に検出される透かし）の数が制限される 。フォールスアラームの確率を更に減少させるために、２つの透かし付きＧＯＰ 間のＧＯＰの最大量に要件を課すことができる。例えば、透かし付きＧＯＰが十 分小さいインターバルで発生する場合にはビデオストリームは著作権保護された ものとする。 ＧＯＰに透かしを付与する上述のコンセプトは任意の長さのメッセージをＭＰ ＥＧビデオ信号内に埋め込むことができる。この目的のために、種々の補足デー タ値をＧＯＰ内のＢＰＰパターンの種々の位置に割り当てることができる。その 第１の例を図５に示す。本例では、ＢＰＰパターンで始まるＧＯＰ２０はメッセ ージの開始を示す同期コードを表す。１つのＰの後にＢＰＰパターンを有するＧ ＯＰ２１は２進補足データ値“０”を表す。２つのＰの後にＢＰＰパターンを有 するＧＯＰは２進データ値“１”を表す。参照番号２３は埋め込みメッセージ“ ０１１０．．”を有するＭＰＥＧ符号化ビデオ信号セグメントを示す。透かしの 付与は符号化効率に影響を与えるため、各ＧＯＰに補足データ値を付与するわけ ではない（ＧＯＰの大部分は共通のＩＢＢＰＢＢＰ．．構造を有する）点に注意 されたい。補足データ値はｎ番のＧＯＰごとに埋め込み（ｎはあらかじめ決めた 整数）、透かし検出器が関連するＧＯＰを識別するのを助けるとともに、フォー ルスアラームレートを減少させるのが特に有利である。ビデオ信号２３内のＧＯ Ｐは可変長である点にも注意されたい。ＩＧＯＰ内のピクチャ数が可変であるの みならず、１ピクチャ当たりのビット数も画像内容に大きく依存する。 補足データ値のアルファベットは更に拡大することができる。例えば、６つの異 なるメッセージシンボル０−５を次の表1に従ってＧＯＰ構造に割り当てること ができる。 図６はＭＰＥＧビデオ信号内に補足データを埋め込む本発明装置の回路図を示 す。この装置は慣例のＭＰＥＧビデオエンコーダ３０と制御回路40とを具える。 ＭＰＥＧビデオエンコーダ３０を本発明を理解し得る程度にのみ詳細に示す。特 に、エンコーダ３０は符号化すべきビデオ信号ｘを受信し、これから予測信号ｘ を減算する減算器31を具える。その差信号に、（図にひとまとめにして示すブロ ック32において）ディスクリートコサイン変換、量子化及び可変長符号化を施す 。ＭＰＥＧ符号化出力信号ｙは受信機へ伝送され、或いは蓄積媒体（図示せず） に蓄積される。更にこの出力信号は局部デコーダ33により復号され、加算器34を 経て動き推定及び補償回路35に供給される。この動き推定及び補償回路は前方向 予測ピクチャ及び両方向予測ピクチャを供給する。 図６に、３つのＭＰＥＧ符号化モード（Ｉ，Ｐ，Ｂ）が、減算器31に供給する はゼロであり、入力信号ｘは独立に符号化される。Ｐ端子が選択されると、前方 向予測ピクチャが減算器に供給される。Ｂ端子が選択されると、両方向予測ピク び補償回路35にも帰還される。 現符号化モード（Ｉ，Ｐ，Ｂ）は制御回路40により制御され、この制御回路は 埋め込むべき受信透かしメッセージｗに従ってピクチャ符号化タイプ信号ＰＴに よりスイッチ36を制御する。図７は前記制御回路の動作を表すフローチャートを 示す。本例では、透かしシンボルｗｉ（ｗｉ＝０．．５）を前記の表1に従って 、 ８番目のＧＯＰごとに埋め込むものとする。ステップ５０において、現ＧＯＰが ８番目のＧＯＰか決定する。そうでない場合には、ステップ51において制御信号 ＰＴ＝ＩＢＢＰＢＢＰ．．が発生される。これに応答してＭＰＥＧエンコーダが 慣例のＧＯＰ構造を発生する。しかし、８番目のＧＯＰごとに、ステップ52にお いて埋め込むべき透かしメッセージの次の透かしシンボルｗｉが読み込まれる。 このとき前記シンボルに割り当てられたＧＯＰ構造が表1を記憶するメモリ内で ルックアップされ、ステップ53において対応する制御信号ＰＴ＝Ｉ．．ＢＰＰ． ．が発生される。 図８は本発明に従ってＭＰＥＧ符号化ビデオ信号内に埋め込まれた補足データ を復号する装置の回路図を示す。この装置はＧＯＰ検出器６１と、ピクチャヘッ ダ検出器６２と、窓発生器６３と、ゲート６４と、シフトレジスタ６５と、ルッ クアップテーブル６６とを具える。ピクチャヘッダ検出器６２はＭＰＥＧ信号内 の所定の32ビットのピクチャスタートコード（16進数値00000100）の存在を検出 し、ピクチャヘッダ信号ＰＨＤＲを窓発生器63に供給する。窓発生器63はこの信 号に応答してタイミング窓Ｗを発生する。窓ＷはＭＰＥＧパラメータ“ピクチャ 符号化タイプ”が受信される度にゲート64を開き、前記パラメータをシフトレジ スタ65に書き込ませる。このパラメータは、現ピクチャがフレーム内符号化ピク チャ（Ｉ）なのか、予測符号化ピクチャ（Ｐ）なのか、両方向予測符号化ピクチ ャ（Ｂ）なのかを示す。ＧＯＰ検出器６１はＭＰＥＧ信号内に存在するＧＯＰの 開始を示す他の所定の32ビットのグループスタートコード（16進数値０００００ １Ｂ８）を検出する。このスタートコードの検出に応答して、この検出器はルッ クアップテーブルを６６を駆動し、シフトレジスタ65内のピクチャ符号化タイプ ＰＴＲＮの現パターンを補足データ値ｗｉに変換させる。更に，ＧＯＰ検出器は シフトレジスタ65をリセットし、次のＧＯＰに対するピクチャ符号化タイプのパ ターンの収集を開始させる。 要するに、ＭＰＥＧ符号化ビデオ信号内に透かしを埋め込む方法を開示した。 ＭＰＥＧ符号化ビデオ信号はピクチャのグループ（ＧＯＰ）を含み、各ＧＯＰは １つのフレーム内符号化（Ｐ）ピクチャと一連の予測符号化（Ｐ）ピクチャ及び 両方向予測符号化（Ｂ）ピクチャを含んでいる。通常、ＩＢＢＰＢＢＰ．．．の ＧＯＰ構造が使用される。本発明では、通常発生しないＧＯＰ、例えばＢＰＰ系 列を含むＧＯＰをＭＰＥＧエンコーダにより発生させることによりビデオ信号に 透かしを付与する。異なるシンボル値をＧＯＰ内のＢＰＰ系列の異なる位置に割 り当てることができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＡＵ，ＢＲ，ＣＮ，Ｊ Ｐ，ＫＲ，ＵＳ (72)発明者 リンナルツ ヨハン ポール マリー ヘ ラルド オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６

Claims (1)

1. 【特許請求の範囲】 １．ビデオ信号を１つのフレーム内符号化（Ｉ）ピクチャと一連の予測符号化 （Ｐ）ピクチャ及び両方向予測符号化（Ｂ）ピクチャを含むピクチャのグルー プ（ＧＯＰ）に符号化するステップを具える、ビデオ信号内に補足データを埋 め込む方法において、ビデオ信号を、ＧＯＰ内のピクチャ符号化タイプ（Ｉ， Ｐ，Ｂ）のパターンが補足データ値を表すように符号化することを特徴とする 補足データ埋め込み方法。 ２．補足データ値はＧＯＰ内のＢＰＰパターンの位置により表すことを特徴とす る請求項1記載の方法。 ３．ビデオ信号を１つのフレーム内符号化（Ｉ）ピクチャと一連の予測符号化 （Ｐ）ピクチャ及び両方向予測符号化（Ｂ）ピクチャを含むピクチャのグルー プ（ＧＯＰ）に符号化する手段（３０）を具える、ビデオ信号内に補足データ を埋め込む装置において、ビデオ信号を、ＧＯＰ内のピクチャ符号化タイプ（ Ｉ，Ｐ，Ｂ）のパターンが補足データ値を表すように符号化する手段（４０） を具えることを特徴とする補足データ埋め込み装置。 ４．補足データ値はＧＯＰ内のＢＰＰパターンの位置により表すことを特徴とす る請求項３記載の装置。 ５．１つのフレーム内符号化（Ｉ）ピクチャと一連の予測符号化（Ｐ）ピクチャ 及び両方向予測符号化（Ｂ）ピクチャを含むピクチャのグループ（ＧＯＰ）に 符号化されたビデオ信号に埋め込まれた補足データを復号する方法において、 ＧＯＰ内のピクチャ符号化タイプを読み取り、前記ＧＯＰ内のピクチャ符号化 タイプのパターンにより表される補足データ値を決定するステップを具えるこ とを特徴とする埋め込み補足データ復号方法。 ６．補足データ値はＧＯＰ内のＢＰＰパターンの位置により表されていることを 特徴とする請求項5記載の方法。 ７．１つのフレーム内符号化（Ｉ）ピクチャと一連の予測符号化（Ｐ）ピクチャ 及び両方向予測符号化（Ｂ）ピクチャを含むピクチャのグループ（ＧＯＰ）に 符号化されたビデオ信号に埋め込まれた補足データを復号する装置において、 ＧＯＰ内のピクチャ符号化タイプを読み取り、前記ＧＯＰ内のピクチャ符号化 タイプのパターンにより表される補足データ値を決定する手段を具えることを 特徴とする埋め込み補足データ復号装置。 ８．補足データ値はＧＯＰ内のＢＰＰパターンの位置により表されていることを 特徴とする請求項７記載の装置。 ９．フレーム内符号化（Ｉ）ピクチャ、予測符号化（Ｐ）ピクチャ及び両方向予 測符号化（Ｂ）ピクチャのグループ（ＧＯＰ）を具える符号化ビデオ信号であ って、埋め込み補足データが設けられた符号化ビデオ信号において、補足デー タ値はＧＯＰ内のピクチャ符号化タイプ（Ｉ，Ｐ，Ｂ）の各別の所定のパター ンにより表されていることを特徴とする符号化ビデオ信号。 10．補足データ値はＧＯＰ内のＢＰＰパターンの位置により表されていることを 特徴とする請求項9記載の信号。 11．請求項9又は10に記載された埋め込み補足データが設けられた符号化ビデオ 信号が蓄積された蓄積媒体。