JP2006325202A - データ処理装置及びデータ処理方法 - Google Patents

Abstract

【課題】圧縮符号化ビデオ画像に可視ウォータマークを導入するデータ符号化処理装置を提供する。
【解決手段】データ符号化処理装置は、圧縮符号化ビットストリームにおいて、可視ウォータマークを表すために必要な更なる量のデータが、各画像フレーム内の予備データ領域に収容できるかを判定する。追加的データを収容できる場合、データ符号化処理装置は、画像フレームの選択されたマクロブロックを、可視ウォータマークを表すように変更し、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロックを表すビットパターンを生成する。ウォータマークを表すために必要なデータをフレームに格納することにより、ウォータマークがフレーム毎に変化するように可視ウォータマークが付されたビットストリームを生成できる。一具体例においては、可視ウォータマークは、タイムコードを表す。
【選択図】 図４

Description

本発明は、圧縮符号化ビットストリームにより表されるビデオ画像に可視ウォータマークを導入するデータ処理装置に関する。

ウォータマークは、ビデオ画像等のホストマテリアル内で、情報を結合又は何らかの手法で表現する技術である。マテリアル内で情報を表すことには、様々な理由がある。ある用途では、情報の存在を検出することが可能な限り困難となるように、マテリアルに情報を付加する。他の用途では、ビデオ画像内で情報が可視となるように、ビデオマテリアルにウォータマークを付加する。

特許文献１には、ビデオ画像に可視ウォータマークを導入するための構成が開示されている。ここでは、ビデオ画像のデジタルサンプルの一部を選択し、これらのサンプルを、可視ウォータマークを表すように変更することにより、可視ウォータマークが導入される。更に、ビデオマテリアル内でウォータマークを符号化し、これを除去することにより、元のビデオ画像が復元される。すなわち、ウォータマークは、可逆関数によってビデオ画像内で符号化される。また、特許文献１では、ウォータマークを表すために変更される画像のサンプルを表すビットマップテンプレートを生成することが開示されている。

特許文献２は、ＭＰＥＧ−２符号化ビデオ画像にウォータマークを導入する構成を開示している。ウォータマークは、ビデオ画像を表す圧縮符号化データの量を増加させないようにＭＰＥＧ−２ビデオ画像のＤＣＴ係数を適応化することによって導入される。ウォータマークを表すために変更されたビデオ画像の一部は、取り除かれ、変更されたＭＰＥＧ−２ビットストリームの最後に設けられた予備データ領域内に導入される。

特許文献３、特許文献４は、実質的に可逆なアルゴリズムに基づいて、ビットストリームを疑似ランダム的に変更することによって、圧縮符号化ビットストリームに可視ウォータマークを導入する構成を開示している。これらの変更は、後に元に戻すことができ、及びアルゴリズムがエントロピー符号化ビットのビット数を実質的に変更せず、したがって、従来のデコーダで圧縮符号化ビットストリームを復号することができるという意味で、可逆である。可視ウォータマークは、符号化ビデオ画像を表す離散コサイン変換（ＤＣＴ）係数を変更することによって導入される。

幾つかの具体例では、可視ウォータマーク技術は、ユーザがそのコンテンツの取得を決定する前に、コンテンツのサンプルを確認する機会をユーザに与えるためのビデオコンテンツのプレビューを可能にする構成を提供する。すなわち、例えば、ユーザは、コンテンツを購入する前に、コンテンツをプレビューでき、プレビューされたコンテンツは、ウォータマークを含み、このため、所定の料金を支払わなければ、ユーザは完全なコンテンツをコピー又は使用できない。上述のように、可視ウォータマークは、可逆な手法によって導入されており、料金の支払いに応じて、ウォータマークを除去するためのデータをユーザに送ることができる。

これらの既知のウォータマーク技術を用いて、圧縮符号化ビットストリームに可視ウォータマークを導入することもできるが、圧縮符号化が複雑になると、ビデオ画像内で可視ウォータマークを適応化することが困難になる場合がある。

英国特許出願第００２９８５２．１号 英国特許出願第０２１５４０３．７号 英国特許出願第００２９８５０．５号 英国特許出願第０１２１９９７．８号

本発明の目的は、圧縮符号化ビットストリーム内の予備データ領域を用いて、可視ウォータマークに関連するデータを搬送する構成を提供することである。

本発明は、所定のフォーマットを有する圧縮符号化ビットストリームが表す圧縮符号化ビデオ画像に可視ウォータマークを導入するデータ符号化処理装置を提供する。圧縮符号化ビットストリームのフォーマットは、マクロブロックによって表される画像フレームを提供し、マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、マクロブロックは、圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化される。固定データ部分は、固定の所定量のデータを収容できる。データ符号化処理装置は、圧縮符号化ビットストリームを解析し、ビデオ画像の各フレームを特定し、各画像フレームについて、固定データ部分が上記マクロブロックによって完全には満たされていない結果として予備データ領域を提供する圧縮符号化ビットストリームの領域を判定する。また、データ符号化処理装置は、圧縮符号化ビットストリームにおいて、可視ウォータマークを表すために必要な更なる量のデータが、各画像フレーム内の予備データ領域に収容できるかを判定する。予備データ領域内に可視ウォータマークを表す追加的データを収容できる場合、データ符号化処理装置は、画像フレームの選択されたマクロブロックを、可視ウォータマークを表すように変更し、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロックを表すビットパターンを生成する。そして、データ符号化処理装置は、画像フレームの固定データ部分の予備データ領域を提供する領域に、ビットマップ及び可視ウォータマークを表すために変更された各マクロブロックの元の形式に関連するデータを含む追加的データを挿入する。

幾つかの実施形態では、ビデオ画像は、デジタルビデオ（Digital Video：ＤＶ）又はＤＶモードとして知られる米国映画テレビ技術者協会（Society for Motion Picture Television Engineers：ＳＭＰＴＥ）ビデオ符号化規格に基づいて符号化される。民生用機器のためのＩＥＣ６１８３４でも、これに対応する規格が定義されている。したがって、本明細書で用いるＤＶ又はＤＶモードという用語は、これらの規格の何れにも適用されることは明らかである。圧縮符号化データストリームの形式は、如何なる特定のデータフォーマットにも制限されず、したがって、圧縮符号化ビットストリームは、テープ状のフォーマット、光ディスク、及び他の光記録媒体に保存してもよく、信号として伝送してもよい。

本発明に基づくデータ符号化処理装置は、圧縮符号化ビットストリーム内の予備データ領域を利用して、可視ウォータマークに関連するデータを搬送するように構成される。

可視ウォータマークをビデオ画像に符号化するためには、様々な手法がある。幾つかの実施形態では、可視ウォータマークに関連するマクロブロックを抽出し、特定のパターン、例えば、白のパターンを表すマクロブロックによって置換し、これを適切な変換領域係数で符号化してもよい。例えば、変換領域表現は、離散コサイン変換（ＤＣＴ）を用いて生成してもよい。他の実施形態では、可視ウォータマークは、モザイクパターンとして形成され、この場合、変換領域表現のＡＣ係数が除去され、マクロブロックは、ＤＣ係数のみによって表される。すなわち、可視ウォータマークは、選択され、ＡＣ係数が除去されたマクロブロックに基づいて生成される。このように、本発明の幾つかの実施形態では、圧縮符号化ビットストリームから、ビットストリームの予備データ領域内で搬送される追加的データの一部として含まれている幾つかのデータを抽出することができ、したがって、後にウォータマークを除去することができる。本発明の実施形態では、可視ウォータマークに基づいて変更された各画像フレーム内のマクロブロックブロックを特定するビットマップを生成し、圧縮符号化ビットストリームの予備データ領域に保存する。幾つかの実施形態では、ビットマップをエントロピー符号化してもよい。

更に、幾つかの実施形態では、可視ウォータマークにより変更された圧縮符号化ビットストリームの各フレームを特定するキーワードを圧縮符号化ビットストリームに加える。この結果、本発明の実施形態は、特定の利点を有する可視ウォータマーク技術を提供する。１つの利点は、ウォータマークをフレーム毎に変更できるという点である。他の利点は、各フレーム内のキーワードを検出することによって、各フレームからウォータマークをより容易に除去できるという点である。フレームにキーワードが存在している場合、デコーダは、画像フレームが可視ウォータマークを含むことを知ることができ、したがって、ビットマップテンプレートを抽出し、変更されたマクロブロックを特定することによって、可視ウォータマークを処理することができる。

本発明の実施形態は、圧縮符号化ビデオ画像のフレーム毎に可視ウォータマークを導入できる構成を提供できる。これにより、可視ウォータマークは、ビデオ画像の処理を容易にすることができる有益な情報を提供できる。例えば、幾つかの実施形態では、可視ウォータマークにより、ビデオ画像を撮影した特定のカメラを特定できる。他の実施形態では、圧縮符号化ビットストリームからタイムコード情報を抽出し、各フレーム毎に可視ウォータマークとして表現してもよい。ビデオ画像を撮影したカメラ及びタイムコードは、ビデオ画像の編集を容易にすることできる有益な情報の具体例であり、これらは、ビデオ画像の最終版を生成する際、容易に除去することができる。他の具体例として、可視ウォータマークにより、完全な帯域幅のビデオ画像の低解像度表現を提供するプロキシビデオを表してもよい。

幾つかの実施形態では、各画像フレームに、以下に例示的に示す追加的データを含ませてもよい。
＊フレームが可視ウォータマークを表すように適応化されたことを示すキーワード
＊一意的マテリアル識別子（ＵＭＩＤ）
＊画像フレームの現在のウォータマークの種類を示すフラグ
＊可視ウォータマークを表すためにビットストリームから抽出された何らかのデータ
＊画像フレーム内の変更されたマクロブロックを特定するビットマップ
フラグによって示されるウォータマークタイプの具体例は、モザイク、タイムコード又は圧縮符号化ビットストリームのビデオフォーマット等である。

本発明の様々な更なる側面及び特徴は、特許請求の範囲に定義されている。これらの側面は、可視ウォータマークを除去するデータ処理装置、可視ウォータマークを導入するデータ処理方法、可視ウォータマーク導入方法を表すコンピュータプログラム等を含む。

ビデオ画像に可視ウォータマークを導入するための構成を図１に示す。図１に示すように、ビデオカメラ１は、画像を捕捉し、チャンネル２を介して、ウォータマークデータプロセッサ４に供給される画像を表すビデオ信号を生成する。ウォータマークデータプロセッサ４は、チャンネル８を介して、ウォータマークデータ生成器６から、ビデオ画像に導入される可視ウォータマークを表すデータを受け取る。これにより、ウォータマークデータプロセッサの出力信号１０は、可視ウォータマークを含むビデオ画像を表す。したがって、例えば、ウォータマークが付された画像がビデオ再生器１２に供給されると、ビデオ再生器１２は、表示画面１４に表示されるビデオ画像を生成し、可視ウォータマークは、ビデオ画像１８にスーパーインポーズされ、又は視覚的に認識できるウォータマークデータ１６の可視表現を含む。幾つかの実施形態では、ビデオ画像から取り除くことが困難になるように可視ウォータマークを符号化してもよい。このために、ビデオストリーム内で可視ウォータマークを表すデータを暗号化してもよく、この結果、適切な暗号鍵なしでは、可視ウォータマークを除去することができなくなる。なお、可視ウォータマークを除去することが望まれる場合もある。このため、図１に示す構成では、ウォータマークウォッシャ（watermark washer）２０と呼ばれるウォータマーク除去データプロセッサを備え、ウォータマークウォッシャ２０は、入力チャンネル２２を介してウォータマークが付された画像を受け取り、可視ウォータマークを除去する。この場合、ディスプレイ装置２６に表示するためのビデオ画像がビデオ再生器２４により再生されると、元の画像３が、可視ウォータマークの存在なしで生成される。

本発明では、各フレームが可視ウォータマークを含み又は含まないように圧縮符号化ビデオ画像に可視ウォータマークを導入する。更に、各フレームにおいて、ウォータマークを異ならせることもできる。このため、本発明に基づいて構成されたウォータマークデータプロセッサ４は、ビデオ画像を適応化し、フレーム毎に可視ウォータマークを導入し、適応化された圧縮符号化ビットストリームを生成する。適応化された圧縮符号化ビットストリームは、適応化されたビデオ画像を表す。適応化された圧縮符号化ビットストリームは、各画像フレームから取り除かれた全てのデータを含み、これにより、可視ウォータマークは、元の形式の圧縮符号化ビットストリーム、したがって元の形式のビデオ画像を復元するために必要である追加的データと共に表現できる。したがって、適応化された圧縮符号化ビットストリームを生成するために、圧縮符号化ビデオストリーム内に、適応化された圧縮符号化ビデオストリームのビットレートを高めることなく、この更なるウォータマークデータを導入するために十分な空間があるかを判定する必要がある。適応化された圧縮符号化ビットストリームのビットレートを高めないことにより、圧縮符号化／復号規格に基づいて動作するデコーダがビデオ画像を正しく復号することができる。なお、多少のビットレートの変化は許容される。

本発明に適用できる圧縮符号化／復号処理の一具体例としては、デジタルビデオ（Digital Video：ＤＶ）すなわちＤＶモードがある。ＤＶは、標準化された圧縮符号化処理である。この規格は、国際規格機構（International Standards Organisation：ＩＳＯ）により管理され、映画テレビ技術者協会（Society of Motion Picture and Television Engineers：ＳＭＰＴＥ）によって定義されている。ここでは、ＤＶモードの全てについては説明しない。なお、以下の章では、図２、図３、図４を用いて、本発明に関連するＤＶモード圧縮符号化ビットストリームに関して簡単な説明を行う。

ＤＶには様々なモードがある。毎秒２５メガビットのデータレートを提供する１つのモードは、ＤＶ２５と呼ばれる。ＤＶ２５は、イントラフレーム離散コサイン変換（ＤＣＴ）圧縮処理を用い、ここでは、各フレームがマクロブロックに分割され、各マクロブロックは、ＤＣＴ領域に変換され、圧縮符号化される。ＤＶ２５モードでは、フレーム間の予測を行わず、したがって、全てのフレームは、イントラフレーム符号化フレームとして符号化される。一具体例においては、画像の色サンプリングは、それぞれの２つの色差サンプルに対し４つの輝度サンプルを用いて４：１：１で行う。圧縮符号化ビットストリームでは、マクロブロックのグループは、セグメントに分割され、各セグメントには、圧縮符号化データストリーム内で固定データ部分を構成する固定の所定量のデータを割り当てる。これにより、図２に示すように、圧縮符号化されたＤＶモードビットストリームは、複数の画像フレーム３０、３２、３４、３６、３８を符号化し、ビデオ画像４０、４２、４４を表す。第２のフレーム３２について示すように、画像フレームは、マクロブロック４０、４２、４４の複数のセグメントとして符号化される。後述するように、各セグメントは、５つのマクロブロックＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４、ＭＢ５を含み、各マクロブロックには、ビットストリーム内でデータ容量の固定部分を割り当てる。したがって、マクロブロックは、固定量のデータ領域内に格納しなくてはならず、これができない場合、他のマクロブロックが割り当てられたデータ容量の全体を占有していない場合、そのマクロブロックに割り当てられた他のデータ領域にオーバフローする。後述するように、マクロブロックに割り当てられたデータ領域の全てが、そのマクロブロックを表すデータによって占有されていない場合、これらを連結することにより、ウォータマークを表すデータを収容するための十分な量の領域を提供できる。

本発明では、例えば、ＤＶモードに基づいて圧縮された符号化ビットストリームを解析し、それぞれの固定データ部分のデータ量と、マクロブロックによって実際に占有されるデータ量とを比較することにより、各画像フレームの予備データ領域の大きさを特定する。

本発明に基づくウォータマークデータ符号化処理装置の具体例を図３（Ａ）及び図３（Ｂ）に示す。図３（Ａ）及び図３（Ｂ）の両方に示すように、ウォータマークデータ符号化処理装置は、入力チャンネル２を介して、ＤＶモードビットストリームを受け取る。ＤＶモード解析器５０は、圧縮符号化ビットストリームを受け取り、マクロブロックグループを含む各固定データ部分を解析し、画像フレーム毎に予備データ領域の総量を算出する。そして、ウォータマークエンコーダ５４は、予備データ領域の総量を示す情報を受け取り、１フレームあたりの予備データ領域の総量が可視ウォータマークに関連する追加的データを収容できる場合、各画像フレームが可視ウォータマークを含むように各画像フレームを適応化する。

図３（Ｂ）に示すデータ符号化処理装置は、ウォータマークデータ生成器５８（図１に示す具体例に対応する。）を備える点が、図３（Ａ）に示すデータ符号化処理装置とは異なる。図３（Ａ）に示すように、各画像フレームで使用可能な領域の大きさに関する情報をウォータマークエンコーダ５４に供給するチャンネル５２に加えて、チャンネル５６が設けられている。図３（Ａ）に示す第２のチャンネル５６は、ビデオ画像内で可視ウォータマークとして表されるデータをウォータマークエンコーダ５４に供給する。本発明では、可視ウォータマークは、圧縮符号化ビットストリームの一部として符号化されるデータを表すことができる。ＤＶモードの具体例では、ＤＶモード圧縮符号化ビットストリームにより表現された各フレームについて、タイムコード情報を提供する。すなわち、一具体例では、ＤＶモード解析器５０は、タイムコードを表すデータをウォータマークエンコーダ５４に供給し、ビデオ画像内で表現される可視ウォータマークは、フレームの実際のタイムコードである。他の具体例では、ビットストリームのヘッダに格納されるＤＶモードの特定のフォーマットを示す情報をチャンネル５６を介して提供し、可視ウォータマークを表す。

一方、図３（Ｂ）に示すウォータマークデータ符号化処理装置は、例えば、図１に示すように、独立したウォータマークを生成する。

以下、ウォータマークエンコーダ５４によって実行される、圧縮符号化ビデオストリームにおける可視ウォータマークの符号化について図４及び図５を用いて説明する。

ＤＶモード圧縮符号化規格では、ブロック／マクロブロックの階層構造を用いる。各画像の画素は、８×８のブロックに分割され、離散コサイン変換される。各ＤＣＴブロックは、１つのＤＣ係数と、多くの場合、複数のＡＣ係数とから構成される。量子化の前には、１個のＤＣ係数及び８×８−１個のＡＣ係数がある。これらのＤＣＴブロックは、量子化及び可変長（エントロピー）符号化等の後に、色規格（４：２：２，４：１：１，４：２：０）に応じてマクロブロックにグループ化される。したがって、１つのマクロブロックは、６つのＤＣＴブロック（４：２：０の具体例では、４つの輝度サンプル＋２つの色差サンプル）を構成する階層構造の次の階層は、マクロブロックユニットである。これらは、ＤＶの仕様では、マクロブロックセグメントと呼ばれる５つのマクロブロックのグループの集合である。

各ＤＣＴブロックには、固定量の空間が割り当てられている。この空間が、ＤＣＴブロックのエントロピー符号化された係数を格納するのに不十分であれば、そのマクロブロック内の他のＤＣＴブロックの何れかが、それらに割り当てられた空間を使用していない場合、この空間を用いて、そのマクロブロックに割り当てられた固定のデータ量内で割り当てることができないマクロブロックの追加的データを格納する。同様に、マクロブロックユニット内に何らかの予備空間があれば、ウォータマークを表現するために必要なデータを格納することができる。図４は、５つのマクロブロックがセグメント内にパッキングされ、使用可能な予備空間があるマクロブロックセグメント１０１を示している。図４に示すように、第１のマクロブロックＭＢ１には、セグメント１０１の領域１０２として、所定量の空間が割り当てられている。しかしながら、マクロブロックＭＢ１を符号化した場合、この具体例では、割り当てられた領域１０２は、マクロブロックＭＢ１の符号化を表すために必要なデータの全てを収容するためには十分でない。一方、５つのマクロブロックのうちの第２のマクロブロックＭＢ２を格納するように割り当てられた第２のデータ領域１０４内は、予備データ領域１０６を有している。図４に示すように、この具体例では、予備データ領域１０６を用いて、第１のマクロブロックＭＢ１に割り当てられた領域１０２内に収容できなかったマクロブロックＭＢ１の残りの部分のデータ１０８を格納する。また、この具体例では、予備データ領域１０６の残りの部分は、第４のデータ領域１１２内に収容できなかった第４のマクロブロックＭＢ４の一部のデータ１１０を保存するために割り当てられている。その領域に割り当てられたマクロブロックからのデータを搬送するために、完全には使用されていない領域を用いて、他のマクロブロックに割り当てられた領域内に収容できないマクロブロックからのデータを搬送するようにデータ容量を割り当てることは、「パッキング（packing）」と呼ばれる。更なる具体例として、図４に示すように、第３のマクロブロックＭＢ３は、領域１１４内に、第４のマクロブロックＭＢ４からのデータを搬送するために割り当てられた予備領域１１６を提供する。最後に、この具体例では、５つのマクロブロックのうちの第５のマクロブロックＭＢ５を搬送するために割り当てられたデータ領域１２０内の領域１１８に、画像のウォータマークを表すために必要な追加的データを格納している。すなわち、この具体例では、５つのマクロブロックＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４、ＭＢ５は、それぞれ、これらのマクロブロックに割り当てられた領域１０２、１０４、１１４、１１２、１２０内に格納されている。

図５は、各マクロブロックに割り当てられた領域内に収容することができないマクロブロックからのデータを収容するためのパッキングが不要なマクロブロックセグメント１２１のより詳細な具体例を示している。図５に示すように、マクロブロックセグメント１２２は、５つのマクロブロックＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４、ＭＢ５を表すデータを、５つの各領域１２４、１２６、１２８、１３０、１３２を用いて搬送する。図５に示す具体例に示す領域１２４、１２６、１２８、１３０、１３２は、対応するマクロブロックＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４、ＭＢ５を表すデータによって完全には占有されず、したがって、各領域１２４、１２６、１２８、１３０、１３２は、データを収容するための予備空間となる領域１３４、１３６、１３８、１４０、１４２を提供する。すなわち、フレームのマクロブロックセグメントに亘る領域１３４、１３６、１３８、１４０、１４２の合計が、ウォータマークに関連する追加的データを搬送するための予備空間となる。すなわち、データの各フレームについて、マクロブロックセグメントを解析し、予備データ空間の総量を判定する。そして、この予備データ空間と、ウォータマークを表すために必要な追加的データの総量とを比較する。後述するように、追加的データは、フレーム内のウォータマークデータの存在を示すキーワード、一意的マテリアル識別子、フレーム内のウォータマークの位置を特定するビットマップ、ウォータマークの種類を示すフラグ、及びウォータマークを生成するために挿入されたあらゆるデータを含む。このデータを予備データ空間内に収容できる場合、フレームの予備データ空間に更なるウォータマークデータが加えられ、すなわち、このフレームにウォータマークが付される。

図５は、マクロブロックの輝度及び色差サンプルについて、マクロブロックを構成するＤＣＴブロックを表している。領域１２８からのマクロブロックＭＢ３について示すように、マクロブロックセグメント１４４内において、マクロブロックＭＢ３を表すデータは、２つの輝度データサンプルＹ０（１４６）、Ｙ１（１４８）と、２つの色差データサンプルＣＢ０（１５０）、ＣＲ０（１５２）とについて、一組のＤＣＴブロックを含む。第２の色差ブロックＣＲ０の具体例について示すように、割り当てられた領域１５２内で、データサンプルは、一組のＤＣＴ係数１５４を含む。一組のＤＣＴ係数１５４は、１つのＤＣ係数１５６と、４つのＡＣ係数１５８とを含む。

可変長符号化が行われた場合、各ＤＣＴブロックは、エンドオブブロック（End of Block：ＥＯＢ）マーカ又はＥＯＢコードで終えられる。したがって、上述した４：２：０の具体例の場合、１つのマクロブロックにおいて、１つのＤＣＴブロックにつき１つ、すなわち、４つのＥＯＢがある。これに対応して、４：１：１、４：２：０の場合、６つのＥＯＢコードが存在する。この結果、各ＤＣＴブロックがＥＯＢコードで終わるので、そのＤＣＴブロックの固定の空間においてＥＯＢが検出されない場合、ＤＶモード解析器５０は、マクロブロックの残りの部分は、割り当てられた空間を使用していない他のＤＣＴブロックにより形成された空間に書き込まれたと判定する。同様にそのＤＣＴブロックの固定の空間の最後に達する前にＥＯＢが復号されると、ＤＶモード解析器５０は、残りの空間に他のＤＣＴブロックがオーバフローされていると判定でき、このオーバフローされたデータもＥＯＢコードで終わる。ここで、残りの空間にＥＯＢが検出されない場合、ＤＶモード解析器５０は、残りの領域が予備空間であり、したがって、追加的データを搬送するために利用できると判定する。

要約すれば、以下のように、３つの処理段階を含む復号により、ＤＶモードビットストリームを解析し、予備データ空間を特定することができる。
（１）固定の空間の端部まで、又はＥＯＢコードまで、各ＤＣＴブロックの固定の空間を復号する。
（２）ＥＯＢコードが検出されなかったマクロブロックの各ＤＣＴブロックについて、他のＤＣＴブロック（ＥＯＢが検出されたＤＣＴブロック）の残りのコード空間を読み出す。
（３）ＥＯＢコードが検出されないＤＣＴブロックがまだあれば、マクロブロックセグメントに亘ってステップ２を実行する。

上述した３つの復号ステップにより、ＤＶモードビットストリーム内の更なるウォータマークデータを収容する予備データ空間の大きさが特定される。これは、全てのＤＣＴブロックから、割り当てられた空間の全てを必要としない空間を特定すると解釈できる。そして、固定の空間を満たす第１の試みの後に、これらの空間を連結する。「パッキング」は、連結されたオーバフローデータを連結された空間に格納する処理を含む。この処理は、まず、同じマクロブロック内のＤＣＴブロックについて行われる。そして、オーバフローデータがまだあれば、同じマクロブロックセグメント内のマクロブロックについて、各マクロブロックの予備空間を連結し、各マクロブロックからの追加的データを個別に連結し、これらのデータを空間に格納することにより、同様の処理を行う。５つのマクロブロックからのデータを割り当てられた領域に格納した後に、利用可能な空間がまだあれば、この空間は、追加的データを搬送するための予備データ容量として認識される。このように、予備データ容量を特定するためには、圧縮符号化ビットストリームを解析し、ビットストリームを部分的に復号し、この予備データ容量を特定する必要がある。

上述したように、ウォータマークを表すために、固定部分から抽出され、予備空間に格納された元のマクロブロックデータに加えて、ウォータマークエンコーダは、ウォータマークをより容易に除去できるように、追加的な情報を加える。この追加的な情報のフォーマットを図６に示す。追加的な情報は、例えば、ＯＸＤＥＡＤＢＡＢＥ等、所定の１６進数の単語に設定されるキーワード２００を含む。キーワード２００は、可視ウォータマークを表すために符号化されたビデオのフレームが変更されたことを示す。キーワード２００の後に追加的データは、ＳＭＰＴＥ標準に基づくＵＭＩＤ２０２を含む。当業者に周知のように、ＵＭＩＤとは、ビデオマテリアルを一意的に特定する一意的マテリアル識別子（Unique Material Identifier：ＵＭＩＤ）である。ＵＭＩＤ２０２に続いて、ウォータマークの種類を示すフラグ２０４が設けられている。この具体例では、ウォータマークには、「モザイク」ウォータマーク（後述）、「タイムコード」及び「ビデオフォーマット」の３つの種類がある。タイムコードは、上述したように、ビデオ符号化ビットストリームから抽出され、可視ウォータマークを表すために用いられる。一方、ビデオフォーマットは、符号化ビットストリームのヘッダから抽出され、可視ウォータマークとして表される。ウォータマークの種類を示すフラグの後に、マクロブロックデータから抽出された、ウォータマークを表す何らかのデータを、図４及び図５に示す、固定データ部分の連結された予備データ領域に格納する。図６に示す具体例では、キーワード、ＵＭＩＤ及びウォータマークタイプのフラグは、例えば、連結されたデータフィールド２０７に格納される。連結されたデータフィールドは、更なるウォータマークデータを搬送するために利用可能な画像フレームの容量を提供する全ての予備空間を概念的に表している。そして、最後のデータ位置には、テンプレートビットマップ２０８が格納される。

デコーダ／ウォータマーク除去器が検出できるように、キーワードを所定の位置に設けてもよい。例えば、キーワードは、フレームの第１のフリーデータ領域に挿入してもよい。図６に示すように、テンプレートビットマップは、画像フレーム内の各マクロブロックについてのビットを含む。これらのビットは、所定の値に設定され、例えばマクロブロックが変更されていない場合「０」に、マクロブロックがウォータマークのマクロブロックを表すために変更されている場合「１」に設定される。変形例では、テンプレートビットマップは、各マクロブロックの各ＤＣＴ係数についてのビットを含んでいてもよく、これにより、ＤＣＴ係数が変更されていることを、例えば０又は１等の対応する所定の値によって表すことができる。図６に示すように、テンプレートビットマップは、連結されたデータフィールドに保存される。本発明の幾つかの具体例では、ビットマップをエントロピー符号化してもよい。

ウォータマーキング法の具体例
圧縮符号化ビットストリーム内でウォータマークを表すために使用できる様々な技術がある。一具体例においては、画像内の選択されたマクロブロックを、画像内でウォータマークを形成するマクロブロックによって置換することができる。図７は、図４のマクロブロックセグメントを適応化して、ウォータマークＷＭ１の１つのマクロブロックを含ませる具体例を示している。図７の具体例では、マクロブロックセグメントの５つのマクロブロックＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４、ＭＢ５を表す符号化データを収容するために、５つのデータ領域２００、２０２、２０４、２０６、２０８が設けられている。この具体例では、第１のマクロブロックＭＢ１は、ウォータマークＷＭ１からのマクロブロックによって置換される。この具体例に示すように、ウォータマークブロックＷＭ１を表すデータは、符号化ビットストリーム内の第１のマクロブロックＭＢ１に割り当てられた容量のうちの比較的小さい部分２１０のみを占める。この具体例では、第４のマクロブロックＭＢ４を表すために必要なデータ量は、第４のマクロブロックＭＢ４に割り当てられた領域２００として利用可能な容量を超えている。そこで、第４のマクロブロックＭＢ４を表す残りのデータは、第１のマクロブロック領域２００の領域２１２にパッキングされる。なお、符号化ビットストリーム内でウォータマークを表すために必要な更なるウォータマークデータを搬送するために利用可能な領域２１４が残っている。更に、他の領域２１６、２１８、２２０も、追加的データを搬送するために利用可能である。追加的データは、除去された第１のマクロブロックデータ及びＤＣＴデータＭＢ１と、ウォータマークキーワード、ＵＭＩＤ、ウォータマークフラグ及び画像内のウォータマークの位置を示すビットマップとを含む。追加的データは、予備データの全ての領域に亘って分散され、結合された予備データを形成する。

上述したように、他の可視ウォータマークタイプとして、モザイクがある。モザイクは、マクロブロックのＡＣ係数を抽出し、ＤＣ係数のみによってウォータマークが付されたマクロブロックを表すことにより生成される。このような構成を図８に示す。図８に示すように、図７に示す具体例からのウォータマークマクロブロックＷＭ１を符号化し、モザイクウォータマークの一部を形成する。この具体例では、ウォータマークマクロブロックＷＭ１は、各ＤＣＴブロック内のＤＣ係数３０２の後に付加的なＥＯＢコード３００を含み、これによりモザイク効果を生じさせている。図８に示すように、ここでは、ＤＣＴブロックのＤＣ係数だけを提供するので、予備空間は、マクロブロック内の各ＤＣＴブロックの領域３０４に存在している。図７に示すウォータマーキング法の具体例のように、各ＤＣＴブロックから除外されたＡＣ係数及びＥＯＢコードは、ウォータマーキングデータの集合に加えられ、フレーム内の連結された予備データ領域に亘って分散される。

本発明に基づき可視ウォータマークによって表すことができる情報の具体例を図９に示す。図９では、ウォータマークが付された画像の５つの具体例を示しており、最初の２つ（上）の画像４００、４０４は、タイムコードを表し、次の２つ（中央）の画像４０６、４０８は、ビデオ画像を撮影したカメラ番号を表し、最後の１つ（下）の画像４１０は、ビデオプロキシからの可視ウォータマークを表している。図９に示すように、上の２つの例示的な画像４００、４０４は、タイムコードと共に符号化され、従って、画像４００と次の画像４０４とではタイムコードが変化している。他の具体例では、同じ画像を異なるカメラで撮影しており、中央の左の画像４０６は、カメラ１によって撮影され、右の画像４０８は、カメラ２によって撮影されている。これに対応して、可視ウォータマークは、画像を生成したカメラ１（CAMERA 1）又はカメラ２（CAMERA 2）を表す。最後の具体例では、ウォータマークが付された画像４１０は、例示的な画像内の適切な位置に挿入されたプロキシビデオ４１２を含む。一具体例においては、プロキシビデオは、第２のカメラ（カメラ２）が撮影した他のビデオ画像の低解像度バージョンから生成され、第１のカメラ（カメラ１）が撮影したビデオ画像内に表示される。これにより、ユーザは、２つのカメラが提供する２つの異なる視点から、同じシーンを比較することができる。

図１０は、本発明に基づく図３（Ａ）及び図３（Ｂ）に示すデータ符号化処理装置によって符号化された可視ウォータマークをビデオ画像から除去する具体的構成例を示している。図１０に示すように、ウォータマーク符号化ビデオ画像は、チャンネル５００を介して、データ処理装置５０３内のＤＶモード解析器５０２及びウォータマーク除去器５０４に供給される。ＤＶモード解析器５０２は、ビデオ符号化ビットストリームを解析し、各フレームについて、各符号化画像フレーム内の予備容量の第１の領域内にキーワードが存在しているかを判定する。キーワードが存在している場合、ＤＶモード解析器５０２は、可視ウォータマークに関連するデータを抽出し、接続チャンネル５０６を介して、ウォータマーク除去器５０４にこのデータを供給する。

変形例では、ＤＶモード解析器５０２は、圧縮符号化ビットストリームを解析し、固定データ部分がマクロブロックによって完全には占有されていない結果として、それぞれの固定データ部分から提供される各フレーム内の予備データ容量の総量を判定する。ＤＶモード解析器５０２は、上述したＤＶモード解析器５０と同じ動作を実行して、圧縮符号化ビットストリーム内の予備空間を特定し、これにより、可視ウォータマークに関連する追加的データを特定する。幾つかの実施形態においては、データ領域の第１の部分は、画像フレームにウォータマークが付されていることを示すキーワードを含んでいてもよく、又はＤＶモード解析器５０２は、この予備データ領域から、画像がウォータマークを含むことを仮定する。キーワードが特定された場合、ＤＶモード解析器５０２は、追加的データを抽出し、接続チャンネル５０６を介して、ウォータマーク除去器５０４にこのデータを供給する。

各フレーム内のキーワードの存在を示す信号は、チャンネル５０８を介してウォータマーク除去器５０４に供給される。したがって、ウォータマーク除去器５０４は、各フレーム毎に、可視ウォータマークを表すように適応化されているか否かを知らされる。フレームが適応化されている場合、ウォータマーク除去器５０４は、各フレームについて、ＤＶモード解析器５０２から受け取ったビットマップに基づいて、各フレーム内の変更されたマクロブロック又はＤＣＴブロックを特定する。ウォータマーク除去器５０４は、ウォータマークマクロブロックを除去し、再び、ＤＶモード解析器５０２から提供されるウォータマークが付された画像フレームから抽出された追加的データからの元のマクロブロック及び／又はＤＣＴ係数によってこれらを置換する。例えば図８に示すように、可視ウォータマークが除去された符号化ビットストリームは、接続チャンネル５１０を介して、ＤＶモードデコーダ５１２に供給される。ＤＶモードデコーダ５１２は、ビデオ画像を伸長し、元の画像を再生し、表示画面５１４に表示する。

動作の概要
可視ウォータマークと共にＤＶモードビットストリームを符号化するウォータマークデータ符号化処理装置の処理を表すフローチャートを図１１に示し、以下に説明する。

Ｓ２：ＤＶモード圧縮符号化規格に基づいて符号化された画像をソースから受け取る。このソースは、カメラ、ビデオ再生装置又はテレビジョン受像機であってもよい。

Ｓ４：ＤＶモードビットストリームを解析し、各画像フレームを特定し、及びビットストリームの一部を解析し、フレームを構成する固定データ部分内で、可視ウォータマークに関連する追加的データを挿入できる予備データ容量を特定する。

Ｓ６：各画像フレームについて予備データ容量の合計を算出する。この予備データ容量の合計と、画像フレーム内で可視ウォータマークを表現するために必要な追加的データの総量とを比較する。各画像フレームを順次処理し、そのフレーム内の予備データ容量の合計と、可視ウォータマークを表現するために必要な追加的データの量とを比較する。

Ｓ８：現在のフレームについて、このフレームが追加的データを収容できるかを判定する。

Ｓ１０：フレームが可視ウォータマークに関連する追加的データを収容できる場合、可視ウォータマークに関連するマクロブロック情報を抽出し、ウォータマークマクロブロックにより置換する。

Ｓ１２：マクロブロックの画像フレーム内で可視ウォータマークを表現するように変更された位置を特定するテンプレートを提供するビットマップを生成する。変形例として、ビットマップは、各画像ブロック内で可視ウォータマークを表すために変更されたＤＣＴ係数を特定してもよい。これは画像フレームに導入するウォータマークの種類による。例えば、ウォータマークタイプがモザイクである場合、ビットマップテンプレートは、変更されたＤＣＴ係数を特定する。幾つかの具体例では、ビットマップは、エントロピー符号化してもよい。

Ｓ１４：可視ウォータマークを表すために画像フレームが変更されたことを示すキーワードを画像フレーム内の第１の予備データ領域に加える。画像フレームを特定するＵＭＩＤを生成し、ウォータマークを表すために画像フレームが符号化された可視ウォータマークの種類を示すフラグと共に画像フレームの予備データ領域に追加する。

Ｓ１６：可視ウォータマークの一部を表す、マクロブロックの元の形式からの変化を表す抽出されたマクロブロック情報を画像フレームの固定部分内の予備データ領域に追加する。最後に、画像フレームの予備領域内の追加的データの最後の部分として、ビットマップテンプレートを加える。そして、処理はステップＳ６に戻り、次の画像フレームの処理を開始する。

符号化ビットストリームからウォータマークを除去（wash）するためのデータ処理装置の動作を示すフローチャートを図１２に示す。以下、図１２のフローチャートの各ステップについて説明する。

Ｓ２０：ビットストリームが表すビデオ画像からウォータマークを除去するために、可視ウォータマークを含むＤＶモードビットストリームを受け取る。ビットストリームを解析し、圧縮符号化ビットストリームが表す画像フレームを特定する。

Ｓ２２：画像フレームのそれぞれを順次特定及び解析する。

Ｓ２４：各画像フレームを解析し、圧縮符号化ビットストリームの第１の予備空間に所定のキーワードがあるかを判定する。

Ｓ２６：圧縮符号化画像フレーム内にキーワードが存在している場合、画像フレームの予備データ領域内の追加的データの最後の位置からビットマップ情報を抽出する。ビットマップを抽出し、可視ウォータマークを表すために変更されたマクロブロックの位置を特定する。

Ｓ２８：可視ウォータマークの部分を表すために変更された各マクロブロックについて、その変更されたマクロブロックに対応する元のマクロブロックを抽出し、元のマクロブロックにより置換し、元の画像フレームを復元する。そして、処理はステップＳ２２に戻る。また、画像画像フレームがキーワードを含んでいない場合も処理は、ステップＳ２２に戻り、次の画像フレームに進む。

なお、本発明は、特定のビデオ画像に関連するメタデータを可視ウォータマークとして符号化するアプリケーションに適用してもよい。可視ウォータマークとして表示されるメタデータは、例えば、編集者がビデオストリームを編集する際の補助となり、これらの可視ウォータマークは、可逆であり及び／又は除去可能である。なお、ビデオ画像がカメラ／レコーダ機器によって捕捉された際に、このビデオ画像に視覚的なウォータマークを付してもよい。記録媒体に保存されている既存のビデオ画像データをウォータマークエンコーダに供給し、可視ウォータマークを含むように再符号化してもよい。なお、コンテンツ仲介又は配信システムにおいて、可視ウォータマークを用いて、第１のクライアントコンピュータが可視ウォータマークを作成し、第２のクライアントコンピュータに提供してもよい。第２のクライアントコンピュータのユーザは、可視ウォータマークが付された画像を見て、可視ウォータマークが付されたこのビデオ画像の元の画像を見たい又は使用したいかを判断し、第１のクライアントコンピュータ（ビデオ画像の所有者又は他の権利者を代理するサーバコンピュータ）に対し、可視ウォータマークを除去するためのデータを要求する。例えば、ウォータマーク除去器等のウォータマーク除去データを用いる装置は、第２のクライアントコンピュータにより実現できる。

本発明の範囲から逸脱することなく、本明細書に開示した例示的な実施形態を様々に変更することができる。例えば、ＤＶモードは、本発明の実施形態に適用される圧縮符号化規格の１つの具体例に過ぎない。

圧縮符号化ビデオ画像に可視ウォータマークを導入し、及び圧縮符号化ビデオ画像から可視ウォータマークを除去するコンポーネントを示すブロック図である。 デジタルビデオモードフォーマットに基づく圧縮符号化ビットストリームを図式的に示す図である。 （Ａ）及び（Ｂ）は、圧縮符号化ビットストリームに可視ウォータマークを導入するデータ符号化処理装置の具体例のブロック図である。 マクロブロック領域から他のマクロブロック領域にオーバフローしたデータのパッキング処理及び予備データ容量を示す、デジタルビデオモードフォーマットに基づく圧縮符号化ビットストリームを図式的に示す図である。 圧縮符号化ビットストリーム内の予備データ領域を特定できる領域を示す、デジタルビデオモードフォーマットに基づく他の例示的な圧縮符号化ビットストリームを図式的に示す図である。 ウォータマークを表すために画像フレームに含まれる更なるウォータマークデータを図式的に示す図である。 画像フレーム内で表現されるウォータマークの一部を構成するマクロブロックをマクロブロックのセグメントに導入した具体例を示す、デジタルビデオモードフォーマットに基づく他の例示的な圧縮符号化ビットストリームを図式的に示す図である。 モザイクウォータマークの具体例について、ウォータマークマクロブロックを構成するＤＣＴ係数を図式的に示す図である。 本発明を用いて圧縮符号化ビデオ画像に導入できる可能な可視ウォータマークを表す図である。 図３（Ａ）及び（Ｂ）に示すデータ符号化処理装置を用いてウォータマークが付された圧縮符号化ビデオ画像から可視ウォータマークを除去するデータ処理装置のブロック図である。 圧縮符号化ビデオ画像に可視ウォータマークを導入するデータ符号化処理装置の動作を表すフローチャートである。 圧縮符号化ビデオ画像から可視ウォータマークを除去するデータ処理装置の動作を表すフローチャートである。

Claims (24)

1. 所定のフォーマットを有する圧縮符号化ビットストリームが表す圧縮符号化ビデオ画像に可視ウォータマークを導入するデータ符号化処理装置において、該圧縮符号化ビットストリームのフォーマットは、マクロブロックによって表される画像フレームを提供し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、該圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、該圧縮符号化ビットストリームにおいて、固定の所定量のデータを収容でき、当該データ符号化処理装置は、
   上記圧縮符号化ビットストリームを解析し、ビデオ画像の各フレームを特定し、該各画像フレームについて、上記固定データ部分が上記マクロブロックによって完全には満たされていない結果として予備データ領域を提供する圧縮符号化ビットストリームの領域を判定し、
   上記圧縮符号化ビットストリームにおいて、上記可視ウォータマークを表すために必要な更なる量のデータが、各画像フレーム内の予備データ領域に収容できるかを判定し、該予備データ領域内に該可視ウォータマークを表す追加的データを収容できる場合、
   上記画像フレームの選択されたマクロブロックを、上記可視ウォータマークを表すように変更し、
   上記可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロックを表すビットパターンを生成し、
   上記画像フレームの固定データ部分の予備データ領域を提供する領域に、上記ビットマップ及び上記可視ウォータマークを表すために変更された各マクロブロックの元の形式に関連するデータを含む追加的データを挿入するデータ符号化処理装置。
2. 上記データ符号化処理装置は、可視ウォータマークを表すために上記追加的データが加えられた画像フレームの所定位置における上記固定データ部分にキーワードを挿入することを特徴とする請求項１記載のデータ符号化処理装置。
3. 上記可視ウォータマークは、２つ以上の画像フレーム間で異なることを特徴とする請求項１記載のデータ符号化処理装置。
4. 上記可視ウォータマークは、上記圧縮符号化ビットストリームから抽出されるタイムコードを表すことを特徴とする請求項１記載のデータ符号化処理装置。
5. 上記可視ウォータマークは、上記圧縮符号化ビデオ画像の所定のフォーマットに基づいて、上記圧縮符号化ビットストリームから抽出されるビデオ圧縮符号化規格を示すデータを表すことを特徴とする請求項１記載のデータ符号化処理装置。
6. 上記可視ウォータマークは、プロキシビデオを表すことを特徴とする請求項１記載のデータ符号化処理装置。
7. 上記ビデオ画像内において可視ウォータマークとして表されるウォータマークデータを提供するウォータマーク生成器を更に備える請求項１記載のデータ符号化処理装置。
8. 上記各画像フレームに加えられる追加的データは、可視ウォータマークを表すように画像フレームが変更されたことを示すキーワード、汎用マテリアル識別子（ＵＭＩＤ）、ウォータマークの種類を示すフラグ、及び上記圧縮符号化ビットストリーム内の所定の位置で上記ビデオ符号化ビットストリームから除外されたデータ量を示すデータを含むことを特徴とする請求項２記載のデータ符号化処理装置。
9. 上記マクロブロックは、複数の変換領域係数から構成され、上記ビットマップは、各マクロブロックにおいて、どの変換領域係数が変更されたかを示すことを特徴とする請求項１記載のデータ符号化処理装置。
10. 上記ビットマップをエントロピー符号化した後、上記画像フレームに加えるウォータマークエンコーダを更に備える請求項１記載のデータ符号化処理装置。
11. 上記ビデオ画像は、米国映画テレビ技術者協会（ＳＭＰＴＥ）デジタルビデオ規格に基づく符号化ビットストリームを生成するように符号化されことを特徴とする請求項１記載のデータ符号化処理装置。
12. 所定のフォーマットを有する圧縮符号化ビットストリームが表す圧縮符号化ビデオ画像に可視ウォータマークを導入する可視ウォータマーク導入方法において、該圧縮符号化ビットストリームのフォーマットは、マクロブロックによって表される画像フレームを提供し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、該圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、該圧縮符号化ビットストリームにおいて、固定の所定量のデータを収容でき、当該可視ウォータマーク導入方法は、
    上記圧縮符号化ビットストリームを解析し、ビデオ画像の各フレームを特定し、該各画像フレームについて、上記固定データ部分が上記マクロブロックによって完全には満たされていない結果として予備データ領域を提供する該圧縮符号化ビットストリームの領域を判定するステップと、
    上記圧縮符号化ビットストリームにおいて、上記可視ウォータマークを表すために必要な更なる量のデータが、各画像フレーム内の予備データ領域に収容できるかを判定するステップと、該予備データ領域内に該可視ウォータマークを表す追加的データを収容できる場合、
    上記画像フレームの選択されたマクロブロックを、上記可視ウォータマークを表すように変更するステップと、
    上記可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロックを表すビットパターンを生成するステップと、
    上記画像フレームの固定データ部分の予備データ領域を提供する領域に、上記ビットマップ及び上記可視ウォータマークを表すために変更された各マクロブロックの元の形式に関連するデータを含む追加的データを挿入するステップとを有する可視ウォータマーク導入方法。
13. 請求項１記載のデータ符号化処理装置によって生成された圧縮符号化ビットストリームにおいて、当該圧縮符号化ビットストリームは、マクロブロックによって表される画像フレームを提供する所定のフォーマットを有し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、当該圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、固定の所定量のデータを有し、上記マクロブロックによって使用されていない固定データ部分の予備データ領域内に、追加的データ含み、該追加的データは、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロック及び可視ウォータマークを表すために変更された元の形式のマクロブロックのそれぞれに関連するデータを表すビットパターンを含む圧縮符号化ビットストリーム。
14. 上記各画像フレームに加えられる追加的データは、可視ウォータマーク、汎用マテリアル識別子（ＵＭＩＤ）、ウォータマークの種類を示すフラグ、及び上記可視ウォータマーク画像フレームを表す当該圧縮符号化ビットストリーム内の所定の位置で上記ビデオ符号化ビットストリームから除外されたデータ量を示すデータを表すように画像フレームが変更されたことを示すキーワードを含むことを特徴とする請求項１３記載の圧縮符号化ビットストリーム。
15. 請求項１記載のデータ符号化処理装置によって生成された圧縮符号化データを含むデータファイルにおいて、該圧縮符号化ビットストリームのフォーマットは、マクロブロックによって表される画像フレームを提供し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、上記圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、固定の所定量のデータを有し、上記マクロブロックによって使用されていない固定データ部分の予備データ領域内に、追加的データ含み、該追加的データは、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロック及び可視ウォータマークを表すために変更された元の形式のマクロブロックのそれぞれに関連するデータを表すビットパターンを含むデータファイル。
16. 請求項１記載のデータ符号化処理装置によって生成された圧縮符号化ビットストリームから可視ウォータマークを除去するデータ復号処理装置において、該圧縮符号化ビットストリームのフォーマットは、マクロブロックによって表される画像フレームを提供し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、固定の所定量のデータを収容でき、上記マクロブロックによって使用されていない固定データ部分の予備データ領域内に、追加的データ含み、該追加的データは、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロック及び可視ウォータマークを表すために変更された元の形式のマクロブロックのそれぞれに関連するデータを表すビットパターンを含み、当該データ復号処理装置は、
    上記圧縮符号化ビットストリームを解析して該圧縮符号化ビットストリームが表すビデオ画像の画像フレームを特定し、
    上記画像フレームが可視ウォータマークを含むかを判定し、該画像フレームが可視ウォータマークを含む場合、
    上記画像フレーム内の上記追加的データから上記可視ウォータマークを表すために変更されたマクロブロックの位置を提供するビットパターンを復元し、
    可視ウォータマークを表すために変更されたそれぞれのマクロブロックの元の形式に関連するデータを復元し、
    それぞれのマクロブロックの元の形式に関連するデータを用いて、ビットパターンによって特定される元のマクロブロックを再生し、画像から可視ウォータマークを除去するデータ復号処理装置。
17. 上記可視ウォータマークを含むビデオ画像を表す圧縮符号化ビットストリームは、可視ウォータマークを表すように適応化された各画像フレームの所定の位置にキーワードを含み、当該データ復号処理装置は、上記各画像フレーム内の所定の位置の上記キーワードの存在を検出することによって各画像フレームが可視ウォータマークを含むかを判定することを特徴とする請求項１６記載のデータ復号処理装置。
18. 請求項１２記載の可視ウォータマーク導入方法によって生成された圧縮符号化ビットストリームから可視ウォータマークを除去する可視ウォータマーク除去方法において、
    上記圧縮符号化ビットストリームは、マクロブロックによって表される画像フレームを提供する所定のフォーマットを有し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、固定の所定量のデータを有し、上記マクロブロックによって使用されていない固定データ部分の予備データ領域内に、追加的データ含み、該追加的データは、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロック及び可視ウォータマークを表すために変更された元の形式のマクロブロックのそれぞれに関連するデータを表すビットパターンを含み、当該可視ウォータマーク除去方法は、
    上記圧縮符号化ビットストリームを解析して該圧縮符号化ビットストリームが表すビデオ画像の画像フレームを特定するステップと、
    上記画像フレームが可視ウォータマークを含むかを判定するステップと、該画像フレームが可視ウォータマークを含む場合、
    上記画像フレーム内の上記追加的データから上記可視ウォータマークを表すために変更されたマクロブロックの位置を提供するビットパターンを復元するステップと、
    可視ウォータマークを表すために変更されたそれぞれのマクロブロックの元の形式に関連するデータを復元するステップと、
    それぞれのマクロブロックの元の形式に関連するデータを用いて、ビットパターンによって特定される元のマクロブロックを再生し、画像から可視ウォータマークを取り除くステップとを有する可視ウォータマーク除去方法。
19. コンピュータ上で実行されると、所定のフォーマットを有する圧縮符号化ビットストリームが表す圧縮符号化ビデオ画像に可視ウォータマークを導入する可視ウォータマーク導入方法を実行するプログラムコードを有するコンピュータソフトウェアにおいて、該圧縮符号化ビットストリームのフォーマットは、マクロブロックによって表される画像フレームを提供し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、圧縮符号化ビットストリームにおいて、固定の所定量のデータを収容でき、該可視ウォータマーク導入方法は、
    上記圧縮符号化ビットストリームを解析し、ビデオ画像の各フレームを特定し、該各画像フレームについて、上記固定データ部分が上記マクロブロックによって完全には満たされていない結果として予備データ領域を提供する圧縮符号化ビットストリームの領域を判定するステップと、
    上記圧縮符号化ビットストリームにおいて、上記可視ウォータマークを表すために必要な更なる量のデータが、各画像フレーム内の予備データ領域に収容できるかを判定するステップと、該予備データ領域内に該可視ウォータマークを表す追加的データを収容できる場合、
    上記画像フレームの選択されたマクロブロックを、上記可視ウォータマークを表すように変更するステップと、
    上記可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロックを表すビットパターンを生成するステップと、
    上記画像フレームの固定データ部分の予備データ領域を提供する領域に、上記ビットマップ及び上記可視ウォータマークを表すために変更された各マクロブロックの元の形式に関連するデータを含む追加的データを挿入するステップとを有するコンピュータソフトウェア。
20. コンピュータ上で実行されると、請求項１２記載の可視ウォータマーク導入方法によって生成された圧縮符号化ビットストリームから可視ウォータマークを除去する可視ウォータマーク除去方法を実行するコンピュータソフトウェアにおいて、
    上記圧縮符号化ビットストリームは、マクロブロックによって表される画像フレームを提供する所定のフォーマットを有し、該マクロブロックのそれぞれは、画像フレームからの画素のブロックを表し、該マクロブロックは、該圧縮符号化ビットストリームの固定データ部分に含まれているマクロブロックのグループにグループ化され、該固定データ部分は、固定の所定量のデータを有し、上記マクロブロックによって使用されていない固定データ部分の予備データ領域内に、追加的データ含み、該追加的データは、可視ウォータマークを表すために変更された元の画像フレーム内のマクロブロック及び可視ウォータマークを表すために変更された元の形式のマクロブロックのそれぞれに関連するデータを表すビットパターンを含み、該可視ウォータマーク除去方法は、
    上記圧縮符号化ビットストリームを解析して該圧縮符号化ビットストリームが表すビデオ画像の画像フレームを特定するステップと、
    上記画像フレームが可視ウォータマークを含むかを判定するステップと、該画像フレームが可視ウォータマークを含む場合、
    上記画像フレーム内の上記追加的データから上記可視ウォータマークを表すために変更されたマクロブロックの位置を提供するビットパターンを復元するステップと、
    可視ウォータマークを表すために変更されたそれぞれのマクロブロックの元の形式に関連するデータを復元するステップと、
    それぞれのマクロブロックの元の形式に関連するデータを用いて、ビットパターンによって特定される元のマクロブロックを再生し、画像から可視ウォータマークを除去するステップとを有するコンピュータソフトウェア。
21. 請求項１９記載のプログラムコードを提供する提供媒体。
22. 当該提供媒体は、記録媒体であることを特徴とする請求項２１記載の提供媒体。
23. 請求項２０記載のプログラムコードを提供する提供媒体。
24. 当該提供媒体は、記録媒体であることを特徴とする請求項２３記載の提供媒体。

Images