JP2006005527A - 電子透かし埋め込みプログラム - Google Patents

Abstract

【課題】 動画像データに電子透かしを埋め込むためのプログラムにおいて、電子透かしを埋め込む処理の性能向上および処理時間短縮を低コストで実現できる技術を提供する。
【解決手段】 映像データを構成するフレームに対し電子透かしを埋め込む際、過去フレームにおけるフィルタ処理結果の計算値を再利用する処理を行う。現在フレームに対しフィルタ処理を実行するかどうかを判断し、全フレームのうち一部フレームについてはフィルタ処理の実行対象としない。フィルタ処理の実行対象となるフレームに対しフィルタ処理を実行し、フィルタ処理結果を保存する。フィルタ処理の実行対象でないフレームに対しては過去フレームにおけるフィルタ処理結果を読み込んでそれを再利用する。またフレームのタイプの判断による電子透かし埋め込み処理要否判定を行う。またフレームの画像全体の一部に限定して電子透かし埋め込み処理を行う。
【選択図】 図１

Description

本発明は、電子透かし技術に関し、特に、映像データに対し電子透かしを埋め込む技術に関する。

ディジタルコンテンツの著作権保護等のための技術として電子透かし技術がある。電子透かし技術は、静止画像、映像、音などのデータに対し、人間の知覚特性を利用して電子透かし情報を知覚できないように埋め込む技術である。埋め込まれる電子透かし情報は、著作権情報や利用者情報等である。動画像に対する電子透かし埋め込み処理では、映像を構成する画像フレーム自体に電子透かし情報が埋め込まれる。

動画像に対する電子透かし埋め込み処理を行う場合、従来技術では、無条件で映像の全フレーム及びフレーム内全画像領域（全画素）に対し電子透かし埋め込み処理を実行していた。そのため、動画像に電子透かしを埋め込むのにかかる演算量や処理時間が膨大になるという問題があった。この方法での動画像に対する電子透かし埋め込み処理について高速化を図ろうとする場合、電子透かし埋め込み処理実行のプラットフォームとなるハードウェアの性能向上、すなわちＣＰＵクロックやＨＤＤ（ハードディスクドライブ）アクセス等の性能向上を図る以外に方法が無く、ハードウェアリソースの増強にはコストがかかる。また、ハードウェアリソースの増強があまり望めないようなプラットフォーム、例えば携帯電話機などでは、電子透かし情報を動画像に対し埋め込むこと自体も実現できない場合があった。

前記映像データのフレームに対する電子透かし埋め込み処理は、概略すると例えば、輝度データ抽出処理とフィルタ処理と電子透かしデータ埋め込み処理とで構成される。映像データを構成する非圧縮状態のフレーム毎に電子透かし埋め込み処理を実行する。輝度データ抽出処理は、電子透かしを埋め込むための準備段階の処理工程であり、フレームから輝度データを抽出する処理である。フィルタ処理は、後段の電子透かしデータ埋め込み処理の準備段階の処理工程となる画像処理である。電子透かしデータ埋め込み処理は、前記フィルタ処理で求めた計算値をもとにフレームの画像領域に対し電子透かしデータを埋め込む処理である。

特許文献１には動画像に対する電子透かし埋め込みを行う技術が開示されている。特許文献１記載の技術は、符号化後、画像に対し電子透かし埋め込み処理を行う。これは、ＭＰＥＧにおけるＧＯＰ、ＳＨ（シーケンスヘッダ）等の形式が前提となっている技術であり、電子透かし埋め込み処理に前記ＳＨの情報を必要とする。
特開２００２−１７１４９４号公報

前記従来技術では、動画像の全画像フレーム及びフレーム内全領域に対し電子透かし埋め込み処理を実行していたため、その演算量や処理時間が膨大になる問題がある。またその高速化を実現したい場合に、処理実行プラットフォームの性能向上を図る以外に方法が無く大きなコストがかかる問題がある。

また特許文献１記載の技術では、電子透かし埋め込み処理に際し前記ＳＨの情報を必要とするため、処理対象となる動画像が限定される。

本発明は以上のような問題に鑑みてなされたものであり、その目的は、動画像データに対し電子透かしを埋め込む処理の性能向上および処理時間短縮を低コストで実現できる技術を提供することにある。また、ハードウェアリソースに制限のあるプラットフォームでの動画像データに対する電子透かし埋め込み処理の実現を現実的なものにできる技術を提供することにある。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。本発明は例えば、下記（１）から（３）に示す手段を提供する。

（１）本発明の電子透かし埋め込みプログラムは、動画像データを入力してその映像データに電子透かしを埋め込むためのプログラムであって、前記映像データを構成するフレームに対し、電子透かしを埋め込むためのフィルタ処理を実行するかどうかを判断し、その判断で前記映像データを構成する全フレームのうち一部フレームについては前記フィルタ処理の実行対象としない処理と、前記判断に基づき前記フィルタ処理の実行対象となるフレームに対し前記フィルタ処理を実行し、このフィルタ処理結果を保存する処理と、前記判断に基づき前記フィルタ処理の実行対象でないフレームに対し過去フレームにおける前記フィルタ処理結果を読み込んでそれを再利用する処理と、をコンピュータに実行させることを特徴とする。

前記判断では、映像データにおいては時間軸上で隣り合う画像同士の差分が小さいと判断できることを利用する。従って、フレームに対し電子透かし埋め込み処理すなわちフィルタ処理と電子透かしデータ埋め込み処理とを含む処理を実行する際に、フレーム間での画像の差が小さいと判断できる過去フレームにおけるフィルタ処理結果の計算値をそのまま再利用する。例えばフィルタ処理を実行する対象となるフレームと、この一つ前のフレームのフィルタ処理結果を再利用するフレームとを交互に繰り返すようにする。これにより、フレーム毎のフィルタ処理の繰り返しが削減され、動画像全体での処理の高速化が図られる。

（２）本発明の電子透かし埋め込みプログラムは、差分圧縮法により圧縮されている動画像データを入力してその映像データに電子透かしを埋め込むプログラムであって、前記映像データを構成するフレームに対し、その圧縮のタイプ（種別）の認識をもとに電子透かし埋め込み処理の実行対象とするかどうかを判断し、その判断ではフレーム内で画像全体の画素を対象にして圧縮処理が完結しているタイプのフレームを前記電子透かし埋め込み処理の実行対象とする処理と、前記判断に基づき前記電子透かし埋め込み処理対象のフレームに対し電子透かし埋め込み処理を行う処理と、をコンピュータに実行させることを特徴とする。

差分圧縮方式（例えばＭＰＥＧなど）を適用している動画像データに対し電子透かし埋め込み処理を実施する場合に、フレーム間の差分情報をもとに圧縮（符号化）されているタイプのフレームに対して電子透かしデータを埋め込んでも、電子透かしとしての効果は低いと判断できる。つまり、このようなタイプの画像については電子透かしが検出される可能性が低く、電子透かしデータを埋め込む処理による効果が低い。例えばＭＰＥＧの場合におけるＰフレーム（順方向予測符号化画像）やＢフレーム（双方向予測符号化画像）等に対して電子透かしデータを埋め込んだとしても電子透かしとしての効果が低いと判断できる。

従って、フレーム間差分情報ではなくフレーム内で符号化処理が完結しているフレーム（例えばＭＰＥＧの場合におけるＩフレーム（フレーム内符号化画像）、あるいはフレーム間差分情報をもとに構成されている割合が低いフレームに限定して電子透かし埋め込み処理対象とし電子透かし埋め込み処理すなわちフィルタ処理と電子透かしデータ埋め込み処理とを含む処理を実行する。そしてそれ以外のフレーム、すなわちフレーム間差分情報をもとに圧縮されているフレーム、あるいはフレーム間差分情報をもとに構成されている割合が高いフレームについては電子透かし埋め込み処理対象としない。これにより電子透かし埋め込み処理が削減され、動画像全体での処理の高速化が図られる。

（３）本発明の電子透かし埋め込みプログラムは、動画像データを入力してその映像データに電子透かしを埋め込むプログラムであって、前記映像データを構成するフレームに対し電子透かしを埋め込む際、電子透かしデータ埋め込み処理対象を前記フレーム内画像全体のうちの一部に限定する設定を行う処理と、前記設定に基づき前記フレームに対し電子透かしデータ埋め込み処理を行う処理と、をコンピュータに実行させることを特徴とする。

映像データを構成するフレームにおいて、電子透かし埋め込み処理の実行対象を、フレームを構成する画像全体のうちの一部分に限定する。例えば、フレーム中で所定サイズの矩形の画素領域に処理範囲を限定する。これにより電子透かし埋め込み処理が削減され、動画像全体での処理の高速化が図られる。

電子透かし埋め込み対象の動画像データに対し、前記（１）〜（３）の手段、すなわち前記過去フレームにおけるフィルタ処理結果を現在フレームに再利用する処理と、前記フレームのタイプの判断により電子透かし埋め込み処理対象を限定する処理と、前記フレーム内の一部分に限定した電子透かしデータ埋め込み処理とを、それぞれ個別に適用する。あるいは前記手段を組み合わせて適用する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明によれば、動画像データに対し電子透かしを埋め込む処理の性能向上および処理時間短縮を低コストで実現できる。また、ハードウェアリソースに制限のあるプラットフォームでの動画像データに対する電子透かし埋め込み処理の実現を現実的なものにできる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
図１は、本発明の実施の形態１における電子透かし埋め込みプログラムでの、映像データに対する処理の概要を示す説明図である。また図２は、本発明の実施の形態１における電子透かし埋め込みプログラムの処理に係わるデータ入出力と処理概要を示すブロック図である。また図３は、本発明の実施の形態１における電子透かし埋め込みプログラムでの電子透かし処理の内容を示すフロー図である。

図１で、ｆ０〜ｆ１１は、映像データを構成する、時間軸で連続する画像フレーム（以下、単にフレームと称する）のフレーム番号を示す。実施の形態１では、映像データを構成するフレームのうち現在フレームに対し電子透かし処理すなわちフィルタ処理と電子透かし埋め込み処理とを含む処理を施そうとする際に、前フレームにおける電子透かし処理でのフィルタ計算結果（すなわちフィルタ処理結果の計算値）をそのまま再利用する。前フレームにおけるフィルタ計算結果をそのまま利用するのは、フレーム間で隣り合う画像同士の差分が小さいと判断できるからである。特に実施の形態１では、偶数フレーム（ｆ０，ｆ２，ｆ４，…，ｆ１０）でフィルタ処理を行い、奇数フレーム（ｆ１，ｆ３，ｆ５，…，ｆ１１）ではその一つ前の偶数フレームにおけるフィルタ処理結果をそのまま再利用する。これにより、映像データ全体で要するフィルタ処理が削減されるので、全体での処理の高速化が図られる。

図２で、実施の形態１での電子透かし処理に係わり、動画像データ２０１、映像／音声分離部２０２、映像データ２０３、音声データ２０４、電子透かし処理部２０５、電子透かし入り映像データ２０６、映像／音声結合部２０７、電子透かし入りの動画像データ２０８を有する。本発明の各実施の形態の電子透かし埋め込みプログラムは、処理実行のプラットフォームとなるハードウェアにおいてコンピュータを構成するプロセッサにより読み込まれて実行されることで各種処理を行わせる。

動画像データ２０１は、入力となる動画像データであり、電子透かし埋め込み対象である映像データ２０３を含んだデータである。動画像データ２０１の形式としては例えばＭＰＥＧ等がある。映像データ２０３は、動画像データ２０１から分離後の映像データ部分である。音声データ２０４は、動画像データ２０１から分離後の音声データ部分である。電子透かし入り映像データ２０６は、映像データ２０３に対し電子透かしが埋め込まれたデータである。電子透かし入り動画像データ２０８は、映像データ２０３の部分に対し電子透かしが埋め込み済みの動画像データである。

映像／音声分離部２０２は、動画像データ２０１に含まれる映像データ２０３と音声データ２０４を別々のデータとして扱うための分離処理を行う処理部である。映像／音声処理部２０７は、電子透かし入り映像データ２０６と音声データ２０４を結合して電子透かし入り動画像データ２０８を出力する処理を行う処理部である。

電子透かし処理部２０５は、映像データ２０３に対し電子透かし（電子透かしデータ）を埋め込む処理を行う処理部である。電子透かし処理部２０５は、実施の形態１の電子透かし埋め込みプログラムの主要な部分を構成する。なお、映像／音声分離部２０２や映像／音声結合部２０７の処理に関しては本発明のプログラムに含めない構成としてもよい。

電子透かし埋め込み処理実行のプラットフォームとなるコンピュータにおいて実施の形態１の電子透かし埋め込みプログラムが動作する。実施の形態１の電子透かし埋め込みプログラムに基づく処理により、動画像データ２０１の入力をもとに映像データ２０３に対し電子透かしの埋め込みが行われる。映像／音声分離部２０２が入力された動画像データ２０１を映像データ２０３と音声データ２０４とに分離し、分離された映像データ２０３が電子透かし処理部２０５に入力される。電子透かし処理部２０５で、映像データ２０３に対し、図３に示す流れで電子透かし埋め込み処理が行われる。そして電子透かし入り動画像データ２０８として出力される。

次に、図３を参照して電子透かし処理部２０５による処理動作について説明する。電子透かし処理部２０５では、映像データ２０３を構成するフレームを順に入力して、フレーム毎に３０１〜３０６の処理を施す。一つのフレームは、例えば所定サイズの画素データ集合を含んで構成される。

始めにフィルタ処理実行判断処理３０１によって、処理対象となる現在フレームに対しフィルタ処理３０３を実行するか否かを判断する。フィルタ処理３０３の実行対象であると判断されたフレームに対しては、輝度データ抽出処理３０２、フィルタ処理３０３、フィルタ処理結果保存処理３０４の各処理が実行対象となる。一方フィルタ処理３０３の実行対象でない場合とは、すなわち過去フレームでのフィルタ処理結果の計算値を再利用する対象となる場合である。フィルタ処理の実行対象でないと判断されたフレームに対しては、前記フィルタ処理３０３他の処理は対象外となる。その代わりにフィルタ処理結果読み込み処理３０６が実行対象となる。最後に、各フレームについて電子透かしデータ埋め込み処理３０５で電子透かしデータの埋め込みがなされる。

フィルタ処理実行判断処理３０１においてフィルタ処理３０３の実行が必要であると判断する場合として、フィルタ処理結果がメモリに保存されていなかった場合と、フィルタ処理３０３を実行すべきタイミングになった場合との二つが挙げられる。フィルタ処理結果がメモリに保存されていなかった場合とは、過去のフィルタ処理結果保存処理３０４によりフィルタ処理結果のメモリへの保存がなされていない場合である。この場合は再利用できないのでフィルタ処理３０３を実行させる。フィルタ処理３０３を実行すべきタイミングとなった場合とは、フレーム間の画像差の小ささを利用して過去フレームにおけるフィルタ処理結果が再利用できる場合であり、図１を例にすると、フレーム番号が偶数の場合（ｆ０，ｆ２等）である。フィルタ処理実行判断処理３０１では、入力フレーム数をカウントする等して、フィルタ処理実行対象フレームと、フィルタ処理結果再利用フレームとに区分を行う。またフィルタ処理実行判断処理３０１で、フレームのタイプを調べたり、フレーム間の差分を調べたり等の処理を行ってこれに基づき前記判断を行ってもよい。

フィルタ処理３０３の実行対象と判断されたフレームに対して、輝度データ抽出処理３０２で輝度データを抽出し、フィルタ処理３０３を実行する。フィルタ処理３０３でのフィルタ処理結果の計算値をフィルタ処理結果保存処理３０４で所定のメモリ領域に保存し後の再利用に備える。そして電子透かしデータ埋め込み処理３０５で前記フィルタ処理結果の計算値をもとに電子透かしデータを埋め込む。

ここでフィルタ処理３０３は、電子透かし埋め込み処理における準備段階の処理工程であり、具体的には、電子透かしの埋め込み強度を決定するときに必要なパラメータを求めるためのフレームに対する画像処理である。電子透かしデータ埋め込み処理３０５では、前記フィルタ処理３０３で求めたパラメータをもとにフレームの画像領域に対し電子透かしデータを埋め込む。

一方、フィルタ処理３０３の実行対象でないと判断されたフレームに対しては、フィルタ処理結果読み込み処理３０６で、あらかじめメモリに保存されている前フレームにおけるフィルタ処理結果を読み込み、これを再利用する。すなわち対象フレームのフィルタ処理結果を一つ前のフレームのフィルタ処理結果と近似的に同じとみなし、このフィルタ処理結果の計算値を用いて次段の電子透かしデータ埋め込み処理３０５を行う。電子透かしデータ埋め込み処理３０５では、前記メモリから読み込んだフィルタ処理結果の計算値をそのまま用いてこれに基づき対象フレームに対し電子透かしデータ埋め込み処理を行う。

このようにして、電子透かし処理部２０５で電子透かしデータが埋め込まれたフレームが作成され、これを含んだ電子透かし入り映像データ２０６として出力される。これに対し映像／音声結合部２０７で音声データ２０４との結合処理が行われ、電子透かし入り動画像データ２０８が作成される。

なお電子透かし処理部２０５での処理対象データは、非圧縮状態の映像データである。従って、入力となる映像データ２０３が圧縮状態のデータである場合は電子透かし処理部２０５の前段のデコーダ（図示しない）で圧縮状態から非圧縮状態に復号化処理してから処理を行う。また、電子透かし処理部２０５から出力されたデータについては、電子透かし処理部２０５の後段のエンコーダ（図示しない）で必要に応じて非圧縮状態から圧縮状態に符号化処理して電子透かし入り映像データ２０６となる。

また電子透かし処理部２０５での処理では、所定の電子透かし埋め込み手法によりフレームに対し電子透かしデータを埋め込む。適用される電子透かし埋め込み手法自体は、フィルタ処理を含むことを前提にする以外は特に制限されない。輝度データ抽出処理３０１も電子透かし埋め込みのための一処理例であり、これに限定されず他の処理を行ってもよい。

図４は、実施の形態１の電子透かし埋め込みプログラムに対応する処理を実行する電子透かし埋め込み装置の構成例を示すブロック図である。この装置は、動画像データ入力装置４０１と、映像／音声分離装置４０２と、第一のメモリ装置４０３と、映像データ復号化装置４０４と、第二のメモリ装置４０５と、電子透かし処理装置４０７と、第三のメモリ装置４０８と、映像データ符号化装置４０９と、第四のメモリ装置４１０と、映像／音声結合装置４１２とを有して構成される。この装置は、例えば単一の電子透かし処理用プロセッサの形態で構成される。

動画像データ入力装置４０１は、処理対象となる動画像データ２０１を外部から入力し、映像／音声分離装置４０２に出力する。各部での処理はフレーム単位あるいはフレームを分割した画像領域単位等の所定データ単位で行われ、処理タイミング毎に前記データ単位でデータが移動される。

映像／音声分離装置４０２は、動画像データ入力装置４０１から動画像データ２０１を入力し、映像データ２０３と音声データ２０４に分離する。映像／音声分離装置４０２は、分離した映像データ２０３を第一のメモリ装置４０３に出力してその内の映像データ用メモリ領域に一旦格納する。また、分離した音声データ２０４を第一のメモリ装置４０３に出力してその内の音声データ用メモリ領域に一旦格納する。また、映像／音声分離装置４０２は、動画像データ２０１における分離する必要のないデータ（電子透かし埋め込み対象でない部分等）を映像／音声結合装置４１２に出力する。

第一のメモリ装置４０３からは、映像データ２０３が映像データ復号化装置４０４に出力される。また第一のメモリ装置４０３からは、音声データ２０４が映像／音声結合装置４１１に対し出力される。

映像データ復号化装置４０４は、第一のメモリ装置４０３から、映像データ２０３を入力し、映像データ２０３が符号化状態すなわち圧縮状態のデータである場合、これに復号化処理を施して、復号化映像データ（復号化状態すなわち非圧縮状態の映像データ）４０６を、第二のメモリ装置４０５に出力してその内のメモリ領域に一旦格納する（図中の点線で示される）。あるいは、映像データ復号化装置４０４は、復号化映像データ４０６を、第二のメモリ装置４０５に一旦保存する必要がない場合は電子透かし処理装置４０７に出力する（図中の実線で示される）。映像データ復号化装置４０４は、入力された映像データ２０３が復号化状態のデータである場合は、そのまま出力する。

電子透かし処理装置４０７は、第二のメモリ装置４０５あるいは映像データ復号化装置４０４から、復号化状態の映像データ（復号化映像データ４０６）を入力し、これに対し電子透かし処理（前述した電子透かし処理部２０５相当の処理）を行う。そして、処理後データである電子透かし入り映像データ２０６を、第三のメモリ装置４０８してその内の領域に格納する（図中の点線で示される）。あるいは、電子透かし処理装置４０７は、電子透かし入り映像データ２０６を一旦保存する必要がない場合は、映像データ符号化装置４０９に出力する。

映像データ符号化装置４０９は、第三のメモリ装置４０８あるいは電子透かし処理装置４０７から、電子透かし入り映像データ２０６を入力し、このデータが復号化状態すなわち非圧縮状態のデータである場合、これに符号化処理を施して、電子透かし入りの符号化映像データ４１１を、第四のメモリ装置４１０に出力してその内のメモリ領域に一旦格納する（図中の点線で示される）。あるいは、映像データ符号化装置４０９は、符号化映像データ４１１を一旦保存する必要がない場合は、映像／音声結合装置４１２に出力する。

映像／音声結合装置４１２は、第四のメモリ装置４１０あるいは映像データ符号化装置４０９から、電子透かし入りの符号化映像データ４１１を入力し、また、これに対応（同期）する音声データ２０４を第一のメモリ装置４０３から入力し、映像データと音声データの結合処理を行う。あるいは、映像／音声分離装置４０２から、前記映像と音声に分離されていない動画像データを入力する。そして、映像／音声結合装置４１２は、前記結合処理後のデータである電子透かし入りの動画像データの部分と、前記分離されていない動画像データの部分とを合わせたデータすなわち電子透かし入り動画像データ２０８を、外部に出力する。

以上の本実施の形態１の効果として、特に電子透かしデータ埋め込みのためのフィルタ処理量を削減して処理全体を高速化することができる。

実施の形態１の変形例を説明する。実施の形態１ではフレーム毎にフィルタ処理実行とフィルタ処理結果再利用とを交互に繰り返す形態としたが、フィルタ処理実行対象のフレームとフィルタ処理結果再利用対象のフレームとの比率はこれに限らず可能である。時間軸で近隣となるフレームの画像差（近さ）に応じて、例えば、フィルタ処理実行対象フレーム一つに対し、続く二つのフレームで前記フレームのフィルタ処理結果を再利用する形態としてもよい。あるいはフィルタ処理実行対象フレーム一つに対し、続く三つのフレームで前記フレームのフィルタ処理結果を再利用する形態としてもよい。

また例えば、フレーム間の画像差を判断して、差が小さいと判断できる場合は前記フィルタ処理結果を再利用し続ける処理を行う形態としてもよい。例えば、フィルタ処理を施したフレームとその次に来るフィルタ処理結果再利用フレームとの画像差を判断し、それに基づき、その後にフィルタ処理結果再利用フレームを連続させる数を決定する処理を行う形態としてもよい。

（実施の形態２）
図５は、本発明の実施の形態２における電子透かし埋め込みプログラムでの、映像データに対する処理の概要を示す説明図である。また図６は、本発明の実施の形態２における電子透かし埋め込みプログラムの処理を示すフロー図である。

図５で、ｆ２０〜ｆ３１は、映像データを構成する、時間軸で連続するフレームのフレーム番号を示す。実施の形態２では、例えばＭＰＥＧなどの差分圧縮方式に従って圧縮（符号化）されている動画像データを対象として電子透かし埋め込み処理を実行する。その際、映像データを構成する各フレームの圧縮（符号化）のタイプを判断し、その判断に基づき電子透かし埋め込み処理要否判定を行う。フレーム間差分情報ではなくフレーム内画像情報をもとに符号化が完結しているタイプのフレーム（ＭＰＧＥの場合ならＩフレーム）を電子透かし埋め込み処理対象とし、フレーム間差分情報をもとに符号化されているタイプのフレーム（ＭＰＥＧの場合ならＰフレームやＢフレーム）を電子透かし埋め込み処理対象としない判断を行う。この判断に基づき、フレーム内画像情報をもとに符号化が完結しているタイプのフレームに限定して電子透かし埋め込み処理を施す。図５の場合、フレーム番号ｆ２０とｆ２６のフレームはＩフレームであり、これを電子透かし埋め込み処理対象としてフィルタ処理等を含む電子透かし埋め込み処理を実施する。それ以外のフレームはＰフレームやＢフレームであり、これらを電子透かし埋め込み処理対象とはせずフィルタ処理等も実施しない。これにより、電子透かし埋め込み処理が削減されるため、動画像全体での処理の高速化を図ることができる。

ＭＰＥＧでは、フレーム（ピクチャ）の画像の符号化を行う際に、各フレームをＩフレーム、Ｐフレーム、Ｂフレームの三種に区別し、フレーム間で予測符号化が行われる。Ｉフレームは、他のフレームとは独立して符号化され、フレーム内で符号化が完結する画像である。ＩフレームはＰフレームやＢフレームの予測基準フレームとなる。フレーム間差分情報を用いないのでＩフレームが最もデータ量が多くなる。Ｐフレームは、順方向予測符号化画像であり、時間軸で過去のフレームを用いて予測符号化された画像である。Ｂフレームは、双方向予測符号化画像であり、時間軸で過去・未来のフレームを用いて双方向から予測符号化された画像である。Ｂフレームが最もデータ量が少なくなる。

実施の形態２の電子透かし埋め込みプログラムの処理に係わるデータ入出力と処理概要は図２と同様である。動画像データ２０１のうちの映像データ２０３は、差分圧縮法により符号化されたデータとなる。この映像データ２０３を構成するフレームが電子透かし処理部２０５に入力される。実施の形態２では、電子透かし処理部２０５で、図６に示すような処理を行う。

図６を参照して実施の形態２の場合の電子透かし処理部２０５の処理動作について説明する。電子透かし処理部２０５では、映像データ２０３を構成するフレームを順に入力して、フレーム毎に６０１〜６０４の処理を施す。電子透かし処理部２０５での処理対象データは、非圧縮状態の映像データである。入力となる映像データ２０３が圧縮状態のデータであるので、電子透かし処理部２０５の前段のデコーダで必要に応じて圧縮状態から非圧縮状態に復号化処理を行う。また、電子透かし処理部２０５から出力されたデータについては、電子透かし処理部２０５の後段のエンコーダで非圧縮状態から圧縮状態に符号化処理して電子透かし入り映像データ２０６となる。

始めに、フィルタ処理実行判断処理６０１によって、処理対象となる現在フレームに対しフィルタ処理６０３を実行するべきかどうか、すなわち電子透かし埋め込み処理の対象とするかどうかを判断する。このときフィルタ処理６０３の実行が必要であると判断するための要素を、差分圧縮法により高圧縮されている映像データ２０３として例えばＭＰＥＧ-１形式のデータを入力している場合を例にして説明する。

ＭＰＥＧ-１形式のデータは、フレーム内画像全体の画素を対象に圧縮（符号化）処理を施したフレーム（Ｉフレーム）と、過去のフレームもしくは、過去と未来のフレームとの差分情報を対象に圧縮処理を施したフレーム（Ｐフレーム、Ｂフレーム）に分類できる。このようにフレームのタイプを分類できる場合、フレーム間差分情報を対象に圧縮処理を施したフレームに含まれている情報は極小であると判断できる。すなわち、電子透かしを検出できる可能性が低いため、電子透かし埋め込み処理を行う効果が低いと判断できる。

従って、フィルタ処理実行判断処理６０１では、フレームの分類を前記エンコーダの判断をもとに先読みして、前記Ｉフレームを入力した場合にのみフィルタ処理６０３を実行する必要があると判断する。フレームのタイプやフレーム間差分等の判断は、エンコーダもしくはフィルタ処理実行判断処理６０１のいずれで行うようにしてもよい。

前記判断でフィルタ処理６０３の実行が必要であると判断されたフレームの場合、輝度データ抽出処理６０２で輝度データが抽出され、フィルタ処理６０３が実行される。そして、電子透かしデータ埋め込み処理６０４で前記フィルタ処理６０３での計算値をもとに当該フレームに対し電子透かしデータが埋め込まれる。

前記判断でフィルタ処理６０３の実行が必要でないと判断されたフレームの場合は、電子透かし埋め込み処理対象としないので、何も施さずに終了する。

このようにして、電子透かし処理部２０５で電子透かしデータが埋め込まれたフレームが作成され、これを含んだ電子透かし入り映像データ２０６として出力される。これに対し映像／音声結合部２０７で音声データ２０４との結合処理が行われ、電子透かし入り動画像データ２０８が作成される。

実施の形態２の電子透かし埋め込みプログラムに対応する処理を実行する電子透かし埋め込み装置の構成は、図４と同様である。電子透かし処理装置４０７において図６に示すような処理を行うことが異なる。

また実施の形態２の場合も、電子透かし処理部２０５で適用される電子透かし埋め込み手法自体は、フィルタ処理を含むことを前提にする以外は特に制限されない。

以上の実施の形態２による効果として、特に電子透かし埋め込み処理を削減して処理全体を高速化することができる。

（実施の形態３）
図７は、本発明の実施の形態３における電子透かし埋め込みプログラムでの、映像データに対する処理の概要を示す説明図である。また図８は、本発明の実施の形態３における電子透かし埋め込みプログラムの処理を示すフロー図である。

図７で、フレーム７１は、映像データを構成するフレームのうちの単一フレーム、すなわちフレーム全体の画像領域を示す。電子透かしデータ埋め込み範囲７２は、フレーム７１を構成する画像領域内で、電子透かしデータ埋め込み処理対象となる範囲の例を示す。

実施の形態３では、映像データを構成するフレームにおいて、電子透かし埋め込み処理の実行対象を、フレームを構成する画像のうちの一部分に限定する。動画像データを対象として電子透かし埋め込み処理を実行する際、映像データを構成する各フレームについて、電子透かしデータ埋め込み範囲７２を設定する。この設定はあらかじめ定めた範囲としてもよいし、フレーム毎にその都度設定してもよい。そしてこの電子透かしデータ埋め込み範囲７２を対象として、フィルタ処理等を含む電子透かし埋め込み処理を実行する。図７の場合、電子透かしデータ埋め込み範囲７２はフレーム中で所定サイズの矩形の画素領域に限定される。これにより、電子透かし埋め込み処理が削減されるため、動画像全体での処理の高速化を図ることができる。

実施の形態３の電子透かし埋め込みプログラムの処理に係わるデータ入出力と処理概要は図２と同様である。映像データ２０３を構成するフレームが電子透かし処理部２０５に入力される。実施の形態３では、電子透かし処理部２０５で、図８に示すような処理を行う。

図８を参照して実施の形態３の場合の電子透かし処理部２０５の処理動作について説明する。電子透かし処理部２０５では、映像データ２０３を構成するフレームを順に入力して、フレーム毎に８０１〜８０４の処理を施す。電子透かし処理部２０５での処理対象データは、非圧縮状態の映像データである。必要に応じて前記デコーダやエンコーダによって映像データ２０３の復号化や符号化を行う。

電子透かし処理部２０５では、始めに、電子透かしデータ埋め込み範囲設定処理８０１によって、処理対象となるフレームに対し、あらかじめ定められている電子透かしデータ埋め込み範囲７２を設定する。その後、輝度データ抽出処理６０２で、処理対象フレームについて前記設定した電子透かしデータ埋め込み範囲７２のみを対象として輝度情報を収集し、フィルタ処理６０３を実行する。そして、電子透かしデータ埋め込み処理６０４で、同様に前記電子透かしデータ埋め込み範囲７２のみを対象として前記フィルタ処理８０３での計算値をもとに電子透かしデータを埋め込む処理を行う。

また、電子透かしデータ埋め込み範囲設定処理８０１は、関連する処理として例えば、前記電子透かしデータ埋め込み範囲７２を設定するためのパラメータ値を所定のメモリに保存しておき、それを必要時に読み込んで前記フレームに対する設定を行う。あるいは、フレームのタイプ等を判断してその都度、電子透かしデータ埋め込み範囲７２を設定する処理を行ってもよい。

なお電子透かしデータ埋め込み範囲設定処理８０１で、処理対象となるフレームに対し電子透かしデータ埋め込み範囲７２の設定を行うかどうかを判断してから設定を行う形態としてもよい。すなわち映像データ２０３を構成する全フレームのうち一部のフレームに対して電子透かしデータ埋め込み範囲７２の設定を行う。また電子透かしデータ埋め込み範囲７２については、矩形領域に限らない。

このようにして、電子透かし処理部２０５で電子透かしデータが埋め込まれたフレームが作成され、これを含んだ電子透かし入り映像データ２０６として出力される。これに対し映像／音声結合部２０７で音声データ２０４との結合処理が行われ、電子透かし入り動画像データ２０８が作成される。

実施の形態３の電子透かし埋め込みプログラムに対応する処理を実行する電子透かし埋め込み装置の構成は、図４と同様である。電子透かし処理装置４０７において図８に示すような処理を行うことが異なる。

また実施の形態３の場合も、電子透かし処理部２０５で適用される電子透かし埋め込み手法自体は、フィルタ処理を含むこと、電子透かしデータ埋め込み範囲７２に対して処理を実行することを前提にする以外は特に制限されない。

以上の実施の形態３による効果として、特にフレーム内で電子透かしデータ埋め込み範囲を限定した分、電子透かし埋め込み処理を削減して処理全体を高速化することができる。

前述した各実施の形態による高速化は、動画像データに対し一つ適用してもその効果を期待できるが、二つ以上組み合わせることにより、より大きな効果を期待できる。例えば、実施の形態１と実施の形態３とを組み合わせて用いる。この場合、例えば処理対象フレームに対し電子透かしデータ埋め込み範囲７２による限定を行って、それに対し前記フィルタ処理またはフィルタ処理結果再利用処理が電子透かし埋め込み処理として実施される。また、実施の形態２と実施の形態３とを組み合わせて用いる。この場合、例えばフレーム内の画像全体の画素を対象に圧縮処理が完結しているフレームを対象にして、さらに電子透かしデータ埋め込み範囲７２による限定を行ってそれに対し電子透かし埋め込み処理が実施される。

なお各実施の形態の電子透かし埋め込みプログラムにより埋め込んだ電子透かしを検出する処理については従来技術に従う処理である。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明は、ディジタルコンテンツの電子透かし技術等に利用可能である。

電子透かし埋め込みプログラムでの、映像データに対する処理例の概要を示す説明図である。 データ入出力と処理概要を示すブロック図である。 電子透かし処理の内容を示すフロー図である。 電子透かし埋め込み装置の構成例を示すブロック図である。 映像データに対する処理の他の例の概要を示す説明図である。 電子透かし処理の他の例の内容を示すフロー図である。 映像データに対する処理の他の例の概要を示す説明図である。 電子透かし処理の他の例の内容を示すフロー図である。

符号の説明

ｆ０〜ｆ１１…フレーム番号、ｆ２０〜ｆ３１…フレーム番号、７１…フレーム、７２…電子透かしデータ埋め込み範囲、２０１…動画像データ、２０２…映像／音声分離部、２０３…映像データ、２０４…音声データ、２０５…電子透かし処理部、２０６…電子透かし入り映像データ、２０７…映像／音声結合部、２０８…電子透かし入り動画像データ、４０１…動画像データ入力装置、４０２…映像／音声分離装置、４０３…第一のメモリ装置、４０４…映像データ復号化装置、４０５…第二のメモリ装置、４０６…復号化映像データ、４０７…電子透かし処理装置、４０８…第三のメモリ装置、４０９…映像データ符号化装置、４１０…第四のメモリ装置、４１１…符号化映像データ、４１２…映像／音声結合装置。

Claims (3)

1. 動画像データを入力し、入力した動画像データに含まれる映像データに電子透かしを埋め込む電子透かし埋め込みプログラムであって、
   前記映像データの１つのフレームに対し、前記電子透かしを埋め込むためのフィルタ処理の実行対象とするかどうかを判断する処理と、
   前記判断に基づき前記フィルタ処理の実行対象となるフレームに対し前記フィルタ処理を実行し、フィルタ処理結果を保存する処理と、
   前記判断に基づき前記フィルタ処理の実行対象でないフレームに対し前記保存したフィルタ処理結果を読み込んでそれを再利用する処理をコンピュータに実行させることを特徴とする電子透かし埋め込みプログラム。
2. 差分圧縮法により圧縮されている動画像データを入力して、入力した動画像データに含まれる映像データに電子透かしを埋め込む電子透かし埋め込みプログラムであって、
   前記映像データの各々のフレームに対し圧縮のタイプを認識し、フレーム内で画像全体の画素を対象にして圧縮処理されているタイプのフレームを電子透かし埋め込み処理の実行対象とする判断を行う処理と、
   前記判断に基づき前記電子透かし埋め込み処理対象となるフレームに対し電子透かし埋め込み処理を行う処理をコンピュータに実行させることを特徴とする電子透かし埋め込みプログラム。
3. 動画像データを入力して、入力した動画像データに含まれる映像データに電子透かしを埋め込む電子透かし埋め込みプログラムであって、
   前記映像データのそれぞれのフレームに対し電子透かしを埋め込む際、電子透かしデータ埋め込み処理対象を前記フレーム内の画像全体のうち一部に限定する設定を行う処理と、
   前記設定に基づき前記フレームに対し電子透かしデータ埋め込み処理を行う処理をコンピュータに実行させることを特徴とする電子透かし埋め込みプログラム。

Images