JP2004166018A - 電子透かし情報検出方法、装置、及び画像表示装置 - Google Patents

Abstract

【課題】圧縮符号化された画像データを復号し、かつ透かしデータを検出する場合、圧縮により生じた画像品質の低下、特にＢピクチャの品質の低下により、検出される透かしデータの検出確度が低くなることがあり、十分に確からしい透かし検出を行なえない。
また、電子透かし埋め込み及び検出アルゴリズム自身の持つ特性や、人間の視覚の特性により、動画像に埋め込んだ透かしデータの検出確度は、電子透かしを埋め込む対象である元画像に依存する場合がある。このため、動画像コンテンツ全体としてみると、一部のシーンでは十分な電子透かしの検出が行なえない。
【解決手段】ＭＰＥＧ圧縮符号化された画像データのうち、他の画像データの復号時に参照される画像データ、即ちＩピクチャ及びＰピクチャのみを用いて、透かし情報の検出を行なう。
また、各ピクチャを時間軸方向に統計処理する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の著作権保護、画像の改竄防止などのために画像に埋め込まれた電子透かしなどの目視しにくい情報を、外部からの要求によって出力する方法及び装置に関する。
【０００２】
【従来の技術】
従来のアナログ画像と比較して、画像をデジタルデータとして扱うデジタル画像は、コンピュータ等によって画質劣化を伴わずに簡単にコピーでき、また通信回線等を通じて電送することができるという特徴がある。この特徴のため、デジタル画像を不正にコピーされた場合、著作権利者などに与える損害が大きくなる。デジタル画像の不正コピーを防ぐための方法の一つとして、電子透かしと呼ばれる方法があり、例えば、下記する特許文献１などのような例がある。
【０００３】
電子透かしは大きく分類して、著作権情報、ユーザ情報などの透かし情報を目に見えない形で埋め込む不可視型と、画像上に著作権を保有する会社のロゴなどの透かし画像を目に見える形で形成する可視型とがある。
【０００４】
不可視型の電子透かしでは、透かし情報が埋め込まれているということが埋め込み画像を一見しただけでは認識できないが、画像を特定の方法に従って処理することにより、埋め込まれている透かしデータ、例えば著作権情報などを取り出すことが可能である。前述の特許文献１のような例においては、著作権情報などの透かしデータは、画像全体にノイズのような形で埋め込み、これを統計処理することによって取り出す方法を採る。この方法は統計処理によるものであるため、透かしを埋め込んだ画像データが何らかの原因で劣化したような場合、例えば画像全体にノイズが乗ったような状態では、元々埋め込んでおいた透かしデータを完全な形で取り出すことができない、若しくは、取り出したデータが十分信頼性のあるデータであることを保証できないことがある。この場合、例えば著作権情報を透かしデータとして埋め込んでいたにもかかわらず、著作権の十分な保護を行えないことになる。
【０００５】
画像データの劣化の原因の一つとして、画像データに対する圧縮処理がある。現在広く用いられている動画像に対する圧縮方式の一つとして、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）と呼ばれる方式がある。ＭＰＥＧでは、動画像の各フレームを複数の圧縮方法に従って効率よく圧縮しようとする。ここで用いられる圧縮方法は、フレーム内符号化方式と、フレーム間符号化方式とがあり、さらにフレーム間符号化方式には、直前フレームを予測フレームとする順方向予測符号化方式と、直前と直後のフレームを予測フレームとする双方向予測符号化方式とがある。ＭＰＥＧでは、フレーム内符号化方式による画像はＩピクチャ、順方向予測符号化方式によるものはＰピクチャ、双方向予測符号化方式によるものはＢピクチャと呼ばれる。
【０００６】
さて、画像圧縮処理に起因するデータ劣化によって透かしデータを正しく取り出せないといった問題を解決するため、例えば、下記する特許文献２に記載されているような方法が考案されている。該公報によれば、動画像のうち一部の静止画のみを取り出して不正コピーされることを想定した場合、不正コピーされた画像がＩピクチャ、即ちフレーム内符号化方式によるものであれば容易に電子透かしの検出処理を行なうことができることに着目し、画像表示装置から静止画として出力できる画像をＩピクチャだけに限定する機構、即ちユーザが動画像の一時停止操作をしてもＩピクチャ以外では一時停止できないようにする制限機構を設けることにより、著作権保護を確実に行うことができるとされる。
【０００７】
次に、電子透かし検出を行なう際、画像に埋め込まれている透かしデータを正確に検出したかどうかの確からしさを、検出確度という。検出確度を一般的にあげるためには、埋め込むデータ量に対して、変化させる画素の数量や変化量を単純に増やしたりする方法がある。しかしこの方法は、埋め込むデータの増加に比例して、画質の低下が見込まれるという問題がある。
【０００８】
ここでは、電子透かし埋め込み及び検出アルゴリズムとして、下記する特許文献３に記載されているような方式を想定している。このアルゴリズムでは、画像を複数の矩形ブロックに仮想的に分割し、それぞれの矩形ブロック内の同じ相対位置に輝度ノイズを埋め込む。検出時にはこのノイズを統計的に検出し、透かし情報として取り出すといった方法である。
【０００９】
このアルゴリズムの特徴として、平坦な輝度を持つ画像に埋め込んだ透かし情報は高い確度で検出され、また、乱雑な輝度を持つ画像に埋め込んだ透かし情報は、検出時の確度が低くなるという傾向にある。
【００１０】
一方、人間の視覚には、平坦な部分のノイズは知覚しやすく、乱雑な部分のノイズには鈍感であるという特性がある。これに加え、例えば顔の輪郭のような、エッジ部分のノイズも知覚しやすく、また、動画として動きの激しい部分については、細かい部分を認識しないといった特性もある。
【００１１】
実際に電子透かしを埋め込む際に、以上のような人間の視覚の特性を考慮して埋め込みを行なうことによって、人間が知覚する画質の劣化を最小に抑えつつ、多くの情報を埋め込むことが可能になる。
【００１２】
しかし、以上述べたような従来技術には、以下に述べるような課題があった。
【００１３】
【特許文献１】
米国特許５，６３６，２９２号
【特許文献２】
特開２００２−１０２２４号公報
【特許文献３】
特開２０００−２７０２０５号公報
【００１４】
【発明が解決しようとする課題】
現在よく使用されているＭＰＥＧビデオストリームにおけるＰピクチャ画像の品質は、Ｉピクチャのそれに比べ、やや劣るものの大きくは変わらない。これに対し、Ｂピクチャ画像の品質は、これらに比べて大きく劣るものになっている。これは、Ｉピクチャ及びＰピクチャは、フレーム間符号化方式による予測フレームとして参照される画像であるが、Ｂピクチャは、単に表示するために使用されるだけで、予測フレームとして参照されないことがその理由である。予測フレームとして参照される画像の場合、その画像の品質が参照先の画像品質に直接影響するため、品質をなるべく高く保持する必要がある。このように、ＭＰＥＧによって圧縮された動画像では、フレームによって画像の品質に差があることが普通である。
【００１５】
しかるに上述したような従来技術においては、全てのフレームに対して同様の透かしデータ埋め込み及び検出を行なおうとしており、効率が悪い。例えば、Ｉピクチャとして圧縮される画像と、Ｂピクチャとして圧縮される画像に対して、それぞれ同じ方法で透かしデータを埋め込んだ場合、動画像の内容によっては、Ｉピクチャからは正しく透かしデータを取り出すことができても、Ｂピクチャからは正しく取り出すことができない、若しくは、取り出した透かしデータの検出確度が低すぎる、といったことが起こりうる。このようなケースでは、Ｂピクチャから透かしデータを取り出すための計算量が結果的に無駄になるうえ、場合によっては取り出した透かしデータに誤った情報が乗ってしまう原因にもなる。誤った情報が乗ってしまう可能性がある場合、当該の情報が間違っているか否かについて処理の後段で考慮する必要が生じ、さらに計算量の増大に繋がる。
【００１６】
また、前述した別の従来技術においては、Ｉピクチャにおいてのみ一時停止を許す、といった解決方法を採っている。現在よく使用されている標準的なＭＰＥＧビデオストリームにおいては、Ｉピクチャが０．５秒に一回の頻度で現れるため、上述の方式では、０．５秒より細かい単位での一時停止などの各種編集処理が原理的に行なえないことになる。
【００１７】
次に、上述したような、電子透かし埋め込み及び検出アルゴリズム自身の持つ特性や、人間の視覚の特性により、動画像に埋め込んだ透かしデータの検出確度は、電子透かしを埋め込む対象である元画像に依存する場合がある。
【００１８】
例えば、極めて静止画に近い状態の動画像と、被写体の殆どが動いている動画像とでは、後者のほうが検出確度が高くなることが多い。これは、動きの激しい部分に対しては、電子透かし埋め込み時に、画質の劣化を伴わずに多くの透かしデータを埋め込むことが可能になるためである。
【００１９】
このような特徴を持つため、動画像コンテンツ全体としてみると、殆どのシーンでは十分な確度の電子透かしが検出できるが、一部の静止画に近いシーンでは十分な電子透かしの検出が行なえない、といった問題が起きる可能性がある。
【００２０】
【課題を解決するための手段】
上記課題は、
透かし情報が埋め込まれ、かつ複数の方法を用いて圧縮符号化された画像データを、復号し、かつ透かし情報を検出する方法において、
該透かし情報を検出する方法は、
前記複数の方法を用いて圧縮符号化された画像データのうち、他の画像データの復号時に参照される画像データのみを用いて行なう方法とすることによって解決される。
【００２１】
【発明の実施の形態】
以下、本発明の一実施例について、図面を用いて説明する。
〔第一実施例の説明〕
図１に本発明の第一の実施例を示す。図１において、１はピクチャ種別判定手段、２はＭＰＥＧデコード手段、３はスイッチ、４は電子透かし抽出手段である。また、１０１はＭＰＥＧストリーム入力、１０２はＩ・Ｐピクチャ検出信号、である。
【００２２】
次に図１を用いて、本実施例の動作について説明する。
【００２３】
外部から入力されるＭＰＥＧストリーム入力１０１は、ピクチャ種別判定手段１及びＭＰＥＧデコード手段２に供給される。ピクチャ種別判定手段１は、入力されたストリーム中の各ピクチャ種別を判定し、どの種類のピクチャが流れ込んでいるかの情報を、スイッチ３に送る。本実施例では、ＩピクチャまたはＰピクチャが流れていることを、Ｉ・Ｐピクチャ検出信号１０２によってスイッチ３に送る構成とする。
【００２４】
次にＭＰＥＧデコード手段２は、入力されたＭＰＥＧストリームをデコードし、画像データとして出力する。
【００２５】
ここで、ピクチャ種別判定手段１と、ＭＰＥＧデコード手段２の間には、データディレイ時間に差があり、通常はディレイの小さい側のデータをディレイバッファ（図示せず）などによって遅延させるなどの処理が必要となる。しかし本実施例では、説明の簡単のため、ディレイ時間の差については触れない。
【００２６】
次にスイッチ３は、ピクチャ種別判定手段１からのＩ・Ｐピクチャ検出信号１０２を元に動作する。この信号が、ＩピクチャまたはＰピクチャを示している場合に限り、画像データを電子透かし抽出手段４に送る。電子透かし抽出手段４は、入力したピクチャをフレーム単位で処理し、当該フレーム内に電子透かしが埋め込まれているかどうか、埋め込まれているならばその値は何か、を検出する。
【００２７】
先に述べたように、Ｂピクチャの画像品質は、ＩピクチャおよびＰピクチャのそれに比べて低い。このため、Ｂピクチャを電子透かし検出処理から除くことで、検出確度の平均値の向上が見込まれる。また、誤った検出データを出力してしまう可能性を低減することも見込まれる。
【００２８】
次に、本実施例の動作について別の図を用いて説明する。
【００２９】
図２は、本実施例の動作を示す概念図である。図２において、２０１はＭＰＥＧストリーム、２０２はＭＰＥＧストリーム中のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、２１１はＩピクチャ、２１２はＰピクチャである。
【００３０】
また図２は、標準的に用いられるＭＰＥＧストリームにおけるピクチャの並び等を示している。この例では、１５ピクチャからなるＧＯＰの中に、１つのＩピクチャ、４つのＰピクチャが含まれ、それらは３フレームごとに現れる。横軸は時間であり、ＭＰＥＧデコード手段からは、２０１に示す順で各ピクチャが画像データとして出力される。これらのうちＩピクチャおよびＰピクチャのみを選択的に取り出し、これを電子透かし抽出手段に入力することで、所望の動作を行なうことができる。
〔第二実施例の説明〕
次に、本発明の別の実施例について説明する。
【００３１】
図３に本発明の第二の実施例を示す。図３において、１はピクチャ種別判定手段、２はＭＰＥＧデコード手段、３はスイッチ、４は電子透かし抽出手段、１１は累積加算処理手段、１２は累積情報記憶手段である。また、１０１はＭＰＥＧストリーム入力、１０２はＩ・Ｐピクチャ検出信号、である。
【００３２】
次に図３を用いて、本実施例の動作について説明する。
【００３３】
本実施例は、基本的な構成は第一実施例と同じだが、累積加算処理手段１１と累積情報記憶手段１２とを備える点が異なる。
【００３４】
スイッチ３から出力される画像データは、電子透かし抽出手段４に送られると同時に、累積加算処理手段１１に送られる。累積加算処理手段１１は、予め設定したフレーム数のピクチャについて統計的な加算処理を行ない、画像データ上の特定の相対位置に、特異なノイズが乗っているかどうかを統計情報として得るための処理を行なう。統計処理の結果は、累積情報として累積情報記憶手段１２に記憶され、それらは順次、電子透かし抽出手段４に送られる。
【００３５】
第一実施例においては、単一のフレーム内における統計処理によって、特定の相対位置に特異なノイズが乗っているかどうかを統計情報として抽出していた。これに対し、本実施例では、複数のフレーム、即ち、より多くのサンプル画像に対して同様の統計処理を施し、特定の相対位置に特異なノイズが乗っているかどうかを統計情報として抽出する。これにより、より検出確度の高い電子透かし検出を行なうことができる。
【００３６】
次に、本実施例の動作について別の図を用いて説明する。
【００３７】
図４は、本実施例の動作を示す概念図である。図４において、２０１はＭＰＥＧストリーム、２０２はＭＰＥＧストリーム中のＧＯＰ、２２１は累積情報記憶手段に累積情報として記憶されている累積ピクチャ情報、２２２は透かし検出対象のピクチャである。
【００３８】
この例では、直前の３フレーム分のＩピクチャ又はＰピクチャに関する累積情報を記憶しておき、これと現在の検出対象ピクチャの情報とを合わせ、電子透かし検出処理を行なうことを想定している。
【００３９】
累積ピクチャ情報を生成する方法としては、ピクチャごとの情報を別々に記憶しておいて必要に応じて加算処理を行なう方法や、累積処理対象のピクチャが現れるたびに順次加算処理を行なっておくといった方法がある。
【００４０】
また、累積されている統計情報と、現在の検出対象ピクチャからの統計情報とを、同一の重み付けで処理する必要はなく、例えば、現在の検出対象ピクチャからの情報を重要視するといった処理をしてもよい。
【００４１】
次に、本実施例の動作について、さらに別の図を用いて説明する。
【００４２】
図６は、本実施例の別の動作を示す概念図である。図６において、２０１はＭＰＥＧストリーム、２０２はＭＰＥＧストリーム中のＧＯＰ、２２１は累積情報記憶手段に累積情報として記憶されている累積ピクチャ情報、２２２は透かし検出対象のピクチャである。
【００４３】
この例では、累積情報を記憶しておく過去のピクチャとして、直前の３フレームのピクチャではなく、現在のピクチャから２フレーム前のピクチャ、４フレーム前のピクチャ、及び８フレーム前のピクチャを選択している。これら３フレーム分のピクチャに関する累積情報を記憶しておき、これと現在の検出対象ピクチャの情報とを合わせ、電子透かし検出処理を行なうことを想定している。
【００４４】
累積ピクチャ情報を利用する手法は、過去の統計情報を利用することにより、現在検出対象になっているピクチャ単体では十分ではない検出確度を、より高くすることを目的としている。しかし、単純に直前のピクチャを利用する方法では、累積されているピクチャ同士が高い相関を持っている可能性があり、単純にサンプル数を増やすだけでは有意な検出確度の向上が得られないことがある。
【００４５】
この点を解消するため、この例では、直前の３フレームのピクチャではなくそれより以前のピクチャを選択することにより、現在検出対象になっているピクチャと、累積情報として記憶されているピクチャとの間の相関性が低くなることを期待している。
【００４６】
ただしこの方法において、あまり遠い過去のピクチャを参照しようとすると、最初の検出開始時や、埋め込まれている透かしデータ自体が切り替わった際などに、確度の高い透かしデータを検出するまでのディレイが大きくなる点に注意する必要がある。
【００４７】
次に、本実施例の動作について、さらに別の図を用いて説明する。
【００４８】
図７は、本実施例のさらに別の動作を示す概念図である。図７において、２０１はＭＰＥＧストリーム、２０２はＭＰＥＧストリーム中のＧＯＰ、２２１は累積情報記憶手段に累積情報として記憶されている累積ピクチャ情報、２２２は透かし検出対象のピクチャである。
【００４９】
この例では、累積情報を記憶しておく過去のピクチャとして、直前のＩピクチャを３フレーム分使用することを想定している。ＩピクチャはＰピクチャよりも画質が優れているため、高い検出確度の透かしデータを取り出せることが期待できる。
【００５０】
ただしこの方法では、最大３ＧＯＰ前のＩピクチャまでさかのぼってピクチャを参照するため、透かし検出に要するディレイが大きくなる点に注意が必要である。
〔第三実施例の説明〕
次に、本発明のさらに別の実施例について説明する。
【００５１】
図５に本発明の第三の実施例を示す。図５において、１はピクチャ種別判定手段、２はＭＰＥＧデコード手段、３はスイッチ、４は電子透かし抽出手段、１１は累積加算処理手段、１２は累積情報記憶手段、１３は透かしデータ選択手段、１４は第２の電子透かし抽出手段である。また、１０１はＭＰＥＧストリーム入力、１０２はＩ・Ｐピクチャ検出信号、である。
【００５２】
次に図５を用いて、本実施例の動作について説明する。
【００５３】
本実施例は、基本的な構成は第二実施例と同じだが、透かしデータ選択手段１３と、第２の電子透かし抽出手段１４とを持つ点が異なる。
【００５４】
電子透かし検出手段４から出力される透かしデータは、直接出力されるのではなく、選択手段１３に送られる。また、これとは別に、第２の電子透かし検出手段１４が、累積情報によらず、スイッチ３からの出力情報のみを元にして電子透かし検出を行ない、検出した透かしデータを選択手段１３に送る。
【００５５】
ここで選択手段１３に送られてくる透かしデータには、検出したデータ自身のほかに、そのデータが本当に埋め込まれているかどうかの確からしさを示す情報である検出確度が含まれている。選択手段１３は、検出確度の情報を元にして、どちらの検出手段から送られてきた情報がより確からしいかを判断し、出力すべきデータの選択を行なう。
【００５６】
第二実施例の方法に対してこの方法は、例えばＭＰＥＧストリーム中にシーンチェンジがあった場合などに有効である。累積されている情報の品質があまりよくない状態の場合、現在の検出対象ピクチャだけから検出処理を行なったほうが、かえって検出確度の高い透かしデータを得られる場合があるためである。このような状態は例えば、ストリーム中にシーンの切れ目があるような場合に起きることがある。
【００５７】
なお、以上述べた実施例中では、説明の簡単のため、Ｂピクチャに透かしデータが埋め込まれているかどうかについて言及していないが、著作権などの効果的な保護のためには、Ｂピクチャを含む全フレームに透かしデータを埋め込むことが望ましいのは言うまでもない。
【００５８】
また、以上述べた実施例においては、ＭＰＥＧ方式による画像圧縮が行なわれていることを前提として説明したが、必ずしもＭＰＥＧに限定されるものではなく、同様のフレーム間予測を行なう画像圧縮方式に対しても、本発明はなんら問題なく適用できるものである。
【００５９】
【発明の効果】
以上述べたように本発明によれば、
ＭＰＥＧ等の方式により圧縮された動画像ストリームから、予め埋め込まれている電子透かし等の情報を検出する際に、
検出のための計算量を低減することが可能となり、
また、検出された透かしデータ等の検出確度を高めることが可能となり、
また、同等程度の検出確度であれば画質を高めることが可能となる
という効果がある。
【図面の簡単な説明】
【図１】本発明の第一実施例の構成図。
【図２】本発明の第一実施例の動作を示す概念図。
【図３】本発明の第二実施例の構成図。
【図４】本発明の第二実施例の動作を示す概念図。
【図５】本発明の第三実施例の構成図。
【図６】本発明の第二実施例の別の動作を示す概念図。
【図７】本発明の第二実施例のさらに別の動作を示す概念図。
【符号の説明】
１…ピクチャ種別判定手段、２…ＭＰＥＧデコード手段、３…スイッチ、４…電子透かし抽出手段、１１…累積加算処理手段、１２…累積情報記憶手段、１３…透かしデータ選択手段、１４…第２の電子透かし検出手段、１０１…ＭＰＥＧストリーム入力信号、１０２…Ｉ・Ｐピクチャ検出信号、２１１…Ｉピクチャ、２１２…Ｐピクチャ、２２１…累積ピクチャ情報、２２２…透かし検出対象ピクチャ。

Claims (9)

1. 透かし情報が埋め込まれ、かつ複数の方法を用いて圧縮符号化された画像データを、復号し、かつ透かし情報を検出する方法において、
   該透かし情報を検出する方法は、
   前記複数の方法を用いて圧縮符号化された画像データのうち、他の画像データの復号時に参照される画像データのみを用いて行なう方法であることを特徴とする電子透かし情報検出方法。
2. 前記複数の方法を用いて圧縮符号化された画像データは、ＭＰＥＧにより圧縮符号化された画像データであり、
   前記他の画像データの復号時に参照される画像データは、Ｉピクチャ及びＰピクチャであることを特徴とする、請求項１の電子透かし情報検出方法。
3. 前記透かし情報を検出する方法は、
   時間軸上の特定の点に対応する画像データを用いて行なう方法であることを特徴とする、請求項１、２の電子透かし情報検出方法。
4. 前記透かし情報を検出する方法は、
   時間軸上の複数の点にわたる画像データを統計処理して行なう方法であることを特徴とする、請求項１、２の電子透かし情報検出方法。
5. 前記時間軸上の複数の点にわたる画像データを統計処理して行なう方法は、
   画像データから抽出した情報を累積加算する方法であることを特徴とする、請求項４の電子透かし情報検出方法。
6. 前記時間軸上の複数の点は、
   ０．５秒以上の間隔で配置されることを特徴とする、請求項４、５の電子透かし情報検出方法。
7. 請求項１、２、３、４、５、６に記載の特徴を備え、
   前記複数の方法を用いて圧縮符号化された画像データを外部から取り込むためのストリーム入力手段と、
   検出した電子透かし情報を外部に出力するための電子透かしデータ出力手段とを備えることを特徴とする、電子透かし情報検出装置。
8. 請求項７に記載の特徴を備え、
   復号した画像データを外部に出力するための画像出力手段を備えることを特徴とする、画像表示装置。
9. 請求項１、２、３、４、５、６、７に記載の特徴を備え、
   復号した画像データを外部に出力するための画像出力手段を備え、
   前記電子透かしデータ出力手段は、復号した画像データの一部に重畳して出力する方法であることを特徴とする、画像表示装置。

Images