JP2007036652A - 画像処理方法および画像処理装置およびプログラムおよび記憶媒体 - Google Patents

Abstract

【課題】所有権を明言できる著作権情報の埋込み量を確保しながらできるだけ小さい部分切出し画像領域を認識することが可能な画像処理方法および画像処理装置およびプログラムおよび記憶媒体を提供すること目的とする。
【解決手段】画像をブロック分割し、それぞれのブロック内で独立に、ブロックの境界位置をあらわす境界識別情報および所定の任意データを電子透かし情報として埋込むとともに、前記画像の一部を切り出されてなる部分画像から、前記電子透かしを抽出する際には、前記部分画像データから電子透かしを解析して得たブロック境界位置情報を手掛かりにして、ブロック境界位置を認識し、次に、ブロック毎に独立に埋込まれた前記任意データを抽出する。
【選択図】 図１

Description

本発明は、符号化によりデジタルコンテンツに電子透かしを埋込む方法およびその装置、また、デジタルコンテンツに埋めこまれた電子透かしを復元する過程において、著作権情報や改ざんなどを検出する検出方法およびその装置、更に、それらに用いられるコンピュータ読み取り可能な記憶媒体に関する。

従来、デジタル情報は、コンピュータなどによって劣化を起こすことなく簡単にコピーでき、逆に、書換えなど改ざんすることも容易であるという特徴がある。このため、デジタル情報は簡単な処理や操作によって、不正にコピーされて勝手に再利用されたり、一部を改ざんして証拠写真に使用できないようにされやすい。

これを防止するものとして、電子透かしやデータハイディングなどと呼ばれる方法がある。電子透かしは、デジタル画像などのデジタルコンテンツを普通に再生した場合には、視覚できない情報を付加する手法である。

電子透かしを埋込む方法の技術は、次の二つに大きく分類できる。
（１）内容データの標本値に直接埋込む技術
（２）周波数成分に埋込む技術

ここで、上記（１）の方法は，加工や圧縮などの処理が行なわれると，埋込んだデータが失われやすいが，処理が軽い。一方，（２）の方法は，加工や圧縮などの処理には強いが，埋込みや抽出の処理が重いという特性がある。

本出願で扱う、画質を損ねては意味を成さないまたは大きく価値が下がる画像への電子透かしは、（２）の方法よりも（１）の方法の方が画質劣化場所を局所化できるメリットがある。

さて、電子透かしをデジタルコンテンツに付加する用途には、次のようなものがある。
Ａ． 著作権情報の記録
Ｂ． 違法コピー者情報の追跡
Ｃ． ＩＰアドレスの履歴記録
Ｄ． 違法コピーの防止：不可視・高耐性型
Ｅ． 改ざん防止への応用：不可視・低耐性
Ｆ． 認証
Ｇ． 秘密通信
Ｈ． デジタルコンテンツの注釈やラベルを埋込む：可視・不可逆型
…… 所有権者表示
Ｉ． 透かし除去可能化：可視・可逆型……コンテンツ配布

その中で、例えば、デジタルカメラへの用途としては、次のような「証明写真の改ざん検知」が考案されている。

「写真撮影時にカメラの製造番号，日時等を撮影画像に透かし埋込むと同時にその電子署名を作成する機構をカメラに設ける方法が提案されている。これにより，証明写真の改ざん検知に加え，撮影カメラの特定や撮影日時の確認が可能となる。

改ざん検知は電子署名技術だけで可能だが，透かし技術を活用することで撮影カメラや撮影日時の特定化が可能になり，改ざん抑止により効果的に作用するものと考えられる。」（電子透かし技術に関する調査報告書1999年３月：日本電子工業振興協会編より）

また、本件に該当するものとしては、撮影または生成された画像の一部を切出して使用することは日常のことであり、このような場合の著作権保護の為の不正利用防止策としては、一旦画像全体に埋込まれていた電子透かしを、切出した画像の中からでも、部分的に見付け出して著作権を主張することが考えられる。

しかしながら、電子透かしを埋込むことによって、埋込み対象のデジタルコンテンツ・データは劣化するので、埋込みデータ量を増やしてもその影響による画質劣化ができるだけ少なくなるようにすることが重要である。

そこで、「人間の眼は、画像平坦部に存在するノイズを感知する能力よりもエッジ部に存在するノイズを感知する能力の方が低い」という特性を利用して、電子透かしを画像へ直接埋込みする場合は、画像エッジ部に透かし埋込みすることが一般的である。

しかし、画像領域の中で、エッジ部は平坦部よりも領域が狭いことが多く、埋込む透かし量が大きいと画質劣化が急に著しくなる結果になる。特に、帳票，図面や地図など人工的に作られた画像において、輪郭線の過度な侵食や骨格線が分断または消えるところまで劣化させるのは、元の画像が表現する論理的な意味を読者が理解しようとする過程において、致命的な障害になる。

また、従来技術としては、例えば、「位置情報を含む電子透かしにより互いに異なる抽出開始位置について複数回探索することによって埋込み位置を判別する」ものがある（特許文献１参照）。また、DCT量子係数に埋込む方式（特許文献２参照）、フーリエ変換係数に埋込む方式および画素値の局所的複雑度の大小関係に応じて埋込み強度を可変にする方式（特許文献３，４参照）、挿入されている電子透かしデータの隠匿性を高めることができるようにしたもの（特許文献５参照）などもある。
特開２００１−１１９５５８号公報 特開２０００−２１６９８３号公報 特開２０００−２８７０７３号公報 特開２００３−２１９１４８号公報 特許第３６３００７１号公報

このようにして、電子透かし情報埋込みの目的は、改ざん検知や著作権情報抽出の性能を上げる為であり、埋込む透かし情報量をできるだけ多くし、かつ、小さく部分切出しされた画像からでも電子透かしが抽出できることが好ましい。

ただし、埋込む透かし量が多くなるほど、画質劣化程度が増すので、画質劣化を極力抑えることも必要となる。

本発明は、かかる実情に鑑みてなされたものであり、所有権を明言できる著作権情報の埋込み量を確保しながらできるだけ小さい部分切出し画像領域を認識することが可能な画像処理方法および画像処理装置およびプログラムおよび記憶媒体を提供すること目的とする。

本発明は、画像をブロック分割し、それぞれのブロック内で独立に、ブロックの境界位置をあらわす境界識別情報および所定の任意データを電子透かし情報として埋込むとともに、前記画像の一部を切り出されてなる部分画像から、前記電子透かしを抽出する際には、前記部分画像データから電子透かしを解析して得たブロック境界位置情報を手掛かりにして、ブロック境界位置を認識し、次に、ブロック毎に独立に埋込まれた前記任意データを抽出するようにしたものである。

また、前記境界識別情報は、ブロック境界と電子透かし埋込み位置との間の相対距離データをあらわす情報である。

また、前記境界識別情報は、ブロック境界と電子透かし埋込み位置との間の相対距離データを入力値にした単調増加関数または単調減少関数の値をあらわす情報である。

また、前記境界識別情報は、ブロック境界と電子透かし埋込み位置との間の相対距離データを入力値にした乱数関数または疑似乱数生成関数の値をあらわす情報である。

また、前記境界識別情報の生成に使用する疑似乱数生成関数への入力値が、ブロック境界と電子透かし埋込み位置との間の相対距離データ、および、ブロック内画素値および任意のキーデータを適用した加工データである。

また、前記境界識別情報の埋込み位置を、それぞれのブロックの埋込み情報の中の先頭に設定するようにしたものである。

また、前記境界識別情報の埋込み位置を、それぞれのブロック領域内の境界近くの周辺部に分散させるようにしたものである。

また、電子透かし埋込み時に、複数ブロックに同一情報を埋込むようにしたものである。

また、請求項１または請求項２請求項３または請求項４または請求項５または請求項６または請求項７または請求項８記載の画像処理方法を適用して画像処理を行う画像処理手段を備えたことを特徴とする画像処理装置である。また、さらに、電子透かし抽出時に、抽出できた画像ブロック領域単位にブロック位置や埋込み情報を提供する機能を備えた画像処理装置である。

また、請求項１または請求項２請求項３または請求項４または請求項５または請求項６または請求項７または請求項８記載の画像処理方法を適用して、コンピュータシステムを作動させ、デジタルコンテンツに電子透かしを埋込みまたは抽出するようにしたことを特徴とするプログラムである。また、さらに、電子透かし抽出時に、抽出できた画像ブロック領域単位にブロック位置や埋込み情報を提供するステップを備えたものである。

また、請求項１１または請求項１２に記載のプログラムを格納した記憶媒体である。

したがって、本発明によれば、電子透かしを埋込んだ画像を、部分切出し画像領域の中からでも、電子透かしを抽出することができるという効果を得る。

以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の一実施例にかかるコンピュータシステムより構成された画像処理装置の一例を示している。

同図において、ＣＰＵ（中央処理装置）１は、この画像処理装置の動作制御を行うものであり、ＲＯＭ（リード・オンリ・メモリ）２は、ＣＰＵ１が起動時に実行するプログラムや必要なデータ等を記憶するためのものであり、ＲＡＭ（ランダム・アクセス・メモリ）３は、ＣＰＵ１のワークエリア等を構成するためのものであり、時計回路４は、現在日時情報を出力するためのものである。

磁気ディスク装置５は、種々のアプリケーションプログラム、ワークデータ、ファイルデータ、画像データデータなどの種々のデータを記憶するためのものである。

ブロック境界位置情報生成部６は、部分切出し画像の中から、電子透かしを解析して得たブロック境界位置情報を手掛かりにして、ブロック境界位置を正確に認識することによって、ブロック毎に独立して埋込まれた電子透かしを抽出するためのものであり、予め、画像をブロック分割し、それぞれのブロック内で独立に、ブロックの境界位置情報（境界識別情報と略す）を、電子透かし情報として生成する手段である。生成されたデータは、磁気ディスク装置５に保存された後、ソースデータ符号部７に与えられる。

ソースデータ符号部７は、外部からの任意データ入力手段（後述）で入力されたデータと、ブロック境界位置情報生成部８で生成されたデータの両方のデータを混合使用して、暗号化または符号化するためのものである。ソースデータ符号部７の出力データは、磁気ディスク装置５に保存された後、電子透かし埋込み部９（後述）に与えられる。

電子透かし抽出データ復号部８は、電子透かし抽出部１０（後述）によって磁気ディスク装置５に格納されている電子透かし抽出データを暗号解読など復号化し、ブロック境界位置情報と、任意データに分解し、磁気ディスク装置５の別の場所に格納する。なお、任意データは、ブロック境界認識部１１（後述）によって、予めブロック境界位置を認識してから、ブロック境界位置情報を基にして、内容を決定する。

電子透かし埋込部９は、ソースデータ符号部７により生成された埋込データを、埋込対象となる画像データに対して、電子透かしとして埋込むためのものである。

電子透かし抽出部１０は、電子透かしが埋込まれた画像データの中から電子透かしを抽出し、メモリ４の別の場所に格納するためのものである。

ブロック境界認識部１１は、電子透かし抽出データ復号部８によって磁気ディスク装置５に格納されているブロック境界位置情報を使用し、ブロック境界位置を認識する。

ＣＲＴ画面表示装置１２は、この画像処理装置を操作するための画面を表示するためのものであり、表示制御部１３は、ＣＲＴ画面表示装置１２の表示内容を制御するためのものである。

キーボード装置１４は、この画像処理装置に種々のキー操作を行うためのものであり、画面指示装置１５は、ＣＲＴ画面表示装置１２の任意の点を指示する等の操作作業を行うためのものであり、入力制御部１６は、キーボード装置１４および画面指示装置１５の入力情報を取り込む等するためのものである。

ネットワークインターフェース回路１７は、この画像処理装置をアネットワーク（図示略）に接続するためのものであり、ネットワーク伝送制御部１８は、ネットワークを介して他の端末装置との間で種々の情報をやりとりするための伝送制御処理を行うためのものである。

これらのＣＰＵ１、ＲＯＭ２、ＲＡＭ３、時計回路４、磁気ディスク装置５、ブロック境界位置情報生成部６、ソースデータ符号化部７、電子透かし抽出データ復号化部８、電子透かし埋込部９、電子透かし抽出部１０、ブロック境界認識部１１、表示制御部１３、入力制御部１６、および、値とワーク伝送制御部１８は、バス１９に接続されており、これらの各要素間のデータのやりとりは、主としてこのバス１９を介して行われる。

また、ＣＲＴ画面表示装置１２、キーボード装置１４および画面指示装置１５は、ユーザに対するユーザ・インタフェース機能を実現しており、例えば、各種操作指示や機能選択指令、編集データ等を入力したり、電子透かしデータを画像ブロック単位に埋込むまたは抽出する時のブロックサイズを入力したり、埋込まれたデータ内容を隠蔽する目的で、電子透かしデータを暗号化する時および暗号化された電子透かしを解読する時に、秘密キーを入力するために用いられる。また、キー操作により、電子透かし解読結果を入力イメージ画像データと重ね合わせて表示させたり、どちらか一方のみを選択して表示させたりするような表示操作機能も実現することができる。

また、処理画像データは、例えば、磁気ディスク装置５にあらかじめ保存されたもの、あるいは、ネットワークを介し、他の端末装置等から受信したものを適用することができる。

なお、さらに、交換可能な記憶媒体を適用できる光学ディスク装置（例えば、ＣＤ−ＲＯＭ駆動装置、ＤＶＤ駆動装置など）や、デジタルスチルカメラ装置、スキャナ装置を備えて、処理画像データを入力するようにすることも可能である。

さて、本実施例では、次のようにして画像ブロック内に電子透かしを埋め込む。

基本的には、図２に示すように、画像をブロック分割し、それぞれのブロック内で独立に、ブロックの境界位置情報（境界識別情報と略す）と任意データの両方を電子透かし情報として埋込んでおくことにより、電子透かし抽出処理においては、その部分切出し画像の中から、電子透かしを解析し最初の段階で得たブロック境界位置情報を手掛かりにして、ブロック境界位置を正確に認識し、続いて、ブロック毎に独立して埋込まれた任意データを抽出できる方式である。

なお、本願全体において、電子透かしを埋込む対象画像の適用性については、何らかの冗長な情報を持つことによって、画像本体情報量に比べて極少の電子透かしを埋込んでも、画質劣化の影響が出難いものであれば、それ以外の条件は問わない。即ち、電子透かし埋込み対象画像として、各種文献、特許など一般に紹介されている総てのものに適用できる。

ここで、画像の種類の詳細説明は、周知技術であるので、その説明は省略する。本願に特化する点についてだけ、以下に３種類の画像を説明する。

まず、「多値濃淡画像の画素値に直接埋込む場合」について説明する。

多値濃淡色による画像表現方法は、多くの色数かつ、それぞれの色の濃淡値を必要とする自然画像に適用されることが多い。画像を濃淡色で表現する為に、画像データは１画素当たり複数ビット（８，１６，２４，３２ビット等）で構成する。

ここで説明する電子透かしは、証拠写真や映像美の追求などの目的のために、多値濃淡画像を非圧縮や可逆圧縮加工状態で保存する用途に向いているものである。画像を非圧縮や可逆圧縮加工状態で保存しておけば、画質劣化しない画像が再生できるので、画質劣化の原因は電子透かし埋込みに限定でき、画質劣化を小さく即ち弱い耐性（一般に相関関係がある）の電子透かし（用途は改ざん検知に向く）の埋込みに向いている。電子透かし埋込み時に周波数変換などの画像変換を伴わない為、埋込み処理時間も短いのが特徴である。

符号化時、処理対象画像データの領域を、８×８等の画素領域からなるブロックに分割し、それぞれのブロックにおいて電子透かしを埋込む。画像データは１画素当たり複数ビット数で構成されているので、画質劣化の影響が最も少ない最下位ビットを用いて、電子透かし情報を挿入する。

電子透かしとして埋込む情報は、当該ブロックの境界を識別するための境界識別情報と、ブロック境界とは直接関係が無い任意データの二種類である。例えば、８×８画素ブロックの場合、任意の画素座標からブロック境界までの距離は、Ｘ（横）方向およびＹ（縦）方向ともに、０〜７であるので、それぞれ３ビットずつ合せて６ｂｉｔ（６画素分のそれぞれの最下位ビットを使用）で表現できる。

このため、例えば、ブロック境界識別子をブロック内の左上の先頭画素のオフセット（ブロック内座標）値（Ｘ方向：０００，Ｙ方向：０００）で表現することにして、ブロック内の左上先頭画素から６画素分の濃淡情報を使用して電子透かしとして埋込むことにすると、ブロック内の左上先頭画素から６画素分の濃淡情報の最下位１ビットは、総て０（暗号化しない時）を設定することになる。その場合、ブロック先頭６画素以外の位置にある画素情報の最下位ビットを使用して、著作権情報や改ざん検知情報などの任意データを埋込むことが可能である。

復号化時、最初に「ブロック境界位置を認識」し、その後「それぞれのブロック内に埋込まれている任意データを抽出」する、となる二つの処理に分けられる。

ブロック境界位置の認識処理は、復号対象となっている画像データにおいて、ブロックサイズの画素領域（ブロック領域）内で所定位置に埋込まれている境界識別情報を捜索する（捜索の初期位置は、ブロック領域の左上の画素（基準画素）が画像データの左上の画素に一致する位置）。

具体的には、境界識別情報が挿入されていると予想される座標の画素データの最下位ビットをそれぞれ取り出して、有効な境界識別情報が構成されるかどうかを調べる。認識したブロック境界位置が確かであることを保証する為には、複数のブロック領域において抽出したそれぞれの境界識別情報を、全体で多数決を取り決定する。

例えば、上記符号化説明における８×８画素ブロックで、Ｘ(横)方向およびＹ(縦)方向共に、３ビットずつで境界識別情報を表現する場合、それぞれ１／８（＝１／２^３）の確率でブロック境界位置を間違える可能性があるので、信頼性を上げる為には、ブロック内に埋込む境界識別情報ビット数を増やすか、複数ブロックの認識による総合判断などが欠かせない。

そこで、ブロック境界識別情報ビット数を増やす例を、図２を基に説明する。同図においては、画像ブロック内において、電子透かしとして埋込むブロック境界識別情報Ａｉ（Ｘｉ，Ｙｉ）または任意データＢｊ（Ｘｊ，Ｙｊ）の設定内容と、埋込み位置を示している。

ＡｉまたはＢｊは、それぞれｉ番目またはｊ番目に埋込む１ｂｉｔずつの値を表し、（Ｘｉ，Ｙｉ）または（Ｘｊ，Ｙｊ）は、それぞれＡｉまたはＢｊを埋込む位置の座標をブロック境界からの相対座標で表している。ＸｉおよびＸｊは、左端のブロック境界からの距離であり、ＹｉおよびＹｊは、上端のブロック境界からの距離である。

ここで、ブロック境界識別情報の値を１ｂｉｔ単位に決定する例について説明する。

（例１）ブロック境界識別情報の決定方法として単純な一例
Ａ０＝［（Ｘ０＋Ｙ０）の最下位１ビット値］
・・・
Ａｉ＝［（Ｘｉ＋Ｙｉ）の最下位１ビット値］

（例２）ブロック境界識別情報の決定方法として単純な他の例
Ａ０＝［（Ｘ０＋Ｙ０）の最下位１ビット値］
・・・
Ａｉ＝［（Ｘ０＋Ｙ０）〜（Ｘｉ＋Ｙｉ）の総和の最下位１ビット値］

（例３）ブロック境界識別情報の高速処理を考慮した決定方法の一例
Ａ０のブロック内相対座標値（Ｘ０，Ｙ０）を二進値に変換し、それぞれのビット値を埋込データとしてＡ_１〜Ａ_２ｎに埋め込む。
Ｘ０＝（ｂ_ｘ，ｎ ｂ_{ｘ，ｎ−１} ｂ_{ｘ，ｎ−２}・・・ｂ_ｘ，１）、Ｙ０＝（ｂ_ｙ，ｎ ｂ_{ｙ，ｎ−２}・・・ｂ_ｙ，１）とし、
Ａ_２ｎ＝ｂ_ｘ，ｎ，Ａ_{２（ｎ−１）}＝ｂ_{ｘ，ｎ−１}，・・・，Ａ_２＝ｂ_ｘ，１，Ａ_２ｎ−１＝ｂ_ｙ，ｎ，Ａ_{２（ｎ−１）−１}＝ｂ_{ｙ，ｎ−１}，・・・，Ａ_１＝ｂ_ｙ，１とする。
ただし、ｂ_ｚ，ｋは、Ａ０の座標値Ｚ（＝Ｘ０またはＹ０）をあらわすビット列の中の２^ｋ−１の係数である。

（例４）ブロック境界識別情報の高速処理を考慮した決定方法の他の例
Ａ０のブロック内相対座標値（Ｘ０，Ｙ０）を単調増加関数Ｆ（）またはＧ（）の入力値に使用し、その結果得られた値Ｘ，Ｙを二進値に変換し、それぞれのビット値を埋込データとしてＡ１〜Ａ２ｎに埋め込む。
関数Ｆ（）は、例えば、ｍを自然数として、Ｆ（Ｘ０）＝Ｘ０＋ｍ；Ｆ（Ｘ０）＝Ｘ０−ｍ；Ｆ（Ｘ０）＝Ｘ０＊ｍ；Ｆ（Ｘ０）＝Ｘ０／ｍ；Ｆ（Ｘ０）＝Ｘ０^ｍ；Ｆ（Ｘ０）＝ｌｏｇ_ｍＸ０；Ｆ（Ｘ０）＝ｍ^Ｘ０など。
また、関数Ｇ（）は関数Ｆ（）と同じ関数を使うことができる。あるいは、それ以外の単調増加または単調減少関数を適用できる。
Ｘ＝（ｂ_ｘ，ｎ ｂ_{ｘ，ｎ−１} ｂ_{ｘ，ｎ−２}・・・ｂ_ｘ，１）、Ｙ＝（ｂ_ｙ，ｎ ｂ_{ｙ，ｎ−２}・・・ｂ_ｙ，１）とし、
Ａ_２ｎ＝ｂ_ｘ，ｎ，Ａ_{２（ｎ−１）}＝ｂ_{ｘ，ｎ−１}，・・・，Ａ_２＝ｂ_ｘ，１，Ａ_２ｎ−１＝ｂ_ｙ，ｎ，Ａ_{２（ｎ−１）−１}＝ｂ_{ｙ，ｎ−１}，・・・，Ａ_１＝ｂ_ｙ，１とする。
ただし、ｂ_ｚ，ｋは、Ａ０の座標値Ｚ（＝ＸまたはＹ）をあらわすビット列の中の２^ｋ−１の係数である。

（例５）ブロック境界識別情報の決定方法の他の例
Ａ０＝Ｆ（Ｘ０，Ｙ０）
・・・
Ａｉ＝Ｆ（Ｘｉ，Ｙｉ）
ここで、関数Ｆ（ｘ，ｙ）は、ｘとｙを種（タネ）にして１ビットの乱数を生成する関数である。

これらの例１〜５の総てに共通して重要なのは、ブロック境界識別情報Ａｉが、ＸｉおよびＹｉを含むＡ０〜Ａｉ自身の埋込み位置のブロック内座標値（Ｂｉの埋込み座標値を加味しても良い）を基にした計算値で決定する点である。

即ち、ブロック境界位置が電子透かし埋込み時と検出時でズレていれば、相対座標を基にして算出されているＡ０〜Ａｉの値のそれぞれが埋込み時と検出時とで総て一致する確率は１／２^ｉの割合で低くなるので、ｉが大きくなるほど、ブロック境界認識精度が上がることになる。

その中で、例１および例２は、処理速度（より高速である方が良い）や解読容易性（成りすましを防ぐ為に、第三者による解読は困難な方が良い）の考慮が浅い単純な計算例を示すものである。

例１は、Ａｉの値を、Ａｉ自身の座標値ＸｉとＹｉの加算値の最下位１ｂｉｔで設定することを表している。また、例２は、Ａ０〜Ａｉの座標値の累計値を使用しており、計算方法がより複雑になり、解読の難解性を少し上げていると言える。

例３〜例５については、後述する。

次に、以上で説明した境界識別情報を基に、ブロック境界を捜索する方法を以下に説明する。

上述の境界識別情報が有効に構成されていない場合には、ブロック領域を１画素右方向（例３および例４の場合は、１画素以上）にずらして、再度ブロックサイズの画素領域のデータを抽出し、同じ動作を繰返す。

処理対象となっている画像データの右端の領域が、ブロックサイズの右端に一致するまで繰り返しても境界識別情報を得られない場合には、画像データの２行目以降にブロック領域の上境界を移動して行って、同じ動作を繰返し、境界識別情報を捜索する。それでも得られない場合は、エラー（電子透かしが埋込まれている画像ではないと判断）とする。

境界識別情報が得られた場合、ブロック領域が決まるので、決定されたブロック領域から任意データを埋込んでいた各画素において、それぞれの画素データの最下位ビットを取り出し、その取り出した最下位ビットのデータに基いて、任意データを再現する。任意データの内容を保証する為には、複数ブロック領域について、それぞれ任意データを抽出し、全体の多数決で決定する。

次に、「カラーマップ画像など限定色数で構成される画像に直接埋込む場合」について説明する。

画像を限定色数で構成する表現方法は、文書テキスト部や図解など限定色だけの使用によって個々の表現を強調し易い人工画像（例えば、ＢＭＰ，ＧＩＦ等のフォーマットの画像データ）に適用されることが多い。人が認知し易い限定色で画像を表現する為に、画像データを構成する色は、１画素当たり少数ビット（１，２，４，８ビット等）で識別表現できる。この場合、最少識別色数は１画素当たり１ビットで表現する２値画像である。

これらの画像は、同一色の画素が連続して広がりのある領域を形成する特徴がある。また、ＤＣＴ等の非可逆圧縮符号化処理を経ると、連続する同一色で形成される領域内の画質劣化を中心に人が認知し易い傾向を示す状態になるので、非可逆圧縮を避け可逆圧縮して保存されることが多い。

したがって、この場合に適用される電子透かしは、限定色で構成される画像を非圧縮や可逆圧縮加工状態で保存する用途に向いているものである。画像を非圧縮や可逆圧縮加工状態で保存しておけば、画質劣化しない画像が再生できるので、画質劣化の原因は電子透かし埋込みに限定でき、画質劣化を小さく即ち弱い耐性（一般に相関関係がある）の電子透かし（用途は改ざん検知に向く）の埋込みに向いている。電子透かし埋込み時に周波数変換などの画像変換を伴わない為、埋込み処理時間も短いのが特徴である。

この場合、符号化時、処理対象画像データの領域を、８×８等の画素領域からなるブロックに分割し、それぞれのブロックにおいて電子透かしを埋込む。画像データは同一色画素が連続する複数の領域で構成されているので、画質劣化の影響を少なくするために、エッジ部（連続する同一色画素で形成する領域の境界部）に電子透かし情報を挿入（エッジの位置を最小量ズラすことによってランレングスの偶奇性で１ビットを表現、これは公知技術）する。

電子透かしとして埋込む情報は、当該ブロックの境界を識別するための境界識別情報と、ブロック境界とは直接関係が無い任意データの二種類である。

この「カラーマップ画像など限定色数で構成される画像に直接埋込む場合」も上述した「多値濃淡画像の画素値に直接埋込む場合」と同様に、電子透かし情報の埋込み位置（ブロック境界からの相対座標）は、ランレングスを表す画素ランの中の不動点（例えば、画素ランを左上から右下に向かって変更しながら電子透かし情報を埋込むフローにすれば、画素ランの左上端エッジ部。このエッジ部は右下端の部分よりも先行して位置が決定固定となるため）を採用する。

復号化時、最初に「ブロック境界位置を認識」し、その後「それぞれのブロック内に埋込まれている任意データを抽出」する、となる二つの処理に分けられる。

また、この「カラーマップ画像など限定色数で構成される画像に直接埋込む場合」も上述した「多値濃淡画像の画素値に直接埋込む場合」と同様に、電子透かしが埋込まれている場所は、画素データの最下位ビットでははく、連続する同一色画素で形成するランレングスの偶奇値である。

次に、「画像周波数空間に埋込む場合」について説明する。

この場合は、フーリエ変換係数空間やＪＰＥＧで採用されているＤＣＴ係数空間、およびＪＰＥＧ２０００で採用されているウェーブレット変換係数空間など（以下は、代表してＪＰＥＧ圧縮のＤＣＴで表現する）に電子透かしを埋込む。

画像保存時に、画質劣化をできるだけ抑制するよりも高い圧縮率を優先するために、その目的に向いた非可逆圧縮処理によって、原画像に対する画質劣化が避けられない場合などに向いている。多くの場合、原画像は、多値濃淡画像であり、電子透かしは、画像保存時の画質劣化を乗り越えて存続する耐性の強い（用途は著作権保護に向く）ものである。

符号化時、処理対象画像データの領域を、８×８等の画素領域からなるブロックに分割し、それぞれのブロックにおいて周波数変換した周波数係数に電子透かしを埋込む。この周波数変換は、画像保存時の圧縮処理の過程（ＪＰＥＧ圧縮処理のＤＣＴなど）に含まれるものであれば、圧縮処理の周波数係数またはその量子係数を適用できる。

周波数係数は１係数当たり複数ビット数で構成されるので、画質劣化の影響が最も少ない最下位ビットを用いて、電子透かし情報を挿入する。電子透かしとして埋込む情報は、当該ブロックの境界を識別するための境界識別情報と、ブロック境界とは直接関係が無い任意データの二種類である。

また、この「画像周波数空間に埋込む場合」も上述した「多値濃淡画像の画素値に直接埋込む場合」と同様に、電子透かし情報の埋込み位置（ブロック境界からの相対座標）は、周波数変換した空間内の電子透かしを埋込む係数の座標を採用する。また、画像保存時の圧縮処理の過程（ＪＰＥＧ圧縮処理のＤＣＴなど）に適用できない場合は、電子透かし埋込みした周波数係数を使用して、周波数逆変換により、元の画像実体情報（画像を形成する画素値データ）に戻して通常画像として扱う。

復号化時、最初に「ブロック境界位置を認識」し、その後「それぞれのブロック内に埋込まれている任意データを抽出」する、となる二つの処理に分けられる。

すなわち、画像保存時の圧縮処理の過程（ＪＰＥＧ圧縮処理のＤＣＴなど）で電子透かし埋込み処理が適用できている場合と、画像保存時の圧縮処理の過程（ＪＰＥＧ圧縮処理のＤＣＴなど）で電子透かし埋込み処理が適用できていない場合で処理内容が異なる。

画像保存時の圧縮処理の過程（ＪＰＥＧ圧縮処理のＤＣＴなど）で電子透かし埋込み処理が適用の場合、圧縮処理を解凍する過程で、電子透かし埋込み対象である周波数係数またはその量子係数の中から、電子透かし情報を抽出する。

画像保存時の圧縮処理の過程（ＪＰＥＧ圧縮処理のＤＣＴなど）で電子透かし埋込み処理が適用できていない場合、電子透かしを埋込んだ時と同様の方法で画像実体情報を周波数変換して、周波数係数の中から、電子透かし情報を抽出する。

また、この「画像周波数空間に埋込む場合」も上述した「多値濃淡画像の画素値に直接埋込む場合」と同様に、電子透かし情報が埋込まれている場所は、画素データの最下位ビットでははく、周波数係数またはその量子係数の最下位ビットである。

ここで、上述した３種類の画像での共通点として、以下のことが挙げられる。

Ａ．画質劣化をできるだけ避ける為に、画像を表現する総てのデータ（画素値データや周波数変換した量子係数）空間に均等な割合で電子透かしを埋込むことは避け、画質劣化の影響が少ない箇所だけに埋込むことが通常行われている。

Ｂ．電子透かし埋込み場所が均一な位置に規則的になっていると、埋込み場所が見破られ易くなり、成りすまし行為を招き易くなるので、それを避ける為に、埋込み場所が不規則になる様に選ぶことが多い。

以上の２つの理由によって、図２では、電子透かし埋込み場所が不規則になる例を示している。

次に、ブロック境界位置情報に相対座標値を使用する方式の一例について説明する。

この方式は、電子透かし埋込み時に、境界識別情報にブロック境界と電子透かし埋込み位置との間の相対座標値（距離データ）を使用することによってブロック境界を高速に認識する方式である。

抽出処理において、現在注目している画素の、暫定判断したブロック境界からの相対位置が、電子透かし抽出した値よりも大きければ、暫定判断したブロック境界からの相対位置が小さくなるように暫定境界位置を移動すればよく、かつその移動量も単純に相対位置の差を利用できるので、再探索する必要なくブロック境界の位置を把握できる（上述した例３参照）。

例えば、例３に従って、画像中の電子透かしが埋込まれた画素の並びが、Ａ_０，Ａ_２ｎ，Ａ_２ｎ−１，Ａ_{２（ｎ−１）}，Ａ_{２（ｎ−１）−１}，‥‥Ａ_２，Ａ_１のように連続して配置しているとすると、Ａ_０，Ａ_２ｎ‥‥，Ａ_１を一塊で扱うことができるので、Ａ_０の存在位置とＡ_２ｎ‥‥，Ａ_１の内容（電子透かし埋込み時のＸ０，Ｙ０座標値）を基に、ブロック境界の位置を割り出すことができるものである。

次に、ブロック境界位置情報に相対座標値を使用する方式の他の例について説明する。

この方式では、電子透かし埋込み時に、境界識別情報にブロック境界と電子透かし埋込み位置との間の相対座標値を入力値にした単調増加または単調減少関数データを使用することによって、ブロック境界を高速に認識できる。

抽出処理において、現在注目している画素の、暫定判断したブロック境界からの相対位置が、電子透かし抽出した値よりも大きければ、暫定判断したブロック境界からの相対位置が小さくなるように暫定境界位置を移動すればよく、二分探索などを適用して、ブロック境界を高速に認識できる。この場合には、埋込みデータに距離値を直接埋込まないので、埋込みデータの意味を隠蔽（見破られにくく）する機能を持つことになる（上述した例４参照）。

例えば、例４に従って、画像中の電子透かしが埋込まれた画素の並びが、Ａ_０，Ａ_２ｎ，Ａ_２ｎ−１，Ａ_{２（ｎ−１）}，Ａ_{２（ｎ−１）−１}，‥‥Ａ_２，Ａ_１の様に連続して配置しているとすると、Ａ_０，Ａ_２ｎ‥‥，Ａ_１を一塊で扱うことができるので、Ａ_０の現在の認識位置とＡ_２ｎ‥‥，Ａ_１の内容（電子透かし埋込み時の計算値）を基に、二分探索によってブロック境界位置を割り出すことができるものである。二分探索方法は公知であるので、詳細説明は省略する。

次に、ブロック境界位置情報に乱数を使用する方式の一例について説明する。

この方式では、電子透かし埋込み時に、境界識別情報にブロック境界と電子透かし埋込み位置との間の相対距離データを入力値（種：たねデータ）にした乱数または疑似乱数生成関数データを使用することによって、埋込み情報が境界識別情報だと見破られ難く（「成りすまし」改ざんの回避）することができる。

抽出処理において、現在注目している画素の、暫定判断したブロック境界からの相対座標値を入力値にした乱数または疑似乱数生成関数データを使用して算出した値と、電子透かし抽出した値とが一致するまで、暫定ブロック境界位置を１画素ずつズラシながら捜索するものである。従って、ブロック境界の認識速度は低速である。しかし、埋込みデータに距離値を直接埋込まず、ランダムな値になるので、埋込みデータの意味を隠蔽する機能を持てることになる（上述した例５参照）。

次に、ブロック境界位置情報に乱数を使用する方式の他の例について説明する。

この方式では、さらに、境界識別情報に、ブロック境界と電子透かし埋込み位置との間の相対距離データだけでなく、ブロック内画素値および任意のキーデータを適用した加工データを入力値（種：たねデータ）にした乱数または疑似乱数生成関数データを使用することによって、さらに、埋込み情報が境界識別情報だと見破られ難く（「成りすまし」改ざんを回避）することができる（例５参照）。

例えば、生成するブロック境界識別情報を、例５に従ってＡ０＝Ｆ（Ｘ０，Ｙ０）であるとすると、Ｘ０とＹ０が同じ値の時は、Ａ０もいつも同じ値になってしまうが、乱数生成関数Ｆ（）を入れ子に使用してＡ０＝Ｆ（Ｆ（Ｆ（Ｘ０，Ｙ０），画素値），任意Ｋｅｙ）等として、乱数生成の種を増やすと、算出されるＡ０の値が一致する可能性が少なくなる、ということである。

次に、ブロック境界位置情報の埋込み場所をブロック先頭にする方式について説明する。

この場合、境界識別情報の埋込み位置を、それぞれのブロックの埋込み情報の中の先頭にすることによって、少量しか埋込めないブロックでもブロック境界位置を優先して埋込むことができる。

電子透かしを埋込める箇所は、画質劣化する場所を避ける必要がある理由によって、制限されることになる。その理由によって、ブロックによっては、少量しか埋込めないものが発生し得る。当該方式では、このようなブロックにおいても、ブロック境界位置を発見する情報が優先して埋込まれるため、ブロック境界位置を正確に発見できる確率が高くなる。

次に、ブロック境界位置情報の埋込み場所をブロック内境界近くの周辺部に分散させる方式について説明する。

この場合、境界識別情報の埋込み位置を、それぞれのブロック領域の内側で境界近くの周辺部に分散させることによって、ブロック境界位置をより正確に認識することができる（図３参照）。

次に、ブロック境界位置情報の埋込み場所をブロック内にちりばめる方式について説明する。

この場合、電子透かし埋込み時に、複数ブロックに同一情報を埋込んでおくことにより、電子透かし抽出時には、その同一情報を基にした多数決処理が行えることになり、信頼性の高い情報を抽出することができる。

図４は、電子透かし埋込処理の一例を示している。

まず、選択機能を決定する為にキー入力（キーボード等での入力）し、以下の処理の為に、その内容をメモリに保存する（処理１０１）。（１）電子透かしにして埋込みたい情報を、秘密キー（パスワードなど）によって予め暗号化してから電子透かし埋込みし、埋込み情報の解読をより困難にすることを目的にする。ただし、常に暗号化してから電子透かしを埋込むのは、必須ではなく、暗号化する必要があるかどうかは、選択できるものである。（２）ブロックサイズを指定する。ブロックサイズは、大きいほど、それぞれのブロックに埋込める量が増え、沢山の情報を埋込むことが出来る様になるが、埋込み画像を切出した場合に、小さく切出された時には、１ブロックをも含めることが出来なくなる確率が高くなり、従って電子透かし抽出が出来なくなる危険性が高くなる。ブロックサイズは、これらのことを考慮して決定する必要がある。

次に、電子透かしを埋込む処理画像を入力し、保存する（処理１０２）。

次いで、処理１０１によって指定されているサイズで画像をブロック分割する（処理１０３）。

ここで、全てのブロックについて処理が終了したかどうかを調べる（判断１０４）。判断１０４の結果がＮＯになるときには、処理対象となるブロックを選択し（処理１０５）、処理対象のブロックに対応した任意データを入力する（処理１０６）。この任意データは、処理１０１で入力されたデータに基づいて作成されたものである。

そして、抽出時にブロック境界を認識出来るようにするために、画像ブロック内に埋込む境界識別情報を、上述した種々の方法を適用して、生成する（処理１０７）。

次に、処理１０６で入力した任意データと、処理１０７で生成した境界識別情報とを混合して、電子透かしとして埋込む情報を生成する（処理１０８）。

そして、処理１０８で生成した電子透かし情報を、埋込み対象の画像のブロックに埋込む（処理１０９）。

次に、判断１０４へ戻る。また、判断１０４の結果がＹＥＳになったときには、電子透かし埋込画像データを磁気ディスク装置５に保存して（処理１１０）、この処理を終了する。

図５は、電子透かし抽出処理の一例を示している。

まず、選択機能を決定する為にキー入力（キーボード等での入力）し、以下の処理の為に、その内容をメモリに保存する。（１）電子透かし埋込み時に暗号化した埋込み情報を、復号するために解読用の秘密キー（パスワードなど）を入力する。ただし、常に暗号化してから電子透かしを埋込むのは、必須ではなく、暗号化する必要があるかどうかは、選択できるものであるので、埋込み時の選択結果によって、使用方法を判断する。（２）ブロックサイズは、電子透かし埋込み時と同じ値を指定しなければ、正常な電子透かし情報が抽出できない。

次に、電子透かしを解読する処理対象画像データを入力し、保存する（処理２０２）。 次いで、電子透かしを抽出するのに必要であるブロック境界を認識するための初期設定を行う（処理２０３）。例えば、ブロック境界を認識するための調査用暫定位置の初期値として、調査対象画像の開始点（例えば左上座標）をブロック開始点とする。ブロック終点は、処理２０１で指定されたブロックサイズによって決定する。

そして、調査対象画像内に、電子透かしが埋込まれている未捜索のブロックが残っているかどうかを判定する（判断２０４）。判断２０４の結果がＹＥＳになるときには、前回のブロック抽出後に設定された暫定位置のブロックから、電子透かし情報を抽出する。

そして、現在の暫定位置にあるブロックから抽出した電子透かし情報を、境界識別情報（Ａ）と、任意データ（Ｂ）に分離する（処理２０６）。

また、現在注目している画素位置の暫定ブロック境界位置からの相対座標値を基にブロック境界識別情報値（Ｃ）を算出する（処理２０７）。

ここで、処理２０６で電子透かし情報値から求めた境界識別情報値（Ａ）と、処理２０７で電子透かし埋込み処理で算出した方法と同じ方法によって算出したブロックの境界識別情報（Ｃ）と一致しているかどうかを判定する（判断２０８）。判断２０８の結果がＮＯになるときには、現在までに分析していた暫定位置のブロックが、電子透かしが埋込まれていた有効なブロックとは、みなせないので、次に調査すべき暫定位置のブロックの開始点を未捜索方向に１画素ずらした場所に移した状態で（処理２０９）、判断２０４へ戻る。

また、判断２０８の結果がＹＥＳになるときには、そのときに処理２０６で抽出していた電子透かし情報の内の任意データ（Ｂ）を、正規に有効な電子透かし情報として、メモリ上に格納し（処理２１０）、現在までに分析していた暫定位置のブロックが、電子透かしが埋込まれていた有効なブロックとみなせるので、次に調査すべき暫定位置のブロックの開始点を現在のブロック位置とは重ならない場所に移し（処理２１１）、判断２０４へ戻る。

また、判断２０４の結果がＮＯになるときには、そのときに得た電子透かし抽出データ等をブロック単位に出力、保存して（処理２１２）、この処理を終了する。

本発明の一実施例にかかるコンピュータシステムより構成された画像処理装置の一例を示したブロック図。 画像ブロック内の電子透かし埋込位置と設定内容の一例を示した概略図。 電子透かし情報埋込位置のちりばめ効果について説明するための概略図。 電子透かし埋込処理の一例を示したフローチャート。 電子透かし抽出処理の一例を示したフローチャート。

符号の説明

１ ＣＰＵ（中央処理装置
２ ＲＯＭ（リード・オンリ・メモリ）
３ ＲＡＭ（ランダム・アクセス・メモリ）
６ ブロック境界位置情報生成部
７ ソースデータ符号部
８ 電子透かし抽出データ復号化部
９ 電子透かし埋込部
１０ 電子透かし抽出部
１１ ブロック境界認識部
１２ ＣＲＴ画面表示装置
１３ 表示制御部
１４ キーボード装置
１５ 画面指示装置
１６ 入力制御部
１７ ネットワークインタフェース回路
１８ ネットワーク伝送制御部

Claims (13)

1. 画像をブロック分割し、それぞれのブロック内で独立に、ブロックの境界位置をあらわす境界識別情報および所定の任意データを電子透かし情報として埋込むとともに、
   前記画像の一部を切り出されてなる部分画像から、前記電子透かしを抽出する際には、前記部分画像データから電子透かしを解析して得たブロック境界位置情報を手掛かりにして、ブロック境界位置を認識し、次に、ブロック毎に独立に埋込まれた前記任意データを抽出することを特徴とする画像処理方法。
2. 前記境界識別情報は、ブロック境界と電子透かし埋込み位置との間の相対距離データをあらわす情報であることを特徴とする請求項１記載の画像処理方法。
3. 前記境界識別情報は、ブロック境界と電子透かし埋込み位置との間の相対距離データを入力値にした単調増加関数または単調減少関数の値をあらわす情報であることを特徴とする請求項１記載の画像処理方法。
4. 前記境界識別情報は、ブロック境界と電子透かし埋込み位置との間の相対距離データを入力値にした乱数関数または疑似乱数生成関数の値をあらわす情報であることを特徴とする請求項１記載の画像処理方法。
5. 前記境界識別情報の生成に使用する疑似乱数生成関数への入力値が、ブロック境界と電子透かし埋込み位置との間の相対距離データ、および、ブロック内画素値および任意のキーデータを適用した加工データであることを特徴とする請求項４記載の画像処理方法。
6. 前記境界識別情報の埋込み位置を、それぞれのブロックの埋込み情報の中の先頭に設定したことを特徴とする請求項１または請求項２または請求項３または請求項４または請求項５記載の画像処理方法。
7. 前記境界識別情報の埋込み位置を、それぞれのブロック領域内の境界近くの周辺部に分散させたことを特徴とする請求項１または請求項２または請求項３または請求項４または請求項５記載の画像処理方法。
8. 電子透かし埋込み時に、複数ブロックに同一情報を埋込むことを特徴とする請求項１または請求項２または請求項３または請求項４または請求項５または請求項６または請求項７記載の画像処理方法。
9. 請求項１または請求項２請求項３または請求項４または請求項５または請求項６または請求項７または請求項８記載の画像処理方法を適用して画像処理を行う画像処理手段を備えたことを特徴とする画像処理装置。
10. さらに、電子透かし抽出時に、抽出できた画像ブロック領域単位にブロック位置や埋込み情報を提供する機能を備えたことを特徴とする請求項９記載の画像処理装置。
11. 請求項１または請求項２請求項３または請求項４または請求項５または請求項６または請求項７または請求項８記載の画像処理方法を適用して、コンピュータシステムを作動させ、デジタルコンテンツに電子透かしを埋込みまたは抽出するようにしたことを特徴とするプログラム。
12. さらに、電子透かし抽出時に、抽出できた画像ブロック領域単位にブロック位置や埋込み情報を提供するステップを備えたことを特徴とする請求項１１記載のプログラム。
13. 請求項１１または請求項１２に記載のプログラムを格納した記憶媒体。

Images