JP4106311B2

JP4106311B2 - Information embedding device, encoding device, falsification detection device, method thereof, and recording medium recording program for executing the method

Info

Publication number: JP4106311B2
Application number: JP2003191847A
Authority: JP
Inventors: 尚井上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-08-09
Filing date: 2003-07-04
Publication date: 2008-06-25
Anticipated expiration: 2023-07-04
Also published as: JP2004135265A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報埋め込み装置、改ざん検出装置及びそれらの関連技術に関するものである。特に、本発明は、デジタル画像信号を画像圧縮する場合に、画像圧縮データが改ざんされているか否か判定するための特徴情報を電子透かしとして埋め込み、検出する技術に関する。
【０００２】
【従来の技術】
近年、防犯などのセキュリティ上の観点から、監視システムの需要が拡大している。特に、監視用記録装置の分野では、ユーザーは、長時間録画ができること、画質が高いことを強く求めている。
【０００３】
このため、デジタル化した画像データを画像圧縮し、デジタルのまま記録するデジタルディスクレコーダーが、急速に普及している。
【０００４】
デジタルデータを、市販の画像処理ソフトウェアを用いて、改ざん（例えば、編集・加工など）することは、容易である。
【０００５】
なお、以上の説明は、監視用記録装置やデジタルディスクレコーダーを例にしているが、本発明は、これらの用途に限定されず、画像処理を実施する技術に広く適用できる。
【０００６】
デジタル画像に改ざんが加えられているか否か判定できる改ざん検出技術を確立することが求められている。従来、その対策の一つとして知られているものに電子認証技術がある。
【０００７】
図１３は、従来の電子認証の手順の概要を示す。図１３において、送信装置は、オリジナルのデジタル画像にハッシュ関数を適用しハッシュ値を得る。また、送信装置は、このハッシュ値に基づいてデジタル画像を圧縮し、ダイジェストを生成する。
【０００８】
次に、送信装置は、このダイジェストを、送り手の秘密鍵で暗号化する。そして、送信装置は、オリジナルのデジタル画像と暗号化されたダイジェストとの両方のデータを、ネットワークを介して、受信装置に送信する。
【０００９】
受信装置は、ネットワークを介して、この両方のデータを受信する。受信装置は、受信したデジタル画像を、ハッシュ値により圧縮し、第１のダイジェストを作成する。また、受信装置は、受信したダイジェストを、送り手の公開鍵により復号し、第２のダイジェストを作成する。
【００１０】
そして、受信装置は、第１のダイジェストと第２のダイジェストとを比較し、これらが、同一であれば改ざんがないと判定し、同一でなければ改ざんがあると判定する。
【００１１】
ところが、上述の電子認証において、送信装置は、オリジナルのデジタル画像と暗号化されたダイジェストとの、２種類のデータを、受信装置へ送信しなければならない。
【００１２】
デジタル画像が大量に存在するときは、デジタル画像とダイジェストとの対応関係を管理するデータ管理装置が、事実上必要不可欠である。
【００１３】
このようなデータ管理装置に替えて、従来より、電子透かしを用いた手法が知られている。電子透かしとは、デジタル画像データの内部に、人間の目では知覚できないように、デジタル情報を埋め込む技術である。
【００１４】
このような電子透かし技術を用いた改ざん検出方法が提案されている。例えば、特許文献１（特開平１０−１６４５４９号公報）は、画像認証システムを開示する。
【００１５】
以下、図１４を参照しながら、このシステムについて簡単に説明する。デジタルカメラなどにおいて撮影された対象の画像データＤ（図１４（ａ）参照）は、ハッシュ値を生成するための画像領域Ｄ１と、生成されたハッシュ値Ｈを埋め込む画像領域Ｄ２とに分割される（図１４（ｂ）参照）。
【００１６】
ダイジェスト計算部（図示せず）は、画像領域Ｄ１のデータからハッシュ値Ｈを計算し、デジタルカメラごとに異なる秘密鍵で暗号化するなどして、画像領域Ｄ２にハッシュ値Ｈを埋め込む。
【００１７】
一方、図１４（ｃ）に示すように、検証装置は、画像領域Ｄ１のデータから第１のハッシュ値Ｈ１を生成する。
【００１８】
また、検証装置は、画像領域Ｄ２から埋め込まれているハッシュ値Ｈ２を抽出し、抽出された第２のハッシュ値Ｈ２を公開鍵を用いて復号する。
【００１９】
そして、検証装置は、第１のハッシュ値Ｈ１と第２のハッシュ値Ｈ２とを比較することにより、画像データＤが改ざんされているか判定する。
【００２０】
また、特許文献２（特開平１１−３４１２６８号公報）の技術は、圧縮デジタル画像を部分的にデコードし、データブロックの係数に基づきハッシュ値を埋め込むか否かを判定しながら、全てのブロックからハッシュ値を計算する。
【００２１】
次に、この技術は、再度、圧縮デジタル画像を部分的にデコードし、埋め込むべきブロックの係数とハッシュ値との１ビットを置き換えて透かしビットを埋め込む。
【特許文献１】
特開平１０−１６４５４９号公報
【特許文献２】
特開平１１−３４１２６８号公報
【００２２】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術は、画素空間において処理を行っている。このため、画素空間において、画像データが変化する処理（例えば、画像符号化等）を行うと、その処理の前後で、第１のハッシュ値Ｈ１と第２のハッシュ値Ｈ２とが、全く異なる値となってしまうから、ハッシュ値の比較による検証が不可能である。したがって、この技術は、画像圧縮されたデジタル画像の改ざん検出に適用できない。
【００２３】
また、特許文献２の技術は、ハッシュ値の埋め込みのために、画像圧縮データを二度もデコードすることを前提とする。しかも、この技術では、通常用いられる量子化テーブルの変数値を、少なくとも一係数分変更しなければならない。したがって、改ざん検出のための処理が非常に複雑である。
【００２４】
さらに、これらの従来技術では、故意の改ざん（例えば、画像の一部をすり替えたりする変更）と、悪意はないが一般的に行われる非可逆的な画像処理による変更とを、区別することができない。
【００２５】
本発明は、簡易な手順で画像圧縮データの改ざん検出を可能にする技術を提供することを第１の目的とする。
【００２６】
本発明は、画像符号化と親和性がある技術を提供することを第２の目的とする。
【００２７】
本発明は、画像圧縮データを完全に復号しなくとも、改ざんを検出できる技術を提供することを第３の目的とする。
【００２８】
さらに、本発明は、故意の改ざんと非可逆的な画像処理とを区別できる技術を提供することを第４の目的とする。
【００４５】
第５の発明に係る改ざん検出装置は、デジタル画像信号を周波数変換して得られる周波数係数のうち、第１の周波数領域に属する係数に基づいて第１の特徴情報を算出する特徴情報算出部と、デジタル画像信号を周波数変換して得られる周波数係数のうち、第１の周波数領域とは異なる第２の周波数領域に属する周波数係数に基づいて第２の特徴情報とデジタル画像信号を周波数変換して得られる周波数係数のうち、第１の周波数領域及び第２の周波数領域とは異なる第３の周波数領域に属する周波数係数に基づいて第３の特徴情報とを抽出する特徴情報抽出部と、第１の特徴情報と第２の特徴情報と第３の特徴情報のうち、いずれか２つ以上の特徴情報を比較し、改ざんの有無を判定する改ざん判定部とを備える。
【００４６】
この構成により、画像圧縮データの復号プロセスの途中において、特徴情報の抽出と改ざん判定とを行える。
【００４７】
第７の発明に係る改ざん検出装置では、第５から第６のいずれかの発明に加えて、第２の周波数領域は第１の周波数領域よりも高い周波数を持ち、第３の周波数領域は第２の周波数領域よりも高い周波数を持ち、改ざん判定部は、第１の特徴情報と第２の特徴情報とが一致し、かつ、第１の特徴情報と第３の特徴情報とが一致しないとき、改ざんはなく、かつ、画像処理が行われたものと判定する。
【００４８】
この構成により、第１の特徴情報と第２の特徴情報とが一致し、かつ、第１の特徴情報と第３の特徴情報とが一致しない場合があり得るため、故意の改ざんと画像処理による画像の変化とを区別できる。
【００４９】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【００５０】
（第１の実施の形態）
【００５１】
図１は、本発明の第１の実施の形態に係る情報埋め込み装置のブロック図である。図１に示すように、本形態の情報埋め込み装置は、周波数変換部１０１と量子化部１０２と特徴情報算出部１０３と情報埋め込み部１０４と画像符号化部１０５を備える。この情報埋め込み装置は、画像符号化部１０５を備えるので、符号化装置でもある。
【００５２】
周波数変換部１０１は、デジタル画像信号を周波数変換して周波数係数（係数データ）を出力する。
【００５３】
周波数変換部１０１における周波数変換は、離散ウェーブレット変換、サブバンド分割、離散コサイン変換、またはフーリエ変換のいずれかとすることができる。
【００５４】
量子化部１０２は、周波数変換部１０１が出力する係数データを量子化して量子データ（量子化された周波数係数）を出力する。
【００５５】
量子化部１０２における量子化処理は、周波数係数を一定のビット数のデータに置き換える操作であれば、任意に選択できる。例えば、複数の周波数係数をまとめてベクトル量子化してもよい。
【００５６】
特徴情報算出部１０３は、量子化部１０２が出力する量子データのうち、第１の周波数領域に属する量子データに基づいて特徴情報を算出する。
【００５７】
特徴情報算出部１０３が算出する特徴情報は、基になる値を固有に表現できる情報であり、本形態では、基になる値のハッシュ値とする。
【００５８】
本形態では、特徴情報をハッシュ値としたが、これに限定したものではない。例えば、周波数係数値の１つの変更に対して、全く異なる値に変わる特徴情報であれば何でもよい。
【００５９】
情報埋め込み部１０４は、量子化部１０２が出力する量子データのうち、第１の周波数領域とは異なる第２の周波数領域に属する量子データに、特徴情報を埋め込み、埋め込みデータを出力する。
【００６０】
第１の周波数領域と第２の周波数領域は、最高周波数領域よりも周波数が低い、最低周波数領域または中低域周波数領域である。第１の周波数領域と第２の周波数領域については、後に詳述する。
【００６１】
画像符号化部１０５は、情報埋め込み部１０４が出力する埋め込みデータを符号化して画像圧縮データを生成する。
【００６２】
次に、図２を参照しながら、周波数変換として、離散ウェーブレット変換を使用する場合について説明する。図２（ａ）は、原画像を示し、図２（ｂ）は、離散ウェーブレット変換後の周波数係数を示す。
【００６３】
図２（ｂ）において、右側あるいは下側が周波数が高く、左側あるいは上側は周波数が低い。周波数成分ＨＨ１は、最高周波数領域に属し、周波数成分ＬＬ２は、最低周波数領域に属する。また、周波数成分ＨＬ２、ＬＨ２、ＨＨ２は、中低周波数領域に属する。
【００６４】
なお、図２（ｂ）には、２次のウェーブレット変換による周波数係数を示しているが、３次など他の次数を用いても良い。
【００６５】
上述したように、特徴情報算出部１０３は、量子化部１０２で量子化された複数の周波数成分から第１の周波数領域を選択する。ここで、本形態では、最低周波数領域（周波数成分ＬＬ２）を第１の周波数領域として選択する。
【００６６】
したがって、特徴情報算出部１０３は、周波数成分ＬＬ２の係数データから所定の演算により特徴情報を算出する。
【００６７】
また本形態では、中低周波数領域（周波数成分ＨＬ２、ＬＨ２、ＨＨ２）を第２の周波数領域として選択し、周波数成分ＨＬ２、ＬＨ２、ＨＨ２に、所定の規則で、特徴情報（ハッシュ値Ｈ）を埋め込む。
【００６８】
ここで、低周波領域の周波数係数は、非可逆的な画像処理では変化しにくい。画像処理により変化しにくい領域に、特徴情報を埋め込んでいるので、特徴情報を欠落から保護できる。
【００６９】
次に、図３を参照しながら、周波数変換として、離散コサイン変換（ＤＣＴ）を使用する場合について説明する。
【００７０】
画像の符号化方式として、ＪＰＥＧやＭＰＥＧが使用される場合には、離散コサイン変換（ＤＣＴ）を用いたほうがより好ましい。なぜなら、既にＤＣＴ／ＩＤＣＴ（ＩｎｖｅｒｓｅＤＣＴ）のための変換要素が実装済であることが多いから、既存の回路又は要素を転用でき、規模拡大を防止できるからである。
【００７１】
さて、図３（ａ）は、原画像を示し、図３（ｂ）は、図３（ａ）に矩形で示すブロック（８×８画素）が変換された後のＤＣＴ係数を示す。
【００７２】
図３（ｂ）において、横軸ｉあるいは縦軸ｊが「７」に近いほど周波数が高く、横軸ｉあるいは縦軸ｊが「０」に近いほど周波数が低い。（ｉ，ｊ）＝（０，０）なる係数は、直流（ＤＣ）係数であり、それ以外は、全て交流（ＡＣ）係数である。係数（７，７）は、最高周波数領域に属し、係数（０，０）は、最低周波数領域に属する。
【００７３】
離散コサイン変換を用いた場合、全てのブロック（８×８画素）において、第１の周波数領域としてＤＣ係数を除く６３個のＡＣ係数を、第２の周波数係数としてＤＣ係数を、選択するとよい。あるいは、第１の周波数領域としてＤＣ係数を使用し、第２の周波数領域としてＡＣ係数でＤＣ係数の近傍にあるものを使用することもできる。
【００７４】
なお、埋め込み手法自体は、周知の技術を用いることができるが、図４に示すようなビットプレーンを使用することもできる。
【００７５】
図４は、本発明の第１の実施の形態におけるビットプレーンと特徴情報との関係図である。図２（ｂ）に示した周波数係数ＬＬ２、．．．、ＨＨ１は、図２（ｂ）の紙面と平行なｘｙ平面に対して、高さ成分ｚを有する。
【００７６】
図４に示すように、この高さ成分ｚが、ｎ（例えば、ｎ＝８等）ビットで表現されるとき、ＬＳＢ（又はＭＳＢ）を１枚目のビットプレーンＰ１に割り当て、同様に、ＭＳＢ（又はＬＳＢ）をｎ枚目のビットプレーンＰｎに割り当てる。
【００７７】
このようにして、特徴情報を、該当するビットプレーンに埋め込むことができる。そうしても、本形態に包含される。そして、ビットプレーンの使用形態は種々考えられるが、例えば、特徴情報をＭＳＢのビットプレーン（第１の周波数係数として使用）から求め、ＭＳＢの次のビットプレーン（第２の周波数係数として使用）に特徴情報を埋め込むようにするとよい。
【００７８】
以下、図５を参照して、本発明の第１の実施の形態に係る情報埋め込み装置の動作について説明する。図５は、本発明の第１の実施の形態に係る情報埋め込み装置のフローチャートである。
【００７９】
まず、ステップ１にて、周波数変換部１０１は、入力されるデジタル画像信号を周波数変換する。
【００８０】
次に、ステップ２にて、量子化部１０２は、周波数変換部１０１で出力された周波数係数を所定の規則に従う量子化ステップサイズで量子化処理を行う。
【００８１】
次に、ステップ３にて、特徴情報算出部１０３は、第１の周波数領域の係数に基づいて特徴情報（ハッシュ値Ｈ）を算出する。
【００８２】
次に、ステップ４にて、情報埋め込み部１０４は、特徴情報算出部１０３が算出した特徴情報（ハッシュ値Ｈ）を、第１の周波数領域と異なる領域である第２の周波数領域中の係数に、所定の規則で操作して埋め込む。
【００８３】
次に、ステップ５にて、画像符号化部１０５は、複数の周波数成分を表す周波数係数を符号化し画像圧縮データを生成する。
【００８４】
以上のように、本発明の第１の実施の形態に係る情報埋め込み装置は、デジタル画像信号を周波数変換した周波数係数から直接ハッシュ値を算出し、所定の規則に基づき周波数係数を操作することにより、ハッシュ値を周波数係数に埋め込む。
【００８５】
これにより、画像符号化の過程で埋め込みが可能であることから、より簡易な手順で画像圧縮データの改ざん検出を可能であり、画像符号化との親和性がある。
【００８６】
なお、複数の周波数成分から周波数領域を選択する手法は、本形態で説明した組み合わせ以外にも、第１の周波数領域と第２の周波数領域が相異なる組み合わせを選択すれば、これに限定されない。例えば、第１の周波数領域としてＬＬ２を、第２の周波数係数としてＨＨ２を選択するような組み合わせでもよい。つまり、複数の周波数成分から全てを選択する必要はない。
【００８７】
（第２の実施の形態）
【００８８】
図６は、本発明の第２の実施の形態に係る改ざん検出装置のブロック図である。本形態の改ざん検出装置３００は、実施の形態１の情報埋め込み装置に対応するものであり、第１の特徴情報および第２の特徴情報は、基になる値のハッシュ値である。
【００８９】
図６に示すように、本形態の改ざん検出装置３００は、画像復号部３０１と特徴情報算出部３０２と特徴情報抽出部３０３と改ざん判定部３０４を備える。
【００９０】
画像復号部３０１は、画像圧縮データを復号して周波数係数（量子データ）を出力する。即ち、画像復号部３０１は、周波数係数を出力できさえすれば十分であって、必ずしも、逆量子化部や可変長復号部等を備えていなくとも良い。
【００９１】
この周波数係数は、画像圧縮データを復号する過程で出力される量子化された周波数成分のデータである。
【００９２】
また、第１の周波数領域と第２の周波数領域は、最高周波数領域よりも周波数が低い領域、中低周波数領域が望ましい。
【００９３】
特徴情報算出部３０２は、画像復号部が出力する周波数係数（量子データ）に基づいて第１の特徴情報を算出し、改ざん判定部３０４へ出力する。
【００９４】
特徴情報抽出部３０３は、画像復号部が出力する周波数係数（量子データ）に基づいて第２の特徴情報を算出し、改ざん判定部３０４へ出力する。
【００９５】
改ざん判定部３０４は、第１の特徴情報と第２の特徴情報とを比較して改ざんの有無を判定する。より具体的には、改ざん判定部３０４は、第１の特徴情報と前記第２の特徴情報とを比較し、一致する場合には、改ざんされていないと判定する。
【００９６】
なお、改ざん判定部３０４の判定結果は、本形態の改ざん検出装置３００の外部に位置する、主メモリ４００へ格納された後、表示制御部４０１に制御されるディスプレイ４０２に表示される。
【００９７】
以下、図７を参照して、本発明の第２の実施の形態に係る改ざん検出装置の動作について説明する。図７は、本発明の第２の実施の形態に係る改ざん検出装置のフローチャートである。
【００９８】
まず、ステップ１１にて、画像復号部３０１は、画像圧縮データを所定の復号化処理を行い、量子データを、特徴情報算出部３０２と特徴情報抽出部３０３とに出力する。
【００９９】
次に、ステップ１２にて、特徴情報算出部３０２は、量子データのうち、第１の周波数領域に属する成分に基づいて演算し、第１の特徴情報を算出する。
【０１００】
なお、特徴情報としては、第１の周波数領域全体の係数データから計算したハッシュ値Ｈ１とする。
【０１０１】
次に、ステップ１３にて、特徴情報抽出部３０３は、量子データのうち、第２の周波数領域に属する成分から、第２の特徴情報を抽出する。
【０１０２】
次に、ステップ１４にて、改ざん判定部３０４は、特徴情報算出部３０２で算出した第１の特徴情報と、特徴情報抽出部３０３で抽出した第２の特徴情報とを、比較し、これらの特徴情報が一致する場合には、対象の画像圧縮データが改変されていないと判定する。
【０１０３】
一方、改ざん判定部３０４は、第１の特徴情報と第２の特徴情報とが一致しない場合には、画像圧縮データが改ざんされていると判定する。
【０１０４】
改ざん判定部３０４の判定結果は、メモリ４００に一旦格納された後、表示制御部４０１を経てディスプレイ４０２に表示される。
【０１０５】
以上のように、本発明の第２の実施の形態に係る改ざん検出装置によれば、画像圧縮データを所定の復号化処理する過程において出力される周波数成分から直接、改ざん判定を行うことができる。
【０１０６】
これにより、より簡易な手順で画像圧縮データの改ざん検出が可能になり、しかも、完全な復号なしに、改ざん検出をおこなうことができる。
【０１０７】
（第３の実施の形態）
【０１０８】
図８は、本発明の第３の実施の形態に係る情報埋め込み装置のブロック図である。図８に示すように、本形態の情報埋め込み装置は、周波数変換部１０１と量子化部１０２と特徴情報算出部１０３と情報埋め込み部７０１と画像符号化部１０５を備える。
【０１０９】
なお、周波数変換部１０１、量子化部１０２、特徴情報算出部１０３、及び画像符号化部１０５は、上記第１の実施の形態に係る同様の構成であるので、以下当該構成については同一の符号を付してその説明を省略し、第１の実施の形態との相違点を中心に説明する。
【０１１０】
情報埋め込み部７０１は、第２の周波数領域に属する量子データと第３の周波数領域に属する量子データとの両方に、特徴情報を埋め込み、埋め込みデータを出力する。
【０１１１】
第１の周波数領域と第２の周波数領域と第３の周波数領域は、互いに異なる領域であり、第１の周波数領域と第２の周波数領域は、低周波領域とし、第３の周波数領域は、高周波数領域とする。
【０１１２】
本形態では、図２（ｂ）において、最低周波数領域（周波数成分ＬＬ２）を第１の周波数領域として選択する。
【０１１３】
また、中低周波数領域（周波数成分ＨＬ２、ＬＨ２、ＨＨ２）を第２の周波数領域として選択し、高周波数領域（周波数成分ＨＬ１、ＬＨ１、ＨＨ１）を第３の周波数領域として選択する。
【０１１４】
ここで、高周波数領域の周波数成分ＨＬ１、ＬＨ１、ＨＨ１は、画像圧縮などの画像処理に対する耐性が低い。ここでいう耐性とは、画像処理後に情報が欠落しない度合いである。
【０１１５】
また、中低周波数領域の周波数成分ＨＬ２、ＬＨ２、ＨＨ３は、耐性が高い。さらに、最低周波数領域の周波数成分ＬＬ２は、耐性が最高である。
【０１１６】
ここで、画像データに対して、不可逆な画像処理等を施すと、第３の周波数領域（耐性が低い高周波数領域）の周波数成分は、変化することがあるが、第１の周波数領域（中低周波数領域）の周波数成分及び第２の周波数領域（最低周波数領域）の周波数成分は、一般に変化しない。
【０１１７】
一方、画像データに対し故意の改ざん（例えば、画像中の人物像の顔を入れ替える等）を加えると、全ての周波数領域の周波数成分が変化する。即ち、このとき、第１の周波数領域の周波数成分や第２の周波数領域の周波数成分も変化する。
【０１１８】
以上により、耐性が高い周波数領域（第１、第２の周波数領域）において変化があれば、故意の改ざんであると判定することができる。
【０１１９】
また、耐性が高い周波数領域において変化がなく、耐性が低い周波数領域（第３の周波数領域）においてのみ、変化があるときは、画像データに対して、故意の改ざんがされたのではなく、不可逆な画像処理等が施されたものであると判定できる。
【０１２０】
よって、本形態では、次のようにする。特徴情報算出部１０３は、第１の周波数領域の周波数成分ＬＬ２の量子データに基づいて特徴情報（ハッシュ値Ｈ）を算出する。
【０１２１】
情報埋め込み部７０１は、この特徴情報（ハッシュ値Ｈ）を、第２の周波数領域の周波数成分（ＨＬ２、ＬＨ２、ＨＨ２）と第３の周波数領域の周波数成分（ＨＬ１、ＬＨ１、ＨＨ１）に埋め込む。埋め込みについては、第１の実施の形態と同様である。
【０１２２】
以下、図９を用いて、本発明の第３の実施の形態に係る情報埋め込み装置の動作について説明する。図９は、本発明の第３の実施の形態に係る情報埋め込み装置のフローチャートである。
【０１２３】
まず、ステップ２１にて、周波数変換部１０１は、入力されるデジタル画像信号を周波数変換する。
【０１２４】
次に、ステップ２２にて、量子化部１０２は、周波数変換部１０１で出力された周波数係数を所定の規則に従う量子化ステップサイズで量子化し量子データを出力する。
【０１２５】
次に、ステップ２３にて、特徴情報算出部１０３は、第１の周波数領域の周波数成分ＬＬ２の量子データに基づいて特徴情報（ハッシュ値Ｈ）を算出する。
【０１２６】
次に、ステップ２４からステップ２５にて、情報埋め込み部７０１は、この特徴情報（ハッシュ値Ｈ）を、第２の周波数領域の周波数成分（ＨＬ２、ＬＨ２、ＨＨ２）と第３の周波数領域の周波数成分（ＨＬ１、ＬＨ１、ＨＨ１）に埋め込む。
【０１２７】
次に、ステップ２６にて、画像符号化部１０５は、特徴情報が埋め込まれた複数の周波数成分に基づいて符号化処理を行い画像圧縮データを生成する。
【０１２８】
以上のように、本発明の第３の実施の形態に係る情報埋め込み装置は、デジタル画像信号を周波数変換した周波数係数から直接ハッシュ値を算出し、所定の規則に基づき周波数係数を操作することにより、ハッシュ値を埋め込む。
【０１２９】
これにより、画像符号化プロセスの途中で特徴情報を埋め込むことができるから、より簡易な手順で画像圧縮データの改ざん検出を可能であり、画像符号化との親和性が高い。
【０１３０】
なお、複数の周波数成分から周波数領域を選択する組み合わせは、本形態で説明した組み合わせに限定されないが、第１の周波数領域と第２の周波数領域が相異なるようにする。
【０１３１】
好ましくは、第１の周波数領域は、最低周波数成分もしくは中低域周波数成分である。また、第２の周波数領域は、最低周波数成分もしくは中低域周波数成分である。さらに、第３の周波数領域は、最低周波数成分を除く中高域周波数成分である。
【０１３２】
（第４の実施の形態）
【０１３３】
図１０は、本発明の第４の実施の形態に係る改ざん検出装置のブロック図である。本形態の改ざん検出装置５００は、実施の形態３の情報埋め込み装置に対応するものであり、第１の特徴情報、第２の特徴情報および第３の特徴情報は、基になる値のハッシュ値である。
【０１３４】
以下第２の実施の形態と同様の構成要素については同一の符号を付して説明を省略し、第２の実施の形態との相違点を中心に説明する。
【０１３５】
図１０に示すように、本形態の改ざん検出装置５００は、画像復号部３０１と特徴情報算出部３０２と特徴情報抽出部９０１、９０２と改ざん判定部９０３を備える。
【０１３６】
図１０において、画像復号部３０１は、画像圧縮データを復号して周波数係数を出力する。
【０１３７】
特徴情報算出部３０２は、画像復号部３０１が出力する周波数係数に基づいて第１の特徴情報を算出する。
【０１３８】
特徴情報抽出部９０１は、画像復号部３０１が出力する周波数係数に基づいて第２の特徴情報を算出し、特徴情報抽出部９０２は、画像復号部が出力する周波数係数に基づいて第３の特徴情報を算出する。
【０１３９】
改ざん判定部９０３は、第１の特徴情報と第２の特徴情報と第３の特徴情報のうち、いずれか２つ以上の特徴情報を比較し、改ざんの有無を判定する。
【０１４０】
改ざん判定部９０３は、第１の特徴情報と第２の特徴情報とが一致する場合や、第１の特徴情報と第３の特徴情報とが一致する場合には、画像圧縮データが改ざんされていないと判定する。
【０１４１】
第３の実施の形態の説明で述べたように、第２の周波数領域は第１の周波数領域よりも高い周波数を持ち、第３の周波数領域は第２の周波数領域よりも高い周波数を持つ。
【０１４２】
そして、改ざん判定部９０３は、第１の特徴情報と第２の特徴情報とが一致し、かつ、第１の特徴情報と第３の特徴情報とが一致しないとき、改ざんはなく、かつ、画像処理が行われたものと判定する。
【０１４３】
さて、本形態の改ざん検出装置は、第３の実施の形態における情報埋め込み装置に対応するものであるから、第３の実施の形態と同様に、次のように周波数領域を定める。
【０１４４】
第１の周波数領域と第２の周波数領域と第３の周波数領域は、互いに異なる領域であり、第１の周波数領域と第２の周波数領域は、低周波領域とし、第３の周波数領域は、高周波数領域とする。
【０１４５】
本形態では、図２（ｂ）において、最低周波数領域（周波数成分ＬＬ２）を第１の周波数領域として選択する。
【０１４６】
また、中低周波数領域（周波数成分ＨＬ２、ＬＨ２、ＨＨ２）を第２の周波数領域として選択し、高周波数領域（周波数成分ＨＬ１、ＬＨ１、ＨＨ１）を第３の周波数領域として選択する。
【０１４７】
第１の特徴情報は、特徴情報算出部３０２が、第１の周波数領域（周波数成分ＬＬ２）に基づいて計算するハッシュ値Ｈ１である。
【０１４８】
第２の特徴情報は、特徴情報抽出部９０１が、第２の周波数領域（周波数成分ＨＬ２、ＬＨ２、ＨＨ２）に基づいて計算するハッシュ値Ｈ２である。
【０１４９】
第３の特徴情報は、特徴情報抽出部９０２が、第３の周波数領域（周波数成分ＨＬ１、ＬＨ１、ＨＨ１）に基づいて計算するハッシュ値Ｈ３である。
【０１５０】
次に、図１１を用いて、本発明の第４の実施の形態に係る改ざん検出装置の動作について説明する。図１１は、本発明の第４の実施の形態に係る改ざん検出装置のフローチャートである。
【０１５１】
まず、ステップ３１にて、画像復号部３０１は、画像圧縮データを復号し量子化された周波数係数（量子データ）を出力する。
【０１５２】
次に、ステップ３２にて、特徴情報算出部３０２は、量子データのうち、第１の周波数領域に属する成分に基づいて、第１の特徴情報（ハッシュ値Ｈ１）を算出する。
【０１５３】
次に、ステップ３３にて、特徴情報抽出部９０１は、量子データのうち、第２の周波数領域に属する成分に基づいて、第２の特徴情報（ハッシュ値Ｈ２）を算出する。
【０１５４】
次に、ステップ３４にて、特徴情報抽出部９０２は、量子データのうち、第３の周波数領域に属する成分に基づいて、第３の特徴情報（ハッシュ値Ｈ３）を算出する。
【０１５５】
次に、ステップ３５にて、改ざん判定部９０３は、これら３つの特徴情報（ハッシュ値Ｈ１、Ｈ２、Ｈ３）を比較し、一致する場合には、対象の画像圧縮データが改変されていないと判定する。
【０１５６】
ここで、第３の実施の形態の説明において述べたように、耐性が高い周波数領域（第１、第２の周波数領域）において変化があれば、故意の改ざんであると判定することができる。
【０１５７】
耐性が高い周波数領域において変化がなく、耐性が低い周波数領域（第３の周波数領域）においてのみ、変化があるときは、画像データに対して、故意の改ざんがされたのではなく、不可逆な画像処理等が施されたものであると判定できる。
【０１５８】
言い換えれば、
（ａ）Ｈ２＝Ｈ３＝Ｈ１ならば、改ざんなしと判定できる。
（ｂ）Ｈ２＝Ｈ１かつＨ３≠Ｈ１ならば、画像データが、故意の改ざんではなく画像処理により、変更されていると判定できる。
（ｃ）Ｈ２≠Ｈ１かつＨ３≠Ｈ１ならば、画像データが、故意に改ざんされていると判定できる。
【０１５９】
以上のように、本発明の第４の実施の形態に係る改ざん検出装置は、画像の高周波成分だけでなく、非可逆的な画像処理では比較的変化しにくい低周波成分の周波数係数にもハッシュ値を埋め込む。これにより、画像の改ざん行為と非可逆的な画像処理とが、区別できる。
【０１６０】
繰り返しになるが、以下ポイントを説明する。例えば、画像の一部を改変するような改ざん行為では、低域から高域のすべての周波数係数が変化する可能性が高いため、ハッシュ値Ｈ１、Ｈ２、Ｈ３がすべて変化する。この場合は、改ざんありと判定できる。
【０１６１】
しかし、画像圧縮などの画像処理を施した場合では、高周波成分の周波数係数は変化するが、低周波数成分の周波数係数は変化しにくいため、ハッシュ値Ｈ１とハッシュ値Ｈ２は同一となり、改ざんなしと判定できる。
【０１６２】
また、ハッシュ値Ｈ１とハッシュ値Ｈ２が一致し、ハッシュ値Ｈ１とハッシュ値Ｈ３とが異なる場合は、非可逆的な画像処理が施された可能性がより高いと予想できる。したがって、画像の改ざん行為と非可逆的な画像処理とを区別できることになる。
【０１６３】
（記録媒体）
【０１６４】
図１２に示すように、第１の実施の形態から第４の実施の形態において述べた、情報埋め込み装置、符号化装置、改ざん検出装置における各構成要素をプログラムとして構築し、コンピュータ６００にインストールする、または、ネットワーク７００を介してサーバ８００に接続された記憶装置８０１からこのプログラムを流通させることも可能である。
【０１６５】
このプログラムには、周波数変換部１０１、量子化部１０２、特徴情報算出部１０３、３０２、情報埋め込み部１０４、７０１、画像符号化部１０５、特徴情報抽出部３０３、９０１、９０２、改ざん判定部３０４、９０３の全部又は一部の要素が、プロセス又はプログラムモジュール等として、実装されることになる。
【０１６６】
このプログラムは、典型的には、ＣＤ−ＲＯＭやフレキシブルディスク等の記録媒体４０７に格納され、ドライブ４０８、インターフェイス４０６を介してハードディスク４０９等の記憶装置にインストールされる。
【０１６７】
そして、ＣＰＵ４０３が、バス４０５を介して、ＲＯＭ４０４、主メモリ４００、ハードディスク４０９等をアクセスしながら、このプログラムを実行することにより、上記実施の形態に係る情報埋め込み装置、符号化装置及び改ざん検出装置が実現されることになる。
【０１６８】
【発明の効果】
本発明によれば、画像圧縮データの処理過程において、改ざん検出用情報（ハッシュ値）を埋め込むことができるので、より簡易な手順で画像圧縮データの改ざん検出を可能にする。
【０１６９】
しかも、画像符号化と親和性がある。さらに、画像圧縮データの完全な復号化を必要とせずに、改ざん検出の検証をおこなうことができる。
【０１７０】
また、画像の改ざん行為と非可逆的な画像処理とを区別できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における情報埋め込み装置のブロック図
【図２】（ａ）本発明の離散ウェーブレット変換の説明図（原画像）
（ｂ）本発明の離散ウェーブレット変換の説明図（周波数係数）
【図３】（ａ）本発明の離散コサイン変換の説明図（原画像）
（ｂ）本発明の離散コサイン変換の説明図（周波数係数）
【図４】本発明における埋め込み処理の説明図（ビットプレーン）
【図５】本発明の第１の実施の形態における情報埋め込み装置のフローチャート
【図６】本発明の第２の実施の形態における改ざん検出装置のブロック図
【図７】本発明の第２の実施の形態における改ざん検出装置のフローチャート
【図８】本発明の第３の実施の形態における情報埋め込み装置のブロック図
【図９】本発明の第３の実施の形態における情報埋め込み装置のフローチャート
【図１０】本発明の第４の実施の形態における改ざん検出装置のブロック図
【図１１】本発明の第４の実施の形態における改ざん検出装置のフローチャート
【図１２】本発明の記録媒体を使用したシステム構成の例示図
【図１３】従来の電子認証システムの概略図
【図１４】（ａ）従来の画像認証システムの動作説明図
（ｂ）従来の画像認証システムの動作説明図
（ｃ）従来の画像認証システムの動作説明図
【符号の説明】
１０１周波数変換部
１０２量子化部
１０３特徴情報算出部
１０４、７０１情報埋め込み部
１０５画像符号化部
３０１画像復号部
３０２特徴情報算出部
３０３、９０１、９０２特徴情報抽出部
３０４、９０３改ざん判定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information embedding device, a falsification detection device, and related techniques. In particular, the present invention relates to a technique for embedding and detecting characteristic information for determining whether or not image compression data has been tampered with as a digital watermark when compressing a digital image signal.
[0002]
[Prior art]
In recent years, the demand for monitoring systems is increasing from the viewpoint of security such as crime prevention. In particular, in the field of monitoring recording devices, users are strongly demanding that long-time recording and high image quality are possible.
[0003]
For this reason, digital disk recorders that compress image data of digitized image data and record the data as digital are rapidly spreading.
[0004]
It is easy to falsify (for example, edit and process) digital data using commercially available image processing software.
[0005]
In the above description, the monitoring recording apparatus and the digital disk recorder are taken as an example. However, the present invention is not limited to these uses, and can be widely applied to techniques for performing image processing.
[0006]
There is a need to establish a tamper detection technique that can determine whether or not a digital image has been tampered with. Conventionally, electronic authentication technology is known as one of the countermeasures.
[0007]
FIG. 13 shows an outline of a conventional electronic authentication procedure. In FIG. 13, the transmission device applies a hash function to an original digital image to obtain a hash value. Further, the transmission device compresses the digital image based on the hash value and generates a digest.
[0008]
Next, the transmission apparatus encrypts this digest with the private key of the sender. Then, the transmission device transmits both data of the original digital image and the encrypted digest to the reception device via the network.
[0009]
The receiving device receives both of these data via the network. The receiving device compresses the received digital image with a hash value to create a first digest. The receiving device decrypts the received digest with the sender's public key, and creates a second digest.
[0010]
Then, the receiving apparatus compares the first digest and the second digest, and determines that there is no falsification if they are the same, and determines that there is falsification if they are not the same.
[0011]
However, in the above-described electronic authentication, the transmission apparatus must transmit two types of data, that is, an original digital image and an encrypted digest, to the reception apparatus.
[0012]
When there are a large number of digital images, a data management device that manages the correspondence between the digital images and the digest is practically indispensable.
[0013]
Instead of such a data management apparatus, a technique using a digital watermark is conventionally known. Digital watermarking is a technique for embedding digital information inside digital image data so that it cannot be perceived by the human eye.
[0014]
A tampering detection method using such a digital watermark technique has been proposed. For example, Patent Document 1 (Japanese Patent Laid-Open No. 10-164549) discloses an image authentication system.
[0015]
Hereinafter, this system will be briefly described with reference to FIG. The target image data D (see FIG. 14A) captured by a digital camera or the like is divided into an image region D1 for generating a hash value and an image region D2 in which the generated hash value H is embedded. (See FIG. 14 (b)).
[0016]
A digest calculation unit (not shown) calculates a hash value H from the data in the image area D1, and embeds the hash value H in the image area D2 by encrypting it with a different secret key for each digital camera.
[0017]
On the other hand, as shown in FIG. 14C, the verification device generates a first hash value H1 from the data of the image area D1.
[0018]
Further, the verification device extracts the hash value H2 embedded from the image area D2, and decrypts the extracted second hash value H2 using the public key.
[0019]
Then, the verification device determines whether the image data D has been tampered with by comparing the first hash value H1 and the second hash value H2.
[0020]
Further, the technique of Patent Document 2 (Japanese Patent Laid-Open No. 11-341268) partially decodes a compressed digital image and determines whether to embed a hash value based on the coefficient of the data block, Calculate the hash value.
[0021]
Next, this technique again partially decodes the compressed digital image and embeds watermark bits by replacing one bit of the coefficient of the block to be embedded and the hash value.
[Patent Document 1]
JP-A-10-164549
[Patent Document 2]
Japanese Patent Laid-Open No. 11-341268
[0022]
[Problems to be solved by the invention]
However, the technique of Patent Document 1 performs processing in a pixel space. For this reason, when processing (for example, image coding) in which image data changes in the pixel space, the first hash value H1 and the second hash value H2 are completely different before and after the processing. Therefore, verification by comparing hash values is impossible. Therefore, this technique cannot be applied to falsification detection of a digital image that has been compressed.
[0023]
Further, the technique of Patent Document 2 is based on the premise that the compressed image data is decoded twice for embedding the hash value. Moreover, in this technique, the variable value of the quantization table that is normally used must be changed by at least one coefficient. Therefore, the process for detecting tampering is very complicated.
[0024]
Furthermore, in these conventional techniques, it is possible to distinguish between intentional alteration (for example, a change in which a part of an image is replaced) and a change by non-reversible image processing that is generally performed without being malicious. Can not.
[0025]
A first object of the present invention is to provide a technique that enables detection of falsification of compressed image data by a simple procedure.
[0026]
The second object of the present invention is to provide a technique having an affinity for image coding.
[0027]
A third object of the present invention is to provide a technique capable of detecting tampering without completely decoding compressed image data.
[0028]
Furthermore, a fourth object of the present invention is to provide a technique capable of distinguishing intentional tampering from irreversible image processing.
[0045]
First 5 The falsification detection device according to the invention of Of the frequency coefficients obtained by frequency conversion of the digital image signal, a feature information calculation unit for calculating the first feature information based on a coefficient belonging to the first frequency domain, and obtained by frequency conversion of the digital image signal Of the frequency coefficients, the first frequency of the frequency coefficients obtained by frequency-converting the second feature information and the digital image signal based on a frequency coefficient belonging to a second frequency domain different from the first frequency domain. A feature information extraction unit that extracts third feature information based on a frequency coefficient belonging to a third frequency region different from the region and the second frequency region, the first feature information, the second feature information, and the second A tampering determination unit that compares any two or more of the feature information among the three feature information and determines whether or not tampering has occurred. .
[0046]
With this configuration, feature information can be extracted and tampered with during the process of decoding the compressed image data.
[0047]
In the falsification detection device according to the seventh invention, in addition to any of the fifth to sixth inventions, the second frequency region has a higher frequency than the first frequency region, and the third frequency region is the first frequency region. When the falsification determination unit has a higher frequency than the frequency region of 2 and the first feature information and the second feature information match, and the first feature information and the third feature information do not match , It is determined that there has been no alteration and image processing has been performed .
[0048]
With this configuration, the first feature information and the second feature information may coincide with each other, and the first feature information and the third feature information may not coincide with each other. It can be distinguished from image changes.
[0049]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0050]
(First embodiment)
[0051]
FIG. 1 is a block diagram of an information embedding device according to the first embodiment of the present invention. As shown in FIG. 1, the information embedding device of this embodiment includes a frequency conversion unit 101, a quantization unit 102, a feature information calculation unit 103, an information embedding unit 104, and an image encoding unit 105. Since this information embedding device includes the image encoding unit 105, it is also an encoding device.
[0052]
The frequency conversion unit 101 converts the frequency of the digital image signal and outputs a frequency coefficient (coefficient data).
[0053]
The frequency transform in the frequency transform unit 101 can be any of discrete wavelet transform, subband division, discrete cosine transform, or Fourier transform.
[0054]
The quantization unit 102 quantizes the coefficient data output from the frequency conversion unit 101 and outputs quantum data (quantized frequency coefficient).
[0055]
The quantization processing in the quantization unit 102 can be arbitrarily selected as long as it is an operation for replacing the frequency coefficient with data having a certain number of bits. For example, a plurality of frequency coefficients may be collectively vector quantized.
[0056]
The feature information calculation unit 103 calculates feature information based on the quantum data belonging to the first frequency domain among the quantum data output from the quantization unit 102.
[0057]
The feature information calculated by the feature information calculation unit 103 is information that can uniquely represent the base value. In this embodiment, the feature information is a hash value of the base value.
[0058]
In this embodiment, the feature information is a hash value, but the present invention is not limited to this. For example, any feature information that changes to a completely different value for one change of the frequency coefficient value may be used.
[0059]
The information embedding unit 104 embeds feature information in quantum data belonging to a second frequency region different from the first frequency region among the quantum data output from the quantization unit 102, and outputs embedded data.
[0060]
The first frequency region and the second frequency region are the lowest frequency region or the middle low frequency region where the frequency is lower than the highest frequency region. The first frequency region and the second frequency region will be described in detail later.
[0061]
The image encoding unit 105 encodes the embedded data output from the information embedding unit 104 to generate compressed image data.
[0062]
Next, a case where a discrete wavelet transform is used as a frequency transform will be described with reference to FIG. FIG. 2A shows an original image, and FIG. 2B shows frequency coefficients after discrete wavelet transform.
[0063]
In FIG. 2B, the right side or the lower side has a high frequency, and the left side or the upper side has a low frequency. The frequency component HH1 belongs to the highest frequency region, and the frequency component LL2 belongs to the lowest frequency region. Further, the frequency components HL2, LH2, and HH2 belong to the middle / low frequency region.
[0064]
FIG. 2B shows frequency coefficients obtained by the second-order wavelet transform, but other orders such as a third order may be used.
[0065]
As described above, the feature information calculation unit 103 selects the first frequency region from the plurality of frequency components quantized by the quantization unit 102. Here, in this embodiment, the lowest frequency region (frequency component LL2) is selected as the first frequency region.
[0066]
Therefore, the feature information calculation unit 103 calculates feature information from the coefficient data of the frequency component LL2 by a predetermined calculation.
[0067]
Further, in this embodiment, the middle and low frequency regions (frequency components HL2, LH2, and HH2) are selected as the second frequency regions, and the feature information (hash value H) is added to the frequency components HL2, LH2, and HH2 according to a predetermined rule. Embed.
[0068]
Here, the frequency coefficient in the low frequency region is not easily changed by irreversible image processing. Since the feature information is embedded in a region that is difficult to change by image processing, the feature information can be protected from being lost.
[0069]
Next, a case where a discrete cosine transform (DCT) is used as the frequency transform will be described with reference to FIG.
[0070]
When JPEG or MPEG is used as an image encoding method, it is more preferable to use discrete cosine transform (DCT). This is because, in many cases, conversion elements for DCT / IDCT (Inverse DCT) have already been mounted, so that existing circuits or elements can be diverted and scale expansion can be prevented.
[0071]
FIG. 3A shows the original image, and FIG. 3B shows the DCT coefficients after the block (8 × 8 pixels) shown by the rectangle in FIG. 3A is converted.
[0072]
In FIG. 3B, the frequency is higher as the horizontal axis i or the vertical axis j is closer to “7”, and the frequency is lower as the horizontal axis i or the vertical axis j is closer to “0”. The coefficient (i, j) = (0,0) is a direct current (DC) coefficient, and all other coefficients are alternating current (AC) coefficients. The coefficient (7, 7) belongs to the highest frequency region, and the coefficient (0, 0) belongs to the lowest frequency region.
[0073]
When the discrete cosine transform is used, in all the blocks (8 × 8 pixels), 63 AC coefficients excluding the DC coefficient may be selected as the first frequency domain, and the DC coefficient may be selected as the second frequency coefficient. Alternatively, a DC coefficient may be used as the first frequency region, and an AC coefficient that is in the vicinity of the DC coefficient may be used as the second frequency region.
[0074]
A well-known technique can be used for the embedding method itself, but a bit plane as shown in FIG. 4 can also be used.
[0075]
FIG. 4 is a relationship diagram between the bit plane and the feature information according to the first embodiment of the present invention. The frequency coefficients LL2,. . . , HH1 has a height component z with respect to the xy plane parallel to the paper surface of FIG.
[0076]
As shown in FIG. 4, when this height component z is expressed by n (for example, n = 8, etc.) bits, LSB (or MSB) is assigned to the first bit plane P1, and similarly, MSB (Or LSB) is assigned to the nth bit plane Pn.
[0077]
In this way, the feature information can be embedded in the corresponding bit plane. Even so, it is included in this embodiment. Various usage forms of the bit plane can be considered. For example, the feature information is obtained from the MSB bit plane (used as the first frequency coefficient), and is used as the next bit plane (used as the second frequency coefficient) of the MSB. It is preferable to embed feature information.
[0078]
Hereinafter, the operation of the information embedding device according to the first embodiment of the present invention will be described with reference to FIG. FIG. 5 is a flowchart of the information embedding device according to the first embodiment of the present invention.
[0079]
First, in step 1, the frequency conversion unit 101 performs frequency conversion on the input digital image signal.
[0080]
Next, in step 2, the quantization unit 102 performs a quantization process on the frequency coefficient output from the frequency conversion unit 101 with a quantization step size according to a predetermined rule.
[0081]
Next, in step 3, the feature information calculation unit 103 calculates feature information (hash value H) based on the coefficient of the first frequency domain.
[0082]
Next, in step 4, the information embedding unit 104 converts the feature information (hash value H) calculated by the feature information calculation unit 103 into a coefficient in the second frequency domain, which is a different area from the first frequency domain. , Embedding by operating according to a predetermined rule.
[0083]
Next, in step 5, the image encoding unit 105 encodes frequency coefficients representing a plurality of frequency components to generate compressed image data.
[0084]
As described above, the information embedding device according to the first embodiment of the present invention calculates a hash value directly from a frequency coefficient obtained by frequency-converting a digital image signal, and operates the frequency coefficient based on a predetermined rule. The hash value is embedded in the frequency coefficient.
[0085]
Thereby, since it is possible to embed in the process of image encoding, it is possible to detect falsification of compressed image data with a simpler procedure, and this has an affinity for image encoding.
[0086]
Note that the method of selecting a frequency region from a plurality of frequency components is not limited to this, as long as a combination in which the first frequency region and the second frequency region are different from each other is selected in addition to the combination described in the present embodiment. For example, a combination of selecting LL2 as the first frequency region and HH2 as the second frequency coefficient may be used. That is, it is not necessary to select all of the plurality of frequency components.
[0087]
(Second Embodiment)
[0088]
FIG. 6 is a block diagram of a tampering detection apparatus according to the second embodiment of the present invention. The falsification detection device 300 according to the present embodiment corresponds to the information embedding device according to the first embodiment, and the first feature information and the second feature information are hash values of base values.
[0089]
As illustrated in FIG. 6, the tampering detection apparatus 300 of this embodiment includes an image decoding unit 301, a feature information calculation unit 302, a feature information extraction unit 303, and a tampering determination unit 304.
[0090]
The image decoding unit 301 decodes the compressed image data and outputs a frequency coefficient (quantum data). That is, it is sufficient for the image decoding unit 301 to output a frequency coefficient, and it is not always necessary to include an inverse quantization unit, a variable length decoding unit, or the like.
[0091]
This frequency coefficient is quantized frequency component data output in the process of decoding the compressed image data.
[0092]
Further, the first frequency region and the second frequency region are desirably a region having a frequency lower than the highest frequency region and a medium to low frequency region.
[0093]
The feature information calculation unit 302 calculates first feature information based on the frequency coefficient (quantum data) output from the image decoding unit, and outputs the first feature information to the falsification determination unit 304.
[0094]
The feature information extraction unit 303 calculates second feature information based on the frequency coefficient (quantum data) output from the image decoding unit, and outputs the second feature information to the tampering determination unit 304.
[0095]
The tampering determination unit 304 compares the first feature information and the second feature information to determine whether or not tampering has occurred. More specifically, the tampering determination unit 304 compares the first feature information and the second feature information, and determines that the tampering has not been made if they match.
[0096]
The determination result of the falsification determination unit 304 is stored in the main memory 400 located outside the falsification detection device 300 of this embodiment, and then displayed on the display 402 controlled by the display control unit 401.
[0097]
Hereinafter, the operation of the tampering detection apparatus according to the second embodiment of the present invention will be described with reference to FIG. FIG. 7 is a flowchart of the tampering detection apparatus according to the second embodiment of the present invention.
[0098]
First, in step 11, the image decoding unit 301 performs predetermined decoding processing on the compressed image data, and outputs quantum data to the feature information calculation unit 302 and the feature information extraction unit 303.
[0099]
Next, in step 12, the feature information calculation unit 302 calculates the first feature information by calculating based on the component belonging to the first frequency domain in the quantum data.
[0100]
The feature information is a hash value H1 calculated from the coefficient data of the entire first frequency domain.
[0101]
Next, in step 13, the feature information extraction unit 303 extracts second feature information from the components belonging to the second frequency domain in the quantum data.
[0102]
Next, in step 14, the falsification determination unit 304 compares the first feature information calculated by the feature information calculation unit 302 with the second feature information extracted by the feature information extraction unit 303, and compares these. If the feature information matches, it is determined that the target compressed image data has not been altered.
[0103]
On the other hand, if the first feature information and the second feature information do not match, the alteration determination unit 304 determines that the compressed image data has been altered.
[0104]
The determination result of the falsification determination unit 304 is temporarily stored in the memory 400 and then displayed on the display 402 via the display control unit 401.
[0105]
As described above, according to the falsification detection apparatus according to the second embodiment of the present invention, it is possible to perform falsification determination directly from the frequency component output in the process of performing predetermined decoding processing on the compressed image data. .
[0106]
As a result, it is possible to detect falsification of compressed image data with a simpler procedure, and it is possible to detect falsification without complete decoding.
[0107]
(Third embodiment)
[0108]
FIG. 8 is a block diagram of an information embedding device according to the third embodiment of the present invention. As shown in FIG. 8, the information embedding device of this embodiment includes a frequency conversion unit 101, a quantization unit 102, a feature information calculation unit 103, an information embedding unit 701, and an image encoding unit 105.
[0109]
The frequency conversion unit 101, the quantization unit 102, the feature information calculation unit 103, and the image encoding unit 105 have the same configuration according to the first embodiment. A description thereof will be omitted, and the description will focus on differences from the first embodiment.
[0110]
The information embedding unit 701 embeds feature information in both quantum data belonging to the second frequency domain and quantum data belonging to the third frequency domain, and outputs embedded data.
[0111]
The first frequency region, the second frequency region, and the third frequency region are regions different from each other, the first frequency region and the second frequency region are low frequency regions, and the third frequency region is The high frequency range.
[0112]
In this embodiment, in FIG. 2B, the lowest frequency region (frequency component LL2) is selected as the first frequency region.
[0113]
Further, the middle and low frequency regions (frequency components HL2, LH2, and HH2) are selected as the second frequency region, and the high frequency regions (frequency components HL1, LH1, and HH1) are selected as the third frequency region.
[0114]
Here, the frequency components HL1, LH1, and HH1 in the high frequency region have low resistance to image processing such as image compression. The term “resistance” as used herein refers to the degree that information is not lost after image processing.
[0115]
Further, the frequency components HL2, LH2, and HH3 in the middle and low frequency region have high resistance. Furthermore, the frequency component LL2 in the lowest frequency region has the highest tolerance.
[0116]
Here, when irreversible image processing or the like is performed on the image data, the frequency component in the third frequency region (high frequency region with low tolerance) may change, but the first frequency region (medium The frequency component in the low frequency region) and the frequency component in the second frequency region (lowest frequency region) generally do not change.
[0117]
On the other hand, when intentional alteration (for example, replacing the face of a human figure in the image) is added to the image data, the frequency components in all frequency regions change. That is, at this time, the frequency component in the first frequency region and the frequency component in the second frequency region also change.
[0118]
As described above, if there is a change in the high-tolerance frequency region (first and second frequency regions), it can be determined that the falsification is intentional.
[0119]
In addition, when there is no change in the frequency region with high tolerance and there is a change only in the frequency region (third frequency region) with low tolerance, the image data has not been intentionally altered and is irreversible. It can be determined that the image processing is performed.
[0120]
Therefore, in this embodiment, the following is performed. The feature information calculation unit 103 calculates feature information (hash value H) based on the quantum data of the frequency component LL2 in the first frequency region.
[0121]
The information embedding unit 701 embeds this feature information (hash value H) in the frequency components (HL2, LH2, HH2) in the second frequency domain and the frequency components (HL1, LH1, HH1) in the third frequency domain. The embedding is the same as in the first embodiment.
[0122]
The operation of the information embedding device according to the third embodiment of the present invention will be described below with reference to FIG. FIG. 9 is a flowchart of the information embedding device according to the third embodiment of the present invention.
[0123]
First, in step 21, the frequency conversion unit 101 converts the frequency of the input digital image signal.
[0124]
Next, in step 22, the quantization unit 102 quantizes the frequency coefficient output from the frequency conversion unit 101 with a quantization step size according to a predetermined rule, and outputs quantum data.
[0125]
Next, in step 23, the feature information calculation unit 103 calculates feature information (hash value H) based on the quantum data of the frequency component LL2 in the first frequency domain.
[0126]
Next, from step 24 to step 25, the information embedding unit 701 uses this characteristic information (hash value H) as the frequency component (HL2, LH2, HH2) of the second frequency domain and the frequency of the third frequency domain. Embed in components (HL1, LH1, HH1).
[0127]
Next, in step 26, the image encoding unit 105 performs an encoding process based on a plurality of frequency components in which the feature information is embedded, and generates compressed image data.
[0128]
As described above, the information embedding device according to the third embodiment of the present invention calculates a hash value directly from a frequency coefficient obtained by frequency-converting a digital image signal, and operates the frequency coefficient based on a predetermined rule. Embed the hash value.
[0129]
This makes it possible to embed feature information in the middle of the image encoding process, so that it is possible to detect falsification of compressed image data with a simpler procedure, and the compatibility with image encoding is high.
[0130]
Note that the combination for selecting a frequency region from a plurality of frequency components is not limited to the combination described in this embodiment, but the first frequency region and the second frequency region are different.
[0131]
Preferably, the first frequency region is a lowest frequency component or a middle low frequency component. The second frequency region is the lowest frequency component or the middle-low frequency component. Furthermore, the third frequency region is a mid-high frequency component excluding the lowest frequency component.
[0132]
(Fourth embodiment)
[0133]
FIG. 10 is a block diagram of a tampering detection apparatus according to the fourth embodiment of the present invention. The falsification detection device 500 according to the present embodiment corresponds to the information embedding device according to the third embodiment, and the first feature information, the second feature information, and the third feature information are hash values of base values. It is.
[0134]
Hereinafter, the same components as those of the second embodiment are denoted by the same reference numerals, description thereof is omitted, and differences from the second embodiment will be mainly described.
[0135]
As shown in FIG. 10, the tampering detection apparatus 500 of this embodiment includes an image decoding unit 301, a feature information calculation unit 302, feature information extraction units 901 and 902, and a tampering determination unit 903.
[0136]
In FIG. 10, an image decoding unit 301 decodes the compressed image data and outputs a frequency coefficient.
[0137]
The feature information calculation unit 302 calculates first feature information based on the frequency coefficient output from the image decoding unit 301.
[0138]
The feature information extraction unit 901 calculates second feature information based on the frequency coefficient output from the image decoding unit 301, and the feature information extraction unit 902 calculates the third feature based on the frequency coefficient output from the image decoding unit. Calculate information.
[0139]
The tampering determination unit 903 compares any two or more feature information among the first feature information, the second feature information, and the third feature information, and determines the presence or absence of tampering.
[0140]
When the first feature information and the second feature information match, or when the first feature information and the third feature information match, the falsification determination unit 903 indicates that the compressed image data has been falsified. Judge that there is no.
[0141]
As described in the description of the third embodiment, the second frequency region has a higher frequency than the first frequency region, and the third frequency region has a higher frequency than the second frequency region.
[0142]
Then, the tampering determination unit 903 does not tamper with the first feature information and the second feature information, and when the first feature information and the third feature information do not match, and the image It is determined that processing has been performed.
[0143]
Now, since the falsification detection device according to the present embodiment corresponds to the information embedding device according to the third embodiment, the frequency region is determined as follows, similarly to the third embodiment.
[0144]
The first frequency region, the second frequency region, and the third frequency region are regions different from each other, the first frequency region and the second frequency region are low frequency regions, and the third frequency region is The high frequency range.
[0145]
In this embodiment, in FIG. 2B, the lowest frequency region (frequency component LL2) is selected as the first frequency region.
[0146]
Further, the middle and low frequency regions (frequency components HL2, LH2, and HH2) are selected as the second frequency region, and the high frequency regions (frequency components HL1, LH1, and HH1) are selected as the third frequency region.
[0147]
The first feature information is a hash value H1 that the feature information calculation unit 302 calculates based on the first frequency region (frequency component LL2).
[0148]
The second feature information is a hash value H2 that the feature information extraction unit 901 calculates based on the second frequency region (frequency components HL2, LH2, and HH2).
[0149]
The third feature information is a hash value H3 calculated by the feature information extraction unit 902 based on the third frequency region (frequency components HL1, LH1, and HH1).
[0150]
Next, the operation of the tampering detection apparatus according to the fourth embodiment of the present invention will be described with reference to FIG. FIG. 11 is a flowchart of the tampering detection apparatus according to the fourth embodiment of the present invention.
[0151]
First, in step 31, the image decoding unit 301 decodes the compressed image data and outputs a quantized frequency coefficient (quantum data).
[0152]
Next, in step 32, the feature information calculation unit 302 calculates the first feature information (hash value H1) based on the component belonging to the first frequency domain in the quantum data.
[0153]
Next, in step 33, the feature information extraction unit 901 calculates second feature information (hash value H2) based on the components belonging to the second frequency domain in the quantum data.
[0154]
Next, in step 34, the feature information extraction unit 902 calculates third feature information (hash value H3) based on the components belonging to the third frequency domain in the quantum data.
[0155]
Next, in step 35, the tampering determination unit 903 compares these three pieces of feature information (hash values H1, H2, and H3), and determines that the target image compression data has not been altered if they match. To do.
[0156]
Here, as described in the description of the third embodiment, if there is a change in a frequency region (first and second frequency regions) with high tolerance, it can be determined that the falsification is intentional.
[0157]
When there is no change in the frequency domain with high tolerance and only in the frequency domain (third frequency domain) with low tolerance, the image data is not intentionally altered, but an irreversible image. It can be determined that the processing has been performed.
[0158]
In other words,
(A) If H2 = H3 = H1, it can be determined that there is no tampering.
(B) If H2 = H1 and H3 ≠ H1, it can be determined that the image data has been changed by image processing rather than intentional alteration.
(C) If H2 ≠ H1 and H3 ≠ H1, it can be determined that the image data has been intentionally altered.
[0159]
As described above, the falsification detection apparatus according to the fourth embodiment of the present invention hashes not only high-frequency components of images but also frequency coefficients of low-frequency components that are relatively difficult to change by irreversible image processing. Embed values. As a result, it is possible to distinguish between image manipulation and irreversible image processing.
[0160]
Again, the following points will be explained. For example, in a tampering action that modifies a part of an image, all the frequency coefficients from the low range to the high range are highly likely to change, and thus the hash values H1, H2, and H3 all change. In this case, it can be determined that there has been tampering.
[0161]
However, when image processing such as image compression is performed, the frequency coefficient of the high-frequency component changes, but the frequency coefficient of the low-frequency component hardly changes, so that the hash value H1 and the hash value H2 are the same, and there is no alteration. Can be judged.
[0162]
Further, when the hash value H1 and the hash value H2 match and the hash value H1 and the hash value H3 are different, it can be predicted that the possibility that the irreversible image processing has been performed is higher. Therefore, it is possible to distinguish between image manipulation and irreversible image processing.
[0163]
(recoding media)
[0164]
As shown in FIG. 12, each component in the information embedding device, encoding device, and falsification detection device described in the first to fourth embodiments is constructed as a program and installed in a computer 600. Alternatively, this program can be distributed from the storage device 801 connected to the server 800 via the network 700.
[0165]
This program includes a frequency conversion unit 101, a quantization unit 102, feature information calculation units 103 and 302, information embedding units 104 and 701, an image encoding unit 105, feature information extraction units 303, 901 and 902, and a falsification determination unit 304. , 903, all or part of the elements are implemented as processes or program modules.
[0166]
This program is typically stored in a recording medium 407 such as a CD-ROM or a flexible disk, and is installed in a storage device such as a hard disk 409 via a drive 408 and an interface 406.
[0167]
The CPU 403 executes this program while accessing the ROM 404, the main memory 400, the hard disk 409, and the like via the bus 405, whereby the information embedding device, the encoding device, and the falsification detection device according to the above-described embodiment. Will be realized.
[0168]
【The invention's effect】
According to the present invention, since the falsification detection information (hash value) can be embedded in the process of processing the compressed image data, it is possible to detect the falsification of the compressed image data with a simpler procedure.
[0169]
Moreover, it has an affinity for image coding. Furthermore, it is possible to verify alteration detection without requiring complete decoding of compressed image data.
[0170]
Further, it is possible to distinguish between an image manipulation action and irreversible image processing.
[Brief description of the drawings]
FIG. 1 is a block diagram of an information embedding device according to a first embodiment of the present invention.
FIG. 2A is an explanatory diagram of the discrete wavelet transform of the present invention (original image).
(B) Illustration of discrete wavelet transform of the present invention (frequency coefficient)
FIG. 3A is an explanatory diagram of a discrete cosine transform according to the present invention (original image).
(B) Illustration of discrete cosine transform of the present invention (frequency coefficient)
FIG. 4 is an explanatory diagram (bit plane) of embedding processing in the present invention.
FIG. 5 is a flowchart of the information embedding device according to the first embodiment of the present invention.
FIG. 6 is a block diagram of a tampering detection apparatus according to a second embodiment of the present invention.
FIG. 7 is a flowchart of a tampering detection apparatus according to the second embodiment of the present invention.
FIG. 8 is a block diagram of an information embedding device according to a third embodiment of the present invention.
FIG. 9 is a flowchart of the information embedding device according to the third embodiment of the present invention.
FIG. 10 is a block diagram of a tampering detection apparatus according to a fourth embodiment of the present invention.
FIG. 11 is a flowchart of a tampering detection apparatus according to a fourth embodiment of the present invention.
FIG. 12 is a view showing an example of a system configuration using the recording medium of the present invention.
FIG. 13 is a schematic diagram of a conventional electronic authentication system.
FIG. 14A is an operation explanatory diagram of a conventional image authentication system.
(B) Operation explanatory diagram of a conventional image authentication system
(C) Operation explanatory diagram of a conventional image authentication system
[Explanation of symbols]
101 Frequency converter
102 Quantization unit
103 Feature information calculation unit
104, 701 Information embedding part
105 Image encoding unit
301 Image decoding unit
302 feature information calculation unit
303, 901, 902 Feature information extraction unit
304, 903 Tampering determination unit

Claims

Of the frequency coefficients obtained by frequency conversion of the digital image signal, a feature information calculation unit that calculates feature information based on a coefficient belonging to the first frequency domain;
Of the frequency coefficients obtained by frequency conversion of the digital image signal, among the frequency coefficients belonging to the second frequency region different from the first frequency region and the frequency coefficient obtained by frequency conversion of the digital image signal, Both the first frequency domain and the frequency coefficient belonging to a third frequency domain different from the second frequency domain,
An information embedding apparatus comprising: an information embedding unit that embeds the feature information and outputs embedded data.

The first frequency region information embedding apparatus according to claim 1, wherein the frequency is in the region lower than the highest frequency range having a specific frequency component.

The second frequency region information embedding apparatus according to claim 1, wherein the frequency is in the region lower than the highest frequency range having a specific frequency component.

The third frequency region, I high frequency domain der than the lowest frequency range having a specific frequency component, the lowest frequency region is 3 to claim 2, having a frequency component lower than the maximum frequency domain The information embedding device according to any one of the above.

A feature information calculation unit that calculates first feature information based on a coefficient belonging to the first frequency region among frequency coefficients obtained by frequency conversion of the digital image signal;
Of the frequency coefficients obtained by frequency-converting the digital image signal, the second feature information and the digital image signal are frequency-converted based on a frequency coefficient belonging to a second frequency domain different from the first frequency domain. A feature information extraction unit that extracts third feature information based on a frequency coefficient belonging to a third frequency region different from the first frequency region and the second frequency region among the obtained frequency coefficients;
A tampering detection device comprising a tampering determination unit that compares any two or more of the first feature information, the second feature information, and the third feature information and determines whether or not tampering has occurred. .

The tampering determination unit uses the comparison result between the first feature information and the second feature information and the comparison result between the first feature information and the third feature information to determine whether or not tampering has occurred. The tampering detection apparatus according to claim 5 for determination.

The second frequency region has a higher frequency than the first frequency region;
The third frequency region has a higher frequency than the second frequency region;
The falsification determination unit
When the first feature information and the second feature information match, and when the first feature information and the third feature information do not match, there is no falsification and image processing is performed. The falsification detection device according to any one of claims 5 to 6, wherein the falsification detection device is determined to be an object.

The information embedding method by the information embedding device according to claim 1, comprising a feature information calculation unit and an information embedding unit,
Calculating feature information based on a coefficient belonging to a first frequency region among frequency coefficients obtained by frequency-converting a digital image signal by the feature information calculation unit ;
Of the frequency coefficients obtained by frequency-converting the digital image signal by the information embedding unit, the frequency coefficient belonging to the second frequency domain different from the first frequency domain and the digital image signal are frequency-converted Embedding the feature information in both of the frequency coefficients belonging to a third frequency domain different from the first frequency domain and the second frequency domain, and outputting embedded data. Information embedding method.

The falsification detection method by the falsification detection device according to claim 5, comprising a feature information calculation unit, a feature information extraction unit, and a falsification determination unit,
Calculating the first feature information based on a coefficient belonging to the first frequency region among the frequency coefficients obtained by frequency-converting the digital image signal by the feature information calculation unit ;
Based on a frequency coefficient belonging to a second frequency region different from the first frequency region, among the frequency coefficients obtained by frequency-converting the digital image signal by the feature information extraction unit, the second feature information and the digital Of the frequency coefficients obtained by frequency conversion of the image signal, third feature information is extracted based on frequency coefficients belonging to a third frequency domain different from the first frequency domain and the second frequency domain And steps to
A step of comparing the two or more feature information among the first feature information, the second feature information, and the third feature information by the tampering determination unit to determine whether or not tampering has occurred. Including tamper detection methods.

The component in the information embedding device according to claim 1 including a feature information calculation unit and an information embedding unit is constructed as a computer program, and is a recording medium on which the computer program is recorded,
Calculating feature information based on a coefficient belonging to a first frequency region among frequency coefficients obtained by frequency-converting a digital image signal by the feature information calculation unit ;
Of the frequency coefficients obtained by frequency-converting the digital image signal by the information embedding unit, the frequency coefficient belonging to the second frequency domain different from the first frequency domain and the digital image signal are frequency-converted Of the frequency coefficients, both the first frequency domain and the frequency coefficient belonging to a third frequency domain different from the second frequency domain,
A recording medium on which an information embedding program including the step of embedding the feature information and outputting embedded data is recorded.

A component in the falsification detection device according to claim 5 including a characteristic information calculation unit, a characteristic information extraction unit, and a falsification determination unit is constructed as a computer program, and is a recording medium on which the computer program is recorded,
Calculating the first feature information based on a coefficient belonging to the first frequency region among the frequency coefficients obtained by frequency-converting the digital image signal by the feature information calculation unit ;
Based on a frequency coefficient belonging to a second frequency region different from the first frequency region, among the frequency coefficients obtained by frequency-converting the digital image signal by the feature information extraction unit, the second feature information and the digital Of the frequency coefficients obtained by frequency conversion of the image signal, third feature information is extracted based on frequency coefficients belonging to a third frequency domain different from the first frequency domain and the second frequency domain And steps to
A step of comparing the two or more feature information among the first feature information, the second feature information, and the third feature information by the tampering determination unit to determine whether or not tampering has occurred. A recording medium on which a falsification detection program is recorded.