JP2019213071A

JP2019213071A - 画像符号化装置、画像符号化方法、及び画像改ざん判定プログラム

Info

Publication number: JP2019213071A
Application number: JP2018108203A
Authority: JP
Inventors: 菅原　隆幸; Takayuki Sugawara; 隆幸菅原; 正樹後藤; Masaki Goto
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2018-06-06
Filing date: 2018-06-06
Publication date: 2019-12-12
Anticipated expiration: 2038-06-06
Also published as: JP6497468B1; US11082711B2; US20190379899A1

Abstract

【課題】動画像に電子透かしを安全に埋め込んで符号化することのできる画像符号化技術を提供する。【解決手段】時間的に連続するピクチャを符号化する画像符号化装置を提供する。埋め込み位置情報変換部２４は、時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する。画像符号化部２７は、埋め込み位置情報に基づいてピクチャ内の符号化ブロックを選択し、符号化ブロックの符号化に用いられる符号化パラメータに電子透かし情報を埋め込み、電子透かし情報が埋め込まれた符号化パラメータを用いて符号化ブロックを符号化する。【選択図】図２

Description

本発明は、画像に電子透かしを埋め込んで符号化する画像符号化技術及び電子透かしを用いた画像改ざん判定技術に関する。

図６は、ＭＰＥＧ符号化方式による符号化を行う従来の符号化装置１００の構成図である。以下簡単に説明する。入力画像信号は、まず動き補償予測器１で復号化した画像信号と差分器２で差分を取られることで時間冗長部分を削減される。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（Ｍａｃｒｏｂｌｏｃｋ）毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。

動き補償予測器１における動き補償は、入力画像信号と画像メモリ１１からの参照画像信号の間で、動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎ）モードと共にＭＢの付加情報として伝送される。

差分器２から出力された差分画像信号は、ＤＣＴ器３において離散コサイン変換（ＤＣＴ：ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）が行われてＤＣＴ係数とされる。

ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器４で量子化が行われる。

量子化器４で量子化されたデータはＶＬＣ器５で可変長符号（ＶＬＣ：ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｅ）化される。

ＶＬＣ器５で可変長符号化されたデータは、バッファ６に一時蓄えられた後、所定の転送レートで符号化データとして出力される。また、その出力される符号化データのＭＢ毎の発生符号量は、符号量制御器７に供給され、ここで目標符号量に対する発生符号量との誤差符号量とされた後、量子化器４にフィードバックされて量子化スケールを調整することで符号量制御される。

また、量子化器４で量子化された画像データは、逆量子化器８にて逆量子化され、更に逆ＤＣＴ器９にて逆ＤＣＴされた後、加算器１０を介して画像メモリ１１に一時蓄えられる。動き補償予測器１は、画像メモリ１１に記憶された信号を、入力画像信号との動き補償を行うためのリファレンスの復号化画像（参照画像）として使用する。

図７は、図６の符号化装置１００によりＭＰＥＧ符号化された符号化データを復号化する復号化装置１１０の構成図である。符号化データ（ストリーム）はバッファ１３でバッファリングされてからＶＬＤ器１４に入力される。ＶＬＤ器１４では可変長復号化を行う。

ＶＬＤ器１４から出力されたデータは逆量子化器１５に入力され逆量子化される。逆量子化されたデータは逆ＤＣＴ器１６に入力されて逆ＤＣＴされ、加算器１７で動き補償予測器１８からの信号と加算されることにより、画像データ（復号化データ）として出力される。また、この復号化データは、画像メモリ１９に一時蓄えられた後、動き補償予測器１８において、ＶＬＤ器１４からのデータとの間の差分画像を計算するためのリファレンスの復号化画像（参照画像）として使用される。

また、現在はＭＰＥＧ２の効率を２倍以上に引き上げたＨ２６４（ＡＶＣ）という新しい符号化標準ができた。さらに符号化効率を向上させる技術を進化させてＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）という符号化方式（Ｈ２６５）も使われるようになった。ＨＥＶＣは、ＡＶＣに比べてさらに約２倍、ＭＰＥＧ２に比べると約４倍、圧縮性能が向上した。特にＨＤＴＶやＵＨＤＴＶのような高解像度の映像に対する圧縮性能が優れている。

ＨＥＶＣでは主に下記の（１）〜（３）の３つの技術部分に新しい進化したアルゴリズムが投入されている。

（１）符号化ブロック
固定サイズのマクロブロックに代わってサイズを選択可能なＣＴＵ（ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ）を符号化の基本処理単位である符号化ブロックとして導入した。ＨＥＶＣのＣＴＵサイズの最大は６４×６４であり、ＣＴＵはラスタスキャン順に処理される。さらにＣＴＵを起点としてブロック内を再帰的に四分木分割することができ、単調な領域では大きなブロックサイズを、形状や信号の変化が複雑な領域ではその信号変化に合わせた形にブロックサイズを選択することによって、動き補償予測や画面内予測、変換処理を最適に行えるようにできる。ブロックの形状は正方形だけではなく、長方形も選択できる。

（２）動きパラメータ符号化
ＨＥＶＣで採用されたマージモードは、近傍ブロックと動きパラメータが同じ場合にはブロックを統合することにより動きパラメータの符号化データを削減するものである。背景や動物体など同一領域は同じ動きを示すので、動きパラメータの符号量を削減することができる。動きベクトルの予測処理自体は以前から使われているが、予測の候補となるベクトルの個数がＭＰＥＧ−２では１つのみ、ＡＶＣでも近傍の３つから選択する、というものであったが、ＨＥＶＣでは近傍の５つから選択できるようになり、予測効率が高くなった。

（３）予測モード
ＨＥＶＣでは３５種類から選択できる方式に拡張され、予測処理の性能が大きく向上した。適応ブロックサイズとイントラ予測モードの拡張により、ＨＥＶＣのフレーム内予測符号化の性能は大いに向上し、ＪＰＥＧ２０００を超える性能が確認されている。

特開２００４−３６４２６３号公報

このような符号化方式を用いてドライブレコーダなどの記録装置に記録されたデータは記録映像の性質上、自動車事故や駐車場で犯罪などから、警察の捜査情報、あるいは裁判の証拠などに使われることが多い。一方で、そのデータの画像を書き換えるなど改ざんをすることも比較的可能である。すなわち、警察や裁判所に提出されるデータが「記録されたままのオリジナル」であるということは疑義が生じるものであるので、改ざんがなされていないということが、科学的に証明できる仕組みが必要となった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、動画像に電子透かしを安全に埋め込んで符号化することのできる画像符号化技術及び電子透かしを用いて確実に画像の改ざんを判定することのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化装置は、時間的に連続するピクチャを符号化する画像符号化装置であって、時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する埋め込み位置情報変換部（２４）と、前記埋め込み位置情報に基づいて前記ピクチャ内の符号化ブロックを選択し、前記符号化ブロックの符号化に用いられる符号化パラメータに電子透かし情報を埋め込み、前記電子透かし情報が埋め込まれた前記符号化パラメータを用いて前記符号化ブロックを符号化する符号化部（２７）とを含む。

本発明の別の態様は、画像符号化方法である。この方法は、時間的に連続するピクチャを符号化する画像符号化方法であって、時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する埋め込み位置情報変換ステップと、前記埋め込み位置情報に基づいて前記ピクチャ内の符号化ブロックを選択し、前記符号化ブロックの符号化に用いられる符号化パラメータに電子透かし情報を埋め込み、前記電子透かし情報が埋め込まれた符号化パラメータを用いて前記符号化ブロックを符号化する符号化ステップとを含む。

本発明のさらに別の態様は、画像改ざん判定プログラムである。このプログラムは、時間的に連続するピクチャが符号化された符号化ストリームからピクチャを復号して電子透かし情報を検出し、改ざんの有無を判定するであって、前記ピクチャから取得される時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する埋め込み位置情報変換ステップと、前記埋め込み位置情報に基づいて前記ピクチャ内の符号化ブロックを選択し、前記符号化ブロックの符号化に用いられた符号化パラメータから電子透かし情報を抽出する電子透かし情報抽出ステップと、抽出された電子透かし情報を照合情報と比較してピクチャの改ざんの有無を判定する比較判定ステップとをコンピュータに実行させる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動画像に電子透かしを安全に埋め込んで符号化することができ、電子透かしを用いて確実に画像の改ざんを判定することができる。

符号化ビットストリームの改ざんや編集を説明する図である。実施の形態に係る電子透かし埋め込み装置の構成図である。実施の形態に係る電子透かしを用いた画像改ざん判定装置の構成図である。実施の形態に係る電子透かし埋め込み方法を説明するフローチャートである。実施の形態に係る電子透かしを用いた画像改ざん判定方法を説明するフローチャートである。ＭＰＥＧ符号化方式による符号化を行う従来の符号化装置の構成図である。ＭＰＥＧ符号化された符号化データを復号化する従来の復号化装置の構成図である。電子透かし埋め込み位置を説明する概念図である。電子透かし埋め込みブロックの説明図である。電子透かし情報セットを説明する図である。

フレーム画像の時間順序情報を生成し、その時間順序情報を電子透かしとして、目視できないように動画像データに埋め込む方法について図１を用いて説明する。
図１の符号化データビットストリーム５００は説明上、簡易的に、青、黄、赤のランプが横に並んだ交通信号機が撮影されているとして説明する。この符号化データビットストリームのコンテンツは、時間方向に「青」から「黄」を経て「赤」に変わる映像シーンとする。
図１に示すように、符号化データビットストリーム５００を復号すると、青が点灯した信号機の画像（符号５０１、５０２）、黄が点灯した信号機の画像（符号５０３、５０４）、赤が点灯した信号機の画像（符号５０５、５０６）がこの順で得られる。ＭＰＥＧの特徴としては、フレーム内で符号化が完結するイントラ画像を含むＧＯＰ単位であれば簡単に編集ができる。黄が点灯した信号機の画像（符号５０３、５０４）の一部を、画像編集ソフトウェアを用いて都合よく編集し、黄色の信号を、青信号が光っているように変えた場合、電子透かしデータによって改ざんを検出することができる。しかし、青が点灯した信号機の画像（符号５０１、５０２）をコピーして黄が点灯した信号機の画像（符号５０３、５０４）と差し替えて再符号化し、その再符号化データを元の黄が点灯した信号機のシーンがあった場所（２つのＧＯＰ）に書き戻すと、電子透かしはそのまま存在し、電子透かしの有無では改ざんが検出できない。オリジナルのコンテンツは「青」から「黄」を経て「赤」に変わるシーンであったはずのものが、改ざん後には「青」から「青」を経て「赤」に変わるシーンとなる。信号が「青」から「黄」の状態を経ずに「赤」になるのは常識的には考えられないので、改ざんしたことは意味的にも明らかであるが、これが信号ではなく交差点内のバイクの存在を消すなどの編集であれば、意味的には判別できない。つまり、科学的証明をしない限り、このＭＰＥＧ動画データは疑義のあるものとなってしまう。

図２は、本発明の実施の形態に係る電子透かし埋め込み装置２００の構成図である。電子透かし埋め込み装置２００の一例は、車載型記録装置（ドライブレコーダ）であるが、これに限定されるものではない。ここでは電子透かし埋め込み装置２００に入力される映像は、車載型記録装置のカメラによって撮像された外界の映像であるとして説明する。

電子透かし埋め込み装置２００は、ドライブレコーダカメラ２１、時間連続性データ生成部２２、ハッシュ値生成部２３、埋め込み位置情報変換部２４、電子透かしデータ構成部２５、電子透かし情報セット構成部２６、及び画像符号化部２７を含む。

ドライブレコーダカメラ２１は自動車正面に向けて設置される。自動車は走りながら正面の道路上のさまざまな交通状態を撮像する。ドライブレコーダ内部にある加速度センサなどの検出値がある閾値を超えた場合や急ブレーキ、急ハンドルがなされた場合、ドライブレコーダは、事故や衝突などが起きたと判定し、走行中撮影していた映像を、たとえば事故の瞬間の１０秒前から事故後１分（合計７０秒）の間の映像を符号化してメモリに記録する。

ドライブレコーダカメラ２１は、撮像した映像に同期したタイムコード情報を時間連続性データ生成部２２に供給する。ドライブレコーダカメラ２１は、ドライブレコーダの型番、メーカＩＤ、車ナンバなどの特定情報を電子透かしデータ構成部２５に供給する。ドライブレコーダカメラ２１は、撮像した映像のフレームを画像符号化部２７に供給する。

時間連続性データ生成部２２は、映像に同期したタイムコード情報をもとに時間連続性情報を生成する。例えば、はじめのフレームについてフレーム番号などの数字を０ｘ００００００００とした場合、次のフレームは０ｘ０００００００１とするなど、フレーム周波数に関係なく、符号化するピクチャのコマ数によって連続的に数字をインクリメントカウントする。時間連続性データ生成部２２は、インクリメントカウントした数字（ここでは３２ビットとする）を時間連続性情報としてハッシュ値生成部２３に供給する。時間連続性情報は、時間に応じて変化する情報であればよく、必ずしも単調に増加または減少する値でなくてもよく、所定の規則にしたがって常に値が変化している何らかの数値であればよい。時間連続性情報を用いることによって、映像中のフレームを差し替える改ざんを行った場合でも時間連続性が失われたことを通して、改ざんを検出することができる。

ハッシュ値生成部２３は、時間連続性情報をキー入力として、ハッシュテーブルを参照してハッシュ値を出力する。ハッシュ値は所定のビット数列としてハッシュ関数から出力されるが、ここでは同じビット数のハッシュ値が出力されるとして説明する。

ハッシュ値生成部２３は、入力された時間連続性情報をハッシュ関数の入力値として、ハッシュ関数を用いて、ここでは３２ビットのハッシュ値に変換する。ここで、ハッシュ関数は暗号学的に安全な一方向性関数であることが望ましく、ＳＨＡ−２など衝突が発見されていないものが望ましい。ハッシュ値生成部２３は、生成されたハッシュ値を埋め込み位置情報変換部２４に供給する。

埋め込み位置情報変換部２４は、入力されたハッシュ値の一部を用いて符号化ブロックアドレスへ変換する。符号化ブロックアドレスは、画像の符号化ブロックを特定するための画像内の埋め込み位置情報である。

ここでは、１９２０画素×１０８０画素のＨＤＴＶ画像に一例として２４０ビットの電子透かし情報を埋め込む場合を説明する。ＳＨＡ−２の２５６ビット出力の規格であるＳＨＡ−２５６を用いて、出力値の２５６ビット（３２バイト）を図８（ａ）に示すように上位／下位の１６バイトに分ける。上位１６ビットの中の下位２バイトをｘ座標として、１９２０をモジュロとする剰余演算を行ってｘ座標値を求める。下位１６ビットの中の下位２バイトをｙ座標として、１０４８をモジュロとする剰余演算を行ってｙ座標値を求める。

このようにして得られたｘ座標値、ｙ座標値によって、１９２０画素×１０８０画素のＨＤＴＶ画像における電子透かし埋め込み位置である符号化ブロックのアドレスを得る。具体的には、図８（ｂ）に示すように、得られたｘ座標値、ｙ座標値が示す画素（符号５１０）を含む１６画素×１６画素の符号化ブロックが特定され、その次の符号化ブロック（符号５１２）のラスタ順の番号が埋め込み位置情報として得られる。埋め込み位置情報変換部２４は、得られた埋め込み位置情報すなわち符号化ブロックアドレスを電子透かし情報セット構成部２６に供給する。

埋め込み位置情報で特定される符号化ブロック（符号５１２）を最初の埋め込み対象とし、所定のルールにもとづいてラスタ順に所定数の符号化ブロックを電子透かし情報の埋め込み対象として選択し、各符号化ブロックの符号化パラメータに電子透かし情報を埋め込む。ここでは、各符号化ブロックの符号化パラメータに１ビットの電子透かし情報を埋め込む。たとえば、２４０ビットの電子透かし情報を埋め込む場合、２４０個の符号化ブロックが埋め込み対象として必要になる。図８（ｂ）では、符号５１４で示す符号化ブロックが最後の埋め込み対象となる。

ラスタ順に２４０個の符号化ブロックを選択する方法は予めルールとして決めておく。ルールはいろいろ考えられるが、例えば図９（ａ）に示すように、埋め込み位置情報で特定される符号化ブロックを最初の埋め込み対象とし、右斜め下の順番で残りの２３９個の符号化ブロックを埋め込み対象として選択する方法がある。また、図９（ｂ）に示すようにＺ型順番で埋め込み対象の符号化ブロックを選択する方法もある。

複数のフレームに渡って埋め込む場合は、図９（ｃ）に示すように、最初のピクチャにおいてハッシュ関数から得られる埋め込み位置情報で特定される符号化ブロックを最初の埋め込み対象とし、それ以降のピクチャにおいて１枚進む毎にラスタ順で１つ分ずつずれた符号化ブロックを最初の埋め込み対象として決める方法がある。ここで、最初のピクチャだけでなく、それ以降のピクチャにおいても、時間情報をピクチャ毎に検出しハッシュ関数に入力して埋め込み位置情報を得ることでピクチャ毎に埋め込み位置を変えることもでき、その場合、電子透かし埋め込みとしてはより安全な方法となる。またＭＰＥＧの特有な構成であるＧＯＰ（グループオブピクチャ）単位で時間情報からハッシュ値を得て埋め込み位置を変えることにし、同一ＧＯＰ内のピクチャは１枚進む毎に埋め込み位置をラスタ順で１ブロックずつずらしていくようにしてもよい。

このように画面内のＸ、Ｙ軸に時間軸を加えて、３次元的に２４０個の埋め込み位置のバリエーションを任意のルールに従って様々に決定することができる。いずれにしてもピクチャ単位もしくはＧＯＰ単位で時間連続性情報を用いることで、埋め込み位置がランダムに変化することから非常に安全な電子透かし埋め込み方法を実現することができる。

ここで、埋め込み位置のｙ座標値を求める際、１０４８をモジュロとする剰余演算を行った理由を説明する。１９２０画素×１０８０画素のＨＤＴＶ画像においてＸ軸方向には１６画素×１６画素の符号化ブロックが１２０個並んでいる。２４０ビットの電子透かし情報を埋め込むためには、２４０個の符号化ブロックを必要とするが、これは２ブロックラインすなわちＹ軸方向３２ラインに相当する。Ｙ軸方向の１０８０ラインから３２ラインを差し引くと１０４８ラインになる。ｙ座標値を求める際、１０４８をモジュロとする剰余演算を行うことで、少なくとも２ブロックライン分を確保することができる。このようにして上述の剰余演算で得られたｘ座標値、ｙ座標値で特定される符号化ブロックの次の符号化ブロックからラスタ順で２４０個の符号化ブロックをＨＤＴＶ画像内で選択することができる。

なお、１９２０画素×１０８０画素のＨＤＴＶ画像は、符号化ブロックを１６画素×１６画素のマクロブロックとした場合、縦方向の１０８０画素が１６で割り切れないため、縦方向１０８０画素に８画素を加えた１０８８画素で符号化される。つまり、１９２０画素×１０８０画素のＨＤＴＶ画像の中には、１９２０×１０８８／２５６＝８１６０個のマクロブロックが存在することになる。

一方、ドライブレコーダカメラ２１から製品の型番情報とメーカ名、ドライブレコーダが設置された車のナンバなどの特定情報が電子透かしデータ構成部２５に供給される。例えば、製品の型番情報はJKC-0777、メーカ名はJVCKENWOODである。

ドライブレコーダが設置される車のナンバは、ドライブレコーダのメニューなどのＧＵＩを用いてユーザに入力させる。ただし、個人情報に位置づけられるという警告を表示して車所有者の自由意志にて車のナンバの入力が行われるようにする。車のナンバの情報は、例えば「ABCDEF5678」等の情報である。

電子透かしデータ構成部２５は、これらの特定情報をすべてバイナリに置き換えて電子透かしデータを構成する。たとえば、「JKC-0777 JVCKENWOOD ABCDEF5678」の場合、３０バイト（２４０ビット）のバイナリデータに変換される。電子透かしデータ構成部２５は、電子透かしデータを電子透かし情報セット構成部２６に供給する。

電子透かし情報セット構成部２６は、埋め込み位置情報変換部２４から符号化ブロックアドレスを、電子透かしデータ構成部２５から電子透かしデータを取得する。電子透かし情報セット構成部２６は、スタッフビット、符号化ブロックアドレス、電子透かしデータを連結して電子透かし情報セットを構成し、画像符号化部２７に供給する。

図１０は、電子透かし情報セットを説明する図である。電子透かし情報セットは、４ビットのスタッフビット、１２ビットの符号化ブロックアドレス、２４０ビットの電子透かしデータを連結した２５６ビット（３２バイト）で構成される。

画像符号化部２７は、電子透かし情報セットを参照して、符号化ブロックアドレスによって埋め込み対象の符号化ブロックを選択し、選択された符号化ブロックの符号化に用いられる符号化パラメータに電子透かしデータを埋め込みながら、画像の符号化ブロックをＭＰＥＧ規格にしたがって符号化パラメータを用いて符号化し、電子透かし入り画像符号化ビットストリームを出力する。符号化ブロックの符号化に用いられる符号化パラメータに電子透かしデータが埋め込まれている場合は、その符号化ブロックは、電子透かしデータが埋め込まれた符号化パラメータを用いて符号化される。このように画像符号化部２７は電子透かし埋め込み機能も包含することに留意する。

図３は、本発明の実施の形態に係る電子透かしを用いた画像改ざん判定装置３００の構成図である。

画像改ざん判定装置３００は、時間連続性データ生成部３１、ハッシュ値生成部３２、埋め込み位置情報変換部３３、画像復号化部３４、電子透かし読取情報記憶部３５、ドライブレコーダカメラ情報記憶部３６、比較部３７、改ざん判定部３８、及び判定結果提示部３９を含む。

図２の電子透かし埋め込み装置２００により電子透かしが埋め込まれた電子透かし入り画像符号化ビットストリームが画像復号化部３４に入力される。画像復号化部３４は電子透かし解読機能も有することに留意する。一方、時間連続性データ生成部３１にも電子透かし入り画像符号化ビットストリームが入力される。

時間連続性データ生成部３１、ハッシュ値生成部３２、埋め込み位置情報変換部３３は、それぞれ図２の電子透かし埋め込み装置２００の時間連続性データ生成部２２、ハッシュ値生成部２３、埋め込み位置情報変換部２４と同じ処理を行う。

時間連続性データ生成部３１は、入力された電子透かし入り画像符号化ビットストリームのタイムコード情報をもとに連続性時間情報を生成し、ハッシュ値生成部３２に供給する。

ハッシュ値生成部３２は、時間連続性情報をキー入力として、ハッシュテーブルを参照してハッシュ値を生成し、埋め込み位置情報変換部３３に供給する。

埋め込み位置情報変換部３３は、入力されたハッシュ値の一部を用いて符号化ブロックアドレスへ変換する。符号化ブロックアドレスは、画像の符号化ブロックを特定するための画像内の埋め込み位置情報である。

埋め込み位置情報変換部３３から出力される埋め込み位置情報は、画像復号化部３４に供給される。画像復号化部３４は、電子透かし入り画像符号化ビットストリームを復号しながら、その埋め込み位置情報に基づいて選択される符号化ブロックの符号化パラメータから電子透かしデータを抽出し、電子透かし読取情報記憶部３５に保存する。電子透かし読取情報記憶部３５に保存された電子透かしデータは比較部３７に供給される。

ドライブレコーダカメラ情報記憶部３６には、電子透かしデータとして想定される製品の型番情報とドライブレコーダを設置した車のナンバなどの特定情報が照合データとして記憶される。

比較部３７は、抽出された電子透かしデータと照合データの差分を取って改ざん判定部３８に供給する。改ざん判定部３８は、差分がゼロである場合、改ざんはないと判定し、差分がゼロでない場合、改ざんがある、あるいはデジタルデータが壊れていると判定し、その判定結果を、判定結果提示部３９に供給する。判定結果提示部３９は、入力された判定結果に基づいて、例えばディスプレイに「改ざんされている」あるいは「改ざんされていない」というメッセージを表示する。

続いて、上記の構成の電子透かし埋め込み装置及び画像改ざん判定装置による処理手順をフローチャートに基づいて説明する。これらの処理手順はハードウェアまたはソフトウェアまたはその両方の組み合わせによって実現することができる。

図４は、実施の形態に係る電子透かし埋め込み方法を説明するフローチャートである。

ドライブレコーダカメラ２１から映像、タイムコード情報、ドライブレコーダカメラの型番、車のナンバ情報が入力される（ステップＳ１）。

タイムコード情報から、符号化するピクチャ毎またはＧＯＰ毎にインクリメントされる時間連続性情報を生成し、時間連続性情報をハッシュ関数に入力してハッシュ値を出力する（ステップＳ２）。

生成されたハッシュ値を画像内の埋め込み位置情報に変換する（ステップＳ３）。

カメラの型番と車のナンバ情報を電子透かしデータとしてバイナリへ変換し、Ｍビットの電子透かしデータを構成する（ステップＳ４）。

ステップＳ４で構成された電子透かしデータをステップＳ３にて変換された埋め込み位置情報で選択される符号化ブロックの符号化パラメータに埋め込みながら、画像を符号化する（ステップＳ５）。

具体的には、埋め込み位置情報にもとづいて画像内の１画素を選択し、その画素を含む符号化ブロックを決定し、ラスタ順に所定のルールで決まるＭ個の符号化ブロックの符号化パラメータに１ビットずつ電子透かし情報を埋め込む。このようにして電子透かし情報が埋め込まれた符号化パラメータによって符号化ブロックを符号化する。

電子透かし入り画像符号化ビットストリームを出力し（ステップＳ６）、終了する。

図５は、実施の形態に係る電子透かしを用いた画像改ざん判定方法を説明するフローチャートである。

電子透かし入り画像符号化ビットストリームが入力される（ステップＳ１１）。

電子透かし入り画像符号化ビットストリームのタイムコード情報から時間連続性情報を生成し、時間連続性情報をハッシュ関数に入力してハッシュ値を出力する（ステップＳ１２）。

生成されたハッシュ値を画像内の埋め込み位置情報に変換する（ステップＳ１３）。

画像を復号をしながら、埋め込み位置情報により選択される符号化ブロックの符号化パラメータから電子透かしを取り出し解読する（ステップＳ１４）。

読み取られた電子透かしデータと、製品の型番情報や車のナンバなどの照合データとを比較する（ステップＳ１５）。電子透かしデータが照合データと一致した場合（ステップＳ１５のＹｅｓ）、判定結果として「改ざん無し」の旨を提示し（ステップＳ１６）、終了する。電子透かしデータが照合データと一致しない場合（ステップＳ１５のＮｏ）、判定結果として「改ざん有り」の旨を提示し（ステップＳ１７）、終了する。

続いて、電子透かしデータを符号化ブロックの符号化パラメータとして埋め込む方法を例示する。

ここでは単純な例として、量子化スケールと動きベクトルの２つの符号化パラメータについて述べるが、電子透かしデータを埋め込む符号化パラメータはこれらに限定されない。

１ビットの電子透かしとして量子化スケールが偶数の場合は０、奇数の場合は１とする。あるいは、１ビットの電子透かしとして動きベクトルの例えば水平方向のベクトル値が偶数の場合は０、奇数の場合は１とする。

このようなルールを暗黙に決めておけばＭＰＥＧやＨＥＶＣなどの標準規格の符号化パラメータを用いて電子透かしデータを埋め込むことが可能である。ここで符号化パラメータに偶数、奇数の１ビットを電子透かしとして埋め込むことにしたのは、この１ビットの値のずれは、最終的な復号画像の劣化に対してほぼ目に見える画像劣化原因にはならないという知見からである。因みに３で割った値の余り０、１、２の３値を電子透かしとして埋め込むことも、４で割った値の余り０、１、２、３、の４値（２ビット）を電子透かしとして埋め込むこともできるが、これは符号化効率が悪くなり、復号画像の劣化が人間の目にも分かるレベルになるという知見がある。よって、符号化パラメータに埋め込む電子透かしを０か１の２値である情報量１ビットに抑えることには符号化効率と復号画像の劣化抑制の両面において大きな意味がある。

前述の従来技術の説明で述べたように、電子透かしを動きベクトルに埋め込む方式の場合、動きベクトルが省略されるモードでは電子透かしを記録できないという問題がある。そこで、本実施の形態では、電子透かしを埋め込むために動きベクトルに関する情報を用いる場合には、マクロブロックのモードは強制的に動きベクトルを記録する（省略しない）モードとする。同様に電子透かしを埋め込むために量子化に関する情報を用いる場合には、マクロブロックのモードは強制的に量子化スケールを記録する（省略しない）モードとする。

量子化スケールとはマクロブロック毎に直交変換したデータを２次元の周波数軸で割り算をして量子化するときに使うスカラー倍する値であって、ＭＰＥＧ標準規格の種類によって絶対値幅は変わるが、１〜３１や１から６１の値などが用いられる。しかし、ＰピクチャやＢピクチャの中には特定の条件の場合、量子化スケールという値を使用しない場合がある。これは、動き補償をして差分画像を符号化する際、差分画像のデータがほとんどゼロの場合であり、そのような場合はそのマクロブロックについては、量子化スケールを用いず差分画像を符号化しないＮｏｔＣｏｄｅｄモードに設定される。ＮｏｔＣｏｄｅｄモードではマクロブロックに量子化スケールに電子透かしを埋め込むことができない。そこで前述の埋め込み位置情報によって選択される符号化ブロックについては、強制的にＮｏｔＣｏｄｅｄモードにしないように符号化する。例えば差分を取るモードではなく、イントラモードにする。これにより必ず量子化スケールを用いるようになり、その量子化スケールを偶数、奇数に制御することで、確実に電子透かしを埋め込むことが可能である。

また、動きベクトルに関しては、例えば、ＭＰＥＧ２のＰピクチャやＢピクチャにはマクロブロック毎に、動きベクトルを用いて動き補償し差分符号化を行うモードと、全く時間的に相関がなく、動き補償することもできないと判断される場合、差分画像ではなく、イントラ符号化を用いるモードとがある。後者の場合、動きベクトルを用いないため、動きベクトルに電子透かしを埋め込むことができない。そこで埋め込み位置情報によって選択される符号化ブロックについては、強制的に動きベクトルを用いるモード（前方予測か、後方予測、あるいは双方向予測モード）に設定して符号化する。この場合、予測は当たらず差分画像をみると二重画像のようになる可能性が高いが、小さいサイズのマクロブロックでシーンチェンジするようなものであるから、符号化全体における悪影響の度合いはごく微量である。また、動きベクトルの水平方向のみが１ずれても、差分画像信号のアクティビティ（複雑性）には人間の目にわかるほどの大きな劣化はないという知見があるから、動きベクトルに埋め込む電子透かしを奇数／偶数の１ビットとしていることには技術的意義がある。

なお、ここで説明した例はＭＰＥＧ２のシンプルな例であり、Ｈ．２６４、ＨＥＶＣなど符号化アルゴリズムがより進化した符号化方式では、これ以外にも符号化ブロック毎に使用するパラメータとして、イントラでの面内予測モードがあり、ＤＣＴとＤＦＴのどちらを使うか、ブロックサイズについても４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６の選択ができ、予測方法も時間ダイレクトモードと空間ダイレクトモードがあるなど、様々なモードを組み合わせることができ、各種の符号化パラメータに画質の劣化を抑えつつ、１ビットレベルの電子透かしを埋め込むことができる。

なお、上記実施例で、ＭＰＥＧ符号化を前提として説明したが、画面内のブロック単位でパラメータを変更できる符号化方式であればどんな符号化方式であってもかまわない。

以上説明した各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

以上述べたように、本発明の実施の形態によれば、ＭＰＥＧ等の符号化方式で符号化された画像の時間に応じて変化するデータをもとに埋め込み位置を変化させて電子透かしを埋め込むことができる。また、時間的に連続するピクチャが符号化された符号化ストリームからピクチャを復号して電子透かし情報を検出し、改ざんの有無を判定することができる。

画像内で電子透かしの埋め込まれている位置がランダムに変化し、電子透かしを解読することが難しくなるため、画像の改ざんを防止することができる。また、万一、埋め込まれる電子透かし情報が漏洩したとしても、画像のどの部分に電子透かしを埋め込めばよいかわからないため、セキュリティが向上する。

また、時間連続性情報に基づいて埋め込み位置が決まるため、埋め込み位置から電子透かしが読み取れているかどうかで、時間方向の連続性も証明することができる。即ち、改ざんされているかどうか、時間方向の連続性があるかどうかの、双方の証明を従来の方法よりもよりセキュアに行うことが可能となる。

時間連続性情報をもとに一方向性関数を用いて埋め込み位置を決めるため、１コマ分の画像ピクチャの時間変化でさえ、埋め込み位置は大きく変化する。したがって、埋め込み位置情報自体の規則を予想することもできないため、セキュリティが向上する。

電子透かしを符号化ブロックという画像の符号化の最小単位で埋め込む方式であるため、動きに関するパラメータや量子化に関するパラメータなど符号化ブロックの符号化に用いられる符号化パラメータに電子透かしを埋め込むことができ、符号化効率と復号画像の劣化抑制の両面において有利である。

電子透かしを動きベクトルに関する情報に埋め込む場合、符号化ブロックのモードは動きベクトルを記録する（省略しない）モードとし、電子透かしを量子化に関する情報に埋め込む場合には、符号化ブロックのモードは量子化スケールを記録する（省略しない）モードとする。そのため、若干、電子透かしを埋め込む対象の符号化ブロックの数に依存して符号化効率は悪くなるものの、強制的に予測符号化を使うモードに設定する、あるいは量子化幅を使うモードに設定することで、電子透かしを埋めることが可能となる。

特開２００４−３６４２６３号公報に記載の技術は、予測符号化画像そのものに電子透かしを埋めることができないという第２の課題を解決するために、ヘッダ部に電子透かし情報を埋め込む。しかし、これはあくまで予測残差画像を符号化するモードの場合という条件下で、動き補償による残差信号に電子透かしを埋め込む場合にのみ問題となる。

この点についてさらに詳細に説明すると、動き補償による残差信号に電子透かしを埋め込むとしても、ＭＰＥＧには符号化の単位で予測モードが定義されており、順方向予測モード、逆方向予測モード、順方向と逆方向の双方からの予測を用いるモードの３つのモードがある他、予測が当たらないすなわち予測残差の画像のエントロピーが非常に大きい場合に使用するイントラモードが存在する。符号化の際、電子透かしを埋めるべき部分の画像エリアに強制的にイントラのモードを発生させれば、上記の第２の課題を解決して電子透かしを埋め込むことが可能である。

なお、特開２００４−３６４２６３号公報に記載されている動きベクトルを用いて、「動いている」と「動いていない」の２値、即ち「動きベクトルに値が存在」「動きベクトルがゼロ」の２値として電子透かしを埋め込む技術を使用することもできる。その場合でも、埋め込む画像の部分に、前述の４つの予測モードのうち、強制的に動きベクトルを記録するモード、即ち順方向予測モードを強制的に使用すれば、動きベクトルを必ず送信することができ、電子透かしを埋め込むことが可能である。

ピクチャは、車載カメラにより撮像された画像であり、電子透かし情報には、車載カメラに関する情報、車載カメラが設置された車両に関する情報、及び車載カメラの所有者に関する情報の少なくとも１つが含まれるように構成することができる。このような電子透かし情報により、カメラの型番などの種類やメーカが特定でき、カメラを設置して記録された車のナンバが特定でき、カメラの所有者のたとえば電話番号などを特定できる。これらの少なくとも１つを電子透かし情報として埋め込むことで、画像の改ざんがされていないかどうかを証明できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

２１ドライブレコーダカメラ、２２時間連続性データ生成部、２３ハッシュ値生成部、２４埋め込み位置情報変換部、２５電子透かしデータ構成部、２６電子透かし情報セット構成部、２７画像符号化部、３１時間連続性データ生成部、３２ハッシュ値生成部、３３埋め込み位置情報変換部、３４画像復号化部、３５電子透かし読取情報記憶部、３６ドライブレコーダカメラ情報記憶部、３７比較部、３８改ざん判定部、２００電子透かし埋め込み装置、３００画像改ざん判定装置。

Claims

時間的に連続するピクチャを符号化する画像符号化装置であって、
時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する埋め込み位置情報変換部と、
前記埋め込み位置情報に基づいて前記ピクチャ内の符号化ブロックを選択し、前記符号化ブロックの符号化に用いられる符号化パラメータに電子透かし情報を埋め込み、前記電子透かし情報が埋め込まれた前記符号化パラメータを用いて前記符号化ブロックを符号化する符号化部とを含むことを特徴とする画像符号化装置。
前記電子透かし情報が埋め込まれる符号化パラメータが動きベクトルに関する情報である場合、前記符号化部は、前記電子透かし情報が埋め込まれる符号化パラメータにより符号化される符号化ブロックについては、動きベクトルが使用されるモードに強制的に設定することを特徴とする請求項１に記載の画像符号化装置。
前記電子透かし情報が埋め込まれる符号化パラメータが量子化に関する情報である場合、前記符号化部は、前記電子透かし情報が埋め込まれる符号化パラメータにより符号化される符号化ブロックについては、量子化パラメータが記録されるモードに強制的に設定することを特徴とする請求項１に記載の画像符号化装置。
前記ピクチャは、車載カメラにより撮像された画像であり、前記電子透かし情報には、前記車載カメラに関する情報、前記車載カメラが設置された車両に関する情報、及び前記車載カメラの所有者に関する情報の少なくとも１つが含まれることを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
時間的に連続するピクチャを符号化する画像符号化方法であって、
時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する埋め込み位置情報変換ステップと、
前記埋め込み位置情報に基づいて前記ピクチャ内の符号化ブロックを選択し、前記符号化ブロックの符号化に用いられる符号化パラメータに電子透かし情報を埋め込み、前記電子透かし情報が埋め込まれた符号化パラメータを用いて前記符号化ブロックを符号化する符号化ステップとを含むことを特徴とする画像符号化方法。
時間的に連続するピクチャが符号化された符号化ストリームからピクチャを復号して電子透かし情報を検出し、改ざんの有無を判定する画像改ざん判定プログラムであって、
前記ピクチャから取得される時間に応じて変化する情報をもとに一方向性関数を用いてピクチャ内の埋め込み位置情報を取得する埋め込み位置情報変換ステップと、
前記埋め込み位置情報に基づいて前記ピクチャ内の符号化ブロックを選択し、前記符号化ブロックの符号化に用いられた符号化パラメータから電子透かし情報を抽出する電子透かし情報抽出ステップと、
抽出された電子透かし情報を照合情報と比較してピクチャの改ざんの有無を判定する比較判定ステップとをコンピュータに実行させることを特徴とする画像改ざん判定プログラム。