JP2015061197A - 画像符号化装置、画像復号装置及び画像伝送システム - Google Patents

Abstract

【課題】伝送画像のセキュリティを確保する。【解決手段】実施形態によれば、画像符号化装置は、鍵情報生成部、鍵画像生成部及び画像符号化部を含む。鍵情報生成部は、鍵情報を生成する。鍵画像生成部は、１枚以上の画像を含む基準画像と鍵情報とに基づいて鍵画像を生成する。画像符号化部は、鍵画像を用いて入力画像を符号化することによって、符号化データを生成する。【選択図】図１

Description

実施形態は、画像伝送に関する。

画像を遠隔地へと伝送する場合に、第三者が通信を傍受することにより伝送画像の内容が当該第三者によって盗み見られたり改ざんされたりするおそれがある。従来、この問題を防止するために、例えば、暗号化、スクランブルなどを利用することで通信のセキュリティが確保されている。

しかしながら、暗号化またはスクランブルによって確保されるセキュリティは、数理的な計算複雑性に依存している。故に、ひとたび暗号化またはスクランブルの仕組みが解明されれば、上記セキュリティは損なわれやすい。即ち、第三者が暗号を解読したりスクランブルを解除したりすることで通信を傍受し、結果的に伝送画像の内容が当該第三者によって盗み見られたり改ざんされたりするおそれがある。

特開２０００−３５８０２４号公報

実施形態は、伝送画像のセキュリティを確保することを目的とする。

実施形態によれば、画像符号化装置は、鍵情報生成部、鍵画像生成部及び画像符号化部を含む。鍵情報生成部は、鍵情報を生成する。鍵画像生成部は、１枚以上の画像を含む基準画像と鍵情報とに基づいて鍵画像を生成する。画像符号化部は、鍵画像を用いて入力画像を符号化することによって、符号化データを生成する。

第１の実施形態に係る画像伝送システムを例示するブロック図。 図１の鍵画像生成部及び鍵情報生成部を例示するブロック図。 図１の鍵画像生成部及び鍵情報生成部を例示するブロック図。 第２の実施形態に係る画像伝送システムを例示するブロック図。 図４の鍵画像生成部及び鍵情報生成部を例示するブロック図。 第３の実施形態に係る画像伝送システムを例示するブロック図。 図６の鍵情報生成部を例示するブロック図。 第１の実施形態に係る画像伝送システムに含まれる画像符号化部を例示するブロック図。 第１の実施形態に係る画像伝送システムに含まれる画像復号部を例示するブロック図。 第４の実施形態に係る画像伝送システムに含まれる画像符号化部を例示するブロック図。 第４の実施形態に係る画像伝送システムに含まれる画像復号部を例示するブロック図。 第５の実施形態に係る画像伝送システムに含まれる画像符号化部を例示するブロック図。 第５の実施形態に係る画像伝送システムに含まれる画像符号化部を例示するブロック図。 各実施形態に係る画像伝送システムに含まれる画像符号化装置、画像復号装置及び鍵情報生成装置を実現するハードウェアを例示する図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る画像伝送システムは、画像符号化装置１００及び画像復号装置２００を含む。画像符号化装置１００は、画像符号化部１１０、鍵画像生成部１２０及び鍵情報生成部１３０を含む。画像復号装置２００は、画像復号部２１０及び鍵画像生成部２２０を含む。

画像符号化部１１０は、入力画像１０を取得し、鍵画像生成部１２０から鍵画像１４を入力する。画像符号化部１１０は、後述されるように、鍵画像１４を用いて入力画像１０を符号化することによって、符号化データ１５を生成する。画像符号化部１１０は、符号化データ１５を画像復号装置２００へと伝送する。尚、符号化データ１５は、無線通信または有線通信によって画像復号装置２００へと伝送されてもよいし、記録媒体を経由して画像復号装置２００へと伝送されてもよい。

符号化データ１５は、後述されるように、鍵画像１４を用いた符号化によってセキュリティが確保される。即ち、入力画像１０を実質的に復元するには符号化データ１５だけでなく鍵画像１４も必要となる。故に、仮に、第三者が例えば通信を傍受して符号化データ１５を取得したとしても、当該第三者が鍵画像１４を取得できない限りは入力画像１０の内容を盗み見たり改ざんしたりすることは困難である。

鍵画像生成部１２０は、基準画像１１を入力し、鍵情報生成部１３０から鍵情報１３を入力する。鍵画像生成部１２０は、基準画像１１及び鍵情報１３に基づいて鍵画像１４を生成する。鍵画像生成部１２０は、鍵画像１４を画像符号化部１１０へと出力する。

具体的には、基準画像１１は、１枚以上の静止画像であってもよいし、複数枚の画像フレームを含む動画像であってもよい。符号化率向上の観点からすると、基準画像１１は、好ましくは、例えば、撮影位置、撮影方向などの点で入力画像１０に類似する可能性の高い画像を含む。例えば、入力画像１０が第１の移動体（例えば、電車、バスなど）が所定の経路を走行している間に当該第１の移動体に取り付けられたカメラによって撮影された画像であるならば、基準画像１１は第２の移動体（これは第１の移動体と同一であってもよいし、異なっていてもよい）が当該経路を走行している間に当該第２の移動体に取り付けられたカメラによって撮影された過去の画像であってもよい。

鍵情報１３は、基準画像１１のうち鍵画像１４のベースとして選択される画像（選択画像）を示す識別情報を含む。この識別情報は、基準画像１１が動画像である場合には、例えばフレーム番号であってもよい。鍵情報１３は、選択画像を補正するための補正パラメータを更に含んでもよい。

鍵画像１４は、上記選択画像そのものであってもよいし、当該選択画像に以下に説明されるような画像処理を施したものであってもよい。
選択画像が入力画像１０とフォーマットにおいて異なる場合には、鍵画像生成部１２０は選択画像のフォーマットを入力画像１０と同じフォーマットに変換することによって鍵画像１４を生成してもよい。ここで、フォーマットは、例えば、画像サイズ、画素ビット長、カラーフォーマットなどである。

鍵情報１３が補正パラメータを含む場合には、鍵画像生成部１２０は当該補正パラメータを用いて選択画像を補正することによって鍵画像１４を生成してもよい。鍵画像生成部１２０は、補正パラメータに含まれるガンマ値を用いて、選択画像にガンマ補正を行ってもよい。鍵画像生成部１２０は、補正パラメータに含まれる入力画像１０のヒストグラム情報を用いて、ヒストグラム変換を行ってもよい。鍵画像生成部１２０は、補正パラメータに含まれるウィナーフィルタのフィルタ係数（これは、選択画像及び入力画像１０に基づいて設計できる）を用いて、選択画像にウィナーフィルタ処理を行ってもよい。鍵画像生成部１２０は、補正パラメータに含まれる重み係数及びオフセット値を用いて、例えば明るさなどの補正のために選択画像の重み付き予測を行ってもよい。鍵画像生成部１２０は、補正パラメータに含まれる幾何変換のパラメータ値を用いて、例えば撮影位置などの補正のために選択画像の幾何変換を行ってもよい。尚、鍵画像生成部１２０は、ここに例示されていない種々の画像補正を行ってもよい。

鍵情報生成部１３０は、入力画像１０を取得し、基準画像１１及び補助情報１２を入力する。鍵情報生成部１３０は、例えば、補助情報１２に基づいて、基準画像１１から入力画像１０と類似する画像を探索し、探索された画像（これは、前述の選択画像と同じである）を示す識別情報を含む鍵情報１３を生成する。更に、鍵情報生成部１３０は、選択画像を補正するための補正パラメータを生成し、鍵情報１３に含めてもよい。

補助情報１２は、例えば、撮影位置、撮影方向、撮影日、撮影時刻などの情報を含んでもよい。これらの情報は、鍵情報生成部１３０が入力画像１０と類似する画像を基準画像１１から探索するのに有用である。例えば、撮影位置及び撮影方向の情報は、入力画像１０と被写体（特に、背景）の点で類似する画像を基準画像１１から探索するのに有用である。撮影日及び撮影時刻の情報は、入力画像１０と日照条件の点で類似する画像を基準画像１１から探索するのに有用である。

尚、鍵情報生成部１３０は、補助情報１２を利用することなく、基準画像１１から入力画像１０と類似する画像を探索してもよい。或いは、鍵情報生成部１３０は、入力画像１０とは無関係に基準画像１１のいずれかを選択してもよい。但し、符号化率向上の観点からすると、入力画像１０と類似する画像を探索することが好ましい。また、探索効率向上の観点からすると、補助情報１２を利用することが好ましい。

鍵情報生成部１３０は、鍵情報１３を鍵画像生成部１２０へと出力する。更に、鍵情報生成部１３０は、鍵情報１３を画像復号装置２００へと伝送する。尚、鍵情報１３は、無線通信または有線通信によって画像復号装置２００へと伝送されてもよいし、記録媒体を経由して画像復号装置２００へと伝送されてもよい。

鍵情報１３は、符号化データ１５とは別々に伝送されてもよいし、符号化データ１５と一緒に伝送されてもよい。例えば、鍵情報１３及び符号化データ１５は多重化及びパケット化されてから伝送される。鍵情報１３の伝送に関して、例えばＨ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣにおけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）の枠組みが利用されてもよい。

鍵画像生成部１２０及び鍵情報生成部１３０は、図２に例示されるように設計されてもよい。図２の鍵画像生成部１２０は、画像選択部１２１を含む。図２の鍵情報生成部１３０は、同期マッチング部１３１を含む。

図２の同期マッチング部１３１は、入力画像１０を取得し、基準画像１１及び補助情報１２を入力する。同期マッチング部１３１は、補助情報１２に基づいて、基準画像１１から入力画像１０と類似する画像を探索し、探索された画像（これは、前述の選択画像と同じである）を示す識別情報を含む鍵情報１３を生成する。選択画像は、例えば、基準画像１１のうち入力画像１０に最も類似する画像であってもよい。同期マッチング部１３１は、鍵情報１３を図２の画像選択部１２１へと出力する。更に、同期マッチング部１３１は、鍵情報１３を画像復号装置２００へと伝送する。

図２の画像選択部１２１は、基準画像１１を入力し、図２の同期マッチング部１３１から鍵情報１３を入力する。画像選択部１２１は、鍵情報１３に含まれる識別情報によって示される画像（これは、前述の選択画像と同じである）を基準画像１１から選択する。画像選択部１２１は、選択画像をそのまま鍵画像１４として画像符号化部１１０へと出力する。

鍵画像生成部１２０及び鍵情報生成部１３０は、図３に例示されるように設計されてもよい。図３の鍵画像生成部１２０は、画像選択部１２１及び画像補正部１２２を含む。図３の鍵情報生成部１３０は、同期マッチング部１３１及び画像補正パラメータ生成部１３２を含む。

図３の同期マッチング部１３１は、入力画像１０を取得し、基準画像１１及び補助情報１２を入力する。同期マッチング部１３１は、補助情報１２に基づいて、基準画像１１から入力画像１０と類似する画像を探索し、探索された画像（これは、前述の選択画像と同じである）を示す識別情報を生成する。選択画像は、例えば、基準画像１１のうち入力画像１０に最も類似する画像であってもよい。同期マッチング部１３１は、識別情報及び選択画像を画像補正パラメータ生成部１３２へと出力する。

画像補正パラメータ生成部１３２は、入力画像１０を取得し、図３の同期マッチング部１３１から識別情報及び選択画像を入力する。画像補正パラメータ生成部１３２は、入力画像１０及び選択画像に基づいて、当該選択画像を補正するための補正パラメータを生成する。そして、画像補正パラメータ生成部１３２は、識別情報及び補正パラメータを含む鍵情報１３を生成し、図３の画像選択部１２１へと出力する。更に、画像補正パラメータ生成部１３２は、鍵情報１３を画像復号装置２００へと伝送する。

図３の画像選択部１２１は、基準画像１１を入力し、画像補正パラメータ生成部１３２から鍵情報１３を入力する。画像選択部１２１は、鍵情報１３に含まれる識別情報によって示される画像（これは、前述の選択画像と同じである）を基準画像１１から選択する。画像選択部１２１は、選択画像及び鍵情報１３を画像補正部１２２へと出力する。

画像補正部１２２は、画像選択部１２１から選択画像及び鍵情報１３を入力する。画像補正部１２２は、鍵情報１３に含まれる補正パラメータを用いて、選択画像を補正することによって鍵画像１４を生成する。画像補正部１２２は、鍵画像１４を画像符号化部１１０へと出力する。

画像復号部２１０は、画像符号化装置１００によって伝送された符号化データ１５を入力し、鍵画像生成部２２０から鍵画像１７を入力する。画像復号部２１０は、後述されるように、鍵画像１７を用いて符号化データ１５を復号することによって、出力画像１８を生成する。鍵画像１７は、画像符号化装置１００において生成される鍵画像１４と同一である。出力画像１８は、入力画像１０を実質的に復元したものである。画像復号部２１０は、出力画像１８を例えば図示されない表示装置へと供給する。

鍵画像生成部２２０は、基準画像１６を入力し、画像符号化装置１００によって伝送された鍵情報１３を入力する。鍵画像生成部２２０は、鍵画像生成部１２０と同一または類似であってよい。基準画像１６は、画像符号化装置１００において用いられる基準画像１１と同一である。鍵画像生成部２２０は、鍵情報１３及び基準画像１６に基づいて鍵画像１７を生成する。鍵画像生成部２２０は、鍵画像１７を画像復号部２１０へと出力する。

前述のように、画像符号化部１１０は、鍵画像１４を用いて入力画像１０を符号化することによって、符号化データ１５を生成する。画像符号化部１１０は、例えば図８に示されるように、減算部６０１、変換／量子化部６０２、逆量子化／逆変換部６０３、加算部６０４、ループフィルタ部６０５、画像バッファ部６０６、予測画像生成部６０７、エントロピー符号化部６０８及び符号化制御部６０９を含む。

減算部６０１は、入力画像１０を取得し、予測画像生成部６０７から予測画像を入力する。減算部６０１は、入力画像１０から予測画像を減算することによって、予測誤差を生成する。減算部６０１は、予測誤差を変換／量子化部６０２へと出力する。

変換／量子化部６０２は、予測誤差を変換することによって変換係数を生成し、当該変換係数を量子化パラメータに従って量子化することによって量子化変換係数を生成する。予測誤差の変換には、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換が用いられる。変換／量子化部６０２は、量子化変換係数を逆量子化／逆変換部６０３及びエントロピー符号化部６０８へと出力する。

逆量子化／逆変換部６０３は、変換／量子化部６０２から量子化変換係数を入力する。逆量子化／逆変換部６０３は、量子化変換係数を上記量子化パラメータに従って逆量子化することによって変換係数を復元し、当該変換係数を逆変換する（これは、変換量子化部６０２によって行われた変換の逆処理に相当する）ことによって予測誤差を復元する。変換係数の逆変換には、例えばＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）などの逆直交変換が用いられる。逆量子化／逆変換部６０３は、予測誤差を加算部６０４へと出力する。

加算部６０４は、逆量子化／逆変換部６０３から予測誤差を入力し、予測画像生成部６０７から予測画像を入力する。加算部６０４は、予測誤差及び予測画像を加算することによって、局所復号画像を生成する。加算部６０４は、局所復号画像をループフィルタ部６０５へと出力する。

ループフィルタ部６０５は、加算部６０４から局所復号画像を入力する。ループフィルタ部６０５は、局所復号画像にループフィルタ処理を適用することによって、フィルタ処理された画像を生成する。ループフィルタ処理は、例えばデブロッキングフィルタ処理であってよい。ループフィルタ部６０５は、フィルタ処理された画像を画像バッファ部６０６へと出力する。

画像バッファ部６０６は、ループフィルタ部６０５からフィルタ処理された画像を入力し、鍵画像生成部１２０から鍵画像１４を入力する。画像バッファ部６０６は、これらフィルタ処理された画像及び鍵画像１４を参照画像として保存する。画像バッファ部６０６は、必要に応じて、参照画像（これは、鍵画像１４を含む）を予測画像生成部６０７へと出力する。

予測画像生成部６０７は、入力画像１０を取得し、画像バッファ部６０６から参照画像を入力し、符号化制御部６０９から予測制御情報を入力する。予測画像生成部６０７は、予測制御情報に従い、入力画像１０及び参照画像を用いて予測画像を生成する。例えば、予測画像生成部６０７は、画面内予測または参照画像の動き補償予測を行うことによって、予測画像を生成する。予測画像生成部６０７は、予測画像を減算部６０１及び加算部６０４へと出力する。更に、予測画像生成部６０７は、予測画像に関する予測情報（例えば、動きベクトル情報を含む）をエントロピー符号化部６０８へと出力する。

エントロピー符号化部６０８は、変換／量子化部６０２から量子化変換係数を入力し、予測画像生成部６０７から予測情報を入力する。エントロピー符号化部６０８は、シンタクスに従って、量子化変換係数及び予測情報をエントロピー符号化することによって、符号化データ１５を生成する。エントロピー符号化部６０８は、符号化データ１５を画像符号化部１１０の外部へ出力する。エントロピー符号化は、例えば、ハフマン符号化、算術符号化などである。

符号化制御部６０９は、予測制御情報を生成し、当該予測制御情報を予測画像生成部６０７へと出力する。符号化制御部６０９は、予測制御情報を介して予測画像生成部６０７の動作を制御できる。具体的には、符号化制御部６０９は、参照画像としての鍵画像１４が予測画像を生成するために用いられる頻度を高くすることができる。鍵画像１４が予測画像を生成するために用いられる頻度が高くなるほど、符号化データ１５の復号における当該鍵画像１４への依存度は高くなる。即ち、鍵画像１４を取得できない第三者は、符号化データ１５を取得したとしても、当該符号化データ１５を復号するために必要な予測画像が高頻度で不明となるので入力画像１０の内容を容易に知ることはできない。

前述のように、画像復号部２１０は、鍵画像１７を用いて符号化データ１５を復号することによって、出力画像１８を生成する。画像復号部２１０は、例えば図９に示されるように、エントロピー復号部７０１、逆量子化／逆変換部７０２、加算部７０３、ループフィルタ部７０４、画像バッファ部７０５及び予測画像生成部７０６を含む。

エントロピー復号部７０１は、画像符号化装置１００によって伝送された符号化データ１５を入力する。エントロピー復号部７０１は、符号化データ１５をエントロピー復号することによって、量子化変換係数及び予測情報（例えば、動きベクトル情報を含む）を復元する。エントロピー復号部７０１は、量子化変換係数を逆量子化／逆変換部７０２へと出力し、予測情報を予測画像生成部７０６へと出力する。

逆量子化／逆変換部７０２は、エントロピー復号部７０１から量子化変換係数を入力する。逆量子化／逆変換部７０２は、量子化変換係数を上記量子化パラメータに従って逆量子化することによって変換係数を復元し、当該変換係数を逆変換する（これは、画像符号化部１１０において行われた変換の逆処理に相当する）ことによって予測誤差を復元する。変換係数の逆変換には、例えばＩＤＣＴなどの逆直交変換が用いられる。逆量子化／逆変換部７０２は、予測誤差を加算部７０３へと出力する。

加算部７０３は、逆量子化／逆変換部７０２から予測誤差を入力し、予測画像生成部７０６から予測画像を入力する。加算部７０３は、予測誤差及び予測画像を加算することによって、復号画像を生成する。加算部７０３は、復号画像をループフィルタ部７０４へと出力する。

ループフィルタ部７０４は、加算部７０３から復号画像を入力する。ループフィルタ部７０４は、復号画像にループフィルタ処理を適用することによって、フィルタ処理された画像を生成する。ループフィルタ処理は、例えばデブロッキングフィルタ処理であってよい。ループフィルタ部７０４は、フィルタ処理された画像を画像バッファ部７０５へと出力する。

画像バッファ部７０５は、ループフィルタ部７０４からフィルタ処理された画像を入力し、鍵画像生成部２２０から鍵画像１７を入力する。画像バッファ部７０５は、これらフィルタ処理された画像及び鍵画像１７を参照画像として保存する。画像バッファ部７０５は、必要に応じて、参照画像（これは、鍵画像１７を含む）を予測画像生成部７０６へと出力する。更に、画像バッファ部７０５は、表示順に従って、参照画像（これは、鍵画像１７を含まない）を出力画像１８として例えば図示されない表示装置へと供給する。

予測画像生成部７０６は、画像バッファ部７０５から参照画像を入力し、エントロピー復号部７０１から予測情報を入力する。予測画像生成部７０６は、予測情報及び参照画像を用いて予測画像を生成する。例えば、予測画像生成部７０６は、画面内予測または参照画像の動き補償予測を行うことによって、予測画像を生成する。予測画像生成部７０６は、予測画像を加算部７０３へと出力する。

以上説明したように、第１の実施形態に係る画像伝送システムにおいて、画像符号化装置は、鍵情報を生成し、画像復号装置へと伝送する。更に、画像符号化装置は、この鍵情報に基づいて生成された鍵画像を用いて入力画像を符号化し、符号化データを画像復号装置へと伝送する。符号化データから入力画像を実質的に復元するためには鍵画像が必要となるが、第三者がこの鍵画像を取得することは困難である。故に、この画像伝送システムによれば、入力画像の内容を第三者に知られることなく符号化データを伝送することができる。即ち、伝送画像のセキュリティが確保される。尚、画像復号装置は、伝送された鍵情報に基づいて生成された鍵画像を用いて符号化データを復号することによって、入力画像を実質的に復元できる。

（第２の実施形態）
図４に例示されるように、第２の実施形態に係る画像伝送システムは、画像符号化装置３００及び画像復号装置４００を含む。画像符号化装置３００は、画像符号化部１１０及び鍵画像生成部１２０を含む。画像復号装置４００は、画像復号部２１０、鍵画像生成部２２０及び鍵情報生成部２３０を含む。

図４の画像符号化部１１０は、符号化データ１５を画像復号装置４００へと伝送する点で図１の画像符号化部１１０とは異なる。尚、符号化データ１５は、無線通信または有線通信によって画像復号装置４００へと伝送されてもよいし、記録媒体を経由して画像復号装置４００へと伝送されてもよい。図４の鍵画像生成部１２０は、画像復号装置４００によって伝送された鍵情報１３を入力する点で図１の鍵画像生成部１２０とは異なる。

図４の画像復号部２１０は、画像符号化装置３００によって伝送された符号化データ１５を入力する点で図１の画像復号部２１０とは異なる。更に、画像復号部２１０は、出力画像１８を例えば図示されない表示装置だけでなく鍵情報生成部２３０へ供給する。図４の鍵画像生成部２２０は、鍵情報生成部２３０から鍵情報１３を入力する点で図１の鍵画像生成部２２０とは異なる。

鍵情報生成部２３０は、基準画像１６及び補助情報１９を入力し、画像復号部２１０から出力画像１８を入力する。鍵情報生成部２３０は、例えば、補助情報１９に基づいて、基準画像１６から出力画像１８と類似する画像を探索し、探索された画像（これは、鍵画像１７のベースとして選択される画像（選択画像）である）を示す識別情報を含む鍵情報１３を生成する。更に、鍵情報生成部２３０は、選択画像を補正するための補正パラメータを生成し、鍵情報１３に含めてもよい。

概括すれば、第１の実施形態において説明された識別情報は符号化対象の入力画像１０そのものと類似する選択画像を示すが、本実施形態において説明された識別情報は符号化対象の入力画像１０ではなく過去に符号化された入力画像１０を復号することによって生成された出力画像１８に類似する選択画像を示す。

補助情報１９は、例えば、撮影位置、撮影方向、撮影日、撮影時刻などの情報を含んでもよい。これらの情報は、鍵情報生成部２３０が出力画像１８と類似する画像を基準画像１６から探索するのに有用である。例えば、撮影位置及び撮影方向の情報は、出力画像１８と被写体（特に、背景）の点で類似する画像を基準画像１６から探索するのに有用である。撮影日及び撮影時刻の情報は、出力画像１８と日照条件の点で類似する画像を基準画像１６から探索するのに有用である。

尚、鍵情報生成部２３０は、補助情報１９を利用することなく、基準画像１６から出力画像１８と類似する画像を探索してもよい。或いは、鍵情報生成部２３０は、出力画像１８とは無関係に基準画像１６のいずれかを選択してもよい。但し、符号化率向上の観点からすると、出力画像１８と類似する画像を探索することが好ましい。また、探索効率向上の観点からすると、補助情報１９を利用することが好ましい。

鍵情報生成部２３０は、鍵情報１３を鍵画像生成部２２０へと出力する。更に、鍵情報生成部２３０は、鍵情報１３を画像符号化装置３００へと伝送する。尚、鍵情報１３は、無線通信または有線通信によって画像符号化装置３００へと伝送されてもよいし、記録媒体を経由して画像符号化装置３００へと伝送されてもよい。

鍵画像生成部２２０及び鍵情報生成部２３０は、図５に例示されるように設計されてもよい。図５の鍵画像生成部２２０は、画像選択部２２１及び画像補正部２２２を含む。図５の鍵情報生成部２３０は、予測マッチング部２３１及び画像補正パラメータ生成部２３２を含む。

予測マッチング部２３１は、基準画像１６及び補助情報１９を入力し、画像復号部２１０から出力画像１８を入力する。予測マッチング部２３１は、補助情報１９に基づいて、基準画像１６から出力画像１８と類似する画像を探索し、探索された画像（これは、前述の選択画像と同じである）を示す識別情報を生成する。選択画像は、例えば、基準画像１６のうち出力画像１８に最も類似する画像であってもよい。予測マッチング部２３１は、識別情報及び選択画像を画像補正パラメータ生成部２３２へと出力する。

画像補正パラメータ生成部２３２は、画像復号部２１０から出力画像１８を入力し、予測マッチング部２３１から識別情報及び選択画像を入力する。画像補正パラメータ生成部２３２は、出力画像１８及び選択画像に基づいて、当該選択画像を補正するための補正パラメータを生成する。そして、画像補正パラメータ生成部２３２は、識別情報及び補正パラメータを含む鍵情報１３を生成し、画像選択部２２１へと出力する。更に、画像補正パラメータ生成部２３２は、鍵情報１３を画像符号化装置３００へと伝送する。

画像選択部２２１は、基準画像１６を入力し、画像補正パラメータ生成部２３２から鍵情報１３を入力する。画像選択部２２１は、鍵情報１３に含まれる識別情報によって示される画像（これは、前述の選択画像と同じである）を基準画像１６から選択する。画像選択部２２１は、選択画像及び鍵情報１３を画像補正部２２２へと出力する。

画像補正部２２２は、画像選択部２２１から選択画像及び鍵情報１３を入力する。画像補正部２２２は、鍵情報１３に含まれる補正パラメータを用いて、選択画像を補正することによって鍵画像１７を生成する。画像補正部２２２は、鍵画像１７を画像復号部２１０へと出力する。

以上説明したように、第２の実施形態に係る画像伝送システムにおいて、画像復号装置は、鍵情報を生成し、画像符号化装置へと伝送する。画像符号化装置は、伝送された鍵情報に基づいて生成された鍵画像を用いて入力画像を符号化し、符号化データを画像復号装置へと伝送する。符号化データから入力画像を実質的に復元するためには鍵画像が必要となるが、第三者がこの鍵画像を取得することは困難である。故に、この画像伝送システムによれば、入力画像の内容を第三者に知られることなく符号化データを伝送することができる。即ち、伝送画像のセキュリティが確保される。尚、画像復号装置は、上記鍵情報に基づいて生成された鍵画像を用いて符号化データを復号することによって、入力画像を実質的に復元できる。

（第３の実施形態）
図６に例示されるように、第３の実施形態に係る画像伝送システムは、画像符号化装置３００、画像復号装置２００及び鍵情報生成装置５００を含む。画像符号化装置３００は、画像符号化部１１０及び鍵画像生成部１２０を含む。画像復号装置２００は、画像復号部２１０及び鍵画像生成部２２０を含む。鍵情報生成装置５００は、鍵情報生成部５１０を含む。

図６の鍵画像生成部１２０は、鍵情報生成装置５００によって伝送された鍵情報１３を入力する点で図１及び図４の鍵画像生成部１２０とは異なる。鍵画像生成部２２０は、鍵情報生成装置５００によって伝送された鍵情報１３を入力する点で図１及び図４の鍵画像生成部２２０とは異なる。

鍵情報生成部５１０は、基準画像２０を入力する。鍵情報生成部５１０は、基準画像２０からいずれかの画像を選択し、選択画像を示す識別情報を含む鍵情報１３を生成する。基準画像２０は、画像符号化装置３００において用いられる基準画像１１及び画像復号装置２００において用いられる基準画像１６と同一である。

鍵情報生成部５１０は、鍵情報１３を画像符号化装置３００及び画像復号装置２００へと伝送する。尚、鍵情報１３は、無線通信または有線通信によって画像符号化装置３００及び画像復号装置２００へと伝送されてもよいし、記録媒体を経由して画像符号化装置３００及び画像復号装置２００へと伝送されてもよい。

鍵情報生成部５１０は、図７に例示されるように設計されてもよい。図７の鍵情報生成部５１０は、画像選択部５１１を含む。画像選択部５１１は、基準画像２０を入力する。画像選択部５１１は、基準画像２０からいずれかの画像を選択し、選択画像を示す識別情報を含む鍵情報１３を生成する。画像選択部５１１は、鍵情報１３を画像符号化装置３００及び画像復号装置２００へと伝送する。

以上説明したように、第３の実施形態に係る画像伝送システムにおいて、鍵情報生成装置は、鍵情報を生成し、画像符号化装置及び画像復号装置へと伝送する。画像符号化装置は、伝送された鍵情報に基づいて生成された鍵画像を用いて入力画像を符号化し、符号化データを画像復号装置へと伝送する。符号化データから入力画像を実質的に復元するためには鍵画像が必要となるが、第三者がこの鍵画像を生成することは困難である。故に、この画像伝送システムによれば、入力画像の内容を第三者に知られることなく符号化データを伝送することができる。即ち、伝送画像のセキュリティが確保される。尚、画像復号装置は、伝送された鍵情報に基づいて生成された鍵画像を用いて符号化データを復号することによって、入力画像を実質的に復元できる。

（第４の実施形態）
図８及び図９を用いてそれぞれ説明された画像符号化部１１０及び画像復号部２１０は、図１０及び図１１に例示される画像符号化部１１０及び画像復号部２１０によってそれぞれ置き換えられてもよい。

図１０に例示される画像符号化部１１０は、減算部６１１、変換／量子化部６０２、逆量子化／逆変換部６０３、加算部６０４、ループフィルタ部６０５、画像バッファ部６１６、予測画像生成部６０７、エントロピー符号化部６０８、符号化制御部６１９及び減算部６１０を含む。

図１０の変換／量子化部６０２は、予測誤差を減算部６０１の代わりに減算部６１１から入力する点で図８の変換／量子化部６０２とは異なる。図１０の加算部６０４は、予測誤差を予測画像生成部６０７の代わりに予測画像生成部６１７から入力する点で図８の加算部６０４とは異なる。図１０のループフィルタ部６０５は、フィルタ処理された画像を画像バッファ部６０６の代わりに画像バッファ部６１６へと出力する点で図８のループフィルタ部６０５とは異なる。図１０のエントロピー符号化部６０８は、予測情報（例えば、動きベクトル情報を含む）を予測画像生成部６０７の代わりに予測画像生成部６１７から入力する点で図８のエントロピー符号化部６０８とは異なる。

減算部６１０は、入力画像１０を取得し、鍵画像生成部１２０から鍵画像１４を入力する。減算部６１０は、入力画像１０から鍵画像１４を減算することによって、差分画像を生成する。減算部６１０は、差分画像を減算部６１１へと出力する。即ち、図１０の画像符号化部１１０は、入力画像１０の代わりに差分画像を予測符号化する。即ち、鍵画像１４を取得できない第三者は、符号化データ１５を復号（即ち、残差画像を復元）したとしても、入力画像１０を復元するために必要な鍵画像１４が不明となるので入力画像１０の内容を容易に知ることはできない。

減算部６１１は、減算部６１０から差分画像を入力し、予測画像生成部６１７から予測画像を入力する。減算部６１１は、入力画像１０から予測画像を減算することによって、予測誤差を生成する。減算部６１１は、予測誤差を変換／量子化部６０２へと出力する。

画像バッファ部６１６は、ループフィルタ部６０５からフィルタ処理された画像を入力する。画像バッファ部６１６は、フィルタ処理された画像を参照画像として保存する。画像バッファ部６１６は、必要に応じて、参照画像を予測画像生成部６１７へと出力する。

予測画像生成部６１７は、減算部６１０から差分画像を入力し、画像バッファ部６１６から参照画像を入力し、符号化制御部６１９から予測制御情報を入力する。予測画像生成部６１７は、予測制御情報に従い、差分画像及び参照画像を用いて予測画像を生成する。例えば、予測画像生成部６１７は、画面内予測または参照画像の動き補償予測を行うことによって、予測画像を生成する。予測画像生成部６１７は、予測画像を減算部６１１及び加算部６０４へと出力する。更に、予測画像生成部６１７は、予測画像に関する予測情報をエントロピー符号化部６０８へと出力する。

符号化制御部６１９は、予測制御情報を生成し、当該予測制御情報を予測画像生成部６１７へと出力する。符号化制御部６１９は、予測制御情報を介して予測画像生成部６１７の動作を制御できる。

図１１に例示される画像復号部２１０は、エントロピー復号部７０１、逆量子化／逆変換部７０２、加算部７０３、ループフィルタ部７０４、画像バッファ部７１５、予測画像生成部７１６及び加算部７０７を含む。

図１１のエントロピー復号部７０１は、予測情報を予測画像生成部７０６の代わりに予測画像生成部７１６へと出力する点で図９のエントロピー復号部７０１とは異なる。図１１の加算部７０３は、予測画像を予測画像生成部７０６ではなく予測画像生成部７１６から入力する点で図９の加算部７０３とは異なる。図１１のループフィルタ部７０４は、フィルタ処理された画像を画像バッファ部７０５ではなく画像バッファ部７１５へ出力する点で図９のループフィルタ部７０４とは異なる。

画像バッファ部７１５は、ループフィルタ部７０４からフィルタ処理された画像を入力する。画像バッファ部７１５は、フィルタ処理された画像を参照画像として保存する。画像バッファ部７１５は、必要に応じて、参照画像を予測画像生成部７１６へと出力する。更に、画像バッファ部７１５は、表示順に従って、参照画像を差分画像として加算部７０７へと出力する。

予測画像生成部７１６は、画像バッファ部７１５から参照画像を入力し、エントロピー復号部７０１から予測情報を入力する。予測画像生成部７１６は、予測情報及び参照画像を用いて予測画像を生成する。例えば、予測画像生成部７１６は、画面内予測または参照画像の動き補償予測を行うことによって、予測画像を生成する。予測画像生成部７１６は、予測画像を加算部７０３へと出力する。

加算部７０７は、鍵画像生成部２２０から鍵画像１７を入力し、表示順に従って画像バッファ部７１５から差分画像を入力する。加算部７０７は、鍵画像１７及び差分画像を加算することによって、出力画像を生成する。加算部７０７は、出力画像を例えば図示されない表示装置へと供給する。

（第５の実施形態）
図８、図９、図１０及び図１１を用いてそれぞれ説明された画像符号化部１１０及び画像復号部２１０は、図１２及び図１３に例示される画像符号化部１１０及び画像復号部２１０によってそれぞれ置き換えられてもよい。

図１２に例示される画像符号化部１１０は、減算部６０１、変換／量子化部６０２、逆量子化／逆変換部６０３、加算部６０４、ループフィルタ部６０５、画像バッファ部６１６、予測画像生成部６２７、エントロピー符号化部６０８及び符号化制御部６２９を含む。

図１２の減算部６０１は、予測画像を予測画像生成部６０７の代わりに予測画像生成部６２７から入力する点で図８の減算部６０１とは異なる。図１０の加算部６０４は、予測画像を予測画像生成部６０７の代わりに予測画像生成部６２７から入力する点で図８の加算部６０４とは異なる。図１２の画像バッファ部６１６は、参照画像を予測画像生成部６１７の代わりに予測画像生成部６２７へと出力する点で図１０の画像バッファ部６１６とは異なる。図１２のエントロピー符号化部６０８は、予測情報（例えば、動きベクトル情報を含む）を予測画像生成部６０７の代わりに予測画像生成部６２７から入力する点で図８のエントロピー符号化部６０８とは異なる。

予測画像生成部６２７は、入力画像１０を取得し、鍵画像生成部１２０から鍵画像１４を入力し、画像バッファ部６１６から参照画像を入力し、符号化制御部６１９から予測制御情報を入力する。予測画像生成部６２７は、予測制御情報に従い、入力画像１０、鍵画像１４及び参照画像を用いて予測画像を生成する。例えば、予測画像生成部６２７は、画面内予測、参照画像の動き補償予測または鍵画像１４からの予測を行うことによって、予測画像を生成する。予測画像生成部６２７は、予測画像を減算部６０１及び加算部６０４へと出力する。更に、予測画像生成部６２７は、予測画像に関する予測情報をエントロピー符号化部６０８へと出力する。

符号化制御部６２９は、予測制御情報を生成し、当該予測制御情報を予測画像生成部６２７へと出力する。符号化制御部６２９は、予測制御情報を介して予測画像生成部６２７の動作を制御できる。具体的には、符号化制御部６２９は、予測画像生成部６２７が鍵画像１４からの予測を行う頻度を高くすることができる。予測画像生成部６２７が鍵画像１４からの予測を行う頻度が高くなるほど、符号化データ１５の復号における当該鍵画像１４への依存度は高くなる。即ち、鍵画像１４を取得できない第三者は、符号化データ１５を取得したとしても、当該符号化データ１５を復号するために必要な予測画像が高頻度で不明となるので入力画像１０の内容を容易に知ることはできない。

図１３に例示される画像復号部２１０は、エントロピー復号部７０１、逆量子化／逆変換部７０２、加算部７０３、ループフィルタ部７０４、画像バッファ部７２５及び予測画像生成部７２６を含む。

図１３のエントロピー復号部７０１は、予測情報を予測画像生成部７０６の代わりに予測画像生成部７２６へと出力する点で図９のエントロピー復号部７０１とは異なる。図１３の加算部７０３は、予測画像を予測画像生成部７０６ではなく予測画像生成部７２６から入力する点で図９の加算部７０３とは異なる。図１３のループフィルタ部７０４は、フィルタ処理された画像を画像バッファ部７０５ではなく画像バッファ部７２５へ出力する点で図９のループフィルタ部７０４とは異なる。

画像バッファ部７２５は、ループフィルタ部７０４からフィルタ処理された画像を入力する。画像バッファ部７２５は、フィルタ処理された画像を参照画像として保存する。画像バッファ部７２５は、必要に応じて、参照画像を予測画像生成部７２６へと出力する。更に、画像バッファ部７２５は、表示順に従って、参照画像を出力画像１８として例えば図示されない表示装置へと供給する。

予測画像生成部７２６は、鍵画像生成部２２０から鍵画像１７を入力し、画像バッファ部７２５から参照画像を入力し、エントロピー復号部７０１から予測情報を入力する。予測画像生成部７２６は、予測情報、鍵画像１７及び参照画像を用いて予測画像を生成する。例えば、予測画像生成部７２６は、画面内予測、参照画像の動き補償予測または鍵画像１７からの予測を行うことによって、予測画像を生成する。予測画像生成部７２６は、予測画像を加算部７０３へと出力する。

尚、前述の各実施形態に係る画像伝送システムに含まれる画像符号化装置、画像復号装置及び鍵情報生成装置は、図１４に例示されるハードウェアによってそれぞれ実現されてよい。図１４のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）８０４及びバス８０５を含む。

ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３及び通信ＩＦ（８０４）との間のデータのやり取りはバス８０５を介して行われる。

ＣＰＵ８０１は、プログラムを実行することによって、前述の種々の処理を行う機能部として動作することができる。ＲＡＭ８０３は、前述の種々のバッファ部として利用されてもよい。通信ＩＦ８０４は、例えば、鍵情報１３、符号化データ１５などの送受信に利用されてもよい。

上記プログラムは、コンピュータで読み取り可能な記憶媒体（例えば、ＲＯＭ８０２）に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・入力画像
１１，１６，２０・・・基準画像
１２，１９・・・補助情報
１３・・・鍵情報
１４，１７・・・鍵画像
１５・・・符号化データ
１８・・・出力画像
１００，３００・・・画像符号化装置
１１０・・・画像符号化部
１２０，２２０・・・鍵画像生成部
１２１，２２１，５１１・・・画像選択部
１２２，２２２・・・画像補正部
１３０，２３０，５１０・・・鍵情報生成部
１３１・・・同期マッチング部
１３２，２３２・・・画像補正パラメータ生成部
２００，４００・・・画像復号装置
２１０・・・画像復号部
２３１・・・予測マッチング部
５００・・・鍵情報生成装置
６０１，６１０，６１１・・・減算部
６０２・・・変換／量子化部
６０３，７０２・・・逆量子化／逆変換部
６０４，７０３，７０７・・・加算部
６０５，７０４・・・ループフィルタ部
６０６，６１６，７０５，７１５，７２５・・・画像バッファ部
６０７，６１７，６２７，７０６，７１６，７２６・・・予測画像生成部
６０８・・・エントロピー符号化部
６０９，６１９，６２９・・・符号化制御部
７０１・・・エントロピー復号部
８０１・・・ＣＰＵ
８０２・・・ＲＯＭ
８０３・・・ＲＡＭ
８０４・・・通信ＩＦ
８０５・・・バス

Claims (12)

1. 鍵情報を生成する鍵情報生成部と、
   １枚以上の画像を含む基準画像と前記鍵情報とに基づいて鍵画像を生成する鍵画像生成部と、
   前記鍵画像を用いて入力画像を符号化することによって、符号化データを生成する画像符号化部と
   を具備する、画像符号化装置。
2. 前記鍵情報は、前記基準画像に含まれる１枚以上の画像から前記鍵画像を生成するために選択される画像を示す識別情報を含む、請求項１の画像符号化装置。
3. 前記鍵情報は、前記識別情報によって示される画像を補正するための補正パラメータを更に含む、請求項２の画像符号化装置。
4. 前記鍵情報生成部は、前記基準画像に含まれる１枚以上の画像から前記入力画像と最も類似する画像を探索し、探索された画像を示す識別情報を含む鍵情報を生成する、請求項１の画像符号化装置。
5. 前記鍵情報生成部は、補助情報に基づいて、前記基準画像に含まれる１枚以上の画像から前記入力画像と最も類似する画像を探索する、請求項４の画像符号化装置。
6. 前記補助情報は、撮影日、撮影時刻、撮影位置及び撮影方向のうち少なくとも１つの情報を含む、請求項５の画像符号化装置。
7. 前記入力画像は、第１の移動体が所定の経路を走行している間に当該第１の移動体に取り付けられたカメラによって撮影された画像であり、
   前記基準画像は、第２の移動体が前記経路を走行している間に当該第２の移動体に取り付けられたカメラによって撮影された過去の画像である、
   請求項１の画像符号化装置。
8. 前記画像符号化部は、前記鍵画像を含む参照画像を用いて前記入力画像を予測符号化することによって前記符号化データを生成する、請求項１の画像符号化装置。
9. 前記画像符号化部は、前記入力画像から前記鍵画像を減算することによって差分画像を生成し、当該差分画像を予測符号化することによって前記符号化データを生成する、請求項１の画像符号化装置。
10. 前記画像符号化部は、前記鍵画像を用いて前記入力画像を予測符号化することによって前記符号化データを生成する、請求項１の画像符号化装置。
11. １枚以上の画像を含む基準画像と鍵情報とに基づいて鍵画像を生成する鍵画像生成部と、
    前記鍵画像を用いて符号化データを復号することによって、出力画像を生成する画像復号部と
    を具備する、画像復号装置。
12. 画像符号化装置と画像復号装置とを具備し、
    前記画像符号化装置は、
    鍵情報を生成する鍵情報生成部と、
    １枚以上の画像を含む第１の基準画像と前記鍵情報とに基づいて第１の鍵画像を生成する第１の鍵画像生成部と、
    前記第１の鍵画像を用いて入力画像を符号化することによって、符号化データを生成する画像符号化部と
    を具備し、
    前記画像復号装置は、
    前記画像符号化装置によって伝送された鍵情報と、前記第１の基準画像と同一の第２の基準画像とに基づいて、前記第１の鍵画像と同一の第２の鍵画像を生成する第２の鍵画像生成部と、
    前記画像符号化装置によって伝送された符号化データを、前記第２の鍵画像を用いて復号することによって、出力画像を生成する画像復号部と
    を具備する、
    画像伝送システム。