JP2013042216A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 複眼カメラによる撮影画像の符号化において、カメラのズーム倍率や露出や絞りの変化も考慮した具体的な符号化手法を提案する。
【解決手段】 複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置であって、前記メインカメラで撮影することにより得られた第１画像データを符号化する符号化手段と、前記撮影に適用するズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第１の画像データから、サブカメラで撮影することにより得られた第２画像データを予測し、予測画像データを生成する予測手段と、前記第２画像データを、該第２画像データと前記予測画像データとの差分データを生成することにより符号化する差分符号化手段とを有する。
【選択図】 図８

Description

本発明は、メインカメラとサブカメラを備える複眼カメラで撮影された画像を符号化する技術に関する。

近年、複数のレンズを備えたデジタルカメラが利用されつつあり、画角や露出を異ならせた２枚の画像を同時に撮影することもできる。これら同時に撮影された２つの画像を独立して符号化すると符号化データ量は大きくなる。

これに対して、複数の画像間の相関を利用して符号化することが有効である。また、このような複数の画像の相関を利用する符号化技術としては、予測差分符号化が一般的に知られている。

例えば、特許文献１では、複数の画像データの共通部分の画像を算出して符号化するとともに共通画像データとの差分データを符号化することで符号量を削減する。特許文献２では、多視点動画像を符号化する際に、基準視点の画像をベースに他の視点映像を差分符号化する。このとき、基準視点画像カメラと他のカメラの位置関係に基づいて視差補償画像を推定し、撮影画像との差分をとって符号化することで符号量を削減する。

特開２００６−３５２２６１号公報 特開２００７−３６８００号公報 特開２０００−２３１９８号公報

デジタルカメラにおいてズーム倍率、露出、絞りを変化させる場合、複眼カメラの各画像は画角だけでなく階調やピントなども異なる。したがって、画像の画角が一致する共通部分においても色や周波数特性が異なる。
本発明は上記従来例に鑑みてなされたものであり、メインカメラをサブカメラを備える複眼カメラによる撮影画像の符号化において、カメラのズーム倍率や露出や絞りの変化も考慮した具体的な符号化手法を提案する。

上記課題を解決するために、本発明の画像処理装置によれば、複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置であって、前記メインカメラで撮影することにより得られた第１画像データを符号化する符号化手段と、前記撮影に適用するズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第１の画像データから、サブカメラで撮影することにより得られた第２画像データを予測し、予測画像データを生成する予測手段と、前記第２画像データを、該第２画像データと前記予測画像データとの差分データを生成することにより符号化する差分符号化手段とを有することを特徴とする。

本発明によれば、メインカメラとサブカメラを備える複眼カメラによる撮影画像の符号化において、カメラのズーム倍率や露出や絞りなどの変化も考慮した、効率良い符号化が行える。

画像処理装置における撮像系と再生系の構成を示すブロック メインカメラ画像とサブカメラ画像の模式図 エンコーダの構成の一例を示すブロック図 デコーダの構成の一例を示すブロック図 サブカメラ画像推定部の構成を示すブロック図 メインカメラ画像とサブカメラ推定画像の模式図 第二の実施例におけるサブカメラ画像推定部の構成を示すブロック図 サブカメラ画像推定用処理パラメータの算出処理のフローチャート アフィン変換パラメータ算出処理のフローチャート 階調補正カーブ算出処理のフローチャート インパルス応答算出処理のフローチャート フィルタインパルス応答算出処理のフローチャート 階調変換画像のフーリエ変換の振幅成分、修正前後のＰＳＦ特性の一例を示す図 エンコーダの構成の一例を示すブロック図 デコーダの構成の一例を示すブロック図

＜実施例１＞
図１は本発明の画像処理装置の構成を示すブロック図である。本発明の画像処理装置は、画像の撮像記録機能と、記録した画像の再生機能とを有するため構成が複雑となる。そこで図を簡単にするため、図１（ａ）の撮像系のブロック図と、図１（ｂ）の再生系のブロック図とに分けて示す。また本発明の撮像装置は、撮像部１０１と撮像部１０２の２つの撮像部と画像処理系を有する。これらはそれぞれが独立してカメラパラメータ（ズーム、露出、ピント）を調整可能であり、また２つの撮像画像を同時に記録することができる。以下では撮像部１０１からの画像をメインカメラ画像と呼び、撮像部１０２からの画像をサブカメラ画像と呼ぶこととする。

撮像部１０１および撮像部１０２は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成され、被写体の光量を検知する。Ａ／Ｄ変換部１０３およびＡ／Ｄ変換部１０７は、被写体の光量をデジタル値に変換する。信号処理部１０４および信号処理部１０８は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。エンコーダ部１０５は、上記デジタル画像を画像圧縮フォーマットに変換する処理を行う。サブカメラ画像推定部１０６は、信号処理部１０４からのデジタル画像に対し、画像の回転とスケーリング、階調補正、フィルタリングを行い、サブカメラ画像を推定（予測）する。差分画像生成部１０９は、ピクセル毎に信号処理部１０８からの画素値からサブカメラ画像推定部１０６からの画素値を減じ、差分データを生成する。エンコーダ部１１０は、上記差分データを符号化し、所定の画像圧縮フォーマットに変換する処理を行う。上記予測による差分データの生成を伴う符号化は、いわゆる予測符号化（差分符号化）に相当する。メディアインターフェース１１１は、１１２のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。デコーダ部１２１とデコーダ部１２４は、画像圧縮フォーマットをデジタル画像データに変換する処理を行う。ポストフィルタ１２２とポストフィルタ１２６は、ノイズ除去処理、エッジ強調処理、色階調補正処理などを行う。サブカメラ画像推定部１２３はデコーダ１２１からのデジタル画像に対し、画像の回転とスケーリング、階調補正、フィルタリングを行い、サブカメラ画像を推定（予測）する。画像合成部１２３は、ピクセル毎にデコーダ１２１からの画素値とサブカメラ画像推定部１２３からの画素値とを加算し、合成映像を生成する。ＣＰＵ１１３は、各構成の処理全てに関わり、ＲＯＭ１１４やＲＡＭ１１５に格納された命令を順に読み込み処理を実行する。そして、システムバス１２０を介して各構成を制御する。また、ＲＯＭ１１４とＲＡＭ１１５は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１１３に提供する。撮像系制御部１１６は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、ＣＰＵ１１３から指示された撮像系の制御を行う。操作部１１７は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。表示制御部１１８は、信号処理部１０４および信号処理部１０８から受け取った撮影画像、あるいはポストフィルタ１２２およびポストフィルタ１２６から受け取った再生画像について、スケーリングを施して選択表示する。また、文字やグラフィックあるいはユーザーインタフェース画像を生成し、撮影画像や再生画像に重ねた画像を生成する。表示部１１９は、液晶ディスプレイなどの表示機器であり、表示制御部１１８からの画像表示を行う。上記構成において、電源がＯＮされ、ＣＰＵ１１３が操作部１１７を通して撮影モード設定を検知すると、上記撮像部のシャッターをオープンし、信号処理部１０４並びに１０８からの画像を表示部１１９に表示する。そして撮像部１０１もしくは撮像部１０２に対するズーム、絞り、露出の調整をＣＰＵ１１３が操作部１１７から検知する毎に、後述の処理に基づいてサブカメラ画像推定部１０６に対する処理パラメータを算出する。算出されたサブカメラ画像推定用処理パラメータは、システムバス１２０を介してサブカメラ画像推定部１０６に設定される。撮影モードの状態でＣＰＵ１１３が操作部１１７を通して画像撮影を検知すると、撮像部１０１からのメインカメラ画像は、Ａ／Ｄ変換部１０３からエンコーダ部１０５までの処理を経て所定圧縮フォーマットに変換される。また、撮像部１０２からのサブカメラ画像は、Ａ／Ｄ変換部１０７からエンコーダ部１１０までの処理を経て所定圧縮フォーマットに変換される。所定圧縮フォーマットに変換された画像データと、サブカメラ画像部でのサブカメラ画像推定用の処理パラメータとは、メディアインターフェース１１１を通してメディア１１２に記録する。サブカメラ画像推定部１０６およびサブカメラ画像推定部に１２３の詳細、サブカメラ画像推定用パラメータの詳細、ＣＰＵ１０７におけるサブカメラ画像推定用処理パラメータの算出処理の詳細については後述する。本構成により、例えば図２の様なメインカメラ画像とサブカメラ画像とが撮影される。ＣＰＵ１１３が操作部１１７を通して画像再生を検知すると、メディア１１２に格納されたサブカメラ画像推定用の各種処理パラメータが読み込まれ、サブカメラ画像推定部１２３に設定される。所定の圧縮フォーマットで記録されたメインカメラ画像データは、デコーダ１２１とポストフィルタ１２２の処理により、表示用の画像に変換される。また、所定圧縮フォーマットで記録されたサブカメラ画像データは、デコーダ１２４からポストフィルタ１２６までの処理を経て表示用の画像に変換される。変換された画像は、表示制御部１１８を経て表示部１１９に表示される。

図３はエンコーダ１０５並び１１０の構成の一例である。ブロック形成器３０１は符号化単位である８画素×８画素のブロックに分割するブロック形成器である。ＤＣＴ変換器３０２は、形成されたブロック単位で二次元ＤＣＴ変換を行う。量子化器３０３はＤＣＴ変換器１３０の出力を、所定の量子化テーブルに基づいて量子化する。符号器３０４は、量子化結果を１次元に整列し、０ラン長と値に対して符号を割り当て符号化する。

図４は、デコーダ１２１およびデコーダ１２４の構成の一例である。符号メモリ４０１は、画像の符号化データを一旦格納するメモリである。復号器４０２は１次元の符号化データから二次元量子化データを復号する。４０３は逆量子化器であり、二次元量子化データから二次元ＤＣＴ値を復元する。４０２は二次元ＤＣＴ値に対して二次元逆ＤＣＴ変換を行って８画素×８画素のブロック画像を復元する、逆ＤＣＴ変換器である。メモリ４０５は再生した画像データを一旦格納するメモリである。画像データはメモリ４０５よりラスタスキャン順で出力される。

図５は、本実施例におけるサブカメラ画像推定部１０６およびサブカメラ画像推定部１２３の構成である。これら推定部によって、サブカメラで撮影された画像を予測し、予測画像データを生成する。アフィン変換部５０１は、パラメータ算出部５０５から設定されたアフィン変換パラメータに基づいて画像に対して拡大と平行移動とを施すことで、サブカメラの画角の画像を推定して画角推定画像を出力する。例えば、図２の様な撮影画像が得られる場合、図６の６０１の領域の画像をメインカメラ画像より切り出して拡大することに相当する。階調変換部５０２では、パラメータ算出部５０５から設定された階調補正カーブを用いて画角推定画像に対して階調変換を施すことで、サブカメラの階調の画像を推定した階調推定画像を出力する。フィルター部５０３は、パラメータ算出部５０５から設定されたフィルタインパルス応答を用いて階調推定画像に対してフィルタリングを行い、サブカメラ推定画像を出力する。模式的に図に示すと、図６のサブカメラ推定画像の様に図２のサブカメラ画像に近似した画像となる。補正量記憶部５０４は、サブカメラ画像推定部の各構成に設定するアフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答を、サブカメラ画像推定用パラメータ（カメラパラメータの一部）としてあらかじめ記憶する。パラメータ算出部５０５は、サブカメラ画像推定部の各構成に設定するアフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答を、サブカメラ画像推定用パラメータから算出する。本実施例におけるサブカメラ画像推定用パラメータは、メインカメラとサブカメラのズーム倍率、メインカメラとサブカメラの露出、メインカメラとサブカメラの絞りである。パラメータ算出部５０５におけるアフィン変換パラメータの算出は、メインカメラのズーム倍率とサブカメラのズーム倍率を入力とする二次元ＬＵＴより、拡大量と平行移動量を補正量記憶部５０４から読み出すことで実現する。また階調補正カーブの算出は、メインカメラの露出とサブカメラの露出を入力とする二次元ＬＵＴより、階調変換カーブの制御点を補正量記憶部５０４から読み出すことで実現される。階調変換カーブは制御点をスプライン補間することで生成する。フィルタインパルス応答は次の様に算出する。まず、ズーム倍率と絞りを入力とする二次元ＬＵＴからメインカメラのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）、並びにサブカメラのＰＳＦをそれぞれ読み出す。両ＰＳＦをフーリエ変換した後にサブカメラＰＳＦの周波数応答をメインカメラＰＳＦの周波数で割り、さらに逆フーリエ変換することで設定すべきフィルタインパルス応答とする。ＣＰＵ１１３におけるサブカメラ画像推定用処理パラメータの算出処理は、ＣＰＵ１１３が検知した撮像部１０１と撮像部１０２でのズーム、絞り、露出調整に基づいて、現在のズーム倍率と露出と絞りとを算出することで行う。

以上本実施例によれば、メインカメラ画像とサブカメラ画像を記録する際、サブカメラ画像についてはメインカメラ画像から推定したサブカメラ推定画像との差分データだけを記録する。またメインカメラ画像とサブカメラ画像とを再生する際も、サブカメラ画像についてはメインカメラ画像から推定したサブカメラ推定画像に差分データを加算することで再生する。このため記録すべき画像の情報量を削減できる。また、画像再生時にも良好な画像が得られる。

＜実施例２＞
本実施例は、第１実施例に対して実際の画像に基づくサブカメラ画像推定用パラメータを行うことによりサブカメラ画像推定の精度向上を図ったものである。以下、第１実施例からの変更箇所であるサブカメラ画像推定部１０６並びに１２３、サブカメラ画像推定用パラメータ、ＣＰＵ１１３におけるサブカメラ画像推定用処理パラメータの算出処理について説明する。

図７は本実施例におけるサブカメラ画像推定部１０６およびサブカメラ画像推定部１２３の構成である。アフィン変換部７０１は、パラメータ設定部７０４を通して設定されたアフィン変換パラメータに基づいて画像に対して拡大と平行移動とを施し、サブカメラの画角の画像を推定した画角推定画像を出力する。階調変換部７０２では、パラメータ設定部７０４を通して設定された階調補正カーブを用いて画角推定画像に対して階調変換を施し、サブカメラの階調の画像を推定した階調推定画像を出力する。フィルター部７０３は、パラメータ設定部７０４を通して設定されたフィルタインパルス応答を用い、階調推定画像に対してフィルタリングを行うことでサブカメラ推定画像を出力する。パラメータ設定部７０４は、サブカメラ画像推定部の各構成に設定するアフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答を、サブカメラ画像推定用パラメータに基づいて設定する。本実施例におけるサブカメラ画像推定用パラメータは、アフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答そのものであり、パラメータ設定部７０４は値を適切な構成部に設定するだけの役割を持つ。ＣＰＵ１１３でのサブカメラ画像推定用処理パラメータの算出処理として、撮像部１０１もしくは撮像部１０２に対するズーム、絞り、露出の調整を操作部１１７から検知する毎に、図８のフローチャートが実行される。

図８において、ステップＳ８０１では、サブカメラ画像とメインカメラ画像を一旦ＲＡＭ１１５に転送して記憶する。ステップＳ８０２では、検知した撮像部１０２のズーム、絞り、露出調整に基づき、現在のズーム倍率と露出と絞りとを算出する。ステップＳ８０３では、メイン／サブのカメラのズーム倍率とサブカメラ画像とに基づいて、アフィン変換パラメータを算出する。また、算出したアフィン変換パラメータを用いてメインカメラ画像をアフィン変換する。このステップの処理の詳細については図９のフローチャートを用いて後述する。ステップＳ８０４では、メイン／サブのカメラの露出とサブカメラ画像とに基づいて、階調補正カーブを算出する。また算出したアフィン変換パラメータを用い、ステップＳ８０３で算出したアフィン変換画像の階調を変換する。このステップの処理の詳細については図１０のフローチャートを用いて後述する。ステップＳ８０５では、サブカメラ画像に基づいてフィルタインパルス応答を算出する。このステップの処理の詳細については図１２のフローチャートを用いて後述する。ステップＳ８０６では、算出したサブカメラ画像推定用パラメータをサブカメラ画像推定部に設定する。ステップＳ８０７では、サブカメラ画像とサブカメラ推定画像の差分画像（差分データ）を算出し、差分画像の特徴に基づいて量子化パラメータ等の符号化パラメータを決定し、エンコーダに設定する。以下では、ステップＳ８０３のアフィン変換パラメータ算出処理である図９のフローチャートについて説明する。

図９において、ステップＳ９０１では、ＲＯＭ１１４に記憶されている二次元ＬＵＴより、メインカメラのズーム倍率とサブカメラのズーム倍率を入力として拡大量と平行移動量を読み出すことで、アフィン変換パラメータの初期推定値を求める。なお、二次元ＬＵＴは撮像部の特性に基づいてあらかじめ計算され、ＲＯＭ１１４に格納されている。ステップＳ９０２では、サブカメラ画像を取得してグレイ画像に変換し、サブカメラグレイ画像としてＲＡＭ１１５に記憶する。ステップＳ９０３では、メインカメラ画像を取得してグレイ画像に変換すると共に、グレイ画像にアフィン変換を施してアフィン変換画像としてＲＡＭ１１５に記憶する。ステップＳ９０４では、アフィン変換画像とサブカメラグレイ画像の位相限定相関を求め、平行移動量を算出する。

ここでアフィン変換画像の二次元フーリエ変換をＩ１、サブカメラグレイ画像の二次元フーリエ変換をＩ２とすると、位相限定相関は

を逆フーリエ変換することで求められる。この位相限定相関の相関ピーク座標が平行移動量に対応する。

ステップＳ９０５では、算出した平行移動量を用いてアフィン変換画像を平行移動して調整する。ステップＳ９０６では、平行移動したアフィン変換画像と、サブカメラグレイ画像とに対してＬｏｇ−Ｐｏｌａｒ変換を施し、一旦ＲＡＭ１１５に画像を記憶する。次にＬｏｇ−Ｐｏｌａｒ画像に対し、ステップＳ１１０４と同様にて位相限定相関を算出してスケーリング量を算出する。ステップＳ９０７では、ステップＳ９０４で算出した平行移動量とステップＳ９０６で算出したスケーリング量に基づいて、アフィン変換パラメータの初期推定値を修正し、ＲＡＭ１１５に記憶する。ステップＳ９０８では、算出したアフィン変換パラメータを用いてメインカメラ画像をアフィン変換し、ＲＡＭ１１５に記憶する。

以下では、ステップＳ８０４の階調補正カーブ算出処理である図１０のフローチャートについて説明する。ステップＳ１００１では、ＲＯＭ１１４に記憶されているＬＵＴからメインカメラの露出を入力として階調変換カーブの制御点を読み出し、スプライン補間による階調変換カーブを算出する。続いてこのカーブの逆関数を算出する。ステップＳ１００２では、ＲＯＭ１１４に記憶されているＬＵＴからサブカメラの露出を入力として階調変換カーブの制御点を読み出し、スプライン補間による階調変換カーブを求める。ステップＳ１００３では、ステップＳ１００１で算出した逆関数とステップＳ１００２で算出した階調カーブとを乗じて、階調補正用の階調カーブの初期推定値を算出する。ステップＳ１００４では、サブカメラ画像とステップＳ８０３で算出したメインカメラのアフィン変換画像とから、複数の所定領域に対する画素平均値を算出する。ここで例えば図１１の様に、所定領域はアフィン変換画像とサブカメラ画像とで同位置となるように設定する。１１０１はサブカメラ画像に対する画素平均値算出領域、１１０２はアフィン変換画像に対する画素平均値算出領域である。ステップＳ１００５では、メインカメラ画像の画素平均値に階調変換を施した結果とサブカメラ画像の画素平均との差分が最小となるよう、階調カーブを最適化する。この最適化は、例えば特開２００４−１５３６８４の様にＤＬＳ（Ｄｕｍｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅ）法を用いて実現される。ステップＳ１００６では、最適化した階調カーブから所定の制御点を抽出し、その座標を階調補正カーブの情報としてＲＡＭ１１５に記憶する。ステップＳ１００７では、算出した階調カーブを用い、ステップＳ８０３で算出したメインカメラのアフィン変換画像を階調変換し、ＲＡＭ１１５に記憶する。

以下では、ステップＳ８０４のフィルタインパルス応答算出処理である図１２のフローチャートについて説明する。ステップＳ１２０１では、ステップＳ８０４で算出したメインカメラの階調変換画像を取得し、フーリエ変換を施した上でそのパワーを取る。ステップＳ１２０２では、サブカメラ画像を取得し、フーリエ変換を施した上でそのパワーを取る。ステップＳ１２０３では、サブカメラ画像のパワースペクトルを階調変換画像のパワースペクトルで割り、さらにそのルートを取ってＰＳＦ特性を算出する。ステップＳ１２０４では、階調変換画像のフーリエスペクトルに基づき、ＰＳＦ特性を修正する。まず階調変換画像のフーリエスペクトルより、所定閾値以上となる有効周波数領域を定める。次にこの有効周波数領域に基づき、ＰＳＦ特性が有効周波数領域外で連続的に減少して０となるよう修正する。有効周波数領域外の関数近似はガウス関数を用いる。図８にこれらの関係の一例を示す。図８（ａ）は階調変換画像のフーリエ変換の振幅成分、図８（ｂ）は修正前のＰＳＦ特性、図８（ｃ）は修正後のＰＳＦ特性である。ステップＳ１２０５では、ＰＳＦ特性を逆フーリエ変換しインパルス応答を求め、所定の応答長となるように時間窓を乗ずる。ステップＳ１２０６では、インパルス応答の総和が１となるよう、応答を修正する。ステップＳ１２０７では、修正したインパルス応答をＲＡＭ１１５に記憶する。

以上本実施例によれば、実際の画像に基づくサブカメラ画像推定用パラメータを行うことにより、メインカメラ画像から推定したサブカメラ推定画像とサブカメラ画像との差分データ量を削減できる。結果、再生画像の画質を向上させることが出来る。また、記録すべき画像の情報量を削減することも出来る。

＜実施例３＞
本実施例は、第１実施例が静止画符号化を対象としていたのに対し、エンコーダを動画符号化にデコーダを動画復号化に置き換えることで、動画像にも適用することを示したものである。以下、第１実施例と異なる部分について主に説明する。

図１４はエンコーダ１０５並び１１０の構成の一例である。１４０１は符号化単位の８×８のブロックに分割するブロック形成器である。１４０２はフレームの符号化モードを予め決めた周期にしたがって、Ｉ，Ｐ，Ｂのフレームモードを適宜選択するフレームモード設定器である。１４０３は差分器である。１４０４はＤＣＴ変換を行うＤＣＴ変換器である。１４０５はＤＣＴ変換器１３０の出力を量子化する量子化器である。１４０６は符号器であり、量子化結果を１次元に整列し、０ラン長と値に対して符号を割り当て、符号化する。１４０７は逆量子化を行う逆量子化器であり、１４０８は逆ＤＣＴ変換を行う逆ＤＣＴ変換器である。１４０９は加算器であり、１４１０は再生された画像データを格納するフレームメモリである。１４１１は入力とフレームメモリ１４１０の内容から動き補償を行う動き補償器である。動き補償器は、フレームモード設定器１４０２がＩ−フレームを指示する場合、動作せずに動き補償予測値として０を出力する。また、フレームモード設定器１４０２がＰ−フレームまたはＢ−フレームを指示する場合、動き補償器１４０を動作させ、フレームメモリ１４１０から動き補償に必要な画像データを適宜読み出す。そして動き補償を行うか否かを判定し、動き補償を行う場合はその動き補償予測値を差分器１４０３、加算器１４０９に出力し、動き補償に用いる動きベクトルを符号器１４０６に入力する。

図１５はデコーダ１０５並び１１０の構成の一例である。１５０１は画像の符号化データを格納する符号メモリである。１５０２は符号化データを復号する復号器である。１５０３は逆量子化器である。１５０４は逆ＤＣＴ変換器である。１５０５は加算器である。１５０６と１５０７は再生した画像データを格納するフレームメモリである。１５０８は動き補償器である。Ｉ−フレームの時は動き補償器１５０８は動作せず、０を出力する。Ｐ−フレームとＢ−フレームの時は動き補償器１５０８は動作し、動き補償予測値を出力する。

＜変形例＞
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

Claims (7)

1. 複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置であって、
   前記メインカメラで撮影することにより得られた第１画像データを符号化する符号化手段と、
   前記撮影に適用するズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第１の画像データから、サブカメラで撮影することにより得られた第２画像データを予測し、予測画像データを生成する予測手段と、
   前記第２画像データを、該第２画像データと前記予測画像データとの差分データを生成することにより符号化する差分符号化手段とを有することを特徴とする画像処理装置。
2. 請求項１の画像処理装置によって符号化された第１画像データおよび差分データを用いて前記第２画像データを復号する画像処理装置であって、
   前記符号化された第１画像データを復号する復号手段と、
   前記復号された第１画像データと前記カメラパラメータに基づいて、前記第２画像データを予測し、予測画像データを生成する予測手段と、
   前記予測画像データと前記復号された差分データとに基づいて、復号された第２画像データを生成する復号手段とを備えることを特徴とする画像処理装置。
3. 更に、前記符号化された第１画像データおよび差分データおよび前記カメラパラメータを共に記録する記録手段を備えることを特徴とする請求項１乃至２の何れか１項に記載の画像処理装置。
4. 前記予測手段は、アフィン変換パラメータ、階調変換カーブ、フィルタインパルス応答の少なくともいずれかのパラメータを用いて、前記第１の画像データから、サブカメラで撮影することにより得られた第２画像データを予測し、予測画像データを生成することを特徴とする請求項１に記載の画像処理装置。
5. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の画像処理装置として機能させるコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
7. 複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置の制御方法であって、前記画像処理装置は、
   前記メインカメラで撮影することにより得られた第１画像データを符号化する工程と、
   前記撮影に適用されるズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第１の画像データから、サブカメラで撮影することにより得られた第２画像データを予測し、予測画像データを生成する工程と、
   前記第２画像データを、該第２画像データと前記予測画像データとの差分データを生成することにより符号化する工程とを備えることを特徴とする制御方法。

Images