JP2009048487A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】データ圧縮を考慮しながら高解像度画像を生成する。
【解決手段】 画像処理装置は、基準画像以外の対象画像を圧縮符号化する圧縮手段と、圧縮された前記対象画像を伸長復号化する伸長復号手段と、前記基準画像に対して、伸長復号化した前記対象画像を変形して位置合わせを行う位置合わせ手段と、前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手段と、前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報を選択する画素選択手段と、前記基準画像と、前記対象画像のうち前記画素選択手段で選択した画素情報を使用して、画像を生成する画像生成手段と、を備える。
【選択図】図６Ａ

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来、画像処理技術の基礎として、複数枚画像を扱う場合は、画像間の位置対応をとるために、画像間の位置合わせ処理を行うことは必須の技術となっている。例えば、イメージモザイキング処理（重なりのある複数画像の位置合わせを行なって一枚の全体画像を得る処理）や、超解像処理を行う場合は、複数枚画像の合成処理が必須となり、その時に用いられる画像の位置合わせ処理に誤りがあれば、画像の合成処理として破綻し、本来得たい画像処理結果が得られないこととなる。

例えば、複数枚画像を用いた画像高解像度化手法として、画像の超解像処理が提案されている（例えば、特許文献１、２参照）。これらの方法では、複数枚画像を画像の画素単位以上の分解能で位置合わせを行うことができ、複数のフレームの基準フレームに対する射影変換の変形が成り立つ場合には、非常の精度の良いマッチングが可能である。

また、フーリエ変換を用いた、特定の種類のモーションに対しての高速な高解像度化処理が提案されている（例えば、特許文献３参照）。

前述の様な、射影変換の条件に当てはまる位置合わせが破綻した場合の対処法についてはさらに柔軟性の高いマッチング処理が提案されている。画像の位置合わせ処理を行った場合の、位置合わせ誤りを検出する手法についての報告が幾つかなされている（非特許文献１、２参照）、非特許文献１では、高解像度化処理を行う際に条件に合わない領域を排除している。また非特許文献２では、ブロックマッチングの信頼度に応じてＭＡＰ (最大事後確率)推定での忠実化項に重み付けを行っている。この様に、複数枚画像のマッチングのエラーを補完する方式が提案されている。
国際公開第０４／０６８８６２号パンフレット 特開２００６−１４０８８６号公報 特開２００６−３０９６４９号公報 張馴、清水、奥富「照明変化やオクルージョンにロバストな領域選択２段階レジストレーション」、画像の認識・理解シンポジウム（MIRU2006）講演論文集、２００６年７月、p.229-234 戸田、塚田、井上「レジストレーション誤差を考慮した超解像処理」第５回情報科学技術フォーラム(FIT2006) 講演論文集、２００６年、p.63-64

しかし、上記の方式では、高解像度化する基準画像と、データの補間に用いる対象画像の間での、データの効率化については考慮されていない。従来の技術では、データバス転送速度やメモリリソースの使用量を考慮してデータ圧縮を考慮しながら高解像度画像を生成する手段については開示されていなかった。

そこで、本発明は、データ圧縮を考慮しながら高解像度画像を生成することを目的とする。

画像処理装置は、複数枚の画像を取得する画像取得手段と、前記複数枚の画像から基準画像を選択する基準画像選択手段と、前記基準画像以外の対象画像を圧縮符号化する圧縮手段と、圧縮された前記対象画像を伸長復号化する伸長復号手段と、前記基準画像に対して、伸長復号化した前記対象画像を変形して位置合わせを行う位置合わせ手段と、前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手段と、前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報を選択する画素選択手段と、前記基準画像と、前記対象画像のうち前記画素選択手段で選択した画素情報を使用して、画像を生成する画像生成手段と、を備える。

画像処理装置は、複数枚の画像を取得する画像取得手段と、前記複数枚の画像から基準画像を選択する基準画像選択手段と、前記基準画像以外の対象画像を圧縮する圧縮手段と、圧縮された前記対象画像を伸長復号化する伸長復号手段と、前記基準画像に対して伸長復号化した前記対象画像を変形し位置合わせを行う位置合わせ手段と、
前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手段と、前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報の荷重加算係数を算出する画素荷重加算係数算出手段と、前記基準画像と、前記対象画像の画素情報と、前記対象画像の画素荷重加算係数情報を使用して、画像を生成する画像生成手段と、を備える。

高解像度化する基準画像は、圧縮率が低いため、尤も高解像度画像の情報を尤も多く有しており、それ以外の画像に関して、圧縮伸長処理を行っても、基準画像とその変形した画像を基準に有効な画素領域を選択しているために、基準画像以外に対するデータの圧縮と、高品質の高解像化画像を両立することができる。

即ち、基準画像以外のデータは圧縮データを使用し、基準画像は画像情報を多く保持しているものを用いるため、データの軽量化と、復元画像の画質の両立が図れる。

図１の画像処理装置の構成図を参照して、第一実施形態について説明する。図１の各部１０１−２０７は、システムコントローラ１００により制御されている。レンズ１０１を通した光学像を撮像素子１０２で電気信号に変換し、撮像信号処理部１０３でアナログ信号の処理を行い、アナログ−デジタル（Ａ／Ｄ）変換部１０４でアナログ−デジタル変換（Ａ／Ｄ変換）を行う。本実施形態では、撮像素子１０２は、Bayer（ベイヤー）配列の色フィルタを有する単板式ＣＣＤである。基準画像には、図示しないゲイン調整部において、Ａ／Ｄ変換後のゲイン調整（ホワイトバランス調整、階調変換など）が施され、基準画像記録部２０１（メモリ）に記録される。基準画像以外の位置合わせの対象画像の信号は、Ａ／Ｄ変換及びゲイン調整後に、デジタル信号処理部１０５を通過し、データ圧縮部２０２で圧縮符号化され、対象画像記録部２０３（メモリ）に記録される。圧縮方式は、連続静止画像の場合は、JPEG圧縮であり、動画像の場合は、Motion-JPEG、MPEG-1,-2,-4又はH.264等である。

データ伸長処理部２０４は、圧縮して記録された対象画像データを対象画像記録部２０３から取得し、伸長した後、位置合わせ処理部２０５に伝送する。

位置合わせ処理部２０５では、基準画像記録部２０１から基準画像を取得し、基準画像と対象画像の位置合わせ処理を行う。位置合わせ処理は、射影変換でも、ブロックマッチングでも良い。

本実施形態では、基準画像としてＲＡＷデータ（未処理のデータ）を用い、対象画像をJPEG圧縮・伸長し、変形して基準画像に対して位置合わせする例を述べる。

基準画像は、圧縮されておらず、Bayer（ベイヤー）配列であるために、図２のように、Ｒ、Ｇ、Ｇ、Ｂのチャンネルが離間的に配置されている。従って、基準画像の各画素には、ＲＧＢの３原色のうちの1色分の画素値しか存在しない。これに対して、JPEG圧縮後に復号伸長された対象画像データは、圧縮前又は圧縮後に通常行なわれるデモザイキング処理（補間処理）により、各画素位置においてＲ、Ｇ、Ｂの画素値（Ｒ／Ｇ／Ｂチャンネル）が揃ったフルカラーの情報を有している。位置合わせのため、基準画像とJPEG圧縮・伸長された対象画像をブロック分割してブロックマッチングが為される。JPEG圧縮は通常不可逆圧縮であり、JPEG圧縮・伸長された画像は、基準画像と比較すると画質劣化が生じている。

図３は、画素選択処理部２０６における、位置合わせ後の画素選択の過程を示している。図３では、Bayer配列の格子をマッチング・補完して、Bayer配列のレジストレーション画像（位置合わせ画像）を生成する方法を示す。図３では、基準画像と対象画像について縦横３倍の拡大を行い、解像度を上げてマッチングが行なわれている。

ブロックマッチングにおいて、対象画像は、２次元移動によって基準画像に対して変形される。図５は、ブロックマッチングにおいて対象画像を基準画像に位置合わせする位置合わせ量（移動ベクトル量又は変形度）の推定をパラボラフッティング（二次関数フッティング）で行った例を示す。縦軸は、誤差二乗和（ＳＳＤ）や誤差絶対値和（ＳＡＤ）等の類似度値を表し、類似度値が小さいほどブロック間の類似度が高い。図５の黒丸は離散的な類似度値、灰色の丸が類似度の極値を示している。離散的な類似度値を結ぶ曲線は、類似度値と対象画像の移動量の関係を二次関数で補間したものである。極値に対応する対象画像の移動量が、位置合わせ量となる。その他、位置合わせ量の推定に、スプライン関数等による補間が利用可能である。

基準画像と複数の対象画像を合成してレジストレーション画像（合成画像）を作成する際に、拡大前の基準画像のBayer配列に相当する画素（元データ）（図３（ｂ）の太線）はそのまま使用される。対象画像の位置合わせ量分の移動による位置合わせの後、基準画像の画素に対応する位置にある対象画像の画素は、レジストレーション画像（合成画像）の画素として選択され得る。これにより、複数の対象画像と基準画像の位置合わせ及び合成を行い、基準画像の画素の元データ（太線）の間の隙間は、複数の対象画像の画素により埋められていく。拡大後の基準画像の画素に対応する対象画像の画素が無い場合、元データの間の隙間は、複数の対象画像画素により完全には埋められないため、その基準画像の画素位置では、レジストレーション画像の画素値として、対象画像の画素値は選択されず、その位置では、基準画像の拡大・補間により得られた画素値が使用されている。

なお、基準画像は、Bayer配列を保つような態様で、拡大後に補間されている。拡大前の基準画像のBayer配列に相当する画素（元データ）（太線）はそのまま維持されるが、拡大後の当該画素の間にはデータが存在しない。従って、拡大後補間前の基準画像の画素の間に位置する補間すべき画素（Ｒ／Ｇ／Ｂのうちの一色）が、この補間すべき画素の周りの複数の元データの画素（当該Ｒ／Ｇ／Ｂのうちの一色と同色のもの）の画素値を用いて補間される。補間方法は、公知のバイキュービック法、スプライン補間法等が使用できる。

さらに、位置合わせ後に拡大補間後の基準画像画素に対応する画素位置にある対象画像画素に関して、フルカラーの対象画像のＲ／Ｇ／Ｂの全チャンネル画素値から、その基準画像画素のチャンネル（Ｒ／Ｇ／Ｂの１つ）と同一チャンネルの画素値が選ばれる。その選ばれた対象画像の画素の画素値と基準画像の対応する画素の画素値の差分によって、画素ごとのマッチング度、即ち画素間の相関が評価される。

画素ごとのマッチング度の評価値（即ち、画素間の相関を表す指標値）は、この差分の絶対値又は差分の二乗のいずれでも良い。マッチング度の評価値がある基準値よりも小さい場合、マッチング度が高いとみなし、その対象画像の画素値データは、レジストレーション画像（合成画像）のデータとして選択される。一方、マッチング度の評価値が上記のある基準値よりも大きい場合、マッチング度が低いとみなし、その対象画像の画素値データは、レジストレーション画像（合成画像）のデータとして選択されない。従って、この場合には、位置合わせ後に、対象画像画素が、拡大補間後の基準画像画素に対応する画素位置にあっても、その対象画像画素の画素値は選択されず、基準画像の拡大・補間により得られた画素値が使用される（図３（ｂ）参照）。

図３では、Bayer配列のレジストレーション画像を生成したが、図４のように、基準画像のBayer配列に基づいてデモザイキング処理によりフルカラーの基準画像を作成しておき、フルカラーの基準画像と圧縮・伸長後のフルカラーの対象画像からレジストレーション画像を生成しても良い。この場合、フルカラーの基準画像と圧縮・伸長後のフルカラーの対象画像を各色（Ｂ、Ｇ、Ｒ）について位置合わせしてレジストレーション画像を生成する。拡大したフルカラーの基準画像のうち、基準画像のBayer配列の位置に相当する画素（太線）はそのまま使用する。一方、対象画像画素でフルカラーの基準画像画素にマッチングしているものは、レジストレーション画像の画素として選択され得る。その選択された対象画像の画素の画素値と基準画像の対応する画素の画素値の差分によって、画素ごとのマッチングの度合（マッチング度）が評価される。

マッチング度の評価値がある基準値よりも小さい場合、マッチング度が高いとみなし、その対象画像の画素値データは、レジストレーション画像（合成画像）のデータとして選択される。一方、マッチング度の評価値が上記のある基準値よりも大きい場合、マッチング度が低いとみなし、その対象画像の画素値データは、レジストレーション画像（合成画像）のデータとして選択されず、その画素位置に関しては拡大補間で生成した基準画像画素がそのまま使用される。また、フルカラーの基準画像の画素位置に関して、マッチングする対象画像画素がない場合、その画素位置に関しては拡大補間で生成した基準画像画素がそのまま使用される。

なお、複数の対象画像からレジストレーション時に選択した画素が基準画像において同じ位置を占める場合には、その位置について、複数の画素の画素値の平均化の処理を行ってレジストレーション画像の画素値とする。

図６Ａは、レジストレーション画像生成のフローチャートを示している。

ステップＳ１において、基準画像データが読み込まれる。ステップＳ２において、そのままメモリに格納される。ステップＳ３で、対象画像データが読み込まれ、ステップＳ４で、圧縮符号化される。ステップＳ５で、対象画像の圧縮データはメモリに格納される。ステップＳ６で、対象画像の圧縮データの伸長復元が行われ、ステップＳ７で、位置合わせ処理が行われる。位置合わせの基準としては、図５に示したパラボラフィッティングの他、ゼロ平均規格化相関等を用い得る。ステップＳ８で、画素に関するマッチング度の基準値（閾値）を読み込む。

ステップＳ９で、レジストレーション画像を作成する際の画素の選択情報を作成する。具体的には、基準画像の画素に対応する位置にある対象画像の画素の情報やマッチング度の基準値が画素の選択情報となる。ステップＳ１０で、基準画像の補間・拡大データを作成する。

ステップＳ１１で、この選択情報に基づいて、図３、４に示したレジストレーション画像を生成する。具体的には、基準画像の画素に対応する対象画像画素が無い場合、その基準画像の画素の位置では、レジストレーション画像の画素として、基準画像の拡大・補間により得られた画素が選択される。基準画像の画素に対応する対象画像画素が有る場合であっても、対象画像画素のマッチング度の評価値が基準値より大きい画素位置では、基準画像の補間・拡大データを対象画像のデータに置き換えず、基準画像の補間・拡大データをそのまま使用する。基準画像の画素に対応する対象画像画素が有り、且つ、対象画像画素の基準画像画素に対するマッチング度の評価値が基準値以下であれば、その画素位置では、対象画像の画素を、レジストレーション画像の画素として選択する。なお、基準画像のBayer配列に相当する画素（元データ）はそのまま使用される。

さらに、ステップＳ１２において、高画質化処理として超解像処理が為される。

図７に、画像演算処理部２０７におけるステップＳ１２の超解像処理を示す。ここでは、高解像度画像の生成を超解像処理により行う。

超解像処理では、基準画像のもとになっている高解像度画像が劣化過程によって変化したものを推定する忠実化復元演算と、復元した画像の好ましさを評価する演算を加重配分して行う。ここで、劣化過程は、点広がり関数（Point Spread Function：ＰＳＦ）によるボケと、基準画像と対象画像の間の変形に相当する劣化を含む。また、忠実化復元演算とは、復元推定した画像データに対して、劣化過程の演算を行い、観測画像と近いかどうかを評価することである。復元した画像の好ましさの評価とは、例えばエッジに沿ってなめらかであることや、画像全体での全変動が少なくなることである。なお、復元した画像の好ましさを評価する演算を正則化という。基準画像としてＲＡＷデータを用いる場合は、劣化過程は特許文献１にあるように、光学系での空間帯域の劣化、カラーフィルタアレイのよるサンプリングの両方を考慮する。

図７の超解像処理では、図３で生成したレジストレーション画像と、観測画像（基準画像の全データ又は対象画像の選択された画素データを有する画像）を用いて、以下の式１の評価関数の最小値を求めている。

ここで、ｙ_kは低解像度の観測画像、Zは基準画像の高解像度画像、Ａ_kは画像間のモーション（画像間の変形）、ＰＳＦ等を含めた劣化過程を表す画像変換行列である。ここで、ｋは、画像番号を示す。Δ₀₁はその画素情報を選択する場合１、しない場合０の係数である。g (Z)は画像の滑らかさや色相関、画像全体での全変動が少なくなる等を考慮した正規化項（拘束項）等である。λ は重み係数である。評価関数の最小化には、例えば最急降下法を用いる。

上記の式１をzに関して差分展開を行って、以下の式２が収束したかどうかを判定する。

まず、画像蓄積部３０１は、レジストレーション画像を高解像度画像Zの初期値Z₀として読み込む。上記の高解像度画像Zは、ベクトル表現したもので、画像の各画素値を成分として包含するベクトルである。レジストレーション画像は、図３のようにBayer配列を求めた場合はそれからフルカラーデータを生成して用い、図４のようにフルカラーデータを求めた場合はそれを用いる。

劣化過程関数保持部３０２は、画像間モーション、点広がり関数（Point Spread Function：ＰＳＦ）等を含めた撮像システムをあらわす画像変換行列Ａ_kを保持している。画像変換行列Ａ_kは、基準画像の基になっている高解像度画像の劣化過程（PSFによるボケと、基準画像と対象画像の間の変形）による変化を示す。

畳込み積分部３０３では、高解像度画像z_n-1と画像変換行列Ａ_kの積を計算して、Ａ_kz_n-1を計算する。

画像比較部３０４は、低解像度の観測画像ｙ_kとＡ_kz_n-1との差である差分画像（ｙ_k−Ａ_kz_n-1）を演算する。観測画像ｙ_k（ベクトル表現）は、レジストレーション情報（ブロックマッチングでの移動ベクトル量）と図３に関連して説明した対象画像画素の選択に関する情報を用いて、対象画像及び参照画像のうちのｋ番目の画像から生成したものである。具体的には、観測画像ｙ_kは、ｋ番目の対象画像を移動ベクトル量で移動させて、選択された画素データ以外は除去した画像となる。さらに、Δ₀₁（ｙ_k−Ａ_kz_n-1）を計算する。Δ₀₁は、画素ごとに定められる係数であり、画素値が選択された画素の場合１、選択されない場合０の係数である。係数Δ₀₁により、画素間のマッチング度の低い対象画像の画素を超解像化の計算から除外することができる。

畳込み積分部３０５は、Ａ_k ^T（Ａ_kの転置行列）とΔ₀₁（ｙ_k−Ａ_kz_n-1）との積Ａ_k ^TΔ₀₁（ｙ_k−Ａ_kz_n-1）を計算する。また、積Ａ_k ^TΔ₀₁（ｙ_k−Ａ_kz_n-1）の画像番号ｋについて和を計算するよう、画像番号ｋが最終番号になるまで、３０３−３０５の計算を繰り返す。 更新画像生成部３０６は、正規化項演算部３０７により計算された正規化項とΣΔ₀₁Ａ_k ^T（ｙ_k−Ａ_kz_n-1）と前回の高解像度画像Ｚ_n-1の和を計算する。収束判定部３１０は、式２が収束したかどうか判定する。収束した場合のＺ_nが最終的に生成する高解像度画像となる。収束しない場合のＺ_nは現在の高解像度画像として使用される。

なお、上記の超解像処理は、各色（ＲＧＢ）ごとに行われる。

また、上記実施形態では基準画像として、ＲＡＷデータを用いたが、フルカラーの非圧縮データ、ＢＭＰ、ＴＩＦＦでも良いし、対象画像に比べ低圧縮で圧縮符号化され高品質が保てる圧縮データであっても良い。

また、本実施形態で示した画像処理は高解像度化に限定していたが、画素の加算平均によるノイズ低減処理においても同じく、基準画像以外の画像で、基準画像に対する対象画像の位置合わせ操作後に、上述の差分の二乗等による選択条件（差分の二乗がある基準値（二乗誤差閾値）よりも小さいこと）に合うものだけを選択し、各々の画素で加算回数に対する平均を出すようにしても良い。

ノイズ低減処理のフローチャートを図６Ｂに示した。作用は図６Ａと同様であるが、補間拡大と、高解像度化処理の部分が無くなっている。

次に、第二実施形態について述べる。第１実施形態では、対象画像の画素情報を選択するか否かの２値的な方法で有ったが、第２の実施形態では、マッチング度（相関）の評価値に応じて、基準画像と対象画像の画素情報を混合し、重み付けの配分を考慮して高解像度画像の復元処理を行う。

即ち、第１実施形態では、マッチング度の評価値に対して、画像情報を選択するか否かの閾値判断を行っていたが、第２実施形態では、図８（ｂ）のように荷重配分を行ってレジストレーション画像を作成する。図８では、対象画像と基準画像のデータ（画素値）を混合してレジストレーション画像のデータを生成している。混合比率である荷重係数Wk（０〜１の値）は、マッチング度の評価値が小さい程大きくなり、マッチング度の評価値が０であれば１となる。なお、拡大したフルカラーの基準画像のうち、基準画像のBayer配列の位置に相当する画素（太線）はそのまま使用する。一方、基準画像のある画素位置に関して、マッチングする対象画像画素がない場合、その画素位置に関しては拡大補間で生成した基準画像画素がそのまま使用される（即ちWk＝０）。基準画像のある画素位置に関して、マッチングする対象画像画素が存在する場合には、その画素位置に関して、基準画像の画素値がａで、対応する対象画像の画素値ｂとすると、ａ(1-Wk)+bWkがレジストレーション画像の画素値となる。

図８で生成したレジストレーション画像（高解像度画像Zの初期値Z₀）と、観測画像ｙ_k（基準画像の全データ又は対象画像の選択された画素データを有する画像）を用い、以下の式３の評価関数の最小値を求めて、超解像処理を行う。

ここで、観測画像の寄与度を考慮して、荷重計数Wk用いている。観測画像ｙ_kは、ｋ番目の対象画像を移動ベクトル量で移動させて、各画素の画素値に荷重計数Wk（混合比率）を掛けたものである。

なお、上記第一と第二の実施形態において、レジストレーション画像の作成において、対象画像が圧縮・伸長後にフルカラーになっている場合について述べたが、対象画像が圧縮・伸長後にフルカラーとなっておらずBayer配列等のままの場合でも本発明を適用可能である。例えば、位置合わせ後に拡大補間後のBayer配列の基準画像画素に対応する画素位置にあるBayer配列の対象画像画素に関して、対象画像画素のチャンネル（Ｒ／Ｇ／Ｂの一つ）が、対応する基準画像画素のチャンネル（Ｒ／Ｇ／Ｂの１つ）と一致すれば、その画素位置で、レジストレーション画像の画素として対象画像画素の画素値が選択され得るようにすればよい。

本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

画像処理装置の構成図（ブロック図）である。 Bayer（ベイヤー）配列を示す図である。 （ａ）位置合わせされる、Bayer配列の基準画像とフルカラーの対象画像を示す図である。（ｂ）レジストレーション画像を示す図である。 フルカラーのレジストレーション画像を示す図である。 位置合わせ量を求めるパラボラフィッティングについて説明する図である。 画像処理装置の超解像処理に関する処理手順を示すフローチャートである。 画像処理装置のノイズ低減処理に関する処理手順を示すフローチャートである。 超解像処理の処理手順を示すブロック図である。 （ａ）位置合わせされる、Bayer配列の基準画像とフルカラーの対象画像を示す図である。（ｂ）第二実施形態についてのレジストレーション画像を示す図である。

符号の説明

１００ システムコントローラ
１０１ レンズ
１０２ 撮像素子
１０３ 撮像信号処理部
１０４ アナログ−デジタル（Ａ／Ｄ）変換部
１０５ デジタル信号処理部
２０２ データ圧縮部（圧縮手段）
２０３ 対象画像記録部
２０４ データ伸長処理部（伸長復号手段）
２０５ 位置合わせ処理部（位置合わせ手段）
２０６ 画素選択処理部（画素選択手段）
２０７ 画像演算処理部（画像生成手段）

Claims (11)

1. 複数枚の画像を取得する画像取得手段と、
   前記複数枚の画像から基準画像を選択する基準画像選択手段と、
   前記基準画像以外の対象画像を圧縮符号化する圧縮手段と、
   圧縮された前記対象画像を伸長復号化する伸長復号手段と、
   前記基準画像に対して、伸長復号化した前記対象画像を変形して位置合わせを行う位置合わせ手段と、
   前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手段と、
   前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報を選択する画素選択手段と、
   前記基準画像と、前記対象画像のうち前記画素選択手段で選択した画素情報を使用して、画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 複数枚の画像を取得する画像取得手段と、
   前記複数枚の画像から基準画像を選択する基準画像選択手段と、
   前記基準画像以外の対象画像を圧縮する圧縮手段と、
   圧縮された前記対象画像を伸長復号化する伸長復号手段と、
   前記基準画像に対して伸長復号化した前記対象画像を変形し位置合わせを行う位置合わせ手段と、
   前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手段と、
   前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報の荷重加算係数を算出する画素荷重加算係数算出手段と、
   前記基準画像と、前記対象画像の画素情報と、前記対象画像の画素荷重加算係数情報を使用して、画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理装置。
3. 前記画像生成手段は、少なくとも前記対象画像に対して高解像な画像を生成する高解像画像生成手段であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記基準画像が非圧縮画像で有ることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記基準画像が少なくとも前記対象画像に比べ低圧縮で圧縮符号化されていることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記基準画像のデータがＲＡＷデータで有ることを特徴とする、請求項４又は５に記載の画像処理装置。
7. 前記基準画像のデータがフルカラーデータで有ることを特徴とする、請求項４又は５に記載の画像処理装置。
8. 前記相関算出手段が、基準画像の画素の画素値と、前記基準画像の前記画素に対応する対象画像の画素の画素値の差分に基づいて、前記相関を算出することを特徴とする、請求項１から７のいずれかに記載の画像処理装置。
9. 前記相関算出手段が基準画像と対象画像の対応する領域の変形度に基づいて相関値の演算を行うことを特徴とする、請求項１から８のいずれかに記載の画像処理装置。
10. 複数枚の画像を取得する画像取得手順と、
    前記複数枚の画像から基準画像を選択する基準画像選択手順と、
    前記基準画像以外の対象画像を圧縮符号化する圧縮手順と、
    圧縮された前記対象画像を伸長復号化する伸長復号手順と、
    前記基準画像に対して、伸長復号化した前記対象画像を変形して位置合わせを行う位置合わせ手順と、
    前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手順と、
    前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報を選択する画素選択手順と、
    前記基準画像と、前記対象画像のうち前記画素選択手順で選択した画素情報を使用して、画像を生成する画像生成手順と、
    を備えることを特徴とする画像処理プログラム。
11. 複数枚の画像を取得する画像取得手順と、
    前記複数枚の画像から基準画像を選択する基準画像選択手順と、
    前記基準画像以外の対象画像を圧縮する圧縮手順と、
    圧縮された前記対象画像を伸長復号化する伸長復号手順と、
    前記基準画像に対して伸長復号化した前記対象画像を変形し位置合わせを行う位置合わせ手順と、
    前記位置合わせを行った前記対象画像の各画素に対して、前記基準画像の対応する画素との相関を算出する相関算出手順と、
    前記算出した相関に応じて、前記位置合わせを行った前記対象画像の各画素に含まれる画素情報の荷重加算係数を算出する画素荷重加算係数算出手順と、
    前記基準画像と、前記対象画像の画素情報と、前記対象画像の画素荷重加算係数情報を使用して、画像を生成する画像生成手順と、
    を備えることを特徴とする画像処理プログラム。

Images