JP2010187341A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Abstract

【課題】撮像画像のダイナミックレンジを拡大させるとともに解像度を向上させる。
【解決手段】画像処理装置は、低解像度画像から正規化画像を生成する正規化処理部３５と、各低解像度画像について、所定の輝度範囲から外れた第１領域および所定の輝度範囲内の第２領域を特定する領域抽出部３１と、正規化画像の第１領域の画素の輝度値を、当該画素に対応する高解像度画像における画素と所定の位置関係にある、第２領域の画素の輝度値から算出した補間輝度値を用いて補正する補間輝度計算部３２と、各正規化画像が有する第１領域の画素に対して補間輝度値に基づく重み付けを行う重み付けデータ作成部３４と、一群の正規化画像から高解像度画像を生成するときに第１領域の画素の輝度値の、高解像度画像の生成における寄与の程度を上記重み付けに応じて低下させるダイナミックレンジ拡大超解像処理部２５を備えている。
【選択図】図１

Description

本発明は、複数の低解像度画像データから１つの高解像度画像データを生成する画像処理装置、撮像装置、画像処理方法、画像処理プログラムに関するものである。

エリアセンサ等のカメラで撮像された画像の解像度は、撮像素子（ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等）の密度に依存している。カメラメーカ各社は、解像度に対するユーザの要求に応じるために、素子密度の高い高解像度カメラを次々と発売している。

これに対し、撮像素子またはカメラ位置を微小変位させて撮像を行い、複数の撮像画像を合成して、元の画像よりも解像度の高い画像を生成する高解像画像処理技術が知られている。この高解像画像処理は、一般的にイメージシフト処理と超解像処理との二種類に分けられる。

イメージシフト処理は、複数の低解像度画像と、目的とする高解像度画像との画素ごとの位置対応から、低解像度画像の輝度値を高解像度画像の画素にマッピングする方法である。

一方、超解像処理は、複数の低解像度画像より目的とする高解像度画像を推定する方法であり、例えば、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Set）法など、様々な超解像処理方法が提案されている。

これらの超解像処理は、まず、高解像度画像を仮定し、仮定した高解像度画像から、観測モデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値（観測値）との差が小さくなるような高解像度画像を探索するという処理を含んでいる。そのため、これらの超解像処理は、再構成型超解像処理方法と呼ばれている（非特許文献１を参照）。

イメージシフト処理では、低解像度画像の全画素を高解像度画像の画素にマッピングする必要があるため、低解像度画像の撮像位置及び撮像枚数は固定であるのに対して、超解像処理では、低解像度画像の撮像位置は既知であればよく、使用する低解像度画像の枚数にも制限はない。ただし、超解像処理で行われる画素値の推定処理は繰返し演算であるため、概して超解像処理はイメージシフト処理と比較すると計算コストが高くなる。以上のような超解像処理に関する先行文献としては、特許文献１などがある。

一方、撮像素子は人の目に比べて、一度に捉えることのできる光の範囲（ダイナミックレンジ）が狭いため、広いダイナミックレンジを有する環境を撮像した場合に、画像に白トビや黒つぶれが生じることがある。このような問題に対応するために、露光時間の異なる複数の画像を用いて合成処理を行うことにより、信頼性の高いダイナミックレンジの拡張を実現する方法がある（非特許文献２、特許文献２、特許文献３を参照）。

これらの方法は、合成前の画像における白トビ画素、黒つぶれ画素を検出し、それらの領域を短時間露光画像、もしくは長時間露光画像で補うものである。例えば特許文献２に記載の発明では、露光量の異なる画像（長時間露光画像および短時間露光画像）を交互に出力する構成とし、短時間露光画像出力時に、その輝度値が所定値以下の画素に関しては黒つぶれがあると判断し、当該画素の画素値を、メモリに記憶されている長時間露光画像の画素値に切り替える。また、長時間露光画像出力時に、その輝度値が所定値以上の画素に関しては白トビがあると判断し、当該画素の画素値を、メモリに記憶されている短時間露光画像の画素値に切り替える。

特開２００６−１２７２４１号公報（２００６年５月１８日公開） 特開平０２−１７４４７０号公報（１９９０年７月５日公開） 特開２００７−４９２２８号公報（２００７年２月２２日公開）

杉本茂樹、奥富正敏、「画像の超解像度化処理」、日本ロボット学会誌、２００５年、Vol.23,No.3,pp.305-309 浅田尚紀、松山隆司、望月孝俊、「多重絞りカラー画像の解析」、情報処理学会論文誌、１９９１年１０月、Vol.32,No.10,pp.1338-1348

ところが、上記従来の構成では、以下の問題が生ずる。

非特許文献１および特許文献１に記載された、複数の低解像度画像データから高解像度画像データを生成する高解像画像データ推定方法では、対象を撮像する際には、露光時間等の撮像条件を同一にして複数の低解像度画像データの撮像を行い、得られた低解像度画像データを使用することが前提である。仮に白トビや黒つぶれを含む低解像度画像データを使用して、高解像度画像データ推定処理を行っても、元の画像よりも解像度を向上させることはできても、ダイナミックレンジを拡大させることはできない。

また、非特許文献２、特許文献２および特許文献３に記載された、露光時間の異なる複数の画像データを用いて合成処理を行うことにより、信頼性の高いダイナミックレンジの拡張を実現する方法では、画像データの白トビ画素および黒つぶれ画素を検出し、異なる露光時間の画素の輝度値で置き換える。そのため、画像上の撮像対象の位置関係が画像間において画素レベルで一致している必要があるため、撮像素子位置およびカメラ位置を固定する必要がある。それゆえ、元の画像よりもダイナミックレンジを拡大させることはできても、解像度を向上させることはできない。

また、露光時間の異なる複数の低解像度画像データを高解像度化に必要な枚数用意し、同一露光時間同士の低解像度画像データを用いて、複数の高解像度画像データを生成し、得られた異なる露光時間の複数の高解像度画像データを用いてダイナミックレンジを拡大することも可能であるが、撮像時間および画像処理時間を考えると現実的ではない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、撮像画像のダイナミックレンジを拡大させるとともに解像度を向上させることができる画像処理装置および画像処理方法を提供することにある。

本発明に係る画像処理装置は、上記の課題を解決するために、異なる撮像条件および撮像位置で撮像された、異なる輝度範囲を有する低解像度画像を含む一群の低解像度画像を取得し、当該複数の低解像度画像から高解像度画像を生成する画像処理装置であって、上記一群の低解像度画像の全てが同じ撮像条件で撮像されたものとみなすことができるように、上記一群の低解像度画像のうちの少なくとも一部の低解像度画像に含まれる各画素の輝度値を補正することにより、上記一群の低解像度画像に対応した一群の正規化画像を生成する正規化手段と、上記一群の低解像度画像のそれぞれについて、所定の範囲から外れた輝度値を有する画素からなる第１領域および上記所定の範囲内の輝度値を有する画素からなる第２領域を特定する領域特定手段と、上記正規化手段が生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を上記高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、上記領域特定手段が特定した第１領域の画素に対応する上記正規化画像の画素の輝度値を、当該画素に対応する、上記合成画像における画素領域と所定の位置関係にある、上記第２領域の画素に対応する画素領域の輝度値から算出した補間輝度値を用いて補正することにより補正正規化画像を生成する輝度値補間手段と、上記輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像が有する上記第１領域の画素に対して、当該第１領域の画素に関して上記輝度値補間手段が算出した補間輝度値に基づく重み付けを行う重み付け手段と、上記輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像から高解像度画像を生成する高解像度画像生成手段とを備え、上記高解像度画像生成手段は、上記高解像度画像を生成する場合に、上記第１領域の画素の輝度値の、上記高解像度画像の生成における寄与の程度を、上記重み付け工程における重み付けに応じて低下させることを特徴としている。

本発明に係る画像処理方法は、上記の課題を解決するために、異なる撮像条件および撮像位置で撮像された、異なる輝度範囲を有する低解像度画像を含む一群の低解像度画像を取得し、当該複数の低解像度画像から高解像度画像を生成する画像処理装置における画像処理方法であって、上記一群の低解像度画像の全てが同じ撮像条件で撮像されたものとみなすことができるように、上記一群の低解像度画像のうちの少なくとも一部の低解像度画像に含まれる各画素の輝度値を補正することにより、上記一群の低解像度画像に対応した一群の正規化画像を生成する正規化工程と、上記一群の低解像度画像のそれぞれについて、所定の範囲から外れた輝度値を有する画素からなる第１領域および上記所定の範囲内の輝度値を有する画素からなる第２領域を特定する領域特定工程と、上記正規化工程において生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を上記高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、上記領域特定工程において特定した第１領域の画素に対応する上記正規化画像の画素の輝度値を、当該画素に対応する、上記合成画像における画素領域と所定の位置関係にある、上記第２領域の画素に対応する画素領域の輝度値から算出した補間輝度値を用いて補正することにより補正正規化画像を生成する輝度値補間工程と、上記輝度値補間工程において生成された補正正規化画像を含む一群の正規化画像が有する上記第１領域の画素に対して、当該第１領域の画素に関して上記輝度値補間工程において算出した補間輝度値に基づく重み付けを行う重み付け工程と、上記輝度値補間工程によって生成された補正正規化画像を含む一群の正規化画像から高解像度画像を生成する高解像度画像生成工程とを含み、上記高解像度画像生成工程において上記高解像度画像を生成する場合に、上記第１領域の画素の輝度値の、上記高解像度画像の生成における寄与の程度を、上記重み付け手段が重み付けした重み付けに応じて低下させることを特徴としている。

上記の構成によれば、正規化手段は、一群の低解像度画像の全てが同じ撮像条件で撮像されたものとみなすことができるように、当該一群の低解像度画像のうちの少なくとも一部の低解像度画像について、各画素の輝度値を補正することにより一群の正規化画像を生成する。この一群の正規化画像は、一群の低解像度画像と対応付けられている。

領域特定手段は、一群の低解像度画像のそれぞれについて第１領域および第２領域を特定する。第１領域は所定の範囲から外れた輝度値を有する画素からなる領域であり、第２領域は所定の範囲内の輝度値を有する画素からなる領域である。上記所定の範囲とは、撮像対象から発せられる光（または撮像対象に反射した光）の強度度を適切に表現していると考えられる輝度値の範囲であり、当業者によって適宜設定されるものである。

正規化手段が生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、輝度値補間手段は、正規化画像における第１領域の画素（より正確には、低解像度画像が有する第１領域の画素に対応する画素）の輝度値を、当該画素に対応する、合成画像における画素領域と所定の位置関係にある、第２領域の画素に対応する画素領域の輝度値から補間輝度値を用いて補正することにより補正正規化画像を生成する。

重み付け手段は、輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像が有する第１領域の画素（より正確には、低解像度画像が有する第１領域の画素に対応する画素）に対して、当該画素に関して輝度値補間手段が算出した補間輝度値に基づく重み付けを行う。補間輝度値に基づく重み付けとは、例えば、算出された補間輝度値の適否を判定した結果に基づく重み付け、または、補間輝度値を算出するときに用いられた、補間輝度値の算出の精度に応じた重み付けなどを意味する。補間輝度値の算出の精度に応じた重み付けとは、具体的には、例えば、第２領域の画素に対応する画素領域の数に応じた重み付けである。

高解像度画像生成手段は、輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像から高解像度画像を生成する。そして、高解像度画像生成手段は、高解像度画像を生成する場合に、第１領域の画素の輝度値の、高解像度画像の生成における寄与の程度を、重み付け手段が重み付けした重み付けに応じて低下させる。

それゆえ、撮像画像である低解像度画像のダイナミックレンジを拡大させつつ、解像度が向上した高解像度画像を低解像度画像から生成することができる。

上記第１領域の画素の輝度値が、上記所定の範囲よりも大きい場合、上記重み付け手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも小さい場合に、当該第１領域の画素に対して上記重み付けを行うことが好ましい。

第１領域の画素の輝度値が、所定の範囲よりも大きい場合、適切に補間が行われれば、補間輝度値は正規化後輝度値よりも大きくなる可能性が高い。そのため、補間輝度値が正規化後輝度値よりも小さい場合には、輝度値補間手段による補間が失敗している（補間輝度値が適切に算出されていない）可能性が高い。

上記の構成によれば、重み付け手段は、補間輝度値（補間後の輝度値）が正規化後輝度値（補間前の輝度値）よりも小さい場合に、輝度値補間手段による補間が失敗したと見なして、当該補間の対象となった画素の輝度値の、高解像度画像の生成における寄与の程度を低下させるための重み付けを行う。

それゆえ、補間が失敗した画素が高解像度画像の生成に与える悪影響を低減することができる。

上記第１領域の画素の輝度値が、上記所定の範囲よりも小さい場合、上記重み付け手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも大きい場合に、当該第１領域の画素に対して上記重み付けを行うことが好ましい。

第１領域の画素の輝度値が、所定の範囲よりも小さい場合、適切に補間が行われれば、補間輝度値は正規化後輝度値よりも小さくなる可能性が高い。そのため、補間輝度値が正規化後輝度値よりも大きい場合には、輝度値補間手段による補間が失敗している（補間輝度値が適切に算出されていない）可能性が高い。

上記の構成によれば、重み付け手段は、補間輝度値（補間後の輝度値）が正規化後輝度値（補間前の輝度値）よりも大きい場合に、輝度値補間手段による補間が失敗したと見なして、当該補間の対象となった画素の輝度値の、高解像度画像の生成における寄与の程度を低下させるための重み付けを行う。

それゆえ、補間が失敗した画素が高解像度画像の生成に与える悪影響を低減することができる。

上記輝度値補間手段は、上記合成画像において、上記第１領域の画素に対応する画素領域から所定の距離以内にある少なくとも１つの、上記第２領域の画素に対応する画素領域の輝度値を用いて上記補間輝度値を算出することが好ましい。

上記の構成によれば、補間対象となる正規化画像の画素は、合成画像（高解像度画像）において当該画素に対応する画素領域と所定の距離以内に位置する、第２領域に対応した画素領域の輝度値を用いて補間される。補間対象の画素に近い位置に存在する画素を用いて、補間対象の画素を補間することにより、適切な補間を行える可能性が高い。

それゆえ、正規化画像の補間をより適切に行うことができ、その結果、より適切な高解像度画像を生成することができる。

上記第１領域の画素の輝度値が、上記所定の範囲よりも大きい場合、上記輝度値補間手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも小さい場合に、上記補間輝度値によって補間された、上記補正正規化画像における画素の輝度値を上記正規化後輝度値に置き換えることが好ましい。

第１領域の画素の輝度値が所定の範囲よりも大きい場合に、補間輝度値が正規化後輝度値よりも小さくなったときには、補間が適切に行われていない（補間輝度値が適切に算出されていない）可能性が高い。

上記の構成によれば、第１領域の画素の輝度値が所定の範囲よりも大きい場合、かつ、補間輝度値が正規化後輝度値よりも小さい場合に、輝度値補間手段は、補間輝度値によって補間された、補正正規化画像における画素の輝度値を正規化後輝度値に置き換える。

それゆえ、補間が適切に行われていない可能性が高い場合に、補正正規化画像における補間後の輝度値を補間前の輝度値に戻すことができ、不適切な補間をキャンセルすることができる。

上記第１領域の画素の輝度値が、上記所定の範囲よりも小さい場合、上記輝度値補間手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも大きい場合に、上記補間輝度値によって補間された、上記補正正規化画像における画素の輝度値を上記正規化後輝度値に置き換えることが好ましい。

第１領域の画素の輝度値が所定の範囲よりも小さい場合に、補間輝度値が正規化後輝度値よりも大きくなったときには、補間が適切に行われていない（補間輝度値が適切に算出されていない）可能性が高い。

上記の構成によれば、第１領域の画素の輝度値が所定の範囲よりも小さい場合、かつ、補間輝度値が正規化後輝度値よりも大きい場合に、輝度値補間手段は、補間輝度値によって補間された、補正正規化画像における画素の輝度値を正規化後輝度値に置き換える。

それゆえ、補間が適切に行われていない可能性が高い場合に、補正正規化画像における補間後の輝度値を補間前の輝度値に戻すことができ、不適切な補間をキャンセルすることができる。

上記画像処理装置を動作させる画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラムおよび当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

さらに、上記画像処理装置を備えた撮像装置であって、上記一群の低解像度画像を撮像する撮像部を備え、上記画像処理装置は、上記撮像部から上記一群の低解像度画像を取得することを特徴とする撮像装置も本発明の技術的範囲に含まれる。

以上のように、本発明に係る画像処理装置は、異なる撮像条件および撮像位置で撮像された、異なる輝度範囲を有する低解像度画像を含む一群の低解像度画像を取得し、当該複数の低解像度画像から高解像度画像を生成する画像処理装置であって、上記一群の低解像度画像の全てが同じ撮像条件で撮像されたものとみなすことができるように、上記一群の低解像度画像のうちの少なくとも一部の低解像度画像に含まれる各画素の輝度値を補正することにより、上記一群の低解像度画像に対応した一群の正規化画像を生成する正規化手段と、上記一群の低解像度画像のそれぞれについて、所定の範囲から外れた輝度値を有する画素からなる第１領域および上記所定の範囲内の輝度値を有する画素からなる第２領域を特定する領域特定手段と、上記正規化手段が生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を上記高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、上記領域特定手段が特定した第１領域の画素に対応する上記正規化画像の画素の輝度値を、当該画素に対応する、上記合成画像における画素領域と所定の位置関係にある、上記第２領域の画素に対応する画素領域の輝度値から算出した補間輝度値を用いて補正することにより補正正規化画像を生成する輝度値補間手段と、上記輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像が有する上記第１領域の画素に対して、当該第１領域の画素に関して上記輝度値補間手段が算出した補間輝度値に基づく重み付けを行う重み付け手段と、上記輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像から高解像度画像を生成する高解像度画像生成手段とを備え、上記高解像度画像生成手段は、上記高解像度画像を生成する場合に、上記第１領域の画素の輝度値の、上記高解像度画像の生成における寄与の程度を、上記重み付け手段が重み付けした重み付けに応じて低下させる構成である。

それゆえ、撮像画像である低解像度画像のダイナミックレンジを拡大させつつ、解像度が向上した高解像度画像を低解像度画像から生成することができる。

本発明の一実施形態に係る画像処理装置が備える補間処理部の構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 アクチュエータで固体撮像素子を移動させる移動様式の一例を示す図である。 上記画像処理装置が備えるダイナミックレンジ拡大超解像処理部の構成を示すブロック図である。 比較例としての超解像処理方法における処理の流れの一例を示すフローチャートである。 上記画像処理装置における処理の流れの一例を示すフローチャートである。 （ａ）〜（ｃ）は、９枚の低解像度の撮像画像を短露光時間と長露光時間との２種類の露光時間で撮像する際に、水平および垂直方向に低解像度画像の画素サイズの１／３ピッチずらして撮像した場合の画素の位置関係を示す図である。 （ａ）および（ｂ）は９枚の撮像画像を短露光時間と長露光時間との２種類の露光時間で撮像する際に、長露光時間の場合は水平および垂直方向に低解像度画像の画素サイズの１／３ピッチずらして撮像し、短露光時間の場合は長時間露光の画像位置に対して１／１２ピッチずらして撮像した場合の位置関係を示す図である。

本発明の実施の一形態について図１〜図８に基づいて説明すれば、以下のとおりである。

（画像処理装置１の構成）
図２は、本実施の形態に係る画像処理装置１の構成を示すブロック図である。同図に示すように、画像処理装置１は、撮像装置２および制御装置（画像処理装置）３から構成される。

（撮像装置２の構成）
撮像装置２は、複数の画素を形成する複数の撮像素子を有しており、光学的に結像した対象の像を空間的に離散化させ、当該像をサンプリングし、画像信号に変換する。より詳細には、撮像装置２は、筐体の内部にレンズ（光学的結像手段）１１、固体撮像素子１２および固体撮像素子の位置を変化させる固体撮像素子用アクチュエータ１３（変位手段）（以下、単にアクチュエータ１３と称する）を有している。

固体撮像素子１２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサを使用することができる。本実施の形態では、撮像装置２は、ＣＣＤやＣＭＯＳ等のセンサを用いたエリアセンサである。

アクチュエータ１３は、撮像対象（以下、単に対象と称する）と固体撮像素子１２との相対位置を変化させる。より具体的には、アクチュエータ１３は、対象とレンズ１１とを結ぶ光軸に対して垂直な平面において固体撮像素子１２を２次元的に移動させる。しかし、この移動は２次元に限定されず、回転を含む３次元の移動であってもよい。

レンズ１１は、筐体に固定されており、アクチュエータ１３は、筐体の内壁に固定されており、固体撮像素子１２は、このアクチュエータ１３によって支持されている。そのため、アクチュエータ１３が固体撮像素子１２を変位させることによって、固体撮像素子１２は筐体に対して相対的に変位することができる。

アクチュエータ１３は、例えばピエゾアクチュエータやステッピングモータを使用することができる。本実施の形態では、アクチュエータ１３としてピエゾアクチュエータを用いる。

（制御装置３の構成）
制御装置３は、撮像装置２を制御し、撮像装置２が取得した対象の撮像画像データを処理することにより、高解像度で広いダイナミックレンジを持つ高解像度画像データを生成する。

制御装置３は、撮像制御部２１、撮像条件保存部２２、低解像度画像保存部２３、高解像度画像保存部２４、ダイナミックレンジ拡大超解像処理部（高解像度画像生成手段）２５、補間処理部２６、補間条件保存部２７および正規化画像データ保存部３０を有している。

撮像制御部２１は、アクチュエータ制御部２８、撮像タイミング制御部２９から構成されており、撮像装置２の撮像タイミングの制御、撮像装置２が備えるアクチュエータ１３の運動制御および撮像装置２との間の各種制御信号の送受信を行う。より具体的には、撮像制御部２１は、撮像条件保存部２２から撮像条件データおよび撮像位置データを読込み、固体撮像素子１２の露光時間の制御を行うとともに、その制御に対応するように固体撮像素子１２を移動させる。

アクチュエータ制御部２８は、アクチュエータ１３を所定のパタンで動作させることにより固体撮像素子１２の位置を制御する。より具体的には、アクチュエータ制御部２８は運動開始のタイミング、運動速度および運動距離等の制御を行う。

撮像タイミング制御部２９は、撮像装置２へ制御信号を送ることにより、固体撮像素子１２による撮像のタイミング（撮像開始時間、露光時間等）を制御する。図３にアクチュエータ１３で固体撮像素子１２を移動させる移動様式の一例を示す。同図の太線の枠５１は基準となる固体撮像素子の位置を示しており、破線の枠５２は移動時の固体撮像素子の位置を示しており、解像度を３倍にするために固体撮像素子の１／３のサイズで固体撮像素子１２を移動させて撮像している。このとき矩形５３が撮像画素の中央の移動を示す。

制御装置３は、撮像装置２によって撮像された撮像画像データを撮像時の撮像位置（固体撮像素子１２の位置）と露光時間とに対応付けて低解像度画像保存部２３に格納する。

補間処理部２６は、低解像度画像保存部２３保存されている低解像度画像データの全てに対し、第１輝度値以上または第２輝度値以下の輝度値（すなわち、所定の範囲から外れた輝度値）を有する異常画素の輝度値を、当該異常画素を含む画像または当該画像とは異なる低解像度画像における上記異常画素に対応する画素の近傍画素のうち、正常な輝度値を有する画素の輝度値を用いて補間する補間処理を行う。上記第１輝度値および第２輝度値は、予め補間条件保存部２７に格納された補間条件データに記録されている。補間処理部２６の詳細については後述する。

ダイナミックレンジ拡大超解像処理部２５は、補間処理部２６にて補間処理が実施された正規化後の低解像度の撮像画像データに所定の処理を施して高解像度画像データを生成し、生成した高解像度画像データを高解像度画像保存部２４に格納する。

なお、撮像条件保存部２２、低解像度画像保存部２３、高解像度画像保存部２４および補間条件保存部２７は、例えば、半導体メモリまたはハードディスクである。これらの保存部は独立して設けられる必要はなく、１つの記憶装置として実現されてもよい。
（補間処理部２６の構成）
図１は、補間処理部２６の構成を示すブロック図である。同図に示すように、補間処理部２６は、領域抽出部（領域特定手段）３１、補間輝度計算部（輝度値補間手段）３２、補間輝度判定部（輝度値補間手段）３３、重み付けデータ作成部（重み付け手段）３４および正規化処理部３５を有している。

領域抽出部３１は、低解像度画像保存部２３に保存された撮像画像データに対して、補間条件保存部２７に保存された補間条件データが示す第１輝度値以上、または第２輝度値以下の輝度値を有する異常画素（第１領域）を特定し、その輝度値を抽出する。第１輝度値より小さく第２輝度値より大きい輝度値の範囲は、正常な輝度値の範囲である。それゆえ、領域抽出部３１は、正常な輝度値の範囲から外れた異常な輝度値を有する第１領域および正常な範囲内の輝度値を有する第２領域を特定するものであると言える。例えば、撮像画像データが８ビットデータの場合、第２輝度値は１であり、第１輝度値は２５４である。

正規化処理部３５は、低解像度画像保存部２３に保存された撮像画像データに対して、各撮像画像データに対応する露光時間を撮像条件保存部２２に保存されている撮像条件データから読込み、その露光時間に応じて撮像画像の正規化を行う。この正規化とは、異なる撮像条件で撮像された複数の撮像画像からなる撮像画像セットに含まれる全ての撮像画像が、上記異なる撮像条件の１つの撮像条件にて撮像されたものとみなすことができるように、各撮像画像の各画素の輝度値を補正する処理である。換言すれば、正規化処理部３５は、各撮像画像の各画素に対して、正規化後輝度値を算出することにより、低解像度の撮像画像データを正規化した正規化画像データを生成する。正規化処理部３５によって生成された正規化画像データは、正規化画像データ保存部３０に格納される。正規化処理部３５における正規化処理の詳細については後述する。

補間輝度計算部３２は、撮像条件保存部２２に保存された撮像位置データを参照することにより、正規化処理部３５が生成した正規化画像データのそれぞれについて、領域抽出部３１が抽出した第１領域に対応する高解像度画像における画素の近傍の画素（近傍画素）を特定する。そして、補間輝度計算部３２は、特定した近傍画素のうち正常な輝度値を有する画素（第２領域）の輝度値を用いて補間輝度値を算出し、算出した補間輝度値を当該第１領域の輝度値として設定した補間後正規化画像（補正正規化画像）データを生成する。換言すれば、補間輝度計算部３２は、正規化画像の第１領域の画素に対応する、後述する合成画像における画素領域（高解像度画像における画素）から所定の距離以内にある少なくとも１つの、第２領域の画素に対応する画素領域（高解像度画像における画素）の輝度値を用いて補間輝度値を算出する。補間輝度値の算出方法については後述する。

補間輝度判定部３３は、補間輝度計算部３２による、補間後正規化画像における第１領域の補間輝度値の算出が成功したかどうかの判定を、上記補間輝度値と正規化処理部３５が算出した当該第１領域における正規化後輝度値とを比較することにより行う。この判定方法の詳細については後述する。

補間輝度判定部３３は、補間輝度計算部３２による補間輝度値の算出が成功したと判定した場合に、当該補間輝度値を上記第１領域における輝度値としてそのまま維持し、補間輝度計算部３２による補間輝度値の算出が成功したと判定した場合に、当該補間輝度値を、補間輝度計算部３２によって変更される前の正規化後の輝度値に変更する。例えば、補間輝度判定部３３は、第１領域の画素の輝度値が所定の範囲（正常な輝度値の範囲）よりも大きい場合、補正後正規化画像における第１領域の画素の補間輝度値と正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、補間輝度値が正規化後輝度値よりも小さい場合に、補間輝度値によって補間された、補正後正規化画像における画素の輝度値を正規化後輝度値に置き換える。また、補間輝度判定部３３は、第１領域の画素の輝度値が所定の範囲よりも小さい場合、補正後正規化画像における第１領域の画素の補間輝度値と正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、補間輝度値が正規化後輝度値よりも大きい場合に、補間輝度値によって補間された、補正後正規化画像における画素の輝度値を正規化後輝度値に置き換える。

そして、補間輝度判定部３３は、輝度値の変更処理を行った最終正規化画像データをダイナミックレンジ拡大超解像処理部２５の差分画像生成部４２へ出力する。

重み付けデータ作成部３４は、補間輝度判定部３３による判定結果と補間条件保存部２７に保存されている重み付け条件データとに基づいて、補間輝度判定部３３が生成した最終正規化画像における第１領域の輝度値の、高解像度画像生成における寄与の程度を低下させるための重み付けデータを作成し、当該重み付けデータをダイナミックレンジ拡大超解像処理部２５の重み付け差分画像生成部４４へ出力する。

例えば、重み付けデータ作成部３４は、第１領域の画素の輝度値が所定の範囲（正常な範囲）よりも大きい場合、補正後正規化画像における第１領域の画素の補間輝度値と正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、補間輝度値が正規化後輝度値よりも小さい場合に、当該第１領域の画素に対して高解像度画像生成における寄与の程度を低下させるための重み付けを行う。また、重み付けデータ作成部３４は、第１領域の画素の輝度値が、所定の範囲よりも小さい場合、補正後正規化画像における第１領域の画素の補間輝度値と正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、補間輝度値が正規化後輝度値よりも大きい場合に、当該第１領域の画素に対して高解像度画像生成における寄与の程度を低下させるための重み付けを行う。

上記重み付け条件データとは、領域抽出部３１、補間輝度判定部３３による判定毎に重みの値を設定しているデータである。この重み付け条件データには、例えば、領域抽出部３１が特定した第１領域に対して0.0の重みをつけること、領域抽出部３１が特定した第２領域に対して1.0の重みをつけること、補間輝度判定部３３によって補間が成功したと判定された第１領域に対して1.0（または、0.0より大きく1.0より小さい値）の重みをつけること、および補間輝度判定部３３によって補間が失敗したと判定された第１領域に対して0.0の重みをつけることが記録されている。

重み付けデータ作成部３４における重み付けデータの作成方法の詳細については後述する。

（ダイナミックレンジ拡大超解像処理部２５の構成）
図４は、ダイナミックレンジ拡大超解像処理部２５の構成を示すブロック図である。同図に示すように、ダイナミックレンジ拡大超解像処理部２５は、差分画像生成部４２、疑似低解像度画像生成部４３、重み付け差分画像生成部４４、画像更新部４５を有している。

疑似低解像度画像生成部４３は、詳細については後述するが、高解像度画像保存部２４に格納されている高解像度画像データを観測モデルによって変換し、複数の擬似低解像度画像を生成する。

差分画像生成部４２は、詳細については後述するが、補間輝度判定部３３から出力された最終正規化画像データと疑似低解像度画像生成部４３により得られた擬似低解像度画像とを用いて複数の差分画像データを生成する。

重み付け差分画像生成部４４は、差分画像生成部４２で生成された差分画像データに対して、補間処理部２６の重み付けデータ作成部３４から出力された重み付けデータが示す重み付けを画素単位で行う。重み付け差分画像生成部４４は、重み付けされた差分画像データを画像更新部４５へ出力する。

画像更新部４５は、詳細については後述するが、重み付け差分画像生成部４４による重み付けに基づいて高解像度画像データの更新を行い、更新した高解像度画像データを高解像度画像保存部２４に格納する。

（比較例としての超解像処理の処理フロー）
まず、本実施形態の画像処理装置１における処理を理解しやすくするために、比較例としての超解像処理について図５を参照しつつ説明を行い、次にダイナミックレンジの拡大を実現するための画像処理装置１における処理について図６を参照しつつ説明する。図５は、比較例としての超解像処理方法における処理の流れの一例を示すフローチャートである。図６は、画像処理装置１における処理の流れの一例を示すフローチャートである。

＜比較例としての超解像処理＞
超解像処理は、生成される高解像度画像データに対して定義される評価関数の最適化問題として定式化される。つまり、推定された撮像画像データと観測された撮像画像データとの二乗誤差に基づく評価関数の最適化問題に帰着される。

また、高解像度画像データの特性が既知である場合には、その高解像度画像データの特性に基づく評価関数（拘束項）を前記評価関数（誤差項）に付加してもよい。具体的には、高解像度画像データにおけるエッジ成分が小さいことが既知である場合には、高解像度画像データにラプラシアンフィルタを乗じた画像データに基づく評価関数（拘束項）を評価関数（誤差項）に付加する。評価関数の詳細については後述する。超解像処理は、未知数の非常に大きな最適化計算であるため、その評価関数の最適化には、例えば最急降下法などの繰り返し計算法が利用される。

まず、図５に示すステップ１にて、１枚目からｍ枚目までのｍ枚の撮像画像データｙ_ｍが取得される。なお、ｙ_ｍは、上記１枚目からｍ枚目までのｍ枚の撮像画像データをベクトルとして表現したものである。

次に、ステップ２にて、初期値となる高解像度画像データｈが設定される。初期高解像度画像データｈは、撮像画像データよりも解像度が高い（画像を構成する画素数が多い）画像データである。ｈは、高解像度画像データをベクトルとして表現したものである。

初期高解像度画像として、例えば、全面が均一の灰色画像、黒画像、白画像を用いてもよいし、複数の撮像画像データから任意の１つを取り出し、その撮像画像データが示す画像に対して補間処理を行うことによって、当該画像の画像サイズを高解像度画像のサイズに引き伸ばした画像を初期高解像度画像として用いてもよい。この時の補間方法には、撮像画像に含まれる注目画素の位置に対応する位置に存在する、高解像度画像の３×３画素を撮像画像の対応する輝度に変換する方法などがある。

次に、ステップ３にて、光学的劣化要因やダウンサンプリング等の要因を考慮し、高解像度画像データｈからｍ個の擬似低解像度画像データＢ_ｍｈが作成される。この擬似低解像度画像データＢ_ｍｈは、高解像度画像データｈを撮像画像データｙ_ｍに位置合わせすると共に低解像度化したものである。擬似低解像度画像データＢ_ｍｈの作成方法の詳細については後述する。

次に、ステップ４にてステップ３で算出された擬似低解像度画像データＢ_ｍｈと撮像画像データｙ_ｍとの差分を計算し、差分画像データＸ_ｍが算出される。この差分画像データＸ_ｍが「推定された撮像画像データ（高解像度画像データ）」と「観測された撮像画像データ（撮像画像データ）」との誤差である。

次に、ステップ５にて、ステップ４で算出された差分画像データＸ_ｍを基に評価値Ｅが算出される。評価値Ｅは、高解像度化の精度（高解像度画像データと撮像画像データとが相違している程度）を示す値である。評価値Ｅを算出するための評価関数については後述する。

次に、ステップ６にて評価値Ｅの値と、予め設定した閾値とが比較される。評価値Ｅの値が予め設定した値よりも小さい場合（Ｓ６にてＹＥＳ）、当該評価値Ｅの算出に用いた高解像度画像データｈを、超解像処理の結果として得られた最終的な高解像度画像データｈとして記憶部に格納し、超解像処理を終了する。

一方、ステップ６にて評価値Ｅが予め設定した値よりも大きい場合（Ｓ６にてＮＯ）、ステップ７にて評価値Ｅの値が小さくなるように繰り返し演算を行って、高解像度画像データｈを更新する（Ｓ７）。この更新の方法については後述する。

本実施の形態において、撮像画像データがｍ枚の場合、超解像処理に用いられる評価関数は下記（１）式で表され、繰り返し最適化はこの評価関数を最小にする処理として表現される。

上記（１）式は、ＭＡＰ法と呼ばれる超解像処理方法で使用される評価関数であり、右辺第一項である誤差項は、推定された撮像画像データと観測された撮像画像データとの二乗誤差に基づく項であり、右辺第二項である拘束項は高解像度画像データの特性に基づく項である。この数式において、ｈは高解像度画像データのベクトル表現を表し、ｙ_ｍは全ての低解像度の撮像画像データのベクトル表現である。また、Ｌは高解像度画像データの特性である事前確率情報を表す行列を、ｗは拘束項の強さを表す。また、１〜ｍは撮像画像データの番号を表している。ｙ_ｍは図２の撮像画像データに相当し、下記（２）式で表される。この（２）式において、ｘ_ｉ（ｉ＝１〜ｎ）はこの撮像画像データのベクトル表現である。

なお、画像データのベクトル表現とは、画像データの要素サイズが横Ｗ×縦Ｈである場合に、（２）式に示すように全ての要素を一列に並べて（Ｗ×Ｈ）×１のサイズのベクトルを生成する表現手法である。

上記（３）式において、Ｃは観測モデルにおいてボケの原因となる劣化関数（点広がり関数：Point Spread Function<ＰＳＦ関数>）を用いたコンボリューション（畳み込んで画像をぼかす処理）を表す行列表現であり、Ｍ_ｉは高解像度画像を撮像画像データの撮像位置に位置合わせした後、撮像画像データの各撮像素子の位置に相当する画素の輝度値をサンプリングする処理を表す行列であり、Ｂ_ｍはこれらの行列を結合したものである。

Ｂ_ｍを高解像度画像データｈに畳み込むことにより、図５のステップ３に示す複数の擬似低解像度画像データＢ_ｍｈが得られる。さらに擬似低解像度画像データＢ_ｍｈから撮像画像データｙ_ｍを引くことにより図５のステップ４に示す差分画像データＸ_ｍが得られる。また、図５のステップ７において、差分画像データＸ_ｍから高解像度画像データｈを求める（更新する）処理は下記（４）式が示す演算に相当し、差分画像データＸ_ｍに予め定められた重みを掛け合わせ、その値を繰り返し演算におけるひとつ前の高解像度画像データｈから引く処理に相当する。

（画像処理装置１における処理の流れ）
次に、図６を参照しつつ、画像処理装置１、特に補間処理部２６およびダイナミックレンジ拡大超解像処理部２５における処理の詳細について説明する。図６は、画像処理装置１における処理の流れの一例を示すフローチャートである。

まず、ステップ１１にて、画像処理装置１は、複数の低解像度の撮像画像と撮像条件とを取得する。具体的には、制御装置３の撮像制御部２１は、撮像装置２に撮像対象の撮像を指示する。指示を受けた撮像制御部２１は、撮像条件保存部２２から撮像条件データを読み出し、読み出した撮像条件データが示す撮像条件に従って撮像対象の撮像を行う（Ｓ１１）。より詳細には、撮像制御部２１は、同一の撮像対象について、撮像位置を少しずつずらしながらｍ種類の異なる撮像位置にて撮像を実行させる。そして、撮像制御部２１は、露光時間（ｎ種類）の変更を行い、露光時間の変更後の撮像条件にて、再度上記ｍ種類の異なる撮像位置にて撮像を実行させる。このようにして撮像された、ｍ枚×ｎセットの撮像画像データｙ_ｍｎが低解像度画像保存部２３に格納される。

上記撮像条件には各撮像画像の撮像位置、露光時間および撮像画像枚数が含まれる。また、ダイナミックレンジ拡大超解像処理部２５は、ダイナミックレンジ拡大超解像処理で使用する各パラメータの取得を行う。これらパラメータは、ダイナミックレンジ拡大超解像処理部２５が利用可能な記憶部（不図示）に予め格納されている。

ステップ１２では、画像処理装置１は、正規化前の複数の撮像画像データｙ_ｍｎ毎に、第１領域と第２領域とを抽出し、超解像処理時に使用する重みデータを作成する。具体的には、補間処理部２６の領域抽出部３１は、低解像度画像保存部２３に格納されたｍ×ｎ枚の撮像画像データｙ_ｍｎを取得し、撮像画像データｙ_ｍｎのそれぞれについて、当該撮像画像データｙ_ｍｎの輝度値分布に基づいて、黒つぶれ領域や白トビ領域のような、輝度値が正常な輝度値の範囲から外れた画素の領域を特定し、これらを第１領域として抽出する。

この第１領域は、画素の輝度値が所定の輝度値以下または所定の輝度値以上の領域であり、例えば８ビットデータの場合、輝度値が１以下または２５４以上の領域である。

一方、領域抽出部３１は、撮像画像データｙ_ｍｎ中の第１領域以外の領域（黒つぶれや白トビのないカメラのダイナミックレンジ範囲内の領域）を第２領域として抽出する。そして、領域抽出部３１は、抽出した第１領域および第２領域を特定する領域特定情報を補間輝度計算部３２へ出力する。

この時、例えば、上記第１および第２領域を示す領域特定情報を、撮像画像と同じサイズのメモリ空間上の領域データＺ_ｍとして実現し、第１領域の場合は、対応する画素の位置に０をセットし、第２領域の場合は、対応する画素の位置に１をセットする。このような構成にするのは、後述するステップ２１にて、処理の高速化を図るためであるが、必ずしもこのような領域データＺ_ｍを用いる構成としなくてもよい。例えば、ステップ２１で複数の低解像度の撮像画像データを参照画像として使用し、画素単位で第１領域か第２領域かを判定し、当該画素に重みを付与するようにしてもよい。

また、上述の説明では、撮像画像の領域を２つの領域に分割し、領域に応じた重みを１か０かの２値としているが、当該重みは必ずしも２値である必要はなく、３値（３段階）以上の重みを使用してもよい。重みの設定については後述する。

ステップ１３では、正規化処理部３５は、複数の露光時間で撮像され、低解像度画像保存部２３に格納された複数の低解像度の撮像画像データを、その露光時間に応じて正規化する処理を行う。この正規化処理は、例えば、露光時間Ａ[msec]と露光時間Ｂ[msec]（Ａ＞Ｂ）との撮像条件がある場合、露光時間Ｂで撮像された撮像画像データの輝度レベルを露光時間Ａで撮像された撮像画像データの輝度レベルに合わせるために、露光時間Ｂの撮像画像データの輝度値をＡ／Ｂ倍するような処理である。

各撮像画像データの露光時間は、撮像条件保存部２２に保存されている撮像条件データに記録されているため、正規化処理部３５は、当該撮像条件データを参照することにより各撮像画像データの露光時間の情報を取得する。

念のため補足しておくが、例えば撮像画像データが８ｂｉｔの場合、上記正規化処理を行うことにより２５５よりも大きな値となることがあるが、２５５で打ち切りとなるわけではなく、撮像画像データを、それ以上の値を保持可能なものにすることが好ましい。

正規化処理部３５は、生成した正規化画像データを正規化画像データ保存部３０に保存する。

次にステップ１４において、補間輝度計算部３２は、領域抽出部３１から出力された領域特定情報が示す第１領域に対応する正規化画像における領域の輝度値を補間する処理を行う。そのために、補間輝度計算部３２は、正規化画像データ保存部３０から正規化画像データを取得し、取得した正規化画像データが示す正規化画像における第１領域の輝度値を補間する。

上述したように第１領域は黒つぶれやハレーションなどが発生し、正常な値となっていない領域であり、補間輝度計算部３２は、当該第１領域の近傍画素の輝度値を使用して補間輝度値を算出し、第１領域の輝度値を当該補間輝度値と置き換える処理を行う。補間輝度計算部３２による近傍画素の設定は、下記２つの基準に沿って行われる。なお、以下の説明において、注目画素とは、低解像度画像を高解像度画像にマッピングした時の高解像度画像の画素を意味しており、近傍画素とは、低解像度画像を高解像度画像にマッピングした時の注目画素の近傍にある他の低解像度画像の画素を意味している。つまり、以下の説明における「画素」とは、特に断らない限り、高解像度画像における仮想的な画素を意味している。

＜第１の基準＞
第１の基準は、高解像度画像において、第１領域に含まれる注目画素との距離が出来るだけ近い画素を選択するというものである。この時、注目画素が含まれる正規化画像データだけでなく、露光時間（および撮像位置）が異なる撮像画像データから生成された正規化画像データからも近傍画素を選択する。撮像位置が異なる撮像画像データから生成された正規化画像データから近傍画素を選択する場合には、注目画素が含まれる撮像画像の撮像位置と、選択すべき近傍画像が含まれる選択対象撮像画像の撮像位置とを比較することにより、注目画素に対応する、選択対象撮像画像の画素を特定し、特定した画素領域の近傍に位置する画素を上記近傍画素として選択すればよい。

近傍画素の設定には、（１）注目画素を中心とした上下左右の４近傍または上下左右に斜め方向も加えた８近傍に位置する画素を近傍画素に設定する方法（第１方法）と、（２）注目画素の中心から所定の範囲以内にある画素を全て近傍画素に設定する方法（第２方法）とがある。

第１方法の場合は、注目画素を含む全撮像画像を撮像する際、アクチュエータ１３の移動距離を一定の等間隔ピッチで制御し、撮像する場合に特に有効な方法である。

図７（ａ）〜（ｃ）は、９枚の低解像度の撮像画像を短露光時間と長露光時間との２種類の露光時間で撮像する際に水平、垂直方向に低解像度画像の画素サイズの１／３ピッチ分ずらして撮像した場合の画素の位置関係を示している。

ここで、図７（ａ）〜（ｃ）に示す撮像画像およびその撮像方法について説明する。同図では、低解像度画像の画素が符号５５で示されており、低解像度画像の画素５５の中に高解像度画像の画素（符号５６で示す）がマトリクス状に配列されている。低解像度画像の画素５５は、撮像素子１２の１つに対応している。

同図（ａ）〜（ｃ）に示すように、低解像度画像の画素５５の一辺の長さは、高解像度画像の画素５６の３倍である。すなわち、同図では、撮像画像の解像度を３倍にする場合の撮像位置（撮像画像の画素の位置）と高解像度画像の画素との位置関係を示している。

図示するように、撮像装置２の撮像位置（換言すれば、撮像素子１２の位置）は、アクチュエータ１３によって高解像度画像の１画素分の幅ずつ移動される。そして、各撮像位置で撮像した撮像画像のうち、所定の位置（例えば、最も左上）に位置する高解像度画像の画素に相当する領域（図７（ａ）では、画素５５における「ａ５」に対応する位置）の輝度値が高解像度画像に反映される。

より詳細には、撮像装置２は、ａ５の領域を得るための長時間露光撮像を行い、撮像位置を低解像度画像の画素サイズの１／３ピッチずらした後、ａ１の領域を得るための短時間露光撮像を行い、撮像位置を１／３ピッチずらした後、ａ８の領域を得るための長時間露光撮像を行うという動作を繰り返す。すなわち、撮像装置２は、その撮像位置を高解像度画像の１画素分の幅ずつ移動させながら、一部の撮像における露光時間を他の撮像と異ならせて、高解像度化倍率に応じた数の低解像度の撮像画像を撮像する。

このようにして撮像を行うことにより、高解像度画像データの各画素の輝度値を推定するために必要な一組の撮像画像データを取得することができる。

図７（ａ）〜（ｃ）に示す撮像画像は、上述のように撮像した９枚の撮像画像のそれぞれから最も左上に位置する高解像度画像の画素に相当する領域を抽出し、一枚の画像のようにマッピングしたものである。補間輝度計算部３２は、実際に図７（ａ）〜（ｃ）に示すような合成画像を実際に合成してもよいし、合成しなくてもよい。合成しない場合には、補間輝度計算部３２は、当該合成画像を合成したものと仮定して（すなわち、仮想的な合成画像を用いて）、補間処理を行えばよい。以下の説明では、補間輝度計算部３２は、図７（ａ）〜（ｃ）に示す合成画像を生成するものとして説明する。

図７（ａ）に示すように、注目画素Ａ位置に対して４近傍を設定する場合には、ａ１〜ａ４の近傍画素を設定することができる。また、図７（ｂ）に示すように、８近傍を設定する場合には、ａ１〜ａ８の近傍画素を設定することができる。また、さらにその外周の画素領域を使用して近傍画素を設定してもよい。

また、一般に注目画素Ａにハレーションが発生している場合、近傍の長露光時間画像に由来する画素にもハレーションが発生している可能性がある。このような場合、近傍画素として短露光時間画像に由来する画素のみを使用するようにしてもよい。

さらに、高速化のために各撮像画像データから近傍画素を選択せずに、注目画素が含まれる正規化画像データのみから近傍画素を選択してもよい。この場合、近傍画素の設定は図７（ｃ）に示すようになる。

第２方法の場合は、注目画素を含む全撮像画像を撮像する際、アクチュエータ１３の移動距離を一定の等間隔ピッチでは制御および撮像しない場合や、アクチュエータ１３を使用しない場合に特に有効な方法である。

例えば、図８（ａ）および（ｂ）は９枚の撮像画像を短露光時間と長露光時間との２種類の露光時間で撮像する際に、長露光時間の場合（矩形５７で示す）は水平および垂直方向に低解像度画像の画素サイズの１／３ピッチずらして撮像し、短露光時間の場合（矩形５８で示す）は長時間露光の画像位置に対して１／１２ピッチずらして撮像した場合の位置関係を示している。

図８（ｂ）に示すように注目画素Ａの位置に対して、近傍範囲を設定し、その範囲に含まれる画素から４近傍または８近傍を近傍画素として設定することができる。この場合、注目画素によっては８近傍全ての設定ができないことがあるため、このような近傍設定を行う時は、予め近傍画素として選択される画素の最低数（最低近傍数）を設定しておく。また、第２方法に関しても第１方法と同様に、高速化のために各正規化画像データから近傍画素を選択せずに、注目画素が含まれる正規化画像データのみから近傍画素を選択してもよい。

＜第２の基準＞
補間に用いる近傍画素には、長時間露光で得られた撮像画像に由来する画素も含まれる可能性が高い。従って、近傍画素として注目画素の８近傍を用いようとしても注目画素の近傍に８個の第２領域が存在するとは限らない。従って、予め注目画素の近傍に必要な第２領域の最低数を設定しておく。例えば４近傍の場合は半分の２個、８近傍の場合は４個などである。このような最低数を用いても近傍画素が得られなかった場合には、補間輝度計算部３２は、下記２つのいずれかの方法にて近傍画素の再設定を行う。

（１）最低数の近傍画素が得られなかった場合に、補間輝度計算部３２は、近傍画素として設定される画素の範囲を大きくする。例えば、４近傍を８近傍に、８近傍を１６近傍に拡大する。

（２）補間輝度計算部３２は、近傍画素の最低数が足りない場合でもその時点で得られる近傍画素を用いて補間処理を行い、近傍画素の最低数に到達するまで補間処理を繰り返す。第１領域の輝度値が補間により更新された場合、当該輝度値の更新と共に当該画素は第１領域から第２領域へと変化する。このため、１回の近傍設定処理では、近傍画素の最低数が足りない場合でも２回目以降で最低数を満足することができる場合がある。

補間輝度計算部３２が補間輝度値を計算する場合には、最も簡便な方法として近傍画素の輝度値の平均を計算する方法が挙げられる。また、輝度値を平均する際に、注目画素との距離に応じた重み付けを近傍画素の輝度値に対して行うことも可能である。補間輝度値の算出方法は、近傍画素の輝度値の平均値を算出する方法に限定されず、近傍画素の輝度値の中央値を算出してもよく、近傍画素の輝度値を統計処理することによって補間輝度値を算出すればよい。

補間輝度計算部３２は、算出した補間輝度値と当該補間輝度値が適用される画素（正規化画像データにおける画素）を特定する情報とを含む補間情報を補間輝度判定部３３へ出力する。

なお、上述の近傍画素の設定方法および上記最低数を示す設定情報は、補間輝度計算部３２が利用可能な記憶部（例えば、補間条件保存部２７）に格納されており、補間輝度計算部３２は、当該設定情報を参照することにより近傍画素の設定を行えばよい。

次にステップ１５において、補間輝度判定部３３は、補間輝度計算部３２から出力された補間情報が示す画素における輝度値の補間が成功したかどうかの判定を行う。

例えば、第１領域の範囲が２５６階調のうち、輝度値２５５以上のものである場合を考える。この場合、補間輝度判定部３３は、上記補間情報が示す、補間後正規化画像データの画素の輝度値（補間後輝度値）が、正規化画像データ保存部３０に保存された正規化画像データに含まれる、当該画素に対応する画素の輝度値以上の場合に、補間が成功しているものとみなしてその値を採用する。

逆に、補間輝度判定部３３は、補間領域情報が示す画素の補間後輝度値が、正規化画像データに含まれる、当該画素に対応する画素の輝度値より小さい場合、補間が失敗したものとみなしてその補間後輝度値を破棄し、正規化画像データにおける輝度値を再び採用する（Ｓ１６）。

そして、補間輝度判定部３３は、このようにして補間後正規化画像データを修正することにより生成した最終正規化画像データをダイナミックレンジ拡大超解像処理部２５の差分画像生成部４２へ出力する。

この構成を実現するために、補間輝度判定部３３は、正規化画像データ保存部３０から正規化処理部３５によって正規化された正規化画像データを取得し、補間輝度計算部３２から出力された補間情報が示す注目画素の補間後輝度値と、正規化画像データにおける当該注目画素の輝度値（正規化後輝度値）とを比較し、上記補間後輝度値が、上記正規化後輝度値以上であるかどうかを判定すればよい。

そして、補間輝度判定部３３は、領域特定情報によって第１領域であると示された画素について、補間輝度計算部３２が算出した補間後輝度値を採用したか、補間される前の輝度値（正規化画像データにおける、上記画素に対応する画素の輝度値）を採用したかを示す判定情報を重み付けデータ作成部３４へ出力する。

次にステップ１７において、重み付けデータ作成部３４は、補間輝度判定部３３から出力された判定情報と補間条件保存部２７に保存されている重み付け条件データとに基づいて重み付けデータを作成する。この重み付けデータの作成は、領域抽出部３１が生成した領域特定情報を更新することを意味する。

例えば、ステップ１２で設定した領域特定情報としてのＺｍについて、ステップ１２の段階で第１領域は０に、第２領域は１に設定されている。ここで設定する重みはダイナミックレンジ拡大超解像処理部２５における超解像処理の繰り返し計算時にその画素値に乗算するために使用され、重みが１（第２領域）の場合はその画像値が繰り返し計算にそのまま使用される。重みが０（第１領域）の場合には、繰り返し計算にその画素値はまったく使用されない。また、例えば重みが０．５の場合には、その画素値の半分の値が使用される。

重み付けデータ作成部３４は、領域特定情報としてのＺｍを、ステップ１５での補間の成否および／または補間の状況（補間が行われたかどうか、および最低近傍数を満たしているかどうか）により更新する。

例えば、重み付けデータ作成部３４は、補間が成功した場合（補間輝度計算部３２が算出した補間後輝度値が採用された場合）には、補間された第１領域に対して通常の第２領域と同様に１を設定し、近傍の最低数が不足し補間が行われなかった場合およびステップ１５の判定により補間が失敗したと見なされた場合は、その画素は正常な輝度値を保持していないと見なし、その重みを０のままとする。

また、補間が行われたが近傍画素の数は最低近傍数より少なかった場合や、実際の近傍範囲よりも外側の画素を用いて補間が行われた場合、または近傍画素の設定を２回以上繰り返して補間がされた場合には、重み付けデータ作成部３４は、０より大きく１より小さい値となるように重みを更新する。

このような重み設定を行うことにより、超解像処理の繰り返し計算時に画素値の信頼性に応じた更新処理が行われることになる。ただし、重みの設定値は上記方法に限定されるものではない。

重み付けデータ作成部３４は、作成した重み付けデータを超解像処理部２５の重み付け差分画像生成部４４へ出力する。

次にステップ１８において、図５のステップ２と同様に、超解像処理部２５は、初期値となる高解像度画像データを取得または生成し、高解像度画像保存部２４に格納する。初期高解像度画像データは、超解像処理にて生成したい解像度の画像であればよく、特に限定されない。例えば、撮像画像データの中から選択した任意の１枚に対して補間処理を行い、画素数を増加させたものを初期高解像度画像データとして用いてもよい。このように、高解像度画像データを撮像画像データから生成した場合には、超解像処理を行う前の段階で、撮像画像データが高解像度画像データに反映されることになる。その結果、超解像処理における繰り返し演算の回数を減らすことが可能になり、短時間で高精度な高解像度画像データを生成することが可能になる。

次にステップ１９において、図５のステップ３と同様に、疑似低解像度画像生成部４３は、光学的劣化要因およびダウンサンプリング等の要因を考慮し、高解像度画像データから擬似低解像度画像データを作成する。すなわち、疑似低解像度画像生成部４３は、高解像度画像保存部２４に格納されている高解像度画像データを読み出し、読み出した高解像度画像データの解像度が、低解像度画像保存部２３に格納されている撮像画像データと同じ解像度となるように低解像度化する。さらに、疑似低解像度画像生成部４３は、高解像度画像データに対してＰＳＦによる変換を行い、撮像画像データのそれぞれに位置合わせされた複数（ｍ枚）の擬似低解像度画像データを生成する。

次にステップ２０にて、差分画像生成部４２は補間輝度判定部３３から出力された一群の最終正規化画像と疑似低解像度画像生成部４３により生成された擬似低解像度画像との差分を差分画像データとして算出し、複数の差分画像データを生成する。差分画像生成部４２は、生成した差分画像データを重み付け差分画像生成部４４へ出力する。

次にステップ２１にて、重み付け差分画像生成部４４は、差分画像生成部４２が生成した差分画像データのそれぞれが有する各画素に対して、ステップ１７で重み付けデータ作成部３４によって作成された重み付けデータが示す重み付けを付与する。重み付け差分画像生成部４４は、重み付けした差分画像データ（重み付け差分画像データ）を画像更新部４５へ出力する。

次にステップ２２〜２４にて、画像更新部４５は、重み付け差分画像生成部４４による重み付けに基づいて、高解像度画像保存部２４に格納されている高解像度画像データを更新し、更新した高解像度画像データを高解像度画像保存部２４に格納する。

具体的には、画像更新部４５は、重み付け差分画像生成部４４から出力された重み付け差分画像データを評価関数に代入して、高解像度化の精度（高解像度画像データと正規化された撮像画像データとが相違している程度）を示す評価値Ｅを求める（Ｓ２２）。評価関数としては、公知の様々なものを適用することができるが、例えば下記の（５）式に示す評価関数を用いることによって、評価値Ｅを求めることができる。

上記（５）式は、ＭＡＰ法と呼ばれる超解像処理手法にて使用される評価関数である。（５）式は、誤差項と拘束項とから成る数式であり、（５）式の右辺におけるＷ（ＡＢｈ−ｙ）すなわち差分画像データが誤差項である。そして、（５）式の右辺におけるβ、Ｃおよびｈの文字が含まれている項が拘束項である。なお、ｈは高解像度画像データを表すベクトルであり、ＡはＰＳＦ（光学ボケを表す行列）であり、Ｂは撮像位置への移動を表す行列であり、Ｗはハレーション部に対する重みを表す行列であり、ｙは低解像度画像データを表すベクトルであり、βは拘束項に対する重みであり、Ｃは高解像度画像データに関する拘束を表す行列である。このような拘束項を評価関数に組み込むことにより、高解像度画像データの事前確率情報を反映させて、より高精度な超解像処理を行うことができる。

この（５）式に差分画像データを代入して得られる値が評価値Ｅである。高解像度画像データｈが撮像画像データｙを正確に反映させているほど誤差項の値が小さくなり、それに伴って評価値Ｅも小さくなる。したがって、超解像処理は、評価値Ｅを最小化する高解像度画像データｈを探索する処理であるということができる。

次に、画像更新部４５は、上記算出した評価値Ｅの値と、予め設定した閾値とを比較する（Ｓ２３）。そして、評価値Ｅの値が上記閾値よりも小さい場合（Ｓ２３でＹＥＳ）には、当該評価値Ｅの算出に用いた高解像度画像データｈを、超解像処理の結果として得られた最終的な高解像度画像データｈとして高解像度画像保存部２４に格納し、超解像処理を終了する。

一方、評価値Ｅの値が上記閾値以上である場合（Ｓ２３でＮＯ）には、画像更新部４５は、評価値Ｅの値が小さくなるように繰り返し演算を行って、高解像度画像データｈを更新する（Ｓ２４）。例えば、下記（６）式（上述の（４）式と同じ）を用いることによって、高解像度画像データｈを更新することができる。

（６）式は、最急降下法にて用いられる数式である。（６）式によれば、高解像度画像データｈ_ｋから、差分画像データに予め定めた重みβを掛け合わせた値を引くことにより、新規の高解像度画像データｈ_ｋ＋１が生成されるようになっている。この演算を繰り返すことによって、評価値Ｅの値がより小さくなる高解像度画像データｈが生成される。なお、繰り返し演算には、最急降下法に限らず公知の繰り返し演算手法を適用することができる。

このようにして更新された高解像度画像データｈは、再度ステップ１９にて擬似的に低解像度化され、ステップ２２にて評価値Ｅの算出に用いられる。そして、ステップ２３にて再度評価値と閾値との比較が行われる。すなわち、超解像処理では、評価値Ｅの値が閾値よりも小さくなるまでＳ１９〜Ｓ２４の処理が繰り返し行われる。

なお、上記閾値は、要求される高解像度化の精度に応じて適宜変更することができる。例えば、より高い精度の高解像度化が要求される場合には、上記閾値を小さく設定すればよく、高解像度化精度は余り要求されないが、迅速な処理速度が要求される場合には、上記閾値を大きく設定すればよい。すなわち、上記閾値は、超解像処理の精度を決定するための値であり、超解像処理に要求される様々な条件に合わせて適宜設定することができる。

このような画像更新部４５における処理において、差分画像データに対する重み付けデータの値が１である領域の場合、当該領域に対して上述したステップ処理が行われる。また、重み付けデータの値が０である第１領域の場合、画像更新部４５は、高解像度画像の更新を行うときに、当該第１領域の輝度値を考慮しない。

また、重み付けデータが０から１の間（例えば、０．５）である領域の場合には、その重みに応じた更新が行われる。

重みが１より小さい場合や、完全に０である場合であっても、高解像度画像から擬似低解像度画像を生成する際に、ＰＳＦ関数の畳み込み処理により、黒つぶれや白トビの画素値はまったく更新されない訳ではなく、周辺の撮像位置の画素値の影響を受けて補間更新が行われる。これにより、撮像画像データの全ての撮像位置において、各撮像位置に１種類毎の露光時間条件にて撮像画像データを取得したものであっても、有効なデータが少ないにもかかわらず、最終的にダイナミックレンジの拡大された高解像度画像を生成することが可能となる。

（画像処理装置１の効果）
以上のように、画像処理装置１は、異なる撮像条件および撮像位置で撮像された、異なる輝度範囲を有する低解像度画像を含む一群の低解像度画像を取得し、当該複数の低解像度画像から高解像度画像を生成する画像処理装置である。

正規化処理部３５は、一群の低解像度画像の全てが同じ撮像条件で撮像されたものと見なすことができるように、一群の低解像度画像のうちの少なくとも一部の低解像度画像に含まれる各画素の輝度値を補正することにより、一群の低解像度画像に対応した一群の正規化画像を生成する。

領域抽出部３１は、一群の低解像度画像のそれぞれについて、所定の範囲から外れた輝度値を有する画素からなる第１領域および上記所定の範囲内の輝度値を有する画素からなる第２領域を特定する。

補間輝度計算部３２は、正規化処理部３５が生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、領域抽出部３１が特定した第１領域の画素に対応する正規化画像の画素の輝度値を、当該画素に対応する、上記合成画像における画素領域と所定の位置関係にある、第２領域の画素に対応する画素領域の輝度値から算出した補間輝度値を用いて補正することにより補正後正規化画像を生成する。

重み付けデータ作成部３４は、補間輝度計算部３２よって生成された補正後正規化画像を含む一群の正規化画像が有する第１領域の画素に対して、当該第１領域の画素に関して補間輝度計算部３２が算出した補間輝度値に基づく重み付けを行う。

ダイナミックレンジ拡大超解像処理部２５は、補間輝度計算部３２によって生成された補正後正規化画像を含む一群の正規化画像から高解像度画像を生成する。このとき、ダイナミックレンジ拡大超解像処理部２５は、第１領域の画素の輝度値の、高解像度画像の生成における寄与の程度を、重み付けデータ作成部３４が重み付けした重み付けに応じて低下させる。

それゆえ、撮像画像である低解像度画像のダイナミックレンジを拡大させつつ、解像度が向上した高解像度画像を低解像度画像から生成することができる。

（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、本発明を、撮像装置２と制御装置（画像処理装置）３とを備える撮像装置として捉えてもよい。

また、上述した画像処理装置１の各ブロック、特に補間処理部２６およびダイナミックレンジ拡大超解像処理部２５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラム（画像処理プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

なお、本発明は、以下のようにも表現できる。

すなわち、本発明の画像処理装置は、複数の低解像度画像から高解像度画像を生成する画像処理装置であって、前記複数の低解像度画像を入手する画像データ入手手段と、前記複数の画像データを前記複数の画像データが撮像された撮像条件に応じて正規化する手段と、前記複数の正規化前の画像データについて輝度値が第１の所定値以下および第２の所定値以上である第１領域と第１領域以外の第２領域とに分離する領域分離手段と、前記複数の正規化された画像データにおける前記第１領域の輝度値を該第１領域の近傍の第２領域の正規化された輝度値から補間輝度値として算出し、得られた補間輝度値を該第１領域の輝度値として設定する輝度値補間手段と、前記複数の画像データについて、前記第１領域においては前記補間輝度値に応じて重み付け係数を算出して設定し、前記第２領域においては予め定められた値を重み付け係数として設定する重み付け係数設定手段と、前記複数の低解像度画像の輝度値が補間された画像データ、および前記低解像度画像毎の前記重み付け係数から高解像度画像を生成する高解像度画像生成手段と、を有することを特徴としている。

また、前記輝度値補間手段は、前記第１領域の各画素について、該画素を含む低解像度画像および他の複数の低解像度画像のうち、所定の距離以内かつ第２領域である画素を近傍とし、該近傍の各画素を用いて補間値を算出することが好ましい。

また、前記輝度値補間手段は、前記補間値が所定の値以上である第１．５領域と所定の値以下である第１領域に分離し、第１領域においては補間値を前記正規化後の画素値に戻すことが好ましい。

また、前記重み付け係数設定手段は、前記第１領域、第２領域においては予め定められた値（第１領域の設定値＜第２領域の設定値）を設定し、第１．５領域においては、第２領域と同等もしくはそれに準ずる値（第１領域の設定値＜第１．５領域の設定値≦第２領域の設定値）を設定することが好ましい。

本発明によれば、ダイナミックレンジの拡大された高解像度画像データを生成することができるので、静止画像または動画像の高解像度化を行う装置に好適に適用できる。

１ 画像処理装置（撮像装置）
２ 撮像装置（撮像部）
３ 制御装置（画像処理装置）
２５ ダイナミックレンジ拡大超解像処理部（高解像度画像生成手段）
３１ 領域抽出部（領域特定手段）
３２ 補間輝度計算部（輝度値補間手段）
３３ 補間輝度判定部（輝度値補間手段）
３４ データ作成部（重み付け手段）
３５ 正規化処理部（正規化手段）
４２ 差分画像生成部（高解像度画像生成手段）
４３ 疑似低解像度画像生成部（高解像度画像生成手段）
４４ 差分画像生成部（高解像度画像生成手段）
４５ 画像更新部（高解像度画像生成手段）

Claims (10)

1. 異なる撮像条件および撮像位置で撮像された、異なる輝度範囲を有する低解像度画像を含む一群の低解像度画像を取得し、当該複数の低解像度画像から高解像度画像を生成する画像処理装置であって、
   上記一群の低解像度画像の全てが同じ撮像条件で撮像されたものとみなすことができるように、上記一群の低解像度画像のうちの少なくとも一部の低解像度画像に含まれる各画素の輝度値を補正することにより、上記一群の低解像度画像に対応した一群の正規化画像を生成する正規化手段と、
   上記一群の低解像度画像のそれぞれについて、所定の範囲から外れた輝度値を有する画素からなる第１領域および上記所定の範囲内の輝度値を有する画素からなる第２領域を特定する領域特定手段と、
   上記正規化手段が生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を上記高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、上記領域特定手段が特定した第１領域の画素に対応する上記正規化画像の画素の輝度値を、当該画素に対応する、上記合成画像における画素領域と所定の位置関係にある、上記第２領域の画素に対応する画素領域の輝度値から算出した補間輝度値を用いて補正することにより補正正規化画像を生成する輝度値補間手段と、
   上記輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像が有する上記第１領域の画素に対して、当該第１領域の画素に関して上記輝度値補間手段が算出した補間輝度値に基づく重み付けを行う重み付け手段と、
   上記輝度値補間手段によって生成された補正正規化画像を含む一群の正規化画像から高解像度画像を生成する高解像度画像生成手段とを備え、
   上記高解像度画像生成手段は、上記高解像度画像を生成する場合に、上記第１領域の画素の輝度値の、上記高解像度画像の生成における寄与の程度を、上記重み付け手段が重み付けした重み付けに応じて低下させることを特徴とする画像処理装置。
2. 上記第１領域の画素の輝度値が、上記所定の範囲よりも大きい場合、
   上記重み付け手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも小さい場合に、当該第１領域の画素に対して上記重み付けを行うことを特徴とする請求項１に記載の画像処理装置。
3. 上記第１領域の画素の輝度値が、上記所定の範囲よりも小さい場合、
   上記重み付け手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも大きい場合に、当該第１領域の画素に対して上記重み付けを行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 上記輝度値補間手段は、上記合成画像において、上記第１領域の画素に対応する画素領域から所定の距離以内にある少なくとも１つの、上記第２領域の画素に対応する画素領域の輝度値を用いて上記補間輝度値を算出することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 上記第１領域の画素の輝度値が、上記所定の範囲よりも大きい場合、
   上記輝度値補間手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも小さい場合に、上記補間輝度値によって補間された、上記補正正規化画像における画素の輝度値を上記正規化後輝度値に置き換えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 上記第１領域の画素の輝度値が、上記所定の範囲よりも小さい場合、
   上記輝度値補間手段は、上記輝度値補間手段が生成した補正正規化画像における第１領域の画素の補間輝度値と上記正規化画像における当該第１領域の画素の輝度値である正規化後輝度値とを比較し、上記補間輝度値が上記正規化後輝度値よりも大きい場合に、上記補間輝度値によって補間された、上記補正正規化画像における画素の輝度値を上記正規化後輝度値に置き換えることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 請求項１〜６のいずれか１項に記載の画像処理装置を動作させる画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
8. 請求項７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 請求項１〜６のいずれか１項に記載の画像処理装置を備えた撮像装置であって、
   上記一群の低解像度画像を撮像する撮像部を備え、
   上記画像処理装置は、上記撮像部から上記一群の低解像度画像を取得することを特徴とする撮像装置。
10. 異なる撮像条件および撮像位置で撮像された、異なる輝度範囲を有する低解像度画像を含む一群の低解像度画像を取得し、当該複数の低解像度画像から高解像度画像を生成する画像処理装置における画像処理方法であって、
    上記一群の低解像度画像の全てが同じ撮像条件で撮像されたものとみなすことができるように、上記一群の低解像度画像のうちの少なくとも一部の低解像度画像に含まれる各画素の輝度値を補正することにより、上記一群の低解像度画像に対応した一群の正規化画像を生成する正規化工程と、
    上記一群の低解像度画像のそれぞれについて、所定の範囲から外れた輝度値を有する画素からなる第１領域および上記所定の範囲内の輝度値を有する画素からなる第２領域を特定する領域特定工程と、
    上記正規化工程において生成した正規化画像のそれぞれから、生成すべき高解像度画像の画素に対応する領域である画素領域を抽出し、抽出した画素領域を上記高解像度画像の画素の配列と対応するように配置することにより合成画像を生成した場合に、上記領域特定工程において特定した第１領域の画素に対応する上記正規化画像の画素の輝度値を、当該画素に対応する、上記合成画像における画素領域と所定の位置関係にある、上記第２領域の画素に対応する画素領域の輝度値から算出した補間輝度値を用いて補正することにより補正正規化画像を生成する輝度値補間工程と、
    上記輝度値補間工程において生成された補正正規化画像を含む一群の正規化画像が有する上記第１領域の画素に対して、当該第１領域の画素に関して上記輝度値補間工程において算出した補間輝度値に基づく重み付けを行う重み付け工程と、
    上記輝度値補間工程によって生成された補正正規化画像を含む一群の正規化画像から高解像度画像を生成する高解像度画像生成工程とを含み、
    上記高解像度画像生成工程において上記高解像度画像を生成する場合に、上記第１領域の画素の輝度値の、上記高解像度画像の生成における寄与の程度を、上記重み付け工程における重み付けに応じて低下させることを特徴とする画像処理方法。

Images