JP2013207752A - 画像処理装置 - Google Patents

Abstract

【課題】レンズの光軸と撮像素子の中心軸とにあおりが生じてピントが撮像素子の面内にばらつく場合でも、劣化画像を高い信頼性で復元できる画像処理装置を提供する。
【解決手段】レンズと、該レンズの光軸に合わせて固定された撮像素子とを有する撮像装置で撮像した画像に対してＰＳＦ（点像分布関数）を乗算することにより、前記撮像された画像を復元処理するための画像処理装置である。画像処理装置は、前記撮像素子の面内領域毎に対応したＰＳＦが保存されたＰＳＦメモリ部４４と、前記撮像された画像に、前記撮像素子の面内領域毎に対応したＰＳＦと乗算することにより、撮像された画像を復元する復元処理部２０とを備えている。
【選択図】図７

Description

本発明は、画像処理装置に係り、例えば、車載カメラ等で撮像した画像データを復元処理するのに好適な画像処理装置に関する。

従来、この種の画像データを処理する画像処理装置では、画像データを撮像するカメラ装置において、撮像半導体素子１のパッケージとしては、図１（ａ）に示す撮像半導体素子１のようにリード部１ａを基板２に固定している。この場合は、撮像半導体素子１はパッケージ基準面１ｂが基板２に密着しており、光軸方向３を向くように固定される。

これに対して、近年、低コスト化・小型化のために、図１（ｂ）に示すように撮像半導体素子５のパッケージ５ａを半田バンプ６で固定するものが主流となっている。この撮像半導体素子５のパッケージ５ａは、レンズの光軸方向７とあわせるための基準面がパッケージにない構成となっている。このため、半田バンプ６を介した基板２が基準面となり、撮像方向５ｂに対してあおり角８が大きくなってしまい、図２に示すように撮像半導体素子５の同じ面内でもピントをあわせた部分以外はピントがあっていない部分が発生するという問題がある。

あおりの対処方法としては、構造としてあおりを調整する方法と、あおりがあるものとして被写界深度を深くできるようにする方法が考えられるが、前者は高コストとなる問題がある。したがって、低コスト化を進めるにあたってはレンズの被写界深度を深くとるとともに、ピントがあっていない部分の劣化画像を復元することが重要となってくる。

そこで、劣化画像を復元するにあたっては、劣化画像の分布を用いた画質向上のための劣化画像復元技術を使用し、画質を劣化させる処理時に画質復元時に必要な特別なファイルを生成したり、暗号鍵などを管理する必要のない構成としている（例えば、特許文献１参照）。

特開２０１０−１０３８６７号公報（段落［０００６］参照）

ところで、前記特許文献１に記載の劣化画像を復元する技術では、特にあおりが発生することにより面内でピントがばらついたり、また、自動車への搭載環境のように温度変動が大きく、環境のピントへの影響が大きいときの、復元度の信頼性が重要であり、実現性が乏しいものとなっている。

本発明は、このような問題に鑑みてなされたものであって、その目的とするところは、画像を取り込む撮像素子の基準面がパッケージになく、撮像素子を固定する基板に半田バンプで固定し、レンズの光軸と撮像素子の中心軸（撮像方向）とにあおりが生じてピントが撮像素子の面内にばらつく場合でも、劣化画像を高い信頼性で復元できる画像処理装置を提供することにある。

前記目的を達成すべく、本発明に係る画像処理装置は、撮像装置で撮像した画像に対してＰＳＦ（点像分布関数）を乗算することにより、前記撮像画像を復元処理するための画像処理装置であり、前記撮像素子の面内領域毎に対応したＰＳＦを、前記撮像画像うち前記面内領域に対応した撮像画像の部分に乗算することを特徴とする。

本発明によれば、レンズの光軸に合わせて撮像素子を固定したとき、レンズの光軸と撮像素子の中心軸とが一致せず、あおり（軸同士の交差）が発生し、このあおりに起因して画像が劣化しても、原画像のＰＳＦ（点像分布関数）を撮像素子の面内領域毎にメモリ部で保存するため、高い信頼性で劣化画像を復元することができる。

本発明に係る画像処理装置で用いる撮像素子におけるあおり角度を示す説明図であり、（ａ）はリードで基板に固定する撮像素子の断面図、（ｂ）は本実施例１の半田バンプで固定する撮像素子の断面図。 図１の撮像素子におけるあおりとピントの関係を示し、（ａ）はレンズと撮像素子の配置図、（ｂ）は（ａ）の配置のピントのずれを示す説明図。 ステレオマッチング処理へのあおりの影響を示す説明図。 本発明の実施例１における劣化画像の復元方法を示す説明図。 劣化画像の復元を行うための校正手法を示し、（ａ）はレンズと撮像素子の配置図、（ｂ）は（ａ）の撮像素子面内にＰＳＦを保存する説明図。 本発明の実施例２を示し、温度センサを用いた復元処理フローを示す図。 本発明の実施例３を示し、最適ＰＳＦの学習による復元処理フローを示す図。

以下、本発明に係る画像処理装置の一実施形態を図面に基づき詳細に説明する。この実施形態では、画像の復元処理を用いた画像処理システムの例を図１から図５を用い説明する。図１〜３は本願の発明における課題を説明しており、図４は本発明に係る１つの実施形態の劣化画像の復元方法を示しており、図５は劣化画像の復元を行うための校正手法を示している。

前記の課題の説明と、図１と図２の説明で示したとおり、基板２に対して撮像素子（撮像半導体素子）５の底面が密着せず、基板２に対してあおりが発生すると、撮像素子面内においてピントがあっている部分と合っていない部分が発生する。

すなわち、図２に示すように、レンズの光軸と撮像素子５の中心軸（撮像方向）５ｂとが一致せず、あおり角８を有して傾いた状態で固定されたとき、撮像素子５の中心部でピントが合うように調整すると、周辺部では中心に対して前方でピントの合う「前ピン」と、後方でピントの合う「後ピン」の状態が形成される。

図２で示すように、撮像素子５があおられた状態のとき、後述するように、撮像素子５の略中心でピントが合うように調整すると、ピントが「前ピン」の周辺部と、「後ピン」の周辺部とは点対象となる。そこで、本発明では、後述するように、中心から周辺に向けて同じ周波数応答のＰＳＦを点対象に保存することで、劣化画像の復元を効率良く行うことができる。

ここで、図３を用いて、２台以上の撮像素子を用いてステレオマッチング処理を行う場合のあおりの影響について説明する。図３はステレオマッチング処理へのあおりの影響を示しており、左画像では被写体はピントがあっている状態（合焦）であり、右画像は被写体のピントがぼけている状態（ピントずれ）を示している。

ステレオマッチング処理としてはＳＡＤ（sum of absolute difference）という手法が一般的である。これは、２台の撮像素子５それぞれに撮像される被写体の行部分について、特定のピクセルサイズ（たとえば３×３）でデジタル化された輝度値について１台の撮像素子結果から他方の結果を引き算して絶対値をとったものについて、行方向のすべての組み合わせでとり、その値が最も小さくなる組み合わせ位置を視差とする手法である。簡単には、視差分ずれたところに同じ撮像結果があるので、この部分での輝度値の差分、つまり引き算して絶対値を取ったものは「０」となる。

しかし、撮像素子面内においてピントがあっている部分と合っていない部分が発生すると、その部分での輝度値が異なるため、ステレオマッチング処理への影響が発生する。具体的には、図３のように中心でピントがあっていて（左画像）、周辺でピントがあっていない（右画像）場合には、中心で遠い距離（視差が小さく、撮像素子真ん中）では、問題なくステレオマッチングが行えて立体物としての有効画素数は確保されるが、すこし左右でよっていて、近い距離（視差が大きく、片側には撮像素子真ん中、他方は撮像素子端）の場合には、立体物としての有効画素数は減ってくることが予測される。

したがって、後述する本実施の形態では、撮像素子を基板に固定する際に、あおりが発生して画像が劣化しても、これらの影響を排除することにより、近年発売されている低コストパッケージ採用の撮像素子５を半田バンプ６で基板２に固定する構成を利用しながら、ステレオカメラの性能を飛躍的に向上させることが可能である。

［実施例１］
ここで、本発明の実施例１について図４と図５で説明する。
本発明では、画像処理装置は、レンズと、レンズの光軸に合わせて固定された撮像素子と、を有する撮像装置で撮像した原画像を保存する画像メモリ部が設けられている。実施例１では、上述した、撮像装置の据付によるあおりの影響を改善すべく、劣化画像の劣化を復元する。

画像復元処理については、劣化画像と原画像と、ＰＳＦ（点像分布関数）を用いて行い、ＰＳＦは、それぞれの撮像素子の面内領域に応じて最適ＰＳＦを割り当てられている。以下にその詳細を説明する。

ここで、ピントのぼけた劣化画像は、例えば公知の［数１］に示される（１）式を用い
て画像復元処理により復元される。以下に、この画像復元処理について簡単に示しておく。ここで、f(x,y)は原画像を示し、g(x,y)は劣化画像を示し、(x1,y1)は原画像の座標を示し、(x2,y2)は劣化画像の座標を示し、h(x,y)はＰＳＦ（点像分布関数）を示している。

（１）式の関係は、分布f(x,y)が真の原画像の分布である場合に成立すると考えられる。すなわち、（１）式を満たす分布f(x,y)を算出することが劣化画像の復元に相当する。上記の関係を満たす分布f(x,y)は、（１）式の右辺のf(x,y)をfk(x,y)とし、（１）式の左辺のf(x,y)をfk+1(x,y)としてfk(x,y)に関する反復計算によって求まるfk(x,y)の収束値を求めることで算出することができる。また、（１）式の右辺は、ＰＳＦであるh(x,y)を用いた畳み込み積分を備えている。すなわち、（１）式において、劣化画像g(x,y)に、ＰＳＦであるh(x,y)を乗算すると共に、原画像f(x,y)の座標に、劣化画像g(x,y)の座標を乗算して復元画像を形成している。

また、導出したＰＳＦ係数は正規分布に近似し、水平方向及び垂直方向の分散値σｈ，σｖを算出する。ＰＳＦ係数ｈ（ｘ,y）はσｈ，σｖから展開することが可能である。

このように、本実施形態にかかる画像処理装置では、レンズと、該レンズの光軸に合わせて固定された撮像素子とを有する撮像装置で撮像した劣化画像に対して、ＰＳＦ（点像分布関数）を乗算することにより、撮像された撮像画像を復元処理する。

ここで畳み込み積分を行うための、ＰＳＦの校正方法について図５を用いて説明する。ＰＳＦ計測用チャートは、中心と周辺とをそれぞれＰＳＦを分けて計測できるように、形成されている。したがって、中心から、周辺部にかけて撮像素子５と基板２とのあおりによる異なるピントのぼけ方を取得することができる。これと原画像からＰＳＦを中心と周辺でわけて計測することができる。

すなわち、図５（ｂ）に示すように、本実施形態では、画像処理装置は、撮像素子５の面内領域毎に対応したＰＳＦが、ＰＳＦメモリ部に複数保存される。図示の例では、撮像素子の面内領域の中心部にＰＳＦ１を保存し、面内領域の左上部にＰＳＦ２を保存している（ＰＳＦメモリ部）。なお、図示していないが、左下部、右上部、右下部の面内領域にも同様にＰＳＦを保存する。

そして、ＰＳＦメモリ部において保存された撮像素子５の面内領域毎に対応したＰＳＦを、この面内領域に対応した撮像画像（劣化画像）の部分（画像）に乗算する（乗算処理部）。これにより、レンズの光軸と撮像素子の中心軸（撮像方向）とにあおりが生じてピントが撮像素子の面内でばらつがあっても、その面内ばらつきに合わせた劣化画像の復元の処理を行なうことができる。

また、図２で示したような課題を解決するには、レンズと前記撮像素子は、該撮像素子の概中心において最もピントがあうように調整され、撮像素子の略中心に対して点対称の位置にある面内領域には、同じＰＳＦが割り当てられていればよい。すなわち、撮像素子の略中心に対して、点対称の位置にある面内領域において撮像された画像のボケ具合は、略等しいため、点対称の位置にある面内領域に、同じＰＳＦを割り当てることにより、より簡易的に原画像を復元することができる。

以下に最もピントがあっている撮像領域を特定する（撮像素子の概中心において最もピントがあうように調整する）手段について説明する。撮像領域を所定の領域毎に区切って、撮像素子で撮像した撮像画像をフーリエ変換することにより、領域毎の周波数応答特性を算出することができる。ここで、撮像画像となる元の画像として、特定の空間周波数を持たないランダムなモザイク状の画像を使用することにより、取得した前記周波数応答は、レンズの特性を正確に抽出することができる。撮像面内でピントがあっているとは、周波数応答が高いということと等価であるので、区切ったすべての領域の撮像画像において、フーリエ変換したもののうち最も周波数応答の高い領域を抽出することにより最もピントがあっている領域を特定することができる。この特定した領域を用いて中心の領域に割り当てられるＰＳＦを算出すればよい。

これにより、本実施例では、中心のピントをあわせたときに周辺のピントも同じ位にあげることができるという作用効果を奏すると共に、周辺のピントをあわせたときに、中心のピントがオーバーシュートしないようにすることができるという格別の作用効果を奏するため、本発明は優れているといえる。

なお、撮像素子５における、各面内領域は、均等割りで区画された領域でもよく、周辺を中心区画に対して細かく領域わけして抽出してもよい。

また、本実施例では最初に少なくとも２台以上の撮像素子を用いてと冒頭にて説明したが、必ずしも２台以上である必要はなく、１台の撮像素子を用いた場合でも、同様の効果を得ることは可能である。また、レンズ及び撮像素子を少なくとも３組以上を有していてもよく、この場合も、ＰＳＦはそれぞれの撮像素子毎における面内領域毎に保存されている。

［実施例２］
実施例１では、撮像装置固有の問題であるあおりの影響により、画像メモリ部で撮像された撮像画像の劣化を復元するような処理を行なったが、実施例２では、撮像装置を実際に使用する際に、撮像装置（画像処理装置）の周囲の温度よる影響を、さらにリアルタイムに加味している。

次に、図６を用いて、温度センサを用いた画像処理装置の実施例２を復元処理フローについて説明する。本実施例２の画像処理装置においては、画像処理装置の周囲の温度を検出する温度センサを有している。さらに上述したＰＳＦメモリ部として、実施例２に係る画像処理装置は、同じ撮像素子の面内領域において、調整時のＰＳＦの最適関数（すなわち、初期のＰＳＦ関数）以外にも複数のＰＳＦをさらに保存したＰＳＦメモリ部３３を備えている。さらに、前記温度センサによる計測温度から、各温度におけるＰＳＦの最適関数を選定するＰＳＦ選定処理部３１を有している。

すなわち、図６に示される画像処理装置では、撮像装置で撮像した撮像画像（原画）１０を、後述する温度センサ３０の計測温度に基づいて選定されたＰＳＦを用いて、復元処理部（乗算処理部）２０により復元処理する。

この際に、画像処理装置の周囲の温度を測定すべく、画像処理装置に配置された温度センサ３０の計測温度が、ＰＳＦ選定処理部３１に入力される。この計測温度の結果を、ＰＳＦ選定部３１は、最適ＰＳＦ指定アドレス部３２に入力する。ＰＳＦメモリ部３３は、調整時のＰＳＦの最適関数（すなわち、初期のＰＳＦ）以外にも複数のＰＳＦをさらに保存されている。保存された複数のＰＳＦは、予め画像処理装置の周囲の温度毎に、撮像素子により撮像された撮像画像と、これに対応した最適なＰＳＦ（すなわち、復元度が高いＰＳＦ）である。

そして、最適ＰＳＦ指定アドレス部３２では、計測温度ごとに応じたＰＳＦが選定（指定）できるように、ＰＳＦメモリ部３１内の複数のＰＳＦと、計測温度とを対応付けるようなアドレスが格納されている。

これにより、計測温度から、温度に依存した最適なＰＳＦが読み出され、読み出されたＰＳＦは、ＰＳＦ選定処理部３１に入力される。このようにして、ＰＳＦ選定処理部３１は、計測温度に基づいて、複数のＰＳＦのうち最適なＰＦＳ（最適な関数）を選定することができる。そして、ＰＳＦメモリ部３３で保存されたＰＦＳを、最適ＰＳＦ指定アドレス部３２を介してＰＳＦ選定処理部３１に戻し、このデータを参照して復元処理部２０で原画１０の復元処理を実行する。

温度変化のピントへの影響は、主に以下の２点であるが、通常、光学部品としてガラスを選定した場合には、以下に示す（２）は非常に小さくなるので、以下に示す（１）が温度特性をきめる主要因となり、これを低減可能とすることが大きな課題であった。しかしながら、実施例２では、上述するような構成とすることにより、このような課題をも解決することができる。
（１）レンズと撮像素子間の構造物の膨張、収縮による焦点と撮像面の相対位置変化
（２）光学部品の材質の温度特性による特性変化

また、温度による構造物の変化は線形であることがわかっている（ガラス転移点以下の有機物、あるいは無機物）ので、デフォーカス距離とぼけ量の関係をあらかじめつかんでおけば、ぼけ量を伝達関数として算出しているＰＳＦも選定可能であるといえる。従って、本発明を用いることにより、ピントをあわせる調整機構なしに、温度による撮像画像のぼけを復元処理により回復させることが可能となるので、低コストであるとともに、簡便であるため非常に優れているといえる。また、自動車への搭載環境のように温度変動が大きくても、温度センサに基づいて復元度の信頼性を確保することができる。

［実施例３］
次に、実施例３は、さらに、画像処理装置において、実施例１において得られた、撮像素子の面内領域毎に対応したＰＳＦを、より最適なＰＳＦに更新する（ＰＳＦ）を学習するような構成となっている。

具体的に、図７を用いて本発明の画像処理装置の実施例３を、最適ＰＳＦの学習による復元処理フローについて説明する。実施例２で説明したように、温度変化によってピントがずれることはわかっているが、温度以外にも、撮像素子の劣化等によっても変化する可能性があり、実際のピントを常にモニタリングしておくことが望ましい。

そこで、図７において、この実施例３で示す画像処理装置は、撮像素子により撮像された撮像画像を選定し、切取処理を行なう切取処理部４０と、選定し切り取り処理がなされた画像を一次保存する一次保存メモリ部４１を備えている。さらに、ＰＳＦを同じ面内領域において、実施例１における調整時のＰＳＦの最適関数以外にも複数のＰＳＦを保存するＰＳＦメモリ部４４と、上述した如き、最適なＰＳＦを読み出すための最適ＰＳＦ指定アドレス部４３とを備えている。

また、一次保存された画像から、固定パターン映像（画像）を認識し、立体物を判定する認識／立体物判定部４５を備えている。ここでは、複数の画像からステレオマッチング処理によりステレオ視したときの立体物の判定を行っている。

さらに、本実施形態に係る画像処理装置は、この前記複数の画像からステレオマッチング処理によりステレオ視したときの立体物の判定結果に基づいて、ＰＳＦ選定処理部は、最適なＰＦＳを選択するＰＳＦ選定処理部４６と、この復元処理の実行を判断する実行判断処理部４７とを備えている。

このように構成することにより、実施例３に係る画像処理装置は、原画（撮像画像）１０を復元処理部２０で復元処理する際に、まず、撮像素子で取得した原画像を画像選定・切取処理部４０で選定、切取処理する。

ここで選定および切取処理された画像を、一次保存画像メモリ部４１で、一次保存画像として保存する。復元処理部４２では、一次保存画像を復元する際に、実施例１で示した最適なＰＳＦを選定する。具体的には、ＰＳＦメモリ部４４で保存された複数のＰＳＦメモリから、最適ＰＳＦ指定アドレス部４３で、アドレスを指定して最適なＰＳＦを選定し、復元処理部４２で、この選定したＰＳＦを用いて画像を復元する。ここまでの復元処理は、実施例１と同じである。

そして、認識部／立体物判定部４５では、復元処理部４２で復元処理された画像を用いて、上述した如く、ステレオマッチング処理によりステレオ視したときの立体物の判定をおこなう。この立体物の判定結果から、ＰＳＦ選定処理部４６は、最適なＰＳＦであるかを判断し、最適でないと判断した場合には、さらに、この立体物の判定結果から、ＰＳＦメモリ部４４に保存された最適であると予想されるＰＳＦを複数のＰＳＦから選定して読み出す。

ここで、認識部／立体物判定部４５は、複数のカメラ間のステレオマッチング処理を行う。複数のカメラはあらかじめ、幾何学的な補正をすることにより、互いの水平方向の画素間対応をとっている。

取得映像に対しては、水平1〜数ラインにおいて、基準および比較カメラの各々の画素あるいは所定のサイズの画素グループの輝度値を総当りで比較を行うことにより、最も輝度値が近い画素同士、あるいは画素グループ同士を抽出することが可能となる。

前記画素同士、あるいは画素グループ同士の輝度差が所定の値以下のときにマッチングしているという。マッチングしている画素あるいは画素グループの水平方向の画素位置の差分が視差であるので、同様の処理を全画面に行うことにより立体物情報を得ることが可能となる。従って、マッチングしている画素あるいは画素グループの数を指標として、数が多ければ最適なＰＳＦが選定されていると判断することが可能である。このような判断により、ＰＳＦメモリ部４４に保存された最適であると予想されるＰＳＦを複数のＰＳＦから選定することができる。

そして、実行判断処理部４７は、選定されたＰＳＦを用いて、復元処理部２０が復元処理を行なってよいかを判断し、復元処理を行なってよいと判断した場合には、現在用いられているＰＳＦを、この選定したＰＳＦに更新する。そして、更新されたＰＳＦを用いて、復元処理部２０で撮像画像１０の復元処理を行う。

このようにして、画像選定・切取処理部４０において一次保存映像を取得し、これに複数のＰＳＦによる復元処理を復元処理部４２で行い、おのおのの復元画像について認識度や立体物判定度を認識部／立体物判定部４５で比較することにより、認識あるいは立体物判定に対して最適ＰＳＦを判断し、実行判断処理部４７で判断処理することが可能となるので、汎用性の高い学習ができるという点で非常に優れているといえる。

以上、本発明の実施形態について詳述したが、本発明は上記した実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成にほかの実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、たとえば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際にはほとんどすべての構成が相互に接続されていると考えてもよい。

カメラ装置として車載カメラの例を示し、複数のカメラ装置として２つのステレオカメラ装置の例を示したが、定点カメラ等の固定カメラで撮像した撮像画像や、３つ以上のカメラ装置で撮像した撮像画像を用いて複数のアプリケーション処理を行うように構成してもよい。また、実施例２，３の選定処理部は選定処理部の中に設けるものとして説明したが、選定処理部の外に設けるようにしてもよい。

本発明の活用例として、この画像処理装置を用いて各種のカメラ装置で撮像した画像信号で複数のアプリケーション処理を同時に行うことができ、車載カメラを取り付けることによって車両の各種の用途にも適用できると共に、定点カメラを取り付けることによって地域の安全等の各種の用途にも適用できる。

２：基板
５：撮像素子（撮像半導体素子）
５ｂ：撮像素子の中心軸（撮像方向）
６：半田バンプ
７：光軸方向
８：あおり角
１０：原画
２０：復元処理部（乗算処理部）
３０：温度センサ
３１：ＰＳＦ選定処理部
３２：最適ＰＳＦ指定アドレス部
３３：ＰＳＦメモリ部
４０：画像選定・切取処理部
４１：一次保存映像メモリ部
４２：復元処理部
４３：最適ＰＳＦ指定アドレス部
４４：ＰＳＦメモリ部
４５：認識部／立体物判定部
４６：ＰＳＦ選定処理部
４７：実行判断処理部

Claims (7)

1. レンズと、該レンズの光軸に合わせて固定された撮像素子とを有する撮像装置で撮像した撮像画像に対してＰＳＦ（点像分布関数）を乗算することにより、前記撮像された画像を復元処理するための画像処理装置であって、
   該画像処理装置は、前記撮像素子の面内領域毎に対応したＰＳＦが保存されたＰＳＦメモリ部と、
   前記撮像画像うち前記面内領域に対応した撮像画像の部分に、前記撮像素子の面内領域毎に対応したＰＳＦを乗算する乗算処理部と、を備えたことを特徴とする画像処理装置。
2. 前記撮像装置は、前記レンズ及び前記撮像素子を少なくとも２組以上を有し、前記ＰＳＦメモリ部には、各撮像素子毎における面内領域毎に、前記ＰＳＦが保存されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記レンズと前記撮像素子は、該撮像素子の概中心において最もピントがあうように調整され、前記撮像素子の略中心に対して点対称の位置にある面内領域には、同じＰＳＦが割り当てられていることを特徴とする請求項１または２に記載の画像処理装置。
4. 特定の空間周波数を持たないランダムなモザイク状の画像を所定の領域ごとに区切って撮像し、該区切った領域毎に撮像した撮像画像をフーリエ変換し、これらのうち最も周波数応答の高い領域を用いて、前記点対象の中心の領域のＰＳＦを算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記ＰＦＳメモリ部は、前記撮像素子の面内領域毎に、前記複数のＰＳＦを保存しており、
   前記画像処理装置は、前記画像処理装置の周囲の温度を測定する温度センサによる温度に基づいて、前記複数のＰＳＦから、前記乗算処理を行なうＰＳＦを選定するＰＳＦ選定処理部を有することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記ＰＦＳメモリ部は、前記複数のＰＳＦを保存しており、
   前記画像処理装置は、前記撮像装置で撮像された撮像画像を一次保存し、該一次保存された撮像画像に基づいて、前記複数のＰＳＦからＰＳＦを選択し、
   前記撮像素子の面内領域毎に対応して保存されたＰＳＦを、選択したＰＳＦに更新することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. 前記ＰＳＦの選択は、前記複数の撮像画像からステレオマッチング処理によりステレオ視したときの立体物の判定結果に基づいて、行うことを特徴とする請求項６に記載の画像処理装置。

Images