JP2007074348A - 画像処理装置 - Google Patents

Abstract

【課題】 装置の大型化を防止すると共に、画像を復元するに当たり、ノイズやブレ情報誤差等の影響を受け難い伝達関数を求め、現実性のある回路処理方式を有する画像処理装置を提供すること。
【解決手段】 この画像処理装置は、高周波成分を有する処理用画像データとして生成する処理用画像データ生成処理（Ｓ２０１）と、任意の画像データから変化要因情報のデータを利用して比較用画像データを生成する比較用画像データ生成処理（Ｓ２０２，Ｓ２０３）と、この比較用画像データと処理用画像データとを比較して得られた差分のデータを利用して復元画像データを生成する処理（２０６）を繰り返すことで、原画像の実数部の画像データに近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、この原画像復元画像データと処理用画像データとから伝達関数を生成する伝達関数生成処理（Ｓ２０７）とを行う。
【選択図】 図１３

Description

本発明は、画像処理装置に関する。

従来から、撮像部にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）などの撮像素子を使用するカメラにより撮影を行った撮影画像は、撮影時の手ぶれ、撮影光学系の各種の収差、あるいは撮影光学系を構成するレンズの歪み等がある場合は、これが要因となり、撮影画像が劣化することが知られている。

このような撮影画像の劣化を防ぐ手段として、撮影画像の劣化の要因のうち、撮影時の手ぶれに関しては、レンズを動かす方式と撮影した画像を回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、撮影光学系の中の所定のレンズを、検出した手ぶれによるカメラの移動に合わせて動かすことにより、撮像素子上における結像位置の移動を抑制する方式が知られている（特許文献1参照）。

また、回路処理する方式としては、カメラの撮影光学系の光軸の変動を角加速度センサ等により検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化のない画像を復元する方式が知られている（特許文献２参照）。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

特許文献１記載の手ぶれ補正を採用したカメラは、モータ等のレンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。

また、特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。

第１に、取得する伝達関数は、角加速度センサ等により検出した角速度等に基づいて求めるものであり、ノイズやブレ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。

第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

そこで、本発明の課題は、装置の大型化を防止すると共に、画像を復元するに当たり、ノイズやブレ情報誤差等の影響を受け難い伝達関数を求め、現実性のある回路処理方式を有する画像処理装置を提供することである。

上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、処理対象となる画像の画像データである入力画像データを、虚数部に高周波成分を有する画像データとする処理用画像データとして生成する処理用画像データ生成処理と、実数部と虚数部の画像データを有する任意の画像データから、画像変化の要因となる変化要因情報のデータを利用して、実数部と虚数部の画像データを有する比較用画像データを生成する比較用画像データ生成処理と、この比較用画像データと処理用画像データとを比較して得られた差分のデータを利用して復元画像データを生成し、この復元画像データを任意の画像データの代わりに使用して、の復元画像データを生成する処理を繰り返すことで、復元画像データの実数部の画像データが、原画像の実数部の画像データに近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、この原画像復元画像データと処理用画像データとから伝達関数を生成する伝達関数生成処理とを行うこととした。

この発明によれば、伝達関数を原画像復元画像データと処理用画像データとから求めることとしているため、ノイズやブレ情報誤差等の影響を受け難い伝達関数が求まり、現実性のある回路処理方式を有する画像処理装置を提供することができる。

また、他の発明は、画像を処理する処理部を有する画像処理装置において、処理部は、処理対象となる画像の画像データである入力画像データを、虚数部に高周波成分を有する画像データとする処理用画像データとして生成する処理用画像データ生成処理と、実数部と虚数部の画像データを有する任意の画像データから、画像変化の要因となる変化要因情報のデータを利用して、実数部と虚数部の画像データを有する比較用画像データを生成する比較用画像データ生成処理と、この比較用画像データと処理用画像データとを比較して得られた差分のデータを利用して復元画像データを生成し、この復元画像データを任意の画像データの代わりに使用して、復元画像データを生成する処理を繰り返すことで、復元画像データの実数部と虚数部の画像データが、原画像の実数部と虚数部の画像データに近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、この原画像復元画像データと処理用画像データとから伝達関数を生成する伝達関数生成処理とを行うこととした。

この発明によれば、伝達関数を原画像復元画像データと処理用画像データとから求めることとしているため、ノイズやブレ情報誤差等の影響を受け難い伝達関数が求まり、現実性のある回路処理方式を有する画像処理装置を提供することができる。

また、他の発明は、上記の各発明に加え、処理用画像データを、処理対象となる画像が撮像される全撮像領域の中の一部の領域についての入力画像データに基づき生成した縮小処理用画像データとし、一部の領域についての入力画像データについて伝達関数生成処理を行うこととした。この構成を採用した場合には、伝達関数生成処理を一部の領域の入力画像データについて行うため、伝達関数を求める処理速度を速くすることができる。

また、他の発明は、上記の発明の伝達関数生成処理により生成された伝達関数を利用して、原画像復元画像データを生成することとした。この構成を採用した場合には、原画像復元画像データを生成する処理速度を速くすることができる。

本発明によれば、ノイズやブレ情報誤差等の影響を受け難い伝達関数が求まり、現実性のある回路処理方式を有する画像処理装置を提供することができる。

以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部にＣＣＤを使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらにはＮＭＲ撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。

画像処理装置１は、人物等の被写体を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。

撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。制御系部３は、撮像部２，処理部４、記録部５、検出部６および要因情報保存部７等、画像処理装置１内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ)のようなハードウェアで構成されている。この処理部４は図示外の記録部を備え、この記録部に後述する処理用画像データにおける虚数部の高周波成分を有する画像データや、比較用画像データを生成する際の元となる任意の画像の画像データが保存されている。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば撮影光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部７には、撮影光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれによる画像の劣化を補正する際にはそれらの情報は、利用していない。

次に、以上のように構成された画像処理装置１の処理部４の処理方法について説明する。

先ず、この処理方法の基本的な手法について説明をする。つまり、この処理方法においては、最初に画像の復元を最適化問題として扱って復元画像を求め、その後、この復元画像と復元の対象となった画像とから伝達関数を求めることを基本的な手法としている。

画像の復元を最適化問題として扱うということは、「（１）入力に対する出力は、一意に決まる。」、「（２）出力が同じであれば、入力は同じである。」、「（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。」、という３の条件を前提に、画像の復元を行うことである。

すなわち、図３（Ａ）に示すように、画像データ「Ｉｍｇ」が画像を変化させる要因となる変化要因情報データ「Ｈ」により変化させられて画像データ「Ｉｍｇ′」（復元の対象）に変化する場合、任意の画像データ「Ｉｏ」を変化要因情報データ「Ｈ」により変化させた画像データ「Ｉｏ′」が、画像データ「Ｉｍｇ′」に近似するように、画像データ「Ｉｏ」を「Ｉｏ＋ｎ」（ｎは、１以上の整数）として反復して更新する。すなわち、画像データ「Ｉｏ＋ｎ」が変化要因情報データ「Ｈ」により変化した画像データ「Ｉｏ＋ｎ′」が、画像データ「Ｉｍｇ′」に近似するような画像データ「Ｉｏ＋ｎ」を生成する（求める）ことができれば、図３（Ｂ）に示すように、画像データ「Ｉｏ′（＝Ｉｏ＋ｎ′）」の生成の元データとなる画像データ「Ｉｏ（＝Ｉｏ＋ｎ）」は、変化前の画像データ「Ｉｍｇ」に近似した復元された画像であると言える。

そして、復元の対象である画像データ「Ｉｍｇ′」から復元画像の画像データ「Ｉｏ（＝Ｉｏ＋ｎ）」への伝達関数「Ｇ」を、Ｇ＝Ｉｏ＋ｎ／Ｉｍｇ′として求めることを、処理部４における処理方法の基本的な手法としている。

上記の基本的な手法について、図４から図１２に基づいてさらに詳しく説明する。

図４中、「Ｉｏ」は、処理部４の記録部に予め保存されている任意の初期画像データである。「Ｈ」は、検出部６で検出された変化要因情報（劣化要因情報（点像関数））のデータであり、処理部４の記録部に保存されるものである。「Ｉｏ′」は、初期画像データ「Ｉｏ」が変化要因情報データ「Ｈ」により変化した比較用画像データである。「Ｉｍｇ′」は、復元の対象となる変化した画像の画像データである。ここでは、撮像部２に撮像された撮影画像データとする。

「δ」は、撮影画像データ「Ｉｍｇ′」と、比較用画像データ「Ｉｏ′」との差分のデータである。「ｋ」は、変化要因情報データ「Ｈ」に基づく配分比である。「Ｉｏ＋ｎ」（ｎは、１以上の整数）は、初期画像データ「Ｉｏ」に、差分のデータδを配分比「ｋ」に従って配分して新たに生成した復元画像データである。「Ｉｍｇ」は、撮影画像データ「Ｉｍｇ′」の元となった原画像の画像データである。つまり、撮影画像データ「Ｉｍｇ′」が変化する前の画像、または正しく撮影されたなら得られたはずの本来の画像のことであり、例えば、撮影操作時に手ぶれ等による画像の劣化がない状態で撮影したと仮定したときの被写体画像のデータである。

ここで、「Ｉｍｇ」と「Ｉｍｇ′」の関係は、次の（１）式で表されるとする。
Ｉｍｇ′＝Ｉｍｇ×Ｈ …（１）
なお、差分のデータ「δ」は、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データ「Ｈ」により異なり、次の（２）式で現される。
δ＝ｆ（Ｉｍｇ′，Ｉｍｇ，Ｈ）…（２）

処理部４の処理ルーチンは、まず、初期画像データ「Ｉｏ」を用意する（ステップＳ１０１）ことから始まる。この初期画像データ「Ｉｏ」としては、撮影画像データ「Ｉｍｇ′」を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式の「Ｉｍｇ」の代わりに初期画像となる任意画像のデータ「Ｉｏ」を入れ、劣化画像である比較用画像データ「Ｉｏ′」を求める。次に、撮影画像データ「Ｉｍｇ′」と比較用画像データ「Ｉｏ′」と比較し、差分のデータ「δ」を算出する（ステップＳ１０３）。

次に、ステップＳ１０４で、この差分のデータ「δ」が所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像データ（＝復元画像データ）を生成する処理を行う。すなわち、差分のデータ「δ」を変化要因情報データ「Ｈ」に基づいて、任意の初期画像データ「Ｉｏ」に配分し、新たな復元画像データ「Ｉｏ＋ｎ」を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５を繰り返す。

ステップＳ１０４において、差分のデータ「δ」が所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データ「Ｉｏ＋ｎ」を原画像データ「Ｉｍｇ」と推定する。

次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。

（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順に、ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…，とし、ある画素ｎに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データ「Ｉｍｇ」となる。なお、各データは、８ビット（０〜２５５）のデータで現している。

露光時間中にブレがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報データ「Ｈ」となる。

ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図８に示す表のとおりとなる。図８中の「撮影結果」として示されるデータが、原画像データ「Ｉｍｇ」で、「ブレ画像」として示されるデータが、撮影画像データ「Ｉｍｇ′」となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、ぶれ情報である変化要因情報データ「Ｈ」の「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この撮影画像データ「Ｉｍｇ′」と、図７に示す変化要因情報データ「Ｈ」からぶれの無い撮影結果を算出することとなる。

ステップＳ１０１に示す任意の初期画像データ「Ｉｏ」としては、どのようなものでも採用できるが、この説明に当たっては、撮影画像データ「Ｉｍｇ′」を用いる。すなわち、Ｉｏ＝Ｉｍｇ′として処理を開始する。図９の表中に「入力」とされたものが初期画像データ「Ｉｏ」に相当する。この初期画像データ「Ｉｏ」すなわち「Ｉｍｇ′」に、ステップＳ１０２で変化要因情報データ「Ｈ」を作用させる。すなわち、たとえば、初期画像データ「Ｉｏ」の「ｎ−３」の画素の「６０」は、「ｎ−３」の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、出力「Ｉｏ′」として示される比較用画像データ「Ｉｏ′」が生成される。このため、ステップＳ１０３の差分のデータ「δ」は、図９の最下欄に示すようになる。

この後、ステップＳ１０４にて差分のデータ「δ」の大きさを判断する。具体的には、差分のデータ「δ」が全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分のデータ「δ」は、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分のデータ「δ」を変化要因情報データ「Ｈ」を使用して、任意の初期画像データ「Ｉｏ」に配分して、図１０中の「次回入力」として示される復元画像データ「Ｉｏ＋ｎ」を生成する。この場合、第１回目であるため、図１０では、「Ｉｏ＋１」と表している。

差分のデータ「δ」の配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素にきているはずの配分比である「０．３」をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素にきているはずの配分比である「０．２」をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を初期画像データ「Ｉｏ」（ここでは撮影画像データ「Ｉｍｇ′」を使用）にプラスして、復元画像データ「Ｉｏ＋１」を生成している。

図１１に示すように、この復元画像データ「Ｉｏ＋１」がステップＳ１０２の入力画像のデータ（＝初期画像データ「Ｉｏ」）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分のデータ「δ」を得る。その新しい差分のデータ「δ」の大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分のデータ「δ」を前回の復元画像データ「Ｉｏ＋１」に配分し、新しい復元画像データ「Ｉｏ＋２」を生成する（図１２参照）。その後、ステップＳ１０２の遂行により、復元画像データ「Ｉｏ＋２」から新しい比較用画像データ「Ｉｏ＋２′」が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。

以上のようにして求めた復元画像データ「Ｉｏ＋ｎ」と復元の対象である撮影画像データ「Ｉｍｇ′」とから、撮影画像データ「Ｉｍｇ′」から復元画像データ「Ｉｏ＋ｎ」への伝達関数Ｇを、Ｇ＝Ｉｏ＋ｎ／Ｉｍｇ′として求めることができる。

ところで、撮影画像データが、手ぶれ等により劣化し輪郭部がぼけたものとなっている場合には、画像データの高周波成分が失われてしまっているため、伝達関数が不安定なものとなってしまう。
そこで、以上に述べた基本的な手法を前提として、さらに以下に説明する手法を採ることにより、安定した伝達関数を求めることができる。なお、図１および図２については、上述した処理方法の基本的な手法と同様であるので、その説明を省略する。

図１３中、「Ａ」は、原画像の画像データである。この原画像とは、変化する前の画像、または、または正しく撮影されたなら得られたはずの本来の画像のことであり、本実施の形態においては、撮影操作時に手ぶれ等による画像の劣化がない状態で撮影したと仮定したときの被写体画像の画像データである。

「Ａ′」は、処理用画像データであり、次に説明する実数部の画像データ「ＡＲ′」と虚数部の画像データ「ＡＩ′・ｉ」を有する。なお、「Ｒ」は、実数部を表す識別子であり、「Ｉ」は、虚数部を表す識別子である。画像データ「ＡＲ′」は、デジタルカメラにより撮影した撮影画像データ、すなわち、撮像部２から処理部４に入力される入力画像データの実数部の画像データである。つまり、この画像データ「ＡＲ′」は、原画像が手ぶれ等により劣化した画像の実数部の画像データである。また、画像データ「ＡＩ′・ｉ」は、任意の高周波成分を有する画像データであり、処理部４の記録部に予め保存されている

「Ｂｏ」は、処理部４の記録部に予め保存されている任意の初期画像データである。そしてこの初期画像データ「Ｂｏ」の実数部の画像データは「ＢＲｏ」であり、また、虚数部の画像データは「ＢＩｏ・ｉ」となっている。

「Ｈ」は、検出部６で検出された変化要因情報（劣化要因情報（点像関数））のデータである。この変化要因情報データ「Ｈ」は、検出部６で検出された撮影時の手ぶれの状態を示すデータであり、画像データ「ＡＲ′」と対応させて処理部４の記録部に保存されている。

「Ｂｏ′」は、画像データ「Ｂｏ」が変化要因情報データ「Ｈ」により変化した比較用画像データであり、実数部の画像データ「ＢＲｏ′」と虚数部の画像データ「ＢＩｏ′・ｉ」を有する。画像データ「ＢＲｏ′」は、画像データ「Ｂｏ」の実数部の画像データ「ＢＲｏ」が変化要因情報データ「Ｈ」により変化した画像データを示し、画像データ「ＡＲ′」と比較するための比較用画像データである。また、「ＢＩｏ′・ｉ」は、画像データ「Ｂｏ」の虚数部の画像データ「ＢＩｏ・ｉ」が変化要因情報データ「Ｈ」により変化した画像データを示し、画像データ「ＡＩ′・ｉ」と比較するための比較用画像データである。

「δＲ」は、画像データ「ＡＲ′」と、画像データ「ＢＲｏ′」との差分のデータである。また、「δＩ・ｉ」は、画像データ「ＡＩ′・ｉ」と、画像データ「ＢＩｏ′・ｉ」との差分のデータである。

「ｋ」は、変化要因情報データ「Ｈ」のデータに基づく配分比である。

「Ｂｏ＋ｎ」（ｎは、１以上の整数）は、画像データ「Ｂｏ」に差分のデータ「δＲ」と「δＩ・ｉ」を配分比「ｋ」に従って配分した復元画像データである。「ＢＲｏ＋ｎ」は、画像データ「ＢＲｏ」に、差分のデータ「δＲ」を配分比「ｋ」に従って配分する処理をｎ回繰り返したときの復元画像データ「Ｂｏ＋ｎ」の実数部の画像データである。また、「ＢＩｏ＋ｎ・ｉ」（ｎは、１以上の整数）は、画像データ「ＢＩｏ・ｉ」に、差分のデータ「δＩ・ｉ」を配分比「ｋ」に従って配分する処理をｎ回繰り返したときの復元画像データ「Ｂｏ＋ｎ」の虚数部の画像データである。

処理部４の処理ルーチンについて説明する。先ず、処理用画像データ「Ａ′」を、実数部における画像データを画像データ「ＡＲ′」とするとともに、虚数部における画像データを画像データ「ＡＩ′・ｉ」として生成する（Ｓ２０１）。画像データ「ＡＲ′」は、デジタルカメラの撮影操作により撮像部２から出力され、処理部４に入力する入力画像データの実数部の画像データである。撮影操作に手ぶれがある場合には、この画像データ「ＡＲ′」は画像データ「Ａ」に対して手ぶれによる劣化した画像の画像データとなっている。画像データ「ＡＩ′・ｉ」は、上述したように任意の高周波成分を有する画像データであり、処理部４に予め保存されて、処理用画像データ「Ａ′」を生成するにあたり、処理部４から呼び出す。このような処理用画像データ「Ａ′」を生成する理由については、後述する。

次ぎに、処理部４の記録部に予め保存されている任意の初期画像データ「Ｂｏ」を呼び出す（Ｓ２０２）。この初期画像データ「Ｂｏ」は、実数部の画像データ「ＢＲｏ」と虚数部の画像データ「ＢＩｏ・ｉ」を有するが、そのデータ値は、任意であり、どのようなものでも採用することができる。例えば、処理用画像データ「Ａ′」を用いて、「Ｂｏ」＝「Ａ′」として処理を開始するようにしてもよい。この場合、実数部の画像データ「ＢＲｏ」は、撮影された画像の実数部における画像データ「ＡＲ′」となる。また、虚数部の画像データ「ＢＩｏ」は、「ＡＩ′・ｉ」となる。画像データ「Ｂｏ」は任意であるので、その他に、黒ベタ、白ベタ、灰色ベタ、市松模様等、どのような画像のデータを用いても良い。

そして、ステップＳ２０３で、画像データ「Ｂｏ」から変化要因情報データ「Ｈ」を利用して実数部と虚数部についての比較用画像データ「Ｂｏ′」を生成する。すなわち、実数部の比較用画像データ「ＢＲｏ′」を「ＢＲｏ×Ｈ」として求め、また、虚数部の比較用画像データ「ＢＩｏ′・ｉ」を「ＢＩｏ・ｉ×Ｈ」として求める。

次ぎに、画像データ「ＡＲ′」と比較用画像データ「ＢＲｏ′」とを比較し、差分のデータδＲを算出し（ステップＳ２０４）、併せて、画像データ「ＡＩ′・ｉ」と比較用画像データ「ＢＩｏ′・ｉ」とを比較し、差分のデータ「δＩ・ｉ」を算出する（ステップＳ２０４）

続いて、ステップＳ２０５で、差分のデータ「δＲ」が所定値以上であるか否かを判断し、所定値以上であれば、復元画像データ「Ｂｏ＋ｎ」を生成する（ステップＳ２０６）。すなわち、差分のデータ「δＲ」を、配分比「ｋ」に基いて画像データ「ＢＲｏ」に配分し、実数部における復元画像データ「ＢＲｏ＋ｎ」を生成する（ステップＳ２０６）。また、差分のデータ「δＩ・ｉ」についても、配分比「ｋ」に基いて画像データ「ＢＩｏ・ｉ」に配分し、実数部における復元画像データ「ＢＩｏ＋ｎ・ｉ」を生成する（ステップＳ２０６）。

そして、この復元画像データ「Ｂｏ＋ｎ」を、ステップＳ２０３における任意の画像データ（＝「Ｂｏ」）として、ステップＳ２０３が実行される。その後、Ｓ２０３，Ｓ２０４，Ｓ２０５，Ｓ２０６を繰り返し、順次新たな復元画像データ「Ｂｏ＋ｎ」を生成する。

ところで、配分比「ｋ」は、変化要因情報データ「Ｈ」に基づくもので、例えば、次のように決定する。ある画素に注目してみたとき、ブレが無い状態では、露光時間中のエネルギーは、その画素に集中するため、そのときのエネルギーの集中度を「１．０」とする。しかしながら、画像がブレると、ブレた方向の画素に、エネルギーが、例えば、「０．５」，「０．３」，「０．２」の割合で分散する。そして、この分散の割合を配分比として、「δＲ」，「δＩ・ｉ」を、エネルギーが分散した画素に、この配分比にしたがって配分するようにする。

そうして、上述したように、Ｓ２０３，Ｓ２０４，Ｓ２０５，Ｓ２０６を繰り返して得た画像データ「ＢＲｏ′（ＢＲｏ＋ｎ′）」と画像データ「ＡＲ′」との差分のデータ「δＲ」が、所定値より小さくなった場合には、この画像データ「ＢＲｏ′」の元となった復元画像データ「Ｂｏ＋ｎ」を原画像の画像データ「Ａ」に近似する原画像復元画像データとする。ステップＳ２０５の所定値とは、例えば、処理用画像データと復元画像データとの差分のデータ「δＲ」が全ての画素において、絶対値で５以下となった場合に処理を終了するようにする。そして、この条件に合わない場合には、ステップＳ２０６に進み、上述のステップＳ２０３，Ｓ２０４，Ｓ２０５，Ｓ２０６を繰り返す。

以上に説明した処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解いている。

最適化問題として解くということは、上述した基本的な手法において説明したように、「（１）入力に対する出力は、一意に決まる。」、「（２）出力が同じであれば、入力は同じである。」、「（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。」という条件を前提としている。

このことを換言すれば、図１４において、撮影された画像の画像データ「ＡＲ′」と近似する比較用の画像データ「ＢＲｏ′」を生成できれば、その生成の元のデータとなる復元画像データ「ＢＲｏ＋ｎ」は、画像データ「ＡＲ′」の元となる劣化のない画像である原画像の画像データ「Ａ」の実数部の画像データ「ＡＲ」に近似したものと言える。

従って、復元画像データ「ＢＲｏ＋ｎ」が原画像の画像データ「Ａ」に近似したものであるときは、処理用画像データ「Ａ′」から原画像復元画像データ「Ｂｏ＋ｎ」への伝達関数「Ｇ」を、Ｂｏ＋ｎ／Ａ′として求めることができる（ステップＳ２０７）。

ところで、本発明においては、入力画像データの虚数部の画像データに任意の高周波成分を有する画像データ「ＡＩ′・ｉ」を与えた処理用画像データ「Ａ′」とし、この処理用画像データから原画像近似復元画像データへの伝達関数「Ｇ」を求めることとしているのは次の理由による。

入力画像データは、手ぶれにより劣化した画像であり、画像の輪郭部がぼけたものとなっている。そのため、画像データの高周波成分は失われ、「ＡＲ′」≒０となっている。したがって、「ＡＲ′」だけを用いて、伝達関数「Ｇ」を求めることとすると、Ｇ＝Ｂ／ＡＲ′において「ＡＲ′」≒０であるため、「Ｇ」が不安定なものとなってしまう。そこで、虚数部における画像データと任意の高周波成分を有する画像データ「ＡＩ′・ｉ」とした処理用画像データ「Ａ′」を生成し、虚数部においても、復元画像データ生成処理を行い、虚数部における復元画像データを求め、「Ａ′」≠０とし、安定した伝達関数「Ｇ」を求めることができるようにしたためである。

つまり、

となり、ＡＲ′≒０による不安定性は減少する。

以上のようにして求めた伝達関数「Ｇ」を画像データ「ＡＲ′」とともに記録部５に記録する。そうして、後日改めて、ブレの補正された画像を再生する場合には、画像データ「ＡＲ′」から伝達関数「Ｇ」を用いて、つまり、「ＡＲ′×Ｇ」により、直に原画像復元画像データを得て、このデータに基づいて画像を再生することができる。

この画像処理装置１では、処理するに当たり、ステップＳ２０５において、事前に処理回数と、差分のデータ「δＲ」の判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分のデータ「δＲ」の値を８ビット（０〜２５５）中の「５」と設定し、「５」以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。

また、この実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図１３）の処理方法では、ブレの情報と光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、例えば、ブレのみで画像を修正したり復元したりしても良い。

以上、本発明の実施の形態に係る画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。

また、処理対象となる画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用画像データとしては、変化要因情報データ「Ｈ」を使用して生成したデータ以外に、変化要因情報データ「Ｈ」を使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報データ「Ｈ」のデータとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

上述の実施の形態においては、ステップＳ２０５において、実数部の画像データについての差分のデータ「δＲ」だけを対象に所定値以上であるか否かを判断することとしたが、図１５のステップ２０５′に示すように、虚数部の画像データについての差分のデータ「δＩ・ｉ」についても所定値以上であるか否かを判断することとしてもよい。つまり、実数部と虚数部の画像データについての差分「δＲ」，「δＩ・ｉ」が、ともに所定値以下のときに伝達関数「Ｇ」を求める（ステップＳ２０７）こととすれば、原画像復元画像データ「Ｂｏ＋ｎ」が、実数部のみならず虚数部についても原画像「Ａ」に近似するものとなるため、実数部の差分のデータ「δＲ」のみが所定値以下のときに比べてより精度の高い伝達関数「Ｇ」を求めることができる。

ところで、以上に説明した伝達関数「Ｇ」を求める処理は、撮像部２の全撮像領域のうちの一部の領域の画像を取り出し、この一部の画像について行うのが処理の高速化を図る点で好適である。

例えば、図１５に示すように、撮像領域の画素が、画素１１〜１６，２１〜２６，３１〜３６，４１〜４６，５１〜５６，６１〜６６で構成されているとき、１つおきに画素を間引き、画素１１，１３，１５，３１，３３，３５，５１，５３，５５からなる全画素の４分の１の画素数である縮小された画像データを画像データ「ＡＲ′」として処理することができる。

また、例えば、図１６に示すように、撮像領域の画素が、画素１１〜１６，２１〜２６，３１〜３６，４１〜４６，５１〜５６，６１〜６６で構成されているとき、その中央の領域である、画素３２，３３，３４，４２，４３，４４からなる領域の画素についての縮小された画像データを画像データ「ＡＲ′」として処理することができる。

つまり、ステップＳ２０１において、全撮像領域のうちの一部の領域についての画像データ「ＡＲ′」を、入力画像データの実数部における画像データとするとともに、画像データ「ＡＩ′」も、一部の領域の画像データ「ＡＲ′」に対する任意の高周波成分を有する画像データとすることで、縮小された処理用画像データ「Ａ′」を生成する。そして、この縮小処理用画像データ「Ａ′（＝ＡＲ′＋ＡＩ′・ｉ）」に対して、ステップＳ２０２，Ｓ２０３，Ｓ２０４，Ｓ２０５，Ｓ２０６の処理行い、伝達関数「Ｇ」を求める（Ｓ２０７）。

このように、撮像領域の一部、すなわち縮小処理用画像データ「Ａ′」について伝達関数「Ｇ」を求める処理を行うと、ステップＳ２０１からステップＳ２０６における処理時間を、全撮像領域を対象とするのに比べて短くすることができる。なお、取り出してくる画像の領域は、変動領域よりも充分大きな領域とする必要がある。例えば、画像のブレが、３画素に亘るものであれば、３画素以上の領域を取り出してくる必要がある。

以上のようにして一部の撮像領域について求めた伝達関数「Ｇ」を拡大、補間し、その拡大、補間された伝達関数「Ｇ」を使って全撮像領域についての原画像復元画像データ「Ｂｏ＋ｎ」を得る。すなわち、伝達関数「Ｇ」を高速で求めることができ、この伝達関数「Ｇ」を使って画像データ「ＡＲ′」から直に原画像復元画像データ「Ｂｏ＋ｎ」を復元させることができる。したがって、この処理方法によれば大きな画像の処理を行う際の処理速度の向上を図ることができる。

ところで、一部の領域について求めた原画像復元画像データ「Ｂｏ＋ｎ」は、全領域を対象として処理を行って求めた原画像復元画像データ「Ｂｏ＋ｎ」とは異なる。したがって、一部の領域を対象として求めた伝達関数「Ｇ」と全領域を対象として求めた伝達関数「Ｇ」とは異なる。そこで、一部の領域を対象として求めた伝達関数「Ｇ」を拡大し、拡大した間を補間して、その修正した伝達関数を使用し、全撮像領域を対象とする入力画像データ「ＡＲ′」に対して、周波数空間でデコンボリューション計算（ボケを含む画像群から計算によってボケを除去する計算）を行い、全撮像領域における原画像復元画像データ「Ｂｏ＋ｎ」を得て、これを劣化のない原画像の画像データ「Ａ」と推定するようにしてもよい。

本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。 図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図１に示す画像処理装置の処理部で行う処理方法の基本的な手法の概念を説明するための図である。 図３で説明する基本的な手法（処理ルーチン）を説明するための処理フロー図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図４に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。 図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）を説明するための処理フロー図である。 図１３に示す処理方法の概念を説明するための図である。 図１３に示す処理方法（処理ルーチン）の変形例を説明するための処理フロー図である。 図１３および図１５に示す処理方法を利用した他の処理方法を説明するための図で、（Ａ）は処理対象となる原画像のデータを示し、（Ｂ）は（Ａ）のデータを間引いたデータを示す図である。 図１３および図１５に示す処理方法を利用した、さらに他の処理方法を説明するための図で、（Ａ）は処理対象となる原画像のデータを示し、（Ｂ）は（Ａ）のデータの一部を取り出したデータを示す図である。

符号の説明

１ 画像処理装置
２ 撮影部
３ 制御系部
４ 処理部
５ 記録部
６ 検出部
７ 要因情報保存部
Ａ 原画像のデータ
Ａ′ 処理用画像データ
Ｂｏ 任意の画像データ
Ｂｏ′ 比較用画像データ
δＲ 差分のデータ
δＩ・ｉ 差分のデータ
ｋ 配分比
Ｂｏ＋ｎ 復元画像データ（原画像復元画像データ）
Ｇ 伝達関数
Ｈ 変化要因情報データ

Claims (4)

1. 画像を処理する処理部を有する画像処理装置において、
   上記処理部は、
   処理対象となる画像の画像データである入力画像データを、虚数部に高周波成分を有する画像データとする処理用画像データとして生成する処理用画像データ生成処理と、
   実数部と虚数部の画像データを有する任意の画像データから、画像変化の要因となる変化要因情報のデータを利用して、実数部と虚数部の画像データを有する比較用画像データを生成する比較用画像データ生成処理と、
   この比較用画像データと上記処理用画像データとを比較して得られた差分のデータを利用して復元画像データを生成し、この復元画像データを上記任意の画像データの代わりに使用して、上記の復元画像データを生成する処理を繰り返すことで、上記復元画像データの実数部の画像データが、原画像の実数部の画像データに近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、
   この原画像復元画像データと上記処理用画像データとから伝達関数を生成する伝達関数生成処理と、
   を行うことを特徴とする画像処理装置。
2. 画像を処理する処理部を有する画像処理装置において、
   上記処理部は、
   処理対象となる画像の画像データである入力画像データを、虚数部に高周波成分を有する画像データとする処理用画像データとして生成する処理用画像データ生成処理と、
   実数部と虚数部の画像データを有する任意の画像データから、画像変化の要因となる変化要因情報のデータを利用して、実数部と虚数部の画像データを有する比較用画像データを生成する比較用画像データ生成処理と、
   この比較用画像データと上記処理用画像データとを比較して得られた差分のデータを利用して復元画像データを生成し、この復元画像データを上記任意の画像データの代わりに使用して、上記の復元画像データを生成する処理を繰り返すことで、上記復元画像データの実数部と虚数部の画像データが、原画像の実数部と虚数部の画像データに近似する原画像復元画像データを生成する原画像復元画像データ生成処理と、
   この原画像復元画像データと上記処理用画像データとから伝達関数を生成する伝達関数生成処理と、
   を行うことを特徴とする画像処理装置。
3. 前記処理用画像データを、処理対象となる画像が撮像される全撮像領域の中の一部の領域についての入力画像データに基づき生成した縮小処理用画像データとし、上記一部の領域についての入力画像データについて前記伝達関数生成処理を行うことを特徴とする請求項１記載の画像処理装置。
4. 請求項３記載の伝達関数生成処理により生成された伝達関数を利用して、原画像復元画像データを生成することを特徴とする画像処理装置。

Images