JP2008199305A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】復元処理の高速化を図ることができる画像処理装置および画像処理方法を提供する。
【解決手段】撮像素子により撮像された画像を復元処理する処理部４を有する画像処理装置１において、処理部４は、撮像素子の画素の配列方向である縦横方向について、画像のぶれ量を測定し、この測定結果に基づいて、撮像素子の縦横方向に配列される画素のうち、少なくとも一方の配列方向に配列される画素の画像データについて圧縮し、復元処理を行う。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来から、撮像部にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）などの撮像素子を使用するカメラにより撮影を行った撮影画像は、撮影時の手ぶれ、撮影光学系の各種の収差、あるいは撮影光学系を構成するレンズの歪み等がある場合は、これが要因となり、撮影画像が劣化することが知られている。

このような劣化した撮影画像に対しては、撮影時の手ぶれに関しては、手ぶれによるカメラの移動を角加速度センサ等により検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化のない画像に復元処理する方式が知られている（特許文献１参照）。

特開平１１−２４１２２号公報（要約書参照）

しかしながら、近年の撮像素子の多画素化に伴い、画像データ量が増大し、処理時間の短縮化が要求される。そこで、本発明は、復元処理の高速化を図ることができる画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、撮像素子により撮像された画像を復元処理する処理部を有する画像処理装置において、処理部は、撮像素子の画素の配列方向である縦横方向について、画像のぶれ量を測定し、この測定結果に基づいて、撮像素子の縦横方向に配列される画素のうち、少なくとも一方の配列方向に配列される画素の画像データについて圧縮し、復元処理を行うこととする。

画像処理装置をこのように構成した場合には、復元処理の高速化を図ることができる。

また、他の発明は、上述の発明に加え、画像の縦方向についてのぶれ量と横方向についてのぶれ量とを比較し、ぶれ量が大きな方向に配列される画素の画像データについて圧縮し、ぶれ量が小さな方向に配列される画素の画像データについては圧縮せずに、復元処理を行うこととする。

画像処理装置をこのように構成した場合には、ぶれ方向に応じて、縦横方向に配列されるいずれか一方の配列方向に配列される画素の画像データについては圧縮し、他方向の画素の画像データについては圧縮しないため、復元画像の復元精度の低下を抑えながら、復元処理の高速化を図ることができる。

また、他の発明は、上述の発明に加え、画像の縦横方向についてのぶれ量が、縦横方向それぞれについて、所定の量以上または所定の量を超えるときは、いずれの配列方向の画素の画像データについても圧縮することとする。

画像処理装置をこのように構成した場合には、復元処理の高速化を図ることができる。

また、他の発明は、上述の発明に加え、ぶれ量について、縦方向のぶれ量と横方向のぶれ量に応じて縦方向に配列される画素の画像データの圧縮量と横方向に配列される画素の画像データの圧縮量とを決めることとする。

画像処理装置をこのように構成した場合には、縦方向のぶれ量と横方向のぶれ量に応じて、縦方向に配列される画素の画像データの圧縮量と横方向に配列される画素の画像データの圧縮量を決定するので、画像データの圧縮による復元画像の復元精度の低下を抑えながら、復元処理の高速化を図ることができる。

上記課題を解決するために、本発明の画像処理装置は、撮像素子により撮像された画像を復元処理する処理部を有する画像処理装置において、処理部は、撮像素子の画素の配列方向である縦横方向について、画像のぶれ量を測定し、画像の縦方向についてのぶれ量と横方向についてのぶれ量のいずれのぶれ量も所定の量以下または所定の量未満であるときは、いずれの配列方向の画素の画像データについても圧縮することなく復元処理を行うこととする。

画像処理装置をこのように構成した場合には、ぶれ量が小さいにも拘わらず不要な圧縮を行なうことによる復元画像の復元精度の低下を防ぐことができる。

また、他の発明は、上述の発明に加え、画像のぶれ量は、画素の縦横方向の配列方向と画像のぶれ方向との成す角度として測定することとする。

画像処理装置をこのように構成した場合には、角度センサ、角加速度センサ等の出力から、容易にぶれ方向とぶれ量を測定することができる。

上記課題を解決するために、本発明の画像処理方法は、撮像素子により撮像された画像を復元処理する画像処理方法において、撮像素子の画素の配列方向である縦横方向について、画像のぶれ量を測定し、この測定結果に基づいて、撮像素子の縦横方向に配列される画素のうち、少なくとも一方の配列方向に配列される画素の画像データについて圧縮し、復元処理を行うこととする。

画像処理装置をこのように構成した場合には、復元処理の高速化を図ることができる。

上記課題を解決するために、本発明の画像処理方法は、撮像素子により撮像された画像を復元処理する画像処理方法において、撮像素子の画素の配列方向である縦横方向について、画像のぶれ量を測定し、画像の縦方向についてのぶれ量と横方向についてのぶれ量のいずれのぶれ量も所定の量以下または所定の量未満であるときは、いずれの配列方向の画素の画像データについても圧縮することなく復元処理を行うこととする。

画像処理装置をこのように構成した場合には、ぶれ量が小さいにも拘わらず不要な圧縮を行なうことによる復元画像の復元精度の低下を防ぐことができる。

本発明によれば、復元処理の高速化を図ることができる。

（第１の実施の形態）
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、画像処理装置１の動作と併せて、画像処理方法についても説明することとする。この画像処理装置１は、撮像部にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらには核磁気共鳴撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。

画像処理装置１は、人物等の映像を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４とを有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、撮影される画像の変化（劣化）の要因となる変化要因情報を検知する検出部６と、画像の変化等を生じさせる既知の変化要因情報を保存する変化要因情報保存部７を有する。

撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。制御系部３は、撮像部２、処理部４、記録部５、検出部６、および変化要因情報保存部７等、画像処理装置１内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４には、後述する比較用画像の画像データ（以下、比較画像データ）を生成する際の元となる画像が保管されることもある。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りと軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向や方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

変化要因情報保存部７は、撮影画像を変化させる変化要因の情報であって撮影を開始する前に判っている既知の変化要因データが保存される。既知の変化要因の情報としては、例えば、光学系の収差等である。なお、この実施の形態では、変化要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。

次に、以上のように構成された画像処理装置１の処理部４の処理方法の概要を、図３を参照しながら説明する。

図３中、「Ｉ０」は、任意の画像のデータである任意画像データであり、この任意画像データＩ０は、処理部４の記録部に予め保存されている。「Ｉ０′」は、その任意画像データＩ０の変化画像のデータを示し、比較のための画像データ（以下、比較画像データ）である。「Ｇ」は、検出部６で検出された変化要因の情報（＝劣化要因の情報（点像関数））となる変化要因データであり、処理部４の記録部に保存されているものである。なお、「Ｉｍｇ′」は、撮影された画像データ（以下、撮影画像データと言う。）であり、撮影時の手ぶれ等による変化要因によって変化させられているものである。

「δ」は、撮影画像データＩｍｇ′と、比較画像データＩ０′との差分のデータである差分データである。「ｋ」は、変化要因データＧに基づく配分比である。「Ｉ０＋ｎ」は、任意画像データＩ０に、差分データδを変化要因データに基づいて配分して新たに生成した復元画像データである。「Ｉｍｇ」は、撮影画像データＩｍｇ′の基となった、変化する前の本来の画像の画像データ（以下、基画像データという）である。すなわち、基画像データＩｍｇは、手ぶれが無い状態で撮影された劣化の無い画像のデータである。ここで、ＩｍｇとＩｍｇ′の関係は、次の（１）式で現されるものとする。
Ｉｍｇ′＝Ｉｍｇ＊Ｇ …（１）
「＊」は、重畳積分を表わす演算子である。
なお、差分データδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因データＧにより異なり、次の（２）式で表わされる。
δ＝ｆ（Ｉｍｇ′，Ｉ０，Ｇ）…（２）

処理部４の処理ルーチンは、まず、任意画像データＩ０を初期データとして用意することから始まる（ステップＳ１０１）。この初期データである任意画像データＩ０としては、撮影した画像のデータである撮影画像データＩｍｇ′の画像データを用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに任意画像データＩ０を入れ、この任意画像データＩ０が変化要因データＧにより変化させられた比較画像データＩ０′を求める。次に、撮影画像データＩｍｇ′と比較画像データＩ０′とを比較し、差分データδを算出する（ステップＳ１０３）。

次に、ステップＳ１０４で、この差分データδが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな任意画像データ（＝復元画像データ）Ｉ０＋ｎを生成する処理を行う。すなわち、差分データδを変化要因データＧに基づいて、任意画像データＩ０に配分し、復元画像データＩ０＋ｎを生成する。その後、復元画像データＩ０＋ｎをステップＳ１０２における任意画像データＩ０として、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。

ステップＳ１０４において、差分データδが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データＩ０＋ｎを正しいデータ、すなわち劣化のない基画像データＩｍｇのデータと推定し、そのデータを記録部５に記録する。なお、記録部５には、任意画像データＩ０や変化要因データＧを記録しておき、必要により処理部４に渡すようにしても良い。

以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献１の記載にもあるように、理論上は可能であるが、現実問題としては困難である。

最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

このことを換言すれば、図４（Ａ）（Ｂ）に示すように、撮影画像データＩｍｇ′と近似である比較画像データＩ０′（Ｉ０＋ｎ′）を生成できれば、その生成の基データとなる任意画像データＩ０または復元画像データＩ０＋ｎは、撮影画像データＩｍｇ′の基となる基画像データＩｍｇに近似したものとなる。

なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、差分データδの判定基準となる値は、各データを８ビット（０〜２５５）で表わした場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。また、角速度検出センサで検出した手ぶれの生データは、センサ自体の校正が不十分なときは、実際の手ぶれとは対応しない。よって実際の手ぶれに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。

（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、撮影時の露光時間中に手ぶれにより画像処理装置１がぶれた場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のぶれが判れば、露光時間中の光エネルギーの分散の仕方が判るため、ぶれた画像からぶれの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順に、…，ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，…とし、ある画素ｎに注目する。ぶれが無いとき、露光時間中の光エネルギーは、その画素に集中するため、光エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの各画素についての情報についての光エネルギー量分布を図６の表に示す。この図６に示すものが、手ぶれによる劣化のない基画像データＩｍｇについての情報についての基画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表わしている。

露光時間中にぶれがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。光エネルギーの分散の仕方は、図７に示す表の通りとなる。これが変化要因データＧとなる。

ぶれは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ぶれの状況は、図８に示す表の通りとなる。図８中の「理想画像」として示されるデータは、基画像データＩｍｇの基画像データＩｍｇで、「ぶれ画像」として示されるデータが、撮影された画像である撮影画像データＩｍｇ′の撮影画像データＩｍｇ′となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、画像変化の要因であるぶれについての変化要因データＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この撮影画像データＩｍｇ′と、図７に示す変化要因データＧからぶれの無い撮影画像を算出することとなる。

ステップＳ１０１に示す任意画像データＩ０としては、どのようなものでも採用できるが、この説明に当たっては、撮影画像データＩｍｇ′を用いる。すなわち、Ｉ０＝Ｉｍｇ′として処理を開始する。図９の表中に「入力」とされたものが任意画像データＩ０に相当する。この任意画像データＩ０、すなわち撮影画像データＩｍｇ′に、ステップＳ１０２で変化要因データＧを作用させる。すなわち、たとえば、任意画像データＩ０の「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力」として示される比較画像データＩ０′が生成される。その結果、ステップＳ１０３の差分データδは、図９の最下欄に示すようになる。

この後、ステップＳ１０４にて差分データδの大きさを判断する。具体的には、差分データδが全て絶対値で５以下となった場合に処理を終了するが、図９に示す差分データδは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分データδを変化要因データＧを使用して、任意画像データＩ０に配分して、図１０中の「次回入力」として示される復元画像データＩ０＋ｎを生成する。この場合、第１回目であるため、図１０では、ｎ＝１として、Ｉ０＋１と表している。

差分データδの配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素に来ているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素に来ているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を任意画像データＩ０（ここでは撮影画像のデータである撮影画像データＩｍｇ′を使用）にプラスして、復元画像データＩ０＋１を生成している。この復元画像データＩ０＋１は、図１０の表中の「次回入力」に相当するものである。

図１１に示すように、この復元画像データＩ０＋１がステップＳ１０２の入力画像のデータ（＝任意画像データＩ０）になり、ステップＳ１０２が実行される。図１１の表中の「入力」は、復元画像データＩ０＋１に相当する。そして、ステップＳ１０３へと移行し、新しい差分データδを得る。この新しい差分データδの大きさをステップＳ１０４で判断し、所定値より大きい場合、ステップＳ１０５で新しい差分データδを前回の復元画像データＩ０＋１に配分し、新しい復元画像データＩ０＋２を生成する。この復元画像データＩ０＋２は、図１２の表中の「次回入力」に相当するものである。その後、ステップＳ１０２の遂行により、復元画像データＩ０＋２から新しい比較用画像データＩ０＋２′が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。

この画像処理装置１では、処理するに当たり、ステップＳ１０４において、事前に処理回数と、差分データδの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分データδの値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。

ところで、上述の復元処理の高速化を図る手段として、処理対象の撮影画像データＩｍｇ′について、データを間引いて縮小された撮影画像データＳＩｍｇ′を対象として復元処理を行うことが考えられる。データの間引きは、撮影画像データＩｍｇ′の画素の画像データを、例えば、画素一つ置きに間引いたり、あるいは、二つ置きに間引く等の画素の画像データの間引きを行う。このように、縮小された撮影画像データＳＩｍｇ′について、上述した復元処理を行うことで、復元処理の高速化を図ることができる。縮小された撮影画像データＳＩｍｇ′について復元された復元画像については、間引かれた画素の画像データを補完する補完処理を行い、撮影画像データＩｍｇ′と同じサイズの復元画像とする。

しかしながら、例えば、手ぶれの方向が、画素配列の縦横方向のうち、一方向だけに沿っている場合がある。このような場合、上述したような画素の画像データの間引きを、縦横方向に配列される画素について、縦横方向同じに行う（縦横方向同一ピッチで間引く）こととすると、手ぶれのない方向の画素の画像データについても間引きを行うことになる。そのため、撮影画像データＩｍｇ′について、手ぶれによる劣化が生じていない方向の画像データが、間引きにより劣化させられてしまうことになる。

そこで、本実施の形態に示す画像処理装置１の処理部４では、画素配列の縦横方向についての手ぶれの量、すなわち、撮影された画像の縦横方向についてのぶれ量を測定し、この測定結果に応じて、縦横方向いずれの方向に配列される画素の画像データを間引くかを判断する。撮影された画像の縦横方向についてのぶれ量は、手ぶれの方向と画素配列の縦横方向との成す角度と対応した値である。そこで、本実施の形態では、手ぶれの方向と画素配列の縦横方向との成す角度として測定し、この測定結果に応じて、縦横方向いずれの方向に配列される画素の画像データを間引くかを判断する。手ぶれの方向と画素配列の縦横方向との成す角度は、検出部６により検出される変化要因データに基づいて測定する。

具体的には、次のような間引きを行う。

例えば、図１３に示すように、手ぶれの方向Ａが画素配列の縦方向と成す角度αと、手ぶれの方向Ａが画素配列の横方向と成す角度βとを比べて、角度αの方が小さい場合には、画像の劣化の程度は、縦方向の方が、横方向に比べて大きく生じていると考えられる。すなわち、撮影された画像（撮影画像データＩｍｇ′）の縦横方向のぶれ量は、縦方向の方が、横方向に比べて大きいと考えられる。この場合には、撮影画像データＩｍｇ′から縦方向の画素の画像データを間引いた縮小された撮影画像データＳＩｍｇ′を生成し、この縮小された撮影画像データＳＩｍｇ′について、図３に示した復元処理を行う。図１３中、点線で示した格子は、画素の配列を表わしている。後述の図１５および図１７においても同様。

例えば、図１４（Ａ）に示すように、画素の画像データを間引く前の撮影画像データＩｍｇ′の画像データが画素１１〜１６、２１〜２６、３１〜３６、４１〜４６、５１〜５６および６１〜６６の画像データで構成されているとき、縦方向の画素の画像データを一つ置きに間引き、図１４（Ｂ）に示すように、画素１１〜１６、３１〜３６および５１〜５６の画像データから構成される縮小された撮影画像データＳＩｍｇ′を生成する。そして、この縮小された撮影画像データＳＩｍｇ′に対して復元処理を行う。

このような縮小された撮影画像データＳＩｍｇ′について復元処理することで処理速度の高速化を図ることができる。また、この復元画像は、画像のぶれが少ない横方向については画素の画像データの間引きが行われていない。したがって、撮影画像データＩｍｇ′は、横方向については、画像データを圧縮（間引き）により劣化させることなくそのまま使用していることにより精度の高い復元処理が行われる。

一方、手ぶれの方向Ａが、図１５に示すように、画素配列の横方向と成す角度βと、縦方向と成す角度αとを比べて、角度βの方が小さい場合には、画像の劣化の程度は、横方向の方が、縦方向に比べて大きく生じていると考えられる。すなわち、撮影された画像（撮影画像データＩｍｇ′）の縦横方向のぶれ量は、横方向の方が、縦方向に比べて大きいと考えられる。この場合には、撮影画像データＩｍｇ′から横方向の画素の画像データを間引いた縮小された撮影画像データＳＩｍｇ′を生成し、この縮小された撮影画像データＳＩｍｇ′について、図３に示した復元処理を行う。

例えば、図１６（Ａ）に示すように、画素の画像データを間引く前の撮影画像データＩｍｇ′の画像データが画素１１〜１６、２１〜２６、３１〜３６、４１〜４６、５１〜５６および６１〜６６の画像データで構成されているとき、縦方向の画素の画像データを一つ置きに間引き、図１６（Ｂ）に示すように、画素１１〜６１、１３〜６３および１５〜６５の画像データから構成される縮小された撮影画像データＳＩｍｇ′を生成する。そして、この縮小された撮影画像データＳＩｍｇ′に対して復元処理を行う。

このような縮小された撮影画像データＳＩｍｇ′について復元処理することで処理速度の高速化を図ることができる。また、この復元画像は、画像のぶれが少ない縦方向については画像データの間引きが行われていない。したがって、撮影画像データＩｍｇ′は、縦方向については、画像データを圧縮（間引き）により劣化させることなくそのまま使用していることにより精度の高い復元処理が行われる。

上述した手ぶれ方向Ａに応じた画素の画像データの間引き処理については、次のことが言える。画像がぶれている（ぼけている）部分については、画素間のデータの変化（光エネルギー量の差）が小さい。そのため、画素の画像データの間引きを行っても、復元処理された結果として得られる復元画像に対する影響が小さい。したがって、上述したように、縦横方向の画素配列のうち、ぶれ量の大きい方向に配列される画素の画像データについて間引きを行うことで、縮小された撮影画像データＳＩｍｇ′は、復元画像の復元精度の低下が抑えられるような縮小された画像データとなっている。また、撮影画像データＩｍｇ′が縮小されることで、復元処理の処理速度の高速化が図られる。

なお、縮小された撮影画像データＳＩｍｇ′について復元された復元画像については、間引かれた画素のデータを補完する補完処理を行い、撮影画像データＩｍｇ′と同じサイズの復元画像とする。

上記の例では、手ぶれの方向Ａと画素配列の縦方向および横方向との成す角とを比較し、小さい角度を成す方向の画素配列の画像データを圧縮することとしている。言い換えれば、撮影された画像の縦横方向に対するぶれ量の大きな方向の画素配列の画像データを圧縮することとしている。これに対し、図１７に示すように、手ぶれの方向Ａが画素配列の縦方向あるいは横方向に対して、例えば、２０度以内の角度を成す場合には、この角度を成す側の縦方向あるいは横方向の画素の画像データの間引きを行い、また、手ぶれの方向Ａが画素配列の縦方向および横方向に対して、例えば、２０度を越える角度を成す場合には、縦方向および横方向に配列される画素の画像データの間引きを行うようにしてもよい。

このように、両方向（縦方向および横方向）にある程度の角度（ここでは、２０度を超える角度）を成す状態で手ぶれが生じた場合には、撮影画像データＩｍｇ′は両方向にある程度のぶれ量を有する画像となっている。したがって、両方向について、画素の間引きを行ったとしても、復元画像に対する影響が小さい。したがって、復元精度の低下を抑えながら撮影画像データＩｍｇ′を縮小することで、復元処理の処理速度の高速化を図ることができる。なお、ここでの角度の設定（２０度）は、一例であり、要求する復元画像の復元精度や、復元処理の速度等を鑑みて決定する。

また、手ぶれの方向が、画素配列の縦方向および横方向と成す角度に応じて、縦方向の画素の画像データの間引き量と横方向の画素の画像データの間引き量とを決めるようにしてもよい。

図１８にその一例を示す。この例では、手ぶれの方向Ａが画素配列の縦方向に沿うとき（手ぶれの方向Ａの画素配列の縦方向に対する角度αが０とき）には、縦方向の画像データ量が半分（２分の１）になるように、データを間引く。逆に、手ぶれの方向が画素配列の横方向に沿うとき（手ぶれの方向Ａの画素配列の横方向に対する角度βが０とき）には、横方向の画像データ量が半分（２分の１）になるように、データを間引く。

手ぶれの方向Ａが画素配列の縦方向に対して角度αであるときは、縦方向の画素の画像データのデータ量の間引き率を１／２×ＣＯＳα倍とする。すなわち、縦方向の画素の画像データのデータ量の１／２×ＣＯＳα倍を間引く。一方、このとき、手ぶれの方向Ａは画素配列の横方向に対しは角度β（＝９０−α）を成すので、横方向の画素の画像データのデータ量の間引き率を１／２×ＣＯＳβ倍とする。すなわち、横方向の画素の画像データのデータ量の１／２×ＣＯＳα倍を間引く。なお、データの間引きを画素単位で行う場合には、縦横の画素数に１／２×ＣＯＳαあるいは１／２×ＣＯＳβを乗じた値が少数点以下の数値を持つことがある。この場合には、繰り上げ、切り捨てを行い、画素単位で間引きを行うことができるように適宜処理する。

このようにすることで、撮影画像Ｉｍｇ′のぶれ方向とぶれ量に応じて、縮小された撮影画像データＳＩｍｇ′を生成でき、画像データの間引きによる復元画像の劣化を抑えながら、復元処理の処理速度の高速化を図ることができる。

なお、手ぶれの方向が、画素配列の縦方向および横方向と成す角度と、縦方向の画素の画像データの間引き量と横方向の画素の画像データの間引き量との関係は、要求する復元画像の復元精度や、復元処理の速度等を鑑みて決定する。

（第２の実施の形態）
上述の第１の実施の形態においては、手ぶれの方向と画素配列の縦横方向との成す角度に基づいて、縦横方向いずれの方向に配列される画素の画像データを間引くかの判断や画像データの間引き量を決定している。これに対し、以下に第２の実施の形態として説明するように、手ぶれ方向の縦横方向の成分に基づいて、言い換えれば、手ぶれの縦方向へのぶれ量と横方向へのぶれ量に基づいて、縦横方向いずれの方向に配列される画素の画像データを間引くかの判断や画素の画像データの間引き量を決定するようにしてよい。これらのぶれ量は、検出部６により検出される変化要因データに基づいて測定する。

このように手ぶれの縦方向へのぶれ量と横方向へのぶれ量に基づいて画素の画像データを間引くかの判断等は次のように行なうことができる。

縦方向へのぶれ量と横方向へのぶれ量を比較し、ぶれ量が多い方向に配列される画素の画像データの間引きを行うことができる。また、縦方向へのぶれ量と横方向へのぶれ量とを比較し、この比率に基づいて縦横方向に配列される画素の画像データの間引きを行うようにしてもよい。例えば、図１７の例に倣って、縦方向へのぶれ量と横方向へのぶれ量との比（縦方向のぶれ量／横方向のぶれ量）が２．７５（≒ｔａｎ７０、手ぶれの方向が画素配列の縦方向に対して２０度）〜０.３６（≒ｔａｎ２０、手ぶれの方向が画素配列の横方向に対して２０度）の範囲であるときは、縦方向および横方向に配列される画素の画像データの間引きを行う。そして、「縦方向のぶれ量／横方向のぶれ量」が上記の範囲内にないとき、すなわち、「縦方向のぶれ量／横方向のぶれ量」が２．７５以上の場合には、縦方向に多くぶれていると判断できるので、縦方向の画素の画像データの間引きを行う。また、「縦方向のぶれ量／横方向のぶれ量」が０．３６以下の場合には、横方向に多くぶれていると判断できるので、横方向の画素の画像データの間引きを行う。

また、「縦方向のぶれ量／横方向のぶれ量」に応じて、縦方向の画素の画像データの間引き量と横方向の画素の画像データの間引き量とを決めるようにしてもよい。例えば、手ぶれの方向が縦方向のみである場合、すなわち、横方向のぶれ量が０のため「縦方向のぶれ量／横方向のぶれ量」が∞のときは、縦方向の画像データ量が半分（２分の１）になるように、データを間引く。逆に、手ぶれの方向が横方向のみである場合、すなわち、縦方向のぶれ量が０のため、「縦方向のぶれ量／横方向のぶれ量」が０のときは、横方向の画像データ量が半分（２分の１）になるように、データを間引く。

「縦方向のぶれ量／横方向のぶれ量」が０より大きな有限値であるときは、縦方向の画素の画像データのデータ量の間引き率を次の（１）式のＡの倍率とする。

すなわち、縦方向の画素の画像データのデータ量のＡ倍を間引く。一方、このとき、横方向の画素の画像データについては、横方向の画素の画像データのデータ量の間引き率を次の（２）式のＢの倍率とする。

すなわち、横方向の画素の画像データのデータ量のＢ倍を間引く。なお、データの間引きを画素単位で行う場合には、Ａの値、あるいはＢの値が少数点以下の数値を持つことがある。この場合には、繰り上げ、切り捨てを行い、画素単位で間引きを行うことができるように適宜処理する。

上述の各実施の形態において、ぶれ量が所定値以下、または所定値未満であるときは、画素の画像データの圧縮（データの間引き）を行なわないようにしてもよい。このようにすることで、不要な圧縮が行なわれることで復元画像の復元精度を低下させてしまうことを防止することができる。例えば、撮影画像のぶれ量が、撮影光学系の許容錯乱円の半径以下（または未満）であるときは、画像データの圧縮を行わないようにする。

撮影画像のぶれ量が許容錯乱円の半径以下（または未満）である場合には、撮影画像を鑑賞する人間の目は撮影画像のぶれは殆ど判別することができない。したがって、このようにぶれ量が小さい場合には、画素の画像データを圧縮することで返って復元画像の復元精度が低下し、撮影画像よりも劣化した復元画像となってしまう虞がある。そのため、ぶれ量が小さい場合には、画像データの圧縮を行なわないことが適切となる。なお、圧縮を行なうか否かのぶれ量の判断は、撮影画像の用途等に応じて要求されるぶれ量の許容範囲や復元処理の精度等に鑑み決定する。

上述の各実施の形態において、撮像部２が白黒撮影用の撮像部である場合には、上述した復元処理の対象となる撮影画像データＩｍｇ′は、輝度データとなる。また、撮像部２がカラー撮影用の撮像部である場合には、カラー画像データを構成する輝度信号および色差信号（Ｃｒ，Ｃｂ）のそれぞれを撮影画像データＩｍｇ′として、上述した復元処理を行うことになる。なお、撮像部２がカラー撮影用の撮像部である場合には、Ｒ（赤）Ｇ（緑）Ｂ（青）の輝度データをそれぞれ撮影画像データＩｍｇ′としてもよい。

また、上述の各実施の形態では、繰り返し処理を例にしているが、特許文献１に記載されるような逆変換処理等の他の復元処理方法にも本発明を適用することができる。

また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。 図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図１に示す画像処理装置の処理部で行う復元処理を説明するための処理フロー図である。 図３に示す処理方法の概念を説明するための図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの情報についての光エネルギー量の分布を示す図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときの情報についての光エネルギー量のエネルギーの分散を示す図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像のでーたから比較画像データを生成する状況を説明するための図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較画像データと、処理対象となるぶれた撮影画像のデータとを比較して、差分データを生成する状況を説明するための図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分データを配分し任意の画像のデータに加えることで復元画像データを生成する状況を説明するための図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元画像データから新たな比較画像データを生成し、そのデータと処理対象となるぶれた撮影画像のデータとを比較して差分データを生成する状況を説明するための図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分データを配分し、新たな復元画像データを生成する状況を説明するための図である。 図１に示す画像処理装置の処理部で行う角度測定とその後の処理の考え方を説明する図で、手ぶれの方向と画素配列の縦方向および横方向の成す角度を示す図である。 図１に示す画像処理装置の処理部で行う撮影画像データの縦方向の画素の画像データの圧縮を説明する図で、（Ａ）は圧縮する前の撮影画像データを示し、（Ｂ）は縦方向に配列される画素の画像データを間引いた状態の縮小された撮影画像データを示す図である。 図１に示す画像処理装置の処理部で行う角度測定とその後の処理の考え方を説明する図で、手ぶれの方向と画素配列の縦方向および横方向の成す角度を示す図である。 図１に示す画像処理装置の処理部で行う撮影画像データの横方向の画素の画像データの圧縮を説明する図で、（Ａ）は圧縮する前の撮影画像データを示し、（Ｂ）は横方向に配列される画素の画像データを間引いた状態の縮小された撮影画像データを示す図である。 図１に示す画像処理装置の処理部で行う角度測定とその後の処理の考え方を説明する図で、手ぶれの方向と画素配列の縦方向および横方向の成す角度を示す図である。 図１に示す画像処理装置の処理部で行う処理の一部を説明する図で、手ぶれの方向と、画素配列の縦方向および横方向と成す角度に応じて、縦方向の画素の画像データの間引き量と横方向の画素の画像データの間引き量とを決定することを説明するための図である。

符号の説明

１ … 画像処理装置
４ … 処理部
α，β … 画素の配列方向とぶれ方向との成す角度

Claims (8)

1. 撮像素子により撮像された画像を復元処理する処理部を有する画像処理装置において、
   上記処理部は、
   上記撮像素子の画素の配列方向である縦横方向について、上記画像のぶれ量を測定し、
   この測定結果に基づいて、
   上記撮像素子の縦横方向に配列される画素のうち、少なくとも一方の配列方向に配列される画素の画像データについて圧縮し、上記復元処理を行うことを特徴とする画像処理装置。
2. 前記画像の縦方向についてのぶれ量と横方向についてのぶれ量とを比較し、前記ぶれ量が大きな方向に配列される画素の画像データについて圧縮し、前記ぶれ量が小さな方向に配列される画素の画像データについては圧縮せずに、前記復元処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像の縦横方向についてのぶれ量が、前記縦横方向それぞれについて、所定の量以上または上記所定の量を超えるときは、いずれの配列方向の画素の画像データについても圧縮することを特徴とする請求項１に記載の画像処理装置。
4. 前記ぶれ量について、縦方向のぶれ量と横方向のぶれ量に応じて縦方向に配列される画素の画像データの圧縮量と横方向に配列される画素の画像データの圧縮量とを決めることを特徴とする請求項１に記載の画像処理装置。
5. 撮像素子により撮像された画像を復元処理する処理部を有する画像処理装置において、
   上記処理部は、
   上記撮像素子の画素の配列方向である縦横方向について、上記画像のぶれ量を測定し、
   上記画像の縦方向についてのぶれ量と横方向についてのぶれ量のいずれのぶれ量も所定の量以下または上記所定の量未満であるときは、いずれの配列方向の画素の画像データについても圧縮することなく上記復元処理を行うことを特徴とする画像処理装置。
6. 前記画像のぶれ量は、前記画素の縦横方向の配列方向と前記画像のぶれ方向との成す角度として測定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 撮像素子により撮像された画像を復元処理する画像処理方法において、
   上記撮像素子の画素の配列方向である縦横方向について、上記画像のぶれ量を測定し、
   この測定結果に基づいて、
   上記撮像素子の縦横方向に配列される画素のうち、少なくとも一方の配列方向に配列される画素の画像データについて圧縮し、上記復元処理を行うことを特徴とする画像処理方法。
8. 撮像素子により撮像された画像を復元処理する画像処理方法において、
   上記撮像素子の画素の配列方向である縦横方向について、上記画像のぶれ量を測定し、
   上記画像の縦方向についてのぶれ量と横方向についてのぶれ量のいずれのぶれ量も所定の量以下または上記所定の量未満であるときは、いずれの配列方向の画素の画像データについても圧縮することなく上記復元処理を行うことを特徴とする画像処理方法。

Images