JP2007259335A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】効率良くスミアのない手ぶれ補正画像を得る画像処理装置を提供する。
【解決手段】固体撮像素子から出力された複数の画像信号を記憶するメモリ１２と、前記複数の画像信号から、各々の有効画素領域の手ぶれ補正情報と、各々の光学的黒画素領域の手ぶれ補正情報と、を出力する検出手段１３と、前記有効画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせる第１のぶれ補正手段１４と、前記光学的黒画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせる第２のぶれ補正手段１５と、前記第１のぶれ補正手段１４において重ね合わされた画像信号から、前記第２のぶれ補正手段１５において重ね合わされた画像信号を減算処理する減算処理部１６を備える画像処理装置である。
【選択図】図１

Description

本発明は、ＣＣＤ撮像素子等の固体撮像素子を使用した画像処理方法及び画像処理装置に関する。

近年、デジタルスチルカメラを始めとする撮像装置が急速に普及し始めている。デジタル化による高画素処理が可能になったことから、従来難しかった各種の補正が行われるようになっている。例えば、手ぶれ補正もその一つである。手ぶれ補正は、手ぶれ現象を補正する補正手段である。手ぶれ現象とは、撮影者が撮像装置を手に持って狙っている被写体を撮影する場合、撮像装置の位置が安定せずにぶれる現象である。手ぶれ補正は、手ぶれによる画像の変動方向及び変動量を検出し、検出した変動方向及び変動量に応じて移動修正した画像を重ね合わせることにより画像のぶれを補正する。

一方、ＣＣＤ撮像素子を使用した撮像装置では、ＣＣＤ撮像素子特有の現象として、スミア現象による画質劣化が問題となっている。スミア現象は、夜間の撮影等で、ヘッドライト等高輝度の光が撮像装置に入射した場合、光を中心に上下方向に白っぽい筋が現れる現象である。このスミア現象の発生している映像を手ぶれ補正する場合、複数の画像を重ね合わせるため重ね合わせる枚数に比例してスミアが強く（濃く）なるという問題が生じる。図３は、手ぶれ補正のために重ね合わせた画像のスミア量を比較した図である。図３（ａ）は、画像の重ね合わせのないものであり、図３（ｂ）は、４枚の画像を重ね合わせたものである。

図４は、従来の手ぶれ補正の処理の流れを示した図である。手ぶれ補正では、手ぶれによってずれた撮像画像を複数枚重ね合わせる。図４では、４枚の撮像画像２０１、２０２、２０３、２０４を重ね合わせて手ぶれ補正する。撮像条件によってその他の枚数を重ね合わせることも可能である。４枚の撮像画像は手ぶれのため、各々画像の変動方向及び変動量が異なる。４枚の画像には、各々にスミア２０１ａ、２０２ａ、２０３ａ、２０４ａが発生している。各々のスミアの位置も各画像の変動方向及び変動量に従って、ずれている。４枚の画像は、上述した変動方向及び変動量に従って位置を補正して位置あわせし、重ね合わせることにより、手ぶれ補正後の画像２３０が得られる。この時、各画像に発生しているスミア現象も重ね合わされ、スミアの増幅された画像２００が得られる。

手ぶれ補正時にスミアが増幅する現象に対し、スミアの影響を低減する方法が特許文献１に開示されている。特許文献１では、ＣＣＤ撮像素子のＯＢ（Optical Black）領域を利用してスミア減算処理を行うことでスミアの影響を低減している。ＣＣＤ撮像素子のセンサー領域は、撮像領域である有効画素領域と光学的黒画素部分を備えている。光学的黒画素部分は、ＯＢ領域と呼ばれ、有効画素領域の垂直又は水平方向の黒基準を決めるために配置されている。ＯＢ領域には、画像信号は入力されず、ＣＣＤ撮像素子のセンサー上に遮光膜を付けて遮光している部分にあたる。例えば、ＯＢ領域は、有効画素領域の上側垂直方向に１２ライン分、又は有効画素領域の右側水平部分に４０画素分の位置に配設されている。

有効画素領域にスミアが発生した場合、上側垂直方向のＯＢ領域にもスミアは発生する。そして、ＯＢ領域から得られる撮像信号には、有効画素領域より得られる撮像信号と同じレベルでスミア信号が含まれている。スミア減算処理は、有効画素領域より得られる撮像信号から、ＯＢ領域より得られるスミア信号を減算し、スミアを改善する処理である。特許文献１では、スミア減算処理を行った画像を重ね合わせて手ぶれ補正することにより、スミアの影響を低減する技術を開示している。

図５を参照し、上述した画像処理方法について説明する。図５は、手ぶれ補正する画像からスミアの影響を除去する従来処理の流れを示した図である。図５では、図４と同様に４枚の有効領域画像３０１、３０２、３０３、３０４を重ね合わせて手ぶれ補正する。有効領域画像３０１、３０２、３０３、３０４は、各々にＯＢ領域画像３１１、３１２、３１３、３１４を有している。４枚の有効領域画像には、スミア３０１ａ、３０２ａ、３０３ａ、３０４ａが発生している。ＯＢ領域画像３１１、３１２、３１３、３１４にも、スミア３１１ａ、３１２ａ、３１３ａ、３１４ａが発生している。

有効領域画像３０１のスミア３０１ａが発生している水平方向の位置は、ＯＢ領域画像３１１のスミア３１１ａが発生している水平方向の位置と同じである。これは、有効領域画像３０２〜３０４及びＯＢ領域画像３１２〜３１４においても同様である。また、有効領域画像３０１より得られるスミア３０１ａの信号レベルと、ＯＢ領域画像３１１ａより得られるスミア３１１ａの信号レベルは同等である。これは、スミア３０２ａ〜３０４ａ及びスミア３１２ａ〜３１４ａにおいても同様である。

従って、有効領域画像３０１において、ＯＢ領域画像３１１に対するスミア３１１ａ位置と同じ位置に発生している撮像信号から、スミア３１１ａの信号を減算することで、スミアの影響を低減した画像３２１が得られる。同様に、有効領域画像３０２〜３０４から、スミア３１２ａ〜３１４ａの信号を減算することで、スミアの影響を低減したスミア減算画像３２２〜３２４を得ることが可能である。その後、スミア減算処理をしたスミア減算画像３２１〜３２４を重ね合わせることにより、手ぶれ補正後の画像３３０が得られ、スミアのない画像３００が得られる。このように、スミアのある画像では、画像毎にスミア減算処理を実施した上で、重ね合わせることにより手ぶれ補正していた。
特開平０７−６７０３８号公報

しかしながら、発明者は従来技術には以下の課題があることを見出した。スミアのある画像を手ぶれ補正する場合、スミアの発生位置や濃度が画像毎に変化する。従来は画像毎にスミア減算処理を実施し、スミアの影響を低減した画像を重ねあわせることにより手ぶれ補正していた。しかし、このような方法では、重ね合わせ画像毎にスミア判定やスミア減算処理を行う必要があり、処理速度が遅くなるため非常に効率が悪かった。

本発明は、固体撮像素子から出力された複数の画像信号を記憶するメモリと、前記複数の画像信号から、各々の有効画素領域の手ぶれ補正情報と、各々の光学的黒画素領域の手ぶれ補正情報と、を出力する検出手段と、前記有効画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせる第１のぶれ補正手段と、前記光学的黒画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせる第２のぶれ補正手段と、前記第１のぶれ補正手段において重ね合わされた画像信号から、前記第２のぶれ補正手段において重ね合わされた画像信号を減算処理する減算処理部を備える画像処理装置である。

また、固体撮像素子から出力された複数の画像信号を記憶し、前記複数の画像信号から、各々の有効画素領域の手ぶれ補正情報と、各々の光学的黒画素領域の手ぶれ補正情報と、を出力し、前記有効画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせ、前記光学的黒画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせ、前記有効画素領域の画像信号を重ね合わせた画像信号から、光学的黒画素領域の画像信号を重ね合わせた画像信号を減算処理する画像処理方法である。

このように、手ぶれ補正情報に従って重ね合わせた光学的黒画素領域（ＯＢ領域）の画像信号を使用することにより、１回の減算処理でスミアのない手ぶれ補正画像を得ることができる。

以上のような構成により、スミアの発生した撮影画像を手ぶれ補正する効率の良い画像処理装置及び画像処理方法を提供することができる。

発明の実施の形態１．
以下に、本発明の好ましい実施の形態を説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、説明の明確化のため、必要に応じて重複説明は省略されている。

図面を参照し、本実施形態について説明する。図１は、本実施形態に係る画像処理装置を示すブロック図である。画像処理装置１０は、ＣＣＤセンサー１１、ＲＡＭ（Random Access Memory）１２、手ぶれ量検出部１３、有効画素領域ぶれ補正部１４、ＯＢ領域ぶれ補正部１５、スミア減算処理部１６を備えている。

ＣＣＤセンサー１１は、レンズにより結増された光学像を電気信号に変換する固体撮像素子を有している。レンズは、図示されていないが、ＣＣＤセンサー１１の前段に配置され、被写体の光学像を結像するためのものである。ＣＣＤセンサー１１は、２次元的に配列された複数の光電変換回路と、複数の光電変換回路の信号電荷を列方向に転送する垂直転送回路を有している。また、垂直転送回路により転送された行方向のそれぞれの電荷を転送する水平転送回路と、水平転送回路により転送された電荷を出力するための出力アンプとにより構成されている。

ＣＣＤセンサー１１には、固体撮像素子の駆動回路も含まれている。この駆動回路は、例えばＣＣＤを駆動するタイミングを作るタイミングジェネレータ（ＴＧ）回路と、ＴＧ回路で作られたタイミングパルスを固体撮像素子駆動用の電圧パルスに変換する固体撮像素子ドライブ回路を有している。また、ＣＣＤセンサー１１には、固体撮像素子の出力をデジタル化するまでの前処理を行うアナログフロントエンド（ＡＦＥ）回路も含まれている。ＡＦＥ回路は、例えばＣＣＤ素子のリセットノイズや１／ｆノイズをキャンセルするための回路や、ゲイン回路、ＡＤ変換回路を有している。

ＲＡＭ１２は、ＣＣＤセンサー１１から出力される手ぶれ補正に必要な複数の画像を記憶するためのメモリである。ＲＡＭ１２では、有効画素領域の情報だけでなく、スミア減算処理に必要なＯＢ領域の情報も併せて保存する。

手ぶれ量検出部１３は、被写体映像の動きから、撮影者が本撮像装置を手に持って撮影する場合に生じる手ぶれを検出し、手ぶれによる画像の変動方向及び変動量を検出する検出手段である。その変動方向及び変動量が、手ぶれを補正する補正方向及び補正量となる。撮影者の手ぶれによる映像の画郭変動を検出する手段としては、角度センサー等を用いて撮像装置自体の動き状態の変換を検出する方法もある。

手ぶれ量検出部１３では、ＲＡＭ１２に格納された有効画素領域の信号データの変動方向及び変動量から、補正方向及び補正量を抽出する。補正方向及び補正量は、垂直方向及び水平方向の２つの補正情報に分解され出力される。同様に、手ぶれ量検出部１３では、ＲＡＭ１２に格納されたＯＢ領域の信号データの変動方向及び変動量から、補正方向及び補正量を抽出する。但し、ＯＢ領域の補正方向及び補正量については、水平方向の補正情報のみが出力される。

有効画素領域ぶれ補正部１４は、撮像画像の有効画素領域に対する垂直方向及び水平方向両方の補正量に基づいて、手ぶれ補正を行う。有効画素領域ぶれ補正部１４は、手ぶれ量検出部１３にて垂直方向及び水平方向に分解し、出力された有効画素領域の信号データ補正情報を入力する。そして、各信号データの垂直方向及び水平方向の補正方向及び補正量に従って位置を補正する。そして、位置補正した複数の信号データを重ね合わせ、手ぶれ補正を実施する手ぶれ補正手段である。重ね合わせた信号データは、スミア減算処理部１６に出力される。

ＯＢ領域ぶれ補正部１５は、撮像画像のＯＢ領域の水平方向補正量に基づいて、手ぶれ補正を行う。ＯＢ領域ぶれ補正部１５は、手ぶれ量検出部１３から出力されたＯＢ領域の水平方向の信号データ補正情報を入力する。そして、各信号データの水平方向の補正方向及び補正量に従って、位置を補正する。そして、位置補正した複数の信号データを重ね合わせ、手ぶれ補正を実施する手ぶれ補正手段である。その結果、スミアもぶれ補正され、ぶれのない一本のスミアとなる。スミアを含む信号データは、スミア減算処理部１６に出力される。

スミア減算処理部１６は、有効画素領域ぶれ補正部１４及びＯＢ領域ぶれ補正部１５から出力された信号データを用いて、減算処理を実施する。有効画素領域ぶれ補正部１４から出力された信号データは、手ぶれ補正方向及び補正量に従って位置を補正された複数の画像を重ね合わせた手ぶれ補正データである。この手ぶれ補正データでは、スミア現象が発生している部分も重ね合わされている。ＯＢ領域ぶれ補正部１５から出力された信号データは、手ぶれ補正方向及び補正量に従って位置を補正された複数のＯＢ画像を重ね合わせた手ぶれ補正ＯＢデータである。この手ぶれ補正ＯＢデータにも、スミアが発生し、重ね合わされている。

ここで、手ぶれ補正データのスミア発生位置と手ぶれ補正ＯＢデータのスミア発生位置は図示しない原点からの水平方向距離が同じである。また、手ぶれ補正データのスミア信号レベルと手ぶれ補正ＯＢデータのスミア信号レベルは各水平画素位置において同等である。従って、手ぶれ補正データの各画素の信号レベルから、それぞれ同じ水平位置に相当する手ぶれ補正ＯＢデータの信号レベルを減算処理することにより、スミア部分の信号が除去される。その結果、スミアのない手ぶれ補正画像が得られる。手ぶれ補正ＯＢデータが複数ある場合には、予め１水平ライン分に縮小して減算処理に用いる。

図２を参照し、本実施形態に係る画像処理方法について説明する。図２は、手ぶれ補正する画像からスミアの影響を除去する処理の流れを示した図である。図２では、図４及び図５と同様に４枚の有効領域画像１０１、１０２、１０３、１０４を重ね合わせて手ぶれ補正する。撮像条件によってその他の枚数を重ね合わせることも可能である。有効領域画像１０１、１０２、１０３、１０４は、各々にＯＢ領域画像１１１、１１２、１１３、１１４を有している。４枚の有効領域画像には、スミア１０１ａ、１０２ａ、１０３ａ、１０４ａが発生している。ＯＢ領域画像１１１、１１２、１１３、１１４にも、スミア１１１ａ、１１２ａ、１１３ａ、１１４ａが発生している。これらの画像は、ＣＣＤセンサー１１によって撮像された画像をＲＡＭ１２に記憶したものである。

ここで、有効領域画像１０１のスミア１０１ａが発生している水平方向の位置は、ＯＢ領域画像１１１のスミア１１１ａが発生している水平方向の位置と同じである。これは、有効領域画像１０２〜１０４及びＯＢ領域画像１１２〜１１４においても同様である。また、有効領域画像１０１より得られるスミア１０１ａの信号レベルと、ＯＢ領域画像１１１ａより得られるスミア１１１ａの信号レベルは同等である。これは、スミア１０２ａ〜１０４ａ及びスミア１１２ａ〜１１４ａにおいても同様である。手ぶれ量検出部１３では、ＲＡＭ１２に格納された有効画素領域画像の変動方向及び変動量から、垂直方向及び水平方向の補正方向及び補正量を算出し出力する。同様に、手ぶれ量検出部１３では、ＲＡＭ１２に格納されたＯＢ領域の変動方向及び変動量から、水平方向の補正方向及び補正量を算出し出力する。

４枚の有効領域画像１０１、１０２、１０３、１０４は、有効画素領域ぶれ補正部１４にて、各々の変動方向及び変動量に従い垂直位置及び水平位置を補正し、位置あわせされ重ね合わされる。従って、手ぶれ補正後の画像１３０が得られる。また、４枚のＯＢ領域画像１１１、１１２、１１３、１１４は、ＯＢ領域ぶれ補正部１５にて、各々の変動方向及び変動量に従い水平位置を補正し、位置あわせされ重ね合わされる。従って、手ぶれ補正後のＯＢ領域画像１４０が得られる。即ち、重ね合わせることにより、手ぶれ補正後の画像１３０、及びＯＢ領域画像１４０が得られる。手ぶれ補正後の画像１３０のスミア１３０ａ及びＯＢ領域画像１４０のスミア１４０ａは、４枚分のスミア信号が積算された量に増幅されている。

４枚の有効領域画像１０１、１０２、１０３、１０４に発生するスミアの水平位置及び信号レベルと、各々の有効領域画像に対応するＯＢ領域画像１１１、１１２、１１３、１１４の水平位置及び信号レベルは同等である。また、４枚の有効領域画像１０１、１０２、１０３、１０４の濃度と、各々の有効領域画像に対応するＯＢ領域画像１１１、１１２、１１３、１１４の濃度は、同等である。従って、手ぶれ補正後の画像１３０におけるスミア信号の積算量は、ＯＢ領域画像１４０におけるスミア信号の積算量と同じである。

従って、スミア減算処理部１６にて、手ぶれ補正後の画像１３０のスミア１３０ａからＯＢ領域画像１４０のスミア１４０ａの信号レベルを減算することにより、スミアの影響を低減したスミアのない画像１００が得られる。具体的には、画像１３０の各画素の信号レベルからＯＢ領域画像１４０における対象画素と同じ水平座標に該当する画素の信号レベルをそれぞれ減算する。即ち、手ぶれ補正後の画像１３０のスミア１３０ａ位置及び信号レベルは、ＯＢ領域画像１４０のスミア１４０ａ位置及び信号レベルと同等のためである。従って、光源が動くことによりスミアが１本にならない場合でも同様に減算処理することが可能である。

このように、手ぶれ量検出の水平情報を基に重ね合わせた複数のＯＢ領域画像のスミア信号を使用することにより、１回のスミア減算処理で有効画素領域のスミアを除去することができる。ＯＢ領域は、有効画素領域に対して非常にライン数が少なく小さい領域である。従って、ＯＢ領域の情報を重ね合わせて処理する方が、従来技術のように有効領域画像毎にスミア減算を施すよりも処理量の低減を図ることが可能である。

また、手ぶれに合わせてスミアの発生光源位置が動くため、光源位置のぶれに合わせてスミア発生位置が動く。即ち、手ぶれ補正量は、そのままスミア発生位置の補正量として使用することができる。基本的に、スミアは垂直方向に一様に発生する。従って、垂直方向のぶれの影響が除去できる。従って、水平方向の手ぶれ補正情報を流用することにより、特殊な装置や処理を追加することなく、複数画像のスミアを重ね合わせることができる。

また、ＯＢ領域にノイズが発生する場合、このノイズがスミア減算処理に悪影響を与え、適切な減算処理が行われなくなることがある。ＯＢ領域を垂直方向に加算平均することでノイズの影響を低減することができる。また、加算平均するライン数が多い程、ノイズ低減効果は高い。ＯＢ領域の情報は遮光されているため、シャッター速度に因らない。従って、ＯＢ領域を重ね合わせることはすなわちＯＢ領域のライン数が重ね合わせする画像枚数分増すことと同じ効果があり、よりノイズ低減効果が高くなる。

以上のような構成により、スミアの発生した手ぶれ補正は、スミア発生位置が異なる複数画像を重ね合わせたとしても、１回のスミア減算処理でスミアを軽減できる。従って、従来のように撮像画像毎にスミア減算処理を行うよりも高速に画像処理することができる。

また、以上のような構成により、スミアの発生した手ぶれ補正は、ＯＢ領域のスミア情報の重ね合わせと、手ぶれ補正情報の一部を流用することで実現できる。即ち、手ぶれ量検出装置を追加したり、手ぶれ量検出のための処理時間を費やしたりする必要はなく、高速且つ低コストで実現することができる。

また、以上のような構成により、スミアの発生した手ぶれ補正では、ＯＢ領域の重ね合わせにより、スミア減算処理用のＯＢ領域情報に対してノイズを低減する効果がある。従って、スミア減算処理時の画質が向上する。

なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。従って、デジタルスチルカメラに限らず、ＣＣＤ撮像素子を使用する画像処理装置及び画像処理方法に使用することが可能である。

本実施形態に係る画像処理装置の構成を示すブロック図である。 本実施形態に係る画像処理方法の処理の流れを示す図である。 手ぶれ補正時の画像重ね合わせによるスミア増加の撮影画像を比較した図である。 従来技術に係るスミア減算処理のない場合の画像処理方法の処理の流れを示す図である。 従来技術に係るスミア減算処理のある場合の画像処理方法の処理の流れを示す図である。

符号の説明

１ 画像処理装置、
１１ ＣＣＤセンサー、 １２ ＲＡＭ、
１３ 手ぶれ量検出部、 １４ 有効画素領域ぶれ補正部、
１５ ＯＢ領域ぶれ補正部、１６ スミア減算処理部、
１７ 信号処理部、 １８ 制御部、
１０１、１０２、１０３、１０４ 有効領域画像、
１０１ａ、１０２ａ、１０３ａ、１０４ａ スミア、
１１１、１１２、１１３、１１４ ＯＢ領域画像、
１１１ａ、１１２ａ、１１３ａ、１１４ａ スミア、
１３０ 手ぶれ補正後の画像、
１３０ａ 重ね合わせ後のスミア、
１４０ 手ぶれ補正後のＯＢ画像、
１４０ａ 重ね合わせ後のスミア、
１００ スミアのない画像、
２０１、２０２、２０３、２０４ 有効領域画像、
２０１ａ、２０２ａ、２０３ａ、２０４ａ スミア、
２３０ 手ぶれ補正後の画像、
２３０ａ 重ね合わせ後のスミア、
２００ スミアのない画像、
３０１、３０２、３０３、３０４ 有効領域画像、
３０１ａ、３０２ａ、３０３ａ、３０４ａ スミア、
３１１、３１２、３１３、３１４ ＯＢ領域画像、
３１１ａ、３１２ａ、３１３ａ、３１４ａ スミア、
３２１、３２２、３２３、３２４ スミア減算処理後の画像
３３０ 手ぶれ補正後の画像、
３３０ａ 重ね合わせ後のスミア、
３００ スミアのない画像、

Claims (8)

1. 固体撮像素子から出力された複数の画像信号を記憶するメモリと、
   前記複数の画像信号から、各々の有効画素領域の手ぶれ補正情報と、各々の光学的黒画素領域の手ぶれ補正情報と、を出力する検出手段と、
   前記有効画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせる第１のぶれ補正手段と、
   前記光学的黒画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせる第２のぶれ補正手段と、
   前記第１のぶれ補正手段において重ね合わされた画像信号から、前記第２のぶれ補正手段において重ね合わされた画像信号を減算処理する減算処理部を備える画像処理装置。
2. 前記第１のぶれ補正手段から出力される画像信号は、有効画素領域の水平方向及び垂直方向の手ぶれ情報に基づいて重ね合わされた画像信号であり、
   前記第２のぶれ補正手段から出力される画像信号は、光学的黒画素領域の水平方向の手ぶれ情報に基づいて重ね合わされた画像信号である請求項１に記載の画像処理装置。
3. 前記減算処理部は、前記第１のぶれ補正手段で重ね合わせた画像信号から、前記第２のぶれ補正手段で重ね合わされた画像信号を１度に減算処理する請求項１又は２に記載の画像処理装置。
4. 前記第２のぶれ補正手段で重ね合わされた光学的黒画素領域の各画像信号は、重ね合わせにより垂直方向に加重平均される請求項１乃至３に記載の画像処理装置。
5. 固体撮像素子から出力された複数の画像信号を記憶し、
   前記複数の画像信号から、各々の有効画素領域の手ぶれ補正情報と、各々の光学的黒画素領域の手ぶれ補正情報と、を出力し、
   前記有効画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせ、
   前記光学的黒画素領域の手ぶれ補正情報に従って、各画像信号を重ね合わせ、
   前記有効画素領域の画像信号を重ね合わせた画像信号から、光学的黒画素領域の画像信号を重ね合わせた画像信号を減算処理する画像処理方法。
6. 前記有効画素領域の手ぶれ補正情報に従って重ね合わせた画像信号は、該有効画素領域の水平方向及び垂直方向の手ぶれ情報に基づいて重ね合わせ、
   前記光学的黒画素領域の手ぶれ補正情報に従って重ね合わせた画像信号は、該光学的黒画素領域の水平方向の手ぶれ情報に基づいて重ね合わせたことを特徴とする請求項５に記載の画像処理方法。
7. 前記有効画素領域の手ぶれ補正情報に従って重ね合わせた画像信号から、前記光学的黒画素領域の手ぶれ補正情報に従って重ね合わせた画像信号を１度に減算処理することを特徴とする請求項５又は６に記載の画像処理方法。
8. 前記光学的黒画素領域の手ぶれ補正情報に従って重ね合わせた画像信号は、重ね合わせにより垂直方向に加重平均される請求項５乃至７に記載の画像処理方法。