JP2008283477A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みを確実に検出することができる画像処理装置及び画像処理方法を提供する。
【解決手段】 第１フレームＦ１、第２フレームＦ２にシェーディング補正が施される（１００、１０４）。両フレームの輝度エッジが検出され（１０２、１０６）、第１フレームＦ１と第２フレームＦ２のズレ量が算出される（１０８）。第１フレームＦ１と第２フレームＦ２の輝度エッジの位置が重なり合うように両フレームの位置合わせが行われる（１１０）。第１フレームＦ１の画素と第２フレームＦ２の対応画素の画素値が比較されて、第１、第２のフレームにおいて画素値の相関性のない画素が欠陥画素の位置が特定される。画像が補正されて出力フレームＦＯが出力される（１１２）。
【選択図】 図２

Description

本発明は画像処理装置及び画像処理方法に係り、特に撮像素子の画素欠陥又は固体撮像素子に付着した異物の写り込みによる画像の乱れを補正する技術に関する。

特許文献１には、時間的に連続して複数の画像を撮影する撮影ステップと、撮影された画像にかかる画像データをメモリに蓄積する蓄積ステップと、前記画像データに基づき、撮影された画像の特徴量を抽出する抽出ステップと、抽出された前記特徴量に基づき、前記複数の画像の重ね位置を調整する位置調整ステップと、重ねた画像を合成して、より少ない数の画像にする合成ステップとを有する画像入力方法が記載されている。
特開２０００−０６９３５２号公報

従来の固体撮像素子の画素欠陥の補正方法は、欠陥が発生した画素の座標をフラッシュＲＯＭ等に予め記憶しておき、その位置における画素値を補正するものであった。しかしながら、この方法では、固体撮像素子の経時変化や温度特性が原因で発生する画素欠陥や、出荷後に撮像素子に付着した異物の影響を排除することはできなかった。

特許文献１では、２枚の画像の位置合わせを行い、重なった画像部分で平均化することにより白キズを補正するものであるが、欠陥画素や異物の付着箇所を特定するものではなかった。また、特許文献では、２枚の画像を単純に平均するだけでは、画素欠陥の影響をゼロにすることはできないという問題があった。例えば、４枚の画像の重なった部分を平均化したとしても、画素欠陥の画像への影響は４分の１にしかならない。

本発明はこのような事情に鑑みてなされたもので、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みを確実に検出することができる画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本願発明１に係る画像処理装置は、連続して撮影された２枚の画像を取得する画像取得手段と、前記２枚の画像のズレ量を算出するズレ量算出手段と、前記ズレ量に基づいて、前記２枚の画像間で対応する対応画素を特定する対応画素特定手段と、前記対応画素の画素値の差が第１の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定手段とを備えることを特徴とする。

本願発明１によれば、時間的に連続して撮影された２枚の画像の対応画素の画素値に基づいて欠陥画素を判定することにより、撮像素子の経時変化や温度特性により後発的に発生する欠陥画素及び撮像素子に異物が付着することにより発生する欠陥画素を検出することができる。

本願発明２は、本願発明１の画像処理装置において、前記判定手段による判定結果に基づいて、前記２枚の画像を用いて出力用の画像を生成する画像生成手段を更に備えることを特徴とする。

本願発明２によれば、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みに起因する画像の乱れを確実に補正することができる。

本願発明３は、本願発明２の画像処理装置において、前記画像生成手段は、前記２枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする。

本願発明３によれば、時間的に連続して撮影された２枚の画像の対応画素の画素値に基づいて、対応画素のうちどちらが欠陥画素か判定し、欠陥画素でないと判定された画素の画素値を用いて出力用の画像をするようにしたので、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みによる画像の乱れを確実に補正することができる。

本願発明４は、本願発明２又は３の画像処理装置において、前記対応画素の画素値の差が第１の所定値以下の場合に、前記対応画素の平均画素値を算出する算出手段を更に備え、前記画像生成手段は、前記対応画素の画素値の差が第１の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする。

本願発明５に係る画像処理装置は、連続して撮影された３枚以上の画像を取得する画像取得手段と、前記３枚以上の画像のズレ量を算出するズレ量算出手段と、前記ズレ量に基づいて、前記３枚の画像間で対応する対応画素を特定する対応画素特定手段と、前記対応画素の画素値の中央値を算出する第１の算出手段と、前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定手段とを備えることを特徴とする。

本願発明５によれば、時間的に連続して撮影された３枚以上の画像の対応画素の画素値に基づいて３枚以上の画像の対応画素の中に欠陥画素が含まれているかどうかを判定することにより、撮像素子の経時変化や温度特性により後発的に発生する欠陥画素及び撮像素子に異物が付着することにより発生する欠陥画素を検出することができる。

本願発明６は、本願発明５の画像処理装置において、前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第２の算出手段と、前記平均画素値を用いて出力用の画像を生成する画像生成手段とを更に備えることを特徴とする。

本願発明６によれば、時間的に連続して撮影された３枚以上の画像の対応画素の画素値の中央値を算出し、中央値から最も遠い値の画素を除く画素の平均画素値を用いて出力用の画像を生成するようにしたので、後発的に発生した欠陥画素の出力フレームへの影響を排除することができる。

本願発明７は、本願発明１から６の画像処理装置において、前記画像のズレ量が第２の所定値未満の場合に、前記画像取得手段によって取得した画像のうちの１枚を用いて出力用の画像を生成する第２の画像生成手段を更に備えることを特徴とする。

本願発明８は、本願発明１から７の画像処理装置において、画像を撮影するための撮影手段を更に備え、前記画像取得手段は、前記撮影手段によって連続して撮影された画像を取得することを特徴とする。

本願発明８は、本願発明１から７に係る画像処理装置を、撮影手段を備えた撮影装置に限定したものである。

本願発明９は、本願発明８の画像処理装置において、前記撮影手段は、前記画像のズレ量が第２の所定値以上になるまで撮影を繰り返すことを特徴とする。

本願発明９によれば、撮影を繰り返すことにより、欠陥画素を検出するのに適したズレ量（例えば、撮像素子の縦方向又は横方向のいずれか一方に１ピクセル以上）の画像を得ることができる。

本願発明１０は、本願発明９の画像処理装置において、所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第２の所定値以上にならない場合に、前記撮影手段に撮影の繰り返しを中止させる撮影中止手段と、前記撮影の繰り返しが中止された場合に、前記撮影手段によって撮影された画像のうちの１枚を用いて出力用の画像を生成する第３の画像生成手段とを更に備えることを特徴とする。

本願発明１０によれば、本願発明９において撮影を繰り返した場合に、被写体ブレ等により画質が劣化するのを避けることができる。

本願発明１１は、本願発明８から１０の画像処理装置において、前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出手段と、前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を１枚撮影し、該１枚の画像を用いて出力用の画像を生成する第４の画像生成手段とを更に備えることを特徴とする。

本願発明１１によれば、撮影手段が三脚に取り付けられて、複数の画像を連続して撮影しても、欠陥画素を検出するのに適したズレ量（例えば、撮像素子の縦方向又は横方向のいずれか一方に１ピクセル以上）の画像を取得することが困難な場合には、複数の画像の撮影処理を省くことができる。即ち、欠陥画素を検出するのに適したズレ量の画像を取得することができる場合にのみ、複数フレームの撮影及び欠陥画素の検出を行うようにしたので、欠陥画素の検出を確実に行うことができる。

本願発明１２は、本願発明７、１０又は１１の画像処理装置において、前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、１枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記１枚の画像を補正する補正手段とを更に備えることを特徴とする。

本願発明１３は、本願発明８から１１の画像処理装置において、前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第１の撮影モードと、前記撮影手段によって１枚の画像を撮影し、該１枚の画像を用いて出力用の画像を生成する第２の撮影モードとの間で撮影モードを切り替える撮影モード切り替え手段と、前記第２の撮影モード時に、前記欠陥画素情報を用いて前記１枚の画像を補正して前記出力用の画像を生成する第５の画像生成手段とを更に備えることを特徴とする。

本願発明１２及び１３によれば、１枚の画像から出力用の画像を生成する場合に、最新の欠陥画素の判定結果に基づいて画像を補正することができる。

本願発明１４は、本願発明８から１３の画像処理装置において、前記撮影手段は、前記画像間の画像のズレ量が第２の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする。

本願発明１４によれば、撮影の時間間隔を調整することにより、欠陥画素を検出するのに適したズレ量（例えば、撮像素子の縦方向又は横方向のいずれか一方に１ピクセル以上）の画像を得ることができる。

本願発明１５は、本願発明８から１４の画像処理装置において、前記画像間の画像のズレ量が第２の所定値以上になるように、前記撮影手段を駆動する駆動手段を更に備えることを特徴とする。

本願発明１５によれば、撮影手段（例えば、撮像素子又は撮影レンズの少なくとも一方）を駆動することにより、欠陥画素を検出するのに適したズレ量（例えば、撮像素子の縦方向又は横方向のいずれか一方に１ピクセル以上）の画像を得ることができる。

本願発明１６は、本願発明８から１５の画像処理装置において、前記撮影手段に加えられる振動を測定する振動検出手段を更に備え、前記ズレ量算出手段は、前記振動検出手段からの出力に基づいて前記画像のズレ量を算出することを特徴とする。

本願発明１６によれば、角速度センサ等の振動検出手段を用いてブレ量を算出することができる。

本願発明１７は、本願発明１から１５の画像処理装置において、前記ズレ量算出手段は、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする。

本願発明１８に係る画像処理方法は、連続して撮影された２枚の画像を取得する画像取得工程と、前記２枚の画像のズレ量を算出するズレ量算出工程と、前記ズレ量に基づいて、前記２枚の画像間で対応する対応画素を特定する対応画素特定工程と、前記対応画素の画素値の差が第１の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定工程とを備えることを特徴とする。

本願発明１９は、本願発明１８の画像処理方法において、前記判定工程による判定結果に基づいて、前記２枚の画像を用いて出力用の画像を生成する画像生成工程を更に備えることを特徴とする。

本願発明２０は、本願発明１９の画像処理方法において、前記画像生成工程では、前記２枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする。

本願発明２１は、本願発明１９又は２０の画像処理方法において、前記対応画素の画素値の差が第１の所定値以下の場合に、前記対応画素の平均画素値を算出する算出工程を更に備え、前記画像生成工程では、前記対応画素の画素値の差が第１の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする。

本願発明２２に係る画像処理方法は、連続して撮影された３枚以上の画像を取得する画像取得工程と、前記３枚以上の画像のズレ量を算出するズレ量算出工程と、前記ズレ量に基づいて、前記３枚の画像間で対応する対応画素を特定する対応画素特定工程と、前記対応画素の画素値の中央値を算出する第１の算出工程と、前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定工程とを備えることを特徴とする。

本願発明２３は、本願発明２２の画像処理方法において、前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第２の算出工程と、前記平均画素値を用いて出力用の画像を生成する画像生成工程とを更に備えることを特徴とする。

本願発明２４は、本願発明１８から２３の画像処理方法において、前記画像のズレ量が第２の所定値未満の場合に、前記画像取得工程によって取得した画像のうちの１枚を用いて出力用の画像を生成する第２の画像生成工程を更に備えることを特徴とする。

本願発明２５は、本願発明１８から２４の画像処理方法において、撮影手段を用いて画像を撮影する撮影工程を更に備え、前記画像取得工程では、前記撮影手段によって連続して撮影された画像を取得することを特徴とする。

本願発明２６は、本願発明２５の画像処理方法において、前記画像のズレ量が第２の所定値以上になるまで撮影を繰り返すことを特徴とする。

本願発明２７は、本願発明２６の画像処理方法において、所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第２の所定値以上にならない場合に、撮影の繰り返しを中止する撮影中止工程と、前記撮影の繰り返しが中止された場合に、前記撮影された画像のうちの１枚を用いて出力用の画像を生成する第３の画像生成工程とを更に備えることを特徴とする。

本願発明２８は、本願発明２５から２７の画像処理方法において、前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出工程と、前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を１枚撮影し、該１枚の画像を用いて出力用の画像を生成する第４の画像生成工程とを更に備えることを特徴とする。

本願発明２９は、本願発明２４、２７又は２８の画像処理方法において、前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、１枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記１枚の画像を補正する補正工程とを更に備えることを特徴とする。

本願発明３０は、本願発明２５から２８の画像処理方法において、前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第１の撮影モードと、前記撮影手段によって１枚の画像を撮影し、該１枚の画像を用いて出力用の画像を生成する第２の撮影モードとの間で撮影モードを切り替える撮影モード切り替え工程と、前記第２の撮影モード時に、前記欠陥画素情報を用いて前記１枚の画像を補正して前記出力用の画像を生成する第５の画像生成工程とを更に備えることを特徴とする。

本願発明３１は、本願発明２５から３０の画像処理方法において、前記撮影工程において、前記画像間の画像のズレ量が第２の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする。

本願発明３２は、本願発明２５から３１の画像処理方法において、前記画像間の画像のズレ量が第２の所定値以上になるように、前記撮影手段を駆動する駆動工程を更に備えることを特徴とする。

本願発明３３は、本願発明２５から３２の画像処理方法において、前記撮影手段に加えられる振動を測定する振動検出工程を更に備え、前記ズレ量算出工程では、前記振動検出工程における振動の測定結果に基づいて前記画像のズレ量を算出することを特徴とする。

本願発明３４は、本願発明１８から３２の画像処理方法において、前記ズレ量算出工程では、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする。

本発明によれば、時間的に連続して撮影された複数枚の画像の対応画素の画素値に基づいて欠陥画素を特定することができる。これにより、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みによる画像の乱れを確実に補正することができる。

以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。なお、下記の実施形態では、本発明に係る画像処理装置を撮影装置に適用した場合について説明するが、本発明に係る画像処理装置は、例えば、連続して撮影された画像を取得し、取得した画像を処理する機能を有する画像処理装置（例えば、パーソナルコンピュータ（ＰＣ）やビデオ再生装置）にも適用可能である。

［第１の実施形態に係る撮影装置の構成］
図１は、本発明の第１の実施形態に係る撮影装置の主要構成を示すブロック図である。図１に示すように、撮影装置１０は、静止画や動画の記録及び再生機能を備えた電子カメラであり、撮影装置１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動合焦制御（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段として機能する。電源回路１４は、本カメラシステムの各ブロックに電源を供給する。

ＣＰＵ１２には、バス１８を介してＲＯＭ（Read Only Memory）２０及びＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）２２が接続されている。ＲＯＭ２０には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ２２には、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ、Synchronous Dynamic Random Access Memory）２４は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ（Video Random Access Memory）２６は、画像データ専用の一時記憶メモリであり、Ａ領域とＢ領域を含んでいる。なお、メモリ２４とＶＲＡＭ２６は共用することが可能である。

撮影装置１０には、電源スイッチ、モード選択スイッチ、撮影モード切替スイッチ、レリーズボタン、メニュー／ＯＫキー、十字キー、キャンセルキー等の操作スイッチ１６が設けられている。操作スイッチ１６からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮影装置１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置６８の表示制御等を行う。

電源スイッチは、撮影装置１０の電源のオン・オフを切り替えるための操作手段である。

モード選択スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。

撮影モード切替スイッチは、撮影装置１０の撮影モードを切り替える操作手段である。撮影装置１０の撮影モードは、例えば、シーンポジション（例えば、ナチュラルフォト、人物、風景、スポーツ、夜景、水中撮影、接写（花等）又はテキスト文章撮影）に応じてフォーカスや露出を最適化して撮影するためのシーンポジションモード、フォーカスや露出を自動的に設定するオートモード、フォーカスや露出をマニュアルで設定可能なマニュアルモード又は動画撮影モードの間で切り替えられる。

レリーズボタンは、撮影開始の指示を入力する操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。

メニュー／ＯＫキーは、画像表示装置６８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行等を指令するＯＫボタンとしての機能とを兼備した操作キーである。

十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりする操作手段（カーソル移動操作手段）である。また、十字キーの上キー及び下キーは撮影モード時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

キャンセルキーは、選択項目等所望の対象の消去や指示内容の取り消し、あるいは１つ前の操作状態に戻す時等に使用される。

フラッシュボタンは、フラッシュモードを切り替えるためのボタンであり、撮影モードの下、フラッシュボタンを押圧操作することにより、フラッシュモードが、フラッシュ発光／発光禁止の各モードに設定される。

画像表示装置６８は、カラー表示可能な液晶モニタで構成されている。画像表示装置６８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置６８は、ユーザインターフェース用の表示画面としても利用され、メニュー情報や選択項目、設定内容等の情報が表示される。なお、画像表示装置６８としては、液晶モニタのほか、有機ＥＬ（electro-luminescence）等の他の方式の表示装置を用いることも可能である。

撮影装置１０は、図示せぬメディア装着部を有し、メディア装着部には記録メディア３０を着脱可能に装着することができる。記録メディア３０の形態は特に限定されず、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。メディアコントローラ２８は、メディアソケット２８に装着される記録メディア３０に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、撮影装置１０は、パーソナルコンピュータその他の外部機器と接続するための通信手段として外部接続インターフェース部（外部接続Ｉ／Ｆ）３２を備えている。撮影装置１０は、外部接続Ｉ／Ｆ３２を介して外部機器と接続されると、当該外部機器との間でデータの受渡しが可能となる。なお、撮影装置１０と外部機器との間の通信方式としては、例えば、ＵＳＢ、IEEE1394やBluetooth（登録商標）等を採用することができる。

次に、撮影装置１０の撮影機能について説明する。モード選択スイッチによって撮影モードが選択されると、撮像素子（ＣＣＤ）４８を含む撮影部に電源が供給され、撮影可能な状態になる。なお、本実施形態では、撮像素子４８としてＣＣＤを用いたが、例えば、ＣＭＯＳのような他の固体撮像素子を用いるようにしてもよい。

レンズユニット３８は、フォーカスレンズ４２及びズームレンズ４４を含む撮影レンズ４０と、絞り兼用メカシャッター４６とを含む光学ユニットである。撮影レンズ４４のフォーカシングは、フォーカスレンズ４２をフォーカスモータ４２Ａによって移動させることにより行われ、ズーミングは、ズームレンズ４４をズームモータ４４Ａで移動させることにより行われる。フォーカスモータ４２Ａとズームモータ４４Ａは、それぞれフォーカスモータドライバ４２Ｂとズームモータドライバ４４Ｂにより駆動制御される。ＣＰＵ１２は、このフォーカスモータドライバ４２Ｂとズームモータドライバ４４Ｂに制御信号を出力して制御する。

絞り４６は、いわゆるターレット型絞りで構成されており、Ｆ２．８からＦ８の絞り孔が穿孔されたターレット板を回転させて絞り値（Ｆ値）を変化させる。この絞り４６の駆動はアイリスモータ４６Ａによって行われる。アイリスモータ４６Ａはアイリスモータドライバ４６Ｂにより駆動制御される。ＣＰＵ１２は、このアイリスモータドライバ４６Ｂに制御信号を出力して制御する。

レンズユニット３８を通過した光は、ＣＣＤ４８の受光面に結像される。ＣＣＤ４８の受光面には多数の受光素子（例えば、フォトダイオード）が２次元的に配列されており、各受光素子に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＣＣＤ４８は、各受光素子の電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、発振素子４７において発生する所定の周波数の信号に基づいてタイミングジェネレータ（ＴＧ）５６を介してＣＣＤ４８における電荷蓄積時間を制御する。また、ＣＰＵ１２は、ＣＣＤ４８に対して、ＯＦＤ（Overflow Drain）の電位を制御して、ＣＣＤ４８の受光素子に蓄積される信号電荷の上限値を調整する。

ＣＣＤ４８の受光面に結像された被写体像は、各受光素子によって入射光量に応じた量の信号電荷に変換される。各受光素子に蓄積された信号電荷は、ＣＰＵ１２の指令に従いＴＧ５６から与えられる駆動パルスに基づいて信号電荷に応じたアナログの電圧信号として順次読み出される。

ＣＣＤ４８から読み出されたアナログの電圧信号は、アナログ処理部（ＣＤＳ／ＡＭＰ）５０に送られる。そして、アナログ処理部５０において、画素ごとの（点順次の）Ｒ、Ｇ、Ｂ信号がサンプリングホールド（相関２重サンプリング処理）されて増幅された後、Ａ／Ｄ変換器５２に加えられＡ／Ｄ変換される。Ａ／Ｄ変換器５２によってデジタル信号に変換された点順次のＲ、Ｇ、Ｂ信号は、画像入力コントローラ５４を介してメモリ２４に記憶される。アナログ処理部５０におけるＲ、Ｇ、Ｂ信号の増幅ゲインは、撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１２は、この増幅ゲインを調整することにより撮影感度を設定する。

画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ２４を活用しながら、メモリ２４に記憶されたＲ、Ｇ、Ｂ信号に対して所定の信号処理を行う。

画像信号処理回路５８に入力されたＲ、Ｇ、Ｂ信号は、画像信号処理回路５８において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。画像信号処理回路５８により処理された画像データはＶＲＡＭ２６に格納される。

撮影画像を画像表示装置６８にモニタ出力する場合、ＶＲＡＭ２６から画像データが読み出され、バス１８を介してビデオエンコーダ６６に送られる。ビデオエンコーダ６６は、入力された画像データを表示用の所定方式のビデオ信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して画像表示装置６８に出力する。

ＣＣＤ４８から出力される画像信号によって、１コマ分の画像を表す画像データがＶＲＡＭ２６のＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ２６のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２６内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が画像表示装置６８に供給されることにより、撮影中の画像がリアルタイムに画像表示装置６８に表示される。撮影者は、画像表示装置６８に表示されるライブビュー画像（以下、スルー画という）によって撮影画角を確認できる。

レリーズボタンが半押しされ、Ｓ１がオンすると、撮影装置１０はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ４８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５４を介してＡＦ検出回路６０並びにＡＥ／ＡＷＢ検出回路６２に入力される。

ＡＥ／ＡＷＢ検出回路６２は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割し、この分割エリアごとにＲ、Ｇ、Ｂ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。ＣＰＵ１２は、求めた露出値と所定のプログラム線図に従って、絞り値とシャッタースピードを決定し、これに従いＣＣＤ４８の電子シャッター及びアイリスを制御して適正な露光量を得る。

更に、ＣＰＵ１２は、フラッシュ発光モードに設定された場合にフラッシュ制御回路３４にコマンドを送って動作させる。フラッシュ制御回路３４は、フラッシュ発光部３６（放電管）を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ１２からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部３６への放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光手段としては、放電管に代えてＬＥＤを用いることも可能である。

また、ＡＥ／ＡＷＢ検出回路６２は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を制御し、各色チャンネルの信号に補正をかける。

撮影装置１０におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズ４２を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６０は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路６０により求められた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、フォーカスモータドライバ４２Ｂを制御してフォーカスレンズ４２を移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、演算した焦点評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ１２は、求めた合焦位置にフォーカスレンズ４２を移動させるようにフォーカスモータドライバ４２Ｂを制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

レリーズボタンが半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、レリーズボタンが全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ２４に格納される。

メモリ２４に格納されたＹ／Ｃ信号は、圧縮伸張回路６４によって所定のフォーマットに従って圧縮された後、メディアコントローラ２８を介して記録メディア３０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式、動画についてはＡＶＩ（Audio Video Interleaving）形式の画像ファイルとして記録される。

モード選択スイッチにより再生モードが選択されると、記録メディア３０に記録されている最終の画像ファイル（最後に記録された画像ファイル）の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６４によって非圧縮のＹ／Ｃ信号に伸張され、画像信号処理回路５８及びビデオエンコーダ６６を介して表示用の信号に変換された後、画像表示装置６８に出力される。これにより、当該画像ファイルの画像内容が画像表示装置６８の画面上にスルー画表示される。

静止画の１コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象の画像ファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３０から読み出されて画像表示装置６８に再生表示される。

［第１の実施形態に係る画像処理方法］
次に、本実施形態に係る画像処理方法について説明する。通常、撮影レンズの焦点距離が３５ｍｍ版換算でｆ（ｍｍ）の場合、シャッタースピードを１／ｆ秒以上とするとブレるとされている。例えば、撮影レンズの焦点距離が５０ｍｍ相当の場合、シャッタースピードを１／５０秒以上とすると数画素以上のブレが生じる蓋然性が高くなる。本実施形態では、２枚の画像（以下、第１、第２フレームという）を連続撮影する。第１フレームと第２フレームの露光開始時間の間隔は１／ｆ秒以上として、第１、第２フレームの間で１ピクセル以上のブレを生じさせる。第１、第２のフレーム間で対応する画素の画素値を比較することにより、ＣＣＤ４８上において画素欠陥や異物の写り込みが生じている画素（以下、欠陥画素という）を特定し、画像を補正する。

図２は、本発明の第１の実施形態に係る画像補正処理を示すデータフローダイアグラムである。図２に示すように、画像の撮影が行われ、ＣＣＤ４８から第１、第２フレームの画像信号が出力されて画像信号処理回路５８に入力される。第１、第２フレームの画像信号（以下、それぞれ第１フレームＦ１、第２フレームＦ２という）は、画像信号処理回路５８においてシェーディング補正が施される（１００、１０４）。そして、画素値の相関をとることにより両フレームの輝度エッジが検出される（１０２、１０６）。

次に、上記１０２及び１０６において検出された輝度エッジの位置に基づいてパターンマッチングが行われ、第１フレームＦ１と第２フレームＦ２のズレ量が算出される（１０８）。そして、第１フレームＦ１と第２フレームＦ２の輝度エッジの位置が重なり合うように両フレームの位置合わせが行われる（１１０）。これにより、第１フレームＦ１と第２フレームＦ２の画素の対応関係（対応画素）が特定される。

次に、第１フレームＦ１と第２フレームＦ２の対応画素の画素値が順に比較されて、第１、第２のフレームにおいて画素値の相関性のない画素（画素値が極端に離れている対応画素）が欠陥画素として検出され、欠陥画素の位置が特定される。そして、画像が補正されて出力フレームＦＯが出力される（１１２）。

図３は、本発明の第１の実施形態に係る画像補正処理の詳細を示すフローチャートである。まず、撮影スイッチが押下されると第１フレームＦ１が撮影され、シェーディング補正が行われる（ステップＳ１０）。また、第２フレームＦ２が撮影され、シェーディング補正が行われる（ステップＳ１２）。次に、輝度エッジの位置が検出されて、第１フレームＦ１と第２フレームＦ２のズレ量が算出され（ステップＳ１４）、位置合わせが行われる（ステップＳ１６）。

次に、第１フレームＦ１の画素（以下、ステップＳ１８からＳ３２において処理中の第１フレームの画素を注目画素という）と第２フレームＦ２の対応画素の画素値が順に比較される（ステップＳ１８）。注目画素と対応画素の画素値の差の絶対値がしきい値Δ１以下の場合（ステップＳ２０のＹｅｓ）、注目画素と対応画素の画素値の平均値（加算平均値）が出力フレームＦＯの出力画素値に設定される（ステップＳ２２）。

一方、注目画素と対応画素の画素値の差の絶対値がしきい値Δ１より大きい場合、即ち、注目画素又は対応画素のいずれかが欠陥画素の場合には（ステップＳ２０のＮｏ）、第１フレーム上において注目画素の近傍に位置する近傍画素の画素値が比較される（ステップＳ２４）。注目画素と近傍画素の画素値の差の絶対値がΔ２以下の場合（ステップＳ２６のＹｅｓ）、注目画素は欠陥画素ではないと判定され、第１フレームの注目画素の画素値が出力フレームＦＯの出力画素値に設定される（ステップＳ２８）。一方、注目画素と近傍画素の画素値の差の絶対値がΔ２より大きい場合（ステップＳ２６のＮｏ）、注目画素が欠陥画素と判定され、第２フレームの対応画素の画素値が出力フレームＦＯの出力画素値に設定される（ステップＳ３０）。ステップＳ２４及びＳ２６では、注目画素とその近傍の同色の複数の画素とを比較する。例えば、近傍画素の中に以前の処理で欠陥画素と判定された画素がある場合には、ステップＳ２４及びＳ２６において注目画素と比較する近傍画素から除外するようにすればよい。なお、ステップＳ２４及びＳ２６の工程は、同時化処理後に行うようにしてもよい。

そして、第１フレームＦ１、第２フレームＦ２の互いに重なり合うすべての画素についてステップＳ１８からＳ３２の工程が繰り返される（ステップＳ３２）。

本実施形態によれば、第１フレームと第２フレームの重なり合う領域のうち、第１フレームの注目画素と第２フレームの対応画素のいずれも欠陥画素ではない場合には注目画素と対応画素の平均画素値を出力し、いずれかが欠陥画素の場合には欠陥画素ではない方の画素値を出力することにより、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みによる画像の乱れを確実に補正することができる。また、本実施形態によれば、画素欠陥情報を事前に用意しておく必要がない。

なお、例えば、対応画素がすべて白点又は黒点の場合には、白点又は黒点としてもよいし、近傍の画素の画素値から補間して画素値を求めるようにしてもよい。

また、本実施形態において、第１フレームと第２フレームのうち互いに重なり合う画素のみを使用して出力フレームを生成し、重なり合わない領域の画像データは削除するようにしてもよいし、重なり合わない領域の画像データを含む出力フレームを生成するようにしてもよい。重なり合わない領域の画像データを含む出力フレームを生成する場合には、例えば、両フレームが重なり合う領域と重なり合わない領域との境界近傍で重み付け平均を取ることにより、第１フレームと第２フレームのノイズ量等の差のために画像中に境界が現れるのを防止するようにしてもよい。

また、本実施形態では、撮影の都度、第１、第２のフレームの撮影を行って、欠陥画素を検出するようになっているが、本発明はこれに限定されるものではない。例えば、上記図２、図３に従って画像を撮影するための専用の撮影モードを設けて、最新の欠陥画素の位置をＥＥＰＲＯＭ２２等に記憶しておき、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。また、所定の期間ごとに（例えば、電源を所定回数オンした場合、所定枚数の画像を撮影した場合）、上記図２、図３に従って最新の欠陥画素の位置を記憶しておいて、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。

［第１の実施形態に係る画像処理方法の具体例］
次に、本実施形態に係る画像処理方法について具体的に説明する。図４は、撮像素子４８の画素配列を模式的に示す平面図である。図４において、各画素ＰＤは同色の画素である。画素ＰＤ１は欠陥画素である。欠陥画素ＰＤ１の画素値は、常時最大値（白点）又は最小値（黒点）となる。

図５及び図６は、それぞれ図４に示す撮像素子４８を用いて撮影された第１フレーム及び第２フレームの例を示している。図５及び図６は、文字「Ａ」を連続撮影したものである。第２フレームＦ２は、第１フレームＦ１に対してＸ方向に２ピクセル、Ｙ方向に１ピクセルずれている。

図７は、第１、第２フレームの画素値の相関をとって第１フレームと第２フレームとのズレ量を算出し、第２フレームをズレ量分ずらして位置合わせした状態を示す図である。図７において、点線の領域Ａ１は、第２フレーム中で第１フレームと重なる画素がない部分である。図７に示すフレームＦ２’では、欠陥画素の位置がＰＤ１からＰＤ１’に移動する。従って、下記の処理（１）から（３）により欠陥画素を検出することができる。
（１）第１フレームの注目画素と第２フレームの対応画素の画素値を比較して、画素値の差の絶対値がΔ１以下の場合には、注目画素と対応画素の画素値の平均値を出力フレームの出力画素値とする。
（２）注目画素と対応画素の画素値の差の絶対値がΔ１より大きい場合には、第１フレームにおいて注目画素とその近傍画素の画素値を比較する。
（３）注目画素とその近傍画素の画素値の差の絶対値がΔ２より大きい場合には、注目画素が欠陥画素であると判定され、第２フレームの対応画素の画素値を出力フレームＦＯの出力画素値とする。一方、注目画素とその近傍画素の画素値の差の絶対値がΔ２以下の場合には、第１フレームの注目画素の画素値を出力フレームＦＯの出力画素値とする。

これにより、図８に示すような出力フレームＦＯを生成することができる。出力フレームＦＯにおいて、画素ＰＤ１の画素値は第２フレームの画素値であり、画素ＰＤ１’の画素値は第１フレームの画素値である。

また、図１０（ｂ）に示すように、シャッタースピードＴ２を長くした場合には、図９に示すように、手ブレした分だけ被写体の像が滲んでしまうが、本実施形態によれば、図１０（ａ）に示すように、シャッタースピードＴ１（＝Ｔ２／２）の２フレームに分割して時間Ｔｉ（≧１／ｆ）の間隔をおいて撮影し、両フレームを位置あわせして加算することにより電子的な手ブレ補正処理が行うことができる。なお、各フレームの撮影時のシャッタースピードＴ１は１／ｆ秒未満であることが好ましい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、撮影装置１０のブロック構成については、上記第１の実施形態と同様である。

本実施形態では、３枚以上の画像を１／ｆ秒以上の間隔を空けて連続撮影し、各フレーム間で対応する画素の画素値を比較することにより、ＣＣＤ４８上の欠陥画素を特定し、画像を補正する。なお、以下の説明では、３枚の画像（以下、第１、第２、第３フレームという）を撮影する例について説明する。

図１１は、本発明の第２の実施形態に係る画像補正処理を示すデータフローダイアグラムである。図１１に示すように、画像の撮影が行われ、ＣＣＤ４８から第１、第２、第３フレームの画像信号が出力されて画像信号処理回路５８に入力される。画像信号処理回路５８において、第１、第２フレームの画像信号（以下、それぞれ第１フレームＦ２１、第２フレームＦ２２という）にシェーディング補正が施される（２００、２０４）。そして、画素値の相関をとることにより第１、第２フレームの輝度エッジが検出される（２０２、２０６）。

次に、上記２０２及び２０６において検出された輝度エッジの位置に基づいて、第１フレームＦ２１と第２フレームＦ２２のズレ量が算出される（２０８）。そして、第１フレームＦ２１と第２フレームＦ２２の輝度エッジの位置が重なり合うように位置合わせ（パターンマッチング）が行われる（２１０）。

また、画像信号処理回路５８において、第３フレームの画像信号（以下、第３フレームＦ２３という）にシェーディング補正が施され（２１２）、輝度エッジが検出される（２１４）。次に、上記２１４において検出された輝度エッジの位置に基づいて第１フレームＦ２１と第３フレームＦ２３のズレ量が算出される（２１６）。そして、第１フレームＦ２１と第３フレームＦ２３の輝度エッジの位置が重なり合うように位置合わせが行われる（２１８）。

次に、第１フレームＦ２１、第２フレームＦ２２、第３フレームＦ２３の対応画素の画素値が比較されて、欠陥画素を含む対応画素の位置が特定される。そして、画像が補正されて出力フレームＦＯが出力される（２２０）。

図１２は、本発明の第２の実施形態に係る画像補正処理の詳細を示すフローチャートである。まず、撮影スイッチが押下されると第１フレームＦ２１、第２フレームＦ２２、第３フレームＦ２３が順に撮影され、シェーディング補正が行われる（ステップＳ４０からＳ４４）。次に、各フレームの輝度エッジの位置が検出されて、第１フレームＦ２１と、第２フレームＦ２２及び第３フレームＦ２３のズレ量が算出され（ステップＳ４６）、位置合わせが行われる（ステップＳ４８）。

次に、第１フレームＦ２１、第２フレームＦ２２、第３フレームＦ２３の対応画素の中央値が算出される。そして、当該中央値から最も遠い値（即ち、３つの対応画素のうち画素値が最大の画素と最小の画素）を除く画素の平均画素値が算出され、出力フレームＦＯの出力画素値に設定される（ステップＳ５０）。

そして、第１から第３フレームの互いに重なり合うすべての画素についてステップＳ１８からＳ３２の工程が繰り返される（ステップＳ５２）。

本実施形態によれば、３以上のフレームの対応画素の画素値の中央値を算出し、中央値から最も遠い値の画素を除く画素の平均画素値を用いて出力フレームを生成することにより、後発的に発生した欠陥画素の出力フレームへの影響を排除することができる。また、本実施形態によれば、画素欠陥情報を事前に用意しておく必要がない。

なお、例えば、対応画素がすべて白点又は黒点の場合には、白点又は黒点としてもよいし、近傍の画素の画素値から補間して画素値を求めるようにしてもよい。

また、本実施形態において、第１、第２、第３フレームのうち互いに重なり合う画素のみを使用して出力フレームを生成するようにしてもよいし、重なり合わない領域の画像データを含む出力フレームを生成するようにしてもよい。重なり合わない領域の画像データを含む出力フレームを生成する場合には、例えば、第１から第３フレームのうち３枚が重なり合う領域と、２枚が重なり合う領域及びフレームが重なり合わない領域との境界近傍で重み付け平均を取ることにより、各フレーム間のノイズ量等の差のために画像中に境界が現れるのを防止するようにしてもよい。

また、本実施形態では、撮影の都度第１から第３のフレームの撮影を行って、欠陥画素を検出するようになっているが、上記図１１及び図１２に従って画像を撮影するための専用の撮影モードを設けて、最新の欠陥画素の位置をＥＥＰＲＯＭ２２等に記憶しておき、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。また、所定の期間ごとに（例えば、電源を所定回数オンした場合、所定枚数の画像を撮影した場合）、上記図１１、図１２に従って最新の欠陥画素の位置を記憶しておいて、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。

［第２の実施形態に係る画像処理方法の具体例］
次に、本実施形態に係る画像処理方法について具体的に説明する。図１３（ａ）から図１３（ｃ）は、それぞれ第１フレームから第３フレームの例を示している。図１３は、文字「Ａ」を連続撮影したものである。第２フレームＦ２２は、第１フレームＦ２１に対してＸ方向に１ピクセル、Ｙ方向に１ピクセルずれている。第３フレームＦ２３は、第１フレームＦ２１に対してＸ方向に２ピクセル、Ｙ方向に２ピクセルずれている。

図１４（ａ）及び図１４（ｂ）は、それぞれ第２フレーム及び第３フレームを第１フレームと位置合わせした状態を示す図である。図１４（ｂ）の点線の領域Ａ２２は、第２フレーム中で第１フレームと重なる画素がない部分であり、図１４（ｃ）の点線の領域Ａ２３は、第３フレーム中で第１フレームと重なる画素がない部分である。

図１４（ｂ）のフレームＦ２２’では、欠陥画素の位置がＰＤ２１からＰＤ２１’に移動し、図１４（ｃ）のフレームＦ２３’では、欠陥画素の位置がＰＤ２１からＰＤ２１”に移動する。本実施形態によれば、３フレームの対応画素の画素値の中央値を算出し、中央値から最も遠い値の画素を除く２画素の平均画素値を用いて出力フレームを生成することにより、常時最大値（白点）又は最小値（黒点）になる欠陥画素を出力フレームの生成時に除外することができる。これにより、欠陥画素の影響を排除した出力フレームを生成することができる。

また、図１６（ｂ）に示すように、シャッタースピードＴ２を長くした場合には、図１５に示すように、手ブレした分だけ被写体の像が滲んでしまうが、本実施形態によれば、図１６（ａ）に示すように、シャッタースピードＴ１（＝Ｔ２／３）の３フレームに分割して時間Ｔｉ（≧１／ｆ）の間隔をおいて撮影し、３フレームを位置あわせして加算することにより電子的な手ブレ補正処理が行うことができる。なお、連続撮影する回数を増加させて、例えば、手ブレが生じにくいように各フレームの撮影時のシャッタースピードＴ１を１／ｆ秒未満に調整してもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記第１、第２の実施形態と同様の構成については説明を省略する。

一般に、撮影装置１０が三脚に取り付けられている場合には、複数フレームの撮影を行ってもフレーム間でズレが生じにくい。このため、本実施形態では、複数フレームの撮影及び欠陥画素の検出を行わないようにした。

図１７は、本発明の第３の実施形態に係る撮影装置の主要構成を示すブロック図である。図１７に示すように、本実施形態に係る撮影装置１０は、三脚取付検出スイッチ７０を備えている。三脚取付検出スイッチ７０は、撮影装置１０が三脚に取り付けられたことを検出するためのスイッチであり、例えば、撮影装置１０の三脚取付穴の内部又は近傍に配置され、三脚に取り付けられたときに機械的スイッチ又はセンサスイッチである。ＣＰＵ１２は、静止画撮影モード時に三脚取付検出スイッチ７０のオン・オフを検出して、撮影装置１０が三脚に取り付けられているかどうか判定し、撮影制御を行う。

図１８は、本発明の第３の実施形態に係る画像補正処理を示すフローチャートである。動作モードが静止画の撮影モードに設定されると、まず、撮影装置１０が三脚に取り付けられているかどうか判定される（ステップＳ６０）。撮影装置１０が三脚に取り付けられている場合には（ステップＳ６０のＹｅｓ）、１フレーム分の画像が撮影されて出力フレームが生成される（ステップＳ６２）。ステップＳ６２では、例えば、直近の欠陥画素情報をＥＥＰＲＯＭ２２に格納しておき、この欠陥画素情報に基づいて画像の補正を行う。

一方、撮影装置１０が三脚に取り付けられていない場合には（ステップＳ６０のＮｏ）、ステップＳ６４に進み、複数フレームの撮影及び欠陥画素の検出が行われる。なお、ステップＳ６４からＳ７６は、それぞれ図１２のステップＳ４０からＳ５２と同様であるため説明を省略する。

本実施形態によれば、撮影装置１０が三脚に取り付けられて、複数フレームを撮影しても１ピクセル以上ずれた画像を取得することができない場合には、複数フレームの撮影処理を省くことができる。即ち、１ピクセル以上ずれた画像を取得することができる場合にのみ、複数フレームの撮影及び欠陥画素の検出を行うようにしたので、欠陥画素の検出を確実に行うことができる。

なお、本実施形態では、撮影装置１０が三脚に取り付けられていない場合に、上記第２の実施形態と同様の処理（ステップＳ６４からＳ７６）を行うようにしたが、これに代えて図３の処理を行うようにしてもよい。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。なお、撮影装置１０のブロック構成については、上記第１から第３の実施形態と同様である。

図１９は、本発明の第４の実施形態に係る画像補正処理を示すフローチャートである。まず、撮影スイッチが押下されると第１フレームが撮影され、シェーディング補正が行われる（ステップＳ８０）。そして、第２フレームが撮影され、シェーディング補正が行われる（ステップＳ８２）。

次に、輝度エッジの位置が検出されて、第１フレームと第２フレームのズレ量が算出され（ステップＳ８４）、第１フレームと第２フレームのズレ量がしきい値Δ３以上になるまで第２フレームの撮影が繰り返される（ステップＳ８６のＮｏ）。ここで、しきい値Δ３は、例えば、第１フレームと第２フレームとの間でＸ方向又はＹ方向の少なくとも一方にそれぞれ１ピクセル以上のズレ量に相当する値であり、ブレ量の検出誤差及びエリアジングを考慮して決定される。

そして、第１フレームと第２フレームのズレ量がしきい値Δ３以上になると（ステップＳ８６のＹｅｓ）、ステップＳ８８に進み、複数フレームの位置合わせと欠陥画素の検出が行われる（ステップＳ８８からＳ１０４）。なお、ステップＳ８８からＳ１０４は、それぞれ図３のステップＳ１６からＳ３２と同様であるため説明を省略する。

本実施形態によれば、第１フレームと第２フレームのズレ量を確実に１ピクセル以上にすることができるので、欠陥画素の検出を確実に行うことができる。

なお、本実施形態において、所定時間の経過後又は所定回数の撮影を行っても、第１フレームと第２フレームのズレ量がしきい値Δ３未満になる場合には、被写体ブレにより画質が劣化するのを回避するため、撮影したフレームのうちのいずれか（例えば、第１フレーム）から出力フレームを生成するようにしてもよい。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。なお、以下の説明において、上記第１から第４の実施形態と同様の構成については説明を省略する。

図２０は、本発明の第５の実施形態に係る撮影装置の主要構成を示すブロック図である。図２０に示すように、本実施形態に係る撮影装置１０は、角速度センサ７２及び駆動装置７４を備えている。角速度センサ７２は、撮影装置１０に加えられる振動の大きさに応じた角速度信号を出力する。ＣＰＵ１２は、角速度センサ７２から出力される角速度信号及び撮影レンズ４０の焦点距離ｆに基づいて、手ブレ量を測定する。駆動装置７４は、撮像素子４８を光軸に垂直な面内で移動させるための装置である。本実施形態では、連続撮影を行う場合に、手ブレ量が小さい場合に、駆動装置７４を使って撮像素子４８を移動させることにより、複数フレーム間で１ピクセル以上のズレ量を生じさせる。

図２１は、本発明の第５の実施形態に係る画像補正処理を示すフローチャートである。図２１に示すように、静止画の撮影を行う場合には、まず、角速度センサ７２からの出力に基づいて手ブレ量が測定され、手ブレ量がしきい値Δ３以下かどうか判定される（ステップＳ１１０）。ここで、しきい値Δ３は、例えば、第１フレームと第２フレームとの間でＸ方向又はＹ方向の少なくとも一方にそれぞれ１ピクセル以上のズレ量に相当する値であり、ブレ量の検出誤差及びエリアジングを考慮して決定される。

次に、手ブレ量がしきい値Δ３以下の場合には（ステップＳ１１０のＹｅｓ）、撮像素子（ＣＣＤ）４８が第１、第２フレームがＸ方向又はＹ方向の少なくとも一方に１ピクセル分以上ずれるように駆動されて（ステップＳ１１２）、第１フレームと第２フレームの撮影が行われる（ステップＳ１１４、Ｓ１１６）。一方、手ブレ量がしきい値Δ３より大きい場合には（ステップＳ１１０のＮｏ）、ステップＳ１１４に進む。なお、ステップＳ１１４からＳ１３６は、それぞれ図３のステップＳ１０からＳ３２と同様であるため説明を省略する。

本実施形態によれば、撮像素子４８を駆動することにより、第１フレームと第２フレームのズレ量を確実に１ピクセル以上にすることができるので、欠陥画素の検出を確実に行うことができる。

なお、本実施形態では、各フレーム間のズレ量が１ピクセル以上になるようにするために、撮像素子（ＣＣＤ）４８を駆動するようにしたが、例えば、撮影レンズ４０又は図示せぬリレーレンズ等を駆動して撮像素子４８上における画像の結像位置をずらすようにしてもよい。

また、第２の実施形態のように、３フレーム以上の連続撮影を行う場合にも、上記第４、第５の実施形態と同様に、各フレーム間のズレ量が１ピクセル以上になるようにすれば、欠陥画素の検出を確実に行うことができる。

本発明の第１の実施形態に係る撮影装置の主要構成を示すブロック図 本発明の第１の実施形態に係る画像補正処理を示すデータフローダイアグラム 本発明の第１の実施形態に係る画像補正処理の詳細を示すフローチャート 撮像素子４８の画素配列を模式的に示す平面図 図４に示す撮像素子４８を用いて撮影された第１フレームの例 図４に示す撮像素子４８を用いて撮影された第２フレームの例 第１、第２フレームの画素値の相関をとって第１フレームと第２フレームとのズレ量を算出し、第２フレームをズレ量分ずらして位置合わせした状態を示す図 出力フレームＦＯ 手ブレした被写体の像を示す図 本発明の第１の実施形態において手ブレ補正を行う場合のシャッタースピードを模式的に示す図 本発明の第２の実施形態に係る画像補正処理を示すデータフローダイアグラム 本発明の第２の実施形態に係る画像補正処理の詳細を示すフローチャート 第１フレームから第３フレームの例 第２フレーム及び第３フレームを第１フレームと位置合わせした状態を示す図 手ブレした被写体の像を示す図 本発明の第２の実施形態において手ブレ補正を行う場合のシャッタースピードを模式的に示す図 本発明の第３の実施形態に係る撮影装置の主要構成を示すブロック図 本発明の第３の実施形態に係る画像補正処理を示すフローチャート 本発明の第４の実施形態に係る画像補正処理を示すフローチャート 本発明の第５の実施形態に係る撮影装置の主要構成を示すブロック図 本発明の第５の実施形態に係る画像補正処理を示すフローチャート

符号の説明

１０…撮影装置、１２…ＣＰＵ、１４…電源回路、１６…操作スイッチ、１８…バス、２０…ＲＯＭ、２２…ＥＥＰＲＯＭ、２４…メモリ（ＳＤＲＡＭ）、２６…ＶＲＡＭ、２８…メディアコントローラ、３０…記録メディア、３２…外部接続Ｉ／Ｆ、３４…フラッシュ制御回路、３６…フラッシュ発光部、３８…レンズユニット、４０…撮影レンズ、４２…フォーカスレンズ、４４…ズームレンズ、４６…絞り、４８…ＣＣＤ、５０…アナログ処理部（ＣＤＳ／ＡＭＰ）、５２…Ａ／Ｄ変換器、５４…画像入力コントローラ、５６…ＴＧ、５８…画像信号処理回路、６０…ＡＦ検出回路、６２…ＡＥ／ＡＷＢ検出回路、６４…圧縮伸張回路、６６…ビデオエンコーダ、６８…画像表示装置、７０…三脚取付検出スイッチ、７２…角速度センサ、７４…駆動装置

Claims (34)

1. 連続して撮影された２枚の画像を取得する画像取得手段と、
   前記２枚の画像のズレ量を算出するズレ量算出手段と、
   前記ズレ量に基づいて、前記２枚の画像間で対応する対応画素を特定する対応画素特定手段と、
   前記対応画素の画素値の差が第１の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段による判定結果に基づいて、前記２枚の画像を用いて出力用の画像を生成する画像生成手段を更に備えることを特徴とする請求項１記載の画像処理装置。
3. 前記画像生成手段は、前記２枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする請求項２記載の画像処理装置。
4. 前記対応画素の画素値の差が第１の所定値以下の場合に、前記対応画素の平均画素値を算出する算出手段を更に備え、
   前記画像生成手段は、前記対応画素の画素値の差が第１の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする請求項２又は３記載の画像処理装置。
5. 連続して撮影された３枚以上の画像を取得する画像取得手段と、
   前記３枚以上の画像のズレ量を算出するズレ量算出手段と、
   前記ズレ量に基づいて、前記３枚の画像間で対応する対応画素を特定する対応画素特定手段と、
   前記対応画素の画素値の中央値を算出する第１の算出手段と、
   前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定手段と、
   を備えることを特徴とする画像処理装置。
6. 前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第２の算出手段と、
   前記平均画素値を用いて出力用の画像を生成する画像生成手段と、
   を更に備えることを特徴とする請求項５記載の画像処理装置。
7. 前記画像のズレ量が第２の所定値未満の場合に、前記画像取得手段によって取得した画像のうちの１枚を用いて出力用の画像を生成する第２の画像生成手段を更に備えることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. 画像を撮影するための撮影手段を更に備え、
   前記画像取得手段は、前記撮影手段によって連続して撮影された画像を取得することを特徴とする請求項１から７のいずれか１項記載の画像処理装置。
9. 前記撮影手段は、前記画像のズレ量が第２の所定値以上になるまで撮影を繰り返すことを特徴とする請求項８記載の画像処理装置。
10. 所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第２の所定値以上にならない場合に、前記撮影手段に撮影の繰り返しを中止させる撮影中止手段と、
    前記撮影の繰り返しが中止された場合に、前記撮影手段によって撮影された画像のうちの１枚を用いて出力用の画像を生成する第３の画像生成手段と、
    を更に備えることを特徴とする請求項９記載の画像処理装置。
11. 前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出手段と、
    前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を１枚撮影し、該１枚の画像を用いて出力用の画像を生成する第４の画像生成手段と、
    を更に備えることを特徴とする請求項８から１０のいずれか１項記載の画像処理装置。
12. 前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、
    １枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記１枚の画像を補正する補正手段と、
    を更に備えることを特徴とする請求項７、１０又は１１記載の画像処理装置。
13. 前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、
    前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第１の撮影モードと、前記撮影手段によって１枚の画像を撮影し、該１枚の画像を用いて出力用の画像を生成する第２の撮影モードとの間で撮影モードを切り替える撮影モード切り替え手段と、
    前記第２の撮影モード時に、前記欠陥画素情報を用いて前記１枚の画像を補正して前記出力用の画像を生成する第５の画像生成手段と、
    を更に備えることを特徴とする請求項８から１１のいずれか１項記載の画像処理装置。
14. 前記撮影手段は、前記画像間の画像のズレ量が第２の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする請求項８から１３のいずれか１項記載の画像処理装置。
15. 前記画像間の画像のズレ量が第２の所定値以上になるように、前記撮影手段を駆動する駆動手段を更に備えることを特徴とする請求項８から１４のいずれか１項記載の画像処理装置。
16. 前記撮影手段に加えられる振動を測定する振動検出手段を更に備え、
    前記ズレ量算出手段は、前記振動検出手段からの出力に基づいて前記画像のズレ量を算出することを特徴とする請求項８から１５のいずれか１項記載の画像処理装置。
17. 前記ズレ量算出手段は、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする請求項１から１５のいずれか１項記載の画像処理装置。
18. 連続して撮影された２枚の画像を取得する画像取得工程と、
    前記２枚の画像のズレ量を算出するズレ量算出工程と、
    前記ズレ量に基づいて、前記２枚の画像間で対応する対応画素を特定する対応画素特定工程と、
    前記対応画素の画素値の差が第１の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定工程と、
    を備えることを特徴とする画像処理方法。
19. 前記判定工程による判定結果に基づいて、前記２枚の画像を用いて出力用の画像を生成する画像生成工程を更に備えることを特徴とする請求項１８記載の画像処理方法。
20. 前記画像生成工程では、前記２枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする請求項１９記載の画像処理方法。
21. 前記対応画素の画素値の差が第１の所定値以下の場合に、前記対応画素の平均画素値を算出する算出工程を更に備え、
    前記画像生成工程では、前記対応画素の画素値の差が第１の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする請求項１９又は２０記載の画像処理方法。
22. 連続して撮影された３枚以上の画像を取得する画像取得工程と、
    前記３枚以上の画像のズレ量を算出するズレ量算出工程と、
    前記ズレ量に基づいて、前記３枚の画像間で対応する対応画素を特定する対応画素特定工程と、
    前記対応画素の画素値の中央値を算出する第１の算出工程と、
    前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定工程と、
    を備えることを特徴とする画像処理方法。
23. 前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第２の算出工程と、
    前記平均画素値を用いて出力用の画像を生成する画像生成工程と、
    を更に備えることを特徴とする請求項２２記載の画像処理方法。
24. 前記画像のズレ量が第２の所定値未満の場合に、前記画像取得工程によって取得した画像のうちの１枚を用いて出力用の画像を生成する第２の画像生成工程を更に備えることを特徴とする請求項１８から２３のいずれか１項記載の画像処理方法。
25. 撮影手段を用いて画像を撮影する撮影工程を更に備え、
    前記画像取得工程では、前記撮影手段によって連続して撮影された画像を取得することを特徴とする請求項１８から２４のいずれか１項記載の画像処理方法。
26. 前記画像のズレ量が第２の所定値以上になるまで撮影を繰り返すことを特徴とする請求項２５記載の画像処理方法。
27. 所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第２の所定値以上にならない場合に、撮影の繰り返しを中止する撮影中止工程と、
    前記撮影の繰り返しが中止された場合に、前記撮影された画像のうちの１枚を用いて出力用の画像を生成する第３の画像生成工程と、
    を更に備えることを特徴とする請求項２６記載の画像処理方法。
28. 前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出工程と、
    前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を１枚撮影し、該１枚の画像を用いて出力用の画像を生成する第４の画像生成工程と、
    を更に備えることを特徴とする請求項２５から２７のいずれか１項記載の画像処理方法。
29. 前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、
    １枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記１枚の画像を補正する補正工程と、
    を更に備えることを特徴とする請求項２４、２７又は２８記載の画像処理方法。
30. 前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、
    前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第１の撮影モードと、前記撮影手段によって１枚の画像を撮影し、該１枚の画像を用いて出力用の画像を生成する第２の撮影モードとの間で撮影モードを切り替える撮影モード切り替え工程と、
    前記第２の撮影モード時に、前記欠陥画素情報を用いて前記１枚の画像を補正して前記出力用の画像を生成する第５の画像生成工程と、
    を更に備えることを特徴とする請求項２５から２８のいずれか１項記載の画像処理方法。
31. 前記撮影工程において、前記画像間の画像のズレ量が第２の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする請求項２５から３０のいずれか１項記載の画像処理方法。
32. 前記画像間の画像のズレ量が第２の所定値以上になるように、前記撮影手段を駆動する駆動工程を更に備えることを特徴とする請求項２５から３１のいずれか１項記載の画像処理方法。
33. 前記撮影手段に加えられる振動を測定する振動検出工程を更に備え、
    前記ズレ量算出工程では、前記振動検出工程における振動の測定結果に基づいて前記画像のズレ量を算出することを特徴とする請求項２５から３２のいずれか１項記載の画像処理方法。
34. 前記ズレ量算出工程では、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする請求項１８から３２のいずれか１項記載の画像処理方法。

Images