JP2007006021A - 撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 像ブレを抑えつつ、処理時間を短縮可能とすること。
【解決手段】 連続的な撮像により、解像度の異なる２種類の画像として高解像度画像と低解像度画像とを生成する撮像部と、高解像度画像と、その高解像度画像の生成の前と後との少なくとも一方に生成された低解像度画像とを合成して最終画像を生成する合成部とを備える。
【選択図】 図１

Description

本発明は、被写体像を撮像して画像を生成する撮像装置および画像処理をコンピュータで実現するための画像処理プログラムに関する。

従来より、電子カメラなどの撮像装置においては、シャッタスピードが１／３０もしくは１／１５を超えると手ブレが発生することが知られている。そこで、手ブレを抑えるためには、シャッタスピードを１／３０もしくは１／１５以下にするのが好ましい。しかし、撮像素子の感度が低い場合には、通常、ゲインアップにより見かけ上の感度を上げる必要がある。その結果、ゲインアップによりノイズが画質に著しく影響を及ぼす場合がある。そこで、特許文献１の発明では、画像合成の手法を用いて、手ブレや被写体ブレに起因する像ブレのない画像を得る方法が考えられている。
特開２００４−３５７０７１号公報

しかし、上述した特許文献１の発明では、ノイズの影響を抑えることが可能である一方、複数フレームの画像を生成し、合成するという一連の処理に時間を要するという問題がある。
本発明の撮像装置および画像処理プログラムは、像ブレを抑えつつ、処理時間を短縮可能とすることを目的とする。

本発明の撮像装置は、連続的な撮像により、解像度の異なる２種類の画像として高解像度画像と低解像度画像とを生成する撮像部と、前記高解像度画像と、その高解像度画像の生成の前と後との少なくとも一方に生成された前記低解像度画像とを合成して最終画像を生成する合成部とを備える。
なお、好ましくは、前記撮像部は、前記低解像度画像を撮像する際に画素加算を行うようにしても良い。

また、好ましくは、前記撮像部は、複数フレームの前記低解像度画像を生成し、前記合成部は、前記複数フレームの低解像度画像を合成した後に、その合成画像と前記高解像度画像とを合成して前記最終画像を生成するようにしても良い。
また、好ましくは、前記撮像部は、複数フレームの前記高解像度画像を生成し、前記合成部は、前記複数フレームの高解像度画像を合成した後に、その合成画像と前記低解像度画像とを合成して前記最終画像を生成するようにしても良い。

また、好ましくは、前記撮像部は、前記高解像度画像を撮像する際に、その露光時間を手ブレの発生しない手ブレ限界秒時以内に設定するようにしても良い。
また、好ましくは、前記合成部は、前記最終画像を生成する際に、前記高解像度画像と前記低解像度画像との輝度を、輝度の高い方の画像に合わせる補正を行った後に合成するようにしても良い。

また、好ましくは、前記合成部は、前記最終画像を生成する際に、前記高解像度画像と前記低解像度画像との大きさを、何れかの画像に合わせる補正を行った後に合成するようにしても良い。
また、好ましくは、前記合成部は、前記複数フレームの低解像度画像を合成する際に、前記複数フレームの低解像度画像のうち、その生成タイミングが前記高解像度画像の生成タイミングと最も近い画像を基準として位置合わせを行うようにしても良い。

また、好ましくは、被写体の輝度を検出する検出部をさらに備え、前記検出部により検出した前記被写体の輝度が所定値よりも小さい場合に、前記撮像部は、連続的な撮像により前記高解像度画像と前記低解像度画像とを生成し、前記合成部は、前記高解像度画像と前記低解像度画像とを合成して前記最終画像を生成するようにしても良い。
また、好ましくは、前記撮像部は、前記低解像度画像として、構図確認用のスルー画像を生成するようにしても良い。

また、好ましくは、前記合成部は、画像を合成する際に、ベイヤ状態の画像に対して位置合わせを行うようにしても良い。
また、好ましくは、前記撮像部による撮像および前記合成部による合成の開始と終了との少なくとも一方を被撮影者に対して報知する報知部をさらに備えるようにしても良い。
また、好ましくは、被写体を照明する照明発光部をさらに備え、前記照明発光部は、前記撮像部により前記高解像度画像が撮像される際に、少なくとも１回発光して前記被写体を照明するようにしても良い。

また、好ましくは、前記照明発光部は、前記撮像部により前記低解像度画像が撮像される際に、少なくとも１回発光して前記被写体を照明するようにしても良い。
本発明の画像処理プログラムは、コンピュータを、上述した発明の合成部として機能させるための画像処理プログラムである。

本発明の撮像装置および画像処理プログラムによれば、像ブレを抑えつつ、処理時間を短縮可能とすることができる。

〈第１実施形態〉
以下、図面に基づいて、本発明の第１実施形態について詳細に説明する。
なお、第１実施形態では、本発明の撮像装置の一例として、電子カメラを例に挙げて説明を行う。
図１は電子カメラ１の機能ブロック図である。

電子カメラ１は、図１に示すように撮像部２、操作部３、制御部４、照明発光部５、画像処理部６、表示部７、画像記録部８、通信部９の各部を備える。撮像部２は、不図示の撮影光学系、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、Ａ／Ｄ変換部などを備える。なお、ＣＣＤは、連続的な撮像により、解像度の異なる２種類の画像（高解像度画像と低解像度画像）を生成する撮像素子である。操作部３は、ユーザ操作を受け付けるボタンなどの操作部材を備える。制御部４は、内部にメモリ１０を備え、メモリ１０に各部を制御するためのプログラムを予め記録する。照明発光部５は、ＬＥＤなどの発光部を有し被写体を照明する。画像処理部６は、ホワイトバランス調整、圧縮処理などの一般的な画像処理の他に、本発明の特徴である画像合成処理も行う。表示部７は、構図確認用のスルー画像、撮像により生成された画像、およびメニュー画面表示などを表示する。画像記録部８は、リムーバブルメモリなどにより構成され、撮像部より生成された画像を記録する。通信部９は、コンピュータなどの外部機器と相互に接続可能なインタフェースを備える。

撮像部２、制御部４、画像処理部６、画像記録部８、通信部９は、バスを介して相互に接続される。また、制御部４は、操作部３の状態を検知するとともに、バスを介して照明発光部５および表示部７を制御する。
以上説明した構成の電子カメラ１は、画像合成モードを有する。画像合成モードとは、手ブレや被写体ブレに起因する像ブレのない画像を得るための撮影モードであり、このモードの選択は、操作部３を介したユーザ操作により行われる。

以下、図２の流れ図を参照して、画像合成モードが選択された場合の制御部４の動作について説明する。なお、図２の流れ図におけるステップ番号は、説明を行うためのものであり、必ずしもこの順番で処理を行うわけではない。また、複数のステップ番号の処理が同時に行われる場合もある。
画像合成モードが選択されると、制御部４はこれを検知し、撮像部２を介して構図確認用の画像であるスルー画像の撮像を開始する。撮像部２は、スルー画像として、低解像度の画像を生成する。不図示のＣＣＤは、所定の時間間隔で繰り返し撮像を行い、４画素加算処理をした後にＲＡＷデータとして出力する。そして、生成したスルー画像を表示部７に表示するとともにメモリ１０に一時記録する。ユーザは、表示部７に表示されたスルー画像を目視することにより、構図確認が可能である。また、制御部４は、メモリ１０に、常に最新の４フレーム分のスルー画像を記録する。すなわち、新しいスルー画像を撮像してメモリ１０に一時記録するたびに、最も古いスルー画像を削除する。

ステップＳ１において、制御部４は、最新の４フレームのスルー画像のＲＡＷデータをメモリ１０から読み出す。
ステップＳ２において、制御部４は、画像処理部６を介して、ステップＳ１で読み出した最新の４フレームのスルー画像のＲＡＷデータに対して、ディベイヤー処理およびホワイトバランス処理を行う。

ステップＳ３において、制御部４は、画像処理部６を介して、ステップＳ２でディベイヤー処理およびホワイトバランス処理を施した４フレームのスルー画像の画像データに対して、ブロックマッチングを行って、加算合成処理を施す。このとき、４フレームのスルー画像のうち、最後に生成された画像を基準としてブロックマッチングを行う。そして、加算合成処理後の合成画像の画像データを、メモリ１０に一時記録する。

制御部４は、ステップＳ１〜ステップＳ３の処理を、操作部３を介して撮像開始が指示されるまで繰り返し行う。すなわち、新しいスルー画像を撮像するたびに、メモリ１０に最新の４フレームのスルー画像の画像データと、それらの画像の合成画像の画像データとを一時記録する。
そして、操作部３を介して撮像開始が指示されると、制御部４は、撮像部２を介して本撮像を開始する。撮像部２は、本撮像として、高解像度の画像を生成する。このとき、露光時間は、手ブレ限界秒時（１／３０〜１／１５秒程度）内に設定する。これは、像ブレの少ない高解像度画像を生成するためである。不図示のＣＣＤは、インターレース方式で本撮像を行い、３フレームの画像を高解像度ＲＡＷデータとして出力する。

ステップＳ４において、制御部４は、上述した本撮像の開始とともに、メモリ１０から最新の合成画像の画像データを読み出し、画像処理部６を介して、ローパスフィルタ処理を行う。
ステップＳ５において、制御部４は、ローパスフィルタ処理後の合成画像に対してリサイズ処理を行う。なお、制御部４は、リサイズにより、ローパスフィルタ処理後の合成画像を、本撮像により生成される画像と同じ大きさにする。

一方、ステップＳ６において、制御部４は、撮像部２から高解像度ＲＡＷデータを読み出す。
ステップＳ７において、制御部４は、ステップＳ６で読み出した高解像度ＲＡＷデータに対して、画像処理部６を介して、ディベイヤー処理を行う。
ステップＳ８において、制御部４は、ステップＳ７でディベイヤー処理を施した画像データに対して、画像処理部６を介して、ローパスフィルタ処理を行う。

ステップＳ９において、制御部４は、ステップＳ７でディベイヤー処理を施した画像データと、ステップＳ８でローパスフィルタ処理を施した画像データとに基づいて、画像処理部６を介して、アンシャープマスク処理を行う。画像処理部６は、ステップＳ７でディベイヤー処理を施した画像データと、ステップＳ８でローパスフィルタ処理を施した画像データとの差分を求め、エッジ抽出を行った後に所定のアンシャープマスク係数を乗じ、後段の加算合成処理に用いる。

ステップＳ１０において、制御部４は、ステップＳ５でリサイズ処理を施したスルー画像由来の画像と、ステップＳ８でローパスフィルタ処理を施した画像とに対して、画像処理部６を介して、ブロックマッチングを行って、加算合成処理を施す。
ステップＳ１１において、制御部４は、ステップＳ１０で加算合成処理を施した画像の画像データに対して、画像処理部６を介して、ガンマ処理を行う。

ステップＳ１２において、制御部４は、画像処理部６を介して、ステップＳ１１でガンマ処理を施した画像の画像データに対して、ステップＳ９のアンシャープマスク処理の結果を加算合成処理し、最終画像を生成する。
そして、制御部４は、最終画像に対して、画像処理部６を介して、圧縮処理などの所定の処理を施した後に、画像記録部８に記録する。

以上説明したように、第１実施形態によれば、連続的な撮像により、解像度の異なる２種類の画像として高解像度画像と低解像度画像とを生成し、高解像度画像と、その高解像度画像の生成の前と後との少なくとも一方に生成された低解像度画像とを合成して最終画像を生成する。したがって、感度の良い低解像度画像と、像ブレの少ない高解像度画像とを合成することにより、像ブレを抑えることができる。また、低解像度画像を利用することにより、従来のように高解像度画像を合成する場合に比べて、処理時間を短縮可能とすることができる。また、低解像度画像と、高解像度画像とを合成することにより、従来よりもＳ／Ｎ比の向上が期待できる。

また、第１実施形態によれば、低解像度画像を撮像する際に画素加算を行う。したがって、被写体が暗い場合でも、画素加算により十分感度の良い低解像度画像を生成することができる。
また、第１実施形態によれば、複数フレームの低解像度画像を生成し、それらの低解像度画像を合成した後に、その合成画像と高解像度画像とを合成して最終画像を生成する。したがって、処理時間を短縮するとともに、感度の良い低解像度画像を生成することができる。

また、第１実施形態によれば、複数フレームの高解像度画像を生成し、それらの高解像度画像を合成した後に、その合成画像と低解像度画像とを合成して最終画像を生成する。したがって、処理時間を短縮するとともに、像ブレの少ない高解像度画像を生成することができる。
また、第１実施形態によれば、高解像度画像を撮像する際に、その露光時間を手ブレの発生しない手ブレ限界秒時以内に設定する。したがって、像ブレの少ない高解像度画像を生成することができるので、最終画像の画質の向上が期待できる。

また、第１実施形態によれば、最終画像を生成する際に、高解像度画像と低解像度画像との輝度を、輝度の高い方の画像に合わせる補正を行った後に合成する。したがって、より自然な最終画像を生成することができる。
また、第１実施形態によれば、最終画像を生成する際に、高解像度画像と低解像度画像との大きさを、何れかの画像に合わせる補正を行った後に合成する。したがって、本来は大きさの異なる低解像度画像と高解像度画像とを容易に加算合成することができる。

また、第１実施形態によれば複数フレームの低解像度画像を合成する際に、複数フレームの低解像度画像のうち、その生成タイミングが高解像度画像の生成タイミングと最も近い画像を基準として位置合わせを行う。したがって、低解像度画像の合成の際に、より被写体の状態に即した合成を行うことができる。
また、第１実施形態によれば、低解像度画像として、構図確認用のスルー画像を生成する。したがって、撮像開始指示が行われる前に生成されたスルー画像を利用して最終画像を生成することになり、従来のように撮影開始指示が行われてから全ての画像を撮像して合成する場合に比べて、処理時間を短縮可能とすることができる。

〈第２実施形態〉
以下、本発明の第２実施形態について詳細に説明する。
なお、第２実施形態では、本発明の撮像装置の一例として、第１実施形態と同様に、電子カメラを例に挙げて説明を行う。以下では、第１実施形態と異なる部分についてのみ説明を行う。

第２実施形態の電子カメラは、第１実施形態の電子カメラ１と同様の構成を有する。以下では、第１実施形態と同様の符号を用いて説明する。
また、第２実施形態の電子カメラは、第１実施形態の電子カメラ１と同様に、画像合成モードを有する。このモードの選択は、第１実施形態と異なり、制御部４による自動判断により行われる。制御部４は、本撮像時の露光時間、被写体の動きの変化、照明発光部５による発光の有無などに基づいて、画像合成モードを実行するか通常モードを実行するかを決定する。例えば、本撮像時の露光時間が、１／３０秒より長い場合には、画像合成モードを実行するようにしても良い。また、露光時間が１／３０より短い場合でも、ダイナミックレンジの向上を目的として画像合成モードを実行するようにしても良い。ただし、動きベクトルが大きい場合には、通常モードを実行するのが好ましい。また、露光時間が１／３０より長く、かつ、照明発光部５による発光が行われる場合に、画像合成モードを実行するようにしても良い。さらに、電子カメラ１が加速度センサなどを備える場合には、そのセンサの出力も加味してモードの選択を実行するようにしても良い。加速度センサの出力と動きベクトルとを比較することにより、手ブレが発生しているのか被写体が動いているのかを判別することができる。

以下、図３の流れ図を参照して、画像合成モードが選択された場合の制御部４の動作について説明する。なお、図３の流れ図におけるステップ番号は、説明を行うためのものであり、必ずしもこの順番で処理を行うわけではない。また、複数のステップ番号の処理が同時に行われる場合もある。
画像合成モードが選択されると、制御部４はこれを検知し、第１実施形態と同様に、撮像部２を介して構図確認用の画像であるスルー画像の撮像を開始する。

ステップＳ２１において、制御部４は、最新の４フレームのスルー画像のＲＡＷデータをメモリ１０から読み出す。
ステップＳ２２において、制御部４は、画像処理部６を介して、ステップＳ２１で読み出した最新の４フレームのスルー画像のＲＡＷデータに対して、ホワイトバランス処理を行う。この時点では、第１実施形態とは異なり、ディベイヤー処理を行わないので、ベイヤ状態のままで以降の処理が行われる。

ステップＳ２３において、制御部４は、画像処理部６を介して、ステップＳ２２でホワイトバランス処理を施した４フレームのスルー画像の画像データに対して、ブロックマッチングを行って、平均化処理を施す。すなわち、４フレームのスルー画像の画像データを加算し、４で除すことにより平均化を行う。そして、平均化処理後の合成画像の画像データを、メモリ１０に一時記録する。

制御部４は、ステップＳ２１〜ステップＳ２３の処理を、操作部３を介して撮像開始が指示されるまで繰り返し行う。
そして、操作部３を介して撮像開始が指示されると、制御部４は、撮像部２を介して本撮像を開始する。撮像部２は、本撮像として、高解像度の画像を生成する。このとき、露光時間は、手ブレ限界秒時（１／３０〜１／１５秒程度）内に設定する。これは、像ブレの少ない高解像度画像を生成するためである。不図示のＣＣＤは、インターレース方式で本撮像を行い、３フレームの画像を高解像度ＲＡＷデータとして出力する。なお、第２実施形態では、本撮像において、撮像部２は、繰り返し撮像を行う（詳細は後述する）。

ステップＳ２４において、制御部４は、上述した本撮像の開始とともに、ステップＳ２３で平均化処理を施した画像に対して、画像処理部６を介してリサイズ処理を行う。なお、制御部４は、リサイズにより、平均化処理後の画像を、本撮像により生成される画像と同じ大きさにする。
一方、ステップＳ２５において、制御部４は、撮像部２から最新の２フレームの高解像度ＲＡＷデータを読み出す。

ステップＳ２６において、制御部４は、ステップＳ２５で読み出した２フレームの高解像度ＲＡＷデータに対して、画像処理部６を介して、動きベクトル検出を行う。
そして、検出した動きベクトルの動き量が所定値以下の場合、ステップＳ２７において、制御部４は、画像処理部６を介して、ステップＳ２５で読み出した２フレームの高解像度ＲＡＷデータに対して、ブロックマッチングを行って、加算合成処理を施す。

一方、ステップＳ２６で検出した動きベクトルの動き量が所定値より大きい場合、制御部４は、ステップＳ２５に戻り、新たに最新の２フレームの高解像度ＲＡＷデータを読み出す。このような処理を行うことにより、像ブレの少ない高解像度画像を得ることができる。ただし、動きベクトルの動き量が所定値以下にならない場合には、最初に生成した高解像度ＲＡＷデータのみを使用するようにしても良い。

ステップＳ２８において、制御部４は、ステップＳ２７で加算合成処理を施した画像に対して、画像処理部６を介して、画素加算圧縮を行う。圧縮時の係数は、ステップＳ２７の加算合成処理により合成された画像の枚数をａ、スルー画像撮像時のＣＣＤによる画素加算数をｂとすると、ｂ／ａとなる。
ステップＳ２９において、制御部４は、ステップＳ２７で加算合成処理を施した画像に対して、画像処理部６を介して、ゲイン調整を行う。ゲイン調整の係数は、ステップＳ２７の加算合成処理により合成された画像の枚数をａとすると、１／ａとなる。

ステップＳ３０において、制御部４は、ステップＳ２３で平均化処理を施したスルー画像由来の画像と、ステップＳ２８で画素加算圧縮処理を施した高解像度ＲＡＷデータ由来の画像とに対して、画像処理部６を介して、ブロックマッチングを行う。
ステップＳ３１において、制御部４は、ステップＳ３０のブロックマッチングの結果に基づいて、ＸＹ座標の差分を抽出する。

ステップＳ３２において、制御部４は、画像処理部６を介してずらし補間処理を行う。制御部４は、ステップＳ２４でリサイズ処理を施したスルー画像由来の画像と、ステップＳ２８で画素加算圧縮処理を施した高解像度ＲＡＷデータ由来の画像とに対して、ステップＳ３１で抽出したＸＹ座標の差分に基づいてずらし補間を行う。すなわち、ステップＳ３１で抽出したＸＹ座標の差分の小数点以下を利用して画素ずらしを行うことにより解像度を上げることができる。

ステップＳ３３において、制御部４は、ステップＳ３２でずらし補間処理を施した画像の画像データに対して、画像処理部６を介して、ガンマ処理を行う。
ステップＳ３４において、制御部４は、ステップＳ３２でずらし補間処理を施したスルー画像由来の画像の画像データと、ステップＳ２９でゲイン調整を施した高解像度ＲＡＷデータ由来の画像の画像データとに基づいて、画像処理部６を介して、アンシャープマスク処理を行う。画像処理部６は、図２のステップＳ９と同様に差分を求め、エッジ抽出を行った後に所定のアンシャープマスク係数を乗じ、後段の加算合成処理に用いる。

ステップＳ３５において、制御部４は、ステップＳ３３でガンマ処理を施した画像の画像データに対して、ステップＳ３４のアンシャープマスク処理の結果を加算合成処理し、最終画像を生成する。
ステップＳ３６において、制御部４は、ステップＳ３５で加算合成処理を施した画像データに対して、画像処理部６を介して、ディベイヤー処理を行い、最終画像を生成する。

そして、制御部４は、最終画像に対して、画像処理部６を介して、圧縮処理などの所定の処理を施した後に、画像記録部８に記録する。
以上説明したように、第２実施形態によれば、被写体の輝度を検出する検出部をさらに備え、検出部により検出した被写体の輝度が所定値よりも小さい場合に、連続的な撮像により高解像度画像と低解像度画像とを生成し、高解像度画像と低解像度画像とを合成して最終画像を生成する。したがって、被写体の状況に応じて、画像の合成を実行することができる。

また、第２実施形態によれば、画像を合成する際に、ベイヤ状態の画像に対して位置合わせを行う。したがって、従来に比べて処理時間を短縮することが期待できる。
なお、第１実施形態および第２実施形態において、撮像および合成の開始と終了との少なくとも一方を被撮影者に対して報知するようにしても良い。すなわち、電子カメラ１が備えるランプやスピーカなどを利用して、被撮影者に対して報知することにより、被撮影者の注意を適切に喚起することができる。例えば、インジケータＬＥＤなどを備える場合には、継続的に点灯することにより、分かり易く報知することができる。

また、いわゆるスローシンクロ撮影の場合にも本発明を適用することができる。すなわち、本撮像時（高解像度画像が撮像される際）に、発光して被写体を照明することにより高解像度画像の画質を向上させることが期待でき、また、スルー画像の撮像時（低解像度画像が撮像される際）に、発光して被写体を照明することにより、低解像度画像の感度を向上させることが期待できる。なお、スローシンクロ撮影に適用する場合には、低解像度画像と高解像度画像とを合成して最終画像を生成するときに、ブロックマッチングを行わずに合成すると良い。

また、第１実施形態および第２実施形態では、低解像度画像を生成した後に高解像度画像を生成する例を示したが、本発明はこの例に限定されない。例えば、高解像度画像を生成した後に低解像度画像を生成するようにしても良いし、高解像度画像の生成の前後に生成した低解像度画像を利用するようにしても良い。ただし、上述したスローシンクロ撮影に関しては、低解像度画像を生成した後に高解像度画像を生成するのが好ましい。

また、第２実施形態の高解像度画像の部分で説明したように、動きベクトルに基づいて、合成に用いる高解像度画像および低解像度画像を決定するようにしても良い。また、撮影の最中で動きベクトルが著しく変化した場合や、加速度センサと動きベクトルとの間に不整合が生じた場合には、その前までの画像データのみを合成するようにしても良い。
また、第１実施形態および第２実施形態で合成に供した高解像度画像および低解像度画像のフレーム数はこの例に限定されない。また、適宜フレーム数を可変するようにしても良い。例えば、被写界の暗さ、被写体の動き、ＣＣＤの構成、要求される解像度などに応じて、高解像度画像および低解像度画像のフレーム数を決定するようにしても良い。一般に、解像度優先する場合には、フレーム数を多くし、ブレの補正を優先する場合には、フレーム数を少なくすると良い。

また、第１実施形態および第２実施形態では、常に最新の４フレームのスルー画像を記録しておく例を示したが、本発明はこの例に限定されない。例えば、スルー画像に対して動きベクトル検出を行い、動きベクトルの動き量が所定値を超えた場合には、全てのスルー画像を破棄して、再び記録し直すようにしても良い。また、レリーズボタンが半押しされてからスルー画像の一時記録を開始するようにしても良い。また、スルー画像の撮像中（本撮像前）に、ズームが指示された場合には、適宜リサイズ処理を行って、後段の合成に備えるようにすれば良い。

また、第１実施形態および第２実施形態では、撮像部２は、４画素加算タイプのＣＣＤを備える例を示したが、９画素加算タイプのＣＣＤなど、他の構成のＣＣＤであっても良い。また、加算する画素数が可変であっても良い。また、インターレース方式のＣＣＤを例に挙げて説明を行ったが、プログレッシブ方式のＣＣＤにも本発明を同様に適用することができる。また、画素加算タイプのＣＣＤではなく、間引きタイプのＣＣＤにも本発明を同様に適用することができる。

また、第１実施形態および第２実施形態において、画像記録部８に最終画像を記録する際には、最終画像のみを記録しても良いし、最終画像と、その元となった画像（合成に供した画像）とを関連付けて記録するようにしても良い。圧縮してから記録しても良いし、非圧縮の状態で記録しても良い。また、
また、第１実施形態および第２実施形態で説明した合成処理を、撮影直後に行わずに、ユーザ操作に基づいて行うようにしても良いし、電源ＯＦＦ後、バックグラウンドで行うようにしても良い。

また、第１実施形態および第２実施形態において、撮像装置が行った動作を、コンピュータで実現するようにしても良い。すなわち、撮像装置によって生成された画像をコンピュータに取り込み、取り込んだ画像に対して、第１実施形態および第２実施形態で説明した画像の合成などの処理を行うようにしても良い。コンピュータで実現する場合には、コンピュータに本発明の画像処理プログラムをインストールしておき、各画像とともに、第１実施形態および第２実施形態で説明した画像の合成などの処理と同等の処理が実現可能な付帯情報（角速度センサの出力など）を、コンピュータに取り込むようにすれば良い。また、第１実施形態および第２実施形態で説明した画像の合成などの処理の途中までを電子カメラ１で実現し、以降の処理をコンピュータで実現するようにしても良い。

また、第１実施形態および第２実施形態で説明した発明を、適宜入れ替えまたは組み合わせて実行するようにしても良い。

本発明の電子カメラ１の構成を示すブロック図である。 第１実施形態の電子カメラ１の動作を示す流れ図である。 第２実施形態の電子カメラ１の動作を示す流れ図である。

符号の説明

１，電子カメラ ２，撮像部 ４，制御部 ５，照明発光部 ６，画像処理部

Claims (15)

1. 連続的な撮像により、解像度の異なる２種類の画像として高解像度画像と低解像度画像とを生成する撮像部と、
   前記高解像度画像と、その高解像度画像の生成の前と後との少なくとも一方に生成された前記低解像度画像とを合成して最終画像を生成する合成部と
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部は、前記低解像度画像を撮像する際に画素加算を行う
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮像部は、複数フレームの前記低解像度画像を生成し、
   前記合成部は、前記複数フレームの低解像度画像を合成した後に、その合成画像と前記高解像度画像とを合成して前記最終画像を生成する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記撮像部は、複数フレームの前記高解像度画像を生成し、
   前記合成部は、前記複数フレームの高解像度画像を合成した後に、その合成画像と前記低解像度画像とを合成して前記最終画像を生成する
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記撮像部は、前記高解像度画像を撮像する際に、その露光時間を手ブレの発生しない手ブレ限界秒時以内に設定する
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記合成部は、前記最終画像を生成する際に、前記高解像度画像と前記低解像度画像との輝度を、輝度の高い方の画像に合わせる補正を行った後に合成する
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置において、
   前記合成部は、前記最終画像を生成する際に、前記高解像度画像と前記低解像度画像との大きさを、何れかの画像に合わせる補正を行った後に合成する
   ことを特徴とする撮像装置。
8. 請求項３に記載の撮像装置において、
   前記合成部は、前記複数フレームの低解像度画像を合成する際に、前記複数フレームの低解像度画像のうち、その生成タイミングが前記高解像度画像の生成タイミングと最も近い画像を基準として位置合わせを行う
   ことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置において、
   被写体の輝度を検出する検出部をさらに備え、
   前記検出部により検出した前記被写体の輝度が所定値よりも小さい場合に、前記撮像部は、連続的な撮像により前記高解像度画像と前記低解像度画像とを生成し、前記合成部は、前記高解像度画像と前記低解像度画像とを合成して前記最終画像を生成する
   ことを特徴とする撮像装置。
10. 請求項１に記載の撮像装置において、
    前記撮像部は、前記低解像度画像として、構図確認用のスルー画像を生成する
    ことを特徴とする撮像装置。
11. 請求項１から請求項４の何れか１項に記載の撮像装置において、
    前記合成部は、画像を合成する際に、ベイヤ状態の画像に対して位置合わせを行う
    ことを特徴とする撮像装置。
12. 請求項１に記載の撮像装置において、
    前記撮像部による撮像および前記合成部による合成の開始と終了との少なくとも一方を被撮影者に対して報知する報知部をさらに備えた
    ことを特徴とする撮像装置。
13. 請求項１に記載の撮像装置において、
    被写体を照明する照明発光部をさらに備え、
    前記照明発光部は、前記撮像部により前記高解像度画像が撮像される際に、少なくとも１回発光して前記被写体を照明する
    ことを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記照明発光部は、前記撮像部により前記低解像度画像が撮像される際に、少なくとも１回発光して前記被写体を照明する
    ことを特徴とする撮像装置。
15. コンピュータを、請求項１から請求項１４の何れか１項に記載の合成部として機能させるための画像処理プログラム。
    

Images