JP2015041852A - 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】明るさの異なる複数の被写体を有するシーンでも所望の画像を取得可能な撮像装置を提供する。
【解決手段】撮像装置は、光学像を光電変換して画像信号を出力する撮像素子と、画像信号に対して互いに異なるパラメータを用いて、第１の画像および第２の画像を生成する生成手段と、第２の画像に対してフィルタ処理を行うフィルタ処理手段と、第１の画像の明るさに基づいて第１の画像および第２の画像を合成して合成画像を生成する合成手段とを有し、第２の画像は、第１の画像よりも明るくなるように互いに異なるパラメータが設定される。
【選択図】図４

Description

本発明は、撮像素子を備えた撮像装置に関する。

近年のデジタルカメラ（撮像装置）において、夜景や星空を撮影する際には、マニュアルで長秒撮影を行い、撮影モードを夜景モードに設定して感度を上げずに低ノイズで撮影を行うことができる。またストロボ撮影時において、スローシンクロなどのように主被写体にはストロボ照射光により適正露出にし、長秒撮影により背景も明るく撮影可能な撮影モードがある。例えば特許文献１には、ストロボ発光撮影と長秒撮影の多重露光を行う多重露光カメラが開示されている。

特開平４−２１５６３３号公報

しかしながら、星空をメインに撮影したい場合などの特定の撮影シーンにおいて、星空を所望の露出で撮影するとき、撮影画像に含まれる建物などの被写体が明るすぎて白とびする場合がある。また、撮影後に星を強調しようとすると、撮影画像に含まれる建物などの被写体のエッジを強調しすぎてしまう場合がある。また、スローシンクロでの撮影時に星空の露出を適正にすると、主被写体の外光の照射具合により主被写体が明るすぎて白とびする場合がある。また、星空をメインに撮影したい場合においては、都会や田舎など撮影シーンに応じて撮影画像に含まれる被写体が異なるため、星空や撮影画像に含まれる被写体を考慮して、撮影シーンに応じた適切な画像処理を行うことが好ましい。

そこで本発明は、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号に対して互いに異なるパラメータを用いて、第１の画像および第２の画像を生成する生成手段と、前記第２の画像に対してフィルタ処理を行うフィルタ処理手段と、前記第１の画像の明るさに基づいて前記第１の画像および前記第２の画像を合成して合成画像を生成する合成手段とを有し、前記第２の画像は、前記第１の画像よりも明るくなるように前記互いに異なるパラメータが設定される。

本発明の他の側面としての撮像システムは、撮像光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、撮像素子からの画像信号に対して互いに異なるパラメータを用いて、第１の画像および第２の画像を生成するステップと、前記第２の画像に対してフィルタ処理を行うステップと、前記第１の画像の明るさに基づいて前記第１の画像および前記第２の画像を合成して合成画像を生成するステップと、を有し、前記第２の画像は、前記第１の画像よりも明るくなるように前記互いに異なるパラメータが設定される。

本発明の他の側面としてのプログラムは、前記撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とする、コンピュータで実行可能なプログラムである。

本発明の他の側面としての記憶媒体は、コンピュータに、前記撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体である。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

本実施例における撮像装置の構成を示すブロック図である。 第１、３の実施形態における画像処理回路の構成を示すブロック図である。 第１の実施形態における撮像装置の動作を示すフローチャートである。 第２、４の実施形態における画像処理回路の構成を示すブロック図、および、画像処理回路の説明図である。 第２の実施形態における撮像装置の動作を示すフローチャートである。 第１の実施形態における画像処理回路の説明図である。 第３、４の実施形態において想定する撮影シーンの説明図である。 第３の実施形態における撮像装置の動作を示すフローチャートである。 第４の実施形態における撮像装置の動作を示すフローチャートである。 第４の実施形態における撮像装置の動作を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本実施例における撮像装置（デジタルカメラ）の構成について説明する。図１は、本実施例における撮像装置の構成を示すブロック図である。

撮像装置１００において、１０は撮影レンズ（撮像光学系）、１２は絞り機能を備える機械式シャッター、１４は被写体像（光学像）を光電変換して画像信号としての電気信号（アナログ信号）を出力する撮像素子である。１６は、撮像素子１４から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４およびＡ／Ｄ変換器１６にクロック信号および制御信号を供給するタイミング発生回路であり、メモリ制御回路２２およびシステム制御回路５０により制御される。本実施例において、機械式シャッター１２に代えて、撮像素子１４のリセットタイミングを制御する電子シャッターを用いて蓄積時間を制御することができ、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータまたはメモリ制御回路２２からのデータに対して所定の画素補間処理、色変換処理、ノイズ除去処理、エッジ強調処理などを行う。また画像処理回路２０は、メモリ制御回路２２からの画像データに対して、顔検出のためのウェーブレット変換処理などを行う。また画像処理回路２０は、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行うために撮像画像（画像データ）を用いて所定の演算処理を行う。そして、得られた演算結果をＷＢ（ホワイトバランス）評価値として算出し、算出されたＷＢ評価値に基づいて画像データの色変換などを行う。更に、画像処理回路２０は、ＴＴＬ方式のＡＦ処理、ＡＥ処理、および、ＥＦ処理をそれぞれ行うためのＡＦ評価値、ＡＥ評価値、および、ＥＦ評価値を算出するため、撮像画像（画像データ）を用いて所定の演算処理を行う。システム制御回路５０は、画像処理回路２０から得られたＡＦ評価値、ＡＥ評価値、および、ＥＦ評価値に基づいて、所定のアルゴリズムに従って露光制御手段４０および測距制御手段４２を制御する。

また後述のように、画像処理回路２０は、現像回路２０２、フィルタ回路２０５、二値化回路２０７、および、合成回路２０９を備えて構成される。これらの各回路は、システム制御回路５０により制御される。好ましくは、システム制御回路５０は、撮影シーンが夜景であると判定した場合、現像回路２０２、フィルタ回路２０５、二値化回路２０７、および、合成回路２０９を動作させる。また好ましくは、システム制御回路５０は、撮影モードが夜景モードに設定されている場合、現像回路２０２、フィルタ回路２０５、二値化回路２０７、および、合成回路２０９を動作させる。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０（記憶手段）、および、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデータ（画像信号）は、画像処理回路２０およびメモリ制御回路２２を介して、または、直接メモリ制御回路２２を介して、メモリ３０に記憶される。

２８は、ＴＦＴ−ＬＣＤなどを備えて構成される画像表示部である。メモリ３０に書き込まれた表示用の画像データは、メモリ制御回路２２を介して画像表示部２８（表示手段）に表示される。画像表示部２８を用いて撮像画像（画像データ）を逐次表示することにより、電子ファインダ機能を実現することが可能である。また画像表示部２８は、システム制御回路５０の指示に基づいて、任意に表示のＯＮ／ＯＦＦを行うことが可能である。画像表示部２８は、その表示をＯＦＦにした場合、撮像装置１００（画像処理装置）の電力消費を低減することができる。

３０は、撮影した静止画像や動画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。またメモリ３０は、システム制御回路５０の作業領域としても使用可能である。

３１は、ＥＥＰＲＯＭ（フラッシュメモリ）などを備えて構成された不揮発性メモリである。システム制御回路５０が実行するプログラム（プログラムコード）は、不揮発性メモリ３１に書き込まれる。システム制御回路５０は、不揮発性メモリ３１に記憶されたプログラムを逐次読み出しながら撮像装置１００の機能を実行する。また、不揮発性メモリ３１には、システム情報を記憶する領域やユーザ設定情報を記憶する領域などが設けられている。このような構成により、種々の情報や設定を次回の起動時に読み出して復元することが可能となる。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理したデータをメモリ３０に書き込む。４０は、絞り機能を備える機械式シャッター１２を制御する露光制御手段である。露光制御手段４０は、フラッシュ４８と連携することによりフラッシュ調光機能を有する。４２は、撮影レンズ１０のフォーカシングを制御する測距制御手段である。４４は、撮影レンズ１０のズーミングを制御するズーム制御手段である。４８はフラッシュ（ストロボまたは発光手段）であり、ＡＦ補助光の投光機能、および、フラッシュ調光機能を有する。露光制御手段４０および測距制御手段４２は、ＴＴＬ方式を用いて制御されている。５０は、撮像装置１００（画像処理装置）の全体を制御するシステム制御回路（制御手段）である。システム制御回路５０は、画像処理回路２０による撮像画像（画像データ）の演算結果に基づいて、露光制御手段４０および測距制御手段４２を制御する。

６０、６２、６４、６６、７０、７２は、システム制御回路５０の各種の動作指示を入力するための操作手段である。これらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置などの単数または複数の組み合わせにより構成される。以下、これらの操作手段について具体的に説明する。

６０はモードダイアルスイッチである。モードダイアルスイッチ６０は、電源オフ、静止画撮影モード、パノラマ撮影モード、動画撮影モード、スナップ動画撮影モード、再生モード、マルチ画面再生、ＰＣ接続モード、テレビ受信モードなどの各機能モードを切り替え設定することができる。また、モードダイアルスイッチ６０は、夜景モードなどの撮影モードを設定可能である。６２は第１シャッタースイッチ（ＳＷ１）である。第１シャッタースイッチ６２は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などの撮影準備動作開始を指示する。

６４は第２シャッタースイッチ（ＳＷ２）である。第２シャッタースイッチ６４は、シャッターボタンの操作完了でＯＮとなり、一連の処理の動作開始を指示する。この一連の処理において、まず、撮像素子１４から読み出された信号（画像データ）をＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に書き込む画像取り込み処理が行われる。また、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、および、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮処理を行う処理が行われる。そして、記録媒体１２０に画像データを書き込む記録処理が行われる。

６６は、表示切替スイッチであり、画像表示部２８の表示切替を行うことができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ−ＬＣＤなどを備えて構成される画像表示部２８への電流供給を遮断して省電力を図ることが可能となる。７０は、各種ボタンやタッチパネルなどを備えて構成される操作部である。操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンなどを備えている。また操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなども備えている。

７２は、ユーザが撮像画像の倍率変更の指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチ、および、撮像画角を広角側に変更させるワイドスイッチを備えて構成される。ズームスイッチ７２を操作は、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示して光学ズーム操作を行うためのトリガとなる。また、ズームスイッチ７２の操作は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的な変更のトリガともなる。

７４は、撮影シーン検出部（撮影シーン検出手段）である。撮影シーン検出部７４は、夜景や昼間などの撮影シーンを検出（判定）する。８６は、アルカリ電池やリチウム電池などの一次電池、または、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、および、ＡＣアダプターなどを備えて構成される電源手段である。９０は、メモリカードやハードディスクなどの記録媒体とのインタフェース（Ｉ／Ｆ）である。９２は、メモリカードやハードディスクなどの記録媒体と接続を行うコネクタである。なお本実施例において、記録媒体を取り付けるインタフェースおよびコネクタを一系統だけ有する場合について説明しているが、これに限定されるものではない。記録媒体を取り付けるインタフェースおよびコネクタは、複数系統を備えていてもよい。

１０４は光学ファインダである。撮像装置１００は、画像表示部２８による電子ファインダ機能を用いることなく、光学ファインダ１０４のみを用いて撮影を行うことが可能である。１１０は通信手段である。通信手段１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信などの各種通信機能を有する。１１２は、通信手段１１０により撮像装置１００（画像処理装置）を他の機器と接続するコネクタまたは無線通信を用いる場合のアンテナである。１２０は、メモリカードやハードディスクなどの記録媒体である。記録媒体１２０は、半導体メモリや磁気ディスクなどを備えて構成される記録部１２２、撮像装置１００とのインタフェース１２４（Ｉ／Ｆ）、および、撮像装置１００と接続を行うコネクタ１２６を備えている。

なお、本実施例の撮像装置１００は、撮影レンズ１０を一体化して構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に着脱可能な撮影レンズ（撮像光学系）とを組み合わせて構成される撮像システムにも適用可能である。

＜第１の実施形態＞
次に、図２を参照して、第１の実施形態における画像処理回路２０の構成について説明する。図２（ａ）は、画像処理回路２０の構成を示すブロック図である。撮像素子１４からの撮像信号（画像信号）は、Ａ／Ｄ変換器１６によりＡ／Ｄ変換され、ＲＧＢのベイヤー配列のＣＲＷ画像２０１が生成される。ＣＲＷ画像２０１は、画像処理回路２０の現像回路２０２に入力される。

現像回路２０２（生成手段、現像手段）は、ＣＲＷ画像２０１にデモザイキング処理を施した後、輝度信号（Ｙ信号）および色差信号（ＵＶ信号）に変換し、エッジ強調、ホワイトバランス、ガンマ変換などの画像処理を施したＹＵＶ画像を生成する。このとき、現像回路２０２は、ガンマカーブの異なる二度のガンマ変換を実施することにより、暗画像２０３（第１の画像）および明画像２０４（第２の画像）の二画像が得られる。すなわち現像回路２０２（生成手段）は、撮像素子１４からの画像信号に対して互いに異なるパラメータを用いて、第１の画像および第２の画像を生成する。このとき、第２の画像は、第１の画像よりも明るくなるように互いに異なるパラメータが設定される。このため、明画像２０４（第２の画像）は、暗画像２０３（第１の画像）よりも明るい画像である。好ましくは、現像回路２０２は、パラメータとしてガンマカーブを変更することにより、暗画像２０３および暗画像２０３よりも輝度の高い明画像２０４を生成する。なお本実施形態において、第１の画像および第２の画像は、一枚の撮影画像を用いて生成された画像であるが、これに限定されるものではない。例えば、互いに異なる露出で撮影された複数の撮影画像を用いて生成された画像であってもよい。

本実施形態において、現像回路２０２（生成手段）は、互いに異なるパラメータとしてガンマカーブを異ならせることにより、第１の画像および第１の画像よりも明るい第２の画像を生成する。ただし本実施形態は、これに限定されるものではない。例えば、現像回路２０２は、互いに異なるパラメータとしてデジタルゲインを異ならせることにより、第１の画像および第１の画像よりも明るい第２の画像を生成するように構成してもよい。

フィルタ回路２０５（フィルタ処理手段）は、明画像２０４（第２の画像）に対してエッジ強調を含むフィルタ処理を行い、フィルタ処理された明画像２０６を生成する。なお本実施形態において、フィルタ回路２０５は現像回路２０２により現像された画像に対するフィルタ処理としてエッジ強調処理を行うように構成されているが、これに限定されるものではなく、低周波成分をぼかすローパスフィルタ処理なども含まれる。例えば、フィルタ処理手段としてのフィルタ回路２０５が現像回路２０２（生成手段）に含まれていてもよい。この場合、現像回路２０２により生成された明画像（第２の画像）は、フィルタ処理された明画像となる。これにより、現像回路（フィルタ回路を含む現像回路）は、現像およびエッジ強調の両方を行うことになる。

二値化回路２０７（領域設定手段）は、所定の輝度を閾値として暗画像２０３を二値化し、後段の合成用の合成マップ２０８を生成する。すなわち二値化回路２０７は、暗画像２０３を用いて第１の領域および第２の領域を設定する。好ましくは、二値化回路２０７は、暗画像２０３のうち、第１の輝度よりも高い領域を第１の領域（高輝度領域）として設定する。また好ましくは、二値化回路２０７は、暗画像２０３のうち、第２の輝度よりも低い領域を第２の領域（低輝度領域）として設定する。

合成回路２０９（合成手段）は、合成マップ２０８を用いて、暗画像２０３とエッジ強調された明画像２０６とを合成し、合成画像であるＹＵＶ画像２１０を生成して出力する。このように合成回路２０９は、第１の領域に対して暗画像２０３（第１の画像）を割り当て、第２の領域に対してエッジ強調された明画像２０６（エッジ強調された第２の画像）を割り当てることにより、合成画像（出力画像）を生成する。すなわち合成回路２０９は、第１の画像の明るさに基づいて第１の画像および第２の画像を合成して合成画像を生成する。

図２（ｂ）は、撮影構図の一例である。図２（ｂ）において、２１１は想定する夜景シーンである。また、２１２は建物などの明るい被写体、２１３は山などの暗い被写体、２１４は夜空である。図２（ｃ）は、夜景シーン２１１を二値化回路２０７により二値化した結果を示している。図２（ｃ）において、２２１は二値化回路２０７により生成された合成マップである。２２２は、二値化の際に第１の閾値（所定の閾値）よりも輝度が高いと判定された領域（第１の領域）である。２２３は、二値化の際に第２の閾値（所定の閾値）よりも輝度が低いと判定された領域（第２の領域）である。なお、第１の閾値と第２の閾値は、本実施形態では互いに同一にして二値化しているが、互いに異なるように設定して多値に分類してもよい。このとき、分類された値の分だけ現像の明るさ（カーブ）も多値にわたらせて、３以上の複数の明るさで現像された画像を複数の明るさごとに分類された合成マップのそれぞれの領域で主として用いて合成画像を生成してもよい。

合成回路２０９は、合成マップ２２１（２０８）を用いて、輝度が高い領域２２２に対しては暗画像２０３を貼り付け、輝度が低い領域２２３に対してはエッジ強調された明画像２０６を貼りつけることにより、画像合成を行う。

続いて、図６を参照して、本実施形態における画像処理回路２０の機能について詳述する。図６（ａ）は、ガンマカーブの一例であり、現像回路２０２内のガンマ変換を行う回路の入力ＹＵＶ画像（入力画像）と出力ＹＵＶ画像（出力画像）との関係を示している。図６（ａ）において、横軸、縦軸は入、出力ＹＵＶ画像をそれぞれ示している。図６（ａ）には、ガンマカーブの一例として、明るく現像するためのガンマカーブ６０１、および、暗く現像するためのガンマカーブ６０２が示されている。なお本実施形態において、暗画像および明画像の生成において互いに異なるガンマを用いるものとして説明しているが、これに限定されるものではない。暗画像および明画像の生成において、輝度によらずリニアなゲインをかけてもよい。

図６（ｂ）は、本実施形態におけるフィルタ処理手段の一例である。図６（ｂ）には、３×３画素のエッジ強調フィルタ（フィルタ回路２０５）が示されるが、フィルタ処理手段はこれに限定されるものではない。

図６（ｃ）は、本実施形態における二値化の一例である。図６（ｃ）において、横軸は入力輝度レベル（ＩＮ）、縦軸は出力輝度レベル（ＯＵＴ）をそれぞれ示している。二値化回路２０７は、入力輝度レベルが所定の閾値６１１よりも低い場合、０を出力する。一方、入力輝度レベルが所定の閾値６１１よりも高い場合、１を出力する。なお本実施形態において、合成マップ２０８（２２１）として二値化されたマップを用いて説明しているが、これに限定されるものではなく、階調的な多値を有する合成マップを用いてもよい。

続いて、図３を参照して、本実施形態における撮像装置１００の動作について説明する。図３は、撮像装置１００の動作を示すフローチャートである。図３の各ステップは、主に、システム制御回路５０の指令に基づいて画像処理回路２０により実行される。

まずステップＳ３０１において、ユーザが第２シャッタースイッチ６４（ＳＷ２）をオンにすると、撮影動作が開始し、画像処理回路２０はＣＲＷ画像２０１を取得する。続いてステップＳ３０２において、現像回路２０２は、ガンマカーブ６０２を用いてＣＲＷ画像２０１を暗く現像して暗画像２０３を生成する。そしてステップＳ３０３において、現像回路２０２は、ガンマカーブ６０１を用いてＣＲＷ画像３０１を明るく現像して明画像２０４を生成する。

続いてステップＳ３０４において、フィルタ回路２０５は、明画像２０４に対してエッジ強調を行い、明画像２０６を生成する。またステップＳ３０５において、二値化回路２０７は、暗画像２０３に対して、閾値６１１に基づいて二値化することにより合成マップ２０８を生成する。そしてステップＳ３０６において、合成回路２０９は、合成マップ２０８（２２１）を用いて、暗画像２０３とエッジ強調された明画像２０６とを合成する。ここで、合成マップ２０８（２２１）において１の値である領域は暗画像２０３を主として用い、０の値である領域は明画像２０６を主として用いて合成する。合成マップ２０８（２１）における０と１の境界部はなだらかに合成比率を変化させて目立たなくしてもよい。このとき合成回路２０９は、第１の画像のうち、第１のレベルよりも信号レベルの高い領域には第１の画像を主として用いて、第１のレベルよりも信号レベルの低い領域には第２の画像を主として用いるように合成画像を生成する。

以上のように、本実施形態では、撮影画像を複数の明るさで現像し、領域ごとに明るさに応じてそれぞれの画像を主として用いて合成画像を生成することで、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得することが出来る。さらに、星空を想定した画角内の暗部に、明るめに現像され、エッジ強調を行った画像を用いることで、星の輝きが強調された合成画像を得ることが出来る。また、田舎の夜景などの低照度の撮影シーンにおいては、星空を適正露出とし、星を強調するとともに、一緒の画像に含まれる山や木などの低コントラストの被写体はエッジ強調されにくいため、星の強調処理の弊害を目立たなくすることができる。

＜第２の実施形態＞
図４を参照して、第２の実施形態における画像処理回路２０ａの構成について説明する。本実施形態では、ストロボ発光画像を用いることで、人物等の手前の被写体を適切な明るさで写しつつ、星空が適正な明るさで写った画像を生成する。

図４（ａ）、（ｂ）は、画像処理回路２０ａの構成を示すブロック図である。図４（ａ）は画像処理回路２０ａのうち背景画像を生成する部位を示し、図４（ｂ）は画像処理回路２０ａの全体を示している。

本実施形態において、背景画像は、図４（ａ）に示される構成により生成される。なお、図４（ａ）の参照符号４０１〜４１０は、第１の実施形態における図２（ａ）の参照符号２０１〜２１０とそれぞれ対応するため、それらの説明は省略する。

図４（ｂ）において、画像処理回路２０ａは、ストロボ（フラッシュ４８などの発光手段）を発光させて撮影した画像（ＣＲＷ画像４１１）を取得する。また画像処理回路２０ａは、ストロボを発光させずに撮影した画像（ＣＲＷ画像４１２）を取得する。ストロボを発光して取得したＣＲＷ画像４１１は、現像回路４１３（生成手段、現像手段）に出力される。現像回路４１３は、ＣＲＷ画像４１１を現像し、ＹＵＶ画像４１４（第３の画像）を生成する。また、ストロボを発光せずに撮影した画像（ＣＲＷ画像４１２）は、現像回路４１５（生成手段、現像手段）に出力される。現像回路４１５は、ＣＲＷ画像４１２を現像し、ＹＵＶ画像４１６（第４の画像）を生成する。このように現像回路４１３、４１５は、ストロボ（フラッシュ４８）を発光させて撮影した画像である第３の画像、および、ストロボを発光させずに撮影した画像である第４の画像を生成する。

差分検出回路４１７（領域設定手段）は、ＹＵＶ画像４１４（ストロボ発光させて得られたＹＵＶ画像）とＹＵＶ画像４１６（ストロボ発光させずに得られたＹＵＶ画像）の二つの画像の差分を求め、ストロボ照射マップ４１８を生成する。すなわち差分検出回路４１７は、第３の画像と第４の画像との差分に基づいて、第３の領域（ストロボ照射領域）および第４の領域（ストロボ非照射領域）を設定する。例えば、差分検出回路４１７は、第３の画像と第４の画像との差分が所定の閾値よりも大きい領域を第３の領域として設定する。

合成回路４１９（合成手段）は、ストロボ照射マップ４１８（合成マップ）を用いて、ＹＵＶ画像４１４（ストロボ照射画像）とＹＵＶ画像４１０（図４（ａ）に示されるように生成された背景画像）とを合成し、ＹＵＶ画像４２０（第２の合成画像）を生成する。すなわち合成回路４１９は、第３の領域に対して第３の画像を割り当て、第４の領域に対してＹＵＶ画像４１０（第１の画像および第２の画像から生成された合成画像）を割り当てることにより、第２の合成画像を生成する。

図４（ｃ）は、撮影構図の一例である。図４（ｃ）において、４２１は想定する夜景シーンである。４２２は人物などのストロボが到達する距離に位置する主被写体、４２３は建物などの明るい被写体、４２４は山などの暗い被写体、４２５は夜空である。図４（ｄ）は、夜景シーン４２１に関して、差分検出回路４１７により差分を求めた結果である。図４（ｄ）において、４３１は差分検出回路４１７により生成されたストロボ照射マップ（ストロボ照射マップ４１８）、４３２はストロボが照射された領域、４３３はストロボが照射されなかった領域である。

合成回路４１９は、ストロボ照射マップ４３１（合成マップ）を用いて、ストロボが照射された領域４３２に、ＹＵＶ画像４１４（ストロボ発光して得られた画像）を張り付ける。また合成回路４１９は、ストロボが照射されなかった領域４３３に、ＹＵＶ画像４１０（背景画像）を貼り付ける。このように合成回路４１９は、領域４３２、４３３にＹＵＶ画像４１４、４１０をそれぞれ張り付けて画像を合成する。なお本実施形態において、現像回路４０２、４１３、４１５は、互いに別の回路であるとして説明しているが、現像回路４０２、４１３、４１５は同一の現像回路であってもよい。同様に、合成回路４０９、４１９についても、同一の合成回路であってもよい。また、二値化回路４０７および差分検出回路４１７は同一の領域設定手段として構成することができるが、互いに異なる領域設定手段（第１の領域設定手段および第２の領域設定手段）として構成してもよい。

続いて、図５（ａ）、（ｂ）を参照して、本実施形態における撮像装置１００の動作について説明する。図５（ａ）、（ｂ）は、撮像装置１００の動作を示すフローチャートである。図５（ａ）、（ｂ）の各ステップは、主に、システム制御回路５０の指令に基づいて画像処理回路２０ａにより実行される。

まずステップＳ５０１において、ユーザが第２シャッタースイッチ６４（ＳＷ２）を操作すると（ＳＷ２がオンになると）、撮影動作が開始し、画像処理回路２０ａはストロボを発光させて撮影した画像（ＣＲＷ画像４１１）を取得する。そしてステップＳ５０２において、画像処理回路２０ａはストロボを発光させずに撮影した画像（ＣＲＷ画像４１２）を取得する。

続いてステップＳ５０３において、現像回路４１３は、ＣＲＷ画像４１１（ストロボ発光させて撮影した画像）を現像してＹＵＶ画像４１４を生成する。そしてステップＳ５０４において、現像回路４１５は、ＣＲＷ画像４１２（ストロボ発光させずに撮影した画像）を現像してＹＵＶ画像４１６を生成する。続いてステップＳ５０５において、差分検出回路４１７は、ステップＳ５０３にて生成されたＹＵＶ画像４１４とステップＳ５０４にて生成されたＹＵＶ画像４１６との差分を求め、ストロボ照射マップ４１８を生成する。

続いてステップＳ５０６において、画像処理回路２０ａは、別途撮影した画像に基づいて背景画像（ＹＵＶ画像４１０）を生成する。ステップＳ５０６の詳細については後述する。そしてステップＳ５０７において、合成回路４１９は、ステップＳ５０５にて生成されたストロボ照射マップ４１８を用いて、ＹＵＶ画像４１４（ストロボ発光させて得られた画像）とＹＵＶ画像４１０（背景画像）とを合成する。

次に、図５（ｂ）を参照して、背景画像の生成（ステップＳ５０６）について詳述する。図５（ｂ）は、背景画像の生成（ステップＳ５０６）を示すフローチャートである。まずステップＳ５１１において、撮影（長秒）により、画像処理回路２０ａはＣＲＷ画像４０１を取得する。続いてステップＳ５１２において、現像回路４０２は、ＣＲＷ画像４０１を暗く現像して暗画像４０３を生成する。そしてステップＳ５１３において、現像回路４０２は、ＣＲＷ画像４０１を明るく現像して明画像４０４を生成する。

続いてステップＳ５１４において、フィルタ回路４０５は、明画像４０４に対してエッジ強調を行い、明画像４０６を生成する。またステップＳ５１５において、二値化回路４０７は、暗画像４０３に対して、ある輝度値を閾値として二値化することにより合成マップ４０８を生成する。そしてステップＳ５１６において、合成回路４０９は、合成マップ４０８を用いて、暗画像４０３とエッジ強調された明画像４０６とを合成する。

なお本実施形態において、発光画像、非発光画像、および、背景画像の順に撮影するものとして説明しているが、これに限定されるものではなく、撮影順序は任意に変更可能である。また本実施形態において、発光と非発光画像の撮影および現像、背景画像の撮影、現像、および合成の順に処理するものとして説明しているが、これに限定されるものではなく、処理順序は任意に変更可能である。また本実施形態において、撮影回数を三回として説明しているが、撮影回数はこれに限定されるものではない。

このように生成手段（現像回路４０２、４１３、４１５）は、被写体に向けて光を照射する発光手段（フラッシュ４８）が発光している状態で撮影した画像である第３の画像を生成し、発光手段が発光していない状態で撮影した画像である第４の画像を生成する。そして合成手段（差分検出回路４１７）は、第３の画像と第４の画像との差分に基づいて第３の画像と合成画像とを合成して第２の合成画像を生成する。好ましくは、合成手段は、第３の画像と第４の画像との差分が所定の閾値よりも大きい領域に第３の画像を主として用い、差分が所定の閾値よりも小さい領域には、合成画像を主として用いて第２の合成画像を生成する。

以上のように、本実施形態では、撮影画像を複数の明るさで現像し、領域ごとに明るさに応じてそれぞれの画像を主として用いて合成画像を生成することで、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得することができる。また、星空を想定した画角内の暗部に、明るめに現像され、エッジ強調を行った画像を用いることで、星の輝きが強調された合成画像を得ることができる。

また、星を強調するとともに高輝度部分をエッジ強調量が適量な画像に置き換えることにより、建物などの明るい被写体のエッジ強調量を適量に設定することができる。また、主被写体を撮影するためのストロボ発光画像とストロボ非発光の背景画像とを明るさに応じて合成することにより、主被写体および背景のそれぞれを適正露出とする合成画像を生成することが可能である。

＜第３の実施形態＞
次に、第３の実施形態における画像処理回路について説明する。本実施形態における画像処理回路の基本構成は、図２および図６を参照して説明した第１の実施形態の画像処理回路２０と同様であるため、これらの説明は省略する。

図７を参照して、本実施形態（および、後述の第４の実施形態）において想定する撮影シーンについて説明する。図７（ａ）は、都会の夜景シーン７０１であり、明るい被写体である建物７０２と星空７０３から構成されている。図７（ｂ）は、田舎の夜景シーン７１１であり、山や木などの暗い被写体７１２と星空７１３から構成されている。図７（ｃ）は、昼間のシーン７２１であり、建物７２２と空７２３から構成されている。なお、都会の夜景シーン７０１には明るい被写体（建物７０２）のみが示されているが、これに限定されるものではなく、暗い被写体があってもよい。

続いて、図８を参照して、本実施形態における撮像装置１００の動作について説明する。図８は、撮像装置１００の動作を示すフローチャートである。図８の各ステップは、主に、システム制御回路５０の指令に基づいて画像処理回路２０により実行される。

撮像装置１００の電源がオンになると、まずステップＳ８０１において、システム制御回路５０は、照度Ｂｖの閾値として、明るい側の閾値ＴｈＨ、および、暗い側の閾値ＴｈＬの二つの閾値を設定する。続いてステップＳ８０２において、システム制御回路５０（画像処理回路２０）は、撮影開始前のライブ画像表示時における撮影環境の照度Ｂｖを取得する。そしてステップＳ８０３において、システム制御回路５０は、第２シャッタースイッチ６４（ＳＷ２）がオンになったか否かを判定する。スイッチＳＷ２がオンでない場合、システム制御回路５０は、ステップＳ８０２にて照度Ｂｖの取得を繰り返し、一定の周期で照度Ｂｖを更新する。

一方、スイッチＳＷ２がオンになると、ステップＳ８０４において、撮影動作が開始し、画像処理回路２０はＣＲＷ画像２０１を取得する。続いてステップＳ８０５において、システム制御回路５０は、照度Ｂｖと明るい側の閾値ＴｈＨ（第２の閾値）とを比較する。照度Ｂｖが閾値ＴｈＨよりも小さい場合、ステップＳ８０６に進む。一方、照度Ｂｖが閾値ＴｈＨ以上である場合、ステップＳ８１４に進む。

ステップＳ８０６において、システム制御回路５０は、照度Ｂｖ（第３の画像の明るさ）と暗い側の閾値ＴｈＬ（第１の閾値）とを比較する。照度Ｂｖが閾値ＴｈＬよりも小さい場合（照度Ｂｖが第１の閾値よりも小さい場合）、ステップＳ８１２に進む。一方、照度Ｂｖが閾値ＴｈＬ以上である場合（照度が第１の閾値以上である場合）、ステップＳ８０７に進む。ステップＳ８０７において、画像処理回路２０の現像回路２０２は、取得したＣＲＷ画像２０１を暗く現像し、暗画像２０３を生成する。またステップＳ８０８において、現像回路２０２は、ＣＲＷ画像２０１を明るく現像し、明画像２０４を生成する。

続いてステップＳ８０９において、フィルタ回路２０５は、明画像２０４に対してエッジ強調を行い、明画像２０６を生成する。またステップＳ８１０において、二値化回路２０７は、暗画像２０３に対して、ある輝度値を閾値として二値化することにより合成マップ２０８を生成する。そしてステップＳ８１１において、合成回路２０９は、合成マップ２０８を用いて、暗画像２０３とエッジ強調された明画像２０６とを合成する。

ステップＳ８０６にて照度Ｂｖが暗い側の閾値ＴｈＬよりも小さい場合、ステップＳ８１２において、現像回路２０２は、ＣＲＷ画像２０１を明るく現像し、明画像２０４を生成する。そしてステップＳ８１３において、フィルタ回路２０５は、明画像２０４に対してエッジ強調を行う。また、ステップＳ８０５にて照度Ｂｖが明るい側の閾値ＴｈＨ以上である場合、現像回路２０２は、ＣＲＷ画像２０１を明るく現像し、明画像２０４を生成する。

このように本実施形態において、システム制御回路５０は、照度Ｂｖが第１の閾値以上である場合（Ｂｖ≧ＴｈＬ）、エッジ強調を行い、かつ合成画像を生成するように、フィルタ回路２０５および合成回路２０９を制御する（ステップＳ８０７〜Ｓ８１１）。好ましくは、システム制御回路５０は、照度Ｂｖが第１の閾値よりも小さい場合（Ｂｖ＜ＴｈＬ）、合成画像を生成せず、エッジ強調された第２の画像を出力するように、フィルタ回路２０５および合成回路２０９を制御する（ステップＳ８１２、Ｓ８１３）。より好ましくは、システム制御回路５０は、照度Ｂｖが第１の閾値よりも大きい第２の閾値以上である場合（Ｂｖ≧ＴｈＨ）、エッジ強調および合成画像の生成のいずれも行うことなく、第２の画像を出力する（ステップＳ８１４）。

以上のように、本実施形態では、撮影画像を複数の明るさで現像し、領域ごとに明るさに応じてそれぞれの画像を主として用いて合成画像を生成することで、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得することができる。また、星空を想定した画角内の暗部に、明るめに現像され、エッジ強調を行った画像を用いることで、星の輝きが強調された合成画像を得ることができる。また、シーンの明るさに応じて撮影方法及び記録方法を制御することで、昼間などの高照度の撮影シーンにおいては、エッジ強調や白とび対策を実施すると弊害が出やすい。このため、エッジ強調や白とび対策を実施しないことによりそのような弊害を目立たなくすることができる。

＜第４の実施形態＞
次に、第４の実施形態における画像処理回路について説明する。本実施形態における画像処理回路の基本構成は、図４を参照して説明した第２の実施形態の画像処理回路２０ａと同様であるため、これらの説明は省略する。

続いて、図９（ａ）、（ｂ）を参照して、本実施形態における撮像装置１００の動作について説明する。図９（ａ）、（ｂ）は、撮像装置１００の動作を示すフローチャートである。図９（ａ）、（ｂ）の各ステップは、主に、システム制御回路５０の指令に基づいて画像処理回路２０ａにより実行される。

撮像装置１００の電源がオンになると、まずステップＳ９０１において、システム制御回路５０は、照度Ｂｖの閾値として、明るい側の閾値ＴｈＨ、および、暗い側の閾値ＴｈＬの二つの閾値を設定する。続いてステップＳ９０２において、システム制御回路５０（画像処理回路２０ａ）は、撮影開始前のライブ画像表示時における撮影環境の照度Ｂｖを取得する。そしてステップＳ９０３において、システム制御回路５０は、第２シャッタースイッチ６４（ＳＷ２）がオンになったか否かを判定する。スイッチＳＷ２がオンでない場合、システム制御回路５０は、ステップＳ９０２にて照度Ｂｖの取得を繰り返し、一定の周期で照度Ｂｖを更新する。

一方、スイッチＳＷ２がオンになると、ステップＳ９０４において、撮影動作が開始し、画像処理回路２０ａはストロボを発光させて撮影した画像（ＣＲＷ画像４１１）を取得する。そしてステップＳ９０５において、画像処理回路２０ａはストロボを発光させずに撮影した画像（ＣＲＷ画像４１２）を取得する。

続いてステップＳ９０６において、現像回路４１３は、ＣＲＷ画像４１１（ストロボ発光させて撮影した画像）を現像してＹＵＶ画像４１４を生成する。そしてステップＳ９０７において、現像回路４１５は、ＣＲＷ画像４１２（ストロボ発光させずに撮影した画像）を現像してＹＵＶ画像４１６を生成する。続いてステップＳ９０８において、差分検出回路４１７は、ステップＳ９０６にて生成されたＹＵＶ画像４１４とステップＳ９０７にて生成されたＹＵＶ画像４１６との差分を求め、ストロボ照射マップ４１８を生成する。

続いてステップＳ９０９において、画像処理回路２０ａは、別途撮影した画像に基づいて背景画像（ＹＵＶ画像４１０）を生成する。ステップＳ９０９の詳細については後述する。そしてステップＳ９１０において、合成回路４１９は、ステップＳ９０８にて生成されたストロボ照射マップ４１８を用いて、ＹＵＶ画像４１４（ストロボ発光させて得られた画像）とＹＵＶ画像４１０（背景画像）とを合成する。

次に、図９（ｂ）を参照して、背景画像の生成（ステップＳ９０９）について詳述する。図９（ｂ）は、背景画像の生成（ステップＳ９０９）を示すフローチャートである。まずステップＳ９１１において、撮影（長秒）により、画像処理回路２０ａはＣＲＷ画像４０１を取得する。続いてステップＳ９１２において、システム制御回路５０は、照度Ｂｖと明るい側の閾値ＴｈＨとを比較する。照度Ｂｖが閾値ＴｈＨよりも小さい場合、ステップＳ９１３に進む。一方、照度Ｂｖが閾値ＴｈＨ以上である場合、ステップＳ９２１に進む。

ステップＳ９１３において、システム制御回路５０は、照度Ｂｖと暗い側の閾値ＴｈＬとを比較する。照度Ｂｖが閾値ＴｈＬよりも小さい場合、ステップＳ９１９に進む。一方、照度Ｂｖが閾値ＴｈＬ以上である場合、ステップＳ９１４に進む。ステップＳ９１４において、画像処理回路２０ａの現像回路４０２は、取得したＣＲＷ画像４０１を暗く現像し、暗画像４０３を生成する。またステップＳ９１５において、現像回路４０２は、ＣＲＷ画像４０１を明るく現像し、明画像４０４を生成する。

続いてステップＳ９１６において、フィルタ回路４０５は、明画像４０４に対してエッジ強調を行い、明画像４０６を生成する。またステップＳ９１７において、二値化回路４０７は、暗画像４０３に対して、ある輝度値を閾値として二値化することにより合成マップ４０８を生成する。そしてステップＳ９１８において、合成回路４０９は、合成マップ４０８を用いて、暗画像４０３とエッジ強調された明画像４０６とを合成する。

ステップＳ９１３にて照度Ｂｖが暗い側の閾値ＴｈＬよりも小さい場合、ステップＳ９１９において、現像回路４０２は、ＣＲＷ画像４０１を明るく現像し、明画像４０４を生成する。そしてステップＳ９２０において、フィルタ回路４０５は、明画像４０４に対してエッジ強調を行う。また、ステップＳ９１２にて照度Ｂｖが明るい側の閾値ＴｈＨ以上である場合、現像回路４０２は、ＣＲＷ画像４０１を明るく現像し、明画像４０４を生成する。

なお本実施形態において、発光画像、非発光画像、および、背景画像の順に撮影するものとして説明しているが、これに限定されるものではなく、撮影順序は任意に変更可能である。また本実施形態において、発光と非発光画像の撮影および現像、背景画像の撮影、現像、および合成の順に処理するものとして説明しているが、これに限定されるものではなく、処理順序は任意に変更可能である。また本実施形態において、撮影回数を三回として説明しているが、撮影回数はこれに限定されるものではない。また本実施形態において、撮影後に照度Ｂｖと閾値との関係に応じて処理を分岐するように構成されているが、これに限定されるものではなく、撮影前に照度Ｂｖと閾値との関係に応じて処理を分岐させてもよい。この場合、撮影枚数をより削減することができる。

第３、第４の実施形態によれば、都会の夜景などの中照度の撮影シーンにおいては、星空を適正露出とし、星を強調するとともに建物などの明るい被写体のエッジ強調を抑えて、かつ建物などの明るい被写体の白とびを軽減することができる。また、田舎の夜景などの低照度の撮影シーンにおいては、星空を適正露出とし、星を強調するとともに、一緒の画像に含まれる山や木などの低コントラストの被写体はエッジ強調されにくいため、星の強調処理の弊害を目立たなくすることができる。またシーンの明るさに応じて撮影方法及び記録方法を制御することで、昼間などの高照度の撮影シーンにおいては、エッジ強調や白とび対策を実施すると弊害が出やすい。このため、エッジ強調や白とび対策を実施しないことによりそのような弊害を目立たなくすることができる。

なお、上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウエアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、コンピュータに供給されてインストールされるプログラムコード自体も本発明を実現可能である。すなわち、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータなど、プログラムの形態を問わない。プログラムを供給するための記憶媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

各実施形態によれば、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１４ 撮像素子
１００ 撮像装置
２０２ 現像回路
２０５ フィルタ回路
２０９ 合成回路

Claims (18)

1. 光学像を光電変換して画像信号を出力する撮像素子と、
   前記画像信号に対して互いに異なるパラメータを用いて、第１の画像および第２の画像を生成する生成手段と、
   前記第２の画像に対してフィルタ処理を行うフィルタ処理手段と、
   前記第１の画像の明るさに基づいて前記第１の画像および前記第２の画像を合成して合成画像を生成する合成手段と、を有し、
   前記第２の画像は、前記第１の画像よりも明るくなるように前記互いに異なるパラメータが設定されることを特徴とする撮像装置。
2. 前記生成手段は、前記互いに異なるパラメータとしてガンマカーブを異ならせることにより、前記第１の画像および該第１の画像よりも明るい前記第２の画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記互いに異なるパラメータとしてデジタルゲインを異ならせることにより、前記第１の画像および該第１の画像よりも明るい前記第２の画像を生成することを特徴とする請求項１に記載の撮像装置。
4. 前記フィルタ処理手段は、前記生成手段に含まれており、
   前記生成手段により生成された前記第２の画像は、前記フィルタ処理された第２の画像であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記合成手段は、前記第１の画像のうち、第１のレベルよりも信号レベルの高い領域には前記第１の画像を主として用いて、前記第１のレベルよりも信号レベルの低い領域には前記第２の画像を主として用いるように合成画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記生成手段は、被写体に向けて光を照射する発光手段が発光している状態で撮影した画像である第３の画像を生成し、および、該発光手段が発光していない状態で撮影した画像である第４の画像を生成し、
   前記合成手段は、前記第３の画像と前記第４の画像との差分に基づいて前記第３の画像と前記合成画像を合成して第２の合成画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記合成手段は、前記第３の画像と前記第４の画像との前記差分が所定の閾値よりも大きい領域に前記第３の画像を主として用い、前記差分が所定の閾値よりも小さい領域には、前記合成画像を主として用いて前記第２の合成画像を生成することを特徴とする請求項６に記載の撮像装置。
8. 前記第３の画像の明るさが第１の閾値以上である場合、前記フィルタ処理を行い、かつ前記合成画像を生成するように、前記フィルタ処理手段および前記合成手段を制御する制御手段を有することを特徴とする請求項６または７に記載の撮像装置。
9. 前記第３の画像の明るさが前記第１の閾値よりも小さい場合、前記合成画像を生成することなく、前記フィルタ処理された前記第２の画像を出力するように、前記フィルタ処理手段および前記合成手段を制御する制御手段を有することを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
10. 前記第３の画像の明るさが前記第１の閾値よりも大きい第２の閾値以上である場合、前記フィルタ処理および前記合成画像の生成のいずれも行うことなく前記第２の画像を出力するように、前記フィルタ処理手段および前記合成手段を制御する制御手段を有することを特徴とする請求項８または９に記載の撮像装置。
11. 前記合成手段は、撮影シーンが夜景であると判定された場合、前記合成画像を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記合成手段は、撮影モードが夜景モードに設定されている場合、前記合成画像を生成することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記第１の画像および前記第２の画像は、一枚の撮影画像を用いて生成された画像、または、互いに異なる露出で撮影された複数の撮影画像を用いて生成された画像であることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記フィルタ処理手段は、エッジ強調処理およびローパスフィルタ処理を行うフィルタ処理であることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 撮像光学系を備えたレンズ装置と、
    請求項１乃至１４のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
16. 撮像素子からの画像信号に対して互いに異なるパラメータを用いて、第１の画像および第２の画像を生成するステップと、
    前記第２の画像に対してフィルタ処理を行うステップと、
    前記第１の画像の明るさに基づいて前記第１の画像および前記第２の画像を合成して合成画像を生成するステップと、を有し、
    前記第２の画像は、前記第１の画像よりも明るくなるように前記互いに異なるパラメータが設定されることを特徴とする撮像装置の制御方法。
17. 請求項１６に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とする、コンピュータで実行可能なプログラム。
18. コンピュータに、請求項１６に記載の撮像装置の制御方法の各ステップを実行させるためのプログラムが記憶されていることを特徴とするコンピュータが読み取り可能な記憶媒体。