JP2004128558A - 撮像装置 - Google Patents

Abstract

【課題】フラッシュ撮影時に被写体に応じた種々の撮影画像や適正な撮影画像を容易に取得可能な撮像装置を提供する。
【解決手段】１回の短いフラッシュ撮影において、シャッターの開放状態を維持して受光部を露光状態として、１回目の発光Ｆ１を行い、受光部の第１フィールドから電荷信号を読み出して第１フィールド画像データを取得する。そして、第１フィールドから電荷信号を読み出す際に２回目の発光Ｆ２を行い、受光部の第２フィールドから電荷信号を読み出して第２フィールド画像データを取得する。さらに、第２フィールドから電荷信号を読み出す際に３回目の発光Ｆ３を行い、受光部の第３フィールドから電荷信号を読み出して第３フィールド画像データを取得する。その後、第１〜第３フィールド画像について補間処理および加算処理などを行って１フレーム分の画像データを取得する。
【選択図】　　　　図９

Description

【０００１】
【発明の属する技術分野】
本発明は、受光部の全画素の画像信号を複数のフィールドに分けてフィールドごとに読み出す全画素読み出しタイプの撮像装置に関する。
【０００２】
【従来の技術】
近年、デジタルカメラの受光部における画素数が飛躍的に高くなっている。その一方で、受光部全体のサイズは画素数に応じて増大させないために、受光部における画素密度の増大によって各単位受光素子（単位ＣＣＤセル）の受光面積が小さくなってしまい、その結果として撮像感度が低下することとなる。そこで、このような感度の低下を防ぐために、光電変換機能に寄与しない領域としての受光部の電荷転送路の面積を縮小させる技術が知られている。しかしながら、電荷転送路の面積を縮小させると受光部の全ラインの電荷信号を並列的に一度に読み出すことが困難になるといった問題が生じるため、この問題を解決するために、全画素の電荷信号を複数のフィールドに分けてフィールドごとに順次に読み出す方式が採用される。
【０００３】
このように、デジタルカメラに代表されるデジタル撮像装置においては、複数のフィールドに分けて全画素の画像信号をフィールドごとに読み出す方式（以下、「フィールド順次の全画素読み出し方式」と称す）が採用され、現在のところ１フレームを２フィールドに分けて全画素を読み出すタイプが一般的である。しかし、１フレームを３フィールドや４フィールドに分けて全画素を読み出すタイプが発表されるなど、１フレームをより多くのフィールドに分けて全画素を読み出す方式が拡大していくと推測される。
【０００４】
一般的な２フィールド読み出しタイプの撮像素子では、隣接する画素のラインを同一フィールドの画像信号として読み出すことができないため、ベイヤー配列等を採用するカラーフィルターにおいては、図１１や図１２に示すように、第１フィールド画像のみ、または第２フィールド画像のみで全色の色情報を取得するのは不可能である。したがって、通常撮影を行う際には、全色の色情報を取得するために、全フィールドの画像データの読み出しが終了した後に、その画像データから全色情報を取得する必要がある。
【０００５】
ところで、このような撮像素子を用いた撮像装置では、フラッシュを発光させて撮影を行うフラッシュ撮影を行う際に、フラッシュの発光量を変化させて、複数の露光条件で複数回の撮影を連続で行うブラケット撮影（以下、「フラッシュブラケット撮影」と称する）が行われている（例えば、特許文献１、２）。
【０００６】
また、フラッシュ撮影時には、主たる被写体（主被写体）の光学的な反射率は高いが、背景の光学的な反射率は低い等といった、適正露出を得難い撮影条件に遭遇することも多い。このような撮影条件で通常のフラッシュ撮影を行った場合は、主被写体の反射率を重要視して撮影を行うため、主被写体の露出は適正なものの、背景などが暗くなり、背景などの細部が黒く潰れてしまう、いわゆる”黒潰れ”の発生を招きがちである。さらに、主被写体以外に非常に明るい部分があると、その箇所が一様に白っぽくなる、いわゆる”白潰れ”の発生も招きがちである。そして、撮像素子の持つダイナミックレンジが銀塩フィルムよりも狭いことが多いため、デジタル撮像装置では上述した黒潰れや白潰れの発生頻度は顕著になる傾向にある。
【０００７】
このような問題点を解決する方策としては、従来より、複数の露出条件の異なる画像を整合性良く合成することによって、白潰れおよび黒潰れが発生した部分の階調を整えた画像を生成することができる撮影装置が提案されている（例えば、特許文献３、４）。
【０００８】
このような技術に関する先行技術文献としては、以下のようなものがある。
【０００９】
【特許文献１】
特開平５−１９６９８５号公報
【特許文献２】
特開２０００−７５３７１号公報
【特許文献３】
特開２０００−６９３５５号公報
【特許文献４】
特開２００２−８４４４９号公報
【特許文献５】
特開平９−４６５８２号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上述したフラッシュブラケット撮影や、階調の整った画像を生成する撮影については、画素数の多い撮像素子を用いた場合は、露出条件の異なる複数の画像を取得するためには相当の時間を要するため、被写体の位置や周囲の環境等が刻々と変化する撮影条件に適用することが困難であった。
【００１１】
特に、白潰れおよび黒潰れが発生した部分の階調を整えた画像を生成するための撮影については、複数の画像を合成するため、ほとんど静止しているような被写体を撮影する場合にも、撮影者の手ぶれなどの影響で、生成される画像がぼけた画像になりやすいといった問題点があった。
【００１２】
また、フラッシュ撮影において露出条件を変化させるためには複数回にわたってフラッシュを発光させなければならず、エネルギー消費量が高くなるといった欠点も有していた。
【００１３】
さらに、一般的なコンパクトカメラについては、カメラの大型化を招かずに、フラッシュ機能を付加させるために、フラッシュの発光量にはある程度の限界を生じる。よって、フラッシュ撮影時のフラッシュ光の到達距離は短く、被写体までの距離が長い場合は、十分な感度を有する撮影画像を得ることが困難であるといった問題点もあった。
【００１４】
本発明は、上記課題に鑑みてなされたものであり、フラッシュ撮影時に被写体に応じた種々の撮影画像や適正な撮影画像を容易に取得可能な撮像装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の課題を解決するために、請求項１の発明は、発光部を有する撮像装置であって、（ａ）撮影の際に受光部に蓄積される電荷信号を、前記受光部の画素配列を複数のフィールドに分けて読み出し可能な撮像手段と、（ｂ）前記発光部が第１の発光を行うとともに、前記第１の発光後、前記複数のフィールドのうちの第１のフィールドから電荷信号を読み出す際に、前記発光部が第２の発光を行うように制御する発光制御手段と、（ｃ）前記第２の発光前において前記受光部に蓄積される電荷信号を前記第１のフィールドから読み出すことによって得られる第１の画像データと、前記第２の発光前後において前記受光部に蓄積される電荷信号を前記複数フィールドのうちの第２のフィールドから読み出すことによって得られる第２の画像データとに基づいて、所定の画像データを生成する画像生成手段とを備えることを特徴とする。
【００１６】
また、請求項２の発明は、請求項１に記載の撮像装置であって、前記受光部の画素配列が、色フィルタ配列を有し、前記第１および第２のフィールドのそれぞれが、前記色フィルタ配列の全色成分を含むことを特徴とする。
【００１７】
また、請求項３の発明は、請求項１または請求項２に記載の撮像装置であって、前記画像生成手段が、前記第１の画像データにおける画素値と、前記第２の画像データにおける画素値とを加算処理することによって、前記所定の画像データを生成することを特徴とする。
【００１８】
また、請求項４の発明は、請求項１または請求項２に記載の撮像装置であって、前記画像生成手段が、前記第１の画像データにおける画素値と、前記第２の画像データにおける画素値とについて、階調特性を変換しつつ加算処理することによって、前記所定の画像データを生成することを特徴とする。
【００１９】
また、請求項５の発明は、請求項１から請求項４のいずれかに記載の撮像装置であって、前記第１の発光における発光量と、前記第２の発光における発光量とが異なることを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００２１】
＜（１）第１実施形態＞
＜（１−１）撮像装置の要部構成＞
図１は、本発明の第１実施形態に係る撮像装置１Ａを示す斜視図である。また、図２は、撮像装置１Ａの背面図である。なお、図１および図２には方位関係を明確にするためにお互いに直交するＸ，Ｙ，Ｚの三軸を示している。
【００２２】
撮像装置１Ａの前面側には、撮影レンズ１１とファインダ窓１３と発光する部位である内蔵フラッシュ７とが設けられている。撮影レンズ１１の内側には撮影レンズ１１を介して入射する被写体像を光電変換して画像信号を生成する撮像素子であるＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）２が設けられている。
【００２３】
撮影レンズ１１には光軸方向に沿って駆動可能なレンズ系が含まれており、当該レンズ系を光軸方向に駆動することにより、ＣＣＤ２に結像される被写体像の合焦状態を実現することができるように構成されている。
【００２４】
撮像装置１Ａの上面側には、シャッターボタン１４と、モード切替ボタン１５とが配置されている。シャッターボタン１４は被写体の撮影を行うときにユーザが押下操作を行って撮像装置１Ａに撮影指示を与えるボタンである。
【００２５】
モード切替ボタン１５は、被写体を撮影するための「撮影モード」、撮影画像などをＬＣＤ１８に再生表示する「再生モード」などのモード切替えを行うためのボタンである。なお、電源ＯＮの状態で撮影モードに切り替えられると、撮影可能な状態である撮影待機状態となる。
【００２６】
撮像装置１Ａの側面部には、ユーザによるシャッターボタン１４の押下操作に伴う本撮影動作で得られる画像データを記憶するためのメモリカード９を着装する着装部１６が形成されている。さらに、着装部１６からメモリカード９を取り出す際に押下するカード取り出しボタン１７が配置されており、着装部１６からメモリカード９を取り出すことができる。
【００２７】
撮像装置１Ａの背面には、本撮影前に被写体を動画的態様で表示するライブビュー表示や、撮影した撮影画像等の表示を行うための液晶ディスプレイ（ＬＣＤ）１８と、シャッタースピードなど撮像装置１Ａの各種設定状態を変更するための操作ボタン１９と、ファインダ窓１３とが設けられている。
【００２８】
ここでは、ユーザーが操作ボタン１９を種々操作することによって、撮影時における内蔵フラッシュ７の発光を制御するモード（以下、「フラッシュ制御モード」と称する）、および内蔵フラッシュ７を発光させて撮影するフラッシュ撮影において特殊な撮影を行うための「特殊撮影モード」等を設定することができる。
【００２９】
フラッシュ制御モードには、撮影時に内蔵フラッシュ７を必ず発光させる「強制発光モード」と、撮影時に内蔵フラッシュ７を発光させない「発光禁止モード」と、内蔵フラッシュ７の発光を撮像装置１Ａの判断に任せる「自動発光モード」とがある。内蔵フラッシュ７の発光制御についてはさらに後述する。
【００３０】
また、特殊撮影モードには、フラッシュ撮影時に高感度の撮影画像を取得する「高感度モード」と、フラッシュ撮影時に短時間で露光条件の異なる複数の画像を取得する「フラッシュブラケットモード」と、被写体の輝度差が大きい場合に黒潰れや白潰れなどの発生を防止する「適正階調モード」とがある。なお、ここで挙げた特殊撮影モードにおけるフラッシュ撮影を行うためには、内蔵フラッシュ７を発光させることが必要であるため、特殊撮影モードにおける撮影動作を実施するためには、フラッシュ制御モードが強制発光モードまたは自動発行モードに設定される必要性がある。
【００３１】
本発明の特徴部分である特殊撮影モードにおけるフラッシュ撮影に関しては、後程詳述する。
【００３２】
図３は、撮像装置１Ａの機能ブロックを示す図である。図４は、撮像装置１Ａにおける画像信号等の流れを説明するための図である。
【００３３】
撮像装置１Ａは、ＣＣＤ２にデータ伝送可能に接続するＡＦＥ（アナログフロントエンド）３と、ＡＥＦ３と伝送可能に接続する画像処理ブロック４と、これら各部を統括制御するカメラマイコン５とを備えている。
【００３４】
ＣＣＤ２は、撮影レンズ１１に対向する面に受光部２ａが設けられており、この受光部２ａには複数の画素が配列されている。受光部２ａを構成する画素配列は、３つのフィールドに分けられており、ＣＣＤ２は、本撮影の際に、各画素に蓄積される電荷信号（画像信号）を、フィールドごとに順次に読出し可能な構成となっている。また、ＣＣＤ２は、本撮影前の撮影待機状態において、プレビュー用となるライブビュー画像を生成するための撮影（以下、「ライブビュー撮影」と称する）を行うべく、高速で信号を読み出すモード（以下、「高速読み出しモード」と称する）を有している。
【００３５】
ここで、ＣＣＤ２における電荷信号の読み出し方法を説明する。
【００３６】
図５は、本撮影におけるＣＣＤ２の電荷信号の読み出し方法を説明するための図であり、図６は、ＣＣＤ２の高速読み出しモードを説明するための図である。実際には数百万以上の画素が配列されているが、図示の便宜上、その一部のみが示されている。なお、図５および図６には、受光部２ａにおいて、垂直方向および水平方向における画素位置を明確に表現するため、互いに直交するＩ、Ｊの２軸を付している。
【００３７】
図５および図６に示すように、受光部２ａには、画素配列に対応するカラー（色）フィルタ配列が設けられている。即ち、受光部２ａがカラーフィルタ配列を有している。このカラーフィルタ配列は、周期的に分布する赤（Ｒ）、緑（Ｇｒ、Ｇｂ）および青（Ｂ）のカラーフィルタ、すなわち互いに色の異なる３種類のカラーフィルターで構成されている。
【００３８】
ＣＣＤ２の各セルに蓄積された電荷信号を読出す場合には、まず図５（ａ）に示すように、受光部２ａにおいてＪ方向に対して順に並ぶ１、４、７、・・の各ライン、すなわち３ｎ＋１ライン目（ｎは整数）を第１フィールド２１として、第１フィールド２１から電荷信号が読出されて、第１フィールド画像データ２１０が構成される。次に、図５（ｂ）に示すように、受光部２ａにおいてＪ方向に対して順に並ぶ２、５、８、・・の各ライン、すなわち３ｎ＋２ライン目を第２フィールド２２として、第２フィールド２２から電荷信号が読出されて、第２フィールド画像データ２２０が構成される。最後に、図５（ｃ）に示すように、受光部２ａにおいてＪ方向に順に並ぶ３、６、９、・・の各ライン、すなわち３ｎライン目を第３フィールド２３として、第３フィールド２３から電荷信号が読出されて、第３フィールド画像データ２３０が構成される。このような電荷読出し方法により、第１〜第３フィールド２１〜２３のそれぞれには、カラーフィルタ配列の全色成分、すなわちＲＧＢ全種類のカラーフィルタが設けられたＲＧＢ全色の画素が含まれることとなる。
【００３９】
一方、高速読み出しモードにおいては、例えば、図６に示すように、受光部２ａにおいて２、７、１０、・・の各ラインの電荷信号が読出され、画像データ（高速読み出し画像データ）を取得する。すなわち、水平ラインが１／４間引きされた状態で読み出されるのである。そして、図６に示すように、高速読み出し画像データには、カラーフィルタ配列の全色成分、すなわちＲＧＢ全種類のカラーフィルタが設けられたＲＧＢ全色の画素についてのデータが含まれる。
【００４０】
図３および図４に戻って説明を続ける。
【００４１】
ＡＦＥ３は、信号処理部３１と、信号処理部３１にタイミング信号を送るＴＧ（タイミング発生器）３２とを備えるＬＳＩ（大規模集積回路）として構成されている。このＴＧ３２は、ＣＣＤ２にＣＣＤ駆動信号を送り、この駆動信号に同期してＣＣＤ２から電荷信号が出力されることとなる。
【００４２】
信号処理部３１は、ＣＤＳ（相関２重サンプリング器）３１１、アンプ部として働くＰＧＡ（Ｐｒｏｇｒａｍｍａｂｌｅ−Ｇａｉｎ−Ａｍｐｌｉｆｉｅｒ）３１２、およびＡＤＣ（Ａ／Ｄ変換器）３１３を有している。ＣＣＤ２から出力された各フィールドの出力信号は、ＴＧ３２からのサンプリング信号に基づきＣＤＳ３１１でサンプリングされ、ＰＧＡ３１２で所望の増幅が行われる。このＰＧＡ３１２は、カメラマイコン５からのシリアル交信を介して数値データにて増幅率の変更が可能であるとともに、セレクタ４６から送られるＡＥ・ＷＢ制御値に基づき画像信号の補正が可能な構成となっている。そして、ＰＧＡ３１２で増幅されたアナログ信号はＡＤＣ３１３で、例えば、１０ビットのデジタル信号に変換された後、画像処理ブロック４に送られる。
【００４３】
画像処理ブロック４は、画像メモリ４１と、画像メモリ４１に伝送可能に接続するＡＥ・ＷＢ演算器４２および画像処理部４３と、圧縮／伸張部４５とを有している。
【００４４】
画像メモリ４１は、例えば半導体メモリで構成され、ＡＤＣ３１３でデジタル変換された各フィールド画像データ２１０〜２３０を一時的に格納する部位である。そして、全てのフィールドの画像データが、画像メモリ４１に格納された後、一枚の全画素画像を生成するために、画像処理部４３に送られる。
【００４５】
また、画像メモリ４１は、ＡＤＣ３１３でデジタル変換された高速読み出し画像データも一時的に格納し、ライブビュー画像を生成するために、画像処理部４３に送る。さらに、画像メモリ４１に格納された高速読み出し画像データは、ＡＥ・ＷＢ演算器４２にも送られる。
【００４６】
ＡＥ・ＷＢ演算器４２は、画像メモリ４１から送られてくる高速読み出し画像データに基づいて、自動露出補正（ＡＥ）およびホワイトバランス（ＷＢ）補正を行うための値（ＡＥ制御値およびＷＢ制御値）を算出する。
【００４７】
例えば、まず、高速読み出し画像データを、複数のブロックに分割し、各ブロックごとに測光データを算出する多分割測光を行い、被写体輝度を検出する。なお、被写体輝度検出の具体的処理としては、Ｒ，Ｇ，Ｂで与えられる画像データによって規定される各画素ごとの各色成分値（各色成分ごとの輝度値）を画像全体に対して平均して、０から１０２３までの整数値に対応させて被写体輝度値として算出する。そして、ＡＥについては、算出した被写体輝度値に基づいて、適正露光となるように撮影レンズ１１の絞り値とシャッタースピードを決定する。また、被写体輝度が低輝度時に適切な露光量が設定できない場合は、ＰＧＡ３１２において画像信号のレベル調整を行うことにより露光不足による不適正露出が補正されるように、ゲインの値を求める。つまり、ここでは、絞り値やシャッタースピードやゲインの値等がＡＥ制御値に相当する。ＷＢ補正については、算出された各色成分ごとの輝度値に基づいて、ホワイトバランスが適正となるようにＷＢ制御値を決定する。
【００４８】
また、ＡＥ・ＷＢ演算器４２では、例えば、算出された被写体輝度が所定の閾値以下である場合は、内蔵フラッシュ７を発光させるように判断を行い、その旨をカメラマイコン５に送信する。なお、内蔵フラッシュ７を発光させて撮影を行うフラッシュ撮影の際には、予め設定されたフラッシュ撮影用のＷＢ制御値等が採用される。また、フラッシュ撮影におけるＡＥについては、さらに後述する。
【００４９】
ＡＥ・ＷＢ演算器４２において算出されたＡＥ・ＷＢ制御値は、セレクタ４６に送られる。セレクタ４６は、高速読み出し画像データ、またはＣＣＤ２のフィールドの読出し状況に応じて、ＡＥ・ＷＢ制御値を信号処理部３１または画像処理部４３に送る。
【００５０】
画像処理部４３は、特殊撮影モードの設定に基づいて、第１〜第３フィールド画像データ２１０〜２３０から種々のフレーム画像データを生成する手段である。例えば、特殊撮影モードとして「高感度モード」が設定されている場合は、第１〜第３フィールド画像データ２１０〜２３０に対してそれぞれ補間処理を施した後に、それぞれの画素値を加算処理して１フレーム分の画像データを生成する。「フラッシュブラケットモード」が設定されている場合は、第１〜第３フィールド画像データ２１０〜２３０に対してそれぞれ補間処理を施して、３つの画像データを生成する。「適正階調モード」が設定されている場合は、第１〜第３フィールド画像データ２１０〜２３０に対してそれぞれ補間処理を施した後に、それぞれの画素値について、階調特性を変換しつつ加算処理して１フレーム分の画像データを生成する。画像処理部４３における特殊撮影モードの各モード設定にしたがった各種画像データの生成については、後程詳述する。なお、特殊撮影モードが設定されていない場合は、第１〜第３フィールド画像データ２１０〜２３０を単に合成して１フレーム分の画像データを生成する。
【００５１】
また、画像処理部４３は、特殊撮影モードの各モード設定にしたがって生成された各種画像データ、および画像メモリ４１から送られる高速読み出し画像データを、ＣＣＤ２のカラーフィルター特性に基づいた補間処理を行ってカラー化する。
【００５２】
また、画像処理部４３は、カラー化された画像データに対して、自然な階調を得るためのγ補正、輪郭強調や彩度調整を行うためのフィルター処理など各種の画像処理を行う。さらに、画像処理部４３は、セレクタ４６から送られるＡＥ・ＷＢ制御値に基づき、画像の明るさや色バランスを調整するためのＡＥ・ＷＢ補正を行う。
【００５３】
表示部４４は、ＬＣＤ１８を有しており、ＣＣＤ２で取得された画像データに基づく画像表示が可能である。
【００５４】
圧縮／伸張部４５は、本撮影時に画像処理部４３で画像処理された画像を、例えばＪＰＥＧ方式で圧縮し、記憶媒体であるメモリカード９に保存する。また、圧縮／伸張部４５は、表示部４４に再生表示させるために、メモリカード９に保存される画像データの伸張を行う。
【００５５】
また、撮像装置１Ａは、カメラマイコン５に接続するレンズ駆動部６１およびシャッター制御部６２を備えるとともに、測光部６３と操作部６４と電源部６５とを備えている。さらに、撮像装置１Ａは、カメラマイコン５に接続するフラッシュ制御回路６６および内蔵フラッシュ７を備えている。
【００５６】
レンズ駆動部６１は、撮影レンズ１１の各レンズ位置を変更させるためのものであり、このレンズ駆動部６１によってオートフォーカス（ＡＦ）やズームが行える。なお、ＡＦはカメラマイコン５によって制御され、例えば、撮影待機状態において、最も手前にある被写体等に合焦するように撮影レンズ１１の各レンズ位置を変更させたり、主被写体までの距離を算出することができる。
【００５７】
シャッター制御部６２は、メカニカルシャッター（以下では単に「シャッター」という）１２を開閉させるための部位である。
【００５８】
測光部６３は、測光センサを有しており、被写体に関する測光を行う。
【００５９】
フラッシュ制御回路６６は、カメラマイコン５の制御の下で、内蔵フラッシュ７の発光を制御する手段である。なお、特殊撮影モードが設定されている場合は、内蔵フラッシュ７が、本撮影の露光中に行われる発光（以下、「本発光」と称する）を分割して行うように制御する。つまり、フラッシュ制御回路６６は、本発光を分割した発光（以下、「分割本発光」と称する）を複数回行うように制御する。
【００６０】
操作部６４は、シャッターボタン１４、モード切替ボタン１５や操作ボタン１９などの各種の操作部材で構成されている。
【００６１】
電源部６５は、バッテリーを有しており、撮像装置１Ａの各部に給電する。
【００６２】
カメラマイコン５は、ＣＰＵおよびメモリを有しており、撮像装置１Ａの各部を統括制御する部位である。
【００６３】
＜（１−２）フラッシュ撮影におけるＡＥについて＞
ここでは、フラッシュ制御モードとして自動制御モードが設定されている場合を例にとって説明する。
【００６４】
シャッターボタン１４が押下された際に、内蔵フラッシュ７を発光させるように判断を行った旨がＡＥ・ＷＢ演算器４２からカメラマイコン５に送信されている場合は、カメラマイコン５からフラッシュ制御回路６６にフラッシュ発光信号が送られて、内蔵フラッシュ７が発光する。ここでは、露光時間や絞りなどの露出制御値、ＡＥ・ＷＢ演算器４２において算出される被写体輝度、およびＡＦ動作によって算出される主被写体までの距離などの種々の条件に基づいて、内蔵フラッシュ７の発光量を調整して、被写体が適正露光となるように制御する。なお、被写体からの反射光を測光部６３において測光することで、適正な発光量を調整することもできる。
【００６５】
ここで、カメラマイコン５などにおける内蔵フラッシュ７の適正発光量の決定方法の一例について以下簡単に説明する。
【００６６】
上述したように、ＡＥ・ＷＢ演算器４２では、例えば、被写体輝度が所定の閾値以下である場合は、内蔵フラッシュ７を発光させるように判断を行い、その旨をカメラマイコン５に送信する。そして、カメラマイコン５では、被写体輝度、主被写体までの距離、および撮影レンズ１１の焦点距離などに基づいて、適正露光となるために必要なおおよその発光量（以下、「擬所要発光量」と称する）を算出する。その後、本撮影前に行う内蔵フラッシュ７を発光させるプリ発光における発光量（以下、「プリ発光量」と称する）を、擬所要発光量に基づいて算出する。
【００６７】
通常の場合、プリ発光量が大きくなり過ぎると、内蔵フラッシュ７を発光させるためにコンデンサーに蓄えられている電荷が大量に消費され、本撮影時に内蔵フラッシュ７を発光させる本発光において、十分な発光量が得られない恐れが生じる。したがって、例えば、プリ発光量は、擬所要発光量の数分の１〜数十分の１程度となるように設定される。
【００６８】
また、このとき、ＡＥ・ＷＢ演算器４２は、プリ発光前の状態での被写体輝度（以下、「発光前輝度」と称する）をカメラマイコン５に送信する。なお、発光前輝度としては、例えば、プリ発光量を算出するために用いた被写体輝度などがある。
【００６９】
カメラマイコン５においてプリ発光量が決定されると、カメラマイコン５からフラッシュ制御回路６６にフラッシュ発光信号が送られて、決定されたプリ発光量となるように内蔵フラッシュ７がプリ発光を行う。このとき、プリ発光時にＣＣＤ２に蓄積される電荷信号を高速読み出しモードによって読み出し、画像メモリ４１に高速読み出し画像データ（プリ発光画像データ）を格納する。そして、ＡＥ・ＷＢ演算器４２は、プリ発光画像データに基づいて、プリ発光時の被写体輝度（以下、「プリ発光輝度」と称する）を算出し、カメラマイコン５に送信する。カメラマイコン５は、発光前輝度、プリ発光輝度、プリ発光量、および露出制御値（感度、絞り、シャッタ速度）から本撮影時の内蔵フラッシュ７の適正な発光量（以下、「適正本発光量」と称する）を決定する。なお、このとき、本撮影時に内蔵フラッシュ７が適正本発光量で発光した場合には、露出量ＥＶがＥＶ_０となるものとする。
【００７０】
なお、フラッシュ制御モードとして強制発光モードが設定されている場合も、同様にして適正本発光量を決定することができる。
【００７１】
また、特殊撮影モードが設定されている場合は、カメラマイコン５は、適正本発光量に基づいて、分割本発光の各発光量を算出することができる。なお、分割本発光の各発光量は、ユーザーが操作ボタン１９を種々操作することによって、特殊撮影モードの設定、および詳細設定を変更することによって、種々算出され、決定される。
【００７２】
＜（１−３）特殊撮影モードにおける撮影動作について＞
上述したように、特殊撮影モードの設定によって、本撮影時における分割本発光の各発光量、および、画像処理部４３における画像データの生成などに相違点を生じるが、特殊撮影モードの各モード設定における撮影動作について以下で説明する。
【００７３】
＜（１−３−１）高感度モードにおける撮影動作について＞
図７および図８は、撮像装置１Ａの高感度モードにしたがった基本的な撮影動作を説明するためのフローチャートである。本動作は、カメラマイコン５の制御によって実行される。また、図９は、撮像装置１Ａの高感度モードにおける撮影動作を説明するための図で、垂直同期信号ＶＤ、シャッター１２、内蔵フラッシュ７の発光、ＣＣＤ２における第１〜第３フィールド２１〜２３の電荷蓄積状態、およびＣＣＤ２の出力を示すタイミングチャートとなっている。以下では、図９を参照しつつ図７および図８のフローチャートを説明する。
【００７４】
まず、シャッター１２を開状態にしてライブビュー撮影を行い、ＣＣＤ２で取得されるライブビュー画像を表示部４４に表示する。そして、ユーザによってシャッターボタン１４が押下されると、撮影が開始される（ステップＳ１）。
【００７５】
撮影が開始されると、上述したように、カメラマイコン５でプリ発光量が算出され、カメラマイコン５から発光信号がフラッシュ制御回路６６に送信されて、内蔵フラッシュ７がプリ発光ＰＦを行う（ステップＳ２）。
【００７６】
ステップＳ３では、上述したように、カメラマイコン５が適正本発光量を算出し、例えば、本撮影の露光開始からＣＣＤ２よりの第１フィールド画像データ２１０の読み出し開始までの露出量が適正露出の半分となるＥＶ＝ＥＶ_０−１となるように、１回目の発光量を算出する（ステップＳ３）。
【００７７】
ステップＳ４では、本撮影におけるＣＣＤ２の露光が開始され、ステップＳ３で算出された発光量に従って、内蔵フラッシュ７が１回目の発光Ｆ１を行う。
【００７８】
ステップＳ５では、シャッター１２の開状態を保持してＣＣＤ２の露光を継続したまま、ＣＣＤ２からの第１フィールド画像データ２１０の読み出しを開始する。
【００７９】
ステップＳ６では、適正露出であるＥＶ＝ＥＶ_０に基づいて、２回目の発光量を算出する。例えば、第１フィールド画像データ２１０の読み出し開始から第２フィールド画像データ２２０読み出し開始までの露出量が適正露出の半分となるＥＶ＝ＥＶ_０−１となるように、２回目の発光量を算出する。
【００８０】
ステップＳ７では、ステップＳ６で算出された発光量に従って、内蔵フラッシュ７が２回目の発光Ｆ２を行う。
【００８１】
ステップＳ８では、シャッター１２の開状態を保持したまま、ステップＳ５において開始した、第１フィールド画像データ２１０の読み出しを継続する。
【００８２】
ステップＳ９では、読み出された第１フィールド画像データ２１０を画像メモリ４１に保存する。
【００８３】
ここでは、本撮影の露光開始からＣＣＤ２よりの第１フィールド画像データ２１０の読み出し開始までの露出量が適正露出の半分であるＥＶ＝ＥＶ_０−１となるように１回目の発光量を設定した場合、第１フィールド画像データ２１０は、露出量を適正露出の半分であるＥＶ＝ＥＶ_０−１とした場合に得られる画像データとなる。
【００８４】
ステップＳ１０では、第１フィールド画像データ２１０の読み出しが完了しているかを判定する。ここで、読み出しが完了している場合には、図８のステップＳ２１に進み、読み出しが完了していない場合には、ステップＳ８に戻る。
【００８５】
ステップＳ２１では、シャッター１２の開状態を保持してＣＣＤ２の露光を継続したまま、ＣＣＤ２からの第２フィールド画像データ２２０の読み出しを開始する。
【００８６】
ステップＳ２２では、適正露出であるＥＶ＝ＥＶ_０に基づいて、３回目の発光量を算出する。例えば、第２フィールド画像データ２２０の読み出し開始から第３フィールド画像データ２３０の読み出し開始までの露出量が適正露出であるＥＶ＝ＥＶ_０となるように、３回目の発光量を算出する。
【００８７】
ステップＳ２３では、ステップＳ２２で算出された発光量に従って、内蔵フラッシュ７が３回目の発光Ｆ３を行う。
【００８８】
ステップＳ２４では、シャッター１２の開状態を保持したまま、ステップＳ２１において開始した、第２フィールド画像データ２２０の読み出しを継続する。
【００８９】
ステップＳ２５では、読み出された第２フィールド画像データ２２０を画像メモリ４１に保存する。
【００９０】
ここでは、例えば、第１フィールド画像データ２１０の読み出しが開始してから第２フィールド画像データ２２０の読み出し開始までの露出量を、適正露出の半分であるＥＶ＝ＥＶ_０−１となるように２回目の発光量を設定した場合、第２フィールド画像データ２２０は、第１フィールド画像データ２１０の読み出しまでに蓄積された電荷と、その後に蓄積された電荷とを合算した電荷に基づく。よって、第２フィールド画像データ２２０は、露出量を適正露出であるＥＶ＝ＥＶ_０とした場合に得られる画像データとなる。
【００９１】
ステップＳ２６では、第２フィールド画像データ２２０の読み出しが完了しているかを判定する。ここで、読み出しが完了している場合には、ステップＳ２７に進み、読み出しが完了していない場合には、ステップＳ２４に戻る。
【００９２】
ステップＳ２７では、シャッター１２が閉状態となり、ＣＣＤ２の露光が終了し、ステップＳ２８に進む。
【００９３】
ここで、１回の撮影におけるＣＣＤ２の露光が終了するが、図９に示すように、露光開始から露光終了までに、フラッシュ制御回路６６の制御の下で、内蔵フラッシュ７が１回目の発光Ｆ１を行うとともに、１回目の発光Ｆ１後、第１フィールド２１から電荷信号を読み出す際に、内蔵フラッシュ７が２回目の発光Ｆ２を行う。また、同様にして、内蔵フラッシュ７が２回目の発光Ｆ２を行うとともに、２回目の発光Ｆ２後、第２フィールド２２から電荷信号を読み出す際に、内蔵フラッシュ７が３回目の発光Ｆ３を行う。なお、ここでは、１回目および２回目の発光Ｆ１，Ｆ２をそれぞれ第１および第２の発光とも称する。
【００９４】
ステップＳ２８では、ＣＣＤ２からの第３フィールド画像データ２３０の読み出しを開始する。
【００９５】
ステップＳ２９では、ステップＳ２８において開始した、第３フィールド画像データ２３０の読み出しを継続する。
【００９６】
ステップＳ３０では、読み出された第３フィールド画像データ２３０を画像メモリ４１に保存する。
【００９７】
ここでは、例えば、第２フィールド画像データ２２０の読み出しを開始から第３フィールド画像データ２３０の読み出し開始までの露出量が適正露出であるＥＶ＝ＥＶ_０となるように３回目の発光量を設定すると、第３フィールド画像データ２３０は、第２フィールド画像データ２２０の読み出し開始までに蓄積された電荷と、その後に蓄積された電荷とを合算した電荷に基づく。よって、第３フィールド画像データ２３０は、露出量を適正露出の２倍であるＥＶ＝ＥＶ_０＋１とした場合に得られる画像データとなる。
【００９８】
ステップＳ３１では、第３フィールドの画像データの読み出しが完了しているかを判定する。ここで、読み出しが完了している場合には、ステップＳ３２に進み、読み出しが完了していない場合には、ステップＳ２９に戻る。
【００９９】
ステップＳ３２では、画像メモリ４１に保存された第１〜第３フィールド画像データ２１０〜２３０を読み出し、画像処理部４３に出力する。
【０１００】
ステップＳ３３では、画像処理部４３において、第１〜第３フィールド画像データ２１０〜２３０を合成して１フレームの画像データを生成する。
【０１０１】
ここでは、例えば、３つの露出条件（ＥＶ＝ＥＶ_０−１，ＥＶ_０，ＥＶ_０＋１）において得られた第１〜第３フィールド画像データ２１０〜２３０のそれぞれには、他の２フィールドの画素データ（画素値）が存在していない。そこで、第１〜第３フィールド画像データ２１０〜２３０それぞれについて、存在していない画素（以下、「空画素」と称する）の画素値を補間処理によって求め、補間処理がなされた３つの画像（以下、「第１〜第３補間画像データ」と称する）を生成する。そして、第１〜第３補間画像データを合成することによって１フレーム分の画像データを生成する。
【０１０２】
ここで言う各フィールド画像データについての補間処理では、例えば、所定の色についての空画素に関し、垂直方向であるＪ方向および−Ｊ方向で最も近い所定の色の画素データを用いて空画素の画素値を求めることができる。以下、具体的に説明する。
【０１０３】
例えば、図５に示したようなＣＣＤ２の受光部２ａにおいて、Ｉ方向およびＪ方向の位置（偶数，偶数）にＲの画素がくるように画素配列がなされていると仮定すると、ｉ，ｊをともに０以上の偶数とした場合には、Ｒ、Ｇｒ、Ｇｂ、Ｂの各画素の位置はそれぞれ（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）となる。
【０１０４】
Ｒの画素については、位置（ｉ，ｊ）が第１フィールド２１に属するとすると、第２フィールド画像データ２２０の位置（ｉ，ｊ）は空画素となる。そこで、第２フィールド画像データ２２０については、位置（ｉ，ｊ）からＪ方向および−Ｊ方向で最も近いＲの画素である位置（ｉ，ｊ−２）および位置（ｉ，ｊ＋４）の画素値から、位置（ｉ，ｊ）の画素値を算出する。同様にして、第１および第３フィールド画像データ２１０，２３０の空画素についても画素値を算出する。また、Ｇｒ、Ｇｂ、Ｂの画素についてもＲの画素と同様にして空画素の画素値を算出する。このようにして、第１〜第３フィールド画像データ２１０〜２３０の補間処理を行い、それぞれ第１〜第３補間画像データを生成することができる。
【０１０５】
即ち、２回目の発光Ｆ２前において受光部２ａに蓄積される電荷信号を第１フィールド２１から読み出すことによって、第１フィールド画像データ２１０を取得し、さらに補間処理を施して第１補間画像データを得ることができる。また、２回目の発光Ｆ２の発光前後において受光部２ａに蓄積される電荷信号を第２フィールド２２から読み出すことによって、第２フィールド画像データ２２０を取得し、さらに補間処理を施して第２補間画像データを得ることができる。なお、ここでは、第１および第２補間画像データを第１および第２の画像とも称する。
【０１０６】
そして、第１〜第３補間画像データの各画素値を加算処理することによって、第１〜第３補間画像データを合成して１フレーム分の画像データを生成する。即ち、画像処理部４３が、第１〜第３補間画像データとに基づいて、所定の画像データを生成する。下に示す式（１）〜（４）は、合成後の１フレーム分の画像データにおけるＲ、Ｇｒ、Ｇｂ、Ｂの各画素についての画素値を示す式である。なお、式（１）〜（４）では、Ｒ、Ｇｒ、Ｇｂ、Ｂの右側に付された小文字は、それぞれの画素のＩ方向およびＪ方向の位置を示している。
【０１０７】
【数１】

【０１０８】
ここでは、式（１）〜（４）がそれぞれ、第１フィールド２１に属する画素についてのＲ、Ｇｒ、Ｇｂ、Ｂの画素値を示す場合は、第１項が第１フィールド画像データ２１０における画素値、第２項が第２補間画像データにおける画素値、第３項が第３補間画像データにおける画素値をそれぞれ示す。また、式（１）〜（４）がそれぞれ、第２フィールド２２に属する画素についてのＲ、Ｇｒ、Ｇｂ、Ｂの画素値を示す場合は、第１項が第２フィールド画像データ２２０における画素値、第２項が第３補間画像データにおける画素値、第３項が第１補間画像データにおける画素値をそれぞれ示す。さらに、式（１）〜（４）がそれぞれ、第３フィールド２３に属する画素についてのＲ、Ｇｒ、Ｇｂ、Ｂの画素値を示す場合は、第１項が第３フィールド画像データ２３０における画素値、第２項が第１補間画像データにおける画素値、第３項が第２補間画像データにおける画素値をそれぞれ示す。
【０１０９】
なお、上述した補間処理の一例では、垂直方向（Ｊ方向）の画素値のみを考慮した補間処理を行っているが、その他、水平方向（Ｉ方向）の画素値を考慮した補間処理を行っても良い。
【０１１０】
図８のフローチャートに戻って説明を続ける。
【０１１１】
ステップＳ３３では、上述したように第１〜第３補間画像データを合成することによって１フレーム分の画像データを生成し、ステップＳ３４に進む。なお、各補間画像データは、例えば、１０ビットのデジタルデータであり、合成後の１フレーム分の画像データも１０ピットのデジタルデータとなっている。
【０１１２】
ステップＳ３４では、画像処理部４３において、ステップＳ３３で生成した１フレーム分の画像データについて、カラー化、γ補正、各種の画像処理、およびＡＥ・ＷＢ補正を行う。そして、得られた１フレーム分の画像データに基づいて、圧縮／伸張部４５で、圧縮処理を施してメモリカード９に保存するとともに、ＬＣＤ１８に表示し、撮影が終了する。その後、再び撮像装置１Ａは、撮影待機状態となる。
【０１１３】
このように、例えば、３つの露出条件（ＥＶ＝ＥＶ_０−１，ＥＶ_０，ＥＶ_０＋１）において得られた第１〜第３フィールド画像データ２１０〜２３０に基づいて１フレーム分の画像データを取得する。この取得された画像データは、式（１）〜（４）に示すように、一般的なデジタル撮像装置において露出量が適正露出の３．５倍となるような発光量でフラッシュ撮影して得られた画像データと等価な画素値を有することとなる。したがって、高感度モードにおける撮影においては、高感度の撮影画像を取得することができる。
【０１１４】
ところで、露出量が適正露出となるような発光量で得られた画素値を３．５倍に増幅することによっても、露出量が適正露出の３．５倍となるような発光量でフラッシュ撮影して得られた画像データとほぼ等価な画素値を得ることができる。しかし、この方法では、画像データにおけるノイズ成分までも３．５倍に増幅してしまうため、撮影画像の画質が劣化する。これに対して、本実施形態に係る高感度モードにおける撮影においては、３つの異なる画像データを合成するため、画像データ中のノイズ成分がランダム化されるため、撮影画像の画質劣化を抑制することができる。
【０１１５】
また、一般的なデジタル撮像装置においては、例えば、シャッタースピードを一定として、露出量が適正露出の３．５倍となるような発光量で撮影して画像データを得るためには、適正露出で撮影する場合を基準にして約３．５倍のエネルギーを内蔵フラッシュが消費することとなる。さらに、３回の撮影に分けて、３つの露出条件（ＥＶ＝ＥＶ_０−１，ＥＶ_０，ＥＶ_０＋１）で露光を行う場合にも、適正露出で撮影する場合を基準にして３．５倍のエネルギーを内蔵フラッシュが消費する。
【０１１６】
これに対して、本実施形態に係る高感度モードにおける撮影では、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データについての画素値を加算する。その結果、適正露出で撮影する場合を基準にして約２倍のエネルギーしか内蔵フラッシュ７が消費しないため、消費電力の増加を抑制しつつ、フラッシュ撮影時に高感度の撮影画像を取得することができる。また、内蔵フラッシュ７が小型のキセノン管などで構成され、１回あたりの最大発光量が小さな場合でも、１回の短いフラッシュ撮影において、露光中に複数回の発光を行うことによって、ある程度の露光量を確保することができる。したがって、少ない光量でより遠くの被写体に露出を合わせること等ができ、装置の大型化を抑制しつつ、フラッシュ撮影時に高感度の撮影画像を取得することができる。
【０１１７】
また、最近のデジタルカメラ用の高画素ＣＣＤ撮像素子が用いられている一般的なデジタル撮像装置においては、例えば、撮像素子の全画素のデータを読み出すために必要な時間（必要読み出し時間）が約２５０ｍｓ〜３００ｍｓとなる。そして、３つの露出条件（ＥＶ＝ＥＶ_０−１，ＥＶ_０，ＥＶ_０＋１）で３回の撮影を行うためには、１回目の露光開始から３回目の露光終了までに、最低限、必要読み出し時間の２倍以上の時間が必要となる。したがって、後に３つの画像を合成して生成される画像にボケが発生しないようにするためには、被写体は完全に静止しているような物体に限られてしまう。
【０１１８】
これに対して、本実施形態に係る高感度モードにおける撮影では、３つの露出条件（ＥＶ＝ＥＶ_０−１，ＥＶ_０，ＥＶ_０＋１）における撮影の露出開始から露出終了までに要する時間は、例えば、必要読み出し時間と同程度の２５０〜３００ｍｓと短時間となる。したがって、ある程度動きのある被写体にも適用することができる。即ち、フラッシュ撮影時に被写体に応じた適正な撮影画像を取得することができる。
【０１１９】
＜（１−３−２）フラッシュブラケットモードにおける撮影動作について＞
上述した、高感度モードにおける撮影では、例えば、第１〜第３補間画像データを合成して１フレーム分の画像データを得たが、フラッシュブラケットモードにおける撮影では第１〜第３補間画像データを合成することなく、第１〜第３補間画像データについて、それぞれ、カラー化、γ補正、各種の画像処理、およびＡＥ・ＷＢ補正を行い、３フレーム分の画像データを得る。そして、得られた３フレーム分の画像データそれぞれについて、圧縮／伸張部４５で、圧縮処理を施してメモリカード９に保存するとともに、ＬＣＤ１８に表示し、撮影動作が終了する。したがって、フラッシュブラケットモードにおける撮影動作のフローは図８に示すステップＳ３３の処理が異なるのみで、その他の撮影動作のフローは、高感度モードにおける撮影動作と全く同様となる。
【０１２０】
このように、本実施形態に係るフラッシュブラケットモードにおける撮影では、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データに基づいて、最終的に露出条件の異なる複数フレーム分の画像データを取得する。その結果、高感度モードにおける撮影についての説明で述べたように、一般的なデジタル撮像装置において、複数回の撮影に分けて同様な複数の画像データを取得する場合よりも電力消費の増加などを抑制することができる。
【０１２１】
また、本実施形態に係るフラッシュブラケットモードにおける撮影では、高感度モードにおける撮影についての説明で述べたように、一般的なデジタル撮像装置よりも短時間で露出条件の異なる複数の撮影画像を得ることができる。したがって、ある程度動きのある被写体であっても、ほぼ同じような構図で露出条件の異なる複数フレーム分の画像データを得ることができる。即ち、フラッシュ撮影時に被写体に応じた適正な撮影画像を取得することができる。
【０１２２】
さらに、本実施形態に係るフラッシュブラケットモードにおける撮影では、受光部２ａのカラーフィルタ配列に対応する全色成分を含み、かつ露光条件の異なる複数のフィールド画像データを得ることができるため、露光条件の異なる複数のフルカラーの撮影画像を短時間で効率良く取得することができる。
【０１２３】
＜（１−３−３）適正階調モードにおける撮影動作について＞
上述した、高感度モードにおける撮影では、例えば、第１〜第３フィールド画像データ２１０〜２３０が１０ビットのデジタルデータであると、合成後の１フレーム分の画像データも同様の１０ビットのデジタルデータとなった。しかし、適正階調モードにおける撮影動作では、例えば、合成後の１フレーム分の画像データを１１ビットのデジタルデータとして扱う。したがって、適正階調モードの撮影動作のフローは図８に示すステップＳ３３の処理が異なるのみで、その他の撮影動作のフローは、高感度モードにおける撮影動作と全く同様となる。
【０１２４】
適正階調モードにおける撮影動作において高感度モードにおける撮影動作と異なる点について、以下説明する。
【０１２５】
例えば、高感度モードにおける撮影動作において説明したように、第１〜第３補間画像データを加算処理すると、式（１）〜（４）に基づいて、合成後の１フレーム分の画像データにおけるＲ、Ｇｒ、Ｇｂ、Ｂの各画素についての画素値が求まる。このとき、適正階調モードでは、加算処理を行うとともに、各画素値が２／３倍となるような階調変換処理を行い、その画素値を１１ビットのデジタルデータとして扱う。即ち、第１〜第３補間画像データにおける画素値について、階調数などの階調特性を変換しつつ加算処理することによって、１フレーム分の画像データを生成する。
【０１２６】
この処理における２／３倍という数値の意味は以下の通りである。すなわち、それぞれの画像データの画素値は１０ビットで表現されているため、３つの画像データの画素値を単純に加算した場合の最大値は、２^１０×３＝２^１１×（３／２）となり、１０ビットのデータでは取り扱えない数値が出てくる。また、１２ビットのデータによって表される階調を全て使い切っていない。そこで、３つの画像データのそれぞれの最大値につきそれぞれの画素値を２／３倍すれば、２^１０×（２／３）となるため、３つの画像データの加算値は、２^１０×（２／３）×３＝２^１１（１１ビット）のように、１１ビットのデータによって表される階調を全て使い切ることができる。合成後の値を２／３倍しても同様である。このように、階調表現数Ｎビット（但し、Ｎは自然数）のデータによって表される階調を全て使い切ることによって、コントラストを明瞭に表現することができる。
【０１２７】
なお、本実施形態においては、２／３倍という数値を乗算したが、例えば、４／３倍という数値を乗算して、２^１０×（４／３）×３＝２^１２（１２ビット）のように、１２ビットのデータによって表される階調を全て使い切るようにしても良い。また、１／３倍という数値を乗算して、２^１０×（１／３）×３＝２^１０（１０ビット）のように、１０ビットのデータによって表される階調を全て使い切ることもできる。
【０１２８】
よって、一般には、合成する画像データがＭ個ある場合（但し、Ｍ≧２）で考えると、ｒ＝２^ｎ／Ｍ（但し、ｎは自然数）を満足する値ｒを加算前の各補間画像データにおける各画素値、または加算前の各画素値に乗算することによって、Ｎビット（但し、Ｎは自然数）のデータによって表される階調を全て使い切ることによって、コントラストを明瞭に表現することができる。しかし、ｒがあまりにも小さな値となると、階調表現数が減少してしまい、画質の劣化を招くこととなる。よって、元の画像データの階調表現数（Ｎビット）よりは大きくする方が画質の面からは好ましい。また、逆にｒが大きすぎると、階調表現数（データ長ないしはビット数）が大きくなり、処理速度の低下や記憶媒体の容量の不足を招くため、ｒの値は２以下であることが好ましい。
【０１２９】
この実施形態での具体的な処理では、合成前のある画素について、第１補間画像データにおける画素値が５１９／１０２３階調、第２補間画像データにおける画素値が最大輝度である１０２３／１０２３階調、第３補間画像データの画素値が最大輝度である１０２３／１０２３階調の場合は、合成後の画素値を２／３倍する変換処理を施して、この画素値を１１ビットのデジタルデータとして扱うことによって、合成および変換後の画素値は１７１０／２０４７階調となる。同様にして、種々の画素値の組合せに対して、上述のごとく合成、変換処理を行い、１フレーム分の画像データを１１ビットのデジタルデータとして扱う。
【０１３０】
ところで、一般的なデジタル撮像装置では、フラッシュ撮影時に、露出条件（ＥＶ＝ＥＶ_０）のみで撮影した場合、非常に明るい部分と非常に暗い部分とが混在した被写体については黒潰れや白潰れが発生する傾向にある。
【０１３１】
これに対して、本実施形態に係る適正階調モードにおける撮影では、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データ（第１〜第３の補間画像データ）における画素値について、階調特性を変換しつつ加算することによって、非常に明るい部分と非常に暗い部分とが混在した被写体について取得される撮影画像においても、黒潰れや白潰れの発生を抑制することができる。
【０１３２】
例えば、非常に暗い部分については、特に、第３補間画像データにおける画素値の変化によって階調差を出すことによって、黒潰れの発生を防ぐことができる。また、非常に明るい部分については、特に、第１補間画像データにおける画素値の変化によって階調差を出すことによって、白潰れの発生を防ぐことができる。その結果、適正階調モードにおける撮影においては、輝度差の大きな被写体を撮影する場合にも、最終的に得られる１フレーム分の画像データは輝度差が圧縮されて表現されるため、全体的に露出の良好な画像を得ることができる。即ち、フラッシュ撮影時に被写体からの光の反射が多い部分と、光の反射が少ない部分とをそれぞれ補完することにより、ダイナミックレンジの大きな画像を得ることができる。
【０１３３】
また、本実施形態に係る適正階調モードにおける撮影では、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データ（第１〜第３の補間画像データ）における画素値について、階調特性を変換しつつ加算する。その結果、高感度モードにおける撮影についての説明で述べたように、一般的なデジタル撮像装置よりも短時間で露出条件の異なる複数の撮影画像を得ることができる。したがって、ある程度動きのある被写体であっても、ほぼ同じような構図で露出条件の異なる複数のフィールド画像データを取得することによって、フラッシュ撮影時に、画像のボケの発生などを抑制しつつ、被写体の輝度に応じた適正な撮影画像を取得することができる。さらに、高感度モードにおける撮影についての説明で述べたように、一般的なデジタル撮像装置において、複数回の撮影に分けて同様な複数のフィールド画像データを取得する場合よりも電力消費の増加などを抑制することができる。
【０１３４】
以上のように、本実施形態に係る撮像装置１Ａでは、特殊撮影モードの設定に応じて、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光状態の異なる複数の画像データに基づいて、種々の画像を生成する。その結果、フラッシュ撮影時に被写体に応じた種々の撮影画像や適正な撮影画像などを容易に取得可能な撮像装置を提供することができる。
【０１３５】
＜（２）変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１３６】
◎例えば、ＣＣＤ２の構造を改良し、いわゆる”加算読み出し”ができるようにしても良い。
【０１３７】
ここで言う”加算読み出し”とは、一般的なデジタルカメラ用のＣＣＤ撮像素子の被写体モニターモードで採用されている読み出し方法であり、高感度化、偽色対策のために用いられる。具体例としては、垂直ＣＣＤから水平ＣＣＤに電荷が転送される際に、水平方向の１ラインごとに電荷を転送するのではなく、垂直ＣＣＤが水平方向の複数ラインの電荷を水平ＣＣＤに転送した後に、水平ＣＣＤによる電荷の転送動作を行い、水平方向の複数ライン分の電荷が重畳して画素値として出力される読み出し方法などがある。
【０１３８】
図１０は、本発明の変形例に係る撮像装置１Ｂの動作を説明するための図である。なお、図１０では、ＣＣＤ２に”加算読み出し”可能な撮像素子を用いた場合について例示している。
【０１３９】
図１０に示すように、図９に示す撮像装置１Ａの動作と異なる点は、第１フィールド２１の電荷蓄積状態である。図１０に示す動作では、ＣＣＤ２からの第１および第２フィールド画像データ２１０，２２０の読み出しは、図９に示す動作と全く同じであるが、ＣＣＤ２から第３フィールド画像データ２３０を読み出す際に、第１フィールド２１に蓄積された電荷が加算される。
【０１４０】
ここでは、ＣＣＤ２から第１フィールド画像データ２１０が読み出された後も、シャッター１２は開放されているため、ＣＣＤ２の第１フィールド２１には、２回目および３回目の発光Ｆ２，Ｆ３の際などにも電荷が蓄積される。そして、例えば、図５に示すような画素配列を有している場合は、ＣＣＤ２から第３フィールド画像データ２３０を読み出す際に、第３フィールド２３のＲの画素Ｒａ（不図示）に蓄積された電荷が垂直ＣＣＤによって転送されている途中に、画素Ｒａから垂直ＣＣＤの転送方向に４つずれた画素位置にあたる第１フィールド２１のＲの画素Ｒｂ（不図示）に蓄積された電荷が重畳される。そして、重畳された電荷に基づく信号を第３フィールド画像データ２３０として読み出す。
【０１４１】
このような場合には、第３フィールド画像データ２３０が、第３フィールド２３に蓄積された電荷のみに基づく画像データよりも画素値が大きくなる。その結果、第３フィールド画像データ２３０に基づいて生成される画像データの画素値が増加する傾向となるため、さらに高感度の撮影画像を容易に取得することができる。また、内蔵フラッシュ７の３回目の発光量を減少させても所望の第３フィールド画像データ２３０を取得することができるため、内蔵フラッシュ７の電力消費量をより低減することができる。
【０１４２】
◎また、上述した実施形態では、図９に示すように、第２フィールド２２から電荷信号を読み出す際に、内蔵フラッシュ７が３回目の発光Ｆ３を行ったが、この動作に限られるものではなく、例えば、第２フィールド２２からの電荷信号の読み出しが開始した際に、シャッター１２を閉じて、３回目の発光Ｆ３を行わないようにしても良い。
【０１４３】
このとき、第２および第３フィールド画像データ２２０，２３０は同一の露出条件（ＥＶ＝ＥＶ_０）において得られるため、両画像データ２２０，２３０を合わせて１つの露出条件（ＥＶ＝ＥＶ_０）において得られた画像データとすることができる。よって、露出条件の異なる画像データの数は減少するが、ここで露出条件（ＥＶ＝ＥＶ_０）において得られる画像データについては、上述した実施形態における第２および第３フィールド画像データ２２０，２３０のそれぞれと比較して、空画素が半分となる。その結果、画像処理部４３における補間処理の精度が向上することとなるため、画像処理部４３において最終的に得られる画像データの画質を向上させることができる。
【０１４４】
◎また、上述した実施形態では、３つの露出条件（ＥＶ＝ＥＶ_０−１，ＥＶ_０，ＥＶ_０＋１）において第１〜第３フィールド画像データ２１０〜２３０を取得したが、露出条件は上記のものに限られず、例えば、ユーザーの設定などによって、露出量が適正露出の１／４倍、１倍、３倍となるように１〜３回目の発光量をそれぞれ設定して、３つの露出条件（ＥＶ＝ＥＶ_０−２，ＥＶ_０，ＥＶ_０＋２）において第１〜第３フィールド画像データ２１０〜２３０を取得しても良い。即ち、１回目の発光における発光量と、２回目の発光における発光量とが異なるようにしても良い。
【０１４５】
このように、１回の短いフラッシュ撮影における露光中の複数回の発光について、発光量を変更することによって、例えば、露光状態が種々異なる複数の画像を短時間で効率良く取得することができる。即ち、ユーザーの意図や被写体の状態などに応じて、さらに適正な撮影画像を取得することができる。
【０１４６】
◎また、上述した実施形態では、第１〜第３フィールド２１〜２３から電荷信号を各フィールドごとに読み出したが、これに限られるものではなく、各フィールド２１〜２３をそれぞれ、複数の領域に分けて、その領域ごとに時間的に連続して電荷信号を読み出して、複数の領域からの電荷信号に基づいた複数の画像データを合わせて第１〜第３フィールド画像データ２１０，２２０，２３０としても良い。
【０１４７】
具体的には、例えば、第１フィールド２１をさらに複数の領域に分けて、その領域ごとに時間的に連続して電荷信号を読み出して、複数の領域からの電荷信号に基づいた複数の画像データを合わせて第１フィールド画像データ２１０とするようにしても良い。なお、このとき、第１フィールド２１を複数に分けた領域の露光条件を略一致させることが望ましい。
【０１４８】
◎また、上述した実施形態では、受光部２ａを３つのフィールド２１〜２３に分けて、電荷信号を読み出したが、これに限られるものではなく、受光部２ａを４つのフィールド以上の複数のフィールドに分けて、フィールドごとにカラーフィルタ配列の全色成分にあたる電荷信号を読み出すようにしても良い。また、フィールドごとにカラーフィルタ配列の全色成分を読み出すことができるのであれば、受光部２ａを２つのフィールドに分けて、電荷信号を読み出すようにしても良い。
【０１４９】
◎また、上述した実施形態では、ＣＣＤ２はカラーフィルタ配列を有するが、これに限られるものではなく、例えば、カラーフィルタを設けていない、いわゆるモノクロ用のＣＣＤであっても良い。この場合は、得られる画像データはモノクロ画像データであるが、特殊撮影モードの各設定に応じた種々の効果を得ることができる。なお、この場合は、受光部２ａを２つのフィールドに分けて、電荷信号を読み出すようにしても良い。
【０１５０】
◎また、上述した実施形態では、フラッシュブラケットモードにおける撮影において、各フィールド画像データについて補完処理を施して、補完画像データを生成したが、補完処理を施さずに、各フィールド画像データそれぞれから垂直および水平方向に間引かれた画像（間引き画像）を生成しても良い。このとき、各間引き画像は画像サイズが小さくなるものの、画像データの量が少なくなるため、撮影開始から記録および表示までに要する処理時間を短縮することができる。
【０１５１】
◎また、上述した実施形態では、フラッシュ撮影において、連続して取得されるフィールド画像データの全てに基づいて、最終的に種々の画像を生成したが、これに限られるものではなく、例えば、３つのフィールド画像データのうちの２つのフィールド画像データから２つの補間画像データを生成して、その２つの補間画像データに基づいて、最終的に種々の画像を生成するようにしても良い。
【０１５２】
◎また、上述した実施形態では、発光する部位が内蔵フラッシュ７であったが、これに限られるものではなく、例えば、撮像装置１Ａに対して外側から装着する外付けタイプのフラッシュ装置などであっても良い。
【０１５３】
【発明の効果】
以上説明したように、請求項１ないし請求項５の発明によれば、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データに基づいて、種々の画像データを生成することにより、フラッシュ撮影時に被写体に応じた種々の撮影画像や適正な撮影画像を容易に取得可能な撮像装置を提供することができる。
【０１５４】
特に、請求項２の発明においては、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、受光部のカラーフィルタ配列に対応する全色成分を含み、かつ露光条件の異なる複数の画像データを得ることができるため、フラッシュ撮影時に被写体に応じた適正なフルカラーの撮影画像を容易に取得することができる。例えば、露光条件の異なる複数のフルカラーの撮影画像を短時間で効率良く取得することができる。
【０１５５】
また、請求項３の発明においては、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データについての画素値を加算することによって、装置の大型化や消費電力などを抑制しつつ、フラッシュ撮影時に高感度の撮影画像を取得することができる。
【０１５６】
また、請求項４の発明においては、短時間に複数回の発光を行って１回のフラッシュ撮影を行い、得られる露光条件の異なる複数の画像データについての画素値について、階調特性を変換しつつ加算することによって、フラッシュ撮影時に、画像のボケの発生や消費電力などを抑制しつつ、被写体の輝度に応じた適正な撮影画像を取得することができる。
【０１５７】
また、請求項５の発明においては、短時間に複数回の発光を行って１回のフラッシュ撮影を行う際に、露光中の複数回の発光について、発光量を変更することによって、フラッシュ撮影時に、ユーザーの意図や被写体の状態などに応じて、さらに適正な撮影画像を取得することができる。例えば、露光条件が種々異なる複数の画像を容易に取得することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る撮像装置１Ａを示す斜視図である。
【図２】撮像装置１Ａの背面図である。
【図３】撮像装置１Ａの機能ブロックを示す図である。
【図４】撮像装置１Ａにおける画像信号等の流れを説明するための図である。
【図５】ＣＣＤ２の電荷読み出し方法を説明するための図である。
【図６】ＣＣＤ２の高速読み出しモードを説明するための図である。
【図７】撮像装置１Ａの撮影動作を説明するためのフローチャートである。
【図８】撮像装置１Ａの撮影動作を説明するためのフローチャートである。
【図９】撮像装置１Ａの撮影動作を説明するための図である。
【図１０】本発明の変形例に係る撮像装置１Ｂの撮影動作を説明するための図である。
【図１１】従来技術に係るＣＣＤの電荷読み出し方法を説明するための図である。
【図１２】従来技術に係るＣＣＤの電荷読み出し方法を説明するための図である。
【符号の説明】
１Ａ，１Ｂ　撮像装置
２　ＣＣＤ（撮像手段）
２ａ　受光部
５　カメラマイコン
７　内蔵フラッシュ（発光部）
２１　第１フィールド
２２　第２フィールド
２３　第３フィールド
４３　画像処理部（画像生成手段）
６６　フラッシュ制御回路（発光制御手段）

Claims (5)

1. 発光部を有する撮像装置であって、
   （ａ）撮影の際に受光部に蓄積される電荷信号を、前記受光部の画素配列を複数のフィールドに分けて読み出し可能な撮像手段と、
   （ｂ）前記発光部が第１の発光を行うとともに、前記第１の発光後、前記複数のフィールドのうちの第１のフィールドから電荷信号を読み出す際に、前記発光部が第２の発光を行うように制御する発光制御手段と、
   （ｃ）前記第２の発光前において前記受光部に蓄積される電荷信号を前記第１のフィールドから読み出すことによって得られる第１の画像データと、前記第２の発光前後において前記受光部に蓄積される電荷信号を前記複数フィールドのうちの第２のフィールドから読み出すことによって得られる第２の画像データとに基づいて、所定の画像データを生成する画像生成手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記受光部の画素配列が、
   色フィルタ配列を有し、
   前記第１および第２のフィールドのそれぞれが、
   前記色フィルタ配列の全色成分を含むことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置であって、
   前記画像生成手段が、
   前記第１の画像データにおける画素値と、前記第２の画像データにおける画素値とを加算処理することによって、前記所定の画像データを生成することを特徴とする撮像装置。
4. 請求項１または請求項２に記載の撮像装置であって、
   前記画像生成手段が、
   前記第１の画像データにおける画素値と、前記第２の画像データにおける画素値とについて、階調特性を変換しつつ加算処理することによって、前記所定の画像データを生成することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれかに記載の撮像装置であって、
   前記第１の発光における発光量と、前記第２の発光における発光量とが異なることを特徴とする撮像装置。

Images