JP2011097345A

JP2011097345A - 撮像装置およびその制御方法

Info

Publication number: JP2011097345A
Application number: JP2009249089A
Authority: JP
Inventors: Hiroshi Moritomo; 広志森友
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-29
Filing date: 2009-10-29
Publication date: 2011-05-12
Anticipated expiration: 2029-10-29
Also published as: JP5596959B2

Abstract

【課題】１度のレリーズ動作に応じてストロボ非発光撮影画像及びストロボ発光撮影画像を得る特殊連続撮影において、両画像間の差異を低減させることが可能な撮像装置を提供する。
【解決手段】特殊連続撮影モードにおいて、ＳＷ１がＯＮされると（Ｓ２０４）ストロボ非発光・発光撮影の各々に適正な露出条件が決定される（Ｓ２０６、Ｓ２０７）。ＳＷ２がＯＮされると（Ｓ２０９）ストロボ非発光・発光撮影の各々の露光時間が、決定された適正露光時間をより短くなるように再設定される。続いて、調光処理により適正なストロボ発光時間より短くなるようにストロボ発光量が決定される（Ｓ２１３）。再設定された撮影条件で、ストロボ非発光・発光撮影が交互に連続して行われる（Ｓ２１４）。取得された所定枚数の単位画像は位置合わせ処理後、画像合成され、各１枚のストロボ非発光・発光撮影画像が生成される（Ｓ２１５）。
【選択図】図２

Description

本発明は、１度の撮影操作でストロボ非発光撮影とストロボ発光撮影とを行う撮像装置に関するものである。

近年のデジタルカメラには、標準的にストロボが備えられており、被写体の輝度が不十分な状況では、ストロボ発光によって被写体を適正な露出で撮影することができる。しかし、逆光や夕暮れなど、撮影状況によってはストロボ発光撮影及びストロボ非発光撮影のいずれが適切であるか迷う場面がある。このような問題に対し、従来のデジタルカメラの中には、１度のレリーズ操作（撮影操作）でストロボ非発光撮影とストロボ発光撮影とを連続して行い、ストロボ発光撮影画像とストロボ非発光撮影画像とを１枚ずつ取得するものがある（例えば、特許文献１参照）。

また、１度のレリーズ操作でストロボ非発光撮影とストロボ発光撮影とを連続して撮影を行った後、取得した２枚の画像を比較できるようレビュー表示し、ユーザが好ましい画像を選択できるようにするものがある（例えば、特許文献２参照）。

特開２００４−５４２３１号公報特開２００７−２５６９０７号公報

しかしながら、前述の特許文献１及び特許文献２は、ストロボ非発光撮影とストロボ発光撮影との両方、またはいずれか一方の撮影に適正な露光時間で順に連続して撮影を行う。そのため、被写体の輝度が低い場面では、各撮影の露光時間が長くなり、最初の撮影開始から次の撮影開始までの時間経過が長くなるため、取得される両画像間に被写体環境の変化による画像の差異が生じ易いという課題がある。

本発明は上記の課題を鑑みてなされたものであり、１度の撮影操作で発光手段を発光させた発光撮影と非発光撮影を行う場合に、発光撮影画像と非発光撮影画像との被写体環境の変化による画像の差異を低減できるようにすることを目的とする。

上記課題を解決するために、本発明に係る撮像装置は、１度の撮影操作で発光手段を発光させた発光撮影と非発光撮影とをそれぞれ複数回行う撮像装置であって、被写体を撮像する撮像手段と、前記被写体を測光する測光手段と、前記測光手段による測光結果に基づいて、前記発光撮影および前記非発光撮影の１回あたりの前記撮像手段の露光時間を決定する決定手段と、前記決定手段により決定された露光時間で前記撮像手段により得られた複数の画像を合成して適正露光の合成画像を生成する画像合成手段と、１度の撮影操作において前記発光撮影がすべて終了する前に少なくとも１回の前記非発光撮影を行うように制御する制御手段と、を有し、前記画像合成手段は、１度の撮影操作で、前記発光撮影により得られた複数の画像を合成した合成画像と、前記非発光撮影により得られた複数の画像を合成した合成画像とを生成することを特徴とする。

本発明によれば、１度の撮影操作で発光手段を発光させた発光撮影と非発光撮影を行う場合に、発光撮影画像と非発光撮影画像との被写体環境の変化による画像の差異を低減できるようにすることを目的とする。

本発明の実施例に係るデジタルカメラの構成を示すブロック図である。実施例１及び実施例２に係る特殊連続撮影モードにおける撮影動作のフローチャートを示す図である。本発明の実施例に係る特殊連続撮影モードにおける露光条件決定のフローチャートを示す図である。実施例１及び実施例２に係る特殊連続撮影モードにおける連続撮影のフローチャートを示す図である。実施例１に係る特殊連続撮影モードにおける画像合成のフローチャートである。本発明の実施例に係るデジタルカメラのプログラム線図である。ガイドナンバと発光撮影の撮影回数に対する発光時間のテーブルを示す図である。ストロボ発光制御信号によるＬＥＤストロボの発光特性についての概念図である。ストロボ発光制御信号によるキセノン管ストロボの発光特性についての概念図である。各撮影の露光時間、ストロボ発光時間及び連続撮影に要する撮影期間の関係を示した概念図である。実施例１における連続撮影して取得した単位画像から合成画像を生成する様子を示した概念図である。実施例２及び実施例３における連続撮影して取得した単位画像から合成画像を生成する様子を示した概念図である。画像合成方法の例を説明する図である。実施例２及び実施例３に係る特殊連続撮影モードにおける画像位置合わせ処理及び画像合成のフローチャートを示す図である。動きベクトルを検出する方法の例を説明する図である。実施例３に係る特殊連続撮影モードにおける撮影動作のフローチャートを示す図である。実施例３に係る特殊連続撮影モードにおける連続撮影のフローチャートを示す図である。

(実施例１)
以下、本発明の実施例１に係る撮像装置としてのデジタルカメラについて説明する。図１（ａ）に本実施例に係るデジタルカメラ１００の構成を示すブロック図を示す。図１（ａ）において、１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は撮像した被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１６は、撮像部１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

２０は、撮像部１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２８にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２４及びシステム制御部５０により制御される。

２２は、Ａ／Ｄ変換器１６からの画像データ、又は、メモリ制御部２４からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う画像処理部である。画像処理部２２では、また、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が測距制御を行うことで、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理が行われる。画像処理部２２では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２８はＤ／Ａ変換器、３０はＬＣＤ等からなる表示部である。３２は、撮影した静止画像や動画像を格納するためのメモリである。Ａ／Ｄ変換器１６から出力された画像データは、画像処理部２２及びメモリ制御部２４を介して、或いは、直接メモリ制御部２４を介して、メモリ３２に書き込まれる。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連続撮影の場合にも、高速かつ大量の画像書き込みをメモリ３２に対して行うことが可能となる。また、メモリ３２はシステム制御部５０の作業領域としても使用することが可能である。メモリ３２は、記録媒体２００の書き込みバッファとしても使われる。さらに、メモリ３２は画像表示用のメモリを兼ねており、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器２８を介して表示部３０により表示される。表示部３０を用いて、撮像した画像データを逐次表示すれば、電子ファインダー機能（スルー表示）を実現することが可能である。

３４は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸張する圧縮・伸張部であり、メモリ３２に格納された撮影画像を読み込んで圧縮処理を行い、処理を終えた画像データをメモリ３２に書き込む。また、記録媒体２００などからメモリ３２に読み込まれた圧縮画像を読み込んで伸張処理を行い、処理を終えた画像データをメモリ３２に書き込む。圧縮・伸張部３４によりメモリ３２に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インターフェース９０を介して記録媒体２００に記録される。

４０は露出制御部であり、４５は発光手段としてのストロボである。本実施例において、ストロボ４５はＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を用いたＬＥＤストロボとする。ストロボ４５は、システム制御部５０の制御信号に従い発光する。露出制御部４０は、システム制御部５０の制御に従い、ＴＴＬ方式によるＡＥ（自動露出）処理、ストロボ調光処理を行う。

４２は、連続撮影によって取得された複数枚の単位画像を画像合成して合成画像を生成する画像合成部である。５０は、デジタルカメラ１００全体を制御するシステム制御部である。５８は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。システム制御部５０の動作用の定数、プログラム等を記憶する。５２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５８から読み出したプログラム等を展開するシステムメモリである。ここでいう、プログラムとは、後述の各実施形態における各種フローチャートを実行するためのプログラムのことである。

６０は、デジタルカメラ１００の動作モードを静止画撮影モード、連続撮影（連写）モード、動画撮影モード、再生モード等のいずれかに切り替えることができるモード切替スイッチである。連続撮影モードは、通常連続撮影モードと特殊連続撮影モードとを備えており、いずれか一方を選択することができる。なお、通常連続撮影モードとは、１度の撮影操作でストロボ４５を発光させて静止画撮影を行う発光撮影及びストロボ４５を発光させずに静止画撮影を行う非発光撮影のいずれか一方を複数回連続して行うモードである。一方、特殊連続撮影モードとは、１度の撮影操作で発光撮影と非発光撮影とを交互にそれぞれ複数回行うモードである。

６２は第１シャッタースイッチＳＷ１、６４は第２シャッタースイッチＳＷ２である。第１シャッタースイッチＳＷ１（６２）は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の動作開始を指示する。

第２シャッタースイッチＳＷ２（６４）は、まずＡＷＢ（オートホワイトバランス）処理、調光（プリ発光）処理等の動作開始を指示する。続いて、撮像部１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２４を介してメモリ３２に画像データを書き込む露光処理の動作開始を指示する。同時に、画像処理部２２やメモリ制御部２４での演算を用いた現像処理、メモリ３２から画像データを読み出し、圧縮・伸張部３４で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。また、動画撮影の場合は動画撮影の開始・停止を指示する。なお、第２シャッタースイッチＳＷ２（６４）の状態をＯＦＦの状態からＯＮの状態に切り替えるためのユーザの操作を撮影操作とする。

７０は、システム制御部５０に各種の動作指示を入力するための操作部である。操作部７０の各操作部材は、表示部３０に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えばメニューボタンが押されると各種設定が可能なメニュー画面が表示部３０に表示される。利用者は、表示部３０に表示されたメニュー画面と、４方向キーやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

７２は、電源オン、電源オフを切り替える電源制御スイッチである。７４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う電源制御部である。また、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

８６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。８２及び８４は、電源部８６と電源制御部７４とを接続するコネクタである。

９０は、メモリカードやハードディスク等の記録媒体２００とのインターフェースであり、９２は、該記録媒体２００とインターフェース９０との接続のためのコネクタである。

２００は、メモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインターフェース２０４、及び、記録媒体２００とデジタルカメラ１００とを接続するためのコネクタ２０６を備えている。

図２は、本実施例の特殊連続撮影モードにおける撮影動作のフローチャートを示しており、以下、図２を参照しながらデジタルカメラ１００の特殊連続撮影モードにおける撮影動作を説明する。

デジタルカメラ１００の電源制御スイッチ７２によって電源をＯＮし（Ｓ２０１）、モード切替スイッチ６０によって特殊連続撮影モードを設定すると（Ｓ２０２でＹｅｓ）、撮像部１４からの画像データを表示部３０へ逐次表示するスルー表示を行う（Ｓ２０４）。ステップＳ２０２において、その他のモード、例えば、静止画撮影モード、動画撮影モード、再生モードなどに設定された場合（Ｓ２０２でＮｏ）は、設定された各モードの処理を行う（Ｓ２０３）。

ステップＳ２０４の後、レリーズスイッチのＳＷ１（６２）がＯＮされると（Ｓ２０５でＹｅｓ）、システム制御部５０は測距処理を行い、測距結果に基づいて撮影レンズ１０の焦点を被写体に合わせる（Ｓ２０６）。

続いて、システム制御部５０は測光処理を行う。測光処理について以下に説明する。まず、システム制御部５０は、測光を行い、測光結果から被写体輝度値Ｂｖを取得する。撮影感度Ｓｖ、露光時間Ｔｖ、絞り値Ａｖの露出条件は、取得された被写体輝度値Ｂｖから適正な露出値Ｅｖが得られるよう、以下の式（式１）に従い決定する。
Ｅｖ＝Ｂｖ＋Ｓｖ＝Ｔｖ＋Ａｖ（式１）
ここで、被写体輝度値Ｂｖ、撮影感度Ｓｖ、露光時間Ｔｖ及び絞り値ＡｖはＡＰＥＸ表記された値である。

本実施例では、メモリ３２は、図６（ａ）に示すような非発光撮影用のプログラム線図を記憶している。システム制御部５０は、取得した被写体輝度値Ｂｖから、非発光撮影用のプログラム線図に従い、非発光撮影において適正露出が得られる撮影感度Ｓｖ＿１、露光時間Ｔｖ＿１、絞り値Ａｖ＿１の露出条件を決定する（Ｓ２０７）。なお、図６（ａ）では、露出値ＥｖがＥｖ１０である場合、図中の位置Ａから、露光時間Ｔｖ＿１をＴｖ６、絞り値Ａｖ＿１をＡｖ４と決定する。

続いて、システム制御部５０は、メモリ３２に記憶している図６（ｂ）に示す発光撮影用のプログラム線図に従い、発光撮影において適正露出が得られる撮影感度Ｓｖ＿２、露光時間Ｔｖ＿２、絞り値Ａｖ＿２の露出条件を決定し、メモリ３２に記録する（Ｓ２０８）。なお、図６（ｂ）では、露出値ＥｖがＥｖ１０である場合、図中の位置Ｂから、露光時間Ｔｖ＿２をＴｖ６．４７、絞り値Ａｖ＿２をＡＶ３．５３と決定する。

以上のようにして、非発光撮影及び発光撮影の適正露出の得られる露出条件を決定すると、システム制御部５０は、露出制御部４０を制御し、デジタルカメラ１００を非発光撮影の露出条件に設定する（Ｓ２０９）。

非発光撮影の露出条件を設定した後、シャッタースイッチＳＷ２がＯＮされずに（Ｓ２１０でＮｏ）、さらにシャッタースイッチＳＷ１もＯＦＦされたならば（Ｓ２１１でＮｏ）、ステップＳ２０５に戻る。

シャッタースイッチＳＷ２（６４）がＯＮされたならば（Ｓ２１０でＹｅｓ）、システム制御部５０は、連続撮影における１回の非発光撮影及び１回の発光撮影の各露出条件を決定する（Ｓ２１２）。このフローについて、図３を用いて以下に説明する。

まず、システム制御部５０は、メモリ３２に記録している所定の連続撮影回数ｎを読み込む（Ｓ３０１）。連続撮影回数ｎは、固定値であっても良いし、図１（ａ）の操作部７０によりユーザが選択可能であっても良い。本実施例では、ｎ＝１０とする。続いて、非発光撮影及び発光撮影それぞれの撮影回数を決定する（Ｓ３０２）。本特殊連続撮影モードは、非発光撮影及び発光撮影を交互に同じ回数だけ行うため、それぞれの撮影回数は各２／ｎ回となる。本実施例では、ｎ＝１０であるため、非発光撮影及び発光撮影のそれぞれの撮影回数は各５回である。次に、システム制御部５０は、非発光撮影の露光時間Ｔｖ＿１及び発光撮影の露光時間Ｔｖ＿２から下記の数式（式２）（式３）により時間（秒）単位の露光時間Ｔ１［ｓ］及びＴ２［ｓ］を算出する。
Ｔ１＝（１／２）^Ｔｖ＿１［ｓ］（式２）
Ｔ２＝（１／２）^Ｔｖ＿２［ｓ］（式３）
ここで、非発光撮影の露光時間Ｔｖ＿１及び発光撮影の露光時間Ｔｖ＿２はＡＰＥＸ表記された値である。

上記の数式（式２）、（式３）から算出された各撮影の露光時間Ｔ１［ｓ］及びＴ２［ｓ］を、各撮影の撮影回数ｎ／２で分割することで、１回の非発光撮影の露光時間Ｔ１’［ｓ］及び１回の発光撮影の露光時間Ｔ２’［ｓ］を再設定する（Ｓ３０３／Ｓ３０４）。１回の非発光撮影の露光時間Ｔ１’［ｓ］及び１回の発光撮影の露光時間Ｔ２’［ｓ］を決定する数式（式４）、（式５）を以下に示す。
Ｔ１’＝Ｔ１／（ｎ／２）［ｓ］（式４）
Ｔ２’＝Ｔ２／（ｎ／２）［ｓ］（式５）
本実施例の場合、１回の非発光撮影の露光時間Ｔ１’［ｓ］は、Ｔ１’＝Ｔ１／５［ｓ］、１回の発光撮影の露光時間Ｔ２’［ｓ］は、Ｔ２’＝Ｔ２／５［ｓ］となる。本実施例では、１回の非発光撮影及び１回の発光撮影の絞りと撮影感度は、それぞれステップＳ２０７、ステップＳ２０８で決定された値を用いるものとする。

次に、ストロボ４５は、予め設定されたプリ発光量でプリ発光する（Ｓ２１３）。システム制御部５０は、測光処理を行い、プリ発光における被写体輝度を測光し、測光値ΔＥｖを得る。この測光値ΔＥｖは適正レベルからの差で表され、この値を下記の数式（式６）に代入し、適正露出を得るためのガイドナンバを算出する。

ここで、ＧＮｏ．はガイドナンバ、ΔＥｖは測光値、ａ，ｂは所定値である。
次に、数式（式６）により算出したガイドナンバを用いて、ストロボ発光時間を算出する。システム制御部５０は、図７に示すようなガイドナンバと発光撮影の撮影回数に対する発光時間のテーブルを記憶している。本実施例のデジタルカメラ１００では、例えば、数式（式６）から算出されたガイドナンバが７．４６であり、発光撮影の撮影回数ｎ／２が５回の場合、図７に示すテーブルから１回の発光撮影におけるストロボ発光時間Ｔｓは６０μｓと決定する。

ここで、図７に示す各撮影回数における１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］は、撮影回数ｎ／２回のストロボ発光を行ったときの総発光量が、常に一定となるように決定されている。本実施例における１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］について以下に説明する。本実施例において、ストロボ４５はＬＥＤストロボである。図８は、システム制御部５０がストロボ４５の発光を制御するストロボ発光制御信号と、ストロボ発光制御信号によるＬＥＤストロボの発光特性についての概念図を示している。ＬＥＤストロボは、発光制御信号８０２により、発光特性８０１のように発光する。ここで、発光時間Ｔｓｏ［ｓ］を発光撮影の撮影回数が１回のときの発光時間とする。また、発光特性の時間積分は発光量を示す。ＬＥＤストロボは、発光制御信号に対する発光強度の立ち上がりと立ち下りが急峻であるため、発光時間に対する発光量に線形性があるとしてもよい。そこで、本実施例における１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］は、以下の数式（式７）により決定する。
Ｔｓ＝Ｔｓｏ／（ｎ／２）［ｓ］（式７）
数式（式７）により発光時間Ｔｓ［ｓ］を決定したときの、発光時間Ｔｓ［ｓ］を満たすように決定した発光制御信号を８０４に示し、発光制御信号８０４によるＬＥＤストロボの発光特性を８０３に示す。ここでは、発光撮影回数ｎ／２＝５とする。８０５は、発光特性８０３を撮影回数分並べたものである。撮影回数５回の発光特性８０３の発光量の総和を表す８０５の面積と、発光制御信号８０２による発光特性８０１の発光量を表す８０１の面積を比較すると、ほぼ等しい。つまり、ストロボ発光時間Ｔｓ［ｓ］による発光をｎ／２回行ったときの総発光量と、発光撮影の撮影回数が１回のときのストロボ発光時間Ｔｓｏ［ｓ］による発光量がほぼ等しい。よって、本実施形態においては、数式（式７）を用いて、１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］を決定する。すなわち、数式（式７）を用いて決定される図７に示すストロボ発光時間のテーブルは、ＬＥＤストロボのように、発光時間に対する発光量に線形性のある発光特性を持つストロボに合わせたものとなっている。

ここで、ストロボ４５が、発光部にキセノン管を用いるキセノン管ストロボの場合を考える。図９は、ストロボ発光制御信号によるキセノン管ストロボの発光特性についての概念図を示している。キセノン管ストロボは、発光制御信号９０２により、発光特性９０１のように発光する。ＬＥＤストロボの場合と同様に、数式（式７）により発光時間Ｔｓを決定したときの、発光時間Ｔｓ［ｓ］を満たすように決定した発光制御信号を９０４に示し、発光制御信号９０４によるキセノン管ストロボの発光特性を９０３に示す。このときの発光撮影回数ｎ／２＝５とする。９０５は、発光特性９０３を撮影回数分並べたものである。キセノン管ストロボは、ＬＥＤストロボと比べ、発光制御信号に対する発光特性の変化が緩やかであるため、発光時間に対する発光量の関係は非線形である。そのため、撮影回数５回の発光特性９０３の発光量の総和を表す９０５の面積と、発光制御信号９０２による発光特性９０１の発光量を表す９０１の面積を比較すると大きく異なる。よって、ストロボ４５がキセノン管ストロボの場合、発光撮影の撮影回数が複数回のときの１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］を、数式（式７）を用いて決定することはできない。

キセノン管ストロボにおいて、ストロボ発光時間Ｔｓｏ［ｓ］による発光量と、ｎ／２回の発光撮影を行ったときの総発光量が等しくなるよう、ストロボ発光時間Ｔｓ［ｓ］を決定した場合の、ストロボ発光時間Ｔｓ［ｓ］による発光特性を９０６に示す。このときの発光撮影回数ｎ／２＝５とし、発光特性９０６を撮影回数分並べている。ここで、ストロボ発光時間Ｔｓによる発光量の総和を表す発光特性９０６の撮影回数５回分の面積と、ストロボ発光時間Ｔｓｏ［ｓ］による発光量を表す発光特性９０１の面積は等しい。このとき、撮影回数が１回のときのストロボ発光時間Ｔｓｏ［ｓ］と、撮影回数が複数回のときの１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］の関係は、数式（式８）となる。
Ｔｓ’＞Ｔｓ／（ｎ／２）［ｓ］（式８）
ストロボ発光時間Ｔｓ［ｓ］は、数式（式８）で示すように、撮影回数ｎ／２で分割した時間よりも長くなる。しかし、１回の発光撮影の露光時間Ｔ２’［ｓ］は、発光撮影の露光時間Ｔ２［ｓ］から撮影回数ｎ／２で分割して求められる。そのため、ストロボ発光時間Ｔｓ［ｓ］が発光撮影の露光時間Ｔ２’［ｓ］よりも長くなる場合が考えられる。例えば、１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］による発光特性が９０６であるときの、発光撮影の露光期間を９０７に示す。露光期間９０７の露光時間Ｔ２［ｓ］を撮影回数ｎ／２で分割して求めた１回の発光撮影の露光期間を９０８に示す。このとき、１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］は、１回の発光撮影の露光時間Ｔ２’［ｓ］よりも短い。しかし、発光撮影の露光期間が９０９の場合、露光期間９０９の露光時間Ｔ２［ｓ］を撮影回数ｎ／２で分割して求めた１回の発光撮影の露光期間は９１０となる。このとき、１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］は、１回の発光撮影の露光時間Ｔ２’［ｓ］よりも長くなる。この場合、ストロボ発光時間Ｔｓ［ｓ］による発光量がすべて露光されないことになる。

以上より、１回の発光撮影のストロボ発光時間Ｔｓ［ｓ］が、露光時間Ｔ２’［ｓ］との間に以下の数式（式９）を満たす場合には、キセノン管ストロボであっても本発明を適用することができる。
Ｔｓ’≦Ｔ２’（式９）
ストロボ４５がキセノン管ストロボである場合、システム制御部５０は、キセノン管ストロボの発光特性に合わせた、ガイドナンバと発光撮影の撮影回数に対する発光時間のテーブルを記憶しておき、テーブルを用いてストロボ発光量Ｔｓ［ｓ］を決定する。このテーブルは図７に示すものと同様の内容であるが、各ガイドナンバと各撮影回数に対しての発光時間がキセノン管ストロボの発光特性に合わせた時間となっている。なお、露光条件と撮影回数の条件により数式（式９）を満たさない場合には、表示部３０に警告を表示し、連続撮影は行わないようにする。

次に、ステップＳ２１２で再設定した条件と、ステップＳ２１３で決定したストロボ発光時間に従って、非発光撮影と発光撮影とを交互に連続で行う（Ｓ２１４）。このフローについて、図４を用いて以下に説明する。

まず、システム制御部５０は、図３のステップＳ３０３にて再設定した非発光撮影の露出条件に露出を設定し（Ｓ４０１）、非発光撮影を行う（Ｓ４０２）。続いて、システム制御部５０は、図３のステップＳ３０３にて再設定した発光撮影の露出条件に露出を設定し（Ｓ４０３）、図３のステップＳ３０４で決定したストロボ発光量で発光撮影を行う（Ｓ４０４）。上述した非発光撮影及び発光撮影の合計撮影回数が、所定の連続撮影回数ｎまで行ったかどうかを判定する（Ｓ４０５）。所定の連続撮影回数ｎまで至っていない場合（Ｓ４０５でＮｏ）は、ステップＳ４０１まで戻り、ステップＳ４０１〜Ｓ４０５までの処理を繰り返す。

図１０は、図４の示す撮影フローにおける各撮影の露光時間、ストロボ発光時間及び連続撮影に要する撮影期間の関係を示した概念図である。図４の示す撮影フローにおいて、図１０に示すタイミングで非発光撮影１００１と発光撮影１００２及びストロボ発光１００３を行う。

ステップＳ２１４の連続撮影後、画像合成部４２は、非発光撮影及び発光撮影により得られた複数枚（本実施例では各５枚）の画像データをそれぞれ画像合成する。そして、発光撮影により得られた複数の画像を合成した合成画像と非発光撮影により得られた複数の画像を合成した合成画像とを各１枚生成する（Ｓ２１５）。このフローについて、図５を用いて以下に説明する。

まず、連続撮影において何回目の撮影によって取得した単位画像であるかを示すカウンタｋの値を「１」に設定する（Ｓ５０１）。次に、カウンタｋの値が奇数であるか偶数であるかを判定する（Ｓ５０２）。カウンタｋの値が奇数である場合（Ｓ５０２でＹｅｓ）、ｋ（奇数）番目の撮影によって取得した単位画像を、非発光撮影画像合成用のメモリに記録する（Ｓ５０３）。一方、カウンタｋの値が偶数である場合（Ｓ５０２でＮｏ）、ｋ（偶数）番目の撮影によって取得した単位画像を、発光撮影画像合成用のメモリに記録する（Ｓ５０４）。

次に、カウンタｋの値が連続撮影枚数ｎと等しいかどうかを判定することで、ｎ回の連続撮影によって取得した全単位画像を各メモリに記録したかどうかを判定する（Ｓ５０５）。カウンタｋの値が、連続撮影枚数ｎに満たない場合（Ｓ５０５でＮｏ）、ステップＳ５０６に移行し、カウンタｋの値をインクリメントしてステップＳ５０２に戻り、単位画像の各メモリへの振り分けを繰り返す。ｎ枚すべての単位画像を各メモリに記録すると（Ｓ５０５でＹｅｓ）、非発光撮影画像合成用のメモリに記録した全単位画像を加算合成する（Ｓ５０７）。続いて、発光撮影画像合成用のメモリに記録した全単位画像を加算合成する（Ｓ５０８）。

図１１は、連続撮影して取得した単位画像から合成画像を生成する様子を示した概念図である。連続撮影によって、複数枚（本実施例は１０枚）の単位画像１１０１を取得する。単位画像１１０１を、非発光撮影によって取得した複数枚（本実施形態では５枚）の単位画像１１０２と、発光撮影によって取得した複数枚（本実施形態では５枚）の単位画像１１０３とに分ける。そして、それぞれ画像合成することにより、１枚の非発光撮影画像１１０４と１枚の発光撮影画像１１０５を生成する。

単位画像１１０２は、非発光撮影によって適正露出が得られる露光時間Ｔ１を撮影回数ｎ／２で分割した露光時間Ｔ１’で撮影される。そのため、単位画像１１０２を撮影回数ｎ／２の撮影により得られた枚数分加算合成して生成した非発光撮影画像１１０４は適正露出となる。同様に、単位画像１１０３は、発光撮影によって適正露出が得られる露光時間Ｔ２を撮影回数ｎ／２で分割した露光時間Ｔ２’で撮影される。また、１回の発光撮影のストロボ発光時間Ｔｓ’は、ストロボ調光により決定したストロボ発光時間Ｔｓｏを撮影回数ｎ／２回で分割して設定される。そのため、単位画像１１０３を撮影回数ｎ／２の撮影により得られた枚数分加算合成して生成した発光撮影画像１１０５は適正露出となる。

図１３（ａ）は、画像合成方法の例を説明する図である。１３０１、１３０３及び１３０４は連続撮影により撮影した単位画像であり、この単位画像は、横ｘ画素、縦ｙ画素の画像である。１回目の撮影により取得した単位画像はＡ_１、ｋ回目の撮影により取得した単位画像はＡ_ｋと表す。ここでは、ｎ枚の単位画像から画像合成を行う。

１３０２は各画素のデータ値を示す。例えば、ｋ回目の撮影により取得した単位画像の（１，２）座標の画素データ値はａ_ｋ（１，２）で表す。本実施例における画像合成では、撮影した単位画像から、同一の座標の画素データ値ごとに加算合成を行い、非発光撮影画像Ｂ（１３０５）と発光撮影画像Ｃ（１３０６）を生成する。このときの、非発光撮影画像Ｂ（１３０５）及び発光撮影画像Ｃ（１３０６）の各座標のデータ値は、下記の数式（式１０）、（式１１）のようにそれぞれ表記する。

ステップＳ２１５の画像合成後、生成した各１枚の適正露出の非発光撮影画像及び適正露出の発光撮影画像を、メモリ３２に記録する。そして、システム制御部５０は、表示部３０に対し、生成された非発光撮影画像及び発光撮影画像のクイックレビュー表示を行う（Ｓ２１６）。クイックレビュー表示では、生成された非発光撮影画像と発光撮影画像とを順にそれぞれ表示するようにしてもよいし、生成された非発光撮影画像と発光撮影画像とを同じ画面上に表示するようにしてもよい。

クイックレビュー表示後、システム制御部５０は、取得した画像データを画像ファイルとして記録媒体２００に対し書き込みを行う記録処理を実行する（Ｓ２１７）。

以上のように、本実施例では、適正露出が得られる露光時間を連続撮影回数分に分割した短い露光時間で、非発光撮影と発光撮影とを交互に連続して行う。そのため、適正露出が得られる露光時間で非発光撮影と発光撮影を順に１回ずつ連続撮影する撮影方法に比べ、非発光撮影及び発光撮影の１回あたりの露光時間が短くなり、非発光撮影と発光撮影との時間的なずれが小さくなる。したがって、連続して撮影された非発光撮影画像と発光撮影画像との被写体環境の変化による画像の差異を低減することができる。そして、被写体環境の変化による画像の差異が小さい単位画像を複数枚取得して画像合成により適正露出の非発光撮影画像と発光撮影画像とを生成するため、適正露出の非発光撮影画像と発光撮影画像との被写体環境の変化による画像の差異を低減することができる。

また、各撮影の露光時間は、適正な露光が得られる露光時間より短い時間に設定されるため、各撮影によって取得される単位画像における手ぶれや被写体ぶれによる画質の低下を低減することができる。

(実施例２)
実施例１では、非発光撮影及び発光撮影を交互に複数回行って取得した複数枚の画像から、画像合成により各１枚の非発光撮影画像と発光撮影画像を取得する際の画像合成において、合成対象となる撮影画像間で同一の画素位置ごとに加算合成を行う構成を説明した。これに対し、実施例２では、合成対象となる撮影画像間で画像中の主被写体の位置合わせ処理を行った後、画像合成する構成を説明する。

以下、本発明の実施例２に係る撮像装置としてのデジタルカメラについて説明する。図１（ｂ）に本実施例に係るデジタルカメラの構成を示すブロック図を示す。図１（ｂ）において、画像位置合わせ処理部４４は、合成対象の画像間で画像中の主被写体の位置を合わせる位置合わせ処理を行う。その他の構成は、実施例１に係るデジタルカメラ１００と同様であるため、説明を省略する。また、本実施例の特殊連続撮影モードにおける撮影動作は、図２におけるステップＳ２１５以外は、実施例１と同様であるため、ステップＳ２１５以外の説明は省略する。以下、実施例１と異なる部分について詳細に説明する。

本実施例における画像の位置合わせ処理及び画像合成処理は、実施例１における画像合成処理（Ｓ２１５）と処理内容が異なる。そのため、図１４に本実施例の画像の位置合わせ処理及び画像合成処理のフローチャートを示し、以下詳細説明を行う。

まず、連続撮影において何回目の撮影により取得した単位画像であるかを示すカウンタｋの値を「１」に設定する（Ｓ１４０１）。次に、カウンタｋの値が奇数であるか偶数であるかを判定する（Ｓ１４０２）。判定方法は、実施例１のステップＳ５０２と同様である。もし、カウンタｋの値が奇数である場合（Ｓ１４０２でＹｅｓ）、ｋ（奇数）回目の撮影により取得した単位画像を、非発光撮影画像合成用のメモリに記録する（Ｓ１４０３）。次に、非発光撮影画像合成用のメモリに記録した単位画像が１枚目かどうかを判定する（Ｓ１４０４）。非発光撮影画像合成用のメモリに記録した単位画像が１枚目である場合（Ｓ１４０４でＹｅｓ）、画像の位置合わせ処理と画像合成処理は行わず、ステップＳ１４０８へ移行する。非発光撮影画像合成用のメモリに記録した単位画像が２枚目以降である場合（Ｓ１４０４でＮｏ）、ステップＳ１４０５へ移行する。ステップＳ１４０５において、画像位置合わせ処理部４４は、合成対象となる非発光撮影画像合成用のメモリに記録した画像間の動きベクトルを演算する。

動きベクトルの検知方法としてはさまざまな手法が公知であり、そのうちどのような手法を用いることも可能であるが、一例として図１５で説明する方法を用いる。

図１５（ａ）は撮影画像を小ブロックに分割する様子を示した図である。１５０１は撮影画像であり、ここでは横３０７２画素、縦２０４８画素の画像が撮影されるものとする。動きベクトルを求めるために、ここでは画面全体を横２５６画素、縦２５６画素の小ブロック１５０２に分割する。これにより、図１５（ａ）に示すように、横１２ブロックと、縦８ブロックとに分割される。次に、各小ブロック１５０２毎に、動きベクトル１５０３を求めるためのもう１枚の画像との二次元相関値を求めていく。相関値としては、小ブロック１５０２を画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロック１５０２の動きベクトル１５０３とする。図１５（ｂ）に示す動きベクトル１５０３は（２，１）と表示され、Ｘ方向（画像長辺方向）に２画素、Ｙ方向（画像短辺）に１画素ずらすことを意味する。動きベクトル１５０３は、図１５（ｂ）に示されるように全ての小ブロック１５０２において求められる。更に、上記のようにして求めた動きベクトル１５０３の頻度を調べる。頻度を最頻値から順にプロットしたヒストグラムが図１５（ｃ）である。このようにして求めたヒストグラムから二画像間の動きベクトルを求める。例えば、図１５（ｃ）の場合は、動きベクトル（２、１）が最頻値で有り、この二画像間の動きベクトルとなる。

次に、画像合成を行うために、画像位置合わせ処理部４４は、ステップＳ１４０５で求められた動きベクトル値を用いて、合成対象の非発光撮影画像同士が重なるように座標変換を行う（Ｓ１４０６）。

次に、画像合成部４２は、座標変換された画像を画像合成し、合成した画像を非発光撮影画像合成用のメモリに記録する（Ｓ１４０７）。図１３（ｂ）は、本実施例の画像合成の方法を説明する概念図を示している。１３１１及び１３１２は本連続撮影により撮影した単位画像である。単位画像Ａの画像サイズは、横ｘ画素、縦ｙ画素である。単位画像Ａ’（１３１２）は、動きベクトル（ｓ，ｔ）だけ座標変換されており、画像サイズは横ｘ＋ｓ画素、縦ｙ＋ｔ画素である。図１３（ｂ）は、ｓ＞０かつｔ＞０のときの例である。１３１３は各画素のデータ値を示す。単位画像ＡとＡ’の加算合成によって、合成画像Ｄ（１３１４）が生成される。本実施例における画像合成では、合成画像Ｄ（１３１４）の画素データ値は、下記の数式（式１２）により求められる。
ｄ（ｉ，ｊ）＝ａ（ｉ，ｊ）＋ａ’ （ｉ＋ｓ，ｊ＋ｔ）（１≦ｉ≦ｘ，１≦ｊ≦ｙ）（式１２）

次に、カウンタｋの値が連続撮影枚数ｎと等しいかどうかを判定することで、ｎ回の連続撮影によって取得した全単位画像に対し、位置合わせ処理と画像合成処理を行ったかを判定する（Ｓ１４０８）。カウンタｋの値が、連続撮影枚数ｎに満たない場合（Ｓ１４０８でＮｏ）、ステップＳ１４０９に移行し、カウンタｋの値をインクリメントしてステップＳ１４０２に戻る。

ステップＳ１４０２において、もし、カウンタｋの値が偶数である場合（Ｓ１４０２でＮｏ）、ｋ（偶数）回目の撮影により取得した単位画像を、発光撮影画像合成用のメモリに記録する（Ｓ１４１０）。次に、カウンタｋの値が「２」かどうかを判定することで、発光撮影画像合成用のメモリに記録した単位画像が１枚目かどうかを判定する（Ｓ１４１１）。発光撮影画像合成用のメモリに記録した単位画像が１枚目である場合（Ｓ１４１１でＹｅｓ）、画像の位置合わせ処理と画像合成処理は行わず、ステップＳ１４０８へ移行する。発光撮影画像合成用のメモリに記録した単位画像が２枚目以降である場合（Ｓ１４１１でＮｏ）、ステップＳ１４１２へ移行する。ステップＳ１４１２において、画像位置合わせ処理部４４は、合成対象となる発光撮影画像合成用のメモリに記録した画像間の動きベクトルを演算する。演算方法は、ステップＳ１４０５と同様である。

次に、画像合成を行うために、画像位置合わせ処理部４４は、ステップＳ１４１２で求めた動きベクトル値を用いて、合成対象の発光撮影画像同士が重なるように座標変換を行う（Ｓ１４１３）。座標変換の方法は、ステップＳ１４０６と同様である。次に、画像合成部４２は、座標変換された画像を画像合成し、合成した画像をストロボ発光撮影画像合成用のメモリに記録する（Ｓ１４１４）。画像合成の方法は、ステップＳ１４０７と同様である。

単位画像の各メモリへの振り分け処理と、各メモリにおいて位置合わせ処理と画像合成処理を繰り返し、ｎ枚すべての単位画像を合成処理すると、各メモリにはそれぞれ（ｎ／２）枚の単位画像が記録される。そして、各メモリにおいて、それぞれ（ｎ／２）枚の単位画像から、各１枚の非発光撮影画像と発光撮影画像が生成される。

ｎ枚すべての単位画像に対し位置合わせ処理と画像合成処理を行うと（Ｓ１４０８でＹｅｓ）、各メモリに記録した、各１枚の非発光撮影画像と発光撮影画像を、所定の演算によりリサイズする（Ｓ１４１５）。この演算は、例えば、各合成画像において、（ｎ／２）枚分の画素データが加算されている領域から、画像サイズが最大となるよう切り出しを行うようにする。ここで、非発光撮影画像と発光撮影画像の画像サイズは同じになるようにする。

図１２（ａ）は、単位画像から合成画像を生成する様子を示した概念図である。連続撮影により、ｎ枚（本実施形態では１０枚）の単位画像１２０１を取得する。次に、単位画像１２０１を、非発光撮影により取得したｎ／２枚（本実施形態では５枚）の単位画像１２０２と、発光撮影により取得したｎ／２枚（本実施形態では５枚）の単位画像１２０３とに分ける。各ｎ／２枚（本実施形態では５枚）の非発光撮影単位画像１２０２と発光撮影単位画像１２０３を、それぞれ動きベクトル検知し、座標変換する。次に、座標変換した各ｎ／２枚（本実施形態では５枚）の非発光撮影単位画像１２０４と座標変換した発光撮影単位画像１２０５を、それぞれ画像合成する。画像合成し、生成した各１枚の非発光撮影合成画像１２０６と発光撮影合成画像１２０７を、それぞれリサイズし、各１枚の非発光撮影画像１２０８と発光撮影画像１２０９を生成する。

以上、実施例２では、合成対象となる撮影画像データ間で位置合わせ処理を行った後、画像合成する構成を説明した。
実施例１で説明した構成では、合成対象となる撮影画像間で同一の画素位置ごとに加算合成を行うため、単位画像間の手ぶれや被写体ぶれは低減することができなかった。これに対し、実施例２で説明した構成は、合成対象となる撮影画像データ間で位置合わせ処理を行った後、画像合成する構成である。これにより、いわゆる電子式手ぶれ補正の効果が得られ、単位画像間の手ぶれや被写体ぶれの影響を低減することができる。そのため、取得した単位画像から画像合成により生成した各１枚の非発光撮影画像と発光撮影画像の手ぶれや被写体ぶれによる画質の低下を低減することができる。

(実施例３)
実施例１及び実施例２では、非発光撮影及び発光撮影を交互に連続して所定の連続撮影回数（ｎ回）行い、取得したｎ枚の単位画像をそれぞれ画像合成し、各１枚の適正露出の非発光撮影画像と適正露出の発光撮影画像を取得する構成を説明した。これに対し、実施例３で説明する構成は、各１枚の適正露出の非発光撮影画像と適正露出の発光撮影画像とを取得するために必要な撮影回数ｎよりも、多くの撮影回数ｍ（ｍ＞ｎ）の撮影を行う。そして、取得したｍ枚の単位画像から任意のｎ枚の単位画像を選択する。選択したｎ枚の単位画像をそれぞれ画像合成して、各１枚の適正露出の非発光撮影画像と適正露出の発光撮影画像を取得する。すなわち、１度の撮影操作で得られた複数の画像のうちの一部の画像を合成して各１枚の適正露出の非発光撮影画像と適正露出の発光撮影画像を取得する。

本実施例に係るデジタルカメラの構成は実施例２に係るデジタルカメラと同様の構成であるため説明は省略する。図１６は、本実施例の特殊連続撮影モードにおける撮影動作のフローチャートを示しており、実施例１及び実施例２と同じ動作を行う処理ステップには、同じ符号を付与して説明は省略する。以下、実施例１及び実施例２と異なる部分について詳細に説明する。
ステップＳ２１３の後、ステップＳ２１２で再設定した条件に従って、非発光撮影と発光撮影を交互に連続で行う（Ｓ１６０１）。なお、本実施例では、実施例１及び実施例２と異なり、実際に撮影する撮影回数はｍで表し、画像合成により適正露出の撮影画像を生成するために必要である撮影回数をｎで表している。そのため、連続撮影における１回の非発光撮影及び発光撮影の露光時間と、１回の発光撮影におけるストロボ発光時間は、実際の撮影回数であるｍではなく画像合成に必要な撮影回数であるｎに基づいて設定される。なお、実際の撮影回数であるｍは、画像合成に必要な撮影回数であるｎよりも大きい値である。そのため、ステップＳ２１２で設定される非発光撮影及び発光撮影の１回あたりの露光時間は、それぞれの適正露光時間をｎ／２で割った時間であるため、実際の撮影回数であるｍ／２で適正露光時間を割った時間よりも長い時間となる。更に言えば、各撮影の露光時間は画像合成に必要な撮影回数であるｎ／２に基づいて設定されるため、ｍ／２回の撮影の露光時間を合計した露光時間は適正露光時間よりも長くなる。また、ステップＳ２１３で決定される発光撮影１回あたりのストロボ発光時間も同様である。

図１７は、ステップＳ１６０１における連続撮影のフローチャートを示している。なお、実施例１及び実施例２と同じ動作を行う処理ステップには、同じ符号を付与して説明は省略する。ステップＳ４０１〜ステップＳ４０４までの非発光撮影及び発光撮影の後、撮影回数が所定の撮影回数ｍまで至ったかどうかを判定する（Ｓ１７０１）。所定の連続撮影回数ｍまで至っていない場合は（Ｓ１７０１でＮｏ）、ステップＳ４０１まで戻り、ステップＳ４０１〜Ｓ１７０１までの処理を繰り返す。ここで、撮影回数ｍは、図３のステップＳ３０１で読み込まれる撮影回数ｎよりも多く設定する。この撮影回数ｍは、デジタルカメラ１００の撮影条件や撮影モードなどの設定によって決定されても、図１（ｂ）の操作部７０によりユーザによって任意に決定されても良い。本実施例では、撮影回数ｍはｍ＝２０とする。

ステップＳ１６０１の連続撮影後、非発光撮影及び発光撮影により取得したｍ枚（本実施例ではｍ＝２０）の単位画像から、任意のｎ枚の撮影画像を画像合成用に選択する（Ｓ１６０２）。ここで、選択されるｎ枚の画像は、デジタルカメラ１００の撮影条件や撮影モードなどの設定によって決定されても、図１（ｂ）の操作部７０によりユーザによって任意に決定されても良い。

次に、画像合成部４２は、選択したｎ枚の単位画像をそれぞれ画像合成し、各１枚の非発光撮影画像と発光撮影画像を生成する（Ｓ２１５）。

図１２（ｂ）は、ｍ枚の単位画像からｎ枚の単位画像を選択して合成画像を生成する様子を示した概念図である。連続撮影によりｍ枚（本実施例では２０枚）の単位画像１２１１を取得して、その中からｎ枚（本実施例では１０枚）の単位画像を任意に選択する。ここでは、最初から４回目までの撮影により取得した単位画像を選択せず、５回目からｎ回の撮影により取得した単位画像を選択する。

設定したｎ枚の単位画像のうち、各ｎ／２枚の非発光撮影により取得した単位画像１２１２と発光撮影により取得した単位画像１２１３を、それぞれ動きベクトル検知し、座標変換する。座標変換処理後、座標変換した各ｎ／２枚の非発光撮影単位画像１２１４と発光撮影単位画像１２１５を、それぞれ画像合成する。画像合成し、生成した各１枚の非発光撮影合成画像１２１６と発光撮影合成画像１２１７を、それぞれリサイズし、各１枚の非発光撮影画像１２１８と発光撮影画像１２１９を生成する。

以上のように、実施例３では、適正露出の非発光撮影画像及び発光撮影画像を得るために必要な撮影回数ｎよりも、多くの撮影回数ｍ（ｍ＞ｎ）の連続撮影を行う。そして取得されたｍ枚の単位画像から、任意のｎ枚の単位画像を選択し、それぞれ画像合成することにより、各１枚の非発光撮影画像及び発光撮影画像を生成する。これにより、取得した単位画像間に大きな手ぶれの影響がある場合や、撮影期間中にユーザの意図していない被写体が写りこんだ場合などに、問題の単位画像を選択せず、問題のない単位画像のみで画像合成することができる。そうすることで、単位画像間の位置合わせ処理により、電子式手ぶれ補正の効果を十分に得ることができ、画像合成により生成した各１枚の非発光撮影画像と発光撮影画像の両画像の画質を向上することができる。

また、図１２（ｂ）のように、連続撮影開始後、最初から任意回数の撮影により取得した単位画像を選択せず、その後のｎ回の撮影により取得した単位画像を選択することにより、撮影操作を行う際の手ぶれによる影響を低減することができる。

なお、図１２（ｂ）のように画像の選択を行うのではなく、ステップＳ２１５における各画像の動きベクトルを参照して、画像の選択を行ってもよい。例えば、撮影されたｍ枚の撮影画像すべてに対してそれぞれ位置合わせ処理を行い、各画像の動きベクトルの絶対値を記録しておく。記録した動きベクトルの絶対値から、絶対値の小さい単位画像をｎ枚選択する。この方法によれば、撮影期間中に手ぶれが起こった場合に、手ぶれの影響の影響の少ない単位画像を選択することができ、画像合成することで、生成される合成画像の画質の低下を防ぐことができる。

また、上述した３つの実施例では、モード切替スイッチ６０が特殊連続撮影モードに設定されたときに、非発光撮影と発光撮影を交互に連続して行う構成を説明したが、ユーザの設定により実行の有無を切り替える構成でなくてもよい。例えば、非発光撮影と発光撮影とでどちらが良好な撮影画像が得られるか迷う場面において、時間変化により被写体変化が起こりえる場面であるか否かを判定し、被写体変化が起こりえる場面と判定したら上述した連続撮影に自動的に切り替える構成でもよい。

また、１度の撮影操作で行う発光撮影と非発光撮影とを同じ回数にして、発光撮影と非発光撮影とを交互に行う構成を説明したが、１度の撮影操作において発光撮影がすべて終了する前に少なくとも１回の非発光撮影を行うような構成であればよい。例えば、連続撮影中にストロボの充電電圧が低下して発光できなくなった場合などに非発光撮影を連続して行い、その間にストロボ充電を行って再度発光撮影を行うといった、非発光撮影と発光撮影とを交互に行わない部分があってもよい。

また、連続撮影において非発光撮影を先に行う構成を説明したが、発光撮影を先に行う構成であってもよい。

また、非発光撮影の回数と発光撮影の回数は同じ回数でなくても構わない。例えば、非発光撮影と発光撮影の１回あたりの露光時間の差が小さくなるように、非発光撮影の回数を発光撮影の回数よりも多くし、非発光撮影画像の合成枚数を発行撮影画像の合成枚数よりも多くてもよい。

また、発光手段としてのストロボは、カメラ本体に内蔵された内蔵ストロボであってもカメラ本体に着脱可能な外部ストロボであってもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１４撮像部
２２画像処理部
３０表示部
４０露出制御部
４２画像合成部
４４画像位置合わせ処理部
４５ストロボ
５０システム制御部
６０モード切替スイッチ
６２シャッタースイッチＳＷ１
６４シャッタースイッチＳＷ２
７０操作部
１００デジタルカメラ

Claims

１度の撮影操作で発光手段を発光させた発光撮影と非発光撮影とをそれぞれ複数回行う撮像装置であって、
被写体を撮像する撮像手段と、
前記被写体を測光する測光手段と、
前記測光手段による測光結果に基づいて、前記発光撮影および前記非発光撮影の１回あたりの前記撮像手段の露光時間を決定する決定手段と、
前記決定手段により決定された露光時間で前記撮像手段により得られた複数の画像を合成して適正露出の合成画像を生成する画像合成手段と、
１度の撮影操作において前記発光撮影がすべて終了する前に少なくとも１回の前記非発光撮影を行うように制御する制御手段と、を有し、
前記画像合成手段は、１度の撮影操作で、前記発光撮影により得られた複数の画像を合成した合成画像と、前記非発光撮影により得られた複数の画像を合成した合成画像とを生成することを特徴とする撮像装置。
前記制御手段は、１度の撮影操作で行う前記発光撮影と前記非発光撮影とを同じ回数にして、前記発光撮影と前記非発光撮影とを交互に行うように制御することを特徴とする請求項１に記載の撮像装置。
前記決定手段は、前記測光手段による測光結果に基づいて前記発光撮影および前記非発光撮影のそれぞれの適正露光時間を算出し、算出された適正露光時間とそれぞれの撮影回数とに基づいて、前記発光撮影および前記非発光撮影の１回あたりの前記露光時間を決定することを特徴とする請求項１または２に記載の撮像装置。
前記決定手段は、前記発光撮影および前記非発光撮影の１回あたりの前記露光時間を、前記算出された適正露光時間をそれぞれの撮影回数で割った時間よりも長い時間に決定し、
前記画像合成手段は、１度の撮影操作で前記発光撮影により得られた複数の画像のうちの一部の画像を合成した合成画像と、前記非発光撮影により得られた複数の画像のうちの一部の画像を合成した合成画像とを生成することを特徴とする請求項３に記載の撮像装置。
前記画像合成手段は、１度の撮影操作で前記発光撮影により得られた複数の画像のうち適正露出が得られる枚数の画像を合成した合成画像と、前記非発光撮影により得られた複数の画像のうち適正露出が得られる枚数の画像を合成した合成画像とを生成することを特徴とする請求項４に記載の撮像装置。
前記発光手段の発光制御を行う発光制御手段を有し、
前記発光制御手段は、１度の撮影操作で行う複数回の前記発光撮影の発光量が等しくなるように、前記発光手段の発光制御を行うことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
前記画像合成手段は、画像中の主被写体の位置合わせをして合成画像を生成することを特徴とする請求項１ないし６に記載の撮像装置。
被写体を撮像する撮像手段と、前記被写体を測光する測光手段とを有し、１度の撮影操作で発光手段を発光させた発光撮影と非発光撮影とをそれぞれ複数回行う撮像装置の制御方法であって、
前記測光手段による測光結果に基づいて、前記発光撮影および前記非発光撮影の１回あたりの前記撮像手段の露光時間を決定する決定ステップと、
前記決定ステップで決定された露光時間で前記撮像手段により得られた複数の画像を合成して適正露出の合成画像を生成する画像合成ステップと、
１度の撮影操作において前記発光撮影がすべて終了する前に少なくとも１回の前記非発光撮影を行うように制御する制御する制御ステップと、を有し、
前記画像合成ステップは、１度の撮影操作で、前記発光撮影により得られた複数の画像を合成した合成画像と、前記非発光撮影により得られた複数の画像を合成した合成画像とを生成することを特徴とする撮像装置の制御方法。