JP2013232780A - 撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】動画像の複数のフレームを合成したフレームを用いて、好適な画質の動画像を生成する。
【解決手段】動画像の複数のフレームを合成したフレームを用いて、画角のずれを補正した好適な画質の動画像を生成することができる。具体的には撮像装置は、被写体を撮像して得られた画像を順次取得し、取得した画像の各々について、撮像時の画角を検出する。また取得した画像のうち、１つのフレームの生成に用いる複数の被合成画像を順次選択し、選択した複数の被合成画像を合成し、得られた合成画像をフレームとする動画像を生成する。なお、複数の被合成画像について撮像時の画角が異なる場合、複数の被合成画像のうちの基準とする１つの基準被合成画像と撮像時の画角が異なる被合成画像の画角を少なくとも調整することで、全ての被合成画像を同一の画角及び画素数を有する画像に変更して合成する。
【選択図】図３

Description

本発明は、撮像装置、制御方法、及びプログラムに関し、特に複数の画像を合成した合成画像をフレームとした動画像の生成技術に関する。

デジタルカメラ等の撮像装置に使用される、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子の階調範囲（ダイナミックレンジ）は、一般に銀塩フィルムが有する階調範囲よりも狭い。階調範囲が狭い場合、撮影環境によっては撮影により得られる撮影画像において、高輝度の被写体が白飛びしたり、低輝度の被写体が黒つぶれしたりすることがある。

近年では、このような撮像素子であっても、露出量を異ならせて被写体を撮影した複数の画像を合成することで、階調範囲を拡張した、所謂ＨＤＲ（High Dynamic Range）画像を生成する撮像装置がある。ＨＤＲ画像の生成には、例えば被写体についての適正露出として設定された露出量で撮影した中間露出画像、露出オーバーとなる露出量で撮影した高露出画像、及び露出アンダーとなる露出量で撮影した低露出画像が用いられる（特許文献１）。

またＨＤＲ画像の生成のような、同一の被写体を撮影した複数の画像を合成する画像補正技術は、例えば手振れ補正技術等にも用いられる。なお、このような画像補正技術においては、被合成画像は全て同一の画角で被写体を撮影されている必要がある。

特公平７−９７８４１号公報

一方、静止画撮影に限らず、動画撮影においても上述した画像補正技術は適用可能である。即ち、撮影された動画像の複数のフレームを合成に用いることで得られた画像を最終的な動画像のフレームとすることで、例えば階調範囲を拡張した動画像（ＨＤＲ動画像）を生成することも可能である。

しかしながら、動画像の撮影においては、所定のルールにより合成に用いるフレームが選択された場合に、選択されたフレーム間で画角が異なる場合がある。即ち、動画像の撮影においては撮影者により行われたズーム操作によって、含まれるフレームの画角が異なっている可能性がある。このため、上述のような画像補正技術を用いて各フレームを生成した動画像では、フレーム内で画質の異なる箇所がある、あるいはフレーム間で画質が異なる可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、動画像の複数のフレームを合成したフレームを用いて、好適な画質の動画像を生成する撮像装置、制御方法、及びプログラムを提供すること目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像して得られた画像を順次取得する取得手段と、取得手段により取得された画像の各々について、撮像時の画角を検出する検出手段と、取得手段により取得された画像のうち、１つのフレームの生成に用いる複数の被合成画像を順次選択する選択手段と、選択手段により選択された複数の被合成画像を合成し、得られた合成画像をフレームとする動画像を生成する生成手段と、を有し、生成手段は、複数の被合成画像について撮像時の画角が異なる場合に、少なくとも、複数の被合成画像のうちの基準とする１つの基準被合成画像と撮像時の画角が異なる被合成画像の画角を調整することで、全ての複数の被合成画像を同一の画角及び画素数を有する画像に変更して合成することを特徴とする。

このような構成により本発明によれば、動画像の複数のフレームを合成したフレームを用いて、好適な画質の動画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るＨＤＲ動画生成の概要を説明するための図 本発明の実施形態に係るＨＤＲ動画生成における画角調整を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行されるＨＤＲ動画撮影処理を例示したフローチャート 本発明の実施形態に係るデジタルカメラ１００で実行されるＨＤＲ処理を例示したフローチャート 撮像光学系により発生する歪曲収差を説明するための図 本発明の変形例に係るデジタルカメラ１００で実行されるＨＤＲ処理（ズーム時）を例示したフローチャート

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、ＨＤＲ動画を撮影可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像により順次取得された複数の画像を合成することで動画像の１つのフレームを生成可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１（ａ）は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

システム制御部１１４は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。具体的にはシステム制御部１１４は、不図示のＲＯＭに格納されている、後述のＨＤＲ動画撮影処理の動作プログラムを読み出し、不図示のＲＡＭに展開して実行することにより各ブロックの動作を制御する。

本実施形態のデジタルカメラ１００は、ズームレンズ１０１、シフトレンズ１０３、及びフォーカスレンズ１０４で構成される、所謂３郡構成の撮像光学系を有する。１群レンズであるズームレンズ１０１は、光軸方向に位置を変更することで、後述する撮像素子１０５に結像される光学像における被写体像の倍率を変更する。ズームレンズ１０１は、ズーム駆動制御部１０９により駆動される。２群レンズであるシフトレンズ１０３は、光軸に略直交する平面内において位置を変更して撮像素子１０５に結像される光学像の位置を移動することで、振れ補正光学系を実現する。シフトレンズ１０３は、シフトレンズ駆動制御部１１１により駆動される。３群レンズであるフォーカスレンズ１０４は、光軸方向に位置を変更することで、撮像素子１０５に結像される光学像についての焦点調整を行う。フォーカスレンズ１０４は、焦点調節動作中にフォーカス駆動制御部１１２により駆動される。

また撮像光学系の光軸上において、ズームレンズ１０１とシフトレンズ１０３との間にはメカシャッタ・絞りユニット１０２が設けられている。メカシャッタ・絞りユニット１０２は、設定された露出設定のシャッタ速度及び絞り値に応じてシャッタ・絞り駆動制御部１１０により駆動される。メカシャッタ・絞りユニット１０２の駆動により、撮像素子１０５は異なる露出量で得られた画像を出力することができる。

撮像素子１０５は、例えばＣＣＤやＣＭＯＳセンサ等の蓄積型の光電変換素子である。撮像素子１０５は、撮像光学系を介して受光面に結像された光学像を光電変換し、アナログ画像信号を撮像信号処理部１０６に出力する。本実施形態では撮像素子１０５は、動画撮影時には６０ｆｐｓで撮像して得られた画像を順次出力する。また撮像素子１０５及び撮像光学系は、後述するように撮像する画像の露出設定を交互に切り替え、露出量の高い高露出画像（Ｈｉｇｈ画像）と露出量の低い低露出画像（Ｌｏｗ画像）とを交互に出力する。

撮像信号処理部１０６は、撮像素子１０５により出力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用して映像信号に変換し、得られた映像信号を画像データとしてフレームメモリ１１３に出力し、格納させる。フレームメモリ１１３は、撮像信号処理部１０６により出力された画像データを格納する格納領域である。

映像信号処理部１０７は、撮像信号処理部１０６に格納された複数の画像データから、階調範囲を拡張したＨＤＲ動画のフレームである合成画像を生成する。本実施形態では映像信号処理部１０７は、上述したＨｉｇｈ画像とＬｏｗ画像の２種類の画像データを使用して、ＨＤＲ動画における１フレームの合成画像を生成するものとして説明するが、被合成画像の数等はこれに限られるものではないことは容易に想像されよう。

表示部１０８は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０８は、撮像素子１０５から出力された画像信号が表示されることによって、電子ビューファインダとして機能する。また後述する記憶部１１８に記憶されている静止画像や動画像等の再生指示がなされた場合には、表示部１０８には再生指示がなされた画像あるいは動画像が表示される。

ズームスイッチ１１５及びシャッタレリーズスイッチ１１７は、デジタルカメラ１００が備えるユーザインタフェースである。ズームスイッチ１１５及びシャッタレリーズスイッチ１１７は、それぞれズーム指示あるいは撮影指示用に設けられた操作部材である。ユーザによりズームスイッチ１１５あるいはシャッタレリーズスイッチ１１７に対して操作がなされた場合、システム制御部１１４は該操作部材から出力された制御信号により、該操作を検出する。

外部入出力端子部１１６は、例えばＵＳＢ等の外部接続インタフェースであり、デジタルカメラ１００と他の機器とを接続する際に利用される。また記憶部１１８は、例えばデジタルカメラ１００が有する内蔵メモリや、ＨＤＤやメモリカード等のデジタルカメラ１００に着脱可能に接続される記録装置である。記憶部１１８には、撮影指示を受けて取得された静止画像や動画像が格納される。また電源部１１９は、デジタルカメラ１００が有する電源供給部であり、例えばバッテリや外部の商用電源がアダプタ等を介して接続され、デジタルカメラ１００が有する各ブロックに対してシステム制御部１１４の制御のもと、電源供給がなされる。

〈ズーム駆動制御部１０９の内部構成〉
ここで、ズーム駆動制御部１０９の内部構成について、図１（ｂ）を用いてさらに詳細を説明する。

ユーザによるズームスイッチ１１５への操作がなされたことを検出すると、システム制御部１１４はズーム駆動制御部１０９に対して、ズームレンズ１０１の駆動指示に係る制御信号を送信する。このようにしてズーム駆動制御部１０９に入力された制御信号はズーム制御部１２７により受信される。ズーム制御部１２７は、制御信号に応じて、ズームモータ駆動回路１２１を制御し、ズームモータ１２０を駆動させることでズームレンズ１０１の位置を変更する。ズームモータ１２０は例えばＤＣ（直流）モータ等であってよい。

なお、ズームモータ１２０により移動されたズームレンズ１０１の駆動位置の情報は、リセット位置検出部１２３及びエンコーダ１２４により検出される。リセット位置検出部１２３は、ズームレンズ１０１がリセット位置に存在するか否かを検出するセンサである。ズーム制御部１２７は、リセット位置検出部１２３からズームレンズ１０１がリセット位置、即ち駆動制御における基準位置に存在することを示す信号を受信することで、ズームレンズ１０１の位置を精度よく検出することができる。

エンコーダ１２４は、ズームレンズ１０１の移動に合わせて回転し、所定角度の回転がなされた際にパルス信号を出力する。ズーム位置検出部１２５は、エンコーダ１２４により出力されたパルス信号に基づいてズーム位置、即ちズームレンズ１０１の位置の情報を取得する。またズーム速度検出部１２６は、エンコーダ１２４により出力されたパルス信号に基づいてズーム速度、即ちズームレンズ１０１の動作速度の情報を取得する。ズーム位置検出部１２５及びズーム速度検出部１２６により得られたズーム位置及びズーム速度の情報は、ズーム制御部１２７に出力された後、ズーム制御部１２７によりシステム制御部１１４に出力される。

なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。

《ＨＤＲ動画生成の概要》
ここで、後述する本実施形態のＨＤＲ動画撮影処理における、ＨＤＲ動画の１フレームであるＨＤＲ画像の生成に係る処理の概要を、図を用いて説明する。

図２（ａ）は、例えばデジタルカメラ１００がＨＤＲ動画撮影モードに設定されている際に、ＨＤＲ動画のフレームを生成するために合成される画像データ（Ｌｏｗ画像及びＨｉｇｈ画像）を示した図である。図示されるように、ＨＤＲ動画生成に係る動画撮影が開始すると、垂直同期信号に応じて撮像素子１０５から６０ｆｐｓ（１／６０ｓｅｃ間隔）で、Ｈｉｇｈ画像及びＬｏｗ画像が交互にフレームメモリ１１３に格納される。具体的にはシステム制御部１１４は、被写体輝度分布について適正露出Ｅｖ（０）を決定した後、１段明るくした露出設定Ｂｖ（Ｈ）をＨｉｇｈ画像の露出設定として、撮像素子１０５及びシャッタ・絞り駆動制御部１１０に露出制御を行わせる。またシステム制御部１１４は、適正露出から１段暗くした露出設定Ｂｖ（Ｌ）をＬｏｗ画像の露出設定として、撮像素子１０５及びシャッタ・絞り駆動制御部１１０に露出制御を行わせる。このようにシステム制御部１１４は、６０ｆｐｓで交互に露出設定を変更することで、Ｈｉｇｈ画像とＬｏｗ画像とを順次取得することができる。

図２（ａ）の例では、動画撮影中にズーム操作がなされていない状況を示している。この場合、画角の変更がなされていないため、システム制御部１１４は、連続するＨｉｇｈ画像とＬｏｗ画像とを位置合わせのみ行なわせて、映像信号処理部１０７に合成させることで、記録されるＨＤＲ動画のフレームに係る合成画像を取得する。

一方、図２（ｂ）のように、動画撮影中にズーム操作がなされた状況を考える。図２（ｂ）の例では、動画撮影中に、広角（ＷＩＤＥ）側から望遠（ＴＥＬＥ）側に毎フレームｎ倍に単調増加するズーム指示がなされた場合を示している。このとき、連続して出力されるＨｉｇｈ画像とＬｏｗ画像とは撮像時の画角が異なっており、映像信号処理部１０７は２つの画像を、図２（ａ）の例のように単純に合成することはできない。

このため、本実施形態のデジタルカメラ１００では、動画撮影中にズーム操作がなされた複数の画像、即ち撮像時の画角の異なる複数の画像から合成画像を生成する際に、少なくともいずれかの画像に対して調整処理を行って、同一の画角の画像で合成を行う。なお、本実施形態では、Ｈｉｇｈ画像とＬｏｗ画像の２種類の画像のみが合成に用いられるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、被合成画像は３以上であってもよく、該被合成画像の撮像時の画角が異なる場合、いずれか１つの基準合成画像と画角が異なる被合成画像に対して調整処理が行なわれ、全ての被合成画像は同一の画角及び画素数を有する画像に変更されて合成に用いられる。

画角の調整処理は、例えば図３（ａ）に示されるように、画角の広いＨｉｇｈ画像から画角の狭いＬｏｗ画像に対応する領域（Ｈｉｇｈ画像の１／ｎの画素数を有する領域）を抽出し、抽出した画像をｎ倍に拡大することにより行われればよい。即ち、Ｈｉｇｈ画像とＬｏｗ画像との画角比に応じてＨｉｇｈ画像の画角調整を行う。このようにすることで、画角の異なるＨｉｇｈ画像とＬｏｗ画像とを、同一の画角及び画素数を有する画像に変更することができる。

なお、本実施形態では図３（ａ）のように画角の広い被合成画像から画像の抽出及び拡大処理を行うものとして説明するが、図３（ｂ）のように、全ての被合成画像について同様の処理を行なってもよい。例えば、Ｌｏｗ画像から１／ｎの画素数を有する領域を抽出してｎ倍して合成する場合、Ｈｉｇｈ画像からは抽出した領域に対応する１／ｎ^２の画素数を有する領域を抽出してｎ^２倍して合成してもよい。しかしながら、このように全ての被合成画像について画角調整を行った場合は、撮影している動画とズーム速度や画角の見えが異なるため、本発明は少なくとも１つの被合成画像については画角調整を行わないことが好ましい。

また図２（ｂ）では広角側から望遠側へのズーム操作がなされている例について説明したが、望遠側から広角側へのズーム操作がなされている場合、システム制御部１１４は次のように被合成画像の組み合わせを選択するものとする。システム制御部１１４は、被合成画像のうちの画角調整を行う画像、即ち広角側の被合成画像がＨｉｇｈ画像となるように、被合成画像の組み合わせを異ならせる。つまり、システム制御部１１４は広角側→望遠側のズーム操作時は、画角が広いＨｉｇｈ画像と、その後に得られた画角の狭いＬｏｗ画像とを被合成画像として選択する。一方、システム制御部１１４は望遠側→広角側のズーム操作時は、画角の狭いＬｏｗ画像と、その後に得られた画角の広いＨｉｇｈ画像とを被合成画像として選択する。これは、Ｈｉｇｈ画像の方が露出量が高いことに起因する。

一般的に、適正露出よりも露出量を高めに設定して撮影された画像のように、白飛びや明るすぎる領域が含まれる画像は、階調範囲に含まれる被写体の情報量が少なく、画像の閲覧者に好ましくない印象を与えうる。このため、本実施形態では画角調整により情報量を低減させる画像については、もともと階調範囲に含まれる被写体の情報量が少ないＨｉｇｈ画像が選択されるように、システム制御部１１４はズーム操作に応じて被合成画像の組み合わせを異ならせる。

なお、本実施形態ではＨｉｇｈ画像がＬｏｗ画像よりも階調範囲に含まれる被写体の情報量が少ないものとして説明するが、被合成画像の組み合わせの決定方法はこれに限られなくてもよい。例えば、システム制御部１１４は、被合成画像の選択時に出力されている画像データを参照し、白飛びや黒つぶれしない階調範囲に含まれる画素数が多い画像が、画角調整を行わない被合成画像となるように、組み合わせを決定してもよい。

《ＨＤＲ動画撮影処理》
次に、本実施形態のデジタルカメラ１００のＨＤＲ動画撮影処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１１４が、例えば不図示のＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本ＨＤＲ動画撮影処理は、例えばデジタルカメラ１００がＨＤＲ動画撮影モードに設定されている状態で、撮影開始指示に対応する制御信号をシステム制御部１１４が受信した際に開始されるものとして説明する。

Ｓ４０１で、システム制御部１１４は、ズーム操作がなされているか否かを判断する。具体的にはシステム制御部１１４は、ズームスイッチ１１５に対してズーム指示がなされたことを示す制御信号をズームスイッチ１１５から受信したか否かを判断する。システム制御部１１４は、ズーム操作がなされていると判断した場合は処理をＳ４０３に移し、なされていないと判断した場合は処理をＳ４０２に移す。

Ｓ４０２で、システム制御部１１４は、ＨＤＲ動画のフレーム画像を生成するＨＤＲ処理（非ズーム時）を実行する。

〈ＨＤＲ処理（非ズーム時）〉
ここで、Ｓ４０２で実行されるＨＤＲ処理（非ズーム時）について、図５（ａ）のフローチャートを用いて詳述する。

Ｓ５０１で、システム制御部１１４は、被写体の適正露出を取得し、Ｈｉｇｈ画像用の露出設定Ｅｖ（Ｈ）及びＬｏｗ画像用の露出設定Ｅｖ（Ｌ）を決定する。

Ｓ５０２で、システム制御部１１４は、Ｈｉｇｈ画像用の露出設定に基づいてメカシャッタ・絞りユニット１０２及び撮像素子１０５を駆動させてＨｉｇｈ画像を撮像させ、得られたＨｉｇｈ画像をフレームメモリ１１３に格納する。

Ｓ５０３で、システム制御部１１４は、Ｌｏｗ画像用の露出設定に基づいてメカシャッタ・絞りユニット１０２及び撮像素子１０５を駆動させてＬｏｗ画像を撮像させ、得られたＬｏｗ画像をフレームメモリ１１３に格納する。

Ｓ５０４で、システム制御部１１４は、フレームメモリ１１３に格納されたＨｉｇｈ画像及びＬｏｗ画像を合成させ、ＨＤＲ動画の１フレームの画像を生成させる。またシステム制御部１１４は、生成させたフレーム画像をフレームメモリ１１３に格納する。

このようにすることで、フレームメモリ１１３には、生成するＨＤＲ動画の１フレームに係る画像が格納される。

一方、Ｓ４０１においてズーム操作がなされていると判断した場合、システム制御部１１４はＳ４０３で、ＨＤＲ動画のフレーム画像を生成するＨＤＲ処理（ズーム時）を実行する。

〈ＨＤＲ処理（ズーム時）〉
ここで、Ｓ４０３で実行されるＨＤＲ処理（ズーム時）について、図５（ｂ）のフローチャートを用いて詳述する。なお、本ＨＤＲ処理（ズーム時）において、上述した非ズーム時のＨＤＲ処理と同様の処理を行うステップについては、同一の参照符号を付して説明を省略し、以下ではズーム時のＨＤＲ処理に特徴的な処理を行うステップについてのみ説明する。

Ｓ５０１においてＨｉｇｈ画像及びＬｏｗ画像の露出設定を決定した後、システム制御部１１４はＳ５１１で、ズーム操作の方向が広角側→望遠側か、望遠側→広角側のいずれであるかを判断する。具体的にはシステム制御部１１４は、例えばズームスイッチ１１５から受信した制御信号が、どちらの操作に対応した信号であるかを判断することにより、ズーム操作の方向を判断する。システム制御部１１４は、ズーム操作の方向が広角側→望遠側であると判断した場合は処理をＳ５０２に移し、望遠側→広角側であると判断した場合は処理をＳ５１４に移す。

Ｓ５０２においてＨｉｇｈ画像がフレームメモリ１１３に格納された後、システム制御部１１４はＳ５１２で、Ｈｉｇｈ画像の撮像時のズーム位置及びズーム速度を含むズーム情報を、ズーム駆動制御部１０９から取得し、処理をＳ５０３に移す。

またＳ５０３においてＬｏｗ画像がフレームメモリ１１３に格納された後、システム制御部１１４はＳ５１３で、Ｌｏｗ画像の撮像時のズーム位置及びズーム速度を含むズーム情報を、ズーム駆動制御部１０９から取得する。

一方、Ｓ５１１においてズーム操作の方向が望遠側→広角側であると判断した場合、システム制御部１１４はＳ５１４で、Ｌｏｗ画像用の露出設定に基づいてメカシャッタ・絞りユニット１０２及び撮像素子１０５を駆動させてＬｏｗ画像を撮像させる。そしてシステム制御部１１４は、得られたＬｏｗ画像をフレームメモリ１１３に格納する。

Ｓ５１５で、システム制御部１１４は、Ｌｏｗ画像の撮像時のズーム位置及びズーム速度を含むズーム情報を、ズーム駆動制御部１０９から取得する。

Ｓ５１６で、システム制御部１１４は、Ｈｉｇｈ画像用の露出設定に基づいてメカシャッタ・絞りユニット１０２及び撮像素子１０５を駆動させてＨｉｇｈ画像を撮像させ、得られたＨｉｇｈ画像をフレームメモリ１１３に格納する。

Ｓ５１７で、システム制御部１１４は、Ｈｉｇｈ画像の撮像時のズーム位置及びズーム速度を含むズーム情報を、ズーム駆動制御部１０９から取得する。

なお、Ｓ５１４乃至Ｓ５１７の処理ではシステム制御部１１４は、ズーム操作の方向が望遠側→広角側である場合に、これまでＨｉｇｈ画像→Ｌｏｗ画像の順で画像を撮像していた撮像順を、Ｌｏｗ画像→Ｈｉｇｈ画像の順に変更してもよい。あるいは、１フレーム分のＨｉｇｈ画像の撮像後に撮像されるＬｏｗ画像、Ｈｉｇｈ画像について、Ｓ５１４乃至Ｓ５１７の処理を実行してもよい。

Ｓ５１８で、システム制御部１１４は映像信号処理部１０７に、Ｈｉｇｈ画像及びＬｏｗ画像のズーム情報に基づき、Ｈｉｇｈ画像からＬｏｗ画像に対応する領域の画像を抽出させる。

Ｓ５１９で、システム制御部１１４は、Ｓ５１８においてＨｉｇｈ画像から抽出した領域の画像について映像信号処理部１０７に拡大処理を適用させ、Ｌｏｗ画像と同数の画素数を有する画像に変更させる。

Ｓ５２０で、システム制御部１１４は、フレームメモリ１１３に格納された画角調整されたＨｉｇｈ画像と、Ｌｏｗ画像とを合成させ、ＨＤＲ動画の１フレームの画像を生成させる。またシステム制御部１１４は、生成させたフレーム画像をフレームメモリ１１３に格納する。

このようにすることで、フレームメモリ１１３には、生成するＨＤＲ動画の１フレームに係る画像が格納される。

Ｓ４０２あるいはＳ４０３においてＨＤＲ処理が実行された後、システム制御部１１４はＳ４０４で、システム制御部１１４に格納されたＨＤＲ動画のフレーム画像を記憶部１１８に対して映像信号処理部１０７に現像処理を行わせ、記憶部１１８にＨＤＲ動画のフレームとして格納させる。またシステム制御部１１４は現像したフレーム画像を表示部１０８に伝送して表示させる。

Ｓ４０５で、システム制御部１１４は、動画撮影が継続しているか否かを判断する。具体的にはシステム制御部１１４は、シャッタレリーズスイッチ１１７から撮影終了指示に対応する制御信号を受信したか否かにより、動画撮影を継続するか終了するかを判断する。システム制御部１１４は、動画撮影が継続していると判断した場合は処理をＳ４０１に戻し、継続していないと判断した場合は本ＨＤＲ動画撮影処理を完了する。

なお、本実施形態ではＨＤＲ動画の記録において本発明が適用される例について説明したが、本発明の実施はこれに限られない。例えば、ＨＤＲ動画を生成して記録するのではなく、被写体を撮像して順次取得した画像から、ＨＤＲ処理を適用して得られたフレームをライブビュー画面として表示部１０８に表示する場合に、本発明が用いられてもよい。またＨＤＲ動画に限らず、上述したような手振れ補正画像や超解像画像の生成技術にも、本発明は適用可能である。即ち、本発明は、撮像により順次取得された複数の画像を合成することで動画像の１つのフレームを生成可能な任意の機器に適用可能である。

以上説明したように、本実施形態の撮像装置は、動画像の複数のフレームを合成したフレームを用いて、画角のずれを補正した好適な画質の動画像を生成することができる。具体的には撮像装置は、被写体を撮像して得られた画像を順次取得し、取得した画像の各々について、撮像時の画角を検出する。また取得した画像のうち、１つのフレームの生成に用いる複数の被合成画像を順次選択し、選択した複数の被合成画像を合成し、得られた合成画像をフレームとする動画像を生成する。なお、複数の被合成画像について撮像時の画角が異なる場合、複数の被合成画像のうちの基準とする１つの基準被合成画像と撮像時の画角が異なる被合成画像の画角を少なくとも調整することで、全ての被合成画像を同一の画角及び画素数を有する画像に変更して合成する。

［変形例］
上述した実施形態では、撮像光学系の光学特性により被写体像に生じる歪曲収差について考慮をしない方法について説明した。本変形例では、撮像光学系による歪曲収差を補正したＨＤＲ動画を生成する方法について説明する。

撮像して得られた画像に歪曲収差がある場合、上述したようにズーム操作がなされている際に得られた複数の画像を合成する際には、次のような問題がある。一般的に、撮像された画像に生じる歪曲収差は、撮像光学系のズーム位置に応じて変化する。具体的には、歪曲収差による被写体像の変形は、ズーム位置が望遠側にある場合は図６（ａ）に示されるような糸巻き型、広角側にある場合は図６（ｂ）に示されるような樽型のようになる。即ち、ズーム操作がなされている際に得られた複数の画像では歪曲収差率が異なる可能性があり、合成した場合に歪みによる像のずれが生じる可能性がある。

本変形例では、撮影に先立って、例えばズーム位置を変化させながら格子模様等を撮影することで、デジタルカメラ１００が有する撮像光学系について、ズーム位置に応じた歪曲収差率の変化情報が、予め不図示のＲＯＭ等に格納されているものとする。本変形例では、ＨＤＲ動画のフレーム画像の生成に係る画角の調整時に、該格納されている歪曲収差率とズーム位置との関係を示す情報を用いて、各被合成画像について歪曲補正を行なう。なお、歪曲補正については、特開平１１−２５０２３８号公報、特開平１１−２５０２３９号公報、特開平１１−２５０２４０号公報、特開平６−２９２２０７号公報等に開示されている公知技術を用いればよい。

《ＨＤＲ処理（ズーム時）》
ここで、歪曲補正を行う、本変形例のＨＤＲ処理（ズーム時）について、図７のフローチャートを用いて説明する。なお、本変形例のＨＤＲ処理（ズーム時）において、上述した実施形態のＨＤＲ処理（ズーム時）と同様の処理を行うステップについては同一の参照符号を付して説明を省略し、本変形例において特徴的な処理を行うステップについてのみ、以下に説明する。

フレームメモリ１１３へのＬｏｗ画像及びＨｉｇｈ画像の格納が完了した後、システム制御部１１４はＳ７０１で、Ｈｉｇｈ画像及びＬｏｗ画像のズーム情報に基づき、Ｈｉｇｈ画像及びＬｏｗ画像の各々について歪曲収差率を取得する。

Ｓ７０２で、システム制御部１１４は、Ｈｉｇｈ画像及びＬｏｗ画像について、映像信号処理部１０７に取得した各々の歪曲収差率に応じた歪曲補正を行わせ、処理をＳ５１８に移す。

このようにすることで、合成時に歪曲収差による像のずれを発生させることなく、ＨＤＲ動画の１フレームにあたる合成画像を好適な画質で生成することができる。

なお、本変形例では、Ｈｉｇｈ画像及びＬｏｗ画像の両方に対して歪曲補正を行うものとして説明したが、歪曲補正はいずれか一方に対して行われるものであってもよいことは容易に想像されよう。この場合、例えばＨｉｇｈ画像のみに歪曲補正を行う場合、補正後のＨｉｇｈ画像は、Ｌｏｗ画像に発生している歪曲収差と同一の収差を有する画像になる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 被写体を撮像して得られた画像を順次取得する取得手段と、
   前記取得手段により取得された画像の各々について、撮像時の画角を検出する検出手段と、
   前記取得手段により取得された画像のうち、１つのフレームの生成に用いる複数の被合成画像を順次選択する選択手段と、
   前記選択手段により選択された複数の被合成画像を合成し、得られた合成画像をフレームとする動画像を生成する生成手段と、を有し、
   前記生成手段は、前記複数の被合成画像について撮像時の画角が異なる場合に、少なくとも、前記複数の被合成画像のうちの基準とする１つの基準被合成画像と撮像時の画角が異なる被合成画像の画角を調整することで、全ての前記複数の被合成画像を同一の画角及び画素数を有する画像に変更して合成する
   ことを特徴とする撮像装置。
2. 前記生成手段は、前記複数の被合成画像について撮像時の画角が異なる場合に、前記基準被合成画像との画角比に応じて、前記基準被合成画像よりも広い画角を有する被合成画像から、前記基準被合成画像の画角に対応する領域を抽出して拡大して合成に用いることを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段により連続して取得する画像は、異なる露出量で撮像された画像であり、
   前記生成手段は、各々が異なる露出量で撮像された前記複数の被合成画像を合成して前記合成画像を生成する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記選択手段は、前記取得手段により撮像時の画角が異なる画像が取得された場合に、前記複数の被合成画像のうちの、前記基準被合成画像よりも撮影時の画角が最も広い被合成画像について、前記基準被合成画像よりも露出量の高い画像を選択することを特徴とする請求項３に記載の撮像装置。
5. 前記生成手段は、階調範囲に含まれる画素数が最も多い画像を前記基準被合成画像として設定することを特徴とする請求項３に記載の撮像装置。
6. 前記複数の被合成画像について、撮像に用いられた撮像光学系の光学特性に基づいた歪曲補正を行う歪曲補正手段をさらに有し、
   前記歪曲補正手段は、前記生成手段による前記複数の被合成画像の調整時に、少なくとも前記基準被合成画像と撮像時の画角が異なる被合成画像について歪曲補正を行い、全ての前記複数の被合成画像を同一の歪曲収差を有する画像に変更する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 撮像装置の取得手段が、被写体を撮像して得られた画像を順次取得する取得工程と、
   前記撮像装置の検出手段が、前記取得工程において取得された画像の各々について、撮像時の画角を検出する検出工程と、
   前記撮像装置の選択手段が、前記取得工程において取得された画像のうち、１つのフレームの生成に用いる複数の被合成画像を順次選択する選択工程と、
   前記撮像装置の生成手段が、前記選択工程において選択された複数の被合成画像を合成し、得られた合成画像をフレームとする動画像を生成する生成工程と、を有し、
   前記生成手段は前記生成工程において、前記複数の被合成画像について撮像時の画角が異なる場合に、少なくとも、前記複数の被合成画像のうちの基準とする１つの基準被合成画像と撮像時の画角が異なる被合成画像の画角を調整することで、全ての前記複数の被合成画像を同一の画角及び画素数を有する画像に変更して合成する
   ことを特徴とする撮像装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images