JP2007336394A - 撮像装置及び画像合成方法 - Google Patents

Abstract

【課題】複数の画像を合成する際に、手ぶれ等による位置ずれを正確に補正することが可能な、新規かつ改良された撮像装置及び画像合成方法を提供すること。
【解決手段】１回の撮影動作で露光時間を時分割して複数回の露光を行い、複数の画像を撮像する撮像装置１００であって、一の露光の画像データの中から、主被写体の周辺に画像比較領域を設定する比較領域設定部１５８と、一の露光における画像比較領域内の一の画像と、他の露光の画像データ中で一の画像に対応する他の画像とを比較し、一の画像と他の画像との相対的な位置ずれを検出する位置ずれ検出部１６０と、相対的な位置ずれを打ち消して、一の画像と他の画像とが一致するように複数の画像を合成する画像合成部１２０と、を備える。
【選択図】図１

Description

本発明は、撮像装置及び画像合成方法に関する。

近時においては、デジタルカメラ等の機能を利用して、時間的に連続した画像を合成する技術が知られている。例えば特開２００４−１５８９０５号公報には、連続して撮像した画像から移動被写体を検出し、移動被写体を比較対象として複数の画像の合成を行う手法が開示されている。

特開２００４−１５８９０５号公報

しかしながら、複数の画像を撮像する際に手ぶれ等が発生すると、画像を合成した際に複数の画像の相互に位置ずれが生じてしまうという問題がある。特に、主要被写体が動いている場合は、主要被写体と背景のそれぞれの位置ずれ量が異なるため、画像全体を比較対象とすると、位置ズレを正確に補正することが困難となる。

また、移動被写体を基準として複数の画像を合成すると、背景の画像にズレが生じてしまうという問題がある。更に、移動被写体が人物、動物などの場合は、被写体の外形が刻々と変化するため、移動被写体を基準として複数の画像を合成して位置ずれを補正することは困難である。このため、手ぶれ等が発生した場合に鮮明な画像を得ることができないという問題が生じる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の画像を合成する際に、手ぶれ等による位置ずれを正確に補正することが可能な、新規かつ改良された撮像装置及び画像合成方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、１回の撮影動作で露光時間を時分割して複数回の露光を行い、複数の画像を撮像する撮像装置であって、一の露光の画像データの中から、主被写体の周辺に画像比較領域を設定する画像比較領域設定部と、前記一の露光における前記画像比較領域内の一の画像と、他の露光の画像データ中で前記一の画像に対応する他の画像とを比較し、前記一の画像と前記他の画像との相対的な位置ずれを検出する位置ずれ検出部と、前記相対的な位置ずれを打ち消して、前記一の画像と前記他の画像とが一致するように前記複数の画像を合成する画像合成部と、を備えた撮像装置が提供される。

上記構成によれば、一の露光の画像データの中から主被写体の周辺に画像比較領域が設定され、一の露光における画像比較領域内の一の画像と、他の露光の画像データ中で一の画像に対応する他の画像とが比較され、一の画像と他の画像との相対的な位置ずれが検出される。そして、一の画像と他の画像との相対的な位置ずれを打ち消して、一の画像と他の画像とが一致するように複数の画像が合成される。従って、撮影者の手振れ等によって、複数の画像に位置ずれが生じていた場合であっても、位置ずれが解消するように画像を合成することができる。これにより、主被写体が動いている、動いていないに関わらず、手振れを補正した鮮明な画像を得ることができる。

また、前記一の露光は前記複数回の露光の最初の露光であり、前記位置ずれ検出部は、前記一の画像を基準として、以後の各露光の画像データ中における前記他の画像との相対的な位置ずれを検出するものであってもよい。かかる構成によれば、最初の露光の画像を基準として、以後の露光の画像を合成することができる。

また、前記画像比較領域は、合焦検出領域の領域外に設定されるものであってもよい。通常、合焦検出領域は画像の中心に位置しており、主被写体の位置に対応しているため、画像比較領域を合焦検出領域の領域外に設定することで、画像比較領域を主被写体の周辺に設定することができる。

また、前記画像比較領域は、画像の外縁から中心に向かって延在する所定範囲の領域に設定されるものであってもよい。通常、主被写体は画像の中心に位置しているため、画像の外縁から中心に向かって延在する所定範囲の領域に画像比較領域を設定することで、画像比較領域を主被写体の周辺に設定することができる。

また、前記画像比較領域の位置を設定する操作部を備え、前記操作部の操作によって前記画像比較領域の位置が任意に設定されるものであってもよい。かかる構成によれば、撮影者が操作部を操作することによって、画像比較領域を主被写体の周辺に設定することができる。

上記課題を解決するために、本発明の別の観点によれば、１回の撮影動作で露光時間を時分割して複数回の露光を行い、得られた複数の画像を合成する画像合成方法であって、一の露光の画像データの中から、主被写体の周辺に画像比較領域を設定する第１のステップと、前記画像比較領域内の一の画像を記憶する第２のステップと、他の露光の画像データ中で前記一の画像に対応する他の画像を記憶する第３のステップと、前記一の画像と前記他の画像との相対的な位置ずれを検出する第４のステップと、前記相対的な位置ずれを打ち消して、前記一の画像と前記他の画像とが一致するように前記複数の画像を合成する第５のステップと、を有する画像合成方法が提供される。

上記構成によれば、一の露光の画像データの中から主被写体の周辺に画像比較領域が設定され、一の露光における画像比較領域内の一の画像と、他の露光の画像データ中で一の画像に対応する他の画像とが記憶され、一の画像と他の画像との相対的な位置ずれが検出される。そして、一の画像と他の画像との相対的な位置ずれを打ち消して、一の画像と他の画像とが一致するように複数の画像が合成される。従って、撮影者の手振れ等によって、複数の画像に位置ずれが生じていた場合であっても、位置ずれが解消するように画像を合成することができる。これにより、主被写体が動いている、動いていないに関わらず、手振れを補正した鮮明な画像を得ることができる。

また、前記一の露光は前記複数回の露光の最初の露光であり、前記第４のステップにおいて、前記一の画像を基準として、以後の各露光の画像データ中における前記他の画像との相対的な位置ずれを検出するものであってもよい。かかる構成によれば、最初の露光の画像を基準として、以後の露光の画像を合成することができる。

また、前記第１のステップにおいて、前記画像比較領域は、合焦検出領域の領域外に設定されるものであってもよい。通常、合焦検出領域は画像の中心に位置しており、主被写体の位置に対応しているため、画像比較領域を合焦検出領域の領域外に設定することで、画像比較領域を主被写体の周辺に設定することができる。

また、前記第１のステップにおいて、前記画像比較領域は、画像の外縁から中心に向かって延在する所定範囲の領域に設定されるものであってもよい。通常、主被写体は画像の中心に位置しているため、画像の外縁から中心に向かって延在する所定範囲の領域に画像比較領域を設定することで、画像比較領域を主被写体の周辺に設定することができる。

また、前記第１のステップにおいて、画像比較領域の位置が前記主被写体の位置に応じて任意に設定されるものであってもよい。かかる構成によれば、撮影者が画像比較領域を主被写体の周辺に任意に設定することができる。

本発明によれば、１回の撮影動作で露光された複数の画像を合成する際に、手ぶれ等による位置ずれを正確に補正することが可能な、新規かつ改良された撮像装置及び画像合成方法を提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は本発明の一実施形態にかかる撮像装置１００の構成を示す模式図である。図１に示すように、本発明の一実施形態に係る撮像装置１００は、ズームレンズ（群）１０２と、シャッター１０４と、絞り１０６と、フォーカスレンズ（群）１０８と、撮像素子としてのＣＣＤ(Charge Coupled Devices)素子１１０と、アンプ一体型のＣＤＳ(Correlated Double Sampling)回路１１２と、Ａ／Ｄ変換器１１４と、画像入力コントローラ１１６と、画像信号処理部１１８と、画像合成部１２０と、圧縮処理部１２２と、ＬＣＤ(Liquid Crystal Display)ドライバ１２４と、ＬＣＤ１２６と、タイミングジェネレータ１２８と、ＣＰＵ(Central Processing Unit)１５０と、操作部１３０と、シャッターボタン１３２と、メモリ１３４と、ＶＲＡＭ(Video Random Access Memory)１３６と、メディアコントローラ１３８と、記録メディア１４０と、ドライバ１４２，１４４，１４６，１４８とを有して構成されている。

ズームレンズ１０２、シャッター１０４、絞り１０６、およびフォーカスレンズ１０８、は、各ドライバ１４２，１４４，１４６，１４８によって制御されるアクチュエータを介して駆動される。ズームレンズ１０２は、光軸方向に前後して移動され、焦点距離を連続的に変化させるレンズである。シャッター１０４は、画像を撮影する際にＣＣＤ素子１１０への露光時間を制御する。絞り１０６は、画像を撮影する際に、ＣＣＤ素子１１０へ入射する光量の調節を行う。フォーカスレンズ１０８は、光軸方向に前後して移動され、ＣＣＤ素子１１０へ結像された被写体の画像のピントを調節するものである。

ＣＣＤ素子１１０は、ズームレンズ１０２、シャッター１０４、絞り１０６およびフォーカスレンズ１０８を通って入射した光を電気信号に変換するための素子である。

なお、本実施形態では、撮像素子としてＣＣＤ素子１１０を用いているが、本発明は係る例に限定されず、ＣＣＤ素子１１０の代わりにＣＭＯＳ(Complementary Metal Oxide Semiconductor)素子を用いてもよく、またその他のイメージセンサを用いてもよい。ＣＭＯＳ素子は、ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像の合成処理を行うまでの時間を短縮することができる。

ＣＤＳ回路１１２は、ＣＣＤ素子１１０から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。

Ａ／Ｄ変換器１１４は、ＣＣＤ素子１１０で生成された電気信号をデジタル信号に変換して、画像の生データ（画像データ）を生成するものである。画像入力コントローラ１１６は、Ａ／Ｄ変換器１１４で生成された画像の生データ（画像データ）のメモリ１３４への入力を制御するものである。

画像信号処理部１１８は、ＣＣＤ素子１１０から出力された画像のデータから、コントラスト情報としてのＡＦ評価値を算出する。また、画像信号処理部１１８は、ＣＣＤ素子１１０から出力された画像のデータ、画像合成部１２０で合成した画像のデータに対して、光量のゲイン補正、画像のエッジ処理、階調処理、色処理、ホワイトバランスの調整などの処理を行う。

画像合成部１２０は、撮影した複数の画像の合成を行うものである。画像合成部の形態として、画像の合成を行う回路であってもよく、画像の合成を行うためのコンピュータプログラムであってもよい。

圧縮処理部１２２は、画像合成部１２０で合成した画像を、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ(Joint Photographic Experts Group)形式やＪＰＥＧ２０００形式に変換してもよい。

ＬＣＤ１２６は、撮影操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２６への表示は、ＬＣＤドライバ１２４を介して行われる。

タイミングジェネレータ１２８は、ＣＣＤ素子１１０にタイミング信号を入力する。つまり、タイミングジェネレータ１２８からのタイミング信号によりＣＣＤ素子１１０の駆動が制御され、画像データの基となる電気信号が生成される。タイミングジェネレータ１２８は、ＣＣＤ素子１１０が駆動する時間内に被写体からの映像光を入射させることで、ＣＣＤ素子１１０に電子シャッターの機能を持たせることも可能である。

ＣＰＵ１５０は、ＣＣＤ素子１１０やＣＤＳ回路１１２などに対して信号系の指令を行ったり、操作部１３０の操作に応じた操作系の指令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。

操作部１３０は、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部１３０に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン等が配置される。シャッターボタン１３２は、撮影操作を行うためのボタンである。シャッターボタン１３２が半押し状態（以下、シャッターボタン１３２の半押し操作のことを「Ｓ１操作」とも称する）にされると、フォーカスレンズ１０８を合焦位置に駆動するＡＦ動作が行われ、シャッターボタン１３２が全押し状態（以下、シャッターボタン１３２の全押し操作のことを「Ｓ２操作」とも称する）にされると、ＣＣＤ素子１１０への露光が行われ、被写体の撮像が行われる。

メモリ１３４は、撮影した画像や画像合成部１２０で合成した画像を一時的に記憶するものである。メモリ１３４は、複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１６によって制御される。

ＶＲＡＭ１３６は、ＬＣＤ１２６に表示する内容を保持するものであり、ＬＣＤ１２６の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。

記録メディア１４０は、撮影した画像や画像合成部１２０で合成した画像を記録するものである。記録メディア１４０への入出力は、メディアコントローラ１３８によって制御される。記録メディア１４０としては、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。

ＣＰＵ１５０は、適正ＡＥ算出部１５２と、露光条件決定部１５４と、合焦位置検出部１５６と、比較領域設定部１５８と、画像相対ずれ検出部１６０と、を含んで構成される。

適正ＡＥレベル算出部１５２は、撮像装置１００で自動露光を行い、ＥＶ(Exposure Value)値を取得する。取得したＥＶ値に基づいて、適正な絞り値およびシャッター速度の組み合わせが決まる。ＥＶ値は、絞り値がＦ１、シャッター速度が１秒の時に適切な露出が得られる光量をＥＶ＝０とし、絞り値やシャッター速度を変化させることでＥＶ値が変化する。ＥＶ値は、Ｆを絞り値、Ｔをシャッター速度として、ＥＶ＝ｌｏｇ_２（Ｆ^２／Ｔ）で求めることができる。従って、同じ絞り値ではシャッター速度が高速になればなる程、ＥＶ値が上昇し、同じシャッター速度では絞り値を大きくすればする程、ＥＶ値が上昇する。適正ＡＥレベル算出部１５２では、撮影した画像のＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ；自動露光）評価値の算出を行う。なお、ＡＥ評価値は、画像信号処理部１１８で算出しても構わない。

露光制御部１５４は、適正ＡＥレベル算出部１５２で算出したＡＥ評価値に基づいて、被写体を撮影する際の絞り値、シャッター速度を決定する。ドライバ１４４，１４６は、決定された絞り値、シャッター速度に基づいて制御される。

合焦位置検出部１５６は、ＣＣＤ素子１１０に被写体からの映像光が入射され、画像信号処理部１１８で生成された画像データのＡＦ評価値から、被写体の合焦位置を検出するものである。

比較領域設定部１５８は、１回の撮影操作で撮影した複数の画像を合成する際に、撮像画像中の所定範囲の画像を比較領域データとして設定するものである。後で詳細に説明するように、本実施形態では、主被写体よりも外側に位置する所定範囲の画像が比較領域データとされる。画像合成部１２０で画像を合成する際には、比較領域設定部１５８で設定した比較領域データが一致するように画像を合成する。

位置ずれ検出部１６０は、１枚目の画像における比較領域データと、２枚目以降の各画像における、比較領域データと対応する画像のデータとの間の相対的な位置のずれ量を検出するものである。画像合成部１２０で画像を合成する際には、位置ずれ検出部１６０で検出した相対的位置のずれ量を打ち消すように、各画像の合成（パターンマッチング）を行う。

以上のように構成された本実施形態の撮像装置１００は、１回の撮影動作の際に複数回の露光を行い、得られた複数の画像を合成して１枚の画像を取得する。図２は、１回の撮像動作の際に行われる処理を示すタイミングチャートである。図２に示すように、本実施形態では、１枚の撮像画像を得るために例えば１０回の露光が行われる。

図２の例では、例えば１回の露光のシャッター速度が１／１００秒、絞りがｆ１１、ゲインがＩＳＯ１００相当の値に設定される。そして、この条件で１０回の露光が所定の間隔で行われ、トータルで１／１０秒の露光が行われる。また、１回の露光が行われる毎に後処理が行われる。

図３は、露光後の後処理を示すタイミングチャートである。図３に示すように、１回の露光が行われる毎に、後処理として、ＣＣＤ素子１１０からの信号読み出し、読み出した信号の処理、およびデータ保存が行われる。なおこれに限らず、１回の露光が行われる毎の後処理として、ＣＣＤ素子１１０からの信号読み出しの終了後に、読み出した信号の処理と同時に次の露光を並行して開始させるようにしても良い。

この際、撮像素子として例えばＣＭＯＳ素子を用いた場合は、露光後の後処理を高速で行うことができる。従って、１回の撮影に１０回の露光を行う場合であっても、１回の撮影に要するトータルの時間は最小限に抑えられる。

図４は、複数回の露光によって得られた複数の画像のうちの４枚を示す模式図である。図４の例では、主被写体である人物が所定の動作（ゴルフスイング）を行っている。１０回の露光は所定の間隔で行われるため、図４に示すように、露光によって得られた画像は、図４（Ａ）、図４（Ｂ）、図４（Ｃ）、図４（Ｄ）の順で、主被写体の時系列の動作に応じた画像となる。

図５は、図４に示す４枚の画像を合成して得られた画像を示している。このように、複数回の露光で得られた画像を合成することで、主被写体が時系列に変化する様子を１枚の画像として得ることができる。

１０回の露光を連続して行う際に、撮影者が撮像装置を手で保持すると、１０回の露光の最中に手振れが生じる場合がある。そして、撮影された１０枚の画像を、画像の輪郭を一致させて合成すると、手振れに起因して画像に位置ずれが生じてしまう。また、主被写体の画像を比較領域データとして画像の合成を行うと、図４に示すように主被写体が動いている場合は、背景などの画像を一致させて合成することが難しくなる。

このため、本実施形態では、複数の画像を合成する際に、主被写体の周辺の画像を比較領域データとして設定し、複数の画像の相対的なずれ量を打ち消すように、各画像の合成を行う。

主被写体以外の画像としては、例えばＡＦエリアの外に位置する画像を用いることができる。図６は、ＬＣＤ１２６に撮像画像とともにＡＦエリアが表示された状態を示している。図６に示すように、撮像画像の中心部にはＡＦエリア１７０が表示される。ＡＦエリア１７０は、ＡＦ動作の際に、ＡＦ評価値としての画像のコントラスト値を算出する領域であって、ＡＦエリア１７０内の画像のコントラストに基づいてＡＦ動作が行われる。

図６に示すように、通常、ＡＦエリア１７０は撮像画像の中央部に設定される。主被写体は撮像画像の中央に位置することが多いため、主被写体はＡＦエリア１７０の範囲に属している。従って、ＡＦエリア１７０の外に位置する画像を比較領域データとすることで、主被写体以外の画像を用いて合成を行うことができる。

具体的には、１回目の露光で撮像された画像のＡＦエリア１７０の外に比較領域データが設定される。そして、２〜１０回目の露光で撮像された画像から、比較領域データに対応する画像の位置を検出する。そして、１回目の露光の画像における比較領域データに対して、２〜１０回目の露光の比較領域データに対応する画像の相対的な位置のずれ量を打ち消すように各画像を合成することで、手振れによる画像の位置ずれを確実に抑えることができる。

特に、本実施形態では、１回の撮影動作の際に複数回の露光を行うため、１回の撮影のトータルの露光時間が長い場合であっても、１回毎の露光時間を短縮することができる。従って、１回毎の露光の際には、手振れによる撮像画像への影響を最小限に抑えることができ、トータルの露光時間が長い場合であっても、ぶれのない鮮明な画像を撮影することができる。特に、シャッター速度が、１／（結像光学系の焦点距離（ｍｍ））よりも長くなると、一般的に手振れによる画像への影響が大きくなるが、このような場合であっても、露光を複数回に分けて行うことで、１回の露光毎の画像に手振れの影響が生じることを抑止できる。そして、１回の露光毎の画像における手振れの影響を抑えることで、合成した画像をより鮮明にすることができる。また、複数回の露光で得られた画像を合成することで、全体としての露光時間を長くすることができ、画像データのＳＮ比を向上することができる。

そして、上述した手法によれば、図４のように主被写体が動いている場合であっても、主被写体よりも手前に位置する地面の画像、背景の木の画像などについては、位置ずれの生じていない鮮明な画像を得ることができる。一方、動いている主被写体については、図５に示すように、手振れによる位置ズレを抑えた状態で、主被写体の時系列の動作に起因する画像ずれを記録することができる。従って、本実施形態の手法によれば、主被写体の動きによる画像のズレと、手振れ等による画像のズレを切り分けることができ、手振れ等による画像のズレのみを補正して、主被写体の動きを正確に記録することができる。

従って、複数の画像を撮影する際に、撮影者の手振れ等によって、複数の画像に位置ずれが生じていた場合であっても、位置ずれが解消するようにパターンマッチングを行うことができる。これにより、主被写体が動いている、動いていないに関わらず、確実に手振れを検出して補正することができる。これにより、合成して得られた画像に手振れに起因する像ズレが生じてしまうことを抑止することができ、手振れを補正した鮮明な画像を得ることができる。

図７は、ＡＦエリア１７０の中に複数のＡＦエリア１７０ａ，１７０ｂ，１７０ｃが設定されている例を示す模式図である。図７の例では、ＡＦ動作の最中にＡＦエリア１７０ａ，１７０ｂ，１７０ｃのそれぞれでコントラスト情報が取得され、最もコントラストが高いエリアをＡＦエリアとして選択し、このエリアの中に位置する被写体を主被写体として合焦が行われる。このような構成では、複数のＡＦエリア１７０ａ，１７０ｂ，１７０ｃのうち、合焦した時点でコントラスト情報が用いられたＡＦエリア以外の領域から比較領域データを設定する。これにより、主被写体の範囲がＡＦエリア１７０の大きさに比べて小さい場合は、ＡＦエリア１７０の中に比較領域データを設定することも可能となる。従って、比較領域データの設定の自由度をより高めることができる。

図８は、ＡＦエリア１７０とは関係なく、比較領域データを設定した例を示す模式図である。図８の例では、撮像画像の輪郭から中心に向かって所定の位置に比較領域枠１７２が設定され、比較領域データは比較領域枠１７２よりも外側の領域に設定される。通常、主被写体は撮像画像の中心に位置しているため、比較領域枠１７２を撮像画像の周辺部に設定すると、比較領域枠１７２よりも外側の領域は主被写体が殆ど存在していない領域となる。従って、比較領域枠１７２よりも外側の領域の画像に比較領域データを設定することで、主被写体以外の画像データを用いて画像の合成を行うことができる。

図９は、比較領域データを設定する領域を撮影者が任意に設定できるようにした例を示す模式図である。図９において、比較領域データは比較領域枠１７４の内部に設定される。そして、比較領域枠１７４の位置は、撮影者が操作部１３０を操作することで任意に設定することができる。従って、例えば主被写体が画面の周辺部に位置している場合は、比較領域枠１７４を撮像画像の中央に移動することで、主被写体以外の画像から比較領域データを設定することができる。

次に、図１０のフローチャートに基づいて、本実施形態の撮像装置１００における処理の手順について説明する。先ず、ステップＳ１では、撮像装置１００の電源がオン（ＯＮ）に設定される。電源がオンされると、ＣＣＤ素子１１０が制御され、一定間隔（１／３０秒単位）で露光及び画像の読み出しが行われる。ここでは、１／３０秒単位で取得される１画像を１フレームと称する。読み出された画像は、ライブビューとして、撮像装置の背面に配置されたＬＣＤ１２６にリアルタイムに表示される。また、画像データから被写体の輝度値が算出される。

次のステップＳ２では、撮影者によってＳ１操作が行われる。これにより、次のステップＳ３でＡＦ動作が開始される。ここで行われるＡＦ動作は、ＣＣＤ素子１１０から読み出された画像データのコントラストに基づいてＡＦを行うビデオＡＦ(Video AF）である。

ＡＦ動作が開始されると同時に、ＣＣＤ素子１１０の制御と連動して、フォーカスレンズ１０８を駆動しながら、読み出された各フレームの画像のコントラスト値（ＡＦ評価値）を順次算出する。なお、これらのコントラスト値の各データに対して、フォーカスレンズ１０８の位置は対応づけられている。

次のステップＳ４では、合焦位置の算出が行われる。画像のコントラスト値が最も高くなる状態が合焦している状態であり、合焦位置は、コントラスト値が最も高くなるフレームに対応するフォーカス位置として算出される。次のステップＳ５では、ステップＳ４で算出された合焦位置にフォーカスレンズ１０８を駆動する。次のステップＳ６では、ＡＥ演算によって撮影の露光条件を決定する。

次のステップＳ７では、Ｓ１操作がオフ（ＯＦＦ）とされたか否かを判定する。Ｓ１操作がオフにされた場合は、撮影者がシャッターボタン１３２の半押し状態を解除したため、撮影の処理を終了する(RETURN)。一方、ステップＳ７でＳ１操作がオフにされていない場合は、ステップＳ８へ進む。

ステップＳ８では、撮影者によってＳ２操作が行われたか否かを判定する。Ｓ２操作が行われた場合は、ステップＳ９以降の処理が行われ、撮影露光動作が開始される。この場合、以降のステップでは、例えば絞りがｆ１１、ゲインがＩＳＯ１００相当とされ、シャッター速度１／１００秒の露光をＮ回連続して行い、露光毎に画像が取り込まれる。一方、ステップＳ８でＳ２操作が行われていない場合は、ステップＳ７へ戻る。

ステップＳ９では、シャッター１０４を開き、露光が行われる。次のステップＳ１０では、露光後の後処理が行われ、ステップＳ８で露光された画像の信号の読み出し、信号処理、およびデータの保存が行われる。

次のステップＳ１１では、１回の撮影時に行われるＮ回の露光の画像データの取り込みが終了したか否かが判定される。Ｎ回の露光の画像データの取り込みが終了した場合は、ステップＳ１２へ進む。一方、Ｎ回の露光のデータの取り込みが終了していない場合は、ステップＳ９へ戻り、引き続き露光を行う。

ステップＳ１２では、１回目の露光で撮影された画像に比較領域データを設定する。ここでは、ＡＦエリア１７０の外の領域の画像に比較領域データが設定される。

次のステップＳ１３では、撮影されたＮ枚の画像の相対的な位置ずれを検出する。ここでは、１枚目に撮影された画像の比較領域データを基準とし、その後に撮影されたＮ−１枚の画像のそれぞれにおいて比較領域データに対応する画像と、１枚目の画像の比較領域データとの位置ずれ量を検出する。

次のステップＳ１４では、撮影されたＮ枚の画像の合成を行う。この際、ステップＳ１３で検出された各画像の位置ずれ量に基づいて、１枚目の画像を基準として、残りの画像の相対的位置のずれ量を打ち消すように、各画像の合成を行う。次のステップ１５では、合成した画像を圧縮し、記録メディア１４０へ保存する処理を行う。ステップＳ１５の後は、撮影の処理を終了する(RETURN)。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態にかかる撮像装置の構成を示す模式図である。 １回の撮像動作の際に行われる処理を示すタイミングチャートである。 露光後の後処理を示すタイミングチャートである。 複数回の露光によって得られた複数の画像のうちの４枚を示す模式図である。 図４に示す４枚の画像を合成して得られた画像を示す模式図である。 ＬＣＤに撮像画像とともにＡＦエリアが表示された状態を示す模式図である。 ＡＦエリアの中に複数のＡＦエリアが設定されている例を示す模式図である。 ＡＦエリア１７０とは関係なく、比較領域データを設定した例を示す模式図である。 比較領域データを設定する領域を撮影者が任意に設定できるようにした例を示す模式図である。 本実施形態の撮像装置における処理の手順を示すフローチャートである。

符号の説明

１００ 撮像装置
１２０ 画像合成部
１３０ 操作部
１５８ 比較領域設定部
１６０ 位置ずれ検出部
１７０，１７０ａ，１７０ｂ，１７０ｃ ＡＦエリア
１７２，１７４ 比較領域枠

Claims (10)

1. １回の撮影動作で露光時間を時分割して複数回の露光を行い、複数の画像を撮像する撮像装置であって、
   一の露光の画像データの中から、主被写体の周辺に画像比較領域を設定する画像比較領域設定部と、
   前記一の露光における前記画像比較領域内の一の画像と、他の露光の画像データ中で前記一の画像に対応する他の画像とを比較し、前記一の画像と前記他の画像との相対的な位置ずれを検出する位置ずれ検出部と、
   前記相対的な位置ずれを打ち消して、前記一の画像と前記他の画像とが一致するように前記複数の画像を合成する画像合成部と、
   を備えたことを特徴とする、撮像装置。
2. 前記一の露光は前記複数回の露光の最初の露光であり、
   前記位置ずれ検出部は、前記一の画像を基準として、以後の各露光の画像データ中における前記他の画像との相対的な位置ずれを検出することを特徴とする、請求項１に記載の撮像装置。
3. 前記画像比較領域は、合焦検出領域の領域外に設定されることを特徴とする、請求項１又は２に記載の撮像装置。
4. 前記画像比較領域は、画像の外縁から中心に向かって延在する所定範囲の領域に設定されることを特徴とする、請求項１又は２に記載の撮像装置。
5. 前記画像比較領域の位置を設定する操作部を備え、前記操作部の操作によって前記画像比較領域の位置が任意に設定されることを特徴とする、請求項１又は２に記載の撮像装置。
6. １回の撮影動作で露光時間を時分割して複数回の露光を行い、得られた複数の画像を合成する画像合成方法であって、
   一の露光の画像データの中から、主被写体の周辺に画像比較領域を設定する第１のステップと、
   前記画像比較領域内の一の画像を記憶する第２のステップと、
   他の露光の画像データ中で前記一の画像に対応する他の画像を記憶する第３のステップと、
   前記一の画像と前記他の画像との相対的な位置ずれを検出する第４のステップと、
   前記相対的な位置ずれを打ち消して、前記一の画像と前記他の画像とが一致するように前記複数の画像を合成する第５のステップと、
   を有することを特徴とする、画像合成方法。
7. 前記一の露光は前記複数回の露光の最初の露光であり、
   前記第４のステップにおいて、前記一の画像を基準として、以後の各露光の画像データ中における前記他の画像との相対的な位置ずれを検出することを特徴とする、請求項６に記載の画像合成方法。
8. 前記第１のステップにおいて、前記画像比較領域は、合焦検出領域の領域外に設定されることを特徴とする、請求項６又は７に記載の画像合成方法。
9. 前記第１のステップにおいて、前記画像比較領域は、画像の外縁から中心に向かって延在する所定範囲の領域に設定されることを特徴とする、請求項６又は７に記載の画像合成方法。
10. 前記第１のステップにおいて、画像比較領域の位置が前記主被写体の位置に応じて任意に設定されることを特徴とする、請求項６又は７に記載の画像合成方法。

Images