JP2006140797A

JP2006140797A - 画像処理装置および画像処理方法

Info

Publication number: JP2006140797A
Application number: JP2004328945A
Authority: JP
Inventors: Masanori Otsuka; 正典大塚
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-11-12
Filing date: 2004-11-12
Publication date: 2006-06-01

Abstract

【課題】手振れおよび被写体位置のずれによって生じる像振れを抑制することのできる画像処理装置を提供する。
【解決手段】複数の撮影画像を取得する画像取得手段（５０）と、各撮影画像に含まれる複数の領域での被写体距離に関する情報を取得する距離取得手段（４０）と、複数の撮影画像の加算処理を行って合成画像を生成する合成手段（３００）とを有し、合成手段は、被写体距離を領域ごとに比較し、比較結果に基づいて、加算処理における各領域での加算量を制御する。
【選択図】図１

Description

本発明は、複数の撮影画像を加算処理することで合成画像を生成する画像処理装置および画像処理方法に関するものである。

暗い被写体に対する撮影や長秒時露光の撮影を行った場合には、手振れや被写体の動きによって撮影画像に像振れが生じてしまう。

そこで、従来では、両手でしっかりカメラを持ったり、三脚等のカメラを固定する機材を利用したりしている。また、ＩＳＯ感度を高感度側に設定してシャッタ秒時を速くしたりしている。また、撮影光学系内の補正レンズを光軸直交面内で動作させて手振れによる像振れを抑制するカメラがある。

しかしながら、撮影の際には常に両手でしっかりとカメラを保持できるとは限らず、また、撮影する際に三脚等のカメラを固定する機材を持っていない場合があり、このような場合には手振れ等による像振れが発生してしまうことがある。

また、ＩＳＯ感度を高感度側で設定して露光秒時を短くして撮影を行うと、手振れ等による像振れを抑制することが可能となるが、ノイズが増加して画質が劣化してしまうおそれがある。

また、補正レンズを有するカメラでは、補正レンズの移動スペースを確保しなければならないため、カメラが大型化してしまう。しかも、補正レンズを駆動するための電力が必要となるため、カメラの電池寿命が短くなってしまう。

上述した問題点を解決するために、複数の撮影画像を生成するとともに、各撮影画像の特徴点を抽出し、これら特徴点が一致するように複数の撮影画像を合成するカメラがある（例えば、特許文献１参照）。
特許第３１１０７９７号（段落番号００３０〜００３５、図１２等）

しかしながら、特許文献１のように複数の撮影画像を合成することによって１つの画像を生成するカメラにおいては、被写体振れが発生した場合（被写体の位置がずれた場合）に、背景や主被写体（撮影の対象となる主な被写体、例えば人物）を完全に一致させることができない。

すなわち、特徴点を一致させた状態で複数の画像を合成しても、主被写体の位置が変化すると、主被写体の画像に背景の画像が重なってしまうことで、メリハリのない（被写体の輪郭等が明確でない）画像が生成されてしまうおそれがある。しかも、主被写体の色が背景色によって変色してしまったり、被写体振れの生じた領域がぼけてしまったりする。

特に、上述した現象は、長秒時露光で撮影を行う場合や動きの速い被写体を撮影する場合に、顕著に現れる。

例えば、暗くなって電灯が点灯した撮影環境で、複数回の撮影動作を行う場合であって、主被写体の後側に電灯がある場合には、被写体振れによって電灯の強い光が主被写体の画像領域に重ね合わせされ、主被写体の一部が透けたような画像となってしまうおそれがある。

本発明の画像処理装置は、複数の撮影画像を取得する画像取得手段と、前記各撮影画像に含まれる複数の領域での被写体距離に関する情報を取得する距離取得手段と、前記複数の撮影画像の加算処理を行って合成画像を生成する合成手段とを有し、前記合成手段は、前記被写体距離を前記領域ごとに比較し、該比較結果に基づいて、前記加算処理における前記複数の領域での加算量を制御することを特徴とする。

本発明によれば、手振れや被写体位置のずれによって生じる像振れを抑制することができる。

以下、本発明の実施例について説明する。

図１は、本発明の実施例１である撮影装置（画像処理装置）の概略構成を示すブロック図である。

図１において、１０は画像合成モードの設定を行うための画像合成モード設定スイッチである。ここで、画像合成モードとは、複数回の撮像動作によって生成された画像データを合成することによって１つの露出補正された合成画像を得るための撮影モードである。

なお、画像合成モードの設定は、スライド式又はプッシュ式のスイッチ（メカ構成のスイッチ）を操作することで行ったり、撮影装置に設けられた不図示の表示ユニット上（タッチパネル式）での操作によって行ったりすることができる。

２０はレリーズスイッチであり、撮影準備動作（測光動作や焦点調節動作等）を開始させるためのスイッチ（ＳＷ１）と、撮影動作（撮像素子への露光および撮像素子から読み出された画像データの記録）を開始させるためのスイッチ（ＳＷ２）とを有している。３０は被写体の明るさを測定（測光）する測光回路（輝度取得手段）であり、この測光結果をマイコン３００に出力する。マイコン３００は、入力された測光結果に基づいて露出値（絞り値やシャッタ速度）の演算を行う。

４０は測距回路（距離取得手段、測距部）であり、撮影画像内の複数の領域（以下、構成領域と称す）のうち各構成領域での被写体距離を測定し、この測定結果をマイコン３００に出力する。上記複数の構成領域として、撮影画像に含まれる複数の被写体（例えば、人物や建物）に対応した領域、画素毎の領域、撮影画面内に設けられた測距領域に対応した領域、測距領域に対応した領域を含む周辺領域、又は複数の画素が集合した領域とすることができる。

ここで、被写体距離は領域ごとに求める場合は、公知のパッシブＡＦやアクティブＡＦを用いることができ、また、各領域を画素単位として距離を求める場合であっても、公知の距離画像カメラ（例えば特開２００４−３２６８２号公報に記載）を利用することが可能である。それぞれの測距の方式に必要な構成回路等は測距回路４０に含まれるものである。

５０は撮像素子（画像取得手段）であり、撮影光学系（撮影レンズ、絞りおよびシャッタを含む）によって形成された被写体像（光学像）を電気信号に光電変換する。撮像素子５０から読み出された画像データは、後述するように所定の処理が施された後に、記録媒体に記録されたり、撮影装置に設けられた不図示の表示ユニットに撮影画像として表示されたりする。

６０は、撮像素子５０から読み出されて、所定の処理が施された画像データを記憶する半導体メモリ等の記憶回路である。７０はストロボ等の照明ユニットであり、マイコン３００からの制御信号に応じて、被写体に対して照明光を照射する。

１００は特徴点抽出回路（抽出手段）であり、画像合成モードにおいて生成された複数の画像データのうち各画像データ内からエッジ検出等によって特徴点を抽出する。

１１０は画像相違点検出回路であり、画像合成モードで生成された複数の画像のうち基準となる画像（以下、基準画像と称す）と他の画像（以下、参照画像と称す）との相違点を、特徴点抽出回路１００で抽出された特徴点に基づいて検出する。上記相違点としては、画像の回転、圧縮、変形および位置ずれ等がある。

１２０は画像補正回路であり、特徴点抽出回路１００で抽出された特徴点および画像相違点検出回路１１０で検出された相違点に基づいて、参照画像が基準画像と重なる（合致する）ように参照画像に対して補正処理（座標変換）を行う。具体的には、参照画像内での特徴点が基準画像内での特徴点と一致するように参照画像全体に対して補正処理を行う。

２００は記録回路であり、撮影動作によって生成された画像データ（画像合成モードの場合には合成画像データ）を、記録用メモリ又はコンパクトフラッシュ（登録商標）カード等の外部記憶媒体に記録させる。３００は、撮影装置全体における動作を制御するとともに、基準画像および画像補正回路によって補正された参照画像を合成するマイコン（合成手段）である。

以上のように構成された撮影装置の撮影動作について図２を用いて説明する。

撮影装置が起動すると、まずステップＳ１０１にて画像合成モード設定スイッチ１０がオン状態であるか否かを判別し、オン状態であればステップＳ１０２に進んで画像合成モードの設定を行う。一方、画像合成モード設定スイッチ１０がオフ状態であれば、ステップＳ１０３に進む。

ステップＳ１０３では、レリーズスイッチ２０のＳＷ１がオン状態であるか否かを判別し、オン状態であればステップＳ１０４に進み、オフ状態であればステップＳ１０１に戻る。

ステップＳ１０４では、測光回路３０によって測光動作が行われ、この測光結果に基づいてマイコン３００は露出値の演算を行う。ステップＳ１０５では、測距回路４０の駆動によって、上述した撮影画像内の各構成領域における被写体距離を求める。

ステップＳ１０６では、ステップＳ１０５での検出結果に基づいて撮影光学系内のフォーカスレンズを駆動することによって焦点調節を行う。また、ステップＳ１０４で演算された絞り値に基づいて、撮影光学系内の絞りを駆動する。

ステップＳ１０７では、レリーズスイッチ２０のＳＷ２がオン状態であるか否かを判別し、オン状態であればステップＳ１０８に進み、オフ状態であればステップＳ１０３に戻る。

ステップＳ１０８では画像合成モードが設定されているか否かの判別を行う。ここで、画像合成モードが設定されていなければ、ステップＳ１１０に進んで通常露光を行う。ここで、通常露光とは、ステップＳ１０４で演算された露出値に基づき、１回の露光によって適正露出の撮影画像を得るための動作である。

ステップＳ１１１では、撮像素子５０から読み出された画像信号に対して所定の処理（色処理や圧縮処理等）を行い、この処理によって生成された画像データを記憶回路６０内バッファに記憶する。ここでは、合成画像モードが設定されていないため、ステップＳ１１２からステップＳ１２４に進み、記憶回路６０内のバッファに記憶された画像データを、記録回路２００を介して記録媒体に記録する。

一方、ステップＳ１０８で画像合成モードが設定されていると判別した場合には、ステップＳ１０９に進んで画像合成用の露光を行う。すなわち、画像合成モードでは、ステップＳ１０４で設定された露出値（露光時間）の１／Ｎ（Ｎは任意の値）の露光時間で１回の露光動作を行い、この露光動作をＮ回行う。そして、Ｎ回の露光動作によって生成された複数の画像データを合成することによって、１つの露出補正された画像データ（合成画像データ）を生成する。なお、上記Ｎの値は、撮影条件に応じて撮影装置側で適宜設定するようにしてもよいし、使用者が設定するようにしてもよい。

ステップＳ１０９では、Ｎ回の露光動作のうち１回の露光動作を行い、この露光動作によって生成された画像データは、記憶回路６０内のバッファに記憶される（Ｓ１１１）。そして、ステップＳ１１２を経てステップＳ１１３に進む。

ステップＳ１１３では、所定回数の露光動作が完了したか否か、すなわち、上述したＮ回の露光動作が完了したか否かを判別する。ここで、Ｎ回の露光動作が完了していなければ、Ｎ回の露光動作が完了するまで、ステップＳ１０９〜ステップＳ１１３までの動作を繰り返す。一方、Ｎ回の露光動作が完了していれば、ステップＳ１１４に進む。

ステップＳ１１４では、Ｎ回の露光動作によって得られた複数の画像の中から、基準画像を決定する。例えば、Ｎ回の露光動作のうち初回の露光動作によって得られた画像や、最終回の露光動作によって得られた画像を基準画像とすることができる。この基準画像の決定は、撮影装置側で自動的に行うようにしてもよいし、使用者が行うようにしてもよい。

次に、参照画像を決定する（Ｓ１１５）。具体的には、Ｎ回の露光動作によって生成された複数の画像のうち基準画像以外の画像が、参照画像として決定される。

ステップＳ１１６では、基準画像および参照画像を記憶回路６０から読み出し、各画像内における特徴点を抽出する。ステップＳ１１７では、画像相違点検出回路１１０によって基準画像および各参照画像間の相違点が検出される。そして、画像補正回路１２０によって、各参照画像が基準画像と重なるように各参照画像に対して補正処理が施される。

そして、参照画像全体を基準画像に対して実際に重ね合わせる位置を決定する（Ｓ１１８）。ここで、参照画像および基準画像を重ね合わせるとは、これらの画像の対応する画素における輝度値等を加算させることである。

ステップＳ１１９では、基準画像内の各構成領域での被写体距離と、参照画像内の各構成領域（基準画像の各構成領域に対応した領域）での被写体距離との差又は比を求める。ここで、基準画像および参照画像の各画像を取得する際には、測距回路４０の駆動によって、基準画像内の各構成領域での被写体距離および参照画像内の各構成領域での被写体距離が測定される。

ステップＳ１２０では、ステップＳ１１９で求められた被写体距離の差又は比に基づいて、参照画像内の各構成領域の基準画像に対する重ね合わせ量（重み付け）を決定する。

例えば、基準画像の一部の構成領域内に位置する被写体が撮影装置に対して近距離に位置し、参照画像の一部の構成領域（上記基準画像の一部の構成領域に対応した領域）内に位置する被写体が撮影装置に対して遠距離に位置している場合、すなわち、基準画像および参照画像の対応する構成領域での被写体距離の差又は比が所定値以上の場合には、参照画像の一部の構成領域の基準画像に対する重ね合わせ量を減らしたり、該重ね合わせ量をゼロにしたりする。すなわち、参照画像の一部の構成領域における画像信号のゲインを低くしたり、参照画像の一部の構成領域内の画像を真っ黒（画像データが無い状態）にしたりする。

一方、基準画像および参照画像内の対応する２つの構成領域での被写体距離が略等しい場合には、参照画像の構成領域の重ね合わせ量を減らさずに、そのままの状態で基準画像と重ね合わせる。

このように、本実施例では、基準画像および参照画像内の対応する２つの構成領域での被写体距離の差又は比に応じて、参照画像の構成領域の重ね合わせ量を変更するようにしている。そして、上述した処理を、基準画像内の複数の構成領域に対して行う。

これにより、例えば、複数回の露光動作を行う間に、主被写体の位置がずれてしまっても、基準画像および参照画像を重ね合わせる際の重み付けを変えることで、合成画像において、主被写体の一部に背景等が写り込んでしまうのを抑制することができる。

ステップＳ１２１では、ステップＳ１２０で決定された加算量に基づいて、基準画像および参照画像を重ね合わせる。具体的には、１つの基準画像データと、上記加算量に基づいて補正された参照画像データとを合成する。

ステップＳ１２２では、ステップＳ１２１で合成された画像データを記憶回路６０に記憶する。

ステップＳ１２３では、すべての参照画像に対して合成処理が行われたか否かを判別し、すべての参照画像に対して合成処理が行われた場合にはステップＳ１２４に進み、この合成処理が行われていない場合にはステップＳ１１５に戻る。すなわち、本実施例では、基準画像と１つの参照画像とを合成し、この合成された画像に対して他の参照画像を合成している。

ステップＳ１２４では、記憶回路６０から最終的に合成された画像データを読み出し、この画像データを記録回路２００を介して記録媒体に記録する。これにより、画像合成モードでの撮影動作が完了する。

本実施例によれば、合成画像モードにおいて、複数回の露光動作によって生成された複数の画像データを、各画像間のずれ（基準画像に対する参照画像のずれ）を補正した状態で合成することで、像振れのない露出補正された画像を得ることができる。これにより、撮影光学系内の補正レンズを駆動して像振れ補正を行う必要がなくなり、上記補正レンズの駆動スペースを省略することができるため、撮影装置の小型化を図ることができる。また、上記補正レンズを駆動するための電力が不要となるため、撮影装置の消費電力を低減することができる。

また、基準画像および参照画像内の対応する２つの構成領域における被写体距離の差又は比に応じて、参照画像の構成領域の基準画像に対する重ね合わせ量を変更しているため、例えば、複数回の露光を行っている間に主被写体が動いても、主被写体の一部に背景が写り込んでしまうのを抑制することができる。そして、メリハリの無い合成画像が生成されるのを抑制し、主被写体の色が背景色で変色してしまうのを抑制することができる。

なお、本実施例では、適正露出が得られる露光時間を均一な時間（適正露出での露光時間に対して１／Ｎの露光時間）で分割して、Ｎ回の露光動作を行っているが、各露光動作での露光時間を均一にしなくてもよい。すなわち、複数の露光動作での露光時間を互いに異なる時間としてもよい。この設定は、使用者によって行ったり、マイコン３００が撮影条件等に基づいて自動的に行ったりすることができる。

また、複数の露光動作での露光時間の合計を、１回の露光動作で適正露出が得られる露光時間よりも長くすることもできるし、短くすることもできる。この場合には、複数の露光動作のうち各露光動作によって生成された画像データのゲインを調整することで、適正露出の合成画像を得ることが可能となる。

また、本実施例では、基準画像に対する参照画像の位置を決めた後に合成処理を行っているが、構成領域毎に合成する位置を決めておき、重ね合わせ量を決めてから合成処理を行ってもよい。

また、本実施例では、画像合成モードにおいて、複数の画像データすべてを生成し、これらの画像データを記憶回路６０に記憶させてから合成処理を行っているが、１回の露光動作によって画像データを生成するたびに合成処理を行うようにしてもよい。すなわち、１回目の露光動作によって生成された画像を基準画像とし、２回目の露光動作によって生成された画像を基準画像に対して合成する。そして、この合成画像に対して、３回目の露光動作によって生成された画像を合成する。この動作を繰り返すことで、最終的な合成画像を得ることができる。

次に、本発明の実施例２である撮影装置（画像処理装置）について説明する。本実施例の撮影装置の構成は、実施例１の構成（図１）と同じであるため、説明を省略する。以下、本実施例の撮影装置における撮影動作について、図３を用いて説明する。

撮影装置が起動すると、まずステップＳ２０１にて画像合成モード設定スイッチ１０がオン状態であるか否かを判別し、オン状態であればステップＳ２０２に進んで画像合成モードの設定を行う。一方、画像合成モード設定スイッチ１０がオフ状態であれば、ステップＳ２０４に進む。ステップＳ２０３では、照明ユニット７０の発光動作に備えて充電を行う。

ステップＳ２０４では、レリーズスイッチ２０のＳＷ１がオン状態であるか否かを判別し、オン状態であればステップＳ２０５に進み、オフ状態であればステップＳ２０１に戻る。

ステップＳ２０５では、測光回路３０によって測光動作が行われ、この測光結果に基づいてマイコン３００は露出値の演算を行う。ステップＳ２０６では、測距回路４０の駆動によって、撮影画像内の各構成領域における被写体距離を求める。

ステップＳ２０７では、ステップＳ２０６での検出結果に基づいて撮影光学系内のフォーカスレンズを駆動することによって焦点調節を行う。また、ステップＳ２０５で演算された絞り値に基づいて、撮影光学系内の絞りを駆動する。

ステップＳ２０８では、レリーズスイッチ２０のＳＷ２がオン状態であるか否かを判別し、オン状態であればステップＳ２０９に進み、オフ状態であればステップＳ２０４に戻る。

ステップＳ２０９では画像合成モードが設定されているか否かの判別を行う。ここで、画像合成モードが設定されていなければ、ステップＳ２１３に進んで通常露光を行う。

ステップＳ２１４では、撮像素子５０から読み出された画像信号に対して所定の処理（色処理や圧縮処理等）を行い、この処理によって生成された画像データを記憶回路６０内バッファに記憶する。ここでは、合成画像モードが設定されていないため、ステップＳ２１５からステップＳ２２７に進み、記憶回路６０内のバッファに記憶された画像データを、記録回路２００を介して記録媒体に記録する。

一方、ステップＳ２０９で画像合成モードが設定されていると判別した場合には、ステップＳ２１０以降の画像合成モードでの撮影動作に移行する。

画像合成モードでは、ステップＳ２０５で設定された露出値（露光時間）の１／Ｎ（Ｎは任意の値）の露光時間で１回の露光動作を行い、この露光動作をＮ回行う。そして、Ｎ回の露光動作によって生成された複数の画像データを合成することによって、１つの露出補正された画像データ（合成画像データ）を生成する。

本実施例では、上述した複数回の露光動作のうち所定回数目の露光動作において、照明ユニット７０を発光させるようにしている。ここで、照明ユニット７０を発光させるタイミングは、使用者が適宜設定するようにしてもよいし、マイコン３００が撮影条件等に基づいて自動的に設定するようにしてもよい。

ステップＳ２１０では、ストロボ等の照明ユニット７０を発光させた露光動作を行ったか否かを判別する。ここで、照明ユニット７０を発光させた露光動作を行っている場合にはステップＳ２１１に進み、この露光動作を行っていない場合にはステップＳ２１２に進む。

ステップＳ２１１では、照明ユニット７０を発光させずに露光動作を行うことで、合成用の画像データを生成する。ステップＳ２１２では、照明ユニット７０を発光させて露光動作を行うことで、合成用の画像データを生成する。

ステップＳ２１１およびステップＳ２１２で生成された画像データを、記憶回路６０内のバッファに記憶する（Ｓ２１４）。そして、ステップＳ２１５を経てステップＳ２１６に進む。

ステップＳ２１６では、所定回数の露光動作が完了したか否か、すなわち、上述したＮ回の露光動作が完了したか否かを判別する。ここで、Ｎ回の露光動作が完了していなければ、Ｎ回の露光動作が完了するまで、ステップＳ２１０〜ステップＳ２１５までの動作を繰り返す。一方、Ｎ回の露光動作が完了していれば、ステップＳ２１７に進む。

ステップＳ２１７では、照明ユニット７０を発光させた露光動作によって生成された画像を、基準画像とする。次に、参照画像を決定する（Ｓ２１８）。具体的には、Ｎ回の露光動作によって生成された複数の画像のうち、ステップＳ２１７で決定された基準画像以外の画像が、参照画像として決定される。

ステップＳ２１９では、基準画像および参照画像を記憶回路６０から読み出し、各画像内における特徴点を抽出する。ステップＳ２２０では、画像相違点検出回路１１０によって基準画像および各参照画像間の相違点が検出される。そして、画像補正回路１２０によって、各参照画像が基準画像と重なるように各参照画像に対して補正処理（座標変換）が施される。

そして、参照画像全体を基準画像に対して実際に重ね合わせる位置を決定する（Ｓ２２１）。

ステップＳ２２２では、基準画像内の各構成領域での被写体距離と、参照画像内の各構成領域（基準画像の各構成領域に対応した領域）での被写体距離との差又は比を求める。ここで、基準画像および参照画像の各画像を取得する際には、測距回路４０の駆動によって、基準画像内の各構成領域での被写体距離および参照画像内の各構成領域での被写体距離が測定される。

ステップＳ２２３では、ステップＳ１１９で求められた被写体距離の差又は比に基づいて、参照画像内の各構成領域の基準画像に対する重ね合わせ量（重み付け）を決定する。

例えば、基準画像の一部の構成領域内に位置する被写体が撮影装置に対して近距離に位置し、参照画像の一部の構成領域（上記基準画像の一部の構成領域に対応した領域）内に位置する被写体が撮影装置に対して遠距離に位置している場合には、参照画像の一部の構成領域の基準画像に対する重ね合わせ量を減らしたり、該重ね合わせ量をゼロにしたりする。すなわち、参照画像の一部の構成領域における画像信号のゲインを低くしたり、参照画像の一部の構成領域内の画像を真っ黒（画像データが無い状態）にしたりする。

ステップＳ２２４では、ステップＳ２２３で決定された加算量に基づいて、基準画像および参照画像を重ね合わせる。具体的には、１つの基準画像データと、上記加算量に基づいて補正された参照画像データとを合成する。

ステップＳ２２５では、ステップＳ２２４で合成された画像データを記憶回路６０に記憶する。

ステップＳ２２６では、すべての参照画像に対して合成処理が行われたか否かを判別し、すべての参照画像に対して合成処理が行われた場合にはステップＳ２２７に進み、この合成処理が行われていない場合にはステップＳ２１８に戻る。すなわち、本実施例では、基準画像と１つの参照画像とを合成し、この合成された画像に対して他の参照画像を合成している。

ステップＳ２２７では、記憶回路６０から最終的に合成された画像データを読み出し、この画像データを記録回路２００を介して記録媒体に記録する。これにより、画像合成モードでの撮影動作が完了する。

また、本実施例では、適正露出が得られる露光時間を均一な時間（適正露出での露光時間に対して１／Ｎの露光時間）で分割して、Ｎ回の露光動作を行っているが、各露光動作での露光時間を均一にしなくてもよい。すなわち、複数の露光動作での露光時間を互いに異なる時間としてもよい。この設定は、使用者によって行ったり、マイコン３００が撮影条件等に基づいて自動的に行ったりすることができる。

また、本実施例では、画像合成モードにおいて、複数の画像データすべてを生成し、これらの画像データを記憶回路６０に記憶させてから合成処理を行っているが、１回の露光動作によって画像データを生成するたびに合成処理を行うようにしてもよい。

また、本実施例では、複数回の露光動作のうち１回の露光動作を行うときに照明ユニット７０を発光させているが、複数回の露光動作のうち２回以上の露光動作において照明ユニット７０を発光させてもよい。この場合、照明ユニット７０を発光させた露光動作によって生成される画像が複数存在することになるが、これらの画像のうち１つの画像を基準画像として決定する。

次に、本発明の実施例３である撮影装置（画像処理装置）について説明する。本実施例の撮影装置の構成は、実施例１の撮影装置の構成（図１）と同じであるため、説明を省略する。

実施例１、２では、上述したように基準画像および参照画像内の対応する２つの構成での被写体距離の差（又は比）に基づいて、参照画像の構成領域の基準画像に対する加算量を決定している。本実施例では、画像合成モードにおける複数回の露光動作のうち照明ユニット７０を発光させた露光動作によって生成された画像を基準画像とし、他の画像を参照画像とする。そして、基準画像と参照画像との明るさの差又は比に基づいて、画像合成の際の加算量を決定している。

以下、本実施例の撮影装置における撮影動作について、図４を用いて説明する。

撮影装置が起動すると、まずステップＳ３０１にて画像合成モード設定スイッチ１０がオン状態であるか否かを判別し、オン状態であればステップＳ３０２に進んで画像合成モードの設定を行う。一方、画像合成モード設定スイッチ１０がオフ状態であれば、ステップＳ３０４に進む。ステップＳ３０３では、照明ユニット７０の発光動作に備えて充電を行う。

ステップＳ３０４では、レリーズスイッチ２０のＳＷ１がオン状態であるか否かを判別し、オン状態であればステップＳ３０５に進み、オフ状態であればステップＳ３０１に戻る。

ステップＳ３０５では、測光回路３０によって測光動作が行われ、この測光結果に基づいてマイコン３００は露出値の演算を行う。ステップＳ３０６では、測距回路４０の駆動によって、上述した撮影画像内の各構成領域における被写体距離を求める。

ステップＳ３０７では、ステップＳ３０６での検出結果に基づいて撮影光学系内のフォーカスレンズを駆動することによって焦点調節を行う。また、ステップＳ５０５で演算された絞り値に基づいて、撮影光学系内の絞りを駆動する。

ステップＳ３０８では、レリーズスイッチ２０のＳＷ２がオン状態であるか否かを判別し、オン状態であればステップＳ３０９に進み、オフ状態であればステップＳ３０４に戻る。

ステップＳ３０９では、画像合成モードが設定されているか否かの判別を行う。ここで、画像合成モードが設定されていなければ、ステップＳ３１３に進んで通常露光を行う。

ステップＳ３１３では、ステップＳ３０５で演算された露光時間の分だけ、撮像素子５０への露光を行う。そして、撮像素子５０から読み出された画像信号に対して所定の処理（色処理や圧縮処理等）を行う。この処理によって生成された画像データを記憶回路６０内バッファに記憶する（Ｓ３１４）。ここでは、合成画像モードが設定されていないため、ステップＳ３１５からステップＳ３２７に進み、記憶回路６０内のバッファに記憶された画像データを、記録回路２００を介して記録媒体に記録する。

一方、ステップＳ３０９で画像合成モードが設定されていると判別した場合には、ステップＳ３１０以降の画像合成モードでの撮影動作に移行する。

画像合成モードでは、ステップＳ３０５で設定された露出値（露光時間）の１／Ｎ（Ｎは任意の値）の露光時間で１回の露光動作を行い、この露光動作をＮ回行う。そして、Ｎ回の露光動作によって生成された複数の画像データを合成することによって、１つの露出補正された画像データ（合成画像データ）を生成する。

ステップＳ３１０では、照明ユニット７０を発光させた露光動作を行ったか否かを判別する。ここで、照明ユニット７０を発光させた露光動作を行っている場合にはステップＳ３１１に進み、上記露光動作を行っていない場合にはステップＳ３１２に進む。

ステップＳ３１１では、照明ユニット７０を発光させずに露光動作を行うことで、合成用の画像データを生成する。ステップＳ３１２では、照明ユニット７０を発光させて露光動作を行うことで、合成用の画像データを生成する。

ステップＳ３１１およびステップＳ３１２で生成された画像データを、記憶回路６０内のバッファに記憶する（Ｓ３１４）。そして、ステップＳ３１５を経てステップＳ３１６に進む。

ステップＳ３１６では、所定回数の露光動作が完了したか否か、すなわち、上述したＮ回の露光動作が完了したか否かを判別する。ここで、Ｎ回の露光動作が完了していなければ、Ｎ回の露光動作が完了するまで、ステップＳ３１０〜ステップＳ３１５までの動作を繰り返す。一方、Ｎ回の露光動作が完了していれば、ステップＳ３１７に進む。

ステップＳ３１７では、照明ユニット７０を発光させた露光動作によって生成された画像を、基準画像とする。次に、参照画像を決定する（Ｓ３１８）。具体的には、Ｎ回の露光動作によって生成された複数の画像のうち、ステップＳ３１７で決定された基準画像以外の画像が、参照画像として決定される。

ステップＳ３１９では、基準画像および参照画像を記憶回路６０から読み出し、各画像内における特徴点を抽出する。ステップＳ３２０では、画像相違点検出回路１１０によって基準画像および各参照画像間の相違点が検出される。そして、画像補正回路１２０によって、各参照画像が基準画像と重なるように各参照画像に対して補正処理（座標変換）が施される。

そして、参照画像全体を基準画像に対して実際に重ね合わせる位置を決定する（Ｓ３２１）。

ステップＳ３２２において、マイコン３００は、基準画像および参照画像内の対応する構成領域における輝度の差又は比を求める。ステップＳ３２３では、ステップＳ３２２で求められた輝度の差又は比に基づいて、参照画像内の各構成領域の基準画像に対する重ね合わせ量（重み付け）を決定する。

例えば、基準画像の一部の構成領域内にある被写体が撮影装置に対して近距離に位置し、参照画像の一部の構成領域（上記基準画像の一部の構成領域に対応した領域）内にある被写体が撮影装置に対して遠距離に位置している場合、基準画像の上記構成領域内の被写体に対しては照明ユニット７０の照明光が到達し、参照画像の上記構成領域内の被写体に対して照明ユニット７０の照明光が到達しないことになる。

これにより、基準画像の一部の構成領域における明るさと参照画像の一部の構成領域における明るさとに所定量以上の差が生じることがある。この場合には、参照画像の一部の構成領域の基準画像に対する重ね合わせ量を減らしたり、該重ね合わせ量をゼロにしたりする。具体的には、参照画像の一部の構成領域における画像信号のゲインを低くしたり、参照画像の一部の構成領域内の画像を真っ黒（画像データが無い状態）にしたりする。

一方、基準画像および参照画像内の対応する２つの構成領域での輝度が略等しい場合には、参照画像の構成領域の重ね合わせ量を減らさずに、そのままの状態で基準画像と重ね合わせる。

このように、本実施例では、基準画像および参照画像内の対応する２つの構成領域での輝度の差又は比に応じて、参照画像の構成領域の重ね合わせ量を変更するようにしている。そして、上述した処理を、基準画像内の複数の構成領域に対して行う。

ステップＳ３２４では、ステップＳ３２３で決定された加算量に基づいて、基準画像および参照画像を重ね合わせる。具体的には、１つの基準画像データと、上記加算量に基づいて補正された参照画像データとを合成する。

ステップＳ３２５では、ステップＳ３２４で合成された画像データを記憶回路６０に記憶する。

ステップＳ３２６では、すべての参照画像に対して合成処理が行われたか否かを判別し、すべての参照画像に対して合成処理が行われた場合にはステップＳ３２７に進み、この合成処理が行われていない場合にはステップＳ３１８に戻る。すなわち、本実施例では、基準画像と１つの参照画像とを合成し、この合成された画像に対して他の参照画像を合成している。

ステップＳ３２７では、記憶回路６０から最終的に合成された画像データを読み出し、この画像データを記録回路２００を介して記録媒体に記録する。これにより、画像合成モードでの撮影動作が完了する。

また、基準画像および参照画像内の対応する２つの構成領域における輝度の差又は比に応じて、参照画像の構成領域の基準画像に対する重ね合わせ量を変更しているため、例えば、複数回の露光を行っている間に主被写体が動いても、主被写体の一部に背景が写り込んでしまうのを抑制することができる。そして、メリハリの無い合成画像が生成されるのを抑制し、主被写体の色が背景色で変色してしまうのを抑制することができる。

次に、本発明の実施例４であるＰＣ（Personal Computer、画像処理装置）について説明する。図５は、本実施例の画像処理装置の概略構成を示すブロック図である。

図５において、４００は記録媒体（不図示）の接続された記録回路であり、画像データを記録媒体に記録することができる。ここで、記録媒体には、複数の画像データが記録されているとともに、各画像データに対応した付属データが記録されている。この付属データには、画像内の構成領域における被写体距離や輝度に関するデータが含まれている。

４１０は第１の読み取り回路（読み込み部）であり、記録回路４００を介して記録媒体内に記録された画像データを読み取る。４２０は第２の読み取り回路（読み込み部）であり、記録回路４００を介して記録媒体内に記録された付属データを読み取る。

４３０は基準画像選択回路であり、画像合成用の画像、すなわち複数回の露光動作によって生成された複数の画像の中から基準画像を選択する。

４４０は特徴点抽出回路であり、第１の読み取り回路４１０から読み取られた各画像内での特徴点を抽出する。４５０は画像相違点検出回路であり、第１の読み取り回路４１０によって読み取られた基準画像および参照画像間の相違点を検出する。

４６０は画像補正回路であり、特徴点抽出回路４４０で抽出された特徴点および画像相違点検出回路４５０で検出された相違点に基づいて、参照画像が基準画像と重なる（合致する）ように参照画像に対して補正処理（座標変換）を行う。具体的には、参照画像内での特徴点が基準画像内での特徴点と一致するように参照画像全体に対して補正処理を行う。

４７０は合成された画像データを記憶する記憶回路、５００は画像処理装置の動作を制御するＣＰＵである。

次に、本実施例の画像処理装置の動作について、図６を用いて説明する。

本実施例のＰＣにおいて、画像合成処理動作が開始されると、まず、ステップＳ４０１において、第１の読み取り回路４１０によって、記録回路４００を介して記録媒体に記録された画像データを読み出す。ステップＳ４０２では、第２の読み取り回路４２０によって、記録回路４００を介して記録媒体に記録された付属データを読み出す。

ステップＳ４０３では、基準画像選択回路４３０によって、第１の読み取り回路４１０によって読み出された複数の画像データの中から基準画像データを決定する。この基準画像データは、画像合成を行う際の基準となる画像データである。ステップＳ４０４では、参照画像を決定する。具体的には、読み出した複数の画像データのうちステップＳ４０３で決定された画像以外の画像を、参照画像として決定する。

ステップＳ４０５では、特徴点抽出回路４４０によって各画像（基準画像および参照画像）内における特徴点を抽出する。ステップＳ４０６では、画像相違点検出回路４５０によって基準画像および各参照画像間の相違点が検出される。そして、画像補正回路４６０によって、各参照画像が基準画像と重なるように各参照画像に対して補正処理（座標変換）が施される。

そして、参照画像全体を基準画像に対して実際に重ね合わせる位置を決定する（Ｓ４０７）。

ステップＳ４０８では、第２の読み取り回路４２０によって読み出された付属データのうち画像内の構成領域での被写体距離データに基づいて、基準画像および参照画像内の対応する２つの構成領域での被写体距離の差又は比を求める。

ステップＳ４０９では、ステップＳ４０８で求められた被写体距離の差又は比に基づいて、参照画像内の各構成領域の基準画像に対する重ね合わせ量（重み付け）を決定する。

ステップＳ４１０では、ステップＳ４０９で決定された加算量に基づいて、基準画像および参照画像を重ね合わせる。具体的には、１つの基準画像データと、上記加算量に基づいて補正された参照画像データとを合成する。

ステップＳ４１１では、ステップＳ４１０で合成された画像データを記憶回路４７０に記憶する。

ステップＳ４１２では、すべての参照画像に対して合成処理が行われたか否かを判別し、すべての参照画像に対して合成処理が行われた場合にはステップＳ４１３に進み、この合成処理が行われていない場合にはステップＳ４０４に戻る。すなわち、本実施例では、基準画像と１つの参照画像とを合成し、この合成された画像に対して他の参照画像を合成している。

ステップＳ４１３では、記憶回路４７０から最終的に合成された画像データを読み出し、この画像データを記録回路４００を介して記録媒体に記録する。これにより、画像合成処理が完了する。

本実施例によれば、複数回の露光動作によって生成された複数の画像データを、各画像間のずれ（基準画像に対する参照画像のずれ）を補正した状態で合成することで、像振れのない露出補正された画像を得ることができる。これにより、撮影装置では、画像合成用の複数の画像データを生成するだけでよく、撮影光学系内の補正レンズを駆動して像振れ補正を行う必要がなくなる。すなわち、上記補正レンズの駆動スペースを省略することができるため、撮影装置の小型化を図ることができる。また、上記補正レンズを駆動するための電力が不要となるため、撮影装置の消費電力を低減することができる。

さらに、合成画像の生成をＰＣで行わせることで、撮影装置において画像合成処理を行う必要がなくなり、画像合成処理に要する時間を省略することができる。

なお、上述した本実施例における画像合成処理動作は、プログラムによって実行させることができ、このプログラムは記憶媒体等に記録しておくことができる。

また、本実施例では、記録媒体を介して複数の画像データを取得する場合について説明したが、撮影装置をＰＣに接続し、撮影装置から複数の画像データを取得するようにしてもよい。

また、本実施例では、第１および第２の読み出し回路４１０、４２０を別々に設けているが、これらを一体として構成してもよい。さらに、本実施例では、合成された画像を記憶回路４７０に記憶させた後、記録回路４００を介して記録媒体に記録しているが、記憶回路４７０に記憶させずに、直接記録媒体に記録させてもよい。さらに、合成された画像データを、記録回路４００を介して記録媒体に記録せずに、記憶回路４７０にのみ記憶させておいてもよい。

次に、本発明の実施例５であるＰＣ（画像処理装置）について説明する。本実施例のＰＣの構成は、実施例４と同じであるため、説明を省略する。以下、本実施例のＰＣの動作について、図７を用いて説明する。

実施例４では、上述したように基準画像および参照画像内の対応する２つの構成領域での被写体距離の差等に基づいて、画像合成の際の加算量を決定している。本実施例では、照明ユニットを発光させた露光動作によって生成された画像を基準画像とし、他の画像を参照画像とする。そして、基準画像と参照画像との明るさ（輝度）の差又は比に基づいて、画像合成の際の加算量を決定している。

本実施例のＰＣにおいて、画像合成処理動作が開始されると、まず、ステップＳ５０１において、第１の読み取り回路４１０によって、記録回路４００を介して記録媒体に記録された複数の画像データを読み出す。これらの画像データには、照明光を利用して生成された画像データが含まれている。ステップＳ５０２では、第２の読み取り回路４２０によって、記録回路４００を介して記録媒体に記録された付属データを読み出す。

ステップＳ５０３では、基準画像選択回路４３０によって、第１の読み取り回路４１０によって読み出された複数の画像データのうち照明光を利用して生成された画像データを、基準画像データとして決定する。この基準画像データは、画像合成を行う際の基準となる画像データである。

ここで、照明光を使用して生成された画像データが複数ある場合には、基準画像選択回路４３０は、これらの画像データのうち１つの画像データを基準画像として選択する。この選択を行うにあたって、基準画像選択回路４３０は、付属データの内容を参考にして選択することができる。

ステップＳ５０４では、参照画像を決定する。具体的には、読み出した複数の画像データのうちステップＳ５０３で決定された画像以外の画像（照明光を用いないで生成された画像）を、参照画像として決定する。

ステップＳ５０５では、特徴点抽出回路４４０によって各画像（基準画像および参照画像）内における特徴点を抽出する。ステップＳ５０６では、画像相違点検出回路４５０によって基準画像および各参照画像間の相違点が検出される。そして、画像補正回路４６０によって、各参照画像が基準画像と重なるように各参照画像に対して補正処理（座標変換）が施される。

そして、参照画像全体を基準画像に対して実際に重ね合わせる位置を決定する（Ｓ５０７）。

ステップＳ５０８では、第２の読み取り回路４２０によって読み出された付属データのうち画像内の構成領域における輝度データに基づいて、基準画像および参照画像の対応する２つの構成領域での明るさの差又は比を求める。ステップＳ５０９では、ステップＳ５０８で求められた被写体距離の差又は比に基づいて、参照画像内の各構成領域の基準画像に対する重ね合わせ量（重み付け）を決定する。

例えば、基準画像の一部の構成領域内にある被写体が撮影装置に対して近距離に位置し、参照画像の一部の構成領域（上記基準画像の一部の構成領域に対応した領域）内にある被写体が撮影装置に対して遠距離に位置している場合、基準画像の上記構成領域内の被写体に対しては照明光が到達し、参照画像の上記構成領域内の被写体に対して照明光が到達しないことになる。

一方、基準画像および参照画像内の対応する２つの構成領域での輝度が略等しい場合には、参照画像の構成領域の重ね合わせ量を減らさずに、そのままの状態で基準画像と重ね合わせる。そして、上述した処理を、基準画像内の複数の構成領域に対して行う。

ステップＳ５１０では、ステップＳ５０９で決定された加算量に基づいて、基準画像および参照画像を重ね合わせる。具体的には、１つの基準画像データと、上記加算量に基づいて補正された参照画像データとを合成する。

ステップＳ５１１では、ステップＳ５１０で合成された画像データを記憶回路４７０に記憶する。

ステップＳ５１２では、すべての参照画像に対して合成処理が行われたか否かを判別し、すべての参照画像に対して合成処理が行われた場合にはステップＳ５１３に進み、この合成処理が行われていない場合にはステップＳ５０４に戻る。すなわち、本実施例では、基準画像と１つの参照画像とを合成し、この合成された画像に対して他の参照画像を合成している。

ステップＳ５１３では、記憶回路４７０から最終的に合成された画像データを読み出し、この画像データを記録回路４００を介して記録媒体に記録する。これにより、画像合成処理が完了する。

さらに、合成画像の生成をＰＣで行わせることで、撮影装置において画像合成処理を行う必要がなくなり、画像合成処理に要する時間を省略させることができる。

本発明の実施例１である撮影装置の構成を示すブロック図である。実施例１である撮影装置の撮影動作を示すフローチャートである。本発明の実施例２である撮影装置の撮影動作を示すフローチャートである。本発明の実施例３である撮影装置の撮影動作を示すフローチャートである。本発明の実施例４であるＰＣの構成を示すブロック図である。実施例４のＰＣの動作を示すフローチャートである。本発明の実施例５であるＰＣの動作を示すフローチャートである。

符号の説明

４０：測距回路
５０：撮像素子
３００：マイコン

Claims

複数の撮影画像を取得する画像取得手段と、
前記各撮影画像に含まれる複数の領域での被写体距離に関する情報を取得する距離取得手段と、
前記複数の撮影画像の加算処理を行って合成画像を生成する合成手段とを有し、
前記合成手段は、前記被写体距離を前記領域ごとに比較し、該比較結果に基づいて、前記加算処理における前記複数の領域での加算量を制御することを特徴とする画像処理装置。
前記合成手段は、前記被写体距離の差又は比に基づいて、前記加算量を制御することを特徴とする請求項１に記載の画像処理装置。
前記合成手段は、前記被写体距離の差又は比が所定値よりも大きい領域での前記加算量を、前記被写体距離の差又は比が略等しい領域での前記加算量よりも小さくすることを特徴とする請求項２に記載の画像処理装置。
前記合成手段は、前記被写体距離に基づいて、前記複数の領域およびその周辺領域での加算量を制御することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
撮影照明光を用いて撮影された第１の撮影画像および該照明光を用いずに撮影された第２の撮影画像を取得する画像取得手段と、
前記第１および第２の撮影画像に含まれる複数の領域での輝度に関する情報を取得する輝度取得手段と、
前記複数の撮影画像の加算処理を行って合成画像を生成する合成手段とを有し、
前記合成手段は、前記第１の撮影画像と前記第２の撮影画像間の輝度を前記領域ごとに比較し、該比較結果に基づいて、前記加算処理における前記複数の領域での加算量を制御することを特徴とする画像処理装置。
前記合成手段は、前記輝度の差又は比に基づいて、前記加算量を制御することを特徴とする請求項５に記載の画像処理装置。
前記合成手段は、前記輝度の差又は比が所定値よりも大きい領域での前記加算量を、前記輝度の差又は比が略等しい領域での加算量よりも小さくすることを特徴とする請求項６に記載の画像処理装置。
前記合成手段は、前記輝度に基づいて、前記複数の領域およびその周辺領域での加算量を制御することを特徴とする請求項５から７のいずれか１つに記載の画像処理装置。
前記複数の領域はそれぞれ、前記撮影画像を構成する被写体ごとの領域であることを特徴とする請求項１から８のいずれか１つに記載の画像処理装置。
前記複数の領域は、撮影画面内における所定の測距領域であることを特徴とする請求項１から８のいずれか１つに記載の画像処理装置。
前記複数の領域は、前記撮影画像を構成する画素ごとの領域であることを特徴とする請求項１から８のいずれか１つに記載の画像処理装置。
前記各撮影画像の特徴点を抽出する抽出手段を有し、
前記合成手段は、前記特徴点を一致させるように前記加算処理を行うことを特徴とする請求項１から１１のいずれか１つに記載の画像処理装置。
前記画像取得手段として、被写体像を光電変換する撮像素子を用いて前記複数の撮影画像を生成する撮像部を有し、
かつ前記距離取得手段として、前記被写体距離を測定する測距部を有することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
前記画像取得手段および前記距離取得手段として、被写体像を光電変換する撮像素子を有する撮像装置から出力された又は該撮像装置により記録媒体に記録された前記複数の撮影画像および前記被写体距離に関する情報を読み込む読み込み部を有することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
前記画像取得手段として、被写体像を光電変換する撮像素子を用いて前記複数の撮影画像を生成する撮像部を有し、
かつ前記輝度取得手段は、前記各撮影画像に基づいて前記輝度に関する情報を生成することを特徴とする請求項５から８のいずれか１つに記載の画像処理装置。
前記画像取得手段として、被写体像を光電変換する撮像素子を有する撮像装置から出力された又は該撮像装置により記録媒体に記録された前記複数の撮影画像を読み込む読み込み部を有し、
かつ前記輝度取得手段は、前記各撮影画像に基づいて前記輝度に関する情報を生成することを特徴とする請求項５から８のいずれか１つに記載の画像処理装置。
複数の撮影画像を取得する画像取得ステップと、
前記各撮影画像に含まれる複数の領域での被写体距離に関する情報を取得する距離取得ステップと、
前記複数の撮影画像の加算処理を行って合成画像を生成する合成ステップとを有し、
前記合成ステップにおいて、前記被写体距離を前記領域ごとに比較し、該比較結果に基づいて、前記加算処理における前記複数の領域での加算量を制御することを特徴とする画像処理方法。
撮影照明光を用いて撮影された第１の撮影画像および該照明光を用いずに撮影された第２の撮影画像を取得する画像取得ステップと、
前記第１および第２の撮影画像に含まれる複数の領域での輝度に関する情報を取得する輝度取得ステップと、
前記複数の撮影画像の加算処理を行って合成画像を生成する合成ステップとを有し、
前記合成ステップにおいて、前記第１の撮影画像と前記第２の撮影画像間の輝度を前記領域ごとに比較し、該比較結果に基づいて、前記加算処理における前記複数の領域での加算量を制御することを特徴とする画像処理方法。