JP2013021490A - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Abstract

【課題】複数枚画像を合成する際に、動きが検出された領域のノイズを低減し、画質を向上させる。
【解決手段】第１の露出の第１の画像と、第１の露出より露出の高い第２の露出の第２の画像とを含み、第１の画像よりも雑音の小さい低雑音画像を少なくとも１つ含む複数の画像を取得し、動領域検出手段と明るさ検出手段、により検出される明るさに応じて動領域の中から置換領域を設定し、第１の画像と第２の画像を合成して合成画像を生成し、合成画像内の置換領域を、低雑音画像の対応する領域の画像に置換することにより、動き領域のノイズを低減する。
【選択図】図１

Description

本発明は画像処理装置に関し、特に、画像合成によりダイナミックレンジを拡大するための技術に関する。

近年、複数枚の画像を合成し、合成画像を記録可能なデジタルカメラといった撮像装置が数多く製品化されている。これらの撮像装置の中には、被写体の明るさが適正となる露出よりも低い露出で撮像した画像と高い露出で撮像した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置がある。このような機能は、ハイダイナミックレンジ（ＨＤＲ）機能と呼ばれている。一般的に、撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭く、例えば、逆光シーンで撮影すると、白飛びが発生してしまう場合がある。より低い露出で撮影すると、全体的に暗く撮像されるため、白飛びは抑制することが可能となるが、暗部のノイズ感が悪化してしまう。また、より高い露出で撮影すると、全体的に明るく撮像されるため、白飛びは発生してしまうが、暗部のノイズ感は改善する。ハイダイナミックレンジ機能では、低い露出と高い露出といった複数の画像を用い、明るい領域（白飛び等）は、低露出画像に重みを掛け、逆に、暗い領域は、高露出画像に重みを掛けて合成することにより、白飛びや暗部のノイズ感を改善することができる。

また、複数枚画像を撮像している間に被写体が移動した場合、合成処理により被写体が２重像になってしまうことがあるため、被写体の移動が検出された領域は、合成処理を禁止することにより、２重像を抑制する技術が開示されている。一般的には、被写体の移動が検出された領域は、低い露出の画像を出力する。高い露出で撮像した画像では、移動被写体が白飛びしている可能性があるためである。

特許文献１では、被写体の移動が検出された領域は、低露出画像を出力し、さらに輪郭強調の強度を弱くすることにより、被写体が２重像になってしまうことを抑制しているのと共に、低露出画像のノイズ感が増幅されることを抑制している。

特開２００２−１９０９８３号公報

上述のように、複数枚画像を合成する際に、動きが検出された領域は、合成処理を禁止し、低露出画像をそのまま出力することにより２重像を抑制することができる。しかしながら、動きが検出された領域は、低露出画像を出力してしまうと、動きが検出された領域のノイズ感が悪化してしまうといった課題がある。

特許文献１のように、被写体の移動が検出された領域は、低露出画像を出力し、さらに輪郭強調の強度を弱くすると、ノイズの増幅によるさらなるノイズ感の悪化は防ぐことが可能だが、元々の低露出画像のノイズ感を改善することは困難である。

本発明は、上記の問題点を鑑みてなされたものであり、複数枚画像を合成する際に、動きが検出された領域のノイズを低減し、画質を向上させることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、請求項１に記載の通り、第１の露出の第１の画像と、前記第１の露出より露出の高い第２の露出の第２の画像とを含み、前記第１の画像よりも雑音の小さい低雑音画像を少なくとも１つ含む複数の画像を取得する取得手段と、前記第１の画像と前記第２の画像との差分が所定値より大きい動領域を検出する動領域検出手段と、前記動領域の明るさを検出する明るさ検出手段と、前記明るさ検出手段により検出される明るさに応じて前記動領域の中から置換領域を設定する置換領域設定手段と、前記複数の画像を合成する合成手段と、を備え、前記合成手段は、前記第１の画像と前記第２の画像を合成して合成画像を生成し、前記合成画像内の前記置換領域を、前記低雑音画像の対応する領域の画像に置換することを特徴とする。

また、本発明の画像処理装置の制御方法は、請求項１６に記載の通り、複数の画像を撮像する撮像手段と、前記複数の画像を合成する合成手段と、を有する画像処理装置の制御方法であって、前記撮像手段が、第１の露出の第１の画像を撮像する第１の撮像ステップと、前記撮像手段が、前記第１の露出より露出の高い第２の露出の第２の画像を撮像する第２の撮像ステップと、前記撮像手段が、前記第１の画像よりも雑音の小さい低雑音画像を少なくとも１つ撮像する第３の撮像ステップと、前記第１の画像と前記第２の画像との差分が所定値より大きい動領域を検出する動領域検出手段と、前記動領域の明るさを検出する明るさ検出ステップと、前記明るさ検出手段により検出される明るさに応じて前記動領域の中から置換領域を設定する置換領域設定ステップと、前記合成手段が、前記第１の画像と前記第２の画像を合成して合成画像を生成する合成ステップと、前記合成手段が、前記合成画像内の前記置換領域を、前記低雑音画像の対応する領域の画像で置換する置換ステップと、を有することを特徴とする。

本発明によれば、動きが検出された領域を低雑音画像で置換することにより、動き領域のノイズを低減することができる。そのため、合成画像の画質が向上するといった効果がある。

第１の実施形態の構成例を示す図 動領域情報作成部１０６の構成例を示す図 動領域情報を説明する図 置換領域情報作成部１０７の構成例を示す図 画像合成部１０８の構成例を示す図 置換領域情報を作成する動作フローを示す図 置換領域情報を説明する図 低雑音画像に置換する動作フローを示す図 置換処理を説明する図

（第１の実施形態）
図１は、本実施形態における画像処理装置を撮像装置に応用した場合の構成例を示すブロック図である。以下、本実施形態の構成例について図１を参照して説明する。

本実施形態における撮像装置は、レンズ１０１、撮像部１０２（撮像手段）、Ａ／Ｄ変換部１０３、カメラ信号処理部１０４、システム制御部１０５（低露出算出手段、高露出算出手段）、動領域情報作成部１０６（動領域検出手段）を有し構成される。さらに、置換領域情報作成部１０７（置換領域設定手段）、画像合成部１０８（合成基準画像作成手段）、メモリ１０９、トーンマッピング部１１０、画像記録部１１１及び画像表示部１１２を有し構成される。続いて、本実施形態における撮像装置の動作について説明する。

まず、レンズ１０１は、被写体光を撮像部１０２に導く。撮像部１０２は、ＣＣＤやＣＭＯＳ等の撮像素子を使って被写体を撮像するものであり、得られた被写体光を電気信号に変換してＡ／Ｄ変換部１０３に出力する。Ａ／Ｄ変換部１０３は、所定の増幅率に従って、アナログ信号を増幅し、ディジタル信号に変換する。カメラ信号処理部１０４は、Ａ／Ｄ変換部１０３より出力されたディジタル信号に対して、ホワイトバランスや輪郭強調等の画像処理を行い、画像データを出力する。本実施形態では、後述するダイナミックレンジが広い合成画像データの生成を現像処理後の輝度（Ｙ）、色差（ＵＶ）信号で行うため、カメラ信号処理部１０４でホワイトバランスや輪郭強調等の処理を行うが、合成画像データの生成方法としてはこれに限らない。すなわち、画像合成部１０８に入力される段階では現像処理前のいわゆるＲＡＷ画像の形式であってもよい。この場合、カメラ信号処理部１０４では、画素補間処理などの現像処理の前段階の処理のみが行われる。

システム制御部１０５は、カメラ内の各ブロックに指示を送り、各ブロックの制御を行ったり、演算処理を行ったりする。例えば、カメラ信号処理部１０４から出力された画像データの明るさに応じて、シャッタースピードや絞りにより露出を制御する。本実施形態では、システム制御部１０５の制御により、被写体を露出の異なる複数回の撮影によって得られた画像データを合成することによって、１枚の画像データよりもダイナミックレンジの広い画像データを生成するＨＤＲ撮影モードを有する。

動領域情報作成部１０６は、カメラ信号処理部１０４から出力される画像データとメモリ１０９により遅延された画像データとの画素差分絶対値を評価することにより、動き領域を検出し、動領域情報を出力する。

置換領域情報作成部１０７は、後述の合成基準画像に対し、低雑音画像で置換する領域を判定し、置換領域情報を出力する。置換領域情報の作成方法については、後で詳しく説明する。

画像合成部１０８は、カメラ信号処理部１０４から出力された画像データとメモリ１０９により遅延された画像データとを合成する。その際、カメラ信号処理部１０４から出力される画像データの明るさと動領域情報作成部１０６により作成される動領域情報に基づいて、合成比率を決定し、合成したものを合成基準画像としてメモリ１０９へ出力する。また、画像合成部１０８は、置換領域情報作成部１０７により作成された置換領域情報と動領域情報作成部１０６により作成された動領域情報に応じて、カメラ信号処理部１０４から出力される画像データとメモリ１０９により遅延された合成基準画像とを合成する。合成された合成画像データは、後述のトーンマッピング部１１０へ出力される。

メモリ１０９は、画像合成部１０８から出力される合成基準画像等の画像を記録するためのメモリである。

トーンマッピング部１１０は、例えば、ガンマ処理のような非線形処理により、表示用、記録用それぞれの特性曲線によって合成画像データの階調圧縮を行う。

画像記録部１１１は、トーンマッピング部１１０によりトーンマッピングされた画像を所定の圧縮符号化方式により圧縮符号化し、記録媒体に記録する。画像表示部１１２は、例えば、液晶パネルで構成され、トーンマッピング部１１０によりトーンマッピングされた画像を表示用の画像サイズにリサイズし、表示する。

次に、動領域情報作成部１０６、置換領域情報作成部１０７、画像合成部１０８各部の動作について詳しく説明する。

（動領域情報作成部１０６）
動領域情報作成部１０６は、カメラ信号処理部１０４から出力される画像データとメモリ１０９により遅延される画像データとの画素差分絶対値を評価することにより、動き領域を検出し、動領域情報を出力する。以下、最初に、低露出画像を撮像し、次に、高露出画像を撮像する例について説明する。低露出画像は、画像合成部１０８により画像合成処理をされずに、そのままメモリ１０９に記録されているとする。尚、撮像順番はこれに限ったことではなく、高露出画像を最初に撮像してもよい。

図２は、動領域情報作成部１０６の構成例を示した図である。

画素レベル合わせ部２０１は、メモリ１０９から出力される低露出画像とカメラ信号処理部１０４から出力される高露出画像の明るさを同等にする（正規化）。具体的には、低露出画像の画素値を露出差に応じて増幅し、高露出画像と明るさを合わせるか、あるいは高露出画像の画素値を減幅することで明るさを合わせる。画素差分絶対値算出部２０２は、１画素単位に、画素レベル合わせ部２０１により画素レベルが合った低露出画像と高露出画像との画素差分絶対値を算出する。動いている領域は、この画素差分絶対値が大きくなる。逆に、止まっている領域は、画素差分絶対値が小さくなる。動領域グループ化部２０３は、画素差分絶対値算出部２０２により算出された１画素単位の画素差分絶対値のうち、所定閾値以上の画素差分絶対値のグループ化を行い、領域ごとに動きを判定し、動領域情報を出力する。

このような動領域情報作成部１０６の動作によって行われる処理を模式的に示した図が図３である。図３（ａ）は、低露出で撮像した画像、図３（ｂ）は、高露出で撮像した画像、図３（ｃ）は、動領域情報を示す。尚、図３（ａ）及び図３（ｂ）は、画素レベル合わせ部２０１により画素レベルを合わした画像を示している。図３（ｃ）動領域情報は、黒塗り部分が動領域として判定されている。図３では、暗い背景に長方形の明るい被写体が向かって左から右に移動している撮影シーンを示している。そのため、図３（ａ）の低露出画像では、左端にあった長方形の被写体が、図３（ｂ）の高露出画像では中央に移動している。画素差分絶対値算出部２０２は、１画素単位に図３（ａ）の低露出画像を正規化した画像の画素値と図３（ｂ）の高露出画像の画素値との画素差分絶対値を算出する。長方形の被写体が移動しているため、その部分の画素差分絶対値が大きくなる。また、長方形の被写体以外の背景部分は、移動していないため画素差分絶対値は小さくなる。そして、動領域グループ化部２０３により、画素差分絶対値がグループ化され、図３（ｃ）のような動領域情報が作成される。図３（ｃ）の動領域情報は、長方形の被写体の移動元である領域ａ３０１領域と移動先である領域ａ３０２領域が画素差分絶対値が大きいため、動領域として判定されている。

以上のような動作により、動領域情報作成部１０６は、動領域を検出し、動領域情報を出力する。

（置換領域情報作成部１０７）
次に、置換領域設定部１０７について、図４を参照して詳しく説明する。

動領域明るさ算出部４０１（明るさ算出手段）は、メモリ１０９から出力される画像において、動領域情報作成部１０６により検出された動領域及び動領域周辺領域の明るさを算出する。明るさとは、例えば、画素単位の輝度値の領域毎の平均値である。動領域絵柄判定部４０２（絵柄評価手段）は、メモリ１０９から出力される画像において、動領域情報により示される動領域及び動領域周辺領域の絵柄を評価する。具体的には、例えば、動領域又は動領域周辺領域の輝度値の分散を算出し、分散値が大きい場合は、複雑な絵柄（テクスチャ）と判定し、分散値が所定値より小さい場合は、平坦な絵柄と判定を行う。置換領域判定部４０３は、動領域明るさ算出部４０１により算出された動領域及び動領域周辺領域の明るさと動領域絵柄判定部４０２により判定された動領域及び動領域周辺領域の絵柄に応じて、合成基準画像に対し、低雑音画像に置換する領域を判定する。判定された合成画像内の置換領域は、置換領域情報として出力される。置換領域の判定方法は、詳しく後述する。

（画像合成部１０８）
次に、画像合成部１０８について、図５を参照して詳しく説明する。

図５は、画像合成部１０８の構成例を示す図である。

明るさ算出部５０１は、メモリ１０９から出力される画像の明るさを１画素ごとに算出する。明るさとは、例えば、輝度値である。合成比率算出部５０２は、明るさ算出部５０１により算出された明るさと、動領域情報作成部１０６により作成された動領域情報に応じて、領域毎の合成比率を算出する。具体的には、明るい領域は、高露出画像が白飛びしている可能性が高いため、低露出画像の合成比率を高露出画像に比べて高くする。暗い領域は、低露出画像が黒つぶれしている可能性が高いため、高露出画像の合成比率を低露出画像に比べて高くする。さらに、動領域に関しては、複数画像を合成してしまうと合成した画像で移動被写体が２重像となってしまうため、動領域は、低露出画像の合成比率を動領域でない領域に比べて高くする。低露出画像の方の合成比率を高露出画像に比べて高くする理由は、高露出画像の移動被写体は白飛びしている可能性があるためである。合成部５０３は、合成比率算出部５０２で算出された合成比率に基づき、カメラ信号処理部１０４から出力される画像データとメモリ１０９から出力される画像データとを領域毎に合成する。しかし、置換領域情報作成部１０７から置換領域情報が出力されている場合は、置換領域のみを合成対象領域として合成処理を行い、置換領域以外の領域は、メモリ１０９から出力される画像を合成処理せず、そのまま出力する。このように置換領域が残存する合成画像を合成基準画像と呼ぶことにする。

次に、置換領域情報作成部１０７が置換領域情報を作成する動作フローについて、図６及び図７を参照して説明する。図６及び図７の動作は、システム制御部１０５の指示により各ブロックで行われる。

システム制御部１０５は、１枚の撮影画像データよりもダイナミックレンジの広い画像を生成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影モードに入ったことを検知して、ステップ６０１から処理を開始する。ステップ６０１では、露出制御、合焦制御などの開始と固定を指示するレリーズスイッチの半押し操作の待機状態に入っている。レリーズスイッチ半押し操作が行われると、ステップ６０２において、システム制御部１０５により本撮影で行われる異なる複数の露出値（第１の露出、第２の露出及び低雑音画像の露出）の決定を含めた撮影条件の決定がなされる。ステップ６０３において、撮像部１０２は、低露出値で低露出画像（第１の画像）を撮像する。この低露出画像は、カメラ信号処理部１０４で信号処理が行われ、一旦、メモリ１０９に記録される。ステップ６０４において、撮像部１０２は、低露出値よりも露出の高い高露出値で高露出画像（第２の画像及び低雑音画像）を撮像する。ステップ６０５において、動領域情報作成部１０６は、カメラ信号処理部１０４から出力された高露出画像とメモリ１０９から出力された低露出画像を入力し、前述の通り、画素差分絶対値に応じて動領域情報を作成する。ステップ６０６において、画像合成部１０８は、動領域情報と画像の明るさに応じて、カメラ信号処理部１０４から出力された高露出画像とメモリ１０９から出力された低露出画像を合成し、合成基準画像を出力し、メモリ１０９に記録する。ステップ６０７において、置換領域情報作成部１０７は、合成基準画像に対し、低雑音画像で置換する領域を判定し、置換領域情報を出力する。

ここで、置換領域の判定方法について、図７を参照して詳しく説明する。図７は、前述の図３と同じく、暗い背景に長方形の明るい被写体が向かって左から右に移動している撮影シーンを示している。図７（ａ）、図７（ｂ）及び図７（ｄ）は、図３（ａ）、図３（ｂ）及び図３（ｄ）と同等であるため説明を省略する。図７（ｃ）は、画像合成部１０８により図７（ａ）低露出画像と図７（ｂ）高露出画像とを合成した合成基準画像を示す図である。図７（ｃ）合成基準画像は、図７（ｄ）動領域情報で動領域と判定された領域（領域ａ３０１及び領域ａ３０２）については、図７（ａ）低露出画像の合成比率が高く合成されている。一方、図７（ｄ）動領域情報で動領域と判定されなかった領域（領域ａ３０１及び領域ａ３０２以外の領域）は、図７（ａ）低露出画像、図７（ｂ）高露出画像共に背景領域が暗いため高露出画像の合成比率が高く合成される。このようにして合成された図７（ｃ）合成基準画像は、高露出画像の合成比率が高い領域と、低露出画像の合成比率が高い領域とが混在している。低露出画像は、高露出画像に比べ、Ｓ／Ｎが悪いため、図７（ｃ）合成基準画像において、特に、領域ａ３０１及び領域ａ３０２とその周辺領域とでノイズ感の違いが目立ち易くなってしまう。

動領域明るさ算出部４０１及び動領域絵柄判定部４０２は、図７（ｅ）置換判定領域において、図７（ｄ）動領域情報により示される動領域（領域ａ７０１及び領域ａ７０２）及び動領域周辺領域（領域ａ７０３及び領域ａ７０４）の明るさ算出及び絵柄評価を行う。

そして、置換領域判定部４０３は、動領域の明るさが所定値以下、且つ、動領域の明るさと動領域周辺領域との明るさの差異が所定値以下の動領域を置換領域に設定する。
あるいは、動領域の明るさが所定値以下、且つ、動領域及び動領域周辺領域の絵柄が平坦であると判断される動領域を置換領域に設定する。

これは、暗い領域は、明るい領域と比べ、視覚的にＳ／Ｎの悪さが目立ち易いためである。また、平坦な絵柄領域は、複雑な絵柄領域と比べ、視覚的にＳ／Ｎの悪さが目立ち易いためである。図７の例だと、動領域である領域ａ７０１と領域ａ７０２の合成基準画像の明るさを所定値（第１の閾値）と比較すると領域ａ７０２の明るさは所定値より小さく暗いとする。また、動領域である領域ａ７０２と動領域周辺領域である領域ａ７０４で合成基準画像の明るさの差が、所定値より小さかったとする。このとき、図７（ｆ）のように領域ａ７０５（ａ７０２であった領域）を置換領域と判定する。また同様に、動領域である領域ａ７０２と動領域周辺領域である領域ａ７０４で合成基準画像の絵柄の方は、どちらも平坦であり、動領域であるａ７０１と動領域周辺領域である領域ａ７０３は基準（所定値）を超えて平坦ではなかったとする。このときも、図７（ｆ）のように領域ａ７０５を置換領域と判定する。

尚、画質を重視する場合には、動領域情報に示される全動領域のうち、置換領域と判定する動領域を絞り込まずに、全動領域を置換領域として判定してもよい。ただし、置換領域が大きくなれば、置換領域の低雑音画像を取得するために撮影回数も増えることとなるので、撮影処理全体の時間を短くすることを重視するのであれば、上述した２つの判定方法で置換領域を絞り込んだ方が好ましい。

以上のような動作フローにより、置換領域情報作成部１０７は、置換領域情報を作成する。

次に、画像合成部１０８が置換領域情報に応じて、合成基準画像を低雑音画像に置換する動作フローについて図８及び図９を参照して説明する。

ステップ８０１において、撮像部１０２は、低雑音画像を撮像する。低雑音画像とは、少なくとも合成基準画像を作成するために撮像した低露出画像よりも低雑音な画像である。例えば、低露出画像よりも露出の高い画像、低露出画像を撮像した時のＡ／Ｄ変換部１０３の増幅率（ＩＳＯ感度）よりも低い増幅率で撮像した画像が挙げられる。ステップ８０２において、動領域情報作成部１０６は、カメラ信号処理部１０４から出力された低雑音画像とメモリ１０９から出力された合成基準画像を入力し、動領域情報を作成する。ステップ８０３において、画像合成部１０８は、動領域情報及び置換領域情報に応じて、合成基準画像と低雑音画像を合成する。

以下、画像合成部１０８による合成方法について、図９を参照して説明する。

図９は、前述の図３及び図７の撮影シーンの続きとなっており、暗い背景に長方形の明るい被写体が向かって左から右に移動している撮影シーンを示している。図９（ａ）及び図９（ｅ）は、図７（ｃ）及び図７（ｆ）と同等の合成基準画像及び置換領域情報を示している。図９（ｂ）は、低雑音画像を示し、図９（ｃ）は、合成基準画像と低雑音画像を合成した合成画像を示している。また、図９（ｄ）は、ステップ８０２で動領域情報作成部１０６により作成された動領域情報を示しており、図９（ａ）合成基準画像と図９（ｂ）低雑音画像とで画素差分絶対値が大きい領域ａ９０１及び領域ａ９０２が動領域と判定されている。

画像合成部１０８は、置換領域作成部１０７で作成された図９（ｅ）置換領域情報で示される置換領域ａ９０３を合成対象領域とし、置換領域ａ９０３以外の領域は合成処理を行わず、図９（ａ）合成基準画像をそのまま出力する。図９（ｅ）置換領域情報で示される置換領域ａ９０３には、図９（ｄ）動領域情報で示されるように、動領域の領域ａ９０２の一部領域と動領域でない領域ａ９０４が含まれる。画像合成部１０８は、置換領域ａ９０３のうち、動領域でない領域ａ９０４について、低雑音画像の合成比率を高く合成を行い、動領域は、図９（ａ）合成基準画像をそのまま出力する。つまり、合成基準画像において、置換領域に対応する領域であり且つ動領域でない領域が低雑音画像に置き換わり、合成画像が出力されるため、合成基準画像に比べ合成画像のＳ／Ｎが向上する。尚、明るさ算出部５０１により明るさを算出した時に、低雑音画像の置換領域且つ動領域でない領域が白飛び又は黒つぶれしていた場合は、合成基準画像を低雑音画像に置換しなくてもよい。

図８に戻り、ステップ８０４において、ステップ８０３で低雑音画像に置換された領域を、置換領域情報から除外し、置換領域情報を更新する。

以上のようなステップ８０１、ステップ８０２、ステップ８０３及びステップ８０４を繰り返すことにより、合成基準画像のＳ／Ｎを改善した合成画像を作成することができる。この繰り返し処理は、ステップ８０５において、以下のいずれかの終了条件との合致が判定され終了する。
・全ての置換領域の置換が完了
・置換処理を開始してから所定時間が経過
・ユーザー等により置換処理中止の指示
尚、撮像開始から置換処理終了までの期間は、画像表示部１１２に画像は表示しなくてもよい。この理由は、画像を表示しないことにより、ユーザーは、撮像が完了していないと判断し、撮像装置を構えたまま撮像を継続するためである。

ステップ８０６において、トーンマッピング部１１０は、合成画像に対しトーンマッピング処理を行う。ステップ８０７において、トーンマッピングされた合成画像を画像記録部１１１に記録する。

尚、本実施形態では、合成基準画像を作成した後に、低雑音画像を撮像する例について説明したが、合成基準画像を作成する前に、低雑音画像を撮像してもよい。その場合は、低雑音画像をメモリ１０９に記録し、画像合成部１０８での画像合成に用いる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１ レンズ
１０２ 撮像部
１０３ Ａ／Ｄ変換部
１０４ カメラ信号処理部
１０５ 露出制御部
１０６ 動領域情報作成部
１０７ 置換領域情報作成部
１０８ 画像合成部
１０９ メモリ
１１０ トーンマッピング部
１１１ 画像記録部
１１２ 画像表示部
２０１ 画素レベル合わせ部
２０２ 画素差分絶対値算出部
２０３ 動領域グループ化部
４０１ 動領域明るさ算出部
４０２ 動領域絵柄判定部
４０３ 置換領域判定部
５０１ 明るさ算出部
５０２ 合成比率算出部
５０３ 合成部

Claims (18)

1. 第１の露出の第１の画像と、前記第１の露出より露出の高い第２の露出の第２の画像とを含み、前記第１の画像よりも雑音の小さい低雑音画像を少なくとも１つ含む複数の画像を取得する取得手段と、
   前記第１の画像と前記第２の画像との差分が所定値より大きい動領域を検出する動領域検出手段と、
   前記動領域の明るさを検出する明るさ検出手段と、
   前記明るさ検出手段により検出される明るさに応じて前記動領域の中から置換領域を設定する置換領域設定手段と、
   前記複数の画像を合成する合成手段と、を備え、
   前記合成手段は、前記第１の画像と前記第２の画像を合成して合成画像を生成し、前記合成画像内の前記置換領域を、前記低雑音画像の対応する領域の画像に置換することを特徴とする画像処理装置。
2. 前記置換領域設定手段は、前記明るさ算出手段により算出された動領域の明るさが所定値以下の動領域を置換領域に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記明るさ算出手段は、前記領域検出手段により検出された動領域の周辺領域の明るさを算出し、
   前記置換領域設定手段は、前記明るさ算出手段により算出された前記動領域の明るさ及び前記動領域周辺の明るさの差が所定値より小さい前記動領域を前記置換領域に設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記動領域の絵柄及び前記動き領域周辺の絵柄の平坦さを評価する絵柄評価手段と、前記置換領域設定手段は、前記動領域の絵柄の平坦さが所定の基準よりも平坦であり、且つ、前記動領域周辺の絵柄が前記所定の基準より平坦である前記動領域を前記置換領域に設定することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記領域検出手段は、前記低雑音画像と前記第１の画像との差分が所定値より大きい動領域を検出し、前記置換領域設定手段は、前記置換領域に当該動領域がない場合に、前記置換領域を前記低雑音画像に置換することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記置換領域設定手段は、前記置換領域における前記低雑音画像が白飛び又は黒つぶれしていない場合に、前記置換領域を前記低雑音画像に置換することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 前記置換領域設定手段は、前記置換領域のうち、前記合成手段によって前記低雑音画像に置換された領域は前記置換領域から除外することを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 前記置換領域設定手段は、前記置換領域を全て前記低雑音画像で置換することができたら、置換を終了することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
9. 前記置換領域設定手段は、前記合成手段による前記置換の開始から所定時間が経過した後に前記置換を終了することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
10. 前記合成手段により合成された画像を表示する表示手段を備え、前記表示手段は前記合成手段による前記置換が終了するまでは、前記合成画像を表示しないことを特徴とする請求項１乃至９のいずれか１つに記載の画像処理装置。
11. 前記低雑音画像とは、前記第１の露出よりも高い露出で撮像された画像であることを特徴とする請求項１乃至１０のいずれか１つに記載の画像処理装置。
12. 前記低雑音画像とは、前記第１の画像よりも小さい増幅率で撮像された画像であることを特徴とする請求項１記載の画像処理装置。
13. 前記絵柄評価手段は、前記動領域の画像の分散値を算出し、当該分散値が所定値以下の場合に前記所定の基準より平坦であると判定することを特徴とする請求項４に記載の画像処理装置。
14. 前記明るさ算出手段は、前記動領域の画像の輝度の平均値を算出して前記動領域の明るさとすることを特徴とする請求項１乃至１３のいずれか１つに記載の画像処理装置。
15. 前記合成手段は、前記第１の画像の領域毎の輝度に応じた合成比率で前記第１の画像と前記第２の画像とを合成することを特徴とする請求項１乃至１４のいずれか１つに記載の画像処理装置。
16. 複数の画像を撮像する撮像手段と、前記複数の画像を合成する合成手段と、を有する画像処理装置の制御方法であって、
    前記撮像手段が、第１の露出の第１の画像を撮像する第１の撮像ステップと、
    前記撮像手段が、前記第１の露出より露出の高い第２の露出の第２の画像を撮像する第２の撮像ステップと、
    前記撮像手段が、前記第１の画像よりも雑音の小さい低雑音画像を少なくとも１つ撮像する第３の撮像ステップと、
    前記第１の画像と前記第２の画像との差分が所定値より大きい動領域を検出する動領域検出手段と、
    前記動領域の明るさを検出する明るさ検出ステップと、
    前記明るさ検出手段により検出される明るさに応じて前記動領域の中から置換領域を設定する置換領域設定ステップと、
    前記合成手段が、前記第１の画像と前記第２の画像を合成して合成画像を生成する合成ステップと、
    前記合成手段が、前記合成画像内の前記置換領域を、前記低雑音画像の対応する領域の画像で置換する置換ステップと、
    を有することを特徴とする画像処理装置の制御方法。
17. 請求項１６に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
18. コンピュータに、請求項１６に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images