JP2007329621A - 画像処理装置と画像処理方法、および画像信号処理プログラム。 - Google Patents

Abstract

【課題】輝度差の大きい被写体において、最適な画像信号が得られるようにする画像処理装置と画像処理方法、および画像信号処理プログラムの提供。
【解決手段】制御部１１２からの制御信号に基づき、露光調節部１０３にて複数の露光量を調節し、露光調節部１０３にて調節された複数の露光量を用いて、ＣＣＤ１０１にて複数の画像を撮影して画像信号を形成する。次に、距離情報取得部１０６にて被写体から撮像装置までの距離を測定して距離情報を取得する。画像合成部１０８にて、距離情報取得部１０６で取得した距離情報と前記複数の画像信号を合成し、出力部１１４へ転送する。
【選択図】 図１

Description

本発明は、明るい領域と暗い領域との輝度差の非常に大きい被写体において、最適な画像信号が得られるようにする画像処理装置と画像処理方法、および画像信号処理プログラムに関するものである。

画像処理装置としてのビデオカメラのような撮像装置で被写体を撮影する際に、例えば逆光時においては、背景が明るい領域となり、中央部が暗い領域となるので輝度差が非常に大きくなることがある。このような場合においても適切な画像信号が得られるように種々の工夫がなされている。一例として、特許文献１においては、露光量の多い画像における、輝度が相対的に高い領域を表す画像信号を、露光量の少ない画像における対応する領域を表す画像信号で置換することで画像を合成して、または、露光量の少ない画像における輝度の少ない領域を表す画像信号を、露光量の多い画像における対応する領域を表す画像信号で置換することで画像を合成して、適切な画像を取得する例が開示されている。

また、特許文献２においては、本撮影を被写体露光と背景露光に分けて行い、撮影された２つの画像を合成して最終画像データを取得する。この際に、被写体露光に合わせた第１のホワイトバランス値と、背景露光の色調にあわせた第２のホワイトバランス値を利用する例が開示されている。

特開平０５−０６４０７５号公報 特開平１１−２９８９０８号公報

しかしながら、特許文献１および特許文献２においては、２つの異なる露光量の画像を強引に合成する場合、特にフラッシュ撮影を行なった場合などに、合成して得た画像でも露出オーバー或いは露出アンダーの領域を適切に修正できず、ユーザが望む画像を得るのが難しくなる可能性があった。

本発明は、上記問題点に鑑み、露出オーバーや露出アンダーなどの破たんのない、高画質な撮像画像を生成する画像処理装置と画像処理方法、および画像信号処理プログラムの提供を目的とする。

（１）前記目的を達成するために、本発明の画像処理装置は、同一の被写体を異なる露光量で撮影することで得られる複数の画像についての画像信号を処理する画像処理装置において、前記複数の画像について各画像の画像信号を取得する画像信号取得手段と、前記画像を撮影した際の前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報および前記画像信号取得手段で取得された前記画像信号に基づき前記複数の画像についての画像信号を合成する合成手段と、を備えることを特徴とする。

（１）の発明に関する実施形態は、図１〜図４、図１０〜図１２に示されている第１の実施形態、図５、図６、図９に示されている第２の実施形態、図７、図８に示されている第３の実施形態が対応する。（１）の発明の構成である、同一の被写体を異なる露光量で撮影することは、図１、図５、図７の露光調節部１０３が該当し、画像信号取得手段は、図１、図５、図７のＣＣＤ１０１、ＣＣＤ１０１１、ＣＣＤ１０１２が該当する。距離情報取得手段は、図１の距離情報取得部１０６、図５の距離情報取得部１０１４、図７の距離情報取得部２０１４が、合成手段は図１、図５、図７の画像合成部１０８がそれぞれ該当する。

（１）の発明の好ましい適用例は、図１、図５、図７に示されている撮像装置（画像処理装置、以下本発明の実施形態にかかる画像処理装置は撮像装置で説明する。）である。この撮像装置は、図１、図５、図７に示されている制御部１１２からの制御信号により、露光調節部１０３で複数の露光量を調節し、ＣＣＤ１０１、ＣＣＤ１０１１、ＣＣＤ１０１２により、前記露光調節部１０３にて調節された複数の露光量を用いて被写体を撮影して、複数の露光量が調節されている画像信号を取得する。そして、距離情報取得部１０６にて被写体から撮像装置までの距離を測定して距離情報を取得し、距離情報取得部１０６で取得した距離情報と前記の画像信号に基づいて複数の画像信号を画像合成部1０８にて合成し、出力部１１４へ転送する。

（１）の発明によれば、距離情報に基づいた画像合成によって、露出オーバーや露出アンダーなどの破たんのない、高画質な撮像画像を生成することができる。

（２）の発明は、（１）の発明において、前記画像信号取得手段で取得された前記画像信号から画質劣化情報を取得する画質劣化情報取得手段を更に備え、前記合成手段は、前記距離情報と前記画像信号取得手段で取得された前記画像信号、および前記画質劣化情報に基づいて前記複数の画像についての画像信号を合成することを特徴とする。（２）の発明に関する実施形態は、図５、図６、図９に示されている第２の実施形態と、図７、図８に示されている第３の実施形態が対応する。（２）の発明の構成である画質劣化情報取得手段は、図６のノイズ算出部２０００、図８の動きブレ検出部３０００が、合成手段は図５、図７の画像合成部１０８がそれぞれ該当する。

（２）の発明の好ましい適用例は、図５、図７に示されている撮像装置である。この撮像装置は、図５、図７の制御部１１２の制御により、露光調節部１０３にて複数の露光量を調節して被写体を撮影し、図５のＣＣＤ１０１１及びＣＣＤ１０１２、図７のＣＣＤ１０１により、露光量が調整された画像信号を取得する。画質劣化情報は、図６のノイズ算出部２０００にて撮影された画像信号のノイズ量を算出し、または図８の動きブレ検出部３０００にて動きブレを検出することにより取得する。また、図５の距離情報取得部１０１４、図７の距離情報取得部２０１４にて被写体から撮像装置までの距離を測定して距離情報を取得する。そして、図５、図７の画像合成部１０８にて前記のように取得した距離情報と画像信号、および前記画質劣化情報に基づいて前記複数の画像についての画像信号を合成し、出力部１１４へ転送する。

（２）の発明によれば、画像劣化情報に基づいた画像合成によって、高画質な撮像画像を生成することができる。

（３）の発明は、（１）または（２）の発明において、前記画像信号取得手段は、露光量を調節する露光量調節手段を備えることを特徴とする。この発明に関する実施形態は、図１、図５、図７に示されている第１の実施形態、第２の実施形態、第３の実施形態が対応する。（３）の発明の構成である露光量調節手段は、図１、図５、図７の露光調節部１０３が該当する。（３）の発明の好ましい適用例は、図１、図５、図７に示されている撮像装置である。この撮像装置は、図５、図７の露光調節部１０３にてユーザが（或いは自動調節で）複数の露光量を調節し、図１、図７のＣＣＤ１０１、または、図５のＣＣＤ１０１１及びＣＣＤ１０１２にて、露光調節部１０３で調節された複数の露光量を用いて被写体を撮影し、複数の画像信号を生成する。

（３）の発明によれば、同一被写体に対して複数の露光量を設定して撮影を行うことが可能になる。

（４）の発明は、（３）の発明において、前記露光量調節手段は、外部照明、ＩＳＯ感度、シャッタースピード、絞りの中の少なくとも一つのパラメータを制御する制御手段を備えることを特徴とする。（４）の発明に関する実施形態は、図１、図５、図７に示されている第１の実施形態、第２の実施形態、第３の実施形態が対応する。（４）の発明の構成である露光量調節手段は、図１、図５、図７の露光調節部１０３が該当する。（４）の発明の好ましい適用例は、図１、図５、図７に示されている撮像装置である。この撮像装置は、制御部１１２からの制御信号により、露光調節部１０３にて外部照明、ＩＳＯ感度、シャッタースピード、絞りの中の少なくとも一つのパラメータを制御し、図１、図７のＣＣＤ１０１、または、図５のＣＣＤ１０１１及びＣＣＤ１０１２で、露光調節部１０３にて調節された複数の露光量を用いて被写体を撮影し、複数の画像信号を生成する。

（４）の発明によれば、撮影条件のパラメータである外部照明、ＩＳＯ感度、シャッタースピード、絞り、の中で少なくともそのーつを制御し、複数の露光量を設定して撮影を行うため、自由度の高い露光量調節手段で撮影を行うことが可能になる。

（５）の発明は、（１）または（２）の発明において、画像信号取得手段は、前記複数の画像についての画像信号を時系列的に取得する手段を備えることを特徴とする。（５）の発明に関する実施形態は、図１、図７に示されている第１の実施形態と第３の実施形態が対応する。（５）の発明の構成である複数の画像についての画像信号を時系列的に取得する手段は、図１、図７のＣＣＤ１０１が該当する。（５）の発明の好ましい適用例は、図１、図７図に示されている撮像装置である。この撮像装置は、制御部１１２からの制御信号により、露光調節部１０３にて複数の露光量を調節し、ＣＣＤ１０１で露光調節部１０３にて調節された複数の露光量を用いて被写体を撮影し、複数の画像についての画像信号を時系列的に生成する。

（５）の発明は、同一被写体に対して複数の露光量を設定し時系列的な撮影を行う。このため、低コストで高画質な撮像画像を生成することが可能になる。

（６）の発明は、（１）または（２）の発明において、前記画像信号取得手段は、複数の撮像素子を有し、前記複数の画像についての画像信号を前記複数の撮像素子を用いて同時に取得することを特徴とする。（６）の発明に関する実施形態は、図５に示されている第２の実施形態が対応する。（６）の発明の構成である複数の撮像手段は、図５のＣＣＤ１０１１及びＣＣＤ１０１２が該当する。（６）の発明の好ましい適用例は、図５に示されている撮像装置である。この撮像装置は、制御部１１２からの制御信号により、露光調節部１０３にて複数の露光量を調節し、ＣＣＤ１０１１及びＣＣＤ１０１２で露光調節部１０３にて調節された複数の露光量を用いて、被写体を同時に撮影し各画像の画像信号を生成する。

（６）の発明は、同一被写体に対して複数の露光量を設定し同時に複数の撮影を行う。このため、被写体が移動体である場合でも、移動体に対応する高画質な撮像画像を生成することが可能になる。

（７）の発明は、（１）または（２）の発明において、前記距離情報取得手段は、前記画像中の少なくとも一部の画像領域に対応した位置での前記被写体までの距離を示す距離情報を取得することを特徴とする。（７）の発明に関する実施形態は、図１、図２に示されている第１の実施形態が対応する。（７）の発明の構成である「画像中の少なくとも一部の画像領域に対応した位置での前記被写体までの距離を示す距離情報を取得すること」は、図２の領域分割部２０１で区分された画像領域に対応した位置で、図２の距離測定部１０９と距離測定部２０２により被写体までの距離情報を取得することが該当する。（７）の発明の好ましい適用例は、図１、図２に示されている撮像装置である。この撮像装置は、制御部１１２からの制御信号により、領域分割部２０１にて露光１バッファー部１０４及び露光２バッファー部１０５から入力される画像信号を所定の領域単位に分割し、分割された所定の領域単位に対して距離測定部１０９からの情報により、距離測定部２０２で距離を測定する。

（７）の発明によれば、少なくとも一部の画像形成領域に対する距離情報を用いるため、処理速度を高速化すると共に、高画質な撮像画像を生成することが可能になる。

（８）の発明は、（１）または（２）の発明において、前記距離情報取得手段は、前記画像中の注目する画像領域とそれ以外の画像領域のそれぞれに対応する位置での前記被写体までの距離を示す距離情報を取得することを特徴とする。（８）の発明に関する実施形態は、図２、図６、図８に示されている第１の実施形態、第２の実施形態、第３の実施形態が対応する。（８）の発明の構成である「画像中の注目する画像領域とそれ以外の画像領域のそれぞれに対応する位置での前記被写体までの距離を示す距離情報を取得すること」は、図２、図６、図８の領域分割部２０１で区分された画像領域に対応した位置で、図２、図６、図８の距離測定部１０９と距離測定部２０２により被写体までの距離情報を取得することが該当する。（８）の発明の好ましい適用例は、図２、図６、図８に示されている撮像装置である。この撮像装置は、図２、図６、図８に示されている制御部１１２からの制御信号により、複数の画像信号に対して注目する画像領域とそれ以外の画像領域に領域分割部２０１で分割し、距離測定部１０９と距離測定部２０２により、分割された画像領域のそれぞれに対応する位置での被写体までの距離を示す距離情報を取得する。

（８）の発明によれば、複数の画像信号を注目する画像領域とそれ以外の画像領域における距離情報を取得することが可能になる。

（９）の発明は、（１）または（２）の発明において、前記合成手段は、前記距離情報および前記複数の画像についての画像信号に基づいて、前記画像領域ごとに前記複数の画像信号の合成比率を調整する合成比率調整手段を有し、前記合成比率調整手段で調整された前記合成比率で前記複数の画像についての画像信号を合成することを特徴とする。（９）の発明に関する実施形態は、図１に示されている第1の実施形態が対応する。（９）の発明の構成である合成比率調整手段は、図１の合成比率算出部１０７が、合成画像信号生成手段は画像合成部１０８がそれぞれ該当する。（９）の発明の好ましい適用例は、図１に示されている撮像装置である。この撮像装置は、図１に示されている制御部１１２からの制御信号に基づき、合成比率算出部１０７にて分割された所定の領域単位ごとに合成比率を算出し、画像合成部１０８にて算出された合成比率を用いて複数の画像についての画像信号を合成し、合成された画像信号に対して合成する際に生ずる境界を補正する。

（９）の発明によれば、距離情報を合成比率に反映させることで高画質な撮像画像を生成することが可能になる。

（１０）の発明は、（１）または（２）の発明において、前記距離情報取得手段は、前記画像中の少なくとも一部の画像領域に対応した位置での前記被写体までの距離を示す距離情報を取得し、前記合成手段は、前記画質劣化情報に基づいて前記複数の画像についての画像信号に対し画質の回復を行うことで回復画像信号を取得する画質回復手段と、前記距離情報および前記複数の画像についての画像信号に基づいて、前記画像領域ごとに複数の前記回復画像信号の合成比率を調整する合成比率調整手段と、を有し、前記合成比率調整手段で調整された前記合成比率で複数の前記回復画像信号を合成することを特徴とする。

（１０）の発明に関する実施形態は、図５、図６、図７、図８に示されている第２の実施形態、第３の実施形態が対応する。（１０）の発明の構成である画質回復手段は、図６のノイズ低減部２００１、図８の動きブレ補正部３００１がそれぞれ該当する。また、合成比率調整手段は図５、図７の合成比率算出部１０７が、合成画像信号生成手段は図５、図７の画像合成部１０８がそれぞれ該当する。（１０）の発明の好ましい適用例は、図５、図７に示されている撮像装置である。この撮像装置は、図５、図７に示されている制御部１１２からの制御信号に基づき、図６のノイズ低減部２００１にて画像信号に対してノイズ低減処理を行い、図８の動きブレ補正部３００１にて動きブレ補正処理を行う。また、図５、図７の合成比率算出部１０７にて分割された所定の領域単位ごとに合成比率を算出し、画像合成部１０８にて算出された合成比率を用いて複数の画像信号を合成する。そして、画像合成部１０８は合成された画像信号に対して合成する際生ずる境界を補正する。

（１０）の発明によれば、画像劣化の影響を低減しながら高画質な撮像画像を生成することが可能になる。

（１１）の発明は、（１０）の発明において、前記画質回復手段は、前記各画像の画像信号に対してノイズ低減処理を行うノイズ低減手段と、前記複数の画像についての画像信号に対し動きブレを改善する動きブレ改善手段とのうちの少なくとも一つを備えることを特徴とする。（１１）の発明に関する実施形態は、図６、図８に示されている第２の実施形態、第３の実施形態が対応する。（１１）の発明の構成であるノイズ低減手段は、図６のノイズ低減部２００１が、また、動きブレ改善手段は、図８の動きブレ補正部３００１が該当する。（１１）の発明の好ましい適用例は、図６、図８に示されている撮像装置である。この撮像装置は、図６、図８に示されている制御部１１２からの制御信号に基づき、図６のノイズ低滅部２００１にて、ノイズ算出部２０００から転送されてきた各画像の画像信号に対してノイズ低減処理を行う。また、図８の動きブレ補正部３００１にて、動きブレ検出部３０００から転送されてきた露光２に対応する画像信号に対して動きブレ補正処理を行う。

（１１）の発明によれば、各画像の画像信号に対してノイズ低減処理、または動きブレ改善処理を行いながら、高画質な撮像画像を生成することが可能になる。

（１２）の発明は、画像処理方法に関し、同一の被写体を異なる露光量で撮影した複数の画像についての画像信号と前記画像を撮影した際の前記被写体までの距離を示す距離情報とを取得する段階と、前記距離情報および前記画像信号とに基づいて前記複数の画像についての画像信号の合成比率を算出する段階と、前記合成比率の算出結果に基づいて前記複数の画像についての画像信号を合成する段階と、からなることを特徴とする。

（１２）の発明の適用例をその構成と共に説明する。（１２）の発明は、図１〜図４、図１０〜図１２に示されている第１の実施形態、図５、図６、図９に示されている第２の実施形態、図７、図８に示されている第３の実施形態が対応する。（１２）の発明の構成である「同一の被写体を異なる露光量で撮影した複数の画像について画像信号と前記画像を撮影した際の前記被写体までの距離を示す距離情報とを取得する段階」は、図１、図５、図７の露光調節部１０３、ＣＣＤ１０１、ＣＣＤ１０１１、ＣＣＤ１０１２による撮影と、図１の距離情報取得部１０６、図５の距離情報取得部１０１４、図７の距離情報取得部２０１４の処理が該当する。「前記距離情報および前記画像信号とに基づいて前記複数の画像についての画像信号の合成比率を算出する段階」は、図１、図５、図７の合成比率算出部１０７の処理が該当する。「前記合成比率の算出結果に基づいて前記複数の画像信号を合成する段階」は、図１、図５、図７の画像合成部１０８の処理がそれぞれ該当する。

（１２）の発明の好ましい適用例は、前記のように図１、図５、図７に示されている撮像装置（画像処理装置）における画像処理方法である。しかしながら、（１２）の発明は、図１、図５、図７に示されている構成の撮像装置における画像処理方法には限定されず、前記各段階の処理を行う構成を備えた画像処理装置であれば、適用可能である。

（１２）の発明によれば、距離情報に基づいた画像合成によって露出オーバーや露出アンダーなどの破たんのない、高画質な撮像画像を生成することができる。

（１３）の発明は、画像信号処理プログラムに関し、コンピュータに、同一の被写体を異なる露光量で撮影した複数の画像についての画像信号と前記画像を撮影した際の前記被写体までの距離を示す距離情報とを読み込ませる手順と、前記距離情報および前記画像信号とに基づいて前記複数の画像についての画像信号の合成比率を算出する手順と、前記合成比率の算出結果に基づいて前記複数の画像についての画像信号を合成する手順と、を実行させることを特徴とする。

（１３）の発明に関する実施形態は、図１３、図１４、図１５に示されている第１の実施形態、第２の実施形態、第３の実施形態が対応する。（１３）の発明の構成である「同一の被写体を異なる露光量で撮影した複数の画像についての画像信号と前記画像を撮影した際の前記被写体までの距離を示す距離情報とを読み込ませる手順」は、図１３のＳｔｅｐ１、図１４のＳｔｅｐ１１、図１５のＳｔｅｐ２１の処理が該当する。「前記距離情報および前記画像信号とに基づいて前記複数の画像についての画像信号の合成比率を算出する手順」は、図１３のＳｔｅｐ２、図１４のＳｔｅｐ１４、図１５のＳｔｅｐ２４の処理が該当する。「前記合成比率の算出結果に基づいて前記複数の画像信号を合成する手順」は、図１３のＳｔｅｐ３、図１４のＳｔｅｐ１５、図１５のＳｔｅｐ２５の処理が該当する。

（１３）の発明によれば、距離情報に基づいた画像合成によって露出オーバーや露出アンダーなどの破たんのない、高画質な撮像画像を生成することができる。

本発明によれば、明るい領域と暗い領域との輝度差の非常に大きい被写体において、露出オーバーや露出アンダーなどの破たんのない、高画質な撮像画像を生成する画像処理装置と画像処理方法、および画像信号処理プログラムを得ることができる。

以下、本発明にかかる画像処理装置を撮像装置の例で説明する。最初に第１の実施形態について図を参照して説明する。第１の実施形態は、図１〜図４、図１０〜図１３に示されている。図１は第１の実施形態の構成図、図２は第１の実施形熊における距離情報取得部の構成図、図３は画像信号を所定サイズの矩形領域に分割する例の説明図、図４は画像信号を中央領域とそれ以外の周辺領域の２つの領域に分割する例の説明図、図１０は境界補正の説明図、図１１は破たんを防ぐ係数Ｑ１の特性図、図１２は破たんを防ぐ係数Ｑ２の特性図、図１３は第１の実施の形態例のフローチャートである。

図１の構成図により、第１の実施形態の構成を説明する。露光調節部１０３にて露光１と露光２を設定し、レンズ系１００、ＣＣＤ１Ｏ１を介して時系列的に撮影された画像の画像信号は、Ａ／Ｄ変換器（以下、本明細書および図面では単にＡ／Ｄと略記する）１０２にて露光１と露光２に対応するデジタル信号へ変換される。Ａ／Ｄ１０２からのデジタル画像信号は、それぞれ露光１バッファ一部１０４及び露光２バッファ一部１０５へ転送される。露光１バッファ一部１０４及び露光２バッファ一部１０５は、距離情報取得部１０６、合成比率算出部１０７、画像合成部１０８を介して出力部１１４に接続されている。

露光調節部１０３はＲＡＭ１１０に接続されている。また、距離測定センサー部１０９、ＲＡＭ１１０及びＲＯＭ１１１は、距離情報取得部１０６に接続されており、ＲＯＭ１１１は画像合或部１０８に接続されている。制御部１１２は、Ａ／Ｄ１０２、露光調節部１０３、露光１バッファ一部１０４、露光２バッファ一部１０５、距離情報取得部１０６、合成比率算出部１０７、画像合戒部１０８、距離測定部１０９、ＲＡＭＩＩＯ、ＲＯＭ１１１、外部Ｉ／Ｆ部１１３及び出力部１１４と双方向に接続されている。

次に、第１の実施形態について図１の信号の流れに沿って説明する。ユーザが外部Ｉ／Ｆ部１１３を介してストロボオン／オフ、ＩＳＯ感度、絞り、シャッタースピードなどの撮影条件のパラメータ設定を行なう。これらの撮影条件の中で、少なくとも一つの処理を露光調節部１０３に与える。次に、露光調節部１０３で露光１と露光２を設定した後（本実施形態では、異なるシャッタースピードで露光１及び露光２を設定する）、シャッターボタンが押されると、レンズ系１００、ＣＣＤ１Ｏ１を介して撮影された画像は、公知の相関二重サンプリングによりアナログ画像信号として読み出され、Ａ／Ｄ１０２にて露光１と露光２に対応するデジタル画像信号に変換される。Ａ／Ｄ１０２からの画像信号は、露光１バッファー部１０４及び露光２バッファー部１０５へそれぞれ転送される。

距離測定部１０９が被写体から撮像装置までの距離を測定し、測定結果を距離情報取得部１０６へ転送する。露光１バッファー部１０４と露光２バッファー部１０５から距離情報部１０６を介して転送されてきた画像信号、及び距離測定部１０９から転送されてきた距離情報を、合成比率算出部１０７へ転送する。合成比率算出部１０７は、画像信号の合成比率を算出しＲＡＭ１１０に保存する。画像合成部１０８は、合成比率部１０７から転送されてきた二つの画像信号に対して、ＲＡＭ１１０から合成比率を読み出し、画像合成処理を行う。合成された画像信号は出力部１１４へ転送され、メモリカードなどに記録保存される。

図２は、距離情報取得部１０６の構成の一例示すものであり、距離情報取得部１０６は領域分割部２０１及び距離測定部２０２からなる。露光１バッファ一部１０４及び露光２バッファ一部１０５は、領域分割部２０１、距離測定部２０２を介して合成比率算出部１０７に接続されている。距離測定部１０９は距離測定部２０２に接続されており、ＲＡＭ１１０は領域分割部２０１へ接続されている。ＲＯＭ１１１は距離測定部２０２へ接続されており、制御部１１２は領域分割部２０１及び距離測定部２０２と双方向に接続されている。

図２において、領域分割部２０１は、露光１バッファ一部１０４及び露光２バツファ一部１０５から転送されてきた画像信号に対して分割処理を行い、距離測定部２０２へ転送する。距離測定部２０２は、領域分割部２０１から転送されてきた分割画像信号に対し、距離測定部１０９で分割された所定の領域単位の距離情報を測定する。測定された領域ごとの距離情報と分割された画像信号は、合成比率算出部１０７へ転送される。

以下、本実施形態の処理について、さらに詳しく説明する。本実施形態では、露光調節部１０３にて、ユーザが外部Ｉ／Ｆ１１３を介して異なるシャッタースピード（露光１及び露光２）を設定して（撮像装置が自動設定でも可）撮影を行い、画像信号をそれぞれ露光１バッファ一部１０４及び露光２バッファ一部１０５に保存する。領域分割部２０１では、ユーザが外部Ｉ／Ｆ１１３を介してＲＯＭ１１１に保存されている分割形態（図３或いは図４を参照）を選択し（撮像装置が自動設定でも可）、露光１バッファ一部１０４及び露光２バッファ一部１０５から転送されてきた画像信号に対してそれぞれ分割処理を行い、距離測定部２０２へ転送する。

本実施形態では、図３に示されているような、ユーザ指定による所定サイズに分割された分割形態、または、図４に示されているような、ＡＦで合焦された領域とそれ以外の領域（中央領域とその周辺領域の２つの領域）に分割された分割形態で分割処理を行う。距離測定部２０２では、分割された露光１の画像信号或いは露光２の画像信号に基づいて、距離測定部１０９で各分割領域の距離を測定する。

また、本実施形態においては、各領域の距離情報を測定する。距離の測定に関しては、例えば、距離測定センサーで所定の領域の距離情報を測定する。或いは、撮影のために画像信号を取得する際に、各領域のコントラストが最大になるときのレンズ位置から、その領域における被写体についての距離情報を得る。各領域の距離情報と、分割された露光１の画像信号或いは露光２の画像信号は合成比率算出部１０７へ転送される。また、一部の領域に対してのみ上記のような方法で距離情報を取得する構成とすることもできる。例えば、オートフォーカスする画面上の位置に対応する領域に対してのみ上記のような方法で距離情報を取得する構成がある。このように、一部の領域に対してのみ上記のような方法で距離情報を取得する場合で、それ以外の領域に対しても距離情報を取得する場合には、被写体までの距離を予め定めた距離として扱う。例えば、距離情報を∞として扱うことができる。

合成比率算出部１０７では、転送されてきた各分割領域の距離情報を抽出し、ある閾値Ｓと比較する。各分割領域の距離情報は閾値Ｓより大きい揚合、合成比率Ｒ１（露光１対応）とＲ２（露光２対応）が次の（１）式で設定される。また、閾値Ｓより小さい場合に、合成比率Ｒ３（露光１対応）とＲ４（露光２対応）が、次の（２）式で設定される。

Ｒ１＋Ｒ２＝１ （１）
Ｒ３＋Ｒ４＝１ （２）

本実施形態では、閾値Ｓ、合成比率Ｒ１、Ｒ２、Ｒ３及びＲ４は、ユーザが外部Ｉ／Ｆ部１１３を介して設定する（自動設定でも可）。設定された各分割領域の合成比率は、分割された露光１の画像信号と露光２の画像信号と共に画像合成部１０８へ転送される。画像合成部１０８では、（３）式、（４）式により画素毎に画像合成処理を行う。

Ｒｌ＊Ｖ１＋Ｒ２＊Ｖ２＝Ｄ₀１ （３）
Ｒ３＊Ｖ３＋Ｒ４＊Ｖ４＝Ｄ₀２ （４）

ここで、Ｖ１、Ｖ３は露光１の画像信号、Ｖ２、Ｖ４は露光２の画像信号、Ｄ₀１、Ｄ₀２は合成した後の画像信号である。本実施形態では、画像信号を領域毎に分割し、領域毎の距離情報に基づいて合成比率を算出しているため、領域内にある位置の信号レベルが補正後露出オーバー、或いは露出アンダーになってしまう可能性がある。

これを防ぐために、図１１及び図１２に示されている破たんを防ぐ係数Ｑ１、Ｑ２を用いて補正処理行う。ここで、「破たんを防ぐ」とは、本発明においては、前記露出オーバー、或いは露出アンダーを防止するということを意味している。この破たんを防ぐ係数Ｑ１、Ｑ２は、ＲＯＭ１１１に保存されている。例えば、同じ位置において合成する前の露光１及び露光２の画像信号が、両方とも閾値Ｄ１（露出オーバー判断用）より大きい場合、ＲＯＭ１１１から合成する前の信号レベルＤｓ１（同じ位置において露光１で撮影された信号レベルと露光２で撮影された信号レベル中の小さい方）に対応している、破たんを防ぐ係数Ｑ１（図１１）を抽出し、（５）式で露出オーバーの度合を抑制する。場合によっては、Ｄｓ１を合成後の信号レベルに設定してもよい。

（Ｄ₀１−Ｄｓ１）＊Ｑ１＋Ｄｓｌ＝Ｄ₀１’ （５）

但し、Ｄ₀１’は補正後の信号レベルとする。一方、同じ位置において合成する前の露光１及び露光２の画像信号が、両方とも閾値Ｄ２（露出アンダー判断用）より小さい場合、ＲＯＭ１１１から合成する前の信号レベルＤｓ２（同じ位置において露光１で撮影された信号レベルと露光２で撮影された信号レベル中の大きい方）に対応している、破たんを防ぐ係数Ｑ２（図１２）を抽出し、（６）式で露出アンダーの度合を抑制する。場合によっては、Ｄｓ２を合成後の信号レベルに設定してもよい。

（Ｄｓ２−Ｄ₀２）＊Ｑ２＋Ｄｓ２＝Ｄ₀２’ （６）

但し、Ｄ₀２’は補正後の信号レベルである。上記（５）、（６）式のように領域毎の合成処理を行った後に、さらに全領域の合成処理を行い、領域分割する前と同じシーンの画像信号を生成する。全領域を合成する際に生ずる境界を補正する場合には、全領域の合成処理を行う前に、境界補正処理を行う。本実施形態では、図１０に示されているように、領域１０１と領域１０２を合成する。領域１０１にはＡエリア、領域１０２にはＢエリアを設定し、（７）、（８）式により境界補正処理を行う。

Ｄａ’＝Ｋａｂ／Ｋａ＊Ｄａ （７）
Ｄｂ’＝Ｋａｂ／Ｋｂ＊Ｄｂ （８）

但し、ＫａｂはＡエリアとＢエリアの輝度平均値、ＫａはＡエリアの輝度平均値、ＫｂはＢエリアの輝度平均値、Ｄａは画素毎のＡエリアの値、Ｄｂは画素毎のＢエリアの値、Ｄａ’は補正後の画素毎のＡエリアの値、Ｄｂ’は補正後の画素毎のＢエリアの値である。本実施形態では、境界補正処理が入っているが、場合によっては境界補正処理を省略してもいい。

以上説明した本実施形態における画像処理は、ハードウェアにより実現しているが、このような画像処理を所定の段階を経て実施する構成、すなわち、画像処理方法として構成することができる。さらに、画像処理をソフトウェアにより行うことも可能である。図１３は、本実施形態におけるソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ１にて、距離情報、撮影条件及び映像信号などの情報を読み込ませる。このとき、画像中の領域毎の距離情報を取得する。なお、距離情報は、上述のように測定センサーで露光画素億定することで取得したり、或いは各領域の画像信号においてコントラストが最大になるときのレンズの位置からその領域についての距離情報を取得したりした結果得られるものである。この処理は、同一の被写体を異なる露光量で撮影して複数の画像信号と距離情報を取得する処理に相当する。Ｓｔｅｐ２にて、領域毎の露光１及び露光２の画像信号のそれぞれの合成比率を、上述の（１）式、（２）式の方法で算出する。Ｓｔｅｐ３にて、算出された合成比率を用いて露光１及び露光２の画像信号を上述の（３）式、（４）式の方法で合成する。このとき、上記閾値Ｄ１、Ｄ２との比較を行い、破たんを防ぐ補正を行う。必要であれば、合成処理により生成された境界を補正する。Ｓｔｅｐ４にて、合成された画像を出力し、メモリカードなどに保存する。

図３〜図６、図９〜図１２、図１４は、本発明の第２の実施形態を示している。図において、図３、図４、図１０〜図１２は第１の実施形態と共通している。第１の実施形態と相違する図の図５は第２の実施形態の構成図、図６は第２の実施形態の距離情報取得部の構成図、図９はノイズモデルの特性図、図１４は第２の実施形態のフローチャートである。

本発明の第２の実施形態にかかる構成を図５により説明する。露光調節部１０３にて露光１と露光２を設定する。レンズ系１００、ＣＣＤ１０１１、ＣＣＤ１０１２を介して撮影された画像でアナログ画像信号が形成され、Ａ／Ｄ１０２にて同時に露光１と露光２に対応するデジタル画像信号へ変換される。Ａ／Ｄ１０２からのデジタル画像信号はそれぞれ露光１バッファ一部１０４及び露光２バッファ一部１０５へ転送される。露光１バッファ一部１０４及び露光２バッファ一部１０５は、距離情報取得部１０６、合成比率算出部１０７、画像合成部１０８を介して出力部１１４に接続されている。

露光調節部１０３はＲＡＭ１１０に接続されている。距離測定部１０９、ＲＡＭ１１０及びＲＯＭ１１１は距離情報取得部１０６に接続されており、ＲＯＭ１１１は画像合成部１０８に接続されている。制御部１１２は、Ａ／Ｄ１０２、露光調節部１０３、露光１バッファー部１０４、露光２バッファー部１０５、距離情報取得部１０６、合成比率算出部１０７、画像合成部１０８、距離測定センサー部１０９、ＲＡＭ１１０、ＲＯＭ１１１、外部Ｉ／Ｆ部１１３及び出力部１１４と双方向に接続されている。

次に、本発明の第２の実施形態について図５の信号の流れに沿って説明する。第２の実施形態は構成および作用が第１の実施形態と類似しており、第１の実施形態とは、ＣＣＤ１０１１、ＣＣＤ１０１２、ノイズ算出部２０００、ノイズ低減部２００１、画像１バッファー２００２及び画像２バッファー２００３が相違している。そこで、第１の実施形態とは相違している、画像１バッファー２００２及び画像２バッファー２００３についての信号の流れを主として説明する。なお、以下の説明中、第１の実施形態と同一の番号を付した部分については、本実施形態においても第１の実施形態における場合と同一の作用を有している。

ユーザが外部Ｉ／Ｆ部１１３を介して、ストロボオン／オフ、ＩＳＯ感度、絞り、シャッタースピードなどの撮影条件のパラメータのなかで、少なくとも一つの処理を露光調節部１０３に与える。露光調節部１０３で露光１と露光２を設定した後（本実施形態では、異なるＩＳＯ感度で露光１及び露光２を設定するものとする）、シャッターボタンが押されると、レンズ系１００、ＣＣＤ１０１１（露光１対応）、ＣＣＤ１０１２（露光２対応）を介して同時に撮影された画像は、公知の相関二重サンプリングによりアナログ画像信号として読み出され、Ａ／Ｄ１０２にて露光１と露光２に対応するデジタル画像信号へ変換される。本実施形態では、同じタイプの撮像素子のＣＣＤを採用する。

図６は、距離情報取得部１０１４の構成の一例示すものである。距離情報取得部１０１４は、ノイズ算出部２０００、ノイズ低減部２００１、画像１バッファー部２００２、画像２バッファー部２００３、領域分割部２０１及び距離測定部２０２からなる。露光１バッファー部１０４及び露光２バッファー部１０５は、ノイズ算出部２０００を介してノイズ低滅部２００１に接続されており、ノイズ低減部２００１は、画像１バッファー２００２と画像２バッファー２００３に接続されている。画像１バッファー２００２と画像２バッファー２００３は、領域分割部２０１、距離測定部２０２を介して合成比率算出部１０７に接続されている。距離測定部１０９は距離測定部２０２に接続されている。

ＲＡＭ１１０は、ノイズ低減部２００１と領域分割部２０ｌへ接続されており、ＲＯＭ１１１は、ノイズ算出部２０００と距離測定部２０２へ接続されている。制御部１１２は、ノイズ算出部２０００、ノイズ低減部２００１、画像１バッファー２００２、画像２バッファー２００３、領域分割部２０１及び距離測定部２０２と双方向に接続されている。

図６において、ノイズ算出部２０００は、露光１バッファー部１０４及び露光２バッファー部１０５から転送されてきた画像信号に対してノイズ量を算出し、算出されたノイズ量情報と画像信号を共にノイズ低減部２００１へ転送する。ノイズ低減部２００１は、画像信号に対してノイズ量情報を用いてノイズ低減処理を行い、低減された画像信号をそれぞれ画像１バッファー２００２（露光１対応）及び画像２バッファー２００３（露光２対応）へ転送する。領域分割部２０１は画像１バッファー２００２及び画像２バッファー２００３から転送されてきた画像信号に対して分割処理を行い、距離測定部２０２へ転送する。

本実施形態では、ノイズ算出部２０００において、ＲＯＭ１１１から図１０に示されているノイズモデル（露光１に対応するノイズモデルがＩＳＯ１、露光２に対応するノイズモデルがＩＳＯ２）を読み出して、このノイズモデルに基づき、画像信号に対して画素毎にノイズ量を算出する。このノイズモデルは、信号レベルとノイズ値を一対一のテーブルの形態でＲＯＭ１１１に保存されている。算出されたノイズ量の情報と画像信号がノイズ低減部２００１へ転送される。

ノイズ低減部２００１では、公知のノイズ低減処理を行う。注目画素の信号レベル（Ｒｘ）に対し、ノイズ量（ＮＲ）と平均値（Ｒａｖ）を用いて（９）式の演算を行う。（９）式の演算は、特開２００５―３０３８０２の（６）式に示されている。そして、低滅処理された映像信号Ｒｘ’を露光量に応じてそれぞれ画像１バッファ−２０００と画像２バッファ−２００３へ保存する。本実施形態では、平均値（Ｒａｖ）は、画像信号において注目画像を中心に３×３の矩形ブロック内の９画素の信号レベルの平均値である。

Ｉｆ（Ｒｘ＞Ｒａｖ＋ＮＲ／２）→Ｒｘ’＝Ｒｘ−ＮＲ／２
Ｉｆ（Ｒａｖ＋ＮＲ／２＞Ｒｘ＞Ｒａｖ−ＮＲ／２）→ＲＸ’＝ＲＸ
Ｉｆ（Ｒｘ＜Ｒａｖ−ＮＲ／２）→Ｒｘ’＝Ｒｘ＋ＮＲ／２ （９）

以上説明した本実施形態における画像処理は、ハードウェアにより実現しているが、このような画像処理を所定の段階を経て実施する構成、すなわち、画像処理方法として構成することができる。さらに、画像処理をソフトウェアにより行うことも可能である。図１４は、本実施形態におけるソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ１１にて、距離情報、撮像条件及び映像信号などの情報を読み込ませる。このとき、画像中の領域毎の距離情報を取得する。なお、距離情報は、上述のように測定センサーで露光画素億定することで取得したり、或いは各領域の画像信号においてコントラストが最大になるときのレンズの位置からその領域についての距離情報を取得したりした結果得られるものである。この処理は、同一の被写体を異なる露光量で撮影して複数の画像信号と距離情報を取得する処理の読み込みに相当する。Ｓｔｅｐ１２にて、露光１及び露光２の画像信号に対し、ＲＯＭ１１１から対応するノイズモデルデータを抽出し画素毎にノイズ量を算出する。Ｓｔｅｐ１３にて、算出されたノイズ量に基づき、露光１及び露光２の画像信号に対してノイズ低減処理を行う。

Ｓｔｅｐ１４にて、ノイズ低減された後の領域毎の露光１及び露光２の画像信号のそれぞれの合成比率を上述の（１）式、（２）式の方法で算出する。Ｓｔｅｐ１５にて、算出された合成比率を用いてノイズ低減された後の露光１及び露光２の画像信号を上述の（３）式、（４）式の方法で合成する。このとき、上記閾値Ｄ１、Ｄ２との比較を行い、破たんを防ぐ補正を行う。必要であれば、合成処理により生成された境界を補正する。Ｓｔｅｐ１６にて、合成された画像を出力し、メモリカードなどに保存する。

図３、図４、図７、図８、図１０〜図１２、図１５は第３の実施形態を示している。図において、図３、図４、図１０〜図１２は第１の実施形態、第２の実施形態と共通している。第１の実施形態、第２の実施形態と相違する図の図７は第３の実施形態の構成図、図８は第３の実施形態の距離情報取得部の構成図、図１５は第３の実施形態のフローチャートである。

第３の実施形態は、構成および作用が第１の実施形態、および第２の実施形態と類似しており、第１の実施形態、第２の実施形態とは、図８に示した動きブレ検出部３０００、動きブレ補正部３００１、画像１バッファー２００２及び画像２バッファー２００３が相違している。そこで、ここでは第１の実施形態と異なる、動きブレ検出部３０００、動きブレ補正部３００１、画像１バッファー２００２及び画像２バッファー２００３における信号の流れを主として説明する。なお、以下の説明中、第１の実施形態と同一の番号を付したものは、本実施形態においても第１の実施形態における場合と同様の作用を有している。

第３の実施形態の構成を図７により説明する。露光調節部１０３にて露光１と露光２を設定し、レンズ系１００、ＣＣＤ１０１１、ＣＣＤＩＯ１２を介して撮影された画像でアナログ画像信号を形成し、アナログ画像信号はＡ／Ｄ１０２にて同時に露光１と露光２に対応するデジタル画像信号へ変換される。Ａ／Ｄ１０２からのデジタル画像信号はそれぞれ露光１バッファー部１０４及び露光２バッファー部１０５へ転送される。露光１バッファー部１０４及び露光２バッファー部１０５は、距離情報取得部１０６、合成比率算出部１０７、画像合成部１０８を介して出力部１１４に接続されている。露光調節部１０３はＲＡＭ１１０に接続されている。

距離測定部１０９、ＲＡＭ１１０及びＲＯＭ１１１は距離情報取得部１０６に接続されており、ＲＯＭ１１１は画像合成部１０８に接続されている。制御部１１２は、Ａ／Ｄ１０２、露光調節部１０３、露光１バッファー部１０４、露光２バッファー部１０５、距離情報取得部１０６、合成比率算出部１０７、画像合成部１０８、距離測定センサー部１０９、ＲＡＭ１１０、ＲＯＭ１１１、外部Ｉ／Ｆ部１１３及び出力部１１４と双方向に接続されている。

次に、第３の実施形態について、図７の信号の流れに沿って説明する。ユーザが外部Ｉ／Ｆ部１１３を介して、露光調節部１０３にてストロボオン／オフ、ＩＳＯ感度、絞り、シャッタースピードなどの撮影条件のパラメータを設定する。この撮影条件の中の少なくとも一つの処理で、露光１と露光２を設定した後（本実施形態ではストロボオンを露光１、ストロボオフを露光２で設定するものとする）、シャッターボタンが押されると、レンズ系１００、ＣＣＤ１０１を介して時系列的に撮影された画像から形成される画像信号は、公知の相関二重サンプリングによりアナログ信号として読み出され、Ａ／Ｄ１０２にて露光１と露光２に対応するデジタル信号に変換される。

図８は、距離情報取得部２０１４の構成の一例示すものであり、距離情報取得部２０１４は、動きブレ検出部３０００、動きブレ補正部３００１、画像１バッファー部２００２、画像２バッファー部２００３、領域分割部２０１及び距離測定部２０２からなる。露光１バッファー部１０４及び露光２バッファー部１０５は、動きブレ検出部３０００を介して動きブレ補正部３００１に接続されており、動きブレ補正部３００１は、画像１バッファー２００２と画像２バッファー２００３に接続されている。画像１バッファー２００２と画像２バッファー２００３は、領域分割部２０１、距離測定部２０２を介して合成比率算出部１０７に接続されており、距離測定部１０９は距離測定部に接続されている。

ＲＡＭ１１０は動きブレ補正部３００１と領域分割部２０１に接続されており、ＲＯＭ１１１は動きブレ検出部３０００と距離測定部２０２に接続されている。制御部１１２は、動きブレ検出部３０００、動きブレ補正部３００１、画像１バッファー２００２、画像２バッファー２００３、領域分割部２０１及び距離測定部２０２と双方向に接続されている。

図８において、動きブレ検出部３０００は、露光１バッファー部１０４及び露光２バッファー部１０５から転送されてきた画像信号に対して、動きブレがあるか否かを検出し、動きブレ情報と画像信号を共に動きブレ補正部３００１へ転送する。動きブレ補正部３００１は、画像信号に対して動きブレ補正処理を行い、補正された画像信号をそれぞれ画像１バッファー２００２（露光１対応）及び画像２バッファー２００３（露光２対応）へ転送する。領域分割部２０１は、画像１バッファー２００２及び画像２バッファー２００３から転送されてきた画像信号に対して分割処理を行い、距離測定部２０２へ転送する。

本実施形態では、動きブレ検出部３０００において、公知の動きブレ検出技術を用いて二つの画像信号に対し、動きブレがあるか否かを検出する。まず、最初に撮影された露光１の画像信号を露光１バッファー部１０４から読み出して、高周波成分を抽出する。次に、露光２バッファー部１０５から露光２の画像信号を読み出して、高周波成分を抽出する。最後に、露光１の高周波成分の複数の代表点に基づき、露光２の高周波成分から動きベクトルを算出する。動きブレ補正部３００１では、転送されてきた動きベクトル情報を用いて、露光２の画像信号に対して動きブレを補正する。露光１の画像信号を画像１バッファー２００２へ、補正された露光２の画像信号を画像２バッファー２００３へそれぞれ転送し保存する。

以上説明した本実施形態における画像処理は、ハードウェアにより実現しているが、このような画像処理を所定の段階を経て実施する構成、すなわち、画像処理方法として構成することができる。さらに、画像処理をソフトウェアにより行うことも可能である。図１５は、本実施形態におけるソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ２１にて、距離情報、撮像条件及び映像信号などの情報（画素毎の距離情報を含む）を読み込ませる。このとき、画像中の領域毎の距離情報を取得する。なお、距離情報は、上述のように測定センサーで露光画素億定することで取得したり、或いは各領域の画像新の具においてコントラストが最大になるときのレンズの位置からその領域についての距離情報を取得したりした結果得られるものである。この処理は、同一の被写体を異なる露光量で撮影して複数の画像信号と距離情報を取得する処理に相当する。Ｓｔｅｐ２２にて、露光１及び露光２の画像信号に対して高周波成分を抽出し、公知の動きブレ検出技術を用いて露光１の高周波成分の複数の代表点に基づき、露光２の高周波成分から動きベクトルを算出する。Ｓｔｅｐ２３にて、算出された動きベクトルに基づき、露光２の画像信号に対して動きブレ補正処理を行う。

Ｓｔｅｐ２４にて、領域毎に露光１の画像信号及び動きブレ補正後の露光２の画像信号のそれぞれの合成比率を上述の（１）式、（２）式の方法で算出する。Ｓｔｅｐ２５にて、算出された合成比率を用いて露光１の画像信号及び動きブレ補正後の露光２の画像信号を上述の（３）式、（４）式の方法で合成する。このとき、上記閾値Ｄ１、Ｄ２との比較を行い、破たんを防ぐ補正を行う。必要であれば、合成処理により生成された境界を補正する。Ｓｔｅｐ２６にて、合成された画像を出力し、メモリカードなどに保存する。

以上説明したように、本発明によれば、露出オーバーや露出アンダーなどの破たんのない、高画質な撮像画像を生成する画像処理装置と画像処理方法、および画像信号処理プログラムを提供することができる。このような画像処理装置は、特に撮像装置に好適に適用される。

第１の実施形態の構成図である。 第１の実施形熊における距離情報取得部の構成図である。 画像信号を所定サイズの矩形領域に分割する例の説明図である。 画像信号を中央領域とそれ以外の周辺領域の２つの領域に分割する例の説明図である。 第２の実施形態の構成図である。 第２の実施形態の距離情報取得部の構成図である。 第３の実施形態の構成図である。 第３の実施形態の距離情報取得部の構成図である。 ノイズモデルの特性図である。 境界補正の説明図である。 破たんを防ぐ係数Ｑ１の特性図である。 破たんを防ぐ係数Ｑ２の特性図である。 第１の実施形態のフローチャートである。 第２の実施形態のフローチャートである。 第３の実施形態のフローチャートである。

符号の説明

１０１、１０１１、１０１２・・・ＣＣＤ、１０３・・・露光調節部、１０４・・・露光１バッファー部、１０５・・・露光２バッファー部、１０６、１０１４、２０１４・・・距離情報取得部、１０７・・・合成比率算出部、１０８・・・画像合成部、１０９・・・距離センサー部、１１２・・・制御部、１１４・・・出力部、２０１・・・領域分割部、２０２・・・距離測定部、２０００・・・ノイズ算出部、２００１・・・ノイズ低減部、２００２・・・画像１バッファー、２００３・・・画像２バッファー、３０００・・・動きブレ検出部、３００１・・・動きブレ補正部

Claims (13)

1. 同一の被写体を異なる露光量で撮影することで得られる複数の画像についての画像信号を処理する画像処理装置において、
   前記複数の画像についての画像信号を取得する画像信号取得手段と、前記画像を撮影した際の前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報および前記画像信号取得手段で取得された前記画像信号に基づき前記複数の画像についての画像信号を合成する合成手段と、を備えることを特徴とする画像処理装置。
2. 前記画像信号取得手段で取得された前記画像信号から画質劣化情報を取得する画質劣化情報取得手段を更に備え、前記合成手段は、前記距離情報と前記画像信号取得手段で取得された前記画像信号、および前記画質劣化情報に基づいて前記複数の画像についての画像信号を合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像信号取得手段は、露光量を調節する露光量調節手段を備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記露光量調節手段は、外部照明、ＩＳＯ感度、シャッタースピード、絞りの中の少なくとも一つのパラメータを制御する制御手段を備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記画像信号取得手段は、前記複数の画像についての画像信号を時系列的に取得する手段を備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
6. 前記画像信号取得手段は、複数の撮像素子を有し、前記複数の画像についての画像信号を上記複数の撮像素子を用いて同時に取得することを特徴とする請求項１または請求項２に記載の画像処理装置。
7. 前記距離情報取得手段は、前記画像中の少なくとも一部の画像領域に対応した位置での前記被写体までの距離を示す距離情報を取得することを特徴とする請求項１または請求項２に記載の画像処理装置。
8. 前記距離情報取得手段は、前記画像中の注目する画像領域とそれ以外の画像領域のそれぞれに対応する位置での前記被写体までの距離を示す距離情報を取得することを特徴とする請求項１または請求項２に記載の画像処理装置。
9. 前記合成手段は、前記距離情報および前記複数の画像についての画像信号に基づいて、前記画像領域ごとに前記複数の画像についての画像信号の合成比率を調整する合成比率調整手段を有し、前記合成比率調整手段で調整された前記合成比率で前記複数の画像についての画像信号を合成することを特徴とする請求項１または請求項２に記載の画像処理装置。
10. 前記距離情報取得手段は、前記画像中の少なくとも一部の画像領域に対応した位置での前記被写体までの距離を示す距離情報を取得し、前記合成手段は、前記画質劣化情報に基づいて前記複数の画像についての画像信号に対し画質の回復を行うことで回復画像信号を取得する画質回復手段と、前記距離情報および前記複数の画像についての画像信号に基づいて、前記画像領域ごとに複数の前記回復画像信号の合成比率を調整する合成比率調整手段と、を有し、前記合成比率調整手段で調整された前記合成比率で複数の前記回復画像信号を合成することを特徴とする請求項２に記載の画像処理装置。
11. 前記画質回復手段は、前記各画像の画像信号に対しノイズ低減処理を行うノイズ低減手段と、前記複数の画像についての画像信号に対して動きブレを改善する動きブレ改善手段とのうちの少なくとも一つを備えることを特徴とする請求項１０に記載の画像処理装置。
12. 同一の被写体を異なる露光量で撮影した複数の画像についての画像信号と前記画像を撮影した際の前記被写体までの距離を示す距離情報とを取得する段階と、前記距離情報および前記画像信号とに基づいて前記複数の画像についての画像信号の合成比率を算出する段階と、前記合成比率の算出結果に基づいて前記複数の画像についての画像信号を合成する段階と、からなることを特徴とする画像処理方法。
13. コンピュータに、同一の被写体を異なる露光量で撮影した複数の画像についての画像信号と前記画像を撮影した際の前記被写体までの距離を示す距離情報とを読み込ませる手順と、前記距離情報および前記画像信号とに基づいて前記複数の画像についての画像信号の合成比率を算出する手順と、前記合成比率の算出結果に基づいて前記複数の画像についての画像信号を合成する手順と、を実行させることを特徴とする画像信号処理プログラム。

Images