JP2013229820A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 回路設計の難易度を上げることなく、様々な程度や形状の露出量ムラを補正することを可能にした画像処理装置を提供すること。
【解決手段】 第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための第１のゲインを算出する算出手段と、前記第１のゲインを画像内の位置に応じて変化する第２のゲインと画像内の位置に応じて変化しない第３のゲインに分割する分割手段と、前記第２のゲインで前記第２の画像をゲイン補正する第１のゲイン補正手段と、前記第３のゲインで前記第２の画像をゲイン補正する第２のゲイン補正手段とを有することを特徴とする構成とした。
【選択図】 図１

Description

本発明は、露出量のムラを補正する画像処理装置に関するものである。

従来より、シャッタが開閉する時間のばらつきに起因して撮像素子の露出量にムラが発生することが知られており、そのような露出量ムラを補正することが求められている。

露出量ムラを補正する方法としては、例えば特許文献１で開示されているような技術が用いられていた。特許文献１によれば、画像信号をもとにゲインを計算し、そのゲインより画像信号のゲインを合わせることで、異なる露出量で撮像された画像のゲインを画像信号のレベルに応じて正確に合わせることができる。

特開平８−１５４２０１号公報

しかしながら、特許文献１では、補正したい露出量の撮像面上での２次元の露出量ムラについては考慮されていない。

そこで、本発明の目的は、撮像面上での２次元の露出量ムラを補正することを可能にした画像処理装置及び画像処理方法を提供することである。

上記目的を達成するために、本発明の画像処理装置は、第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための第１のゲインを算出する算出手段と、前記第１のゲインを画像内の位置に応じて変化する第２のゲインと画像内の位置に応じて変化しない第３のゲインに分割する分割手段と、前記第２のゲインで前記第２の画像をゲイン補正する第１のゲイン補正手段と、前記第３のゲインで前記第２の画像をゲイン補正する第２のゲイン補正手段とを有することを特徴とする。

また、本発明の画像処理装置は、第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための、画像内の位置に応じて変化するゲインと画像内の位置に応じて変化しないゲインとを算出する算出手段と、前記画像内の位置に応じて変化するゲインで前記第２の画像をゲイン補正する第１のゲイン補正手段と、前記画像内の位置に応じて変化しないゲインで前記第２の画像をゲイン補正する第２のゲイン補正手段とを有することを特徴とする。

また、本発明の画像処理方法は、第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための第１のゲインを算出する算出ステップと、前記第１のゲインを画像内の位置に応じて変化する第２のゲインと画像内の位置に応じて変化しない第３のゲインに分割する分割ステップと、前記第２のゲインで前記第２の画像をゲイン補正する第１のゲイン補正ステップと、前記第３のゲインで前記第２の画像をゲイン補正する第２のゲイン補正ステップとを有することを特徴とする。

また、本発明の画像処理方法は、第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための、画像内の位置に応じて変化するゲインと画像内の位置に応じて変化しないゲインとを算出する算出ステップと、前記画像内の位置に応じて変化するゲインで前記第２の画像をゲイン補正する第１のゲイン補正ステップと、前記画像内の位置に応じて変化しないゲインで前記第２の画像をゲイン補正する第２のゲイン補正ステップとを有することを特徴とする。

本発明によれば、より小さい回路規模で様々な程度や形状の露出量ムラを補正することを可能にした画像処理装置を提供することができる。

本発明の実施形態における画像処理装置の構成を示すブロック図である。 第１の実施形態における信号処理回路１０４の構成を示すブロック図である。 第１の実施形態におけるゲインを説明するための図である。 第２の実施形態における信号処理回路１０４の構成を示すブロック図である。 第２の実施形態におけるゲインを説明するための図である。 従来技術における画像処理装置の構成を示すブロック図である。

（第１の実施形態）
以下、図１を参照して第１の実施形態における画像処理装置について説明する。図１において、結像光学系１０１はレンズ等からなり、光軸方向に進退することでズーム調節あるいはフォーカス調節を行う。シャッタ１０８は先幕シャッタと後幕シャッタが撮像面上を通過する時間差で露光時間調整を行う。撮像素子１０２は光学像を電気信号に変換するＣＣＤ等であり、Ａ／Ｄ変換回路１０３は撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換する。信号処理部１０４はＡ／Ｄ変換回路１０３から出力された画像信号に対して位置ずれ補正などの処理を施す。メモリ制御部１０５はメモリ（ＤＲＡＭ）１０６との間で画像信号データの書き込み／読み出しを行う。システム制御部１０７は画像処理装置全体の動作を制御する。

ここで、特許文献１に記載の構成によって撮像面上の露出量ムラを補正することを考える。図６（ａ）は特許文献１における画像合成装置である。入力画像は乗算手段で露出の異なる２画像間のゲインを合わせた後に合成される。図６（ｂ）のグラフは横軸が水平位置、縦軸が補正量としてのゲインである。ゲインを乗算される画像の露出量のほうが多く、０．３程度の値で全体的にゲインダウンされるようなゲインとなっている。この補正特性は、０．３００という２画像間の全体的な露出量の違いによるゲインと、水平方向の露出量ムラ（０．２９７〜０．３０１）によるゲインとが組み合わさった特性を持っているとする。このとき、０．４％のゲインの起伏を８ビット程度の精度でゲイン補正できれば、算出されたゲインに忠実にゲイン補正できるが、そのためにはゲインレンジ１００％では１６ビットの精度が必要となる。つまり、乗算手段としても１６ビット精度が必要となるため、図６（ａ）の構成では、乗算手段の回路規模が非常に大きくなってしまう。

そこで、本実施形態では、図２のような構成を取ることで、より少ない回路規模で精度のよい露出ムラ補正を実現する。

図２（ａ）は、信号処理部１０４の構成を説明するための図である。信号処理部１０４には第１の露出量で撮像された第１の画像及び第２の露出量で撮像された第２の画像（オーバー露出画像、適正露出画像）が入力画像として入力される。ゲイン生成部２０１は、第１及び第２の画像の画素信号をもとにゲイン（第１のゲイン）を計算し、そのゲインを画像内の画素位置に応じて変化するゲインＧＡＩＮ１（第２のゲイン）と、画素位置によらず固定であるゲインＧＡＩＮ２（第３のゲイン）に分解する。乗算回路２０２はＧＡＩＮ１を乗算する乗算回路、乗算回路２０５はＧＡＩＮ２を乗算する乗算回路である。

ホワイトバランス（ＷＢ）処理部２０３は入力画像を解析し、公知のホワイトバランス処理を行う。本実施形態では、合成後の色味を統一させるため、適正露出画像とオーバー露出画像で同じホワイトバランス係数を用いてホワイトバランス処理が行われる。

フリップフロップ回路２０６、２０７、２０８はＧＡＩＮ１およびＧＡＩＮ２の乗算処理をパイプライン分割する。

画像像処理部２０９は入力される画像に対して同時化処理、マトリクス変換処理（現像処理）、ガンマ処理、歪補正処理など一般的な画像処理を施して現像後の画像を出力する。

移動体補正部２１０は画像信号のゲインが合っている入力画像に対して移動体領域を補正する。

ＨＤＲ合成部２１１はオーバー露出画像と適性露出画像を合成してダイナミックレンジを拡大したハイダイナミックレンジ（ＨＤＲ）合成画像を生成する。

また、本実施の形態においては、適正露出画像とオーバー露出画像をＨＤＲ合成することにより、暗部のダイナミックレンジを拡大するものとする。

図３は、図２でゲイン生成部２０１により算出されるＧＡＩＮ１を説明するための図である。

図３（ａ）は、画素位置とＧＡＩＮ１によるゲインの関係を示したグラフで、横軸が水平位置、縦軸がゲインである。本実施の形態においては、ＧＡＩＮ１によるゲインは水平位置に応じて変化するが、本発明はこれに限定されるものではなく、垂直位置や２次元的な画素位置に応じて変化するようにしてもよい。図３（ａ）のゲインを実現するために、乗算回路２０２は以下の式で示される乗算演算を行う。
ＯＵＴ１＝ＩＮ１×（１−ＧＡＩＮ１／１６３８４） 式（１）
ＯＵＴ１、ＩＮ１はそれぞれ乗算回路２０２の出力と入力である。また、ＧＡＩＮ１は０〜２５５の値をとる。式（１）の演算は、以下の式に展開される。
ＯＵＴ１＝ＩＮ１−ＩＮ１×（ＧＡＩＮ１／１６３８４） 式（２）
よって、乗算回路２０２は８ｂｉｔ精度の減算、８ｂｉｔ精度の乗算、右ビットシフト（１４ビットシフト）で実現することができる。

乗算回路２０５は以下の式で示される乗算演算を行う。
ＯＵＴ２＝ＩＮ２×（ＧＡＩＮ２／２５６） 式（３）
ＯＵＴ２、ＩＮ２はそれぞれ乗算回路２０５の出力と入力である。また、ＧＡＩＮ２は０〜２５５の値をとる。よって、乗算回路２０５は８ｂｉｔ精度の乗算、右ビットシフト（８ビットシフト）で実現することができる。

ゲイン生成部２０１は、ゲインを計算し、そのゲインを乗算回路２０２のゲインと乗算回路２０５のゲインに分解するので、０．３０１＝ＧＡＩＮ２／２５６、から、ＧＡＩＮ２は７７となる。よって、乗算回路２０２、２０５の両方でゲインを乗算することで、（７７／２５６）×（１−２５５／１６３８４）〜（７７／２５６）×（１−０／１６３８４）、つまり、０．２９６〜０．３０１のゲインレンジを８ビット精度で乗算することができる。図９２と同等のゲインレンジと乗算精度を実現することができる。また、図６（ａ）の乗算処理を乗算回路２０２と乗算回路２０５で分担して処理するため、乗算回路１つ当たりの回路規模を小さくすることができ、回路設計の難易度を下げることができる。

図３（ｃ）は、乗算回路２０２で実現できる図３（ａ）のゲインを用いて、オーバー露出画像を適性露出画像とゲイン合わせする処理を説明するためのグラフであり、横軸が被写体輝度、縦軸が画素値である。画像信号３０１は適正露出画像の画像信号、画像信号３０２はオーバー露出画像の画像信号、画像信号３０３は目標とするゲイン補正後の画像信号である。画像信号３０４は乗算回路２０２でゲイン補正した画像信号、画像信号３０５は乗算回路２０５でゲイン補正した画像信号である。画像信号３０５は目標とする画像信号３０３と一致している。

一方、図３（ｄ）は、乗算回路２０２で実現できない図３（ｂ）のゲインを用いて、オーバー露出画像を適性露出画像とゲイン合わせする処理を説明するためのグラフであり、横軸が被写体輝度、縦軸が画素値である。画像信号３１４は乗算回路２０２でゲイン補正した画像信号、画像信号３１５は乗算回路２０５でゲイン補正した画像信号である。図３（ｂ）のゲインでは１より大きいゲインがあるため、画像信号３１４の段階で飽和画素値付近の画像信号がつぶれてしまう。結果、画像信号３１５の段階で目標とする画像信号３０３と一致しなくなる。

乗算回路２０２の乗算は式（１）のような演算となり、図３（ｂ）のような１を超えるゲインが含まれることがないため、画像信号をつぶすことなくゲイン補正することができる。

本実施の形態においては、乗算回路２０２は式（１）で示される乗算処理を行うものとし、ゲイン補正レンジを０．９８４〜１．０００固定としたが、本発明はこれに限定されるものではなく、必要に応じてゲイン補正レンジを切り替えるようにしてもよい。例えば、必要に応じて、以下の式（４）、式（１）、ゲイン補正なし、を切り替えるようにしてもよい。
ＯＵＴ１＝ＩＮ１×（１−ＧＡＩＮ１／４０９６） 式（４）
式（４）であれば、０．９３８〜１．０００の広いゲイン補正レンジで補正することができる。

撮像面上で２次元的に発生する露出量ムラの程度は、例えば、先幕シャッタと後幕シャッタが撮像面上を通過する時間のばらつきによって変化する。例えば、先幕シャッタの右側よりも左側のほうが遅れて撮像面上を通過すると、遅れた分だけ露出時間が短くなるため、撮像面上の左側の露出量が右側に比べて少なくなる。さらに、同じ程度のばらつきでも、露出時間が短い時のほうが長い時に比べてばらつきの影響を大きく受けるため、２次元的な露出量ムラの程度は悪くなる。

よって、露出量が少ないほうの入力画像の露出時間がある閾値より短い場合は、２次元的な露出量ムラが大きく変化するのでよりゲイン補正レンジが広い式（４）を選択する。逆にまたある閾値より長い場合は、２次元的な露出量ムラが緩やかに変化するのでよりゲイン補正精度が細かい式（１）を選択し、露出時間が十分長ければゲイン補正なしを選択するようにして、２次元的な露出量ムラ補正の程度を制限してもよい。

もしくは、乗算回路２０２の乗算処理を以下の式（５）のようにし、露出量が少ないほうの入力画像の露出時間が長くなるにつれてαを小さくすることで、２次元的な露出量ムラ補正の程度を制限してもよい。
ＯＵＴ１＝ＩＮ１×（１−（α×ＧＡＩＮ１）／４０９６） 式（５）
αは０〜１の値である。

さらには、露出量が少ないほうの入力画像の露出時間によって処理を変えるのではなく、２つの露出時間の差分が小さいほど２次元的な露出量ムラ補正の程度を制限するようにしてもよい。

移動体補正部２１０は、乗算回路２０２、２０５によって画像信号のゲイン合わせされた２つの画像の画素差分値を計算することで、移動体が結像された領域を検出する。差分値が所定値より大きい領域は移動体領域として露出量が多いほうの画像の画像信号を露出量が少ないほうの画像の画像信号に置き換える。差分値が所定値より小さい領域は移動体領域ではない領域として露出量が多いほうの画像の画像信号をそのまま適用し、その間は２つの画像の画像信号を加重加算した画像信号で置き換える。このように露出量が多いほうの画像で検出された移動体領域を補正する。この移動体補正処理により、露出量が多いほうの画像で撮像された移動体の被写体像を白とびさせることなく、露出量が少ないほうの画像で撮像された同じ移動体と位置を合わせることができる。

ＨＤＲ合成部２１１は、図２（ｂ）に示すように、明るい領域は露出量が少ない適正露出画像の画像信号をそのまま出力し、暗い領域は露出量が多いオーバー露出画像の画像信号を出力する。そしてそれ以外の領域は２つの画像の画像信号を加重加算した画像信号を出力することで、ダイナミックレンジが広い画像を生成する。

以上のように、本実施形態では、異なる露出量の入力画像の画素信号に対して露出量を合わせるためのゲインを画素位置に応じて変化するゲインＧＡＩＮ１と、画素位置に対して固定であるゲインＧＡＩＮ２に分解してそれぞれかける。これにより小さい回路規模で撮像面上の２次元的な露出量ムラを補正することを可能にした。

本実施形態では、ＨＤＲ合成部２１１による合成を画像処理部２０９の後に出力される現像後の画像に対して行っているが、これに限らず、画像処理部２０９による、特に現像処理の前の画像に対して合成を行っても良い。

また、本実施形態では、オーバー露出画像と適正露出画像の２枚でＨＤＲ合成しているが、３枚以上露出の異なる画像を生成して合成しても良い。その場合、一番露出の低い画像に合わせて他の露出の画像にゲインを設定すればよい。

（第２の実施形態）
以下、図１を参照して、本発明の第２の実施形態による、画像処理装置について説明する。実施例２の画像処理装置は、信号処理回路１０４以外は、実施例１の画像処理装置と同様である。

図４は、信号処理回路１０４の構成を説明するための図である。実施例２の信号処理回路１０４は、乗算回路４０２と乗算回路４０５以外は、実施例１の信号処理回路１０４と同様である。

また、本実施の形態においては、適正露出画像とアンダー露出画像をＨＤＲ合成することにより、明部のダイナミックレンジを拡大するものとする。

図５は、ＧＡＩＮ１を説明するための図である。

図５（ａ）は、画素位置とＧＡＩＮ１によるゲインの関係を示したグラフで、横軸が水平位置、縦軸がゲインである。本実施の形態においては、ＧＡＩＮ１によるゲインは水平位置に応じて変化するが、本発明はこれに限定されるものではなく、垂直位置や２次元的な画素位置に応じて変化するようにしてもよい。図５（ａ）のゲインを実現するために、乗算回路４０２は以下の式で示される乗算演算を行う。
ＯＵＴ１＝ＩＮ１×（１＋ＧＡＩＮ１／１６３８４） 式（６）
ＯＵＴ１、ＩＮ１はそれぞれ乗算回路４０２の出力と入力である。また、ＧＡＩＮ１は０〜２５５の値をとる。式（６）の演算は、以下の式に展開される。
ＯＵＴ１＝ＩＮ１＋ＩＮ１×（ＧＡＩＮ１／１６３８４） 式（７）
よって、乗算回路４０２は８ｂｉｔ精度の加算、８ｂｉｔ精度の乗算、右ビットシフト（１４ビットシフト）で実現することができる。

乗算回路４０５は以下の式で示される乗算演算を行う。
ＯＵＴ２＝ＩＮ２×（ＧＡＩＮ２／６４） 式（８）
ＯＵＴ２、ＩＮ２はそれぞれ乗算回路４０５の出力と入力である。また、ＧＡＩＮ２は０〜２５５の値をとる。よって、乗算回路４０５は８ｂｉｔ精度の乗算、右ビットシフト（６ビットシフト）で実現することができる。本実施の形態においてはアンダー露出画像と適正露出画像の露出差を４倍未満としており、乗算回路４０５のゲインレンジを（０／６４）〜（２５５／６４）、つまり、０．０〜３．９としている。しかし、本発明はこれに限定されることなく、必要な露出差に応じてさらに広いゲインレンジをカバーできるように構成してもよい。

ゲイン生成回路２０１は、補正に必要なゲインを乗算回路４０２のゲインと乗算回路４０５のゲインに分解する。例えば、乗算回路４０５のゲインが３．３だったとすると、３．３＝ＧＡＩＮ２／６４、から、ＧＡＩＮ２は２１１となる。よって、乗算回路４０２と乗算回路４０５の両方でゲインを乗算することで、（２１１／６４）×（１＋０／１６３８４）〜（２１１／６４）×（１＋２５５／１６３８４）、つまり、３．２９７〜３．３４８のゲインレンジを８ビット精度で乗算することができる。このように第１の実施形態と同様、２次元的に発生する露出量ムラ成分を８ビット精度で精度よく補正することができる。また、乗算処理を乗算回路４０２と乗算回路４０５で分担して処理するため、乗算回路１つ当たりの規模を小さくすることができ、第１の実施形態と同様、回路設計の難易度を下げることができる。

図５（ｃ）は、乗算回路２０２で実現できる図５（ａ）のゲインを用いて、アンダー露出画像を適性露出画像とゲイン合わせする処理を説明するためのグラフであり、横軸が被写体輝度、縦軸が画素値である。５０１は適正露出画像の画像信号、５０２はアンダー露出画像の画像信号、５０３は目標とするゲイン補正後の画像信号である。５０４は乗算回路４０２でゲイン補正した画像信号、５０５は乗算回路４０５でゲイン補正した画像信号である。画像信号５０５は目標とする画像信号５０３と一致している。

一方、図５（ｄ）は、乗算回路４０２で実現できない図５（ｂ）のゲインを用いて、アンダー露出画像を適性露出画像とゲイン合わせする処理を説明するためのグラフであり、横軸が被写体輝度、縦軸が画素値である。５１４は乗算回路４０２でゲイン補正した画像信号、５１５は乗算回路４０５でゲイン補正した画像信号である。図５（ｂ）のゲインでは１を下回るゲインがあるため、画像信号５１４の段階で乗算の丸め誤差が不必要に大きくなってしまう。結果、画像信号５１５の段階で目標とする画像信号５０３とほぼ一致はするものの、丸め誤差が不必要に大きくなってしまう。

乗算回路４０２の乗算は式（６）のような演算となり、図５（ｂ）のような１を下回るゲインが含まれることがないため、丸め誤差を不必要に大きくすることなくゲイン補正することができる。

以上のように、本実施形態では、異なる露出量の入力画像の画素信号に対して露出量を合わせるためのゲインを画素位置に応じて変化するゲインＧＡＩＮ１と、画素位置に対して固定であるゲインＧＡＩＮ２に分解してそれぞれかける。これにより小さい回路規模で撮像面上の２次元的な露出量ムラを補正することを可能にした。

また、本実施形態では、オーバー露出画像と適正露出画像の２枚でＨＤＲ合成しているが、３枚以上露出の異なる画像を生成して合成しても良い。その場合、一番露出の高い画像に合わせて他の露出の画像にゲインを設定すればよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１ 結像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換回路
１０４ 信号処理回路
１０５ メモリ制御回路
１０６ メモリ
１０７ システム制御回路

Claims (13)

1. 第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための第１のゲインを算出する算出手段と、
   前記第１のゲインを画像内の位置に応じて変化する第２のゲインと画像内の位置に応じて変化しない第３のゲインに分割する分割手段と、
   前記第２のゲインで前記第２の画像をゲイン補正する第１のゲイン補正手段と、
   前記第３のゲインで前記第２の画像をゲイン補正する第２のゲイン補正手段とを有することを特徴とする画像処理装置。
2. 第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための、画像内の位置に応じて変化するゲインと画像内の位置に応じて変化しないゲインとを算出する算出手段と、
   前記画像内の位置に応じて変化するゲインで前記第２の画像をゲイン補正する第１のゲイン補正手段と、
   前記画像内の位置に応じて変化しないゲインで前記第２の画像をゲイン補正する第２のゲイン補正手段とを有することを特徴とする画像処理装置。
3. 前記第１の露出量より前記第２の露出量のほうが露出量が多く、
   前記分割手段は前記第２のゲインが１より小さくなるように、前記第１のゲインを前記第２のゲインと前記第３のゲインに分解することを特徴とする請求項１の画像処理装置。
4. 前記第１の露出量より前記第２の露出量のほうが露出量が少なく、
   前記分割手段は前記第２のゲインが１より大きくなるように、前記第１のゲインを前記第２のゲインと前記第３のゲインに分解することを特徴とする請求項１の画像処理装置。
5. 前記第１の露出量と前記第２の露出量は露出時間が異なり、前記第１の露出量と前記第２の露出量のうち少ないほうの露出量に応じて、前記第１のゲイン補正手段によるゲイン補正の程度を制限することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記第１の露出量と前記第２の露出量は露出時間が異なり、前記第１の露出量と前記第２の露出量の差分に応じて、前記第１のゲイン補正手段によるゲイン補正の程度を制限することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
7. 前記第１の画像と前記第２の画像のうち露出量が多いほうの画像の移動体領域を検出する検出手段と、
   前記移動体領域を前記第１の画像と前記第２の画像のうち露出量が少ないほうの画像で置き換える補正手段とを有することを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 前記第１の画像と前記第２の画像を合成してダイナミックレンジが広い画像を生成する合成手段を有し、
   前記合成手段は、前記第１の画像の各領域の明るさに応じて、前記第１の画像、前記第２の画像及び前記第１の画像と前記第２の画像とを加重加算した画像のいずれかを各領域の合成画像として出力することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
9. 請求項１乃至８のいずれか１つに記載の画像処理装置と、
   撮像手段と、
   前記撮像手段の露出時間を制御することで露出量を制御する制御手段と、
   を有することを特徴とする撮像装置。
10. 第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための第１のゲインを算出する算出ステップと、
    前記第１のゲインを画像内の位置に応じて変化する第２のゲインと画像内の位置に応じて変化しない第３のゲインに分割する分割ステップと、
    前記第２のゲインで前記第２の画像をゲイン補正する第１のゲイン補正ステップと、
    前記第３のゲインで前記第２の画像をゲイン補正する第２のゲイン補正ステップとを有することを特徴とする画像処理方法。
11. 第１の露出量で撮像された第１の画像と第２の露出量で撮像された第２の画像から、前記第１の画像と前記第２の画像の明るさを合わせるための、画像内の位置に応じて変化するゲインと画像内の位置に応じて変化しないゲインとを算出する算出ステップと、
    前記画像内の位置に応じて変化するゲインで前記第２の画像をゲイン補正する第１のゲイン補正ステップと、
    前記画像内の位置に応じて変化しないゲインで前記第２の画像をゲイン補正する第２のゲイン補正ステップとを有することを特徴とする画像処理方法。
12. 請求項１０または１１に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
13. コンピュータに、請求項１０または１１に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images